WO2023234757A1 - 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2023234757A1
WO2023234757A1 PCT/KR2023/007662 KR2023007662W WO2023234757A1 WO 2023234757 A1 WO2023234757 A1 WO 2023234757A1 KR 2023007662 W KR2023007662 W KR 2023007662W WO 2023234757 A1 WO2023234757 A1 WO 2023234757A1
Authority
WO
WIPO (PCT)
Prior art keywords
nail
image
present
analysis
captured
Prior art date
Application number
PCT/KR2023/007662
Other languages
English (en)
French (fr)
Inventor
박영준
박두석
Original Assignee
주식회사 링커버스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220125781A external-priority patent/KR20230168094A/ko
Application filed by 주식회사 링커버스 filed Critical 주식회사 링커버스
Publication of WO2023234757A1 publication Critical patent/WO2023234757A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method, system, and non-transitory computer-readable recording medium for processing images for nail analysis.
  • the human hand is a body part that can assume various postures, so the photographed appearance can vary greatly depending on the direction and method of photographing. Therefore, in order to determine or diagnose a person's health status by analyzing images taken of the hand (nail) area, technology is required to homogeneously process or process the images used for the analysis.
  • the present inventor(s) developed a technology to obtain a nail image that includes a frontal view of the nail by rotating the captured image based on the position and shape of the nail included in the captured image. reached.
  • the purpose of the present invention is to solve all the problems of the prior art described above.
  • the present invention acquires captured images captured by two or more cameras, specifies the location and shape of the nail included in the captured image, and determines the location and shape of the nail specified above and the point of time that serves as a standard for nail analysis. Another purpose is to obtain a nail image that includes a frontal view of the nail by rotating the captured image based on the viewing angle.
  • a representative configuration of the present invention to achieve the above object is as follows.
  • a method of processing images for nail analysis comprising: acquiring a captured image captured by two or more cameras, specifying the position and shape of a nail included in the captured image, and A method is provided that includes rotating the captured image based on the position and shape of the nail and a viewpoint that serves as a standard for nail analysis.
  • a system for processing images for nail analysis comprising: an image acquisition unit that acquires captured images captured by two or more cameras; and specifying the position and shape of the nail included in the captured images; , a system including an image processing unit that rotates the captured image based on the position and shape of the nail and a viewpoint that serves as a standard for nail analysis is provided.
  • the present invention since it is possible to obtain a nail image including a view of the nail viewed from the front, it is possible to compensate for changes in the appearance or direction of the nail appearing in the image depending on the shooting environment or shooting posture.
  • the quality of fingernail images that serve as learning data for an artificial intelligence model can be improved, thereby improving the performance of an artificial intelligence model that performs fingernail recognition or health status analysis.
  • the present invention it is possible to determine or diagnose the health status of a subject using fingernail images that can be easily captured on a daily basis.
  • FIG. 1 is a diagram showing a schematic configuration of the entire system according to an embodiment of the present invention.
  • Figure 2 is a diagram illustrating in detail the internal configuration of an analysis system according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating a situation in which fingernails are photographed according to an embodiment of the present invention.
  • Figure 4 is a diagram illustrating a situation in which an image of a fingernail is rotated according to an embodiment of the present invention.
  • control unit 240 control unit
  • FIG. 1 is a diagram showing a schematic configuration of the entire system according to an embodiment of the present invention.
  • the entire system may include a communication network 100, an analysis system 200, and a device 300.
  • the communication network 100 can be configured regardless of communication mode, such as wired communication or wireless communication, and can be used as a local area network (LAN) or a metropolitan area network (MAN). It can be composed of various communication networks such as (Network) and Wide Area Network (WAN).
  • the communication network 100 referred to in this specification may be the known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 is not necessarily limited thereto and may include at least a portion of a known wired or wireless data communication network, a known telephone network, or a known wired or wireless television communication network.
  • the communication network 100 is a wireless data communication network, including radio frequency (RF) communication, WiFi communication, cellular (LTE, etc.) communication, and Bluetooth communication (more specifically, low-power Bluetooth (BLE) communication. ; Bluetooth Low Energy)), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
  • RF radio frequency
  • WiFi WiFi communication
  • cellular LTE, etc.
  • Bluetooth communication more specifically, low-power Bluetooth (BLE) communication. ; Bluetooth Low Energy)
  • infrared communication ultrasonic communication, etc.
  • ultrasonic communication etc.
  • the analysis system 200 acquires captured images captured by two or more cameras, specifies the location and shape of the nail included in the captured image, and determines the location and shape of the nail included in the captured image.
  • the analysis system 200 By rotating the captured image based on the position and shape of and the viewpoint that is the standard for nail analysis, it is possible to perform the function of acquiring a nail image including a frontal view of the nail.
  • the device 300 is a digital device that includes a function that can communicate after connecting to the analysis system 200, such as a smartphone, tablet, smart watch, smart patch, or smart device.
  • a digital device equipped with a memory means and equipped with a microprocessor, such as a band, smart glass, desktop computer, laptop computer, workstation, PDA, web pad, mobile phone, etc., and has computing power can be used as the device 300 according to the present invention. It can be adopted as.
  • the device 300 according to an embodiment of the present invention may be a digital device in the form of a kiosk that can be installed in a place where people regularly visit, such as a business or nail salon.
  • the device 300 may include a sensing means (eg, a camera, etc.) for obtaining an image of the body (nails, face, etc.) of the person being measured.
  • a sensing means eg, a camera, etc.
  • the device 300 may include an application (not shown) that supports a user to receive a service according to the present invention from the analysis system 200.
  • an application may be downloaded from the analysis system 200 or an external application distribution server (not shown).
  • the nature of this application may be generally similar to the image acquisition unit 210, image processing unit 220, communication unit 230, and control unit 240 of the analysis system 200, which will be described later.
  • at least part of the application may be replaced with a hardware device or firmware device that can perform substantially the same or equivalent functions as necessary.
  • FIG. 2 is a diagram illustrating in detail the internal configuration of the analysis system 200 according to an embodiment of the present invention.
  • the analysis system 200 may include an image acquisition unit 210, an image processing unit 220, a communication unit 230, and a control unit 240.
  • the image acquisition unit 210, image processing unit 220, communication unit 230, and control unit 240 of the analysis system 200 are at least some of them connected to an external system (not shown).
  • ) may be a program module that communicates with.
  • These program modules may be included in the analysis system 200 in the form of an operating system, application program module, or other program module, and may be physically stored in various known storage devices. Additionally, these program modules may be stored in a remote memory device capable of communicating with the analysis system 200. Meanwhile, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
  • analysis system 200 has been described as above, this description is illustrative and at least some of the components or functions of the analysis system 200 may be stored in the device 300 or server (not shown) as needed. It is obvious to those skilled in the art that it may be realized in or included in an external system (not shown).
  • the image acquisition unit 210 can acquire captured images captured by two or more cameras.
  • images of the hands (nails) of the person being measured can be collected through a photographing device provided at home, a nail salon, a hospital, a pharmacy, etc., and the image data collected in this way can be collected through a photographic device. It may be stored in association with the measurement person's identification information or account information.
  • the captured image may be a stereo image or a three-dimensional image captured of the nail area of the subject being measured using two or more cameras.
  • the captured image according to an embodiment of the present invention may be a three-dimensional image generated by matching images taken from the top, left, and right sides of the subject's hand.
  • a person's hand is a body part that can assume various postures, so even when shooting in an environment where shooting conditions are well controlled, the human hand (fingernail) is a part of the body that can assume various postures, so even when shooting in an environment where shooting conditions are well controlled, the human hand (nail) is a part of the body that can assume various postures.
  • the appearance of the nails in the captured image may vary significantly.
  • Figure 3 is a diagram illustrating a situation in which fingernails are photographed according to an embodiment of the present invention.
  • the image processing unit 220 may specify the location and shape of the fingernail included in the captured image.
  • the location and shape of the fingernail included in the captured image may be specified by an artificial intelligence-based recognition model.
  • the recognition model according to an embodiment of the present invention includes a Convolutional Neural Network (CNN) model, a Recurrent Neural Network (RNN) model, a Deep Belief Network (DBN) model, or an artificial neural network model combining the above models.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DNN Deep Belief Network
  • the artificial neural network model according to an embodiment of the present invention is not limited to those listed above, and may be changed in various ways within the scope of achieving the purpose of the present invention.
  • the recognition model according to an embodiment of the present invention may be an artificial intelligence model specialized for object detection and recognition, such as YOLOv5.
  • the recognition model can be learned to recognize fingernails separately for each finger type, and for this purpose, the fingernail images constituting the learning data can be constructed separately for each finger type.
  • the recognition model can recognize the fingernails of each of the five fingers separately in the hand image, thereby eliminating the need to separately photograph or recognize the fingernails for each finger.
  • the recognition model is learned based on first learning data including data about at least one of finger shape, finger position, finger length, finger thickness, fingernail shape, fingernail position, and finger joint wrinkles. It can be. Additionally, not only data collected from the general public but also data collected from people with diseases may be included in the first learning data.
  • the thumb can be specified by referring to the shape and location of the thumb that is significantly differentiated from other fingers, such as the nail shape and number of joint wrinkles detected in the thumb area.
  • the recognition model can be trained so that the recognition model can accurately recognize the thumb nail by using data on such features as learning data.
  • a large number of fingernail images labeled for each finger may be collected and a recognition model may be trained using data about the shape of the fingernail appearing in the fingernail images.
  • the index finger, middle finger, ring finger, and small finger can be recognized in that order based on the position of the thumb and whether the hand is left or right, which are relatively easily recognized in the hand image.
  • the fingernail part of each finger can be recognized by further referring to the joint position of each finger, and the recognition model can be retrained using the fingernail images recognized and collected in this way.
  • the fingernail part can be recognized from the hand image by referring to data on the length and thickness of the finger, and whether the subject is with his or her hand open or clenched. It is possible to determine whether a finger is in a certain state and apply different recognition standards based on the length and thickness of the finger depending on the state. And, the recognition model can be retrained using the fingernail images recognized and collected in this way.
  • the image processing unit 220 may rotate the captured image based on the position and shape of the nail specified above and the viewpoint that is the standard for nail analysis.
  • the image processing unit 220 may rotate the captured image so that the fingernail is viewed directly when viewed from the above reference point.
  • the image processing unit 220 models the shape of the finger and nail of the person being measured using an artificial intelligence-based estimation model, and refers to the modeling result to determine the shape of the finger and nail of the person being measured.
  • the position can be estimated, and the rotation direction and rotation angle of the captured image can be determined so that the estimated nail above can be viewed directly when viewed from a reference point of view.
  • Figure 4 is a diagram illustrating a situation in which an image of a fingernail is rotated according to an embodiment of the present invention.
  • the captured image is rotated around each axis (X-axis, Y-axis, or Z-axis) of the three-dimensional coordinate system so that the nail 410 can be viewed from the reference viewpoint 420. can do.
  • the image processing unit 220 may extract a fingernail image corresponding to the fingernail from the above rotated captured image.
  • the fingernail image extracted as above is an image corresponding to a scene looking at the fingernail from a reference point of view, and may include a view of the fingernail viewed from the front.
  • the shape and color of the nail appearing in the nail image can be displayed with uniform quality across the entire data.
  • the fingernail image rotated and extracted as above can be used as learning data or input data for an artificial intelligence-based analysis model.
  • the analysis model according to an embodiment of the present invention includes a Convolutional Neural Network (CNN) model, a Recurrent Neural Network (RNN) model, a Deep Belief Network (DBN) model, or an artificial neural network model combining the above models. You can.
  • the artificial neural network model according to an embodiment of the present invention is not limited to those listed above, and may be changed in various ways within the scope of achieving the purpose of the present invention.
  • the analysis model may be learned based on second learning data including images of the fingernails of the subject and data on the health status of the subject.
  • the color of the fingernail meniscus of a subject may have a significant correlation with the subject's health status, and an analysis model may be learned based on learning data supporting this correlation.
  • the training data supports the association between blue nail meniscus color and the health condition silver poisoning, and the training data supporting the association between red nail meniscus color and the health condition heart failure.
  • An example would be training data that supports the association between the color of the fingernail meniscus being yellow and the state of health being on antibiotics.
  • the analysis model includes data on at least one of the image of the subject's fingernails, images of other body parts of the subject, the health status of the subject, and the surrounding environment of the subject. It may be learned based on second learning data included.
  • an analysis model is learned by complexly using highly correlated data such as images of the subject's fingernails, images of other body parts of the subject, the health status of the subject, and the surrounding environment of the subject. By doing so, both the accuracy and reliability of the analysis model can be improved.
  • the second learning data used to learn the analysis model may include time series data collected at at least two points in time, and the analysis model may be learned based on the time series data. Therefore, the analysis model according to the present invention can determine or diagnose changes in the health status of the subject that appears over time.
  • the analysis model determines the health status of a specific subject by referring to at least one of images of nails collected for a specific subject and images of other body parts of the subject. You can output related data.
  • an analysis model is learned based on learning data that supports the fact that a round face and round hands are associated with good health.
  • the analysis model according to an embodiment of the present invention can output a determination or diagnosis result to the effect that the subject has a lung or kidney abnormality.
  • the analysis model according to an embodiment of the present invention can track changes in the health status of the subject over time by analyzing time series data.
  • the jaw line, cheek angle, and eyebrow bone protrusion shown in the face data can be quantified, and the plumpness and joint bone protrusion shown in the hand data can also be quantified.
  • the analysis model in response to features indicating jaundice symptoms being detected in the subject's face data and features indicating terry nails being detected in the subject's fingernail data, the analysis model according to an embodiment of the present invention is used to determine whether the subject is being measured. It is possible to output a determination or diagnosis result indicating that the patient may have a liver disease such as cirrhosis.
  • the communication unit 230 may perform a function that enables data transmission and reception to/from the image acquisition unit 210 and the image processing unit 220.
  • control unit 240 may perform a function of controlling the flow of data between the image acquisition unit 210, the image processing unit 220, and the communication unit 230. That is, the control unit 240 according to the present invention controls the data flow to/from the outside of the analysis system 200 or the data flow between each component of the analysis system 200, thereby controlling the image acquisition unit 210 and the image processing unit. 220 and the communication unit 230 can each be controlled to perform their own functions.
  • the embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • a hardware device can be converted into one or more software modules to perform processing according to the invention and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 태양에 따르면, 손톱 분석을 위해 이미지를 처리하는 방법으로서, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하는 단계, 상기 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하는 단계, 및 상기 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 상기 촬영 이미지를 회전시키는 단계를 포함하는 방법이 제공된다.

Description

손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
IT 기술이 발달함에 따라 헬스케어 분야에서도 많은 변화가 일어나고 있다. 특히, 혈액, 유전자 등 바이오마커를 이용하거나 MRI 등 번거로운 촬영 수단을 이용하여 사람의 건강 상태를 분석하는 전통적인 방법에서 벗어나 일상적으로 수집할 수 있는 데이터를 이용하여 사람의 건강 상태를 판별 또는 진단하려는 시도가 이루어지고 있다.
일 예로서, 눈, 입술, 피부 등 신체 부위를 촬영한 이미지를 인공 신경망 등 인공지능 모델을 이용하여 분석함으로써 사람의 건강 상태를 판별 또는 진단하려는 기술이 다수 소개되었다. 하지만, 일상 생활 중에 통제되지 않은 환경에서 촬영되는 이미지는 품질과 형식이 제각각이어서 분석하기가 어렵다는 한계가 있었고, 신체 부위에서 나타나는 특징이나 변화가 사람마다 달라서 특정인의 건강 상태를 정확하게 진단하기가 어렵다는 한계도 있었다.
특히, 사람의 손(손톱) 부위는 다양한 자세를 취할 수 있는 신체 부위라서, 어느 방향에서 어떻게 촬영하는지에 따라 그 촬영된 모습이 크게 달라질 수 있다. 따라서, 손(손톱) 부위를 촬영한 이미지를 분석하여 사람의 건강 상태를 판별 또는 진단하기 위해서는, 그 분석에 이용되는 이미지를 균질하게 가공 또는 처리할 수 있는 기술이 요구된다.
이에, 본 발명자(들)는, 촬영 이미지에 포함된 손톱의 위치 및 형상을 기준으로 해당 촬영 이미지를 회전시킴으로써, 손톱을 정면으로 바라본 모습이 포함되는 손톱 이미지를 획득할 수 있도록 하는 기술을 개발하기에 이르렀다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하고, 위 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하고, 위 특정된 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 촬영 이미지를 회전시킴으로써, 손톱을 정면으로 바라본 모습이 포함되는 손톱 이미지를 획득할 수 있도록 하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 손톱 분석을 위해 이미지를 처리하는 방법으로서, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하는 단계, 상기 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하는 단계, 및 상기 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 상기 촬영 이미지를 회전시키는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 손톱 분석을 위해 이미지를 처리하는 시스템으로서, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하는 이미지 획득부, 및 상기 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하고, 상기 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 상기 촬영 이미지를 회전시키는 이미지 처리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 손톱을 정면으로 바라본 모습이 포함되는 손톱 이미지를 획득할 수 있으므로, 촬영 환경이나 촬영 자세에 따라 이미지에서 나타나는 손톱의 모습 또는 방향이 달라지는 것을 보완할 수 있게 된다.
또한, 본 발명에 의하면, 인공지능 모델의 학습 데이터가 되는 손톱 이미지의 품질을 높일 수 있으므로, 손톱 인식 또는 건강 상태 분석을 수행하는 인공지능 모델의 성능을 높일 수 있게 된다.
본 발명에 의하면, 일상적으로 손쉽게 촬영할 수 있는 손톱 이미지를 이용하여 피측정자의 건강 상태를 판별 또는 진단할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 분석 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 손톱을 촬영하는 상황을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 손톱을 촬영한 이미지를 회전시키는 상황을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 분석 시스템
210: 이미지 획득부
220: 이미지 처리부
230: 통신부
240: 제어부
300: 디바이스
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 분석 시스템(200) 및 디바이스(300)를 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은, 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은, 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 분석 시스템(200)은, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하고, 위 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하고, 위 특정된 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 촬영 이미지를 회전시킴으로써, 손톱을 정면으로 바라본 모습이 포함되는 손톱 이미지를 획득하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 분석 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는, 분석 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿, 스마트 워치, 스마트 패치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다. 또한, 본 발명의 일 실시예에 따른 디바이스(300)는, 사업장, 네일샵 등 사람이 주기적으로 방문하는 장소에 설치될 수 있는 키오스크(kiosk) 형태의 디지털 기기일 수도 있다.
특히, 본 발명의 일 실시예에 따른 디바이스(300)는 피측정자의 신체(손톱, 얼굴 등)를 촬영한 이미지를 획득하기 위한 센싱 수단(예를 들어, 카메라 등)을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(300)는, 사용자가 분석 시스템(200)으로부터 본 발명에 따른 서비스를 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 분석 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 분석 시스템(200)의 이미지 획득부(210), 이미지 처리부(220), 통신부(230) 및 제어부(240)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
분석 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 분석 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 분석 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 분석 시스템(200)은 이미지 획득부(210), 이미지 처리부(220), 통신부(230) 및 제어부(240)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 분석 시스템(200)의 이미지 획득부(210), 이미지 처리부(220), 통신부(230) 및 제어부(240)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 분석 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 분석 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 분석 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 분석 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 디바이스(300) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
먼저, 본 발명의 일 실시예에 따른 이미지 획득부(210)는, 둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 피측정자의 손(손톱)을 촬영한 이미지는 집, 네일샵, 병원, 약국 등에 비치된 촬영 디바이스를 통해 수집될 수 있고, 이렇게 수집되는 이미지 데이터는 피측정자의 식별 정보 또는 계정 정보와 연관되어 저장될 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 촬영 이미지는 둘 이상의 카메라를 이용하여 피측정자의 손톱 부위를 촬영한 스테레오(stereo) 이미지 또는 3차원 이미지일 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 촬영 이미지는, 피측정자의 손의 상측, 좌측 및 우측에서 각각 촬영한 이미지를 정합함으로써 생성되는 3차원 이미지일 수 있다.
본 발명의 일 실시예에 따르면, 사람의 손(손톱) 부위는 다양한 자세를 취할 수 있는 신체 부위라서, 촬영 조건이 잘 통제된 환경에서 촬영하는 경우에도 사용자가 어떤 손 자세를 취했는지에 따라 그 촬영 이미지에서 나타나는 손톱의 모습이 크게 달라질 수 있다.
도 3은 본 발명의 일 실시예에 따라 손톱을 촬영하는 상황을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 카메라가 손톱의 정면을 바라보고 있는 상태에서 이미지를 촬영한 경우에 해당 이미지에서 손톱의 모양과 색이 정확하게 나타날 수 있지만(도 3의 (a) 참조), 카메라가 손톱을 바라보고 있지 않거나 비스듬하게 바라보고 있는 상태에서 이미지를 촬영한 경우에는 해당 이미지에서 손톱의 모양과 색이 제대로 나타나지 않을 수 있다(도 3의 (b) 참조). 그리고, 도 3의 (b)와 같이 손톱의 모습을 정면으로 바라보고 있지 못한 상태에서는, 카메라의 촬영 조건(조리개값, 초점 거리 등)을 아무리 조절하더라도 손톱의 모양과 색을 이미지에 온전히 담을 수 없게 된다.
다음으로, 본 발명의 일 실시예에 따른 이미지 처리부(220)는, 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 촬영 이미지에 포함되는 손톱의 위치 및 형상은 인공지능 기반 인식 모델에 의해 특정될 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 인식 모델에는, CNN(Convolutional Neural Network) 모델, RNN(Recurrent Neural Network) 모델, DBN(Deep Belief Network) 모델, 또는 위 모델들이 결합된 인공신경망 모델 등이 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 인공신경망 모델이 위의 열거된 것에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 인식 모델은 YOLOv5와 같이 객체 감지 및 인식에 특화된 인공지능 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 인식 모델은 손가락 종류별로 각각 따로 손톱을 인식하도록 학습될 수 있고, 이를 위해 학습 데이터를 구성하는 손톱 이미지는 손가락 종류별로 각각 구축될 수 있다. 이렇게 함으로써, 인식 모델이 손 이미지에서 다섯 손가락의 손톱을 각각 따로 인식할 수 있게 되고, 이에 따라 손가락마다 손톱을 따로 촬영하거나 따로 인식할 필요가 없게 된다.
실제로, 어떤 사람의 건강 상태를 나타내는 징후가 열 손가락의 모든 손톱에서 동일한 양상으로 나타나는 것이 아니라 특정 손가락의 손톱에서만 나타나는 경우가 많기 때문에, 손톱 이미지를 이용하여 건강 상태를 정확하게 진단하기 위해서는, 손톱 이미지를 종류별로(손가락별로) 인식하여 따로 수집할 필요가 있고, 나아가, 손톱 이미지를 종류별로(손가락별로) 따로 분석할 필요가 있다.
본 발명의 일 실시예에 따르면, 인식 모델은 손가락 모양, 손가락 위치, 손가락 길이, 손가락 두께, 손톱 모양, 손톱 위치 및 손가락 관절 주름 중 적어도 하나에 관한 데이터를 포함하는 제1 학습 데이터에 기초하여 학습될 수 있다. 또한, 일반인으로부터 수집된 데이터만이 아니라 질병을 가지고 있는 사람으로부터 수집된 데이터도 제1 학습 데이터에 포함될 수 있다.
예를 들면, 본 발명의 일 실시예에 따르면, 다른 손가락들과 현저하게 구별되는 엄지 손가락의 모양 및 위치를 참조하여 엄지 손가락을 특정할 수 있고, 엄지 손가락 부분에서 검출되는 손톱 모양, 관절 주름 수 등 특징에 관한 데이터를 학습 데이터로서 이용하여 인식 모델이 엄지 손톱을 정확하게 인식할 수 있도록 인식 모델을 학습시킬 수 있다.
또한, 예를 들면, 본 발명의 일 실시예에 따르면, 손가락별로 라벨링된 손톱 이미지를 다수 수집하고 그 손톱 이미지에서 나타나는 손톱의 모양에 관한 데이터를 이용하여 인식 모델을 학습시킬 수 있다.
또한, 예를 들면, 본 발명의 일 실시예에 따르면, 손 이미지에서 비교적 손쉽게 인식되는 엄지 손가락의 위치와 왼손/오른손 여부를 기준으로 하여, 검지, 중지, 약지 및 소지를 순서대로 인식할 수 있고, 각 손가락의 관절 위치를 더 참조하여 각 손가락에서 손톱 부분을 인식할 수 있고, 이렇게 인식되어 수집되는 손톱 이미지를 이용하여 인식 모델을 다시 학습시킬 수 있다.
또한, 예를 들면, 본 발명의 일 실시예에 따르면, 손가락의 길이 및 두께에 관한 데이터를 참조하여 손 이미지로부터 손톱 부분을 인식할 수 있고, 피측정자가 손을 펴고 있는 상태인지 아니면 손을 쥐고 있는 상태인지를 판별하여 그 상태에 따라 손가락의 길이 및 두께에 근거한 인식 기준을 달리 적용할 수 있다. 그리고, 이렇게 인식되어 수집되는 손톱 이미지를 이용하여 인식 모델을 다시 학습시킬 수 있다.
다음으로, 본 발명의 일 실시예에 따른 이미지 처리부(220)는, 위의 특정되는 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 촬영 이미지를 회전시킬 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 이미지 처리부(220)는, 위의 기준 시점에서 바라볼 때 손톱을 정면으로 바라보게 되도록 촬영 이미지를 회전시킬 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 이미지 처리부(220)는, 인공지능 기반 추정 모델을 이용하여 피측정인의 손가락 및 손톱 모양을 모델링하고, 그 모델링 결과를 참조하여 피측정자의 손톱 모양 및 위치를 추정할 수 있고, 기준 시점에서 볼 때 위의 추정된 손톱을 정면으로 바라볼 수 있게 되도록 촬영 이미지의 회전 방향 및 회전 각도를 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따라 손톱을 촬영한 이미지를 회전시키는 상황을 예시적으로 나타내는 도면이다.
도 4를 참조하면, 3차원 좌표계의 각 축(X축, Y축 또는 Z축)을 중심으로 하여 촬영 이미지를 회전시킴으로써 기준 시점(420)에서 볼 때 손톱(410)을 정면으로 바라볼 수 있게 할 수 있다.
그리고, 본 발명의 일 실시예에 따른 이미지 처리부(220)는, 위의 회전된 촬영 이미지로부터 손톱에 대응하는 손톱 이미지를 추출할 수 있다. 본 발명의 일 실시예에 따르면, 위와 같이 추출되는 손톱 이미지는 기준 시점에서 손톱을 바라보는 장면에 해당하는 이미지로서, 정면으로 바라본 손톱의 모습을 포함할 수 있다. 이로써, 손톱 이미지에서 나타나는 손톱의 모양 및 색이 전체 데이터에 걸쳐서 균질한 품질로 나타나게 할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위와 같이 회전 및 추출된 손톱 이미지는 인공지능 기반 분석 모델에 대한 학습 데이터 또는 입력 데이터로서 활용될 수 있다.
여기서, 본 발명의 일 실시예에 따른 분석 모델에는, CNN(Convolutional Neural Network) 모델, RNN(Recurrent Neural Network) 모델, DBN(Deep Belief Network) 모델, 또는 위 모델들이 결합된 인공신경망 모델 등이 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 인공신경망 모델이 위의 열거된 것에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
본 발명의 일 실시예에 따르면, 분석 모델은 피측정자의 손톱에 관한 이미지 및 피측정자의 건강 상태에 관한 데이터를 포함하는 제2 학습 데이터에 기초하여 학습될 수 있다.
예를 들면, 피측정자의 손톱 반월판의 색과 피측정자의 건강 상태는 유의미한 상관 관계를 가질 수 있는데, 이러한 상관 관계를 뒷받침하는 학습 데이터에 기초하여 분석 모델이 학습될 수 있다. 구체적으로, 손톱 반월판의 색이 푸른색인 것과 건강 상태가 은 중독 상태인 것이 연관된다는 점을 뒷받침하는 학습 데이터, 손톱 반월판의 색이 붉은색인 것과 건강 상태가 심부전 상태인 것이 연관된다는 점을 뒷받침하는 학습 데이터, 손톱 반월판의 색이 노란색인 것과 건강 상태가 항생제 투여 상태인 것이 연관된다는 점을 뒷받침하는 학습 데이터를 예로 들 수 있다.
또한, 본 발명의 일 실시예에 따르면, 분석 모델은 피측정자의 손톱에 관한 이미지, 피측정자의 다른 신체 부위에 관한 이미지, 피측정자의 건강 상태 및 피측정자의 주변 환경 중 적어도 하나에 관한 데이터를 포함하는 제2 학습 데이터에 기초하여 학습될 수 있다.
실제로, 사람의 건강 상태를 나타내는 징후는 손톱에서만 나타나는 것이 아니라 피측정자의 얼굴 등 다른 신체 부위에서도 나타나는 경우가 많다. 그리고, 사람의 건강 상태는 그 사람을 둘러싸고 있는 주변 환경으로부터 많은 영향을 받기도 한다. 따라서, 본 발명에 따라 피측정자의 손톱에 관한 이미지, 피측정자의 다른 신체 부위에 관한 이미지, 피측정자의 건강 상태, 피측정자의 주변 환경 등에 서로 관련성이 높은 데이터를 복합적으로 이용하여 분석 모델을 학습시킴으로써, 분석 모델의 정확도와 신뢰도를 모두 향상시킬 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 분석 모델의 학습에 이용되는 제2 학습 데이터에는 적어도 두 시점에서 수집된 시계열 데이터가 포함될 수 있고, 분석 모델은 시계열 데이터에 근거하여 학습될 수 있다. 따라서, 본 발명에 따른 분석 모델은 시간의 흐름에 따라 나타나는 피측정자의 건강 상태 변화를 판별하거나 진단할 수도 있게 된다.
구체적으로, 본 발명의 일 실시예에 따르면, 분석 모델은 특정 피측정자에 대하여 수집되는 손톱에 관한 이미지 및 피측정자의 다른 신체 부위에 관한 이미지 중 적어도 하나를 참조하여 상기 특정 피측정자의 건강 상태에 관한 데이터를 출력할 수 있다.
예를 들면, 건강 상태가 양호한 경우에 동글동글한 얼굴과 동글동글한 손이 연관된다는 점을 뒷받침하는 학습 데이터에 기초하여 분석 모델이 학습된 경우를 가정할 수 있다. 이러한 경우에, 피측정자의 얼굴 데이터에서 각진 턱선, 날카로운 광대각, 눈썹 뼈 돌출 등 뾰족한 얼굴을 나타내는 특징이 검출되고 피측정자의 손 데이터에서 통통함 등 동글동글한 손을 나타내는 특징이 검출되는 것에 대응하여, 본 발명의 일 실시예에 따른 분석 모델은 피측정자가 폐 또는 신장에 이상이 있다는 취지의 판별 또는 진단 결과를 출력할 수 있다. 또한, 본 발명의 일 실시예에 따른 분석 모델은 시계열 데이터를 분석함으로써 피측정자의 건강 상태의 시간에 따른 변화도 추적할 수 있다. 여기서, 얼굴 데이터에서 나타나는 턱선, 광대각, 눈썹 뼈 돌출 등은 수치화될 수 있고, 손 데이터에서 나타나는 통통함, 관절 뼈의 돌출 등도 수치화될 수 있다.
다른 예를 들면, 간 질환(간경화 등)이 있는 경우에 테리손톱(Terry's nail) 증상과 얼굴 또는 눈 부위 황달 증상이 연관된다는 점을 뒷받침하는 학습 데이터에 기초하여 분석 모델이 학습된 경우를 가정할 수 있다. 이러한 경우에, 피측정자의 얼굴 데이터에서 황달 증상을 나타내는 특징이 검출되고 피측정자의 손톱 데이터에서 테리손톱을 나타내는 특징이 검출되는 것에 대응하여, 본 발명의 일 실시예에 따른 분석 모델은 피측정자가 간경화 등 간 질환을 가지고 있을 가능성이 있다는 취지의 판별 또는 진단 결과를 출력할 수 있다.
한편, 본 발명의 일 실시예에 따른 통신부(230)는 이미지 획득부(210) 및 이미지 처리부(220)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(240)는 이미지 획득부(210), 이미지 처리부(220) 및 통신부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 분석 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 분석 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이미지 획득부(210), 이미지 처리부(220) 및 통신부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 손톱 분석을 위해 이미지를 처리하는 방법으로서,
    둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하는 단계,
    상기 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하는 단계, 및
    상기 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 상기 촬영 이미지를 회전시키는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 촬영 이미지에 포함되는 상기 손톱의 위치 및 형상은 인공지능 기반 인식 모델에 의하여 특정되는
    방법.
  3. 제1항에 있어서,
    상기 회전 단계에서, 상기 시점에서 이미지를 바라볼 때 상기 손톱을 정면으로 바라보게 되도록 상기 촬영 이미지를 회전시키는
    방법.
  4. 제1항에 있어서,
    상기 회전된 촬영 이미지로부터 상기 손톱에 대응하는 손톱 이미지를 추출하는 단계를 더 포함하는
    방법.
  5. 제4항에 있어서,
    상기 손톱 이미지는 인공지능 기반 분석 모델에 대한 학습 데이터 또는 입력 데이터로서 활용되는
    방법.
  6. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  7. 손톱 분석을 위해 이미지를 처리하는 시스템으로서,
    둘 이상의 카메라에 의해 촬영되는 촬영 이미지를 획득하는 이미지 획득부, 및
    상기 촬영 이미지에 포함되는 손톱의 위치 및 형상을 특정하고, 상기 손톱의 위치 및 형상과 손톱 분석의 기준이 되는 시점(視點)을 기준으로 상기 촬영 이미지를 회전시키는 이미지 처리부를 포함하는
    시스템.
  8. 제7항에 있어서,
    상기 촬영 이미지에 포함되는 상기 손톱의 위치 및 형상은 인공지능 기반 인식 모델에 의하여 특정되는
    시스템.
  9. 제7항에 있어서,
    상기 이미지 처리부는, 상기 시점에서 이미지를 바라볼 때 상기 손톱을 정면으로 바라보게 되도록 상기 촬영 이미지를 회전시키는
    시스템.
  10. 제7항에 있어서,
    상기 이미지 처리부는, 상기 회전된 촬영 이미지로부터 상기 손톱에 대응하는 손톱 이미지를 추출하는
    시스템.
  11. 제10항에 있어서,
    상기 손톱 이미지는 인공지능 기반 분석 모델에 대한 학습 데이터 또는 입력 데이터로서 활용되는
    시스템.
PCT/KR2023/007662 2022-06-03 2023-06-02 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2023234757A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0068548 2022-06-03
KR20220068548 2022-06-03
KR10-2022-0125781 2022-09-30
KR1020220125781A KR20230168094A (ko) 2022-06-03 2022-09-30 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
WO2023234757A1 true WO2023234757A1 (ko) 2023-12-07

Family

ID=89025229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007662 WO2023234757A1 (ko) 2022-06-03 2023-06-02 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
WO (1) WO2023234757A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
KR20120093977A (ko) * 2009-11-13 2012-08-23 이마그노시스 가부시키가이샤 의료용 3차원 화상의 표시 방향 조정 장치 및 조정 프로그램
KR20200042197A (ko) * 2018-10-15 2020-04-23 정원주 딥러닝을 이용한 얼굴 매칭 방법 및 장치
KR20210009661A (ko) * 2019-07-17 2021-01-27 한국광기술원 조갑질환 검출 장치 및 방법
KR20220002995A (ko) * 2019-04-30 2022-01-07 로레알 복수의 객체를 추적하기 위해 컨볼루션 신경망을 사용하는 이미지 프로세싱

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
KR20120093977A (ko) * 2009-11-13 2012-08-23 이마그노시스 가부시키가이샤 의료용 3차원 화상의 표시 방향 조정 장치 및 조정 프로그램
KR20200042197A (ko) * 2018-10-15 2020-04-23 정원주 딥러닝을 이용한 얼굴 매칭 방법 및 장치
KR20220002995A (ko) * 2019-04-30 2022-01-07 로레알 복수의 객체를 추적하기 위해 컨볼루션 신경망을 사용하는 이미지 프로세싱
KR20210009661A (ko) * 2019-07-17 2021-01-27 한국광기술원 조갑질환 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2020235939A2 (ko) 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
WO2020251217A1 (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
CN113288069A (zh) 用于生理监测的系统、方法和计算机程序产品
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
WO2011162548A2 (ko) 홍채 진단을 통한 건강 관리 시스템 및 방법
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2020045987A1 (ko) 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2022068650A1 (zh) 指示听诊位置的方法及设备
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2023234757A1 (ko) 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2024005542A1 (ko) 주름 검출을 통해 질환을 예측하는 방법 및 장치
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2021066392A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2023234758A1 (ko) 인공지능 모델을 이용하여 손톱을 분석하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023038172A1 (ko) 멀티 모달 센서를 이용한 심박수 측정이 가능한 출입 통제 인증 시스템 및 방법
KR20230168094A (ko) 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23816416

Country of ref document: EP

Kind code of ref document: A1