KR102041906B1 - API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device - Google Patents

API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device Download PDF

Info

Publication number
KR102041906B1
KR102041906B1 KR1020190025696A KR20190025696A KR102041906B1 KR 102041906 B1 KR102041906 B1 KR 102041906B1 KR 1020190025696 A KR1020190025696 A KR 1020190025696A KR 20190025696 A KR20190025696 A KR 20190025696A KR 102041906 B1 KR102041906 B1 KR 102041906B1
Authority
KR
South Korea
Prior art keywords
image
facial skin
facial
skin disease
class
Prior art date
Application number
KR1020190025696A
Other languages
Korean (ko)
Inventor
장현재
Original Assignee
주식회사 에프앤디파트너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프앤디파트너스 filed Critical 주식회사 에프앤디파트너스
Priority to KR1020190025696A priority Critical patent/KR102041906B1/en
Application granted granted Critical
Publication of KR102041906B1 publication Critical patent/KR102041906B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

The present invention relates to an API engine for discrimination of a facial skin disease based on artificial intelligence for discrimination of a skin disease using an image photographed by a facial skin photographing device. More specifically, the API engine for discrimination of a facial skin disease based on artificial intelligence for discrimination of a skin disease using an image photographed by a facial skin photographing device uses one among a two-dimensional convolutional neural network (CNN) and a virtual three-dimensional convolutional neural network to classify facial skin disease data set image information to be learned into preset classes, then learns the facial skin disease data set image information to store and manage the facial skin disease data set image information, compares face recognition map information acquired from a facial skin photographing device and the facial skin disease data set image information to classify the facial skin disease data set image information into a corresponding class by face coordinate, refers to labeling information stored in a corresponding user labeling information storage module to transmit classified class result values to a corresponding user terminal, and supplies the classified result values to an image-based facial skin disease AI deep learning automatic learning unit (200) to relearn the facial skin disease data set image information by the image-based facial skin disease AI deep learning automatic learning unit (100).

Description

안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진{API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device}API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device}

본 발명은 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진에 관한 것으로서, 더욱 상세하게는 학습할 안면 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 안면피부촬영장치로부터 획득한 안면 인식 맵 정보와 안면 피부 질환 데이터 세트 이미지 정보를 비교하여 안면 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진에 관한 것이다.The present invention relates to an artificial intelligence-based facial skin disease API engine for determining skin diseases using an image image photographed through a facial skin imaging apparatus, and more specifically, to learn facial skin disease data set image information. After classifying into a preset class using any one of 2D convolutional neural network, 3D convolutional neural network, or virtual 3D convolutional neural network (CNN), it is learned, stored and managed. Compare the facial recognition map information acquired from the device with the facial skin disease data set image information and classify them into the corresponding class by facial coordinates, and classify the result of the classified class by referring to the labeling information stored in the user labeling information storage module. While transmitting to the terminal, at the same time to the image-based facial skin diseases AI deep learning automatic learning unit 200 AI-based facial skin disease that determines skin disease by using image images taken by facial skin imaging device to re-learn by image-based facial skin disease AI deep learning automatic learning unit (100) It is related with the identification API engine.

최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.Recently, a technology called machine learning or machine learning has been applied to various fields from software technology to finance and economics. In particular, it has become a core technology leading the rapid development of computer vision and image processing.

또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.In recent years, machine learning techniques have been widely used in the field of medical diagnosis including medical image analysis and in the field of general medical image analysis such as extraction and segmentation of organs or cancer sites, image matching, and image retrieval from medical images.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.This machine learning technology is a field of artificial intelligence (AI), which refers to algorithms and related fields that can analyze patterns or properties from given data and perform analysis on new data.

그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.In recent years, as the machine learning technique of deep learning has emerged as a core technology, interest in related technologies and application fields is increasing.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.Deep learning is a model of an artificial neural network that mimics the nervous system of a living organism.If the existing artificial neural network is composed of thin layers of neurons, deep learning can deeply stack the neuron model. It is a technique to apply a model that increases the learning ability of neural networks by raising.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.The concept of deep learning as a multi-layered neural network was proposed in the 1970s, but it was stagnant due to the complexity of learning calculations, but its performance has been improved through various studies. The demand is growing rapidly with outstanding results in the field.

일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다. For example, in order to improve the efficiency of image reading and improve the productivity of the diagnostic process in analyzing dozens of medical image slices per patient during an MRI scan, a medical image diagnosis assistance system that can be used by machine learning based on actual data is required. .

또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.In addition, the data-based artificial intelligence system generated by applying all the data used by doctors for diagnosis in the medical field, that is, various clinical information other than the medical image, has improved diagnostic performance compared to the medical machine learning algorithms learned only by the medical image. You can expect.

이러한 요구에 따른 종래 기술 중 하나는 대한민국 등록특허공보 10-1623431호(20160523)에 기재된 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템이다. One of the related arts according to such a request is a pathological diagnosis classification apparatus of a medical image and a pathological diagnosis system using the same as described in Korean Patent Publication No. 10-1623431 (20160523).

이 종래 기술은 세포염색의 현미경 사진 등을 입력으로 받아 병리 진단을 수행하는 것으로서, 의료영상을 입력으로 받아 특징 추출부에 의한 특징 데이터를 추출하고 특징 벡터 변환을 통한 병리 진단 분류 결과를 제공하고 있다. The conventional technology is to perform pathological diagnosis by receiving a microscopic photograph of cell staining as an input, extracting feature data by a feature extraction unit by receiving a medical image, and providing a pathological diagnosis classification result by transforming a feature vector. .

그러나, 종래 기술 대부분은 단순히 세포염색의 현미경 사진을 입력으로 받아 특징을 추출하여 병리 진단을 수행함에 있어서, 임상정보에서 추출한 특징 정보를 반영하지 않기 때문에 병변 진단 성능을 높이는데 한계가 있다.However, most of the prior arts have limitations in improving lesion diagnosis performance since they do not reflect feature information extracted from clinical information in performing pathological diagnosis by simply taking a microscopic photograph of cell staining as an input.

또 다른 종래 기술은 대한민국 공개특허공보 제10-2014-0018748(20140213)에 기재된 기술로서, 이 기술은 의료 영상에서 TAS(Threshold Adjacency Statistics) 특징점을 이용하여 병변의 형태학적 특징과 질감을 신속 정확하게 분석한다. Another conventional technique is a technique described in Korean Patent Laid-Open Publication No. 10-2014-0018748 (20140213), which rapidly and accurately analyzes morphological features and textures of lesions using threshold adjacency statistics (TAS) feature points in medical images. do.

그러나, 종래 기술은 기계학습 알고리즘 중의 어느 하나를 통해 학습된 모듈에 적용하여 병변의 패턴을 분류하고 분석하는 것을 제공할 뿐, 딥러닝 기반 의료영상의 특징과 머신러닝 기반 임상정보의 특징을 모두 추출하여 학습시키는 기법을 적용하고 있지 않으므로 여전히 진단 성능을 높이는데 한계가 있다.However, the conventional technology only provides classification and analysis of lesion patterns by applying them to modules learned through any one of the machine learning algorithms, and extracts both features of deep learning-based medical images and features of machine learning-based clinical information. Because it does not apply the learning method, there is still a limit to increase the diagnostic performance.

한편, 최근에는 미에 대한 관심이 증가하면서, 사용자 얼굴의 피부 미용에 대한 관심이 높아지고 있다. Meanwhile, in recent years, as interest in beauty has increased, interest in skin beauty of a user's face has increased.

특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공, 여드름 등) 등을 분석하는 전자 장치가 개발되고 있다.In particular, electronic devices for analyzing various skin problems (for example, wrinkles, pores, acne, etc.) on the user's face by photographing the skin of the user's face have been developed.

종래의 피부 분석을 위한 전자 장치는 사용자 얼굴이 전자 장치에 넣어진 상태에서 기설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개값, 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하였다. BACKGROUND ART A conventional electronic device for skin analysis photographs a user's face based on preset photographing parameters (eg, light intensity, direction, aperture value, shutter speed, etc.) while the user's face is inserted into the electronic device.

즉, 종래의 피부 분석을 위한 전자 장치는 외부 조명을 차단하고, 전자 장치 내 빛 반사를 통해 사용자 얼굴 전면에 조명을 고르게 퍼지게 하여 사용자 얼굴을 촬영하였다.That is, the conventional electronic device for skin analysis blocks the external light and evenly spreads the light on the entire face of the user through light reflection in the electronic device to photograph the user's face.

한편, 지속적으로 안면(얼굴) 피부 혹은 피부에 대한 이미지를 데이터베이스화하여 실시간으로 갱신하는 API엔진 개발이 필요한 실정이며, 이를 활용하여 판별을 요청하는 피부 이미지에 대한 판별 결과와 이미지를 재차 제공하여 재학습하여 피부 질환 판별 성능을 더욱 향상시킬 수 있는 기술이 필요하게 되었다.On the other hand, it is necessary to develop an API engine that continuously updates the database of facial (face) skin or skin images in real time, and utilizes this to re-provide the identification results and images for skin images requesting determination. There is a need for a technique that can further improve skin disease discrimination performance by learning.

대한민국등록특허공보 제10-1623431호(2016.05.23)Republic of Korea Patent Publication No. 10-1623431 (2016.05.23) 대한민국공개특허공보 제10-2014-0018748호(2014.02.13)Republic of Korea Patent Publication No. 10-2014-0018748 (2014.02.13)

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 이미지기반안면피부질환AI딥러닝자동학습부(200)를 구성하여 학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하며, 안면피부촬영장치(100)로부터 제공된 안면 진단자의 얼굴 피부가 피부 트러블, 피부 색소 질환, 감염성 질환 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공함과 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)에 의해 재학습할 수 있도록 하는데 있다.Therefore, the present invention has been proposed in view of the problems of the prior art as described above, and the first object of the present invention is to configure the image-based facial skin disease AI deep learning automatic learning unit 200 to learn facial skin disease data set image Acquire information and convert it into data that can be pre-set class classification using any one of 2D convolutional neural network, 3D convolutional neural network, or virtual 3D convolutional neural network (CNN). After judging and learning the class with the highest numerical value by using the numerical calculation function, the processed facial skin disease data set image information is stored and processed in the corresponding class field of the class information storage module. Facial diagnoser's face skin provided from) belong to skin trouble, skin pigment disease, infectious disease Determine and provide this to the user terminal and at the same time provide the image-based facial skin disease AI deep learning automatic learning unit 200 to re-learn by the image-based facial skin disease AI deep learning automatic learning unit 200. .

본 발명의 제2 목적은 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보에 매칭된 다양한 파장대의 안면 피부 질환 데이터 이미지 정보들을 클래스정보저장모듈로부터 추출하여 의사단말기로 제공함으로써, 전문의로 하여금 클래스 판별시, 변별 정확도를 높일 수 있도록 하는데 있다.A second object of the present invention is to extract the facial skin disease data image information of various wavelengths matched to the facial skin disease data set image information present in the marginal region from the class information storage module and provide it to the doctor terminal, thereby allowing a specialist In discrimination, it is possible to increase the discrimination accuracy.

본 발명의 제3 목적은 타켓이미지안면좌표별클래스판별부(300)를 구성함으로써, 안면 피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부 트러블 가중치값, 피부 색소 질환 가중치값, 감염성 질환 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부 트러블, 피부 색소 질환, 감염성 질환 중 어느 하나로 판별되도록 하는데 있다.The third object of the present invention is to configure the target image facial coordinate class discrimination unit 300, the weight value calculated for the image image obtained in order to determine the facial skin disease skin trouble weight value, skin pigment disease weight value In addition, the weight value having a larger value than the sum of two weight values among infectious disease weight values is determined to be one of skin trouble, skin pigment disease, and infectious disease.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진은,In order to achieve the problem to be solved by the present invention, an artificial intelligence-based facial skin disease discrimination API engine for determining skin diseases by using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention ,

안면 진단자의 얼굴 피부 상태를 촬영하여 생성된 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(200)로 제공하기 위한 안면피부촬영장치(100)와,A facial skin imaging apparatus 100 for providing a facial recognition map generated by photographing a facial skin condition of a facial diagnoser to a target image classifying unit 200 according to a target image;

학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반안면피부질환AI딥러닝자동학습부(200)와,It is possible to classify pre-set class using any two-dimensional composite product neural network, three-dimensional composite product neural network, or virtual three-dimensional composite product neural network (CNN) After converting the data into the data, using the numerical calculation function, the class having the highest numerical value is determined and learned, and the processed facial skin disease data set image information is stored in the corresponding class field of the class information storage module. Image-based facial skin diseases AI deep learning automatic learning unit to

안면피부촬영장치(100)로부터 획득한 안면 인식 맵 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 안면 좌표별 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 안면 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지안면좌표별클래스판별부(300)를 포함한다.Labeling is performed on the face recognition map information obtained from the facial skin imaging apparatus 100 and stored in the user labeling information storage module, and the face recognition map information is stored in a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional image. After extracting feature points by facial coordinates by convolution using any one of a convolutional neural network (CNN), the facial skin diseases data set stored in the class data storage module is compared with the extracted feature points to compare the facial Classified by the corresponding class by coordinates, and transmits the classified class result value to the corresponding user terminal by referring to the labeling information stored in the corresponding user labeling information storage module, and at the same time, the AI-based deep learning automatic learning unit for image-based facial diseases To provide re-learning by the AI-based deep learning automatic learning unit (100) for image-based facial skin diseases Target image includes a facial coordinates for each class discrimination unit (300).

본 발명에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진은, An artificial intelligence-based facial skin disease identification API engine for determining skin diseases by using an image image photographed through a facial skin imaging apparatus according to the present invention,

이미지기반안면피부질환AI딥러닝자동학습부(200)를 구성하여 학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하며, 안면피부촬영장치(100)로부터 제공된 안면 진단자의 얼굴 피부가 피부 트러블, 피부 색소 질환, 감염성 질환 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공함으로써, 정확한 안면 피부 질환의 종류가 무엇인지를 확인할 수 있는 효과를 발휘한다.The image-based facial skin disease AI deep learning automatic learning unit 200 is configured to acquire the facial skin disease data set image information to be learned, two-dimensional composite product neural network, three-dimensional composite product neural network or virtual three-dimensional composite product neural network (Convolutional Neural Network, CNN) is converted into data that can be classified into a class set in advance, and the class having the highest numerical value is determined by using a numerical calculation function. The disease data set image information is stored and processed in a corresponding class field of the class information storage module, and it is determined whether the face skin of the facial diagnoser provided from the facial skin imaging apparatus 100 belongs to a skin trouble, skin pigment disease, or infectious disease. Providing to the user terminal to check what kind of facial skin diseases It can be effective.

또한, 이미지기반안면피부질환AI딥러닝자동학습부(200)로 상기 새로운 안면 피부 질환 이미지를 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)에 의해 재학습할 수 있도록 함으로써, 안면 피부 질환의 판별 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.In addition, by providing the new facial skin disease image to the image-based facial skin disease AI deep learning automatic learning unit 200 to be re-learned by the image-based facial skin disease AI deep learning automatic learning unit 200, facial It is effective to further improve the discrimination performance of skin diseases.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과와 정확한 안면 피부 질환의 종류를 분류할 수 있는 효과를 발휘한다.That is, after learning through artificial intelligence learning in advance, new images are continuously learned to continuously improve diagnosis accuracy and to classify accurate types of facial skin diseases.

또한, 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보에 매칭된 다양한 파장대의 안면 피부 질환 데이터 이미지 정보들을 클래스정보저장모듈로부터 추출하여 의사단말기로 제공함으로써, 전문의로 하여금 클래스 판별시, 변별 정확도를 높일 수 있는 효과를 제공한다.In addition, by extracting the facial skin disease data image information of various wavelengths matched to the facial skin disease data set image information present in the marginal region from the class information storage module to provide to the doctor terminal, the expert to discriminate when class determination Provides the effect to increase.

이는 학습할 모든 이미지 데이터를 전문의로 하여금 모두 판별하도록 할 경우에, 인공지능학습보다 정확도가 떨어지는 문제점도 발생할 수 있게 되므로 이를 개선하기 위하여 모든 학습할 이미지들을 전문의에게 제공하지 않고, 인공지능 학습 후, 마진성 영역에 존재하는 이미지들에 대하여 전문의를 통해 판별할 수 있도록 하여 모든 학습할 이미지들을 사전에 전문의에 의해 판별하도록 할 경우의 문제점인 판별 속도의 문제점을 해결하면서 동시에 애매모호한 이미지들만 전문의로 하여금 정밀한 판별을 요청할 수 있으므로 안면 피부질환 종류의 신속한 판별 효과와 판별 정확도를 높이는 효과를 제공하게 된다.This can cause problems that are less accurate than artificial intelligence learning when the specialist determines all the image data to be learned. Therefore, after improving the artificial intelligence learning without providing all the images to be learned, The doctor can determine the images existing in the margin area by solving the problem of discrimination speed, which is a problem when all the images to be learned are identified by the specialist in advance, and at the same time, only the ambiguous images allow the specialist to Since precise discrimination can be requested, it provides a quick discrimination effect and a high discrimination accuracy of facial skin diseases.

또한, 타켓이미지안면좌표별클래스판별부(300)를 구성함으로써, 안면 피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부 트러블 가중치값, 피부 색소 질환 가중치값, 감염성 질환 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부 트러블, 피부 색소 질환, 감염성 질환 중 어느 하나로 판별되도록 함으로써, 학습 변별력을 높이는 효과와 변별 속도를 높이는 효과를 발휘하게 된다.In addition, by configuring the target image facial coordinates class discrimination unit 300, the weight value calculated for the image image obtained to determine the facial skin disease is the skin trouble weight value, skin pigment disease weight value, infectious disease weight value The weight value having a value larger than the sum of two weight values is determined to be one of skin trouble, skin pigment disease, and infectious disease, thereby increasing the learning discrimination effect and increasing the discrimination speed.

도 1은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 구성도.
도 2는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 데이터 세트 이미지 예시도.
도 3은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 이미지기반안면피부질환AI딥러닝자동학습부(200) 블록도.
도 4는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 안면 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시도.
도 5는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 변환된 이미지 데이터를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하는 예시도.
도 6은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 클래스 분류가 가능한 데이터를 softmax라는 함수를 사용하여 3개의 class의 합이 1이 나오게 변경하는 예시도.
도 7은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 각 클래스의 정확도를 계산하고 argmax라는 함수를 사용하여 가장 높은 수치를 가진 클래스를 판단하는 예시도.
도 8은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 안면피부촬영장치가 안면피부진단스캐너(100)일 경우에 블록도.
도 9는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 3차원 입체 영상을 이용하여 화면에 출력되는 예시도.
도 10은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 타켓이미지안면좌표별클래스판별부(300) 블록도.
도 11은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 Convolution 연산 예시도.
도 12는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 3 x 3 필터에 따른 영상 예시도.
도 13은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 Convolution 절차도.
도 14는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 Pooling 레이어 모식도.
도 15는 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 Mobilenet V2 실행 순서도.
도 16은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 Mobilenet V2의 구조도.
도 17은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 56 x 56 이미지에 대한 처리 순서도.
도 18은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 마진성 영역을 나타낸 예시도.1 is a block diagram of an artificial intelligence-based facial skin disease identification API engine for determining a skin disease by using an image image taken by the facial skin imaging apparatus according to an embodiment of the present invention.
Figure 2 is an illustration of a data set image of the artificial intelligence-based facial skin disease identification API engine for determining skin diseases using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention.
Figure 3 is an AI-based deep learning automatic image-based facial skin diseases of the AI-based API for determining facial skin diseases using skin images taken by the facial skin imaging apparatus according to an embodiment of the present invention Learning unit 200 block diagram.
4 is a CNN image of facial skin disease data set of an artificial intelligence-based facial skin disease identification API engine for determining skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention; An example to convert according to the specification of the structure.
5 is a class through the convolution of the converted image data of the artificial intelligence-based facial skin disease identification API engine for determining skin diseases using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention Illustrated diagram of converting data into classifiable data
6 is a function called softmax that classifies data of an API engine for discriminating facial skin diseases based on an artificial intelligence that determines skin diseases using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention. An example of changing the sum of three classes to use 1 by using.
7 is a calculation of the accuracy of each class of the artificial intelligence-based facial skin disease identification API engine to determine the skin disease using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention called argmax An example of determining the class with the highest number using a function.
8 is a facial skin diagnostic scanner for a facial skin imaging apparatus of an API engine for discriminating facial diseases based on an artificial intelligence to determine skin diseases using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention; Block diagram if (100).
9 is a screen using a three-dimensional stereoscopic image of an artificial intelligence-based facial skin disease identification API engine for determining skin diseases by using an image taken by a facial skin imaging apparatus according to an embodiment of the present invention. Illustrated output.
10 is a class image discriminating unit according to the target image face coordinates of an API engine for discriminating facial diseases based on an artificial intelligence to determine skin diseases using an image image photographed through a facial skin photographing apparatus according to an embodiment of the present invention; 300) block diagram.
11 is a diagram illustrating a convolution operation of an API engine for discriminating facial skin diseases based on an artificial intelligence to determine skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention.
12 is an exemplary view of the image according to the 3 x 3 filter of the API engine for facial skin disease determination based on artificial intelligence to determine the skin disease using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention .
FIG. 13 is a convolution procedure diagram of an API engine for discriminating facial skin diseases based on an artificial intelligence to determine skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention. FIG.
Figure 14 is a schematic diagram of the pooling layer of the artificial intelligence-based facial skin disease identification API engine to determine the skin disease using the image taken by the facial skin imaging apparatus according to an embodiment of the present invention.
15 is a flowchart illustrating an execution procedure of Mobilenet V2 of an API engine for facial skin disease determination based on artificial intelligence that determines skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention.
16 is a structural diagram of Mobilenet V2 of the artificial intelligence-based facial skin disease identification API engine for determining skin diseases using the image taken by the facial skin imaging apparatus according to an embodiment of the present invention.
FIG. 17 is a flowchart illustrating processing of a 56 x 56 image of an API engine for discriminating facial skin diseases based on an artificial intelligence to determine skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention. FIG.
18 is an exemplary view showing a marginal region of an artificial intelligence-based facial skin disease determination API engine for determining skin diseases using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following merely illustrates the principles of the invention. Therefore, those skilled in the art, although not explicitly described or illustrated herein, can embody the principles of the present invention and invent various devices that fall within the spirit and scope of the present invention.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and embodiments listed herein are in principle clearly intended to be understood only for the purpose of understanding the concept of the invention and are not to be limited to the specifically listed embodiments and states. do.

이하, 본 발명에 의한 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, the present invention will be described in detail through an embodiment of an artificial intelligence-based facial skin disease identification API engine for determining a skin disease by using an image image photographed by the facial skin imaging apparatus.

도 1은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 구성도이다.1 is a block diagram of an API engine for discriminating facial skin diseases based on an artificial intelligence to determine skin diseases by using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진(1000)은, 안면피부촬영장치(100), 이미지기반안면피부질환AI딥러닝자동학습부(200), 타켓이미지안면좌표별클래스판별부(300)를 포함하여 구성되게 된다.As shown in FIG. 1, an artificial intelligence-based facial skin disease identification API engine 1000 for determining skin diseases by using an image image photographed through a facial skin imaging apparatus includes a facial skin imaging apparatus 100, The image-based facial skin disease AI deep learning automatic learning unit 200, and target image facial coordinate class identification unit 300 is configured to include.

구체적으로 설명하면, 상기 안면피부촬영장치(100)는 안면 진단자의 얼굴 피부 상태를 촬영하여 생성된 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(200)로 제공하게 된다.In detail, the facial skin imaging apparatus 100 may provide the facial recognition map generated by photographing the facial skin state of the facial diagnoser to the target image class coordinate identification unit 200.

그리고, 이미지기반안면피부질환AI딥러닝자동학습부(200)는 학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 된다.In addition, the image-based facial skin disease AI deep learning auto-learning unit 200 acquires a facial skin disease data set image information to learn, and is a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional composite product neural network (Convolutional Neural). Network, CNN) is converted into data that can be classified into a class set in advance, and the class having the highest numerical value is determined by using a numerical calculation function. The disease data set image information is stored in a corresponding class field of the class information storage module.

좀 더 구체적으로 설명하자면, 상기 이미지기반안면피부질환AI딥러닝자동학습부(200)는 학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 CNN 구조의 스펙에 맞추어 변환시킨 후, 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하며, 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하고, 학습한 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 된다.More specifically, the image-based facial skin disease AI deep learning automatic learning unit 200 acquires the facial skin disease data set image information to be learned and converts it to the specification of the CNN structure, and then a two-dimensional composite product neural network. Using a 3D convolutional neural network or a virtual 3D convolutional neural network (CNN) to convert the data into a class that can be set in advance, and use the softmax function to Change to 1, calculate the accuracy of each class, use the argmax function to determine and learn the class with the highest value, and save the learned skin disease data set image information in the relevant class field of the class information storage module. Will be processed.

즉, 도 4와 같은 피부 트러블 정보(여드름, 피지, 모공, 주름) 피부 색소 질환(색소 침착) 정보, 감염성 질환(농가진, 봉소염, 대상포진, 사마귀, 물사마귀) 정보 등과 같은 복수 개의 학습할 피부 질환 데이터 세트 이미지 정보를 이미지검색엔진(10)을 통해 검색하고, 해당 검색된 정보를 이미지기반안면피부질환AI딥러닝자동학습부(200)에서 획득하여 합성곱 신경망을 이용하여 학습하여 클래스정보저장모듈에 저장하게 되는 것이다.That is, a plurality of skin to be studied such as skin trouble information (acne, sebum, pores, wrinkles) skin pigment disease (pigmentation) information, infectious diseases (impetigo, cellulitis, shingles, warts, warts) information as shown in FIG. The disease data set image information is retrieved through the image search engine 10, and the acquired information is acquired from the image-based facial skin disease AI deep learning automatic learning unit 200 and learned using a composite product neural network to class information storage module. Will be stored in.

이때, 특징적인 사항으로서, 학습할 안면 피부 질환 데이터 세트 이미지 정보는,At this time, as a feature, the facial skin disease data set image information to be learned is

피부 트러블 정보, 피부 색소 질환 정보, 감염성 질환 이미지 정보 중 적어도 2개 이상의 이미지 정보를 포함하는 것을 특징으로 하고 있다.And at least two or more image information among skin trouble information, skin pigment disease information, and infectious disease image information.

또한, 상기 이미지기반안면피부질환AI딥러닝자동학습부(200)는,In addition, the image-based facial skin disease AI deep learning automatic learning unit 200,

학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.In order to acquire facial skin disease data set image information to be learned, the apparatus may be directly connected to a camera to receive an input image or to receive and input from a wireless network or an internet network.

즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 이미지 검색 엔진에 의하여 각종 영상 이미지를 획득할 수 있게 된다.That is, it is possible to receive a direct input image through the camera in conjunction with the camera, it is possible to obtain various image images by the image search engine using a wireless network or the Internet network.

그리고, 상기 타켓이미지안면좌표별클래스판별부(300)는, In addition, the target class face discrimination unit 300 according to the target image,

안면피부촬영장치(100)로부터 획득한 안면 인식 맵 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 안면 좌표별 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 안면 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있는 기능을 제공하게 된다.Labeling is performed on the face recognition map information obtained from the facial skin imaging apparatus 100 and stored in the user labeling information storage module, and the face recognition map information is stored in a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional image. After extracting feature points by facial coordinates by convolution using any one of a convolutional neural network (CNN), the facial skin diseases data set stored in the class data storage module is compared with the extracted feature points to compare the facial Classified by the corresponding class by coordinates, and transmits the classified class result value to the corresponding user terminal by referring to the labeling information stored in the corresponding user labeling information storage module, and at the same time, the AI-based deep learning automatic learning unit for image-based facial diseases By re-learning by the image-based facial skin diseases AI deep learning automatic learning unit (100) I am provided.

즉, 사용자 인증을 수행하는 기능, 해당 사용자로부터 안면 피부 질환 판단을 위한 피부 질환 데이터 이미지 정보를 획득하는 기능, 획득된 이미지 정보에 라벨링을 수행하여 저장하는 기능, 합성곱 신경망을 이용하여 클래스를 분류하는 기능, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하는 기능, 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)를 통해 재학습시키는 기능 등을 수행하게 된다.That is, classify a class using a function of performing user authentication, a function of acquiring skin disease data image information for determining a facial skin disease from a corresponding user, a function of labeling and storing the acquired image information, and a composite product neural network Function, classifying class result value by referring to the labeling information stored in the user labeling information storage module to send to the user terminal, image-based facial diseases AI Deep learning automatic learning unit by providing the image-based face The skin disease AI deep learning automatic learning unit 200 to perform a function such as re-learning.

도 3은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 이미지기반안면피부질환AI딥러닝자동학습부(200) 블록도이다.3 is an AI-based deep learning automatic image-based facial skin diseases of the API engine for facial skin disease determination based on artificial intelligence to determine skin diseases using the image image taken by the facial skin imaging apparatus according to an embodiment of the present invention Learning unit 200 is a block diagram.

도 3에 도시한 바와 같이, 이미지기반안면피부질환AI딥러닝자동학습부(200)는,As shown in Figure 3, the image-based facial skin disease AI deep learning automatic learning unit 200,

학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하기 위한 안면피부질환데이터세트이미지정보획득모듈(210);A facial skin disease data set image information acquisition module 210 for obtaining facial skin disease data set image information to be learned;

상기 획득된 안면 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 안면피부질환데이터세트이미지변환모듈(220);A facial skin disease data set image conversion module 220 for converting the acquired facial skin disease data set image information according to a specification of a CNN structure;

상기 변환된 안면 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하기 위한 클래스별분류데이터변환모듈(230);Pre-classified data can be classified using the converted facial skin disease data set image information using any one of a 2D compound product neural network, a 3D compound product neural network, or a virtual 3D compound product neural network (CNN). Classified data conversion module 230 for class to convert to;

상기 클래스 분류가 가능한 데이터를 softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하기 위한 함수변경모듈(240);A function change module 240 for changing the classifiable data such that a sum of a class set in advance is 1 by using a softmax function;

각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하기 위한 클래스판단모듈(250);A class determination module 250 for calculating an accuracy of each class and determining a class having the highest numerical value by using an argmax function;

상기 학습할 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(260);A class information processing module 260 for storing and processing the facial skin disease data set image information to be learned in a corresponding class field of a class information storage module;

상기 클래스별 학습한 피부 질환 데이터 세트 이미지 정보를 저장하고 있는 클래스정보저장모듈(270);을 포함하여 구성되게 된다.And a class information storage module 270 for storing the learned skin disease data set image information for each class.

구체적으로 설명하면, 안면피부질환데이터세트이미지정보획득모듈(210)은 학습할 피부 질환 데이터 세트 이미지 정보를 획득하게 된다.Specifically, the facial skin disease data set image information acquisition module 210 acquires skin disease data set image information to be learned.

예를 들어, n개의 Data set 이미지를 준비하는데, 사전에 설정된 클래스로 구분할 수 있다.For example, n data set images are prepared, which can be divided into preset classes.

즉, 피부 트러블 정보, 피부 색소 질환 정보, 감염성 질환 이미지 정보라는 3개의 클래스로 사전에 구분할 수 있으며, 필요에 따라 피부 트러블 정보를 다시 여드름, 피지, 모공, 주름이라는 클래스로 사전에 구분할 수 있으며, 감염성 질환 정보를 농가진, 봉소염, 대상포진, 사마귀, 물사마귀라는 클래스로 사전에 구분할 수 있게 된다.That is, the skin trouble information, skin pigment disease information, and infectious disease image information can be classified into three classes in advance, and if necessary, the skin trouble information can be divided into classes such as acne, sebum, pores, and wrinkles in advance. Infectious disease information can be classified in advance into classes such as impetigo, cellulitis, shingles, warts, and water warts.

이때, 상기 안면피부질환데이터세트이미지변환모듈(220)은 상기 획득된 안면 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키게 된다.In this case, the facial skin disease data set image conversion module 220 converts the acquired facial skin disease data set image information according to the specification of the CNN structure.

도 4에 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시를 구체적으로 도시하였다.4 specifically illustrates an example of converting skin disease data set image information according to a specification of a CNN structure.

이후, 클래스별분류데이터변환모듈(230)은 상기 변환된 안면 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하게 된다.Subsequently, the classification data conversion module 230 for each class converts the converted facial skin disease data set image information into a 2D convolutional neural network, a 3D convolutional neural network, or a virtual 3D convolutional neural network (CNN). By using one, it is converted into data that can be classified into a class set in advance.

즉, 도 5와 같이, 변환된 이미지 데이터를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하게 되는 것이다.That is, as shown in FIG. 5, the converted image data is converted into data capable of class classification through convolution.

이후, 함수변경모듈(240)은 상기 클래스 분류가 가능한 데이터를 softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하게 된다.Thereafter, the function change module 240 changes the data capable of classifying the class so that the sum of the classes set in advance using the softmax function is 1.

즉, 도 6과 같이, 클래스 분류가 가능한 데이터를 softmax 함수를 사용하여 3개의 클래스의 합이 1이 나오도록 변경하는 것이다.That is, as shown in FIG. 6, the classable data is changed so that the sum of three classes is 1 by using the softmax function.

이후, 클래스판단모듈(250)은 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하게 된다.Then, the class determination module 250 calculates the accuracy of each class, and determines the class having the highest numerical value by using the argmax function.

즉, 도 7과 같이, 각 클래스의 정확도를 계산하고, argmax 함수를 사용하여 가장 높은 수치를 가진 클래스를 찾게 된다.That is, as shown in FIG. 7, the accuracy of each class is calculated and the class having the highest number is found by using the argmax function.

예를 들어, A의 안면 피부 질환 데이터 세트 이미지가 피부 트러블로 판단된다면, 해당 이미지를 피부 트러블 클래스 필드에 저장하게 된다.For example, if the facial skin disease data set image of A is determined to be a skin trouble, the image is stored in the skin trouble class field.

즉, 클래스정보처리모듈(260)은 상기 학습할 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 되는 것이다.That is, the class information processing module 260 stores and processes the facial skin disease data set image information to be learned in the corresponding class field of the class information storage module.

따라서, 상기 클래스정보저장모듈(270)에는 상기 클래스별 학습한 안면 피부 질환 데이터 세트 이미지 정보를 저장하고 있게 되는 것이다.Therefore, the class information storage module 270 stores the learned facial skin disease data set image information for each class.

도 8은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 안면피부촬영장치가 안면피부진단스캐너(100)일 경우에 블록도이다.8 is a facial skin diagnostic scanner for a facial skin imaging apparatus of an API engine for discriminating facial diseases based on an artificial intelligence to determine skin diseases using an image image photographed through a facial skin imaging apparatus according to an embodiment of the present invention; (100) is a block diagram.

본 발명의 안면피부촬영장치(100)는,The facial skin imaging apparatus 100 of the present invention,

스마트기기인 것을 특징으로 한다.It is characterized by a smart device.

즉, 안면피부촬영장치가 스마트기기일 경우에 얼굴 정면 촬영이미지, 얼굴 좌측면 및 우측면 촬영이미지를 촬영하여 획득된 복수개의 촬영이미지를 2차원으로 합성하여 안면 인식맵을 생성하는 것을 특징으로 한다.That is, when the face skin photographing apparatus is a smart device, a facial recognition map is generated by synthesizing a plurality of photographed images obtained by photographing the face front photographed image, the face left and right photographed images in two dimensions.

이는 스마트기기의 휴대성을 이용하여 간단하게 사용자의 얼굴 정면, 좌측면, 우측면 얼굴 이미지를 촬영하게 되면, 이를 2차원으로 합성하여 안면 인식맵을 생성하게 되는 것이다.This is to simply take a face image of the user's face, the left side, and the right side by using the portability of the smart device, to generate a facial recognition map by synthesizing it in two dimensions.

이때, 안면 인식맵에는 눈, 코, 입을 포함한 안면의 좌표 정보를 포함하고 있게 된다.In this case, the facial recognition map may include face coordinate information including eyes, nose, and mouth.

따라서, 사용자의 얼굴 이미지를 생성하여 화면에 표시할 수가 있게 되는 것이다.Therefore, the user's face image can be generated and displayed on the screen.

이는 주로 사용자가 일반 소비자일 경우에 자신이 소지하고 있는 스마트기기 예를 들어, 스마트폰, 태블릿 피씨, 노트북 등을 이용하여 촬영된 영상 이미지를 합성하게 되는 것이다.This is mainly when the user is a general consumer to synthesize the image taken by using a smart device, for example, a smart phone, a tablet PC, a laptop, etc. owned by the user.

한편, 부가적인 양태에 따라, 상기 안면피부촬영장치(100)는,On the other hand, according to an additional aspect, the facial skin imaging apparatus 100,

얼굴 정면 촬영이미지, 얼굴 좌측면 및 우측면 촬영이미지를 촬영하여 획득된 복수개의 촬영이미지를 2차원으로 합성하여 안면 인식맵을 생성하게 된다.A facial recognition map is generated by synthesizing the plurality of photographed images obtained by photographing the face front photographed image, the face left and right photographed images in two dimensions.

이는 스마트기기 이외에 피부샵이나, 피부과에서 전문적으로 사용하기 위하여 제조된 안면피부촬영장치를 의미하는 것이며, 이 또한, 얼굴 정면, 얼굴 좌측면 및 우측면을 촬영하여 복수개의 촬영이미지를 2차원으로 합성하여 안면 인식맵을 생성하게 되는 것이다.This means a facial skin imaging apparatus manufactured for professional use in skin shops or dermatology in addition to smart devices, and also synthesizes a plurality of photographed images in two dimensions by photographing the front face, the left side and the right side of the face. The facial recognition map will be generated.

한편, 도 8에 도시한 바와 같이, 안면피부촬영장치가 안면피부진단스캐너(100)일 경우에는 안면 진단자의 안면 3차원 입체 영상 정보와 2차원 영상 정보를 획득하기 위한 안면영상촬영부(110);Meanwhile, as shown in FIG. 8, when the facial skin imaging apparatus is a facial skin diagnosis scanner 100, the facial imaging apparatus 110 for acquiring facial 3D stereoscopic image information and 2D image information of a face diagnoser ;

상기 안면영상촬영부에 의해 획득된 3차원 입체 영상 정보의 3차원 좌표값을 추출하여 3차원 이미지 정보를 포함한 3차원 맵을 생성하기 위한 3차원맵생성부(120);A three-dimensional map generator 120 for generating a three-dimensional map including three-dimensional image information by extracting three-dimensional coordinate values of the three-dimensional stereoscopic image information obtained by the face image photographing unit;

안면 진단자의 2차원 영상 정보를 텍스쳐로 정의하기 위한 텍스쳐정의부(130);A texture defining unit 130 for defining two-dimensional image information of the face diagnoser as a texture;

상기 3차원맵생성부에 의해 생성된 3차원 맵과 텍스쳐정의부에 의해 정의된 2차원 안면 이미지 정보를 컨버팅하여 안면 인식 맵으로 생성하기 위한 안면인식맵컨버팅부(140);A face recognition map converting unit 140 for converting the 3D map generated by the 3D map generating unit and the 2D face image information defined by the texture defining unit to generate a face recognition map;

상기 최종적으로 생성된 피부 진단자의 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(300)로 제공하기 위한 안면인식맵제공부(150);를 포함하여 구성되게 된다.And a facial recognition map providing unit 150 for providing the finally generated facial recognition map of the skin diagnoser to the class discriminating unit 300 for each of the target image facial coordinates.

구체적으로 설명하면, 안면영상촬영부(110)에 의해 안면 진단자의 안면 3차원 입체 영상 정보와 2차원 영상 정보를 획득하게 된다.In detail, the facial imaging unit 110 acquires facial 3D stereoscopic image information and 2D image information of the facial diagnoser.

즉, 안면 3차원 입체 영상 정보를 통해, X,Y,Z의 좌표 정보를 획득하고, 2차원 영상 정보를 통해, R,G,B의 색 정보를 획득하게 된다.That is, coordinate information of X, Y, and Z is obtained through face 3D stereoscopic image information, and color information of R, G and B is obtained through 2D image information.

이때, 상기 3차원맵생성부(120)는 상기 안면영상촬영부에 의해 획득된 3차원 입체 영상 정보의 3차원 좌표값을 추출하여 3차원 이미지 정보를 포함한 3차원 맵을 생성하게 되는 것이다.In this case, the 3D map generator 120 extracts a 3D coordinate value of the 3D stereoscopic image information obtained by the face image photographing unit to generate a 3D map including 3D image information.

그리고, 텍스쳐정의부(130)를 통해 안면 진단자의 2차원 영상 정보를 텍스쳐로 정의하게 되는 것이다.The texture definer 130 defines two-dimensional image information of the face diagnoser as a texture.

따라서, 상기 안면인식맵컨버팅부(140)는 상기 3차원맵생성부에 의해 생성된 3차원 맵과 텍스쳐정의부에 의해 정의된 2차원 안면 이미지 정보를 컨버팅하여 안면 인식 맵으로 생성하게 되는 것이다.Accordingly, the face recognition map converting unit 140 converts the 3D map generated by the 3D map generating unit and 2D face image information defined by the texture defining unit to generate a face recognition map.

따라서, 도 9와 같이, 3차원 입체 영상에 안면 위치별 각각의 피부 트러블, 피부 색소 질환, 피부 감염성 질환 등의 정보를 출력하게 되는 것이다.Accordingly, as shown in FIG. 9, information on skin problems, skin pigment diseases, and skin infectious diseases for each facial position is output on the 3D stereoscopic image.

이때, 최종적으로 안면인식맵제공부(150)를 통해 생성된 피부 진단자의 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(300)로 제공하게 되는 것이다.In this case, the facial recognition map of the skin diagnoser generated through the facial recognition map providing unit 150 is finally provided to the class discriminating unit 300 for the target image face coordinate.

도 10은 본 발명의 일실시예에 따른 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진의 타켓이미지안면좌표별클래스판별부(300) 블록도이다.10 is a class image discriminating unit according to the target image face coordinates of an API engine for discriminating facial diseases based on an artificial intelligence to determine skin diseases using an image image photographed through a facial skin photographing apparatus according to an embodiment of the present invention; 300) A block diagram.

도 10에 도시한 바와 같이, 상기 타켓이미지안면좌표별클래스판별부(300)는,As shown in FIG. 10, the target image discrimination unit 300 according to the target image face coordinates may include:

사용자 인증을 수행하기 위한 사용자인증수행모듈(310);A user authentication performing module 310 for performing user authentication;

상기 사용자 인증을 수행한 후, 로그인시, 해당 안면피부촬영장치(100)로부터 안면 피부 질환을 판단하기 위하여 안면 인식 맵 정보를 획득하기 위한 안면인식맵정보획득모듈(320);A facial recognition map information acquisition module 320 for acquiring facial recognition map information in order to determine a facial skin disease from the facial skin imaging apparatus 100 after the user authentication is performed;

상기 획득된 안면 인식 맵 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(330);A user labeling execution module 330 for labeling the acquired face recognition map information and storing the same in the user labeling information storage module;

상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 안면 인식 맵 정보를 저장하고 있는 사용자라벨링정보저장모듈(340);A user labeling information storage module 340 for storing labeling information provided by the user labeling execution module and corresponding face recognition map information;

안면 피부 질환을 판단하기 위하여 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(350);In order to determine facial skin disease, the facial recognition map information is convolved using any one of a 2D compound product neural network, a 3D compound product neural network, or a virtual 3D compound product neural network (CNN) to extract feature points. Determination target image feature point extraction module 350 for;

상기 추출된 특징점을 참조하여 클래스정보저장모듈(270)에 저장된 클래스별 학습한 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 타겟이미지클래스분류모듈(360);을 포함하여 구성되는 것을 특징으로 한다.And a target image class classification module 360 for classifying the class into a corresponding class by comparing the learned facial skin disease data set image information stored for each class stored in the class information storage module 270 with reference to the extracted feature points. It is characterized by.

구체적으로 설명하면, 사용자인증수행모듈(310)은 사용자 인증을 수행하기 위한 기능을 수행하게 되는데, 예를 들어, 로그인 페이지를 제공하고, 로그인 페이지 상에 아이디, 비번, 주소, 연락처, 성명 등을 입력하게 된다.Specifically, the user authentication performing module 310 performs a function for performing user authentication, for example, providing a login page and displaying an ID, password, address, contact, name, etc. on the login page. Will be entered.

이때, 입력된 정보를 토대로 개인 정보를 저장하여 관리하게 된다.At this time, the personal information is stored and managed based on the input information.

이후, 안면인식맵정보획득모듈(320)은 사용자 인증을 수행한 후, 로그인시, 해당 안면피부촬영장치(100)로부터 안면 피부 질환을 판단하기 위하여 안면 인식 맵 정보를 획득하게 된다.Subsequently, the facial recognition map information acquisition module 320 acquires facial recognition map information from the facial skin imaging apparatus 100 to determine facial skin disease after logging in after performing user authentication.

즉, 안면 피부 질환 데이터 이미지를 획득하기 위한 페이지를 제공하고, 해당 페이지에 첨부된 이미지를 획득하게 되는 것이다.That is, a page for acquiring an image of facial skin disease data is provided, and an image attached to the page is acquired.

그리고, 상기 사용자라벨링실행모듈(330)은 상기 획득된 안면 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.In addition, the user labeling execution module 330 performs labeling on the acquired facial skin disease data image information and stores the processed information in the user labeling information storage module.

예를 들어, 사용자 아이디, 접속 사용자단말기 고유 번호, 접속 일자, 이미지 업로딩 일자, 안면 피부 질환 데이터 이미지에 추가적으로 이미지 라벨링을 수행하게 되고, 수행된 라벨링 정보와 안면 피부 질환 데이터 이미지 정보를 사용자라벨링정보저장모듈(340)에 저장 처리하게 되는 것이다.For example, image labeling is performed in addition to a user ID, a connection user terminal unique number, a connection date, an image uploading date, and a facial skin disease data image, and user labeling information is stored in the performed labeling information and facial skin disease data image information. The module 340 stores the stored data.

그리고, 상기 판단대상이미지특징점추출모듈(350)은 안면 피부 질환을 판단하기 위하여 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출하게 된다.In addition, the determination object image feature extraction module 350 uses the facial recognition map information as a 2D compound product neural network, a 3D compound product neural network, or a virtual 3D compound product neural network (CNN) to determine facial skin diseases. ) To extract the feature points by convolution.

즉, 도 11과 같이, 컨볼루션하게 되어 이를 통해 특징점을 추출하게 되는 것이다.That is, as shown in FIG. 11, the convolution is performed to extract the feature point.

그리고, 상기 타겟이미지클래스분류모듈(360)은 추출된 특징점을 참조하여 클래스정보저장모듈(270)에 저장된 클래스별 학습한 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 기능을 수행하게 된다.In addition, the target image class classification module 360 compares the learned facial skin disease data set image information for each class stored in the class information storage module 270 with reference to the extracted feature points and classifies the corresponding class into a corresponding class. Will be performed.

예를 들어, 판단하고자 하는 새로운 안면 피부 질환 이미지의 특징점을 통해 피부 트러블로 판단되면 해당하는 피부트러블 클래스로 분류하여 이를 저장하고, 사용자단말기를 통해 이를 알려주게 된다.For example, if it is determined to be a skin trouble through the feature points of the new facial skin disease image to be determined, it is classified into a corresponding skin trouble class and stored, and the user terminal is notified of this.

또한, 부가적인 양태에 따라 타켓이미지클래스판별부(300)는,In addition, according to an additional aspect, the target image class discrimination unit 300,

피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부 트러블 가중치값, 피부 색소 질환 가중치값, 감염성 질환 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부 트러블, 피부 색소 질환, 감염성 질환 중 어느 하나로 판별하기 위한 가중치값판별모듈(370);The weight value whose weight is calculated for the image image obtained to determine the skin disease is greater than the skin weight value, skin pigment disease weight value, and infectious disease weight value plus two weight values. A weight value discrimination module 370 for discriminating any one of skin pigment diseases and infectious diseases;

이미지기반안면피부질환AI딥러닝자동학습부(200)로 판별 결과값을 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)를 통해 재학습하도록 하여 안면 피부 질환 판별 성능을 향상시키는 재학습진행모듈(380);을 더 포함하여 구성할 수 있다.The image-based facial skin disease AI deep learning automatic learning unit 200 provides a result of discrimination to re-learn through the image-based facial skin disease AI deep learning automatic learning unit 200 to improve facial skin disease discrimination performance. Learning progress module 380; may be configured to further include.

즉, B라는 새로운 영상 이미지에 대하여 컨볼루션에 의해 계산된 가중치값을 가지고 판단할 수 있는데, 예를 들어, 피부 트러블 가중치값이 60이고, 피부 색소질환 가중치값이 30이고, 감염성 질환 가중치값이 10일 경우에 피부 색소질환 가중치값과 감염성 질환 가중치값을 더한 값보다 피부 트러블 가중치값이 더 큰 값을 가지고 있기 때문에 해당 B라는 영상 이미지는 피부 트러블로 진단할 수 있는 것이다.That is, the new video image called B may be determined using a weight value calculated by convolution. For example, the skin trouble weight value is 60, the skin pigment disease weight value is 30, and the infectious disease weight value is In the case of 10, the skin trouble weight value is larger than the skin pigment disease weight value and the infectious disease weight value, so that the image B can be diagnosed as skin trouble.

한편, 다른 부가적인 양태에 따라, 타켓이미지안면좌표별클래스판별부(300)는,On the other hand, according to another additional aspect, the target image facial coordinate class discrimination unit 300,

사용자로부터 획득한 안면 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(390);을 더 포함하여 구성할 수 있다.And further comprising a learning discrimination enhancement processing module 390 for pre-processing the facial skin disease data image information obtained from the user into at least one set item among size, direction, magnification, brightness, and noise removal to increase learning discrimination. can do.

즉, 상기 학습변별력향상처리모듈(390)을 통해 획득된 안면 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리할 수 있는데, 예를 들어, 설정된 항목이 사이즈는 가로와 세로 동일한 사이즈인 정사각형, 방향은 수평하게, 배율은 2배 확대 등과 같이 설정되었다면 획득된 안면 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율을 상기와 같이 조절하여 복수 개의 이미지들을 동일한 사이즈, 방향, 배율로 전처리함으로써, CNN에 의한 학습 변별력을 높이는 것이다.That is, the facial skin disease data image information obtained through the learning discrimination improvement processing module 390 may be preprocessed to at least one or more of a set item among size, direction, magnification, brightness, and noise removal. If the item is set to the same size as the horizontal and vertical size of the square, the direction is horizontal, the magnification is 2x magnification, and the like to adjust the size, direction, and magnification of the acquired facial skin disease data image information as described above. By preprocessing at the same size, direction, and magnification, it is possible to enhance learning discrimination by CNN.

또한, 노이즈 제거를 수행하게 되면, 노이즈필터링 기능을 제공하여 이를 통해 노이즈를 제거함으로써, CNN에 의한 학습 변별력을 높일 수 있게 된다.In addition, when the noise removal is performed, by providing a noise filtering function to remove the noise through this, it is possible to increase the learning discrimination power by the CNN.

본 발명에서 설명하고 있는 Convolution이란, 영상 처리 분야에서 주로 필터 연산에 사용이 되며, 영상으로부터 특징점을 추출하기 위한 필터를 구현할 때 사용한다. The convolution described in the present invention is mainly used for filter operation in an image processing field, and is used to implement a filter for extracting feature points from an image.

즉, 3 x 3 또는 그 이상의 마스크를 영상 전체에 반복적으로 수행하게 되면, 그 마스크의 계수 값들의 따라 적정한 결과가 나온다. That is, if a 3 x 3 or more mask is repeatedly performed on the entire image, an appropriate result is obtained according to the coefficient values of the mask.

도 11과 같이, 전체 이미지에 노란색 부분이 convolution이 일어나고 있는 영역이며, 빨간색 글자는 convolution의 커널에 해당하고, 마스크 연산이 수행되면 오른쪽의 4가 나오며, 마스크는 한 칸 이동시키는 것을 반복하여 최종 결과를 얻을 수 있다.As shown in FIG. 11, the yellow part of the entire image is the area where convolution is occurring, the red letter corresponds to the kernel of convolution, and when the mask operation is performed, 4 of the right side appears, and the mask is repeatedly moved one space and the final result Can be obtained.

입력 영상에 필터의 종류에 따라 도 12와 같이 나타나는 특징들이 모두 다르게 나타난다.The features shown in FIG. 12 are all different according to the type of filter in the input image.

입력된 영상에 대해서 Convolution을 거치게 되면 도 13과 같이, Feature Map이 생성된다. When the input image undergoes convolution, a feature map is generated as shown in FIG. 13.

생성된 Feature Map은 Pooling 레이어로 전달된다.The generated feature map is transferred to the pooling layer.

Pooling 레이어는 도 14와 같이 최대값을 이용하는 방법과 평균값을 이용하는 방법 두 가지가 있다.As shown in FIG. 14, there are two methods of using a pooling layer, using a maximum value and a method using an average value.

Pooling을 진행하면 행렬의 크기가 감소하며 채널 수에 대한 변경은 일어나지 않는다. As the pooling proceeds, the size of the matrix is reduced and the number of channels is not changed.

대게 CNN에서는 최대값을 이용한 Pooling을 많이 사용한다.Mostly, CNN uses pooling using maximum value.

상기와 같이, 본 발명의 CNN은 이미지에서 특징을 추출하기 위해서 도 11과 같이 입력 데이터를 필터가 순회하면서 Convolution을 계산하고, 그 계산 결과를 이용하여 Feature map을 만든다. As described above, in order to extract a feature from an image, the CNN of the present invention calculates a convolution while the filter traverses the input data as shown in FIG. 11 and creates a feature map using the result of the calculation.

만들어진 Feature map을 Pooling 레이어에 전달하고, 두 과정을 반복하여 최종 결과를 출력한다. Pass the created feature map to the pooling layer and repeat the two steps to output the final result.

대표적인 CNN 구조로는 구글의 Inception, mobilenet, ms의 resNet, VGG 등이 있다.Typical CNN structures include Google's Inception, mobilenet, ms's resNet, and VGG.

또한, 본 발명과 같이, 학습에 사용되는 CNN 구조는 바람직하게는 Mobilenet V2를 사용하게 되는데, 도 15와 같은 순서를 따라 이미지를 분류한다. Convolution을 거치고 난 후 bottleneck과정을 거치고 Convolution, Pooling, Convolution을 거쳐서 결과를 출력한다. In addition, as in the present invention, the CNN structure used for learning is preferably to use Mobilenet V2, the image is classified in the order shown in FIG. After going through convolution, go through bottleneck process, and output the result through convolution, pooling, and convolution.

여기서, 사용되는 bottleneck과정은 Mobilenet 모델의 장점이며, 도 16과 같이 구성된다. Here, the bottleneck process used is an advantage of the Mobilenet model, and is configured as shown in FIG.

첫 번째는 확장 레이어로서 입력되는 이미지의 채널을 보다 많은 채널로 확장시켜주며 보통 6배로 확장시킨다. The first is an extension layer, which expands the channel of the input image into more channels, usually six times.

예를 들어, 도 15와 같이 24개의 채널이 있는 경우 24 * 6 = 144 채널이 되도록 변환시킨다. For example, if there are 24 channels as shown in FIG. 15, the conversion is performed such that 24 * 6 = 144 channels.

두 번째는 깊이방향의 회선 레이어로 구성된다. The second consists of a convolution layer in the depth direction.

이 레이어는 특징을 추출하는 레이어로서 필터를 통해서 144 채널의 특징들을 추출한다. This layer extracts features of 144 channels through a filter.

세 번째 레이어는 투영 레이어로서 144 채널을 다시 24 채널로 투영한다. The third layer is a projection layer that projects 144 channels back to 24 channels.

그리고 추가적으로 잔여 연결이라고 해서 전체적인 흐름을 도와주는 역할이다. In addition, the remaining connections help the overall flow.

도 17의 경우, 56 x 56 이미지에 대한 처리 순서를 나타낸 모식도이다.In the case of FIG. 17, it is a schematic diagram showing the processing procedure for a 56 x 56 image.

또한, 컨볼루션 신경망(convolutional neural networks, CNN)은 2차원 영상을 처리에 특화되어 인식문제에 주로 사용되어 왔고, 기본적인 핵심 특징으로, 첫 번째는 국소 수용 면(local receptive field)을 두어 영상 일부를 표현하는 특징(feature) 추출에 중점 두었고, 두 번째는 이러한 특징을 나타내는 가중치들을 영상 전 영역에서 공유할 수 있게 하였다는 점에서 막대한 수의 매개변수를 줄이고 영상 위치에 상관없이 특징을 공유할 수 있게 되는 장점이 있다.In addition, convolutional neural networks (CNN) have been used mainly for recognition problems because they are specialized in processing two-dimensional images, and the basic key feature is that the first part has a local receptive field to The focus was on extracting the features to be represented, and the second was that the weights representing these features could be shared across all areas of the image, reducing the number of parameters and sharing features regardless of image location. It has the advantage of being.

세 번째 특징은 하나의 계층을 쌓고 노드 수를 줄여 상위 계층을 만드는 과정은 반복하면 상위 계층으로 갈수록 일반화가 이루어지게 된다. The third characteristic is that the process of creating a higher layer by stacking one layer and reducing the number of nodes is repeated, and as the upper layer becomes more generalized.

최근 딥러닝이 많은 관심을 받게 되면서, convolutional RBM (restricted Boltzmann machine)을 계층화한 convolutional deep beliefnetworks, deep CNN)과 같이 CNN을 deep 구조화하는 연구들이 진행되어 왔으며 영상 내 객체 인식 및 분류 문제에서 뛰어난 성능을 보이고 있다.Recently, as deep learning has gained much attention, studies have been conducted to deeply structure CNNs, such as convolutional deep belief networks (CNN), which is a convolutional RBM (restricted Boltzmann machine) layer. It is showing.

한편, 부가적인 양태에 따라, 이미지기반안면피부질환AI딥러닝자동학습부(200)는,On the other hand, according to an additional aspect, the image-based facial skin disease AI deep learning automatic learning unit 200,

클래스정보저장모듈(270)에 저장된 안면 피부 질환 데이터 세트 이미지 정보 중 설정된 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보를 추출하기 위한 마진성영역안면피부질환세트이미지추출모듈;A marginal region facial skin disease set image extracting module for extracting facial skin disease data set image information existing in a set marginal region among facial skin disease data set image information stored in the class information storage module 270;

상기 마진성영역안면피부질환세트이미지추출모듈에 의해 추출된 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보를 의사단말기(400)로 제공하기 위한 마진성영역안면피부질환세트이미지제공모듈;A marginal area facial skin disease set image providing module for providing the pseudo terminal 400 with facial skin disease data set image information present in the marginal area extracted by the marginal area facial skin disease set image extraction module;

의사단말기로부터 해당 피부 질환 데이터 세트 이미지 정보의 클래스 판별 정보를 획득하여 클래스정보저장모듈의 해당 클래스 필드에 갱신 저장 처리하기 위한 전문의클래스판별정보갱신처리모듈;을 포함하여 구성되는 것을 특징으로 한다.And a specialized class discrimination information update processing module for acquiring the class discrimination information of the corresponding skin disease data set image information from the pseudo terminal and updating and storing the corresponding class field of the class information storage module.

그리고, 마진성영역안면피부질환세트이미지추출모듈은 상기 클래스정보저장모듈(270)에 저장된 안면 피부 질환 데이터 세트 이미지 정보 중 설정된 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보를 추출하게 된다.Then, the marginal area facial skin disease set image extraction module extracts the facial skin disease data set image information existing in the set marginal area among the facial skin disease data set image information stored in the class information storage module 270.

예를 들어, 도 18에 도시한 바와 같이, 사전에 마진성 영역(도면부호 D로 표시, 에지 영역으로도 정의할 수 있음)을 설정하게 되고, 해당 마진성 영역, 예를 들어, 정확도 69 ~ 71점의 범위를 마진성 영역이라고 설정하는 것이다.For example, as shown in FIG. 18, a margin region (denoted by reference numeral D, which can also be defined as an edge region) is set in advance, and a corresponding margin region, for example, accuracy 69 ~. The range of 71 points is set as a margin area.

종래에는 수천개 이상의 모든 학습할 이미지들을 전문의들이 일일히 확인하면서 판별하는 사전 판별 과정을 거치고, 이를 AI를 통해 학습하는 절차를 거치게 되었다.In the related art, thousands of all images to be learned are subjected to a preliminary determination process, which a specialist checks and discriminates, and then through AI, a process of learning them.

이러한 경우에 상당한 시간과 자원 낭비가 발생하였으며, 정확도도 떨어지는 문제점이 발생하였다.In this case, considerable time and resource was wasted, and the accuracy was also lowered.

이를 개선하기 위하여, 1차적으로 AI를 통해 학습시킨 후, 마진성 영역 즉, 애매모호한 영역에 존재하는 이미지들을 추출하여 해당 추출된 이미지들만 전문의에게 판별하도록 하는 절차를 거치게 되면, 상당한 시간적 절약과 자원 절약 효과를 제공할 수 있게 되는 것이다.In order to improve this, after first learning through AI, a process of extracting images existing in a marginal area, that is, an ambiguous area, and discriminating only those extracted images from a specialist is a significant time saving and resource. It will be able to provide savings.

그리고, 상기 마진성영역안면피부질환세트이미지제공모듈은 마진성영역안면피부질환세트이미지추출모듈에 의해 추출된 마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보를 의사단말기(400)로 제공하게 되는데, 도 18에 도시한 바와 같이, 예를 들어, 클래스 A 영역과 클래스 B 영역 사이, 클래스 B 영역과 클래스 C 영역 사이, 클래스 C 영역과 클래스 A 영역 사이의 구분짓기 모호한 구간인 마진성 영역에 존재하는 a 안면 피부 질환 데이터 세트 이미지, b 안면 피부 질환 데이터 세트 이미지, c 안면 피부 질환 데이터 세트 이미지, d 안면 피부 질환 데이터 세트 이미지, e 안면 피부 질환 데이터 세트 이미지, f 안면 피부 질환 데이터 세트 이미지를 추출하여 의사단말기로 제공하게 되는 것이다.And, the marginal area facial skin disease set image providing module to provide to the pseudo terminal 400 the facial skin disease data set image information present in the marginal area extracted by the marginal area facial skin disease set image extraction module. As shown in FIG. 18, for example, in a margin region that is an ambiguous section that distinguishes between a class A region and a class B region, a class B region and a class C region, and a class C region and a class A region. Present a facial skin disease data set image, b facial skin disease data set image, c facial skin disease data set image, d facial skin disease data set image, e facial skin disease data set image, f facial skin disease data set image It will be extracted and provided to the pseudo terminal.

이후, 의사단말기에서는 해당 안면 피부 질환 데이터 세트 이미지에 대한 안면 피부 질환 클래스를 판별하게 되며, 판별된 클래스 판별 정보를 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하게 된다.Thereafter, the doctor terminal determines a facial skin disease class for the corresponding facial skin disease data set image, and provides the determined class determination information to the image-based facial skin disease AI deep learning automatic learning unit 200.

그리고, 상기 전문의클래스판별정보갱신처리모듈(195)은 의사단말기로부터 해당 피부 질환 데이터 세트 이미지 정보의 클래스 판별 정보를 획득하여 클래스정보저장모듈의 해당 클래스 필드에 갱신 저장 처리하게 되는 것이다.The expert class discrimination information update processing module 195 obtains class discrimination information of the skin disease data set image information from a pseudo terminal and updates and processes the corresponding class field of the class information storage module.

예를 들어, a 안면 피부 질환 데이터 세트 이미지의 클래스가 피부 트러블로 인공 학습시에는 분류되었으나, 마진성 영역에 해당하여 이를 전문의에게 의뢰한 결과, 단순 색소 침착에 불과하였다면, 해당 a 안면 피부 질환 데이터 세트 이미지의 클래스 분류를 색소 침착으로 갱신 저장 처리하게 되는 것이다.For example, if a class of a facial skin disease data set image was classified during artificial learning due to skin problems, but it was only a simple pigmentation as a result of requesting a specialist for the marginal area, the corresponding facial skin disease data The class classification of the set image is updated and stored by pigmentation.

한편, 부가적인 양태에 따라, 이미지기반안면피부질환AI딥러닝자동학습부(200)는,On the other hand, according to an additional aspect, the image-based facial skin disease AI deep learning automatic learning unit 200,

마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보에 매칭된 다양한 파장대의 안면 피부 질환 데이터 이미지 정보들을 클래스정보저장모듈로부터 추출하여 의사단말기(300)로 제공하기 위한 다파장대안면피부질환데이터이미지정보추출모듈;을 더 포함하여 구성할 수 있다.Multi-facial face skin disease data image information for extracting facial skin disease data image information of various wavelengths matching the facial skin disease data set image information present in the marginal region from the class information storage module and providing it to the doctor terminal 300 Extraction module; can be configured to include more.

예를 들어, 모든 안면 피부 질환 데이터 이미지에는 추가적으로 RED 파장, GREEN 파장, BLUE 파장, 화이트 파장, UV 파장, IR 등과 같은 다양한 파장대의 이미지 정보들을 매칭시켜 저장할 수 있다.For example, all facial skin disease data images may additionally match and store image information of various wavelength bands such as RED wavelength, GREEN wavelength, BLUE wavelength, white wavelength, UV wavelength, and IR.

따라서, 어느 특정 안면 피부 질환 데이터 이미지가 마진성 영역에 존재한다면 해당 이미지에 매칭된 다파장대 안면 피부 질환 데이터 이미지 정보를 추출하여 전문의에게 제공함으로써, 다양한 각도에서 안면 피부 질환의 종류를 판별할 수 있도록 하는 것이다.Therefore, if a specific facial skin disease data image exists in the marginal region, the multi-wavelength facial skin disease data image information matched to the image is extracted and provided to a specialist, so that the type of facial skin disease can be determined from various angles. It is.

결국, 상기와 같은 구성을 통해, 전문의로 하여금 클래스 판별시, 변별 정확도를 높일 수 있는 효과를 발휘하게 되는 것이다.As a result, through the configuration as described above, the expert will have the effect of increasing the discrimination accuracy in class determination.

또한, 상기와 같이, 전문의를 통해 마진성 영역에 존재하는 이미지들에 대하여 다시 판별하고, 판별 결과를 재차 저장 갱신 처리하기 때문에 이미지기반안면피부질환AI딥러닝자동학습부(200)가 재학습하는 효과를 제공하게 됨으로써, 안면 피부 질환 판별 성능을 더욱 향상시켜 정확도를 대폭적으로 높일 수 있는 상승 효과를 발휘한다.In addition, as described above, the image-based facial skin disease AI deep learning automatic learning unit 200 is re-learned because the doctor re-determines images existing in the marginal area and stores and updates the determination result again. By providing the effect, the synergistic effect of further improving the facial skin disease discrimination performance can be significantly increased.

이와 같이, 본 발명의 실시예는 다양한 환경적인 문제로 인한 학습 정보의 질이 떨어지는 문제점을 해결하기 위해, 입력 영상을 각각의 환경에 강인한 패턴 영상으로 분류하고 조합한 후 학습시킴으로써, 다양한 환경문제(흔들림, 조도, 노이즈, 인식률 저하 등)에 취약한 영상 학습 정보의 질을 높일 수 있을 뿐만 아니라, 컨볼루션 신경망(CNN)의 각 레이어 층에서 특징을 추출하는 과정에서 발생할 수 있는 오류를 보정할 수 있고, 레이어 층마다 다른 패턴을 적용할 수 있다는 점에서 보다 양질의 학습정보를 획득할 수 있는 컨볼루션 신경망(CNN) 기반의 안면 피부질환 판별용 API 엔진을 제공할 수 있게 된다.As described above, the embodiment of the present invention classifies and combines the input image into a pattern image robust to each environment to solve the problem of poor quality of the learning information due to various environmental problems, thereby learning various environmental problems ( Not only can it improve the quality of image learning information that is vulnerable to shaking, light intensity, noise, and recognition rate, etc., but it can also correct errors in the process of extracting features from each layer of the convolutional neural network (CNN). In addition, it is possible to provide a convolutional neural network (CNN) -based API engine for discriminating facial skin diseases in that different patterns can be applied to each layer.

본 발명에 의하면, 이미지기반안면피부질환AI딥러닝자동학습부(200)를 구성하여 학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하며, 안면피부촬영장치(100)로부터 제공된 안면 진단자의 얼굴 피부가 피부 트러블, 피부 색소 질환, 감염성 질환 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공함으로써, 정확한 안면 피부 질환의 종류가 무엇인지를 확인할 수 있는 효과를 발휘한다.According to the present invention, an image-based facial skin disease AI deep learning automatic learning unit 200 is configured to acquire facial skin disease data set image information to be learned, and a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional synthesis. After converting into a class classable data using any one of a convolutional neural network (CNN), and using the calculated data to determine the class with the highest numerical value by using a numerical calculation function , The processed facial skin data set image information is stored in the corresponding class field of the class information storage module, and the facial skin of the facial diagnoser provided from the facial skin imaging apparatus 100 is located in the skin trouble, skin pigment disease, or infectious disease. By determining whether it belongs and providing it to the user terminal, the exact type of facial skin disease It is effective to confirm what it is.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

100 : 안면피부촬영장치
200 : 이미지기반안면피부질환AI딥러닝자동학습부
300 : 타켓이미지안면좌표별클래스판별부
400 : 의사단말기100: facial skin imaging device
200: AI-based deep learning automatic learning of image-based facial skin diseases
300: Class discrimination part by target image face coordinate
400: doctor terminal

Claims (9)

안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진에 있어서,
안면 진단자의 얼굴 피부 상태를 촬영하여 생성된 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(200)로 제공하기 위한 안면피부촬영장치(100)와,

학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 안면 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반안면피부질환AI딥러닝자동학습부(200)와,

안면피부촬영장치(100)로부터 획득한 안면 인식 맵 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 안면 좌표별 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 안면 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지안면좌표별클래스판별부(300)를 포함하여 구성되며,

상기 이미지기반안면피부질환AI딥러닝자동학습부(200)는,
마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보에 매칭된 다양한 파장대의 안면 피부 질환 데이터 이미지 정보들을 클래스정보저장모듈로부터 추출하여 의사단말기로 제공함으로써, 전문의로 하여금 클래스 판별시, 변별 정확도를 높일 수 있도록 하는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
In the artificial intelligence-based facial skin disease identification API engine for identifying skin diseases by using the image image taken by the facial skin imaging device,
A facial skin imaging apparatus 100 for providing a facial recognition map generated by photographing a facial skin condition of a facial diagnoser to a target image classifying unit 200 according to a target image;

It is possible to classify pre-set class using any two-dimensional composite product neural network, three-dimensional composite product neural network, or virtual three-dimensional composite product neural network (CNN) After converting the data into the data, using the numerical calculation function, the class having the highest numerical value is determined and learned, and the processed facial skin disease data set image information is stored in the corresponding class field of the class information storage module. Image-based facial skin diseases AI deep learning automatic learning unit to

Labeling is performed on the face recognition map information obtained from the facial skin imaging apparatus 100 and stored in the user labeling information storage module, and the face recognition map information is stored in a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional image. After extracting feature points by facial coordinates by convolution using any one of a convolutional neural network (CNN), the facial skin diseases data set stored in the class information storage module is compared with the extracted feature points to compare the facial Classified by the corresponding class by coordinates, and transmits the classified class result value to the corresponding user terminal by referring to the labeling information stored in the corresponding user labeling information storage module, and at the same time, the AI-based deep learning automatic learning unit for image-based facial diseases To provide re-learning by the AI-based deep learning automatic learning unit (100) for image-based facial skin diseases Target image to be configured to include a facial coordinate specific class determination unit 300,

The image-based facial skin disease AI deep learning automatic learning unit 200,
By extracting the facial skin disease data image information of various wavelengths matching the facial skin disease data set image information existing in the marginal area from the class information storage module and providing it to the doctor terminal, the doctor can increase the accuracy of discrimination in class determination. Artificial intelligence-based facial skin disease identification API engine for determining skin diseases by using a video image photographed through a facial skin imaging device, characterized in that to enable.
안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진에 있어서,
안면 진단자의 얼굴 피부 상태를 촬영하여 생성된 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(200)로 제공하기 위한 안면피부촬영장치(100)와,

학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하여 CNN 구조의 스펙에 맞추어 변환시킨 후, 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하며, 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하고, 학습한 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반안면피부질환AI딥러닝자동학습부(200)와,

안면피부촬영장치(100)로부터 획득한 안면 인식 맵 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 안면 인식 맵 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 안면 좌표별 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 안면 피부 질환 데이터 세트 이미지 정보와 비교하여 안면 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)에 의해 재학습할 수 있도록 하기 위한 타켓이미지안면좌표별클래스판별부(300)를 포함하여 구성되며,

상기 이미지기반안면피부질환AI딥러닝자동학습부(200)는,
마진성 영역에 존재하는 안면 피부 질환 데이터 세트 이미지 정보에 매칭된 다양한 파장대의 안면 피부 질환 데이터 이미지 정보들을 클래스정보저장모듈로부터 추출하여 의사단말기로 제공함으로써, 전문의로 하여금 클래스 판별시, 변별 정확도를 높일 수 있도록 하는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
In the artificial intelligence-based facial skin disease identification API engine for identifying skin diseases by using the image image taken by the facial skin imaging device,
A facial skin imaging apparatus 100 for providing a facial recognition map generated by photographing a facial skin condition of a facial diagnoser to a target image classifying unit 200 according to a target image;

After acquiring the face skin disease data set image information to be learned and converting it to the specification of the CNN structure, one of two-dimensional convolutional neural network, three-dimensional convolutional neural network, or virtual three-dimensional convolutional neural network (CNN) Convert the data into classable data using the classifier, change the sum of the preset classes to 1 using the softmax function, calculate the accuracy of each class, and calculate the highest value using the argmax function. Image based facial skin disease AI deep learning automatic learning unit 200 for determining and having a class to learn, and storing the processed skin disease data set image information in a corresponding class field of the class information storage module;

Labeling is performed on the face recognition map information obtained from the facial skin imaging apparatus 100 and stored in the user labeling information storage module, and the face recognition map information is stored in a two-dimensional composite product neural network, a three-dimensional composite product neural network, or a virtual three-dimensional image. After extracting feature points by facial coordinates by convolution using any one of a convolutional neural network (CNN), the facial skin diseases data set stored in the class information storage module is compared with the extracted feature points to compare the facial Classified by the corresponding class by coordinates, and transmits the classified class result value to the corresponding user terminal by referring to the labeling information stored in the corresponding user labeling information storage module, and at the same time, the AI-based deep learning automatic learning unit for image-based facial diseases To provide re-learning by the AI-based deep learning auto-learning unit 200 for image-based facial skin diseases Target image to be configured to include a facial coordinate specific class determination unit 300,

The image-based facial skin disease AI deep learning automatic learning unit 200,
By extracting the facial skin disease data image information of various wavelengths matching the facial skin disease data set image information present in the marginal area from the class information storage module and providing it to the doctor terminal, the doctor can improve the discrimination accuracy in class discrimination. Artificial intelligence-based facial skin disease identification API engine for determining skin diseases by using a video image photographed through a facial skin imaging device, characterized in that to enable.
제 1항 또는 제 2항에 있어서,
상기 안면피부촬영장치(100)는,
스마트기기인 것을 특징으로 하며, 스마트기기일 경우에 얼굴 정면 촬영이미지, 얼굴 좌측면 및 우측면 촬영이미지를 촬영하여 획득된 복수개의 촬영이미지를 2차원으로 합성하여 안면 인식맵을 생성하는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
The facial skin imaging device 100,
Characterized in that the smart device, in the case of a smart device characterized in that to generate a facial recognition map by synthesizing a plurality of the captured image obtained by photographing the front face photographed image, the face left and right side photographed image in two dimensions An artificial intelligence-based facial skin disease identification API engine that uses skin images to capture skin diseases.
제 1항 또는 제 2항에 있어서,
상기 안면피부촬영장치(100)는,
얼굴 정면 촬영이미지, 얼굴 좌측면 및 우측면 촬영이미지를 촬영하여 획득된 복수개의 촬영이미지를 2차원으로 합성하여 안면 인식맵을 생성하는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
The facial skin imaging device 100,
By using a facial skin imaging apparatus, a facial skin imaging apparatus is characterized by generating a facial recognition map by synthesizing a plurality of photographed images obtained by photographing a face front photographed image, a face left and right photographed images in two dimensions. Artificial intelligence-based facial skin disease API for discriminating skin diseases.
제 1항 또는 제 2항에 있어서,
상기 안면피부촬영장치(100)는,
안면피부진단스캐너인 것을 특징으로 하며,
상기 안면피부진단스캐너는,
안면 진단자의 안면 3차원 입체 영상 정보(xyz)와 2차원(rgb) 영상 정보를 획득하기 위한 안면영상촬영부(110);
상기 안면영상촬영부에 의해 획득된 3차원 입체 영상 정보의 3차원 좌표값을 추출하여 3차원 이미지 정보를 포함한 3차원 맵을 생성하기 위한 3차원맵생성부(120);
안면 진단자의 2차원 영상 정보를 텍스쳐로 정의하기 위한 텍스쳐정의부(130);
상기 3차원맵생성부에 의해 생성된 3차원 맵과 텍스쳐정의부에 의해 정의된 2차원 안면 이미지 정보를 컨버팅하여 안면 인식 맵으로 생성하기 위한 안면인식맵컨버팅부(140);
상기 최종적으로 생성된 피부 진단자의 안면 인식 맵을 타켓이미지안면좌표별클래스판별부(300)로 제공하기 위한 안면인식맵제공부(150);를 포함하여 구성되는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
The facial skin imaging device 100,
Characterized in that it is a facial skin diagnostic scanner,
The facial skin diagnostic scanner,
A face image photographing unit 110 for acquiring face 3D stereoscopic image information xyz and 2D rgb image information of a face diagnoser;
A three-dimensional map generator 120 for generating a three-dimensional map including three-dimensional image information by extracting three-dimensional coordinate values of the three-dimensional stereoscopic image information obtained by the face image photographing unit;
A texture defining unit 130 for defining two-dimensional image information of the face diagnoser as a texture;
A face recognition map converting unit 140 for converting the 3D map generated by the 3D map generating unit and the 2D face image information defined by the texture defining unit to generate a face recognition map;
The facial recognition map providing unit 150 for providing the finally generated facial recognition map of the skin diagnosis to the target image facial coordinate class discriminating unit 300; through the facial skin imaging device, characterized in that it comprises a Artificial intelligence-based facial skin disease identification API engine using skinned images.
제 1항 또는 제 2항에 있어서,
학습할 안면 피부 질환 데이터 세트 이미지 정보는,
피부 트러블 정보, 피부 색소 질환 정보, 감염성 질환 이미지 정보 중 적어도 2개 이상의 이미지 정보를 포함하는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
To learn facial skin disease data set image information,
An artificial intelligence-based face that determines skin diseases using an image image photographed through a facial skin imaging apparatus, comprising at least two image information among skin trouble information, skin pigment disease information, and infectious disease image information API engine for skin disease determination.
삭제delete 제 1항 또는 제 2항에 있어서,
타켓이미지안면좌표별클래스판별부(300)를 통해,
피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부 트러블 가중치값, 피부 색소 질환 가중치값, 감염성 질환 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부 트러블, 피부 색소 질환, 감염성 질환 중 어느 하나로 판별하며, 동시에 이미지기반안면피부질환AI딥러닝자동학습부(200)로 판별 결과값을 제공하여 이미지기반안면피부질환AI딥러닝자동학습부(200)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키는 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
Through the target image face discrimination class discrimination unit 300,
The weight value whose weight is calculated for the image image acquired to determine the skin disease is greater than the skin weight value, skin pigment disease weight value, and infectious disease weight value plus two weight values. , Skin pigment disease, infectious disease is discriminated as one, at the same time image-based facial skin disease AI deep learning automatic learning unit 200 by providing a determination result value image-based facial skin disease AI deep learning automatic learning unit 200 Artificial intelligence-based facial skin disease identification API engine for identifying skin diseases by using a video image taken through the facial skin imaging device, characterized in that by re-learning through, to improve the skin disease discrimination performance.
제 1항 또는 제 2항에 있어서,
이미지기반안면피부질환AI딥러닝자동학습부(200)는,
학습할 안면 피부 질환 데이터 세트 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 하는 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 API 엔진.
The method according to claim 1 or 2,
Image-based facial skin disease AI deep learning automatic learning unit 200,
In order to acquire facial skin disease data set image information to be learned, the image image photographed through the facial skin imaging apparatus, which is connected to a camera and directly receives an input image, or is received and input from a wireless network or an internet network. Artificial intelligence-based facial skin disease identification API engine to determine skin diseases.
KR1020190025696A 2019-03-06 2019-03-06 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device KR102041906B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190025696A KR102041906B1 (en) 2019-03-06 2019-03-06 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190025696A KR102041906B1 (en) 2019-03-06 2019-03-06 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device

Publications (1)

Publication Number Publication Date
KR102041906B1 true KR102041906B1 (en) 2019-11-07

Family

ID=68578822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190025696A KR102041906B1 (en) 2019-03-06 2019-03-06 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device

Country Status (1)

Country Link
KR (1) KR102041906B1 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507414A (en) * 2020-04-20 2020-08-07 安徽中科首脑智能医疗研究院有限公司 Deep learning skin disease picture comparison and classification method, storage medium and robot
KR102145374B1 (en) * 2020-01-17 2020-08-18 성균관대학교산학협력단 Artificial intelligence neural network apparatus coupled with visualized feature vector and data classification method using the same
CN111738238A (en) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 Face recognition method and device
KR102162683B1 (en) * 2020-01-31 2020-10-07 주식회사 에프앤디파트너스 Reading aid using atypical skin disease image data
KR102165487B1 (en) * 2020-01-31 2020-10-14 주식회사 에프앤디파트너스 Skin disease discrimination system based on skin image
KR102167185B1 (en) * 2020-03-18 2020-10-19 이승락 Skin test method and cosmetic composition manufacturing method using the same
CN112767383A (en) * 2021-01-29 2021-05-07 深圳艾摩米智能科技有限公司 Face pox positioning and recognition method
CN112767063A (en) * 2020-09-07 2021-05-07 肆嘉(上海)商务咨询有限公司 Method and system for realizing virtuous circle network platform by user and seller
WO2021141187A1 (en) * 2020-01-08 2021-07-15 주식회사 에프앤디파트너스 Skin image-based skin disease identification apparatus
WO2021201582A1 (en) * 2020-04-01 2021-10-07 주식회사 에이아이투유 Method and device for analyzing causes of skin lesion
KR20220070816A (en) 2020-11-23 2022-05-31 한림대학교 산학협력단 Control method, device and program for skin cancer judgment based on artificial intelligence
KR20220111337A (en) 2021-02-02 2022-08-09 광주과학기술원 Apparatus for skin diagnosis
CN115171149A (en) * 2022-06-09 2022-10-11 广州紫为云科技有限公司 Monocular RGB image regression-based real-time human body 2D/3D bone key point identification method
KR102481763B1 (en) * 2022-03-31 2022-12-26 한국외국어대학교 연구산학협력단 Apparatus and method for skin lesion classification
KR20230065464A (en) 2021-11-05 2023-05-12 조병진 Skin analysis services method based edge cloud computing
KR20230079899A (en) * 2021-11-29 2023-06-07 (주)스톤랩 System for Differential Diagnosis of Dermatitis using Non-invasive Skin Biomarkers based on Visual Artificial Intelligence and Method Thereof
CN112151149B (en) * 2020-09-18 2024-06-07 南宁莲现健康科技有限公司 Face video-based method for assisting intelligent diagnosis of traditional Chinese medicine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (en) 2012-08-03 2014-02-13 삼성전자주식회사 Apparatus and method for lesion analysis in medical images
KR101623431B1 (en) 2015-08-06 2016-05-23 주식회사 루닛 Pathological diagnosis classifying apparatus for medical image and pathological diagnosis system using the same
CN106295139A (en) * 2016-07-29 2017-01-04 姹ゅ钩 A kind of tongue body autodiagnosis health cloud service system based on degree of depth convolutional neural networks
KR101792541B1 (en) * 2016-10-20 2017-11-02 주식회사 에프앤디파트너스 Smart Device Skin care service system using Skin Diagnostic Information
KR20180021635A (en) * 2016-08-22 2018-03-05 한국과학기술원 Method and system for analyzing feature representation of lesions with depth directional long-term recurrent learning in 3d medical images
KR101857624B1 (en) * 2017-08-21 2018-05-14 동국대학교 산학협력단 Medical diagnosis method applied clinical information and apparatus using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (en) 2012-08-03 2014-02-13 삼성전자주식회사 Apparatus and method for lesion analysis in medical images
KR101623431B1 (en) 2015-08-06 2016-05-23 주식회사 루닛 Pathological diagnosis classifying apparatus for medical image and pathological diagnosis system using the same
CN106295139A (en) * 2016-07-29 2017-01-04 姹ゅ钩 A kind of tongue body autodiagnosis health cloud service system based on degree of depth convolutional neural networks
KR20180021635A (en) * 2016-08-22 2018-03-05 한국과학기술원 Method and system for analyzing feature representation of lesions with depth directional long-term recurrent learning in 3d medical images
KR101792541B1 (en) * 2016-10-20 2017-11-02 주식회사 에프앤디파트너스 Smart Device Skin care service system using Skin Diagnostic Information
KR101857624B1 (en) * 2017-08-21 2018-05-14 동국대학교 산학협력단 Medical diagnosis method applied clinical information and apparatus using the same

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141187A1 (en) * 2020-01-08 2021-07-15 주식회사 에프앤디파트너스 Skin image-based skin disease identification apparatus
KR102145374B1 (en) * 2020-01-17 2020-08-18 성균관대학교산학협력단 Artificial intelligence neural network apparatus coupled with visualized feature vector and data classification method using the same
WO2021153858A1 (en) * 2020-01-31 2021-08-05 주식회사 에프앤디파트너스 Device for assisting identification by using atypical skin disease image data
KR102162683B1 (en) * 2020-01-31 2020-10-07 주식회사 에프앤디파트너스 Reading aid using atypical skin disease image data
KR102165487B1 (en) * 2020-01-31 2020-10-14 주식회사 에프앤디파트너스 Skin disease discrimination system based on skin image
KR102167185B1 (en) * 2020-03-18 2020-10-19 이승락 Skin test method and cosmetic composition manufacturing method using the same
WO2021201582A1 (en) * 2020-04-01 2021-10-07 주식회사 에이아이투유 Method and device for analyzing causes of skin lesion
CN111507414A (en) * 2020-04-20 2020-08-07 安徽中科首脑智能医疗研究院有限公司 Deep learning skin disease picture comparison and classification method, storage medium and robot
CN111507414B (en) * 2020-04-20 2022-02-08 安徽中科首脑智能医疗研究院有限公司 Deep learning skin disease picture comparison and classification method, storage medium and robot
CN111738238A (en) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 Face recognition method and device
US11256900B1 (en) 2020-08-14 2022-02-22 Alipay (Hangzhou) Information Technology Co., Ltd. Facial recognition methods and apparatuses
CN112767063A (en) * 2020-09-07 2021-05-07 肆嘉(上海)商务咨询有限公司 Method and system for realizing virtuous circle network platform by user and seller
CN112151149B (en) * 2020-09-18 2024-06-07 南宁莲现健康科技有限公司 Face video-based method for assisting intelligent diagnosis of traditional Chinese medicine
KR20220070816A (en) 2020-11-23 2022-05-31 한림대학교 산학협력단 Control method, device and program for skin cancer judgment based on artificial intelligence
CN112767383A (en) * 2021-01-29 2021-05-07 深圳艾摩米智能科技有限公司 Face pox positioning and recognition method
CN112767383B (en) * 2021-01-29 2024-02-27 深圳艾摩米智能科技有限公司 Positioning and identifying method for facial acne
KR20220111337A (en) 2021-02-02 2022-08-09 광주과학기술원 Apparatus for skin diagnosis
KR20230065464A (en) 2021-11-05 2023-05-12 조병진 Skin analysis services method based edge cloud computing
KR102654796B1 (en) 2021-11-29 2024-04-11 (주)스톤랩 System for Differential Diagnosis of Dermatitis using Non-invasive Skin Biomarkers based on Visual Artificial Intelligence and Method Thereof
KR20230079899A (en) * 2021-11-29 2023-06-07 (주)스톤랩 System for Differential Diagnosis of Dermatitis using Non-invasive Skin Biomarkers based on Visual Artificial Intelligence and Method Thereof
KR102481763B1 (en) * 2022-03-31 2022-12-26 한국외국어대학교 연구산학협력단 Apparatus and method for skin lesion classification
CN115171149A (en) * 2022-06-09 2022-10-11 广州紫为云科技有限公司 Monocular RGB image regression-based real-time human body 2D/3D bone key point identification method
CN115171149B (en) * 2022-06-09 2023-12-05 广州紫为云科技有限公司 Real-time human body 2D/3D skeleton key point identification method based on monocular RGB image regression

Similar Documents

Publication Publication Date Title
KR102041906B1 (en) API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device
KR102311654B1 (en) Smart skin disease discrimination platform system constituting API engine for discrimination of skin disease using artificial intelligence deep run based on skin image
Laibacher et al. M2u-net: Effective and efficient retinal vessel segmentation for real-world applications
CN108765408B (en) Method for constructing cancer pathological image virtual disease case library and multi-scale cancer detection system based on convolutional neural network
US8345936B2 (en) Multispectral iris fusion for enhancement and interoperability
KR100608595B1 (en) Face identifying method and apparatus
US20140316235A1 (en) Skin imaging and applications
CN111524080A (en) Face skin feature identification method, terminal and computer equipment
Laibacher et al. M2U-Net: Effective and efficient retinal vessel segmentation for resource-constrained environments
KR102162683B1 (en) Reading aid using atypical skin disease image data
CN109271930B (en) Micro-expression recognition method, device and storage medium
JP2021512446A (en) Image processing methods, electronic devices and storage media
SG190730A1 (en) Method and an apparatus for determining vein patterns from a colour image
CN112052831A (en) Face detection method, device and computer storage medium
Narang et al. Face recognition in the SWIR band when using single sensor multi-wavelength imaging systems
WO2017017687A1 (en) Automatic detection of cutaneous lesions
CN112750531A (en) Automatic inspection system, method, equipment and medium for traditional Chinese medicine
US20240020843A1 (en) Method for detecting and segmenting the lip region
Bogo et al. Automated detection of new or evolving melanocytic lesions using a 3D body model
Shaban et al. A Novel Fusion System Based on Iris and Ear Biometrics for E-exams.
Polanía et al. Skin chromophore estimation from mobile selfie images using constrained independent component analysis
Narlagiri et al. Biometric authentication system based on face recognition
CN112380966B (en) Monocular iris matching method based on feature point re-projection
Madooei et al. 2 A Bioinspired Color Representation for Dermoscopy Analysis
KR102165487B1 (en) Skin disease discrimination system based on skin image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant