KR102121462B1 - A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network - Google Patents
A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network Download PDFInfo
- Publication number
- KR102121462B1 KR102121462B1 KR1020180009463A KR20180009463A KR102121462B1 KR 102121462 B1 KR102121462 B1 KR 102121462B1 KR 1020180009463 A KR1020180009463 A KR 1020180009463A KR 20180009463 A KR20180009463 A KR 20180009463A KR 102121462 B1 KR102121462 B1 KR 102121462B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- body skin
- image
- operator
- neural network
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
Abstract
본 발명은 컨볼루션 신경망(CNN, Convolution Neural Network)을 기반으로 하여 별도로 미리 입력받은 신체 피부 이미지를 통해 미리 학습하는 학습부; 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부의 파라미터(Parameter)를 통해, 시술자로부터 입력받은 신체 피부 이미지를 분석, 분류하는 분석부; 시술자로부터 입력받은 신체 피부 이미지가 포함된 최종 분류 내용을 분석부로부터 전달받아 시술자가 볼 수 있게 표시하고, 시술자로부터 최종 분류 내용 선택을 입력받을 수 있는 장치를 포함하며, 장치를 통해 시술자로부터 선택된 최종 분류 내용을 피 시술자가 볼 수 있게 표시하는 표시부; 및 시술자로부터 선택된 최종 분류 내용 및 최종 분류 내용에 포함된 신체 피부 이미지의 특징을 표시부로부터 전달받아, 시술장치에 전달하는 시술부;를 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치에 관한 것이다.The present invention is based on a convolutional neural network (CNN, Convolution Neural Network) learning unit for learning in advance through a previously input body skin image; An analysis unit that analyzes and classifies the body skin image received from the operator through a parameter of the learning unit previously learned based on the convolutional neural network; Includes a device that receives the final classification contents including the body skin image input from the operator from the analysis unit for viewing by the operator, and includes a device capable of receiving the selection of the final classification content from the operator, and the final selected from the operator through the device A display unit for displaying the classification contents to be viewed by the operator; And a surgical unit receiving the characteristics of the final classification content selected from the operator and the body skin image included in the final classification content from the display unit and transmitting the characteristics of the body skin to the surgical device. The body through image analysis using a convolutional neural network, comprising: It relates to a device for classifying skin into skin types necessary for the procedure, and storing and delivering the skin.
Description
본 발명은 신체피부를 분석하여 시술에 필요한 피부 타입으로 구분, 저장, 전달하는 장치로서, 보다 상세하게는 컨볼루션 신경망을 통해 이미지 데이터를 분류하는 작업을 사전에 학습하여 시술의 효율성을 높이고 이를 계량화하여 저장, 전달하는 장치에 관한 것이다.The present invention is a device for analyzing, dividing, storing, and transmitting body skin by analyzing the skin type required for the procedure. More specifically, the operation of classifying image data through a convolutional neural network in advance to improve the efficiency of the procedure and quantify it It relates to a storage, delivery device.
종래에는 전문 지식을 갖춘 시술자의 진단을 말, 그림, 피부 사진 등을 통해 비 계량적으로 피 시술자에게 전달하기 때문에, 피 시술자가 이를 명확히 이해하는데 어려움이 있었다.In the related art, since the diagnosis of the operator with expertise is transmitted non-quantitatively to the operator through words, pictures, skin pictures, etc., it is difficult for the operator to clearly understand this.
또한, 종래의 시술 방식 중 일 예로 레이저 조사기를 시술부위에 시술 함에 있어서 시술자가 조사기를 직접 들고 조사하는 방식으로 치료 하였다.In addition, as an example of the conventional treatment method, when the laser irradiator was applied to the treatment site, the operator was treated by directly irradiating the irradiator.
이처럼 비 체계적이고 비 계량적인 조사 방식으로 시술자가 조사해야 하는 환부를 잊거나, 중복되게 조사하는 경우가 발생해 최초 의도 보다 많은 에너지를 전달하게 되어 정상조직에 부수적인 광열효과를 내거나, 부족한 에너지 전달로 시술의 적절한 효과를 보지 못하는 등의 문제점이 있었다.In this unstructured and non-quantitative survey method, the operator may forget the affected area or duplicate it, resulting in more energy than the original intention, resulting in incidental photothermal effects on normal tissues or insufficient energy delivery There were problems such as not seeing the proper effect of the procedure.
이에, 특허문헌1은 피부 영상으로부터 색소 침착 영역의 상태를 복수의 파라미터를 통해 도출하고, 도출된 복수의 파라미터에 가중치를 적용하여 색소 침착의 정도를 정량화하는 표현 지수로 나타내어 상기와 같은 문제를 막고자 하였다.Accordingly, Patent Document 1 derives the state of the pigmentation region from the skin image through a plurality of parameters, and applies weights to the derived plurality of parameters to represent the expression index to quantify the degree of pigmentation to prevent the above problems. I was sleeping.
그러나, 특허문헌1은 수많은 입력 데이터를 일일이 전처리하여 영상처리모듈에 입력하여 분석하므로 결과를 도출하는데 많은 시간이 소요되는 문제점이 있다.However, Patent Document 1 has a problem in that it takes a lot of time to derive a result because a large number of input data are pre-processed and input to an image processing module for analysis.
이에, 본 발명은 컨볼루션 신경망을 통해 이미지 데이터를 분류하는 작업을 사전에 학습하여 시술의 효율성을 높이고 이를 계량화하여 저장, 전달하는 장치를 제공하는데 목적이 있다.Accordingly, an object of the present invention is to provide an apparatus for learning the task of classifying image data through a convolutional neural network in advance to increase the efficiency of the procedure and to quantify and store and deliver it.
상기와 같은 목적을 달성하기 위해 본 발명은, 컨볼루션 신경망(CNN, Convolution Neural Network)을 기반으로 하여 별도로 미리 입력받은 신체 피부 이미지를 통해 미리 학습하는 학습부; 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부의 파라미터(Parameter)를 통해, 시술자로부터 입력받은 신체 피부 이미지를 분석, 분류하는 분석부; 시술자로부터 입력받은 신체 피부 이미지가 포함된 최종 분류 내용을 분석부로부터 전달받아 시술자가 볼 수 있게 표시하고, 시술자로부터 최종 분류 내용 선택을 입력받을 수 있는 장치를 포함하며, 장치를 통해 시술자로부터 선택된 최종 분류 내용을 피 시술자가 볼 수 있게 표시하는 표시부; 및 시술자로부터 선택된 최종 분류 내용 및 최종 분류 내용에 포함된 신체 피부 이미지의 특징을 표시부로부터 전달받아, 시술장치에 전달하는 시술부;를 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치를 제공한다.In order to achieve the above object, the present invention is based on a convolutional neural network (CNN, Convolution Neural Network) learning unit for learning in advance through a previously input body skin image; An analysis unit that analyzes and classifies body skin images received from the operator through parameters of a learning unit previously learned based on a convolutional neural network; It includes a device that can receive the final classification contents including the body skin image input from the operator from the analysis unit for viewing by the operator, and includes a device capable of receiving the selection of the final classification content from the operator, and the final selected from the operator through the device A display unit for displaying the classified contents to be viewed by the operator; And a surgical unit receiving the characteristics of the final classification content selected from the operator and the body skin image included in the final classification content from the display unit and transmitting the characteristics of the body skin to the surgical device. The body through image analysis using a convolutional neural network, comprising: Provides a device for classifying skin into skin types necessary for the procedure, and storing and delivering the skin.
본 발명은 시술자의 비 계량적이고 추상적으로 피 시술자에게 전달 되는 의료 정보를 체계적, 계량적 수치로 대체하는 효과가 있다.The present invention has an effect of replacing medical information delivered to the non-quantitatively and abstractly the operator with a systematic and quantitative numerical value.
또한, 본 발명은 환자의 상태를 입력함에 있어, 컨볼루션 신경망 기반의 이미지 패턴 정보를 이용한 딥러닝 시스템을 제공하여, 입력의 효율성을 높이는 효과가 있다.In addition, the present invention provides a deep learning system using convolutional neural network-based image pattern information in inputting a patient's condition, thereby improving input efficiency.
도 1은 본 발명의 실시예를 따른 컨볼루션 신경망 기반의 딥러닝 시스템을 이용한 장치의 블록도,
도 2는 본 발명의 실시예를 따른 다중 컨볼루션 신경망의 구성도,
도 3은 본 발명의 실시예를 따른 컨볼루션 신경망 기반의 세부 진단 그룹, 상위 진단 그룹, 시술 그룹을 나타낸 구성도,
도 4는 본 발명의 실시예를 따른 표시부에 상위 진단 그룹, 시술 그룹, 시술 파라미터 추천 화면의 체계를 나타낸 모식도이다.1 is a block diagram of an apparatus using a deep learning system based on a convolutional neural network according to an embodiment of the present invention;
2 is a configuration diagram of a multiple convolutional neural network according to an embodiment of the present invention,
Figure 3 is a detailed diagram showing a convolutional neural network-based detailed diagnostic group, a higher diagnostic group, and a surgical group according to an embodiment of the present invention,
4 is a schematic diagram showing a system of a high-level diagnosis group, a treatment group, and a procedure parameter recommendation screen on a display unit according to an embodiment of the present invention.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 실시예를 따른 컨볼루션 신경망 기반의 딥러닝 시스템을 이용한 장치는, 컨볼루션 신경망(CNN, Convolution Neural Network)을 기반으로 하여 별도로 미리 입력받은 신체 피부 이미지를 통해 미리 학습하는 학습부(10); 상기 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부(10)의 파라미터(Parameter)를 통해, 시술자로부터 입력받은 신체 피부 이미지를 분석, 분류하는 분석부(20); 상기 시술자로부터 입력받은 신체 피부 이미지가 포함된 최종 분류 내용을 분석부(20)로부터 전달받아 시술자가 볼 수 있게 표시하고, 상기 시술자로부터 최종 분류 내용 선택을 입력받을 수 있는 장치를 포함하며, 상기 장치를 통해 시술자로부터 선택된 최종 분류 내용을 피 시술자가 볼 수 있게 표시하는 표시부(30); 및 상기 시술자로부터 선택된 최종 분류 내용 및 상기 최종 분류 내용에 포함된 신체 피부 이미지의 특징을 표시부(30)로부터 전달받아, 시술장치에 전달하는 시술부(40);를 포함한다.As illustrated in FIGS. 1 to 4, a device using a deep learning system based on a convolutional neural network according to an embodiment of the present invention, a body previously received separately based on a convolutional neural network (CNN) A
상기 딥러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습(machine learning)의 한 분야로서, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의된다.Deep learning is a field of machine learning that teaches a person's way of thinking to a computer in a large frame, through a combination of several nonlinear transformation methods, in a high level of abstraction, a large amount of data, or complex data. It is defined as a set of machine learning algorithms that attempt to summarize the core content or functions.
즉, 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지,추론,판단할 수 있게 되고, 음성,이미지 인식과 사진 분석 등에 광범위하게 활용하는 것이 가능하다.In other words, if deep learning technology is applied, a computer can recognize, reason, and judge by itself even if a person does not set all judgment criteria, and it can be widely used for voice, image recognition, and photo analysis.
본 발명에서 제안하는 방법의 컨볼루션 신경망은 딥러닝의 일종으로, 컨볼루션 레이어(Convolution layer), 풀링 레이어(Pooling layer), 언풀링 레이어(Unpooling layer), 디컨볼루션 레이어(Deconvolution layer)로 이루어져 있다.The convolutional neural network of the method proposed in the present invention is a type of deep learning, and consists of a convolution layer, a pooling layer, an unpooling layer, and a deconvolution layer. have.
컨볼루션 신경망은 입력 영상에 대하여 컨볼루션 레이어와 풀링 레이어를 번갈아 가면서 수행함으로써 영상으로부터 인식 대상의 특징을 추출하고 추출된 특징의 차원수를 줄여나가게 된다.The convolutional neural network extracts the feature of the recognition object from the image and reduces the number of dimensions of the extracted feature by alternately performing the convolution layer and the pooling layer on the input image.
언풀링 레이어는 풀링 레이어에서 사라진 공간정보들의 문제를 해결하기 위하여 사용된다.The unpooling layer is used to solve the problem of spatial information disappeared from the pooling layer.
디컨볼루션 레이어는 언풀링 레이어를 거치면서 작아진 요소들을 학습된 필터를 이용하여 새로운 값을 생성하기 위하여 사용된다. The deconvolution layer is used to generate new values using the learned filter of the small elements passing through the unpooling layer.
상기 풀링 레이어는 컨볼루션 레이어의 피처맵(Feature map)의 크기를 줄여주는 역할을 수행한다.The pooling layer serves to reduce the size of the feature map of the convolution layer.
이때 상기 풀링 레이어는 맥스 풀링 레이어(Max pooling layer)와 에버리지 풀링 레이어(Average pooling layer) 중 어느 하나를 사용할 수 있다.At this time, the pooling layer may use any one of a Max pooling layer and an Average pooling layer.
상기 맥스 풀링을 자세히 설명하면 다음과 같다.The Max pooling will be described in detail as follows.
상기 맥스 풀링은 피처맵을 임의의 크기로 잘라낸 다음, 잘라낸 크기의 이미지 영역에서 가장 큰 값을 뽑아내는 방법이다. 이는 전체 데이터의 사이즈가 줄어들기 때문에 연산에 들어가는 컴퓨팅 리소스가 적어진다는 장점이 있다.The max pooling is a method of cutting a feature map to an arbitrary size and then extracting the largest value from the image area of the cut size. This has the advantage that the total data size is reduced, so there are fewer computing resources to enter the operation.
예를 들어, 피처맵에 스트라이드(Stride)가 2인 풀링 필터(Pooling filter)를 사용할 경우, 총 4개의 출력 값이 생기는데, 여기서, 상기 맥스 풀링 레이어는 풀링 필터 안의 4개 파라미터값들 중 최대값 1개를 선택하고 나머지 3개 파라미터 값은 버림으로써 피처맵의 크기를 줄여준다.For example, when a pooling filter having a stride of 2 is used in the feature map, a total of four output values are generated, where the max pooling layer is the maximum value among the four parameter values in the pooling filter. Select one and discard the remaining three parameter values to reduce the size of the feature map.
또한, 상기 에버리지 풀링 레이어는 풀링 필터 안의 4개 파라미터값들을 평균 낸 평균값 1개를 선택함으로써 피처맵의 크기를 줄여준다.In addition, the average pooling layer reduces the size of the feature map by selecting one average value averaged over four parameter values in the pooling filter.
본 발명에서 상기 풀링 레이어는 한개 이상이며, 풀리 커넥티드 레이어(Fully connected layer)가 2개 이상으로 구성될 수 있다.In the present invention, the pooling layer may be one or more, and two or more fullly connected layers may be formed.
상기 풀리 커넥티드 레이어는 기존 신경망과 같은 형태의 레이어로서, 모든 입력 노드(Input Node)가 모든 출력 노드(Output Node)로 연결된 상태이고 실제로 컴퓨터는 상기 풀리 커넥티드 레이어를 통해 특징 데이터를 학습하게 된다.The pulley connected layer is a layer in the same form as a conventional neural network, and all input nodes are connected to all output nodes, and a computer actually learns feature data through the pulley connected layer. .
상기 풀리 커넥티드 레이어는 컨볼루션 레이어와 풀링 레이어에서 추출된 특징값들을 기존의 뉴럴 네트워크(Neural Network)에 넣는다.The pulley connected layer puts feature values extracted from the convolution layer and the pooling layer into an existing neural network.
상기 풀리 커넥티드 레이어의 출력단에는 입력 영상에 포함된 각 진단의 종류와 위치에 따른 확률값을 표시하기 위해 소프트맥스(Softmax) 함수가 사용될 수 있다.A softmax function may be used at an output terminal of the fully connected layer to display probability values according to types and locations of each diagnosis included in the input image.
이때, 상기 소프트맥스 함수는 입력받은 값을 0~1사이의 값으로 모두 정규화하여 출력하며, 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수이다.At this time, the softmax function outputs the input value by normalizing all values between 0 and 1, and the sum of the output values is always 1.
또한, 본 발명은 컨볼루션 필터를 적용하여 추출된 피처맵에 leaky ReLU(Rectified Linear Unit) 활성화 함수를 적용할 수 있다.In addition, the present invention can apply a leaky ReLU (Rectified Linear Unit) activation function to a feature map extracted by applying a convolution filter.
이는, 컨볼루션 신경망 시스템에서 신경망이 깊어질수록 학습이 어렵기 때문에 역전파(Back-propagation, 다층 퍼셉트론 학습에 사용되는 통계적 기법) 알고리즘 방법을 사용하는데, 기존의 시그모이드 함수(Sigmoid function)를 활성화 함수로 사용할 경우 레이어가 깊어지면 역전파(Back-propagation) 알고리즘이 제대로 동작하지 않을 수 있어(Gradient Vanishing 현상: 결과값을 CNN의 뒤에서 앞으로 전달할 때 전달 값이 사라지는 현상) leaky ReLU 활성화 함수를 사용한다.This is because the deeper the neural network in the convolutional neural network system, the more difficult it is to learn, so the back-propagation (statistical technique used for multi-layer perceptron learning) algorithm method is used. When used as an activation function, the back-propagation algorithm may not work properly when the layer is deep (Gradient Vanishing phenomenon: the passing value disappears when forwarding the result from the back of the CNN). Use the leaky ReLU activation function do.
본 발명은 컨볼루션 신경망의 출력단으로부터 출력되는 결과와 출력 기대값과의 차이를 참고한 다음, 역전파 알고리즘을 이용하여 상기 컨볼루션 신경망의 네트(Net)에 해당하는 가중치값을 변화시키는 단계; 및 영상을 반복적으로 적용함으로써 컨볼루션 신경망의 출력단으로부터 출력되는 결과가 출력 기대값으로 수렴하도록 하고, 실제 출력값과 출력 기대값의 차이가 최소화되면 컨볼루션 신경망의 학습을 마치는 단계를 포함한다.The present invention refers to a difference between a result output from an output terminal of a convolutional neural network and an expected output value, and then, using a back propagation algorithm, changing a weight value corresponding to the net of the convolutional neural network; And applying the image repeatedly to converge the result output from the output terminal of the convolutional neural network to the output expected value, and finish learning the convolutional neural network when the difference between the actual output value and the output expected value is minimized.
즉, 입력 정보마다 입력 정보에 학습을 통해 얻은 가중치를 적용한 값과, 입력 정보들의 관계를 패턴화한 패턴 정보에 패턴 가중치를 적용한 값을 얻고 이를 합한다.That is, for each input information, a weighted value obtained through learning is applied to the input information, and a value obtained by applying a pattern weight to pattern information patterning a relationship between input information is obtained and summed.
그리고, 입력의 수만큼 존재하는 합한 값들을 최종적으로 합해 출력 정보를 얻는다.Then, the summed values existing as many as the number of inputs are finally summed to obtain output information.
보다 구체적으로, 도 1에 도시된 바와 같이, 본 발명의 실시예를 따른 컨볼루션 신경망을 이용한 장치는, 학습부(10)가 분석부(20), 표시부(30)와는 물리적으로 구분된 별도의 장치에 있게 할 수 있다.More specifically, as shown in Figure 1, the apparatus using the convolutional neural network according to an embodiment of the present invention, the
그리고, 상기 컨볼루션 신경망은 자료의 양 및 아키텍처의 구조에 따라 무수히 많은 양의 연산을 하게 된다.And, the convolutional neural network performs a myriad of calculations depending on the amount of data and the structure of the architecture.
그러나, 본 장치로써 이루고자 하는 목표에 있어 해당 연산시간은 큰 걸림돌이기 때문에, 데이터의 수집과 데이터의 학습은 분석부(20)와는 별도로 구성된 학습부(10)에서 실시하고 학습의 결과를 검토 확인하여, 개별 분석부(20)에 유무선 방식 통신을 통해 파라미터를 전달한다.However, since the operation time is a major obstacle to the goal to be achieved by the apparatus, the collection of data and the learning of the data are performed by the
상기 학습부(10)의 학습에 필요한 신체 피부 이미지는 가시광선, 편광, 자외선, 적외선 중 어느 하나를 이용하는 카메라가 포함된 영상 입력부를 통해 미리 획득되어, 상기 학습부(10)에 미리 입력된다.The body skin image required for learning of the
또한, 상기 학습부(10)의 학습에 필요한 신체 피부 이미지는 시술자로부터 핸드피스 또는 기타 스캐너 장치 등을 통해 미리 획득할 수 있다.In addition, the body skin image necessary for learning of the
도 2에 도시된 바와 같이, 상기 학습부(10)는 신체 피부 이미지에 1Χ1, 3Χ3 및 5Χ5중 어느 하나의 컨볼루션 필터를 적용하여, 상기 신체 피부 이미지를 피처맵으로 변환하는 컨볼루션 레이어를 포함한다.As shown in FIG. 2, the
그리고, 상기 학습부(10)는 신체 피부 이미지의 데이터 크기를 줄여주는 풀링 레이어(Pooling Layer)를 포함한다.In addition, the
즉, 상기 학습부(10)는 컨볼루션 레이어와 풀링 레이어를 번갈아가며 구성하여 입력된 이미지의 특징을 추출하여 입력데이터의 특징이 강조된 작은 데이터로 만들어 분류하는 것이다.That is, the
그리고, 상기 분석부(20)는 영상 입력부를 포함할 수 있다.In addition, the
상기 영상 입력부는 시술자가 필요한 부분의 신체 피부 이미지를 획득할 수 있는 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신 받을 수 있다.The image input unit may be connected to a camera capable of acquiring a body skin image of a part required by the operator to receive a direct input image, or may be received from a wireless network or an Internet network.
상기 영상 입력부의 카메라는 가시광선, 편광, 자외선, 적외선중 어느 하나를 이용하여 신체 피부 이미지를 획득할 수 있다.The camera of the image input unit may acquire a body skin image using any one of visible light, polarization, ultraviolet light, and infrared light.
이와 같은 다양한 루트를 통해 영상을 입력 받음으로써, 다양한 환경 및 대량의 영상 데이터가 빅데이터로서의 기능을 수행하여 보다 정확하고 높은 수준의 영상 학습 데이터를 획득할 수 있게 된다.By receiving images through various routes, various environments and large amounts of image data can function as big data to obtain more accurate and high-quality image learning data.
그리고, 상기 표시부(30)는 분석부(20) 및 시술자로부터 데이터를 입력받아, 유·무선 방식을 통해 시술부(40)로 전달한다.Then, the
여기서, 상기 시술부(40)는 레이저 조사기 등과 같은 피부 치료를 위한 시술장치를 포함하며, 분석부(20) 및 시술자로부터 입력받은 데이터를 상기 시술장치에 전달해준다.Here, the
또한, 시술장치에는 장치의 Type, 출력 에너지, 빔 Size, Pulse Duration, Frequency 등 출력시 정해져야할 Parameter 들이 있다. 위 항목 중 상기 장치의 Type는 시술장치를 시술자에게 추천하는 수준의 구분이며, 이하 Parameter는 추천 시술장치 내의 설정 값들을 의미한다.In addition, the treatment device has parameters to be determined when outputting the device type, output energy, beam size, pulse duration, and frequency. Among the above items, the type of the device is a classification of a level in which the surgical device is recommended to the operator, and the following parameters refer to set values in the recommended surgical device.
도 3에 도시된 바와 같이, 본 발명의 상기 분석부(20)는 최종적으로 얻어진 출력정보를 세부 진단명으로 구분 하고(세부 진단 그룹), 상기 세부 진단 그룹을 포함하는 상위 진단명(상위 진단 그룹)과, 상위 진단 그룹에 적용 가능한 시술 그룹으로 라벨 별로 분류하여 표시부(30)를 통해 출력한다.As shown in FIG. 3, the
상기 상위 진단 그룹 내의 라벨은 각각 일정 세부 진단 그룹의 라벨을 하위로 포함한다. Each label in the upper diagnostic group includes a label of a specific detailed diagnostic group as a lower level.
각각의 상기 상위 진단 그룹 라벨은 하위로 포함하는 세부 진단 자식 그룹이 갖는 각 라벨의 확률의 합으로 이루어진다.Each of the upper diagnostic group labels consists of the sum of the probability of each label of the sub-diagnosis child group included as a lower level.
상기 시술 그룹은 시술자가 본 발명이 적용된 장치를 통해 진행 하고자 하는 시술항목을 각각의 라벨로 모아 놓은 집합이다.The treatment group is a collection of treatment items, which are to be performed by the operator through the apparatus to which the present invention is applied, with respective labels.
도 4는 본 발명의 실시예를 따른 상기 표시부(30)를 통한 진단명 입력 화면의 예이다.4 is an example of a screen for inputting a diagnosis name through the
상기 표시부(30)는 도 4에 도시된 바와 같이, 분류된 이미지를 상위 진단 그룹의 라벨 내 높은 확률 순으로 나열하여 표시하고, 시술자로부터 상기 상위 진단 그룹과 시술 그룹 중 각각 한가지를 선택 입력받을 수 있는 기능을 포함한다.As shown in FIG. 4, the
이때, 상기 표시부(30)는 선택 입력받은 시술 그룹 중 한가지 라벨을 토대로 시술자에게 시술장치 및 상기 시술장치 내 파라미터((Parameter)를 시술부(40)로부터 전달받아 추천 할 수 있다.In this case, the
이러한 구성을 가진 본 발명의 사용에 따른 본 발명의 작용에 대하여 살펴보기로 한다.It will be described with respect to the operation of the present invention according to the use of the present invention having such a configuration.
시술자는 환자의 신체 피부 이미지를 분석부(20)에 입력한다.The operator inputs the image of the patient's body skin into the
이때 상기 신체 피부 이미지는 가시광선, 편광, 자외선, 적외선중 어느 하나를 이용하는 영상 입력부의 카메라로 획득할 수 있다.In this case, the body skin image may be acquired by a camera of an image input unit using any one of visible light, polarized light, ultraviolet light, and infrared light.
그러면, 상기 분석부(20)는 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부(10)의 파라미터와 비교하여 입력된 신체 피부 이미지를 분류한다.Then, the
여기서, 상기 학습부(10)는 신체 피부 이미지로 학습하여 컨볼루션 신경망 아키텍쳐를 구성한다.Here, the
그리고, 상기 분석부(20)는 입력된 신체 피부 이미지를 세부 진단 그룹, 상위 진단 그룹 및 시술 그룹으로 라벨 별로 분류하여 표시부(30)를 통해 표시한다.In addition, the
이때 상위 진단 그룹의 각각의 라벨은 일정 세부 진단 그룹의 라벨을 하위로 포함하고, 포함된 하위 라벨의 확률의 합으로 이루어진다.At this time, each label of the upper diagnosis group includes a label of a specific detailed diagnosis group as a lower part, and is made of the sum of the probability of the lower label.
상기 표시부(30)는 입력 이미지, 상위 진단 그룹 및 시술 그룹의 라벨을 높은 확률 순으로 표시하고, 시술자로부터 상위 진단 그룹과 시술 그룹 각각의 내부 라벨을 선택 입력받을 수 있다.The
그러면, 상기 표시부(30)는 선택 입력받은 시술 그룹 내의 한가지 라벨을 토대로 시술부(40)로부터, 시술장치 및 상기 시술장치 내 파라미터((Parameter)를 전달받아 표시하여 시술자에게 추천하게 된다.Then, the
그리고, 상기 시술부(40)에서 출력되는 신체 피부 이미지의 특징은 학습부(10)와는 별개로 분석부(20)와 표시부(30)에 입력된 수치표이며, 이는 진단명, 환부의 크기, 명도 등과 같은 값에 따라 단순 조건 선택으로 선정되는 값이다.In addition, the characteristics of the body skin image output from the
또한, 상기 시술부(40)에서 출력되는 신체 피부 이미지의 특징은 표시부(30)에서 상기 시술부(40)로 유·무선 방식의 통신으로 전달될 수 있다.In addition, the characteristics of the body skin image output from the
또한, 상기 표시부(30)는 최종 분류 내용을 토대로 시술 전후를 비교하여 피 시술자가 볼 수 있게 디스플레이처럼 볼 수 있게 표시할 수 있다.In addition, the
이와 같이 본 발명은 시술자 및 피 시술자에게 컨볼루션 신경망 기반의 학습부를 통해 시술에 대한 체계적이고 정량화된 최종 분류 내용을 신속하게 제공하여 상술한 종래의 문제점들을 해소할 수 있다.As described above, the present invention can solve the above-described problems by quickly providing a systematic and quantitative final classification of the procedure to the operator and the operator through a convolutional neural network-based learning unit.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments described in the present specification and the accompanying drawings are merely illustrative of some of the technical spirit included in the present invention. Therefore, the embodiments disclosed in the present specification are not intended to limit the technical spirit of the present invention, but to explain the scope of the technical spirit of the present invention. Within the scope of the technical spirit included in the specification and drawings of the present invention, modifications and specific embodiments that can be easily inferred by those skilled in the art should be interpreted as being included in the scope of the present invention.
10 : 학습부 20 : 분석부
30 : 표시부 40 : 시술부10: learning unit 20: analysis unit
30: display unit 40: treatment unit
Claims (12)
상기 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부(10)의 파라미터(Parameter)를 통해, 시술자로부터 입력받은 신체 피부 이미지를 분석, 분류하는 분석부(20);
상기 시술자로부터 입력받은 신체 피부 이미지가 포함된 최종 분류 내용을 분석부(20)로부터 전달받아 시술자가 볼 수 있게 표시하고, 상기 시술자로부터 최종 분류 내용 선택을 입력받을 수 있는 장치를 포함하며, 상기 장치를 통해 시술자로부터 선택된 최종 분류 내용을 피 시술자가 볼 수 있게 표시하는 표시부(30); 및
상기 시술자로부터 선택된 최종 분류 내용 및 상기 최종 분류 내용에 포함된 신체 피부 이미지의 특징을 표시부(30)로부터 전달받아, 시술장치에 전달하는 시술부(40);를 포함하고,
상기 분석부(20)는 시술자가 필요한 부분의 신체 피부 이미지를 획득할 수 있는 카메라가 포함된 영상 입력부를 갖으며,
상기 분석부(20)는 영상 입력부를 통해 입력받은 신체 피부 이미지를, 컨볼루션 신경망을 기반으로 미리 학습되어진 학습부(10)의 파라미터를 통해 분류하며,
상기 영상 입력부를 통해 입력받은 신체 피부 이미지는 세부 진단 분류로 분류될 확률을 분석하는 세부 진단 그룹과, 상기 세부 진단 그룹을 포함하는 상위 진단 분류인 상위 진단 그룹, 및 상기 상위 진단 그룹에 적용 가능한 시술 그룹으로 라벨 별로 분류되는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.A learning unit 10 for learning in advance through a body skin image previously input separately based on a convolutional neural network (CNN);
An analysis unit 20 for analyzing and classifying the body skin image received from the operator through the parameters of the learning unit 10 previously learned based on the convolutional neural network;
And a device capable of receiving the final classification information including the body skin image input from the operator from the analysis unit 20 for display by the operator, and receiving the selection of the final classification content from the operator, and the device Display unit 30 for displaying the final classification selected from the operator through the visible to the operator; And
It includes; a surgical unit 40 for receiving the characteristics of the final classification content selected from the operator and the body skin image included in the final classification content from the display unit 30 and transmitting the characteristics to the surgical device;
The analysis unit 20 has an image input unit that includes a camera capable of acquiring a body skin image of a part required by the operator,
The analysis unit 20 classifies the body skin image received through the image input unit through the parameters of the learning unit 10 previously learned based on the convolutional neural network,
The body skin image received through the image input unit is a detailed diagnosis group that analyzes the probability of being classified into a detailed diagnosis classification, a high diagnosis group that is a high-level diagnosis classification including the detailed diagnosis group, and a procedure applicable to the high-level diagnosis group A device that classifies body skin into skin types required for the procedure through image analysis using a convolutional neural network, which is classified into groups by label, and stores and delivers it.
상기 학습부(10)는 분석부(20), 표시부(30)와는 물리적으로 구분된 별도의 장치에 있는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The learning unit 10 is classified into skin types required for the procedure through image analysis using a convolutional neural network, characterized in that it is on a separate device physically separated from the analysis unit 20 and the display unit 30. , A device that stores and delivers it.
상기 학습부(10)는 신체 피부 이미지에 1Χ1, 3Χ3 및 5Χ5중 어느 하나의 컨볼루션 필터를 적용하여, 상기 신체 피부 이미지를 피처맵으로 변환하는 컨볼루션 레이어를 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The learning unit 10 includes a convolutional layer that converts the body skin image into a feature map by applying any one of 1Χ1, 3Χ3, and 5Χ5 convolution filters to the body skin image. Device that classifies body skin into skin types required for the procedure through image analysis using, stores, and transmits it.
상기 학습부(10)는 신체 피부 이미지의 데이터 크기를 줄여주는 풀링 레이어(Pooling Layer)를 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The learning unit 10 classifies the body skin into skin types required for the procedure through image analysis using a convolutional neural network, characterized in that it includes a pooling layer that reduces the data size of the body skin image. Storage and delivery device.
상기 학습부(10)는 분석부(20)에 파라미터를 전달함에 있어서 유·무선방식 통신을 사용하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The learning unit 10 classifies the body skin into skin types required for the procedure through image analysis using a convolutional neural network, characterized in that wired/wireless communication is used to transmit parameters to the analysis unit 20, A device that stores and delivers it.
상기 학습부(10)의 학습에 필요한 신체 피부 이미지는 가시광선, 편광, 자외선, 적외선 중 어느 하나를 이용하는 카메라가 포함된 영상 입력부를 통해 미리 획득되어, 상기 학습부(10)에 미리 입력되는 것을 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The body skin image necessary for learning of the learning unit 10 is obtained in advance through an image input unit including a camera using any one of visible light, polarization, ultraviolet light, and infrared light, and is input in advance to the learning unit 10 Device for classifying body skin into skin types required for the procedure through image analysis using a convolutional neural network, characterized in that it comprises, storing, and transmitting it.
상기 영상 입력부의 카메라는 가시광선, 편광, 자외선, 적외선 중 어느 하나를 이용하여 신체 피부 이미지를 획득하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The camera of the image input unit is classified into skin types required for the procedure through image analysis using a convolutional neural network, characterized in that the body skin image is acquired using any one of visible light, polarization, ultraviolet light, and infrared light. A device that stores and delivers it.
상기 표시부(30)는 분류된 신체 피부 이미지를 상위 진단 그룹의 라벨 내 높은 확률 순으로 나열하여 표시하고, 시술자로부터 상위 진단 그룹과 시술 그룹 각각의 내부 라벨을 선택 입력받을 수 있는 기능을 포함하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 1,
The display unit 30 lists and displays the classified body skin images in the order of the highest probability in the label of the upper diagnosis group, and includes a function to select and input the internal label of each of the upper diagnosis group and the treatment group from the operator Device that classifies body skin into skin types required for the procedure through image analysis using a convolutional neural network, and stores and transmits it.
상기 표시부(30)는 선택 입력받은 시술 그룹 내의 한가지 라벨을 토대로 시술부(40)로부터, 시술장치 및 상기 시술장치 내 파라미터((Parameter)를 전달받아 표시하여 시술자에게 추천하는 것을 특징으로 하는 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치.The method according to claim 11,
The display unit 30 is a convolution characterized in that it recommends to the operator by receiving and displaying a procedure device and a parameter (Parameter) in the procedure device from the procedure unit 40 based on one label in the selected procedure group. A device that classifies body skin into skin types required for the procedure through image analysis using a neural network, and stores and transmits it.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009463A KR102121462B1 (en) | 2018-01-25 | 2018-01-25 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009463A KR102121462B1 (en) | 2018-01-25 | 2018-01-25 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190090583A KR20190090583A (en) | 2019-08-02 |
| KR102121462B1 true KR102121462B1 (en) | 2020-06-10 |
Family
ID=67614113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180009463A KR102121462B1 (en) | 2018-01-25 | 2018-01-25 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102121462B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021141187A1 (en) * | 2020-01-08 | 2021-07-15 | 주식회사 에프앤디파트너스 | Skin image-based skin disease identification apparatus |
| KR102364204B1 (en) * | 2020-06-11 | 2022-02-18 | 주식회사 스타고바이오티 | Scalp management system using panoptic segmentation |
| EP3922202A1 (en) * | 2020-06-12 | 2021-12-15 | Koninklijke Philips N.V. | System and method for determining skin contact for a personal care device |
| CN113298841B (en) * | 2021-07-26 | 2024-01-12 | 四川大学华西医院 | Skin oil parting method, computer equipment, system and storage medium |
| KR102632282B1 (en) * | 2021-10-26 | 2024-02-01 | 주식회사 제이시스메디칼 | Ultrasound irradiation control method by tumor volume and device thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017045341A (en) | 2015-08-28 | 2017-03-02 | カシオ計算機株式会社 | Diagnostic apparatus, leaning processing method in diagnostic apparatus, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101197798B1 (en) | 2012-02-27 | 2012-11-05 | 경일대학교산학협력단 | An apparatus for skin diagnosis |
| KR20130133969A (en) * | 2012-05-30 | 2013-12-10 | 주식회사 센바이텍 | Automatically controlled laser apparatus by image-analysis |
| KR101803471B1 (en) * | 2016-02-15 | 2017-12-01 | 성균관대학교 산학협력단 | Deep learning system and learning method using of convolutional neural network based image patterning |
-
2018
- 2018-01-25 KR KR1020180009463A patent/KR102121462B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017045341A (en) | 2015-08-28 | 2017-03-02 | カシオ計算機株式会社 | Diagnostic apparatus, leaning processing method in diagnostic apparatus, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190090583A (en) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102121462B1 (en) | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network | |
| US20220327714A1 (en) | Motion Engine | |
| Karri et al. | Transfer learning based classification of optical coherence tomography images with diabetic macular edema and dry age-related macular degeneration | |
| Chakrabarty | A deep learning method for the detection of diabetic retinopathy | |
| Yuille et al. | Vision as Bayesian inference: analysis by synthesis? | |
| WO2022212921A1 (en) | Continually learning audio feedback engine | |
| KR20180053003A (en) | Method and apparatus for detection and diagnosis of plant diseases and insects using deep learning | |
| CN104881683B (en) | Cataract eye fundus image sorting technique based on assembled classifier and sorter | |
| Sirish Kaushik et al. | Pneumonia detection using convolutional neural networks (CNNs) | |
| Yadav et al. | HSV model‐based segmentation driven facial acne detection using deep learning | |
| Paulun et al. | A retinotopic spiking neural network system for accurate recognition of moving objects using neucube and dynamic vision sensors | |
| CN108734283A (en) | Nerve network system | |
| CN110516791A (en) | A kind of vision answering method and system based on multiple attention | |
| CN110139067A (en) | A kind of wild animal monitoring data management information system | |
| Bedeli et al. | Clothing identification via deep learning: forensic applications | |
| Krishna et al. | Classification of Glaucoma Optical Coherence Tomography (OCT) Images Based on Blood Vessel Identification Using CNN and Firefly Optimization. | |
| Dong et al. | Multi-reservoirs EEG signal feature sensing and recognition method based on generative adversarial networks | |
| Amorim et al. | Interpreting deep learning models for ordinal problems. | |
| CN112990007B (en) | Facial expression recognition method and system based on regional grouping and internal association fusion | |
| Vinodhini et al. | Detection of Post COVID-Pneumonia Using Histogram Equalization, CLAHE Deep Learning Techniques | |
| KR102451102B1 (en) | Companion animal skin lesion classification system and method based on artificial intelligence using clinical and image information | |
| Hemanth et al. | Diabetic retinopathy diagnosis in retinal images using hopfield neural network | |
| Shivaanivarsha et al. | An Efficient Fully Automated Detection of Mucormycosis Using Three-Dimensional Deep Learning on Computer Tomography Studies | |
| Sottocornola et al. | Contextual multi-armed bandit strategies for diagnosing post-harvest diseases of apple | |
| Rababaah | Deep learning of human posture image classification using convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |