KR20240059918A - Device and method for evaluating airway using picture of face and neck - Google Patents
Device and method for evaluating airway using picture of face and neck Download PDFInfo
- Publication number
- KR20240059918A KR20240059918A KR1020220141005A KR20220141005A KR20240059918A KR 20240059918 A KR20240059918 A KR 20240059918A KR 1020220141005 A KR1020220141005 A KR 1020220141005A KR 20220141005 A KR20220141005 A KR 20220141005A KR 20240059918 A KR20240059918 A KR 20240059918A
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- electronic device
- artificial intelligence
- airway
- intelligence model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 74
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 238000002627 tracheal intubation Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 210000000214 mouth Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000001260 vocal cord Anatomy 0.000 description 6
- 238000013434 data augmentation Methods 0.000 description 5
- 210000001562 sternum Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000002409 epiglottis Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000002576 laryngoscopy Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000534 thyroid cartilage Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000002396 uvula Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시 예에 따른 전자 장치는 기도(airway)에 대한 평가를 수행하도록 학습된 인공지능 모델을 저장하는 메모리 및 상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 상기 인공지능 모델에 투입하여, 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 상기 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류할 수 있다. An electronic device according to an embodiment of the present invention includes a memory that stores an artificial intelligence model learned to perform an evaluation of the airway and a processor connected to the memory, wherein the processor is configured to include the subject's face and neck. By inputting a plurality of captured images into the artificial intelligence model, items related to the ease of airway intubation for the subject can be extracted, and values for the extracted items can be calculated to classify the difficulty level of the subject's airway. .
Description
본 발명은 대상자의 안면부 및 목이 포함된 사진을 이용하여 대상자의 기도(airway)를 평가하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for evaluating a subject's airway using a photograph including the subject's face and neck.
종래에 환자의 기도를 평가하기 위한 일반적인 방법들이 다양하게 이루어지고 있으나, 기존의 방법들은 전문가의 육안 관찰에 근거한 경우가 많았다. Conventionally, a variety of general methods have been used to evaluate a patient's airway, but the existing methods were often based on visual observation by an expert.
도 1은 종래의 기도 평가 방법을 도시하고 있다. 환자의 구강을 육안으로 관찰하고, 목젖과 목구멍이 보이는 정도에 따라 기도삽관의 곤란 정도를 분류하는 Mallampati grade(10)을 비롯하여, Thyromental height(20), Thyromental distance(30), Sternomental distance(40), 목둘레 측정법(50)이 주로 사용되어 왔다. 이러한 종래의 기도 평가 방법은 비교적 간편하고 일부 방법은 객관적일 수 있으나, 측정하는 사람에 따라 차이가 발생할 수 있으며, 한가지 방법으로 기도와 연관된 신체부위를 대표하기 어려우며 평가 방법으로써의 성능도 뛰어나지 않다는 문제가 있다. Figure 1 shows a conventional airway evaluation method. Mallampati grade (10), which classifies the difficulty of tracheal intubation according to the degree to which the patient's oral cavity is visually observed and the uvula and throat are visible, as well as Thyromental height (20), Thyromental distance (30), and Sternomental distance (40) , the neck circumference measurement method (50) has been mainly used. These conventional airway evaluation methods are relatively simple and some methods may be objective, but differences may occur depending on the person measuring, it is difficult to represent the body parts related to the airway with one method, and the performance as an evaluation method is not excellent. There is.
본 발명의 실시 예는 환자의 기도 삽관의 곤란 정도를 평가하기 위한 기도 평가 방법을 딥러닝을 통해 보다 객관적으로 수행할 수 있도록 하기 위해 고안되었다. Embodiments of the present invention were designed to enable the airway evaluation method to evaluate the degree of difficulty in intubating a patient's airway to be performed more objectively through deep learning.
또한, 본 발명의 실시 예는 특정 장소나 장비의 요구 없이 간편하게 스마트폰을 이용하여 촬영된 사진을 기반으로 기도 평가를 수행할 수 있도록 지원하기 위해 고안되었다. In addition, embodiments of the present invention are designed to support airway evaluation based on photos taken using a smartphone without the need for a specific location or equipment.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present disclosure are not limited to the purposes mentioned above, and other objects and advantages of the present disclosure that are not mentioned can be understood by the following description and will be more clearly understood by the examples of the present disclosure. Additionally, it will be readily apparent that the objects and advantages of the present disclosure can be realized by the means and combinations thereof indicated in the patent claims.
본 발명의 실시 예에 따른 전자 장치는 기도(airway)에 대한 평가를 수행하도록 학습된 인공지능 모델을 저장하는 메모리 및 상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 상기 인공지능 모델에 투입하여, 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 상기 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류할 수 있다. An electronic device according to an embodiment of the present invention includes a memory that stores an artificial intelligence model learned to perform an evaluation of the airway and a processor connected to the memory, wherein the processor is configured to include the subject's face and neck. By inputting a plurality of captured images into the artificial intelligence model, items related to the ease of airway intubation for the subject can be extracted, and values for the extracted items can be calculated to classify the difficulty level of the subject's airway. .
이 때, 상기 복수의 이미지는 안면부와 목이 포함되도록 촬영된 정면 사진에 해당하는 제1 이미지, 목을 신전한 상태로 촬영된 정면 사진에 해당하는 제2 이미지, 목을 신전한 측면 사진에 해당하는 제3 이미지 및 입을 벌리고 혀를 밖으로 내밀어 입 전체와 혀가 보이도록 촬영된 정면 사진에 해당하는 제4 이미지를 포함하여 구성될 수 있다. At this time, the plurality of images include a first image corresponding to a frontal photo taken so as to include the face and neck, a second image corresponding to a frontal photo taken with the neck extended, and a side photo taken with the neck extended. It may include a third image and a fourth image corresponding to a frontal photo taken with the mouth open and the tongue sticking out so that the entire mouth and tongue are visible.
또한, 상기 프로세서는 상기 복수의 이미지에 대한 정규화 동작을 수행하는 전처리부를 포함할 수 있는데, 상기 정규화 동작은 대상자의 사진에 대한 밝기 변경, 대비 변경 및 색상 채널간의 화이트밸런싱 동작을 포함할 수 있다. 또한, 상기 전처리부는 상기 인공지능 모델의 학습에 투입되는 학습용 데이터의 양을 증가시키기 위해 기 확보된 복수의 이미지에 전처리 동작을 수행하되, 상기 복수의 이미지의 개별적 촬영 특성에 대응하여 전처리 기법을 상이하게 설정할 수 있다. Additionally, the processor may include a preprocessor that performs a normalization operation on the plurality of images, and the normalization operation may include changing brightness, changing contrast, and white balancing between color channels for the subject's photo. In addition, the preprocessor performs a preprocessing operation on a plurality of images already secured to increase the amount of learning data input to the learning of the artificial intelligence model, and uses different preprocessing techniques in response to the individual shooting characteristics of the plurality of images. It can be set as follows.
또한, 상기 프로세서는 상기 복수의 이미지 각각을 개별 CNN(Convolutional Neural Networks) 기반의 이미지 인코더로 투입하여 산출된 복수의 레이블에 대한 보팅(voting) 동작을 수행하여 최종 결과값을 도출하도록 상기 인공지능 모델을 학습시키는 학습부를 포함할 수 있다. 그리고 상기 프로세서는 복수의 이미지를 인공지능 모델에 투입하여 연산한 결과로 산출된 복수의 레이블에 보팅 가중치를 적용하여 최종 결과값을 도출하는 판단부를 포함할 수 있다. 그리고 이 때 상기 보팅 가중치는 상기 복수의 이미지의 촬영 특성 및 대상자의 목 움직임 자유도 중 적어도 하나에 의해 상이하게 지정될 수 있다. In addition, the processor inputs each of the plurality of images into an individual CNN (Convolutional Neural Networks)-based image encoder and performs a voting operation on the plurality of labels calculated to produce the artificial intelligence model to derive the final result. It may include a learning unit that learns. In addition, the processor may include a determination unit that derives a final result by applying voting weights to a plurality of labels calculated as a result of computing a plurality of images by inputting them into an artificial intelligence model. And at this time, the voting weight may be specified differently depending on at least one of the shooting characteristics of the plurality of images and the degree of freedom of neck movement of the subject.
또한, 상기 프로세서는 상기 복수의 이미지에 대한 촬영 자세와 관련된 가이드 정보를 상기 대상자 단말에 제공하고, 대상자 단말로부터 상기 복수의 이미지를 획득하는 데이터 획득 지원부를 포함할 수 있다. Additionally, the processor may include a data acquisition support unit that provides guide information related to the shooting posture for the plurality of images to the subject's terminal and acquires the plurality of images from the subject's terminal.
또한, 본 발명의 실시예에 따른 전자 장치의 제어 방법은 상기 전자 장치가, 기도(Airway)에 대한 평가를 수행하도록 인공지능 모델을 학습시키는 단계, 상기 전자 장치가, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 획득하여 기 학습된 인공지능 모델에 투입하는 단계 및 상기 전자 장치가, 상기 인공지능 모델을 구동하여 상기 이미지로부터 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하는 단계를 포함할 수 있다. In addition, the method of controlling an electronic device according to an embodiment of the present invention includes the steps of training an artificial intelligence model to enable the electronic device to perform an evaluation of the airway, and allowing the electronic device to include the subject's face and neck. Obtaining a plurality of captured images and inputting them into a previously learned artificial intelligence model, and the electronic device drives the artificial intelligence model to extract and extract items related to the ease of airway intubation of the subject from the images. It may include a step of classifying the difficulty of the subject's prayer by calculating the values for the items.
그리고, 전자 장치 및 대상자 단말로 구성된 시스템에서, 상기 전자 장치는 기도(Airway)에 대한 평가를 수행하도록 학습된 인공지능 모델을 저장하는 메모리 및 상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 상기 인공지능 모델에 투입하여, 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 상기 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하고, 상기 대상자 단말은 상기 전자 장치로부터 촬영 자세와 관련된 가이드 정보를 수신하여 촬영 화면 상에 표시하고, 상기 가이드 정보에 따라 촬영된 대상자의 이미지를 상기 전자 장치로 전송할 수 있다. And, in a system consisting of an electronic device and a subject's terminal, the electronic device includes a memory that stores an artificial intelligence model learned to perform an evaluation of the airway and a processor connected to the memory, and the processor includes a subject's terminal. A plurality of images taken including the face and neck of the subject are input into the artificial intelligence model to extract items related to the ease of airway intubation for the subject, and the values for the extracted items are calculated to determine the subject's airway. After classifying the level of difficulty, the subject terminal may receive guide information related to the shooting posture from the electronic device, display it on the shooting screen, and transmit the image of the subject captured according to the guide information to the electronic device.
그리고 전자 장치 및 대상자 단말로 구성된 시스템의 제어 방법은 상기 전자 장치가, 기도(Airway)에 대한 평가를 수행하도록 인공지능 모델을 학습시키는 단계, 상기 대상자 단말이, 상기 전자 장치로부터 촬영 자세와 관련된 가이드 정보를 수신하여 촬영 화면 상에 표시하는 단계, 상기 대상자 단말이, 상기 가이드 정보에 따라 촬영된 대상자의 이미지를 상기 전자 장치로 전송하는 단계, 상기 전자 장치가, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 획득하여 기 학습된 인공지능 모델에 투입하는 단계 및 상기 전자 장치가, 상기 인공지능 모델을 구동하여 상기 이미지로부터 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하는 단계를 포함할 수 있다. And the control method of the system composed of the electronic device and the subject's terminal includes the steps of training an artificial intelligence model so that the electronic device performs an evaluation of the airway, and the subject's terminal provides guidance related to the shooting posture from the electronic device. Receiving information and displaying it on a capturing screen, transmitting, by the subject terminal, an image of the subject captured according to the guide information to the electronic device, the electronic device capturing the image to include the subject's face and neck Obtaining a plurality of images and inputting them into a previously learned artificial intelligence model; and the electronic device drives the artificial intelligence model to extract items related to the ease of intubation of the airway for the subject from the images, and the extracted items It may include the step of classifying the difficulty level of the subject's prayer by calculating the value for .
본 발명의 실시 예는 환자의 침대 옆에서 스마트폰과 같은 간편한 장비를 가지고 환자의 안면부와 목이 포함된 사진을 촬영하는 비교적 간단한 방법을 통해 기도 평가를 수행할 수 있다. Embodiments of the present invention can perform airway evaluation through a relatively simple method of taking pictures including the patient's face and neck with a simple device such as a smartphone at the patient's bedside.
기도 관리가 요구되는 환자의 기도 평가를 간편하게 수행할 수 있음에 따라 어려운 기도에 대비할 수 있는 장비와 인력을 미리 준비할 수 있다. As airway evaluation of patients requiring airway management can be easily performed, equipment and personnel to prepare for difficult airways can be prepared in advance.
도 1은 종래의 기도 평가 방법의 예를 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 레이블 설정 기준에 대하여 설명하기 위해 종래 기도 평가 방식을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 대상자의 사진의 예를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 인공지능 연산 과정을 도시한 도면이다. Figure 1 is a diagram showing an example of a conventional airway evaluation method.
Figure 2 is a diagram showing the configuration of an electronic device according to an embodiment of the present invention.
Figure 3 is a diagram illustrating a conventional airway evaluation method to explain label setting standards according to an embodiment of the present invention.
Figure 4 is a diagram showing an example of a photograph of a subject according to an embodiment of the present invention.
Figure 5 is a diagram illustrating an artificial intelligence calculation process according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used in the specification, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles. However, “part” or “module” is not limited to software or hardware. A “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors. Thus, as an example, a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. Could be further separated.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as "below" or "beneath" another component will be placed "above" the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.
본 발명은 기관 내 삽관 등을 시도하는 환자의 기도를 평가하는 방법에 관한 것으로써, 구체적으로는 환자(대상자)의 기도(airway)에 대한 삽관 시술 등과 관련된 난이도를 평가하고, 대상자의 기도가 삽관 시술에 용이하지 않은 '어려운 기도(difficult airway)'에 해당하는지 여부를 평가하기 위한 동작을 개시한다. '어려운 기도'는 기관 내 삽관 등 기도 관련 시술을 수행하는 데 있어, 시술에 어려움이 따를 것으로 예상되는 기도를 지칭하며, 기존의 다양한 육안 관찰 및 실측 방법(ex, Mallampati grade, Thyromental height, Thyronmental distance, Sternomental distance, 목 둘레 등을 측정)으로 어려운 기도에 해당하는지 여부를 평가할 수 있다. The present invention relates to a method for evaluating the airway of a patient attempting endotracheal intubation, etc., and specifically, to evaluate the difficulty related to the intubation procedure for the patient's (subject's) airway, and to determine whether the subject's airway is intubated. An operation is initiated to evaluate whether it corresponds to a 'difficult airway' that is not easy for the procedure. ‘Difficult airway’ refers to an airway that is expected to be difficult when performing airway-related procedures such as endotracheal intubation, and is based on various existing visual observation and actual measurement methods (e.g., Mallampati grade, Thyromental height, Thyronmental distance). , sternomental distance, neck circumference, etc.) can be used to evaluate whether the patient has a difficult airway.
한편, 본 발명의 실시 예에 따른 전자 장치(100)는 대상자(환자)의 안면부와 목을 포함하는 사진 데이터를 인공지능 모델에 투입하여, 이를 연산한 결과에 따라 대상자의 기도에 대한 시술 관련 난이도 및 '어려운 기도'에 해당하는지 여부를 판단할 수 있다. Meanwhile, the electronic device 100 according to an embodiment of the present invention inputs photographic data including the face and neck of the subject (patient) into an artificial intelligence model, and determines the difficulty level related to the procedure for the subject's airway according to the results of calculating it. and whether it corresponds to 'difficult prayer' can be determined.
본 발명의 실시 예에 따른 전자 장치(100)는 인공지능 모델을 활용하여 대상자의 기도를 평가하기 위한 다양한 기능을 수행할 수 있다.The electronic device 100 according to an embodiment of the present invention can perform various functions to evaluate a subject's airway using an artificial intelligence model.
이하에서는, 다음의 도 2 이하를 참조하여, 본 발명의 실시 예에 따른 기도 평가 동작을 수행하는 전자 장치(100)에 대하여 설명하기로 한다.Hereinafter, the electronic device 100 that performs an airway evaluation operation according to an embodiment of the present invention will be described with reference to FIG. 2 and below.
도 2는 본 발명의 실시 예에 따른 전자 장치의 구성을 도시한 도면이다. Figure 2 is a diagram showing the configuration of an electronic device according to an embodiment of the present invention.
상기 전자 장치(100)의 프로세서(101)는 도 2에서 도시하는 바와 같이, 전처리부(110), 학습부(120), 판단부(130) 및 데이터 획득 지원부(140)를 포함하여 구성될 수 있다. As shown in FIG. 2, the processor 101 of the electronic device 100 may be configured to include a preprocessor 110, a learning unit 120, a determination unit 130, and a data acquisition support unit 140. there is.
상기 전처리부(110)는 본 발명의 실시 예에 따른 인공지능 모델의 학습 동작 및 기도 평가 동작을 수행하는 데 요구되는 이미지들의 가공 동작을 수행할 수 있다. The pre-processing unit 110 may perform a processing operation of images required to perform a learning operation and an airway evaluation operation of an artificial intelligence model according to an embodiment of the present invention.
먼저, 상기 전처리부(110)는 학습용 데이터들의 정규화를 위한 전처리 동작을 수행할 수 있다. First, the preprocessor 110 may perform a preprocessing operation to normalize learning data.
구체적으로, 상기 전처리부(110)는 학습되는 인공지능 모델의 안정성 관점에서 이미지의 분포를 정규화시키는 목적으로 학습용 데이터셋으로 설정된 이미지들의 전처리 동작을 수행할 수 있다. 이러한 정규화를 위한 전처리 동작은 이미지의 밝기와 대비값, 그리고 색상 채널간의 화이트밸런싱을 통해 밝기 정보를 균일하게 일치시켜주는 과정이 포함될 수 있다. Specifically, the preprocessor 110 may perform a preprocessing operation on images set as a learning dataset for the purpose of normalizing the distribution of images in terms of the stability of the artificial intelligence model being learned. This preprocessing operation for normalization may include a process of uniformly matching brightness information through white balancing between the brightness and contrast values of the image and color channels.
그리고 상기 전처리부(110)는 학습용 데이터들의 양을 증가시키기 위한 목적의 전처리 동작을 수행할 수 있다. And the preprocessing unit 110 may perform a preprocessing operation for the purpose of increasing the amount of learning data.
이와 같이 상기 전처리부(110)는 제한된 학습용 데이터의 양을 증가시키기 위해, 기 확보된 이미지 데이터인 대상자의 사진에 각종 변환을 적용한 가공 과정을 수행할 수 있다. In this way, the pre-processing unit 110 may perform a processing process of applying various transformations to the subject's photo, which is already secured image data, in order to increase the limited amount of learning data.
이러한 데이터 증강용 전처리 동작에는 예컨대, 이미지의 회전 및 크기 조절과 같은 기하학적 변환 동작이 포함될 수 있다. 바람직하게는 상기 데이터 증강용 전처리 동작에 임의의 색상 보정, 랜덤 절삭, 엘라스틱(Elastic) 변환의 동작이 포함될 수 있다. 그 밖에도 상기 전처리부(110)는 로테이션(Rotation), 좌우 변환(Symmetry), 픽셀변형(Bright, Grayscale, Blur 등)의 동작을 데이터 증강용 전처리 동작으로 수행할 수 있다. Such preprocessing operations for data augmentation may include, for example, geometric transformation operations such as rotation and resizing of images. Preferably, the preprocessing operation for data enhancement may include arbitrary color correction, random cutting, and elastic transformation. In addition, the preprocessor 110 can perform rotation, symmetry, and pixel transformation (bright, grayscale, blur, etc.) as preprocessing operations for data augmentation.
이러한 데이터 증강의 목적은 학습에 투입되는 데이터의 양을 늘려 보다 정확도 높은 인공지능 모델을 구현하는데 있다. 그에 따라 상기 전처리부(110)는 데이터 증강을 위한 전처리 동작을 수행함에 있어, 이미지가 갖는 핵심적인 특징이 간직될 수 있도록 가공 동작을 수행할 수 있다. 예를 들어, 상기 전처리부(110)는 데이터 증강을 위해 이미지에 대한 랜덤 절삭(Crop)을 수행하는 경우, 이미지에 포함되는 핵심 특징이 유지될 수 있도록 절삭되는 범위에 대한 한계를 설정할 수 있다. The purpose of this data augmentation is to implement a more accurate artificial intelligence model by increasing the amount of data input for learning. Accordingly, when performing a preprocessing operation for data enhancement, the preprocessing unit 110 can perform a processing operation so that the core characteristics of the image are maintained. For example, when performing random cropping on an image for data augmentation, the preprocessor 110 may set a limit on the cropping range so that key features included in the image can be maintained.
본 발명의 다양한 실시 예에 따라 인공지능 모델의 학습 및 인공지능 모델을 통한 결과 분석 과정에서 인공지능 모델에 투입되는 이미지는 총 4종류로 구성될 수 있다. 그에 따라 상기 전처리부(110)는 4종의 이미지에 각각에 대응하여 상이한 기준으로 전처리 기법의 종류를 적용할 수도 있다.According to various embodiments of the present invention, in the process of learning the artificial intelligence model and analyzing the results through the artificial intelligence model, images input to the artificial intelligence model may be composed of a total of four types. Accordingly, the preprocessing unit 110 may apply different types of preprocessing techniques to each of the four types of images based on different standards.
먼저, 인공지능 모델에 투입되는 4종의 이미지에 대한 설명을 위해 도 4을 참조하기로 한다. First, refer to FIG. 4 for an explanation of the four types of images input into the artificial intelligence model.
도 4는 본 발명의 실시 예에 따른 대상자의 사진의 예를 도시한 도면이다. Figure 4 is a diagram showing an example of a photograph of a subject according to an embodiment of the present invention.
도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 인공지능에 투입될 대상자의 사진은 4종류를 포함하도록 구성될 수 있다. 다양한 실시 예에 따라 대상자의 사진 종류는 추가될 수 있다. As shown in FIG. 4, photos of subjects to be input into artificial intelligence according to an embodiment of the present invention may be configured to include four types. According to various embodiments, types of photos of the subject may be added.
본 발명의 실시 예에 따른 인공지능 모델에 투입될 4종의 이미지(대상자의 사진) 중 제1 이미지는 401에서와 같이 대상자의 안면부와 목이 포함되도록 촬영된 정면 사진으로 지정될 수 있다. 보다 구체적으로, 상기 제1 이미지는 대상자의 코 아래부터 흉골 상부까지를 포함하도록 설정될 수 있다. Among the four types of images (photos of the subject) to be input into the artificial intelligence model according to an embodiment of the present invention, the first image may be designated as a frontal photo taken to include the subject's face and neck, as shown in 401. More specifically, the first image may be set to include from below the subject's nose to the top of the sternum.
본 발명의 실시 예에 따른 인공지능 모델에 투입될 대상자의 사진 중 제2 이미지는 402에서 도시되는 바와 같이 환자의 목을 신전한 정면 사진으로 지정될 수 있다. 보다 구체적으로, 상기 제2 이미지는 기도 판단의 대상이 되는 대상자의 턱부터 흉골 상부까지를 포함하도록 설정될 수 있다. Among the photos of the subject to be input into the artificial intelligence model according to an embodiment of the present invention, the second image may be designated as a frontal photo with the patient's neck extended, as shown in 402. More specifically, the second image may be set to include the subject's chin to the upper sternum, which is the subject of airway determination.
본 발명의 실시 예에 따른 인공지능 모델에 투입될 대상자의 사진 중 제3 이미지는 403에서 도시되는 바와 같이, 대상자의 목을 신전한 상태의 측면 사진으로 지정될 수 있다. 보다 구체적으로, 상기 제3 이미지는 대상자의 목을 뒤로 젖힌 상태에서 대상자의 턱과 흉골 상부까지를 포함하도록 촬영된 측면 사진을 의미할 수 있다. Among the photos of the subject to be input into the artificial intelligence model according to an embodiment of the present invention, the third image may be designated as a side photo with the subject's neck extended, as shown in 403. More specifically, the third image may refer to a side photo taken with the subject's neck tilted back and including the subject's chin and upper sternum.
본 발명의 실시 예에 따른 인공지능 모델에 투입될 대상자의 사진 중 제4 이미지는 404에서 도시되는 바와 같이, 입을 벌리고 혀를 입 밖으로 내민 사진으로 설정될 수 있다. 이 때, 제4 이미지는 대상자의 구강 내부가 확인될 수 있을 정도로 입을 벌린 상태에서 촬영된 사진일 수 있으며, 대상자의 입 전체와 혀를 포함하도록 촬영된 정면 사진으로 설정될 수 있다. Among the photos of the subject to be input into the artificial intelligence model according to an embodiment of the present invention, the fourth image may be set as a photo with the mouth open and the tongue sticking out of the mouth, as shown in 404. At this time, the fourth image may be a photo taken with the subject's mouth open enough to allow the inside of the oral cavity to be seen, and may be set as a frontal photo taken to include the subject's entire mouth and tongue.
이렇듯 본 발명의 실시 예에 따른 인공지능에 투입되는 이미지 데이터는 4종으로 구성될 수 있고, 앞서 언급한 바와 같이, 상기 전처리부(110)는 4종의 이미지 각각에 대응하여 상이한 기준으로 전처리 기법의 종류를 적용할 수 있다.In this way, image data input to artificial intelligence according to an embodiment of the present invention may be composed of four types, and as mentioned above, the preprocessing unit 110 uses preprocessing techniques based on different standards corresponding to each of the four types of images. Types can be applied.
예를 들어, 상기 전처리부(110)는 4종류의 이미지 중 제1 이미지(도 4의 401에 해당, 대상자의 코 아래부터 흉골 상부까지가 촬영된 이미지)에 적용 가능한 데이터 증강용 전처리 기법으로 랜덤 절삭, 좌우 변환, 색상 보정의 3종을 적용하고, 제4 이미지(도 4의 404에 해당, 대상자의 입을 벌린 모습을 정면에서 촬영된 이미지)에 적용 가능한 전처리 기법으로 좌우 변환과, 엘라스틱(Elastic) 변환만을 수행할 수 있다. For example, the pre-processing unit 110 is a data enhancement pre-processing technique applicable to the first image (corresponding to 401 in FIG. 4, an image taken from below the subject's nose to the top of the sternum) among four types of images. Three types of cutting, left-right conversion, and color correction are applied, and left-right conversion and elastic are applied as preprocessing techniques to the fourth image (corresponding to 404 in Figure 4, an image taken from the front showing the subject's mouth open). ) Only conversion can be performed.
나아가, 상기 전처리부(110)는 4종류의 이미지들이 촬영되는 상황에서의 특징(예, 촬영 당시 근접한 정도 등)을 고려하여, 수행되는 전처리 기법의 기준을 상이하게 설정할 수 있다. Furthermore, the pre-processing unit 110 may set different standards for the pre-processing techniques performed by considering the characteristics of the situation in which the four types of images are captured (e.g., degree of proximity at the time of shooting, etc.).
구체적으로 예를 들면, 상기 전처리부(110)는 비교적 원거리에서 촬영되는 제1 이미지(도4의 401에 해당)에 비해 상대적으로 근접한 위치에서 촬영되는 제4 이미지(도 4의 404에 해당)의 경우 초점이 맞춰지지 않은 데이터의 발생 빈도가 높을 수 있음에 따라, 이에 대한 대비를 위해 제4 이미지에 대한 전처리 동작 시 블러(blur;초점을 흐리게 하는 가공 동작)기법이 추가로 포함되도록 할 수 있다. Specifically, for example, the preprocessor 110 processes the fourth image (corresponding to 404 in FIG. 4) taken at a relatively close location compared to the first image (corresponding to 401 in FIG. 4) taken at a relatively long distance. In this case, as the frequency of occurrence of out-of-focus data may be high, to prepare for this, a blur (processing operation to blur the focus) technique may be additionally included during the pre-processing operation for the fourth image. .
다양한 실시 예에 따라 상기 전처리부(110)는 4종류의 이미지 각각에 대한 오브젝트별 특징(예, 이미지 내 오브젝트의 면적 비율)에 대응하여 전처리 기법의 종류가 상이하게 설정될 수 있다. 이 때 상기 오브젝트는 대상자의 안면부, 대상자의 목부위, 대상자의 구강 내부 이미지 등 배경과 상대적인 개념으로, 기도 판단의 대상이 되는 이미지를 의미할 수 있다. According to various embodiments, the preprocessing unit 110 may set different types of preprocessing techniques to correspond to the characteristics of each object (e.g., area ratio of the object in the image) for each of the four types of images. At this time, the object is a concept relative to the background, such as the subject's face, the subject's neck, or an image of the subject's inside the oral cavity, and may mean an image that is the subject of airway judgment.
또한 다양한 실시 예에 따라 상기 전처리부(110)는 학습이 완료된 인공지능 모델에 데이터를 투입하여 대상자의 기도(Airway)를 평가하는 동작을 수행하는 경우에도, 분석 동작의 안정성을 위해 이미지 데이터에 대한 전처리를 수행할 수 있다. 이 경우에도 상기 전처리부(110)는 학습용 데이터셋을 구성하기 위해 수행된 전처리 동작과 같이, 이미지의 분포를 정규화시키기 위한 가공 동작 (예, 밝기 조절, 대비 조절, 화이트밸런싱 등)을 수행할 수 있다. In addition, according to various embodiments, even when the preprocessor 110 performs an operation to evaluate the subject's airway by inputting data into an artificial intelligence model on which learning has been completed, the preprocessor 110 provides information on image data for the stability of the analysis operation. Preprocessing can be performed. Even in this case, the preprocessor 110 can perform processing operations (e.g., brightness adjustment, contrast adjustment, white balancing, etc.) to normalize the distribution of the image, like the preprocessing operation performed to construct the learning dataset. there is.
상기 프로세서(101)는 상기 전처리부(110)에서 가공된 이미지 데이터로 인공지능 모델을 학습시키는 학습부(120)를 포함하여 구성될 수 있다. The processor 101 may be configured to include a learning unit 120 that trains an artificial intelligence model using image data processed by the preprocessor 110.
상기 학습부(120)는 상기 전처리부(110)에서 가공 과정을 거친 이미지 데이터와 각 이미지 데이터에 대응하는 레이블(Rabel)을 학습용 데이터로 설정하고, 상기 학습용 데이터를 CNN(Convolutional Neural Networks)기반의 인공지능 모델에 투입하여 가중치(Weight)를 산출하는 학습을 수행할 수 있다. The learning unit 120 sets the image data processed in the pre-processing unit 110 and labels corresponding to each image data as learning data, and uses the learning data as training data based on CNN (Convolutional Neural Networks). Learning to calculate weights can be performed by inputting it into an artificial intelligence model.
본 발명에서, 바람직하게는 이미지의 특징 추출에 가장 안정적인 성능을 보이는 CNN(Convolutional Neural Networks) 기반의 기반의 이미지 인코더(Encoder)와 분류기 방식이 사용될 수 있다. 그리고 상기 학습부(120)는 다양한 각도에 따른 이미지를 입력으로 받기 위해 앞서 설명한 4종의 이미지(대상자의 사진)를 학습용 데이터로 설정하고, 각각의 이미지(제1 이미지, 제2 이미지, 제3 이미지, 제4 이미지)는 독립적으로 개별 이미지 인코더에 입력하여 각 이미지에 대응하는 개별적인 학습을 수행할 수 있다. In the present invention, an image encoder and classifier method based on CNN (Convolutional Neural Networks), which shows the most stable performance in extracting image features, can be preferably used. In order to receive images from various angles as input, the learning unit 120 sets the four types of images (photos of the subject) described above as learning data, and sets each image (first image, second image, third image) as learning data. image, fourth image) can be independently input to an individual image encoder to perform individual learning corresponding to each image.
이 때 학습용 데이터는 인풋 데이터와 아웃풋 데이터로 구분될 수 있는데, 인풋 데이터는 4종의 이미지에 해당하고, 아웃풋 데이터는 4종의 이미지 각각에 대응하는 레이블(Rabel)에 해당될 수 있다. 상기 레이블은 도 3에서 도시되는 종래의 기도 평가 방법에 따른 분류 정보에 기반하여 설정되는 정보일 수 있다.At this time, the learning data can be divided into input data and output data. The input data can correspond to four types of images, and the output data can correspond to labels corresponding to each of the four types of images. The label may be information set based on classification information according to the conventional airway evaluation method shown in FIG. 3.
도 3은 본 발명의 실시 예에 따른 레이블 설정 기준에 대하여 설명하기 위해 종래 기도 평가 방식을 도시한 도면이다. Figure 3 is a diagram illustrating a conventional airway evaluation method to explain label setting standards according to an embodiment of the present invention.
도 3은 후두경상으로 보이는 후두개와 성대의 사진이다. 종래에는 이와 같이 후두경상으로 확인되는 후두개와 성대의 상태에 따라 대상자의 기도의 시술 난이도를 평가할 수 있었다. 이러한 종래의 평가 방식에 따르면, 도 3의 301은 성대가 완전히 보이는 상태로 등급 1에 해당한다. 302는 성대의 일부가 보이는 상태로 등급 2에 해당한다. 그리고 303은 후두개만 보이고 성대가 보이지 않는 상태로 등급 3에 해당한다. 304는 후두개와 성대 모두 보이지 않는 상태로 등급 4에 해당한다. 종래의 평가 방식에 따르면 도 3에서 개시되는 등급 3과 등급 4는 의학적 정의에 따라 '어려운 기도(Difficult airway)'로 평가된다. Figure 3 is a photograph of the epiglottis and vocal cords as seen through laryngoscope. Conventionally, the difficulty of the patient's airway procedure could be evaluated according to the condition of the epiglottis and vocal cords as confirmed by laryngoscopy. According to this conventional evaluation method, 301 in FIG. 3 corresponds to grade 1 with the vocal cords fully visible. 302 corresponds to grade 2, with part of the vocal cords visible. And 303 corresponds to grade 3, with only the epiglottis visible and the vocal cords not visible. 304 corresponds to grade 4, with both the epiglottis and vocal cords not visible. According to the conventional evaluation method, grades 3 and 4 shown in FIG. 3 are evaluated as 'difficult airways' according to medical definitions.
본 발명의 실시 예에 따른 학습용 데이터 중 아웃풋 데이터도 도 3에서 나뉘는 기준과 동일하게 등급 1부터 등급 4로 설정될 수 있다. 다만 이 때의 상기 아웃풋 데이터는 인풋 데이터인 대상자의 4종 이미지에 대응하는 기도 평가 등급이며, 이에 따라 학습된 인공지능 모델은 개별 인코더 각각으로 투입된 이미지에 대한 분류 결과에 따라 1차 레이블(rabel)을 각각 산출하도록 할 수 있다. 일 실시 예에 따라 상기 1차 레이블은 등급 1 내지 등급 4의 형태로 산출될 수 있다. Among the learning data according to an embodiment of the present invention, output data may also be set from level 1 to level 4 according to the dividing criteria in FIG. 3. However, at this time, the output data is the airway evaluation grade corresponding to the four types of images of the subject as input data, and the artificial intelligence model learned accordingly creates a primary label according to the classification results for the images input to each individual encoder. can be calculated separately. According to one embodiment, the primary label may be calculated in the form of grades 1 to 4.
그리고 이 때, 학습용 데이터가 인공지능 모델에 투입된 후, 상기 학습부(120)는 인공지능 모델의 학습 과정에서, 입력 이미지로 레이블을 도출하는 CNN 연산 과정에서 요구되는 특성 정보(feaure)를 추출할 수 있다. 상기 특성 정보(features)는 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 의미한다. 그리고 상기 기도 삽관의 용이성과 관련된 항목은 다시 말하면 대상자의 기도가 의학적으로 '어려운 기도(Difficult airway)'로 정의된 기도에 해당하는지 여부를 평가하는 것과 관련된 특징(예, 턱에서 갑상연골의 상부 방패패임(Thyroid notch)까지의 길이, 턱에서 흉골 상부까지의 길이 등)을 의미할 수 있다. 학습이 완료되면 추후 추출된 상기 특성 정보(Feature)는 1차 레이블을 도출하는 데 활용된다. And at this time, after the learning data is input into the artificial intelligence model, the learning unit 120 extracts characteristic information (feaure) required in the CNN operation process of deriving a label from an input image in the learning process of the artificial intelligence model. You can. The feature information refers to items related to the ease of airway intubation for the subject. And the items related to the ease of airway intubation are, in other words, characteristics related to assessing whether the subject's airway corresponds to an airway medically defined as a 'difficult airway' (e.g., upper shield of the thyroid cartilage in the jaw) It can mean the length from the thyroid notch, the length from the chin to the top of the sternum, etc.) Once learning is completed, the feature information extracted later is used to derive the primary label.
또한 다양한 실시 예에 따라 상기 학습부(120)는 1차 레이블이 산출된 이후 보팅(Voting)과정을 거쳐, 최종적으로 기도 평가 결과가 산출되도록 인공지능 모델을 학습시킬 수 있다. 상기 보팅은 복수개의 개별 인코더를 통해 산출된 분류 결과를 종합하여 최종 결과 값을 산출하기 위한 앙상블(Ensemble) 기법의 일종이다. 따라서, 상기 학습부(120)는 개별 인코더를 통해 투입된 4종의 이미지가 각각 부여받은 1차 레이블에 해당하는 값을 종합하여 최종 결과값을 산출하도록 학습할 수 있다. 상기 최종 결과값은 대상자의 기도가 의학적으로 정의된 '어려운 기도'에 해당하는지 여부가 될 수 있다. 또는 상기 최종 결과값은 대상자의 기도의 시술 관련 난이도가 어느 정도인지에 대한 정보로 산출될 수 있다. Additionally, according to various embodiments, the learning unit 120 may train an artificial intelligence model to calculate a final airway evaluation result through a voting process after the primary label is calculated. The voting is a type of ensemble technique for calculating the final result by combining classification results calculated through a plurality of individual encoders. Therefore, the learning unit 120 can learn to calculate the final result by combining the values corresponding to the primary labels given to each of the four types of images input through individual encoders. The final result may be whether the subject's airway falls under the medically defined 'difficult airway'. Alternatively, the final result may be calculated as information on the degree of difficulty related to the procedure of the subject's airway.
상기 판단부(130)는 상기 학습부(120)에 의해 생성된 인공지능 모델에 데이터를 입력하여 기도 관리가 필요한 환자(대상자)의 기도를 평가할 수 있다. The determination unit 130 may evaluate the airway of a patient (subject) in need of airway management by inputting data into the artificial intelligence model generated by the learning unit 120.
상기 판단부(130)는 전처리부(110)를 통해 정규화 및 데이터 증강과 같은 전처리 과정을 거친 대상자의 사진을 상기 인공지능 모델에 입력하고, 상기 대상자의 사진에서 기관 내 삽관 시술의 용이성과 관련된 항목을 추출하고, 추출된 항목에 대한 값을 연산하여 대상자의 기도가 '어려운 기도(Difficult airway)'에 해당하는지 여부를 판단할 수 있다. The determination unit 130 inputs a photo of the subject that has undergone preprocessing such as normalization and data augmentation through the preprocessor 110 into the artificial intelligence model, and selects items related to the ease of endotracheal intubation from the photo of the subject. By extracting and calculating the values for the extracted items, it is possible to determine whether the subject's airway corresponds to a 'difficult airway'.
보다 구체적으로, 상기 판단부(130)가 수행하는 인공지능 연산 동작은 도 5를 참조하여 설명될 수 있다. More specifically, the artificial intelligence calculation operation performed by the determination unit 130 can be described with reference to FIG. 5.
도 5는 본 발명의 실시 예에 따른 인공지능 연산 과정을 도시한 도면이다. Figure 5 is a diagram illustrating an artificial intelligence calculation process according to an embodiment of the present invention.
본 발명의 실시 예에 따른 전처리부(110)는 4종의 이미지 데이터(501)를 전처리 동작을 수행하는 모델(502)에 입력하여 가공하는 동작을 수행할 수 있다. The pre-processing unit 110 according to an embodiment of the present invention may input four types of image data 501 into a model 502 that performs a pre-processing operation and perform processing.
이 때 상기 4종의 이미지 데이터는 대상자의 안면부 및 목을 포함하도록 촬영된 사진으로 구성되며, 각각 도 4의 401, 402, 403 및 404와 같이 대상자의 단말을 통해 촬영된 사진으로 구성될 수 있다. At this time, the four types of image data consist of photos taken including the subject's face and neck, and may consist of photos taken through the subject's terminal, such as 401, 402, 403, and 404 in FIG. 4, respectively. .
그리고 상기 전처리 동작은 이미지 데이터를 CNN 인코더에 투입하기 전 정규화하는 동작을 의미할 수 있다. And the preprocessing operation may refer to the operation of normalizing image data before inputting it to the CNN encoder.
4종의 이미지 데이터에 대한 전처리 동작이 수행된 이후 판단부(130)는 전처리 과정을 거친 이미지 데이터들을 기 학습된 CNN 인코더(CNN 기반의 이미지 인코더)(503)에 투입할 수 있다. 이 때 상기 판단부(130)는 4종의 이미지 각각을 개별적인 CNN 인코더에 입력할 수 있다. After the preprocessing operation for the four types of image data is performed, the determination unit 130 may input the image data that has undergone the preprocessing process into the previously learned CNN encoder (CNN-based image encoder) 503. At this time, the determination unit 130 can input each of the four types of images to an individual CNN encoder.
그리고 상기 판단부(130)는 상기 CNN 인코더(503)에 이미지 데이터를 투입함에 따라, 특성 정보(Feature) 및 학습 과정에서 산출된 가중치(Weight)에 기반하여 분류기(504)가 1차 레이블을 산출하도록 연산 과정을 진행할 수 있다. And as the determination unit 130 inputs image data to the CNN encoder 503, the classifier 504 calculates a primary label based on the feature information and the weight calculated during the learning process. You can proceed with the calculation process to do so.
이후 상기 판단부(130)는 상기 분류기(504)를 통한 분류 동작을 통해 1차적으로 도출된 레이블 값에 대한 보팅(Voting)(505)을 거쳐 최종적인 예측 결과를 얻을 수 있다. Thereafter, the determination unit 130 can obtain a final prediction result through voting 505 on the label value primarily derived through a classification operation through the classifier 504.
다양한 실시 예에 따른 인공지능 모델은 보팅(Voting)을 수행할 시, 개별 인코더를 통해 산출된 분류 결과에 대한 가중치(이하, 보팅 가중치)를 상이하게 적용하여 결과를 도출할 수 있으며, 인공지능 모델에 투입되는 4종 이미지의 개별 특성(예, 촬영 난이도, 해당 이미지에 포함되는 오브젝트에 대한 대상자별 측정 편차 등) 또는 대상자의 상황(목 움직임의 자유도, 응급상황 여부 등)에 따라 보팅 가중치가 상이하게 지정될 수 있다. When performing voting, artificial intelligence models according to various embodiments can derive results by applying different weights (hereinafter referred to as voting weights) to the classification results calculated through individual encoders, and the artificial intelligence model Voting weights are determined according to the individual characteristics of the four types of images input (e.g., difficulty of shooting, measurement deviation for each subject for the objects included in the image, etc.) or the subject's situation (degree of freedom of neck movement, emergency situation, etc.) It may be specified differently.
일반적인 상황에서 상기 인공지능 모델은 4종 이미지가 개별 인코더에 투입된 결과로 획득된 4개의 1차 레이블을 종합하여 최종 결과를 도출할 때, 4개의 레이블에 적용되는 보팅 가중치의 비율을 동일하게 지정할 수 있다. In a typical situation, when the artificial intelligence model derives the final result by combining the four primary labels obtained as a result of four types of images being input to individual encoders, the ratio of voting weights applied to the four labels can be specified equally. there is.
한편, 다양한 실시 예에 따라 상기 인공지능 모델은 상기 4종 이미지 중 촬영상의 특성으로 인해 대상자별 측정값의 편차가 현저한 것으로 판단되는 특정 이미지(예, 제2 이미지)에서 산출된 1차 레이블에 대하여 기타 이미지(제1 이미지, 제3 및 제4 이미지)의 1차 레이블 대비 보팅 가중치를 증가시켜 설정할 수 있다. 이에 따라 본 발명의 실시 예에 따른 인공지능 모델은 촬영상의 문제로 대상자별 차이가 두드러지지 않는 이미지로 인해 대상자별 기도 특성이 제대로 반영되지 못하는 문제를 방지할 수 있다. Meanwhile, according to various embodiments, the artificial intelligence model is used for the primary label calculated from a specific image (e.g., a second image) that is judged to have a significant deviation in measurement values for each subject due to the characteristics of the shooting among the four types of images. It can be set by increasing the voting weight compared to the primary label of other images (first image, third, and fourth image). Accordingly, the artificial intelligence model according to the embodiment of the present invention can prevent the problem of not properly reflecting the airway characteristics of each subject due to images in which differences between subjects are not noticeable due to imaging problems.
또한 다양한 실시 예에 따라 상기 인공지능 모델은 대상자의 상황에 따라 개별 이미지의 1차 레이블에 대한 보팅 가중치를 상이하게 설정하여 설계될 수 있다. 구체적으로, 상기 인공지능 모델은 대상자가 목의 움직임이 자유로운 정도에 따라 이미지의 종류별로 그 신뢰도가 상이하다는 가정하에 설계될 수 있다. 그에 따라 상기 전자 장치는 대상자의 목의 움직임의 정도를 대상자 단말로부터 먼저 입력받을 수 있고, 목의 움직임이 자유로운 정도는 예컨대 1~5 (수치가 클수록 자유로움)의 수치로 지정하도록 요청할 수 있다. Additionally, according to various embodiments, the artificial intelligence model may be designed by setting the voting weight for the primary label of each image differently depending on the subject's situation. Specifically, the artificial intelligence model can be designed under the assumption that the reliability is different for each type of image depending on the degree to which the subject can freely move his or her neck. Accordingly, the electronic device can first receive input from the subject's terminal about the degree of movement of the subject's neck, and request that the degree of freedom of neck movement be specified as a number, for example, 1 to 5 (the larger the number, the more freedom).
대상자의 목의 움직임이 자유로울수록 상기 인공지능 모델에 적용되는 보팅 가중치는 동일한 값으로 설정될 수 있다. 반면, 대상자의 목의 움직임이 불편할수록, 인공지능 모델에 적용되는 보팅 가중치는 상이한 정도가 증가될 수 있다. 구체적으로, 상기 인공지능 모델에서, 대상자의 목의 움직임이 불편할수록 목의 신전이 요구되는 제2 이미지 및 제3 이미지로부터 산출된 레이블에 적용되는 보팅 가중치는 감소되고, 목을 과도하게 움직이지 않고 촬영가능한 제1 이미지 및 제4 이미지로부터 산출된 레이블에 적용되는 보팅 가중치는 증가 설정될 수 있다. As the subject's neck moves more freely, the voting weight applied to the artificial intelligence model can be set to the same value. On the other hand, as the subject's neck movement becomes more uncomfortable, the voting weight applied to the artificial intelligence model may increase to different degrees. Specifically, in the artificial intelligence model, as the subject's neck movement becomes more uncomfortable, the voting weight applied to the label calculated from the second and third images that require neck extension is reduced, and the The voting weight applied to the label calculated from the first image and the fourth image that can be photographed may be set to increase.
한편, 상기 프로세서(101)는 대상자 단말과 연동되어 대상자 단말로부터 다양한 이미지 데이터를 획득하기 위한 동작을 수행할 수 있다. Meanwhile, the processor 101 may perform operations to obtain various image data from the subject's terminal in conjunction with the subject's terminal.
이와 관련하여, 본 발명의 다양한 실시 예에 따른 상기 프로세서(101)는 데이터 획득 지원부(140)를 포함할 수 있다. In this regard, the processor 101 according to various embodiments of the present invention may include a data acquisition support unit 140.
상기 데이터 획득 지원부(140)는 대상자 단말(미도시)과 전자 장치(100)가 통신 연결되어 상기 대상자 단말로부터 인공지능 모델에 투입할 4종의 이미지를 획득하는 과정에서, 어떤 자세로 사진을 촬영할 것인지에 대한 가이드를 대상자 단말 측에 제공할 수 있다. The data acquisition support unit 140 is connected to the subject terminal (not shown) and the electronic device 100, and in the process of acquiring four types of images to be input into the artificial intelligence model from the subject terminal, the photo is taken in what posture. Guidance on whether to use the device can be provided to the target terminal.
구체적으로, 상기 데이터 획득 지원부(140)는 4종의 이미지 각각에 대한 촬영 가이드를 제공할 수 있으며, 순차적으로 제1 이미지에 해당하는 사진을 촬영하도록 가이드한 이후 제2 이미지, 제3 이미지 및 제4 이미지를 촬영하도록 안내할 수 있다. Specifically, the data acquisition support unit 140 can provide a shooting guide for each of the four types of images, and sequentially guides taking photos corresponding to the first image, followed by the second image, the third image, and the third image. 4 You can be guided to take images.
그리고 상기 데이터 획득 지원부(140)는 대상자 단말을 통해 촬영된 사진 또는 촬영 동작 단계에서 확인되는 대상자의 목 움직임 동영상을 기반으로 대상자의 목의 신전이 제대로 이루어지는지 여부 및 목의 신전 정도를 판단할 수 있다. In addition, the data acquisition support unit 140 can determine whether the subject's neck is properly extended and the degree of neck extension based on a photo taken through the subject's terminal or a video of the subject's neck movement confirmed during the shooting operation stage. there is.
상기 데이터 획득 지원부(140)는 목의 신전 정도를 비롯한 대상자의 촬영 자세가 인공지능 모델에 투입할 이미지로의 기준에 미치지 못한다고 판단되면, 재촬영을 요구할 수 있다. If the data acquisition support unit 140 determines that the subject's shooting posture, including the degree of neck extension, does not meet the standards for images to be input into the artificial intelligence model, it may request re-photography.
또한 상기 데이터 획득 지원부(140)는 기 설정된 횟수 이상 촬영되었으나, 대상자의 자세가 기준에 미치지 못하는 것으로 판단되면, 대상자가 촬영한 사진을 전송받되, 대상자의 목의 움직임이 불편한 것으로 판단하고, 불편한 정도를 수치화할 수 있다. 상기 데이터 획득 지원부(140)가 지정하는 목의 움직임의 불편함 정도는 대상자 단말로부터 전달된 사진 및 촬영 단계에서 확인되는 대상자의 목 움직임 동영상을 기반으로 판단될 수 있다. In addition, if the data acquisition support unit 140 determines that the subject's posture does not meet the standard even though the image has been taken more than a preset number of times, the data acquisition support unit 140 receives the photo taken by the subject, determines that the movement of the subject's neck is uncomfortable, and determines the degree of discomfort. can be quantified. The degree of discomfort in the neck movement specified by the data acquisition support unit 140 may be determined based on the photo transmitted from the subject's terminal and the video of the subject's neck movement confirmed during the shooting stage.
상기 데이터 획득 지원부(140)는 대상자의 목 움직임이 불편한 정도를 의미하는 수치 정보에 대응하여 상이한 인공지능 모델(보팅 가중치가 상이한 모델)을 설정하고, 설정된 인공지능 모델에 획득된 대상자의 4종 이미지를 투입하도록 요청할 수 있다. 예를 들어, 상기 데이터 획득 지원부(140)는 대상자의 목 움직임이 불편한 것으로 판단한 경우, 목의 신전이 요구되는 사진인 제2 이미지 및 제3 이미지에 대응하는 레이블 값에 적용될 보팅 가중치가 목 움직임의 불편함 수치에 대응하여 감소 설정된 인공지능 모델을 선택하고, 선택된 인공지능 모델에 획득된 4종 이미지를 투입하도록 판단부(130)에 요청할 수 있다. The data acquisition support unit 140 sets different artificial intelligence models (models with different voting weights) in response to numerical information indicating the degree of discomfort in the subject's neck movement, and four types of images of the subject acquired in the set artificial intelligence model. You can request to put in . For example, when the data acquisition support unit 140 determines that the subject's neck movement is uncomfortable, the voting weight to be applied to the label value corresponding to the second image and the third image, which are photos requiring neck extension, determines the neck movement. The artificial intelligence model with the reduction set in response to the discomfort value may be selected and the judgment unit 130 may be requested to input the four types of images obtained into the selected artificial intelligence model.
그 밖에도, 본 발명의 실시 예에 따른 프로세서(101)는 기타 단말과 연동하여 다양한 기도 평가 관련 동작을 수행할 수 있다. In addition, the processor 101 according to an embodiment of the present invention can perform various airway evaluation-related operations in conjunction with other terminals.
예를 들어, 상기 프로세서(101)는 대상자 단말로부터 획득된 이미지에 대한 인공지능 연산 결과를 상기 대상자 단말로 전달하는 동작 및 결과에 상응하는 대응 방안을 의료진 단말로 안내하는 동작 등을 수행할 수 있다. For example, the processor 101 may perform an operation of transmitting the result of an artificial intelligence operation on an image acquired from the patient's terminal to the patient's terminal and an operation of guiding a response plan corresponding to the result to the medical staff terminal. .
본 발명의 실시 예에 따른 전자 장치(100)는 메모리(미도시), 통신부(미도시) 및 프로세서(101)를 포함할 수 있다. The electronic device 100 according to an embodiment of the present invention may include a memory (not shown), a communication unit (not shown), and a processor 101.
메모리는 전자 장치의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.Memory can store various programs and data necessary for the operation of electronic devices. Memory can be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SSD).
통신부는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 침(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit can perform communication with external devices. In particular, the communication unit may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and a low-power Bluetooth chip (BLE chip). At this time, the Wi-Fi chip, Bluetooth chip, and NFC chip communicate in the LAN method, WiFi method, Bluetooth method, and NFC method, respectively. When using a Wi-Fi chip or Bluetooth chip, various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this. A wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), and LTE (Long Term Evolution).
프로세서(101)는 메모리에 저장된 각종 프로그램을 이용하여 사용자 기기의 전반적인 동작을 제어할 수 있다. 프로세서는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.The processor 101 can control the overall operation of the user device using various programs stored in memory. The processor may be composed of RAM, ROM, graphics processing unit, main CPU, first to n interfaces, and bus. At this time, RAM, ROM, graphics processing unit, main CPU, first to n interfaces, etc. may be connected to each other through a bus.
RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 전자 장치가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.RAM stores O/S and application programs. Specifically, when the electronic device is booted, the O/S is stored in RAM, and various application data selected by the user may be stored in RAM.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(200)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.ROM stores a set of instructions for booting the system. When a turn-on command is input and power is supplied, the main CPU copies the O/S stored in the memory 200 to RAM according to the command stored in the ROM, executes the O/S, and boots the system. When booting is complete, the main CPU copies various application programs stored in memory to RAM and executes the application programs copied to RAM to perform various operations.
메인 CPU는 메모리에 액세스하여, 메모리에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 메모리에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The main CPU accesses memory and performs booting using the OS stored in the memory. And, the main CPU performs various operations using various programs, content, data, etc. stored in memory.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to n interfaces are connected to the various components described above. One of the first to n interfaces may be a network interface connected to an external device through a network.
한편, 나아가, 프로세서는 인공지능 모델을 제어할 수 있다. 이 경우, 제어부는 인공지능 모델을 제어하기 위한 그래픽 전용 프로세서(예: GPU)를 포함할 수 있음은 물론이다.Meanwhile, furthermore, the processor can control the artificial intelligence model. In this case, of course, the control unit may include a graphics processor (eg, GPU) for controlling the artificial intelligence model.
프로세서는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The processor may include one or more cores (not shown), a graphics processing unit (not shown), and/or a connection passage (for example, a bus, etc.) for transmitting and receiving signals to and from other components.
일 실시예에 따른 프로세서는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.A processor according to one embodiment performs the method described in connection with the present invention by executing one or more instructions stored in memory.
한편, 프로세서는 프로세서 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.Meanwhile, the processor further includes RAM (Random Access Memory, not shown) and ROM (Read-Only Memory, not shown) that temporarily and/or permanently store signals (or data) processed inside the processor. It can be included. Additionally, the processor 130 may be implemented in the form of a system on chip (SoC) that includes at least one of a graphics processing unit, RAM, and ROM.
메모리에는 프로세서의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.Programs (one or more instructions) for processing and controlling the processor can be stored in the memory. Programs stored in the storage unit may be divided into a plurality of modules according to their functions.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a hardware computer. Components of the invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as combinations of data structures, processes, routines or other programming constructs, such as C, C++, , may be implemented in a programming or scripting language such as Java, assembler, etc. Functional aspects may be implemented as algorithms running on one or more processors.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.Although the present invention has been described in detail with reference to the above-described examples, those skilled in the art may make modifications, changes, and variations to the examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all functional blocks shown in the drawings or to follow all the orders shown in the drawings, and even if not, the technical aspects of the present invention described in the claims may be used. Please note that it may fall within the range.
100 : 전자 장치
110 : 전처리부
120 : 학습부
130 : 판단부
140 : 데이터 획득 지원부 100: electronic device
110: preprocessing unit
120: Learning Department
130: Judgment unit
140: Data acquisition support department
Claims (11)
기도(airway)에 대한 평가를 수행하도록 학습된 인공지능 모델을 저장하는 메모리; 및
상기 메모리와 연결된 프로세서;를 포함하고,
상기 프로세서는,
대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 상기 인공지능 모델에 투입하여, 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 상기 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하는 것을 특징으로 하는, 전자 장치. In electronic devices,
Memory to store an artificial intelligence model trained to perform an evaluation of the airway; and
Including a processor connected to the memory,
The processor,
A plurality of images captured including the subject's face and neck are input into the artificial intelligence model, items related to the ease of airway intubation for the subject are extracted, and values for the extracted items are calculated to determine the subject's airway. An electronic device characterized by classifying the level of difficulty.
상기 복수의 이미지는
안면부와 목이 포함되도록 촬영된 정면 사진에 해당하는 제1 이미지, 목을 신전한 상태로 촬영된 정면 사진에 해당하는 제2 이미지, 목을 신전한 측면 사진에 해당하는 제3 이미지 및 입을 벌리고 혀를 밖으로 내밀어 입 전체와 혀가 보이도록 촬영된 정면 사진에 해당하는 제4 이미지를 포함하는 것을 특징으로 하는, 전자 장치.According to paragraph 1,
The plurality of images are
The first image corresponds to a frontal photograph taken to include the face and neck, the second image corresponds to a frontal photograph taken with the neck extended, the third image corresponds to a side photograph with the neck extended, and the mouth is open and the tongue is held. An electronic device, characterized in that it includes a fourth image corresponding to a frontal photograph taken so that the entire mouth and tongue are visible by sticking out.
상기 프로세서는
상기 복수의 이미지에 대한 정규화 동작을 수행하는 전처리부;를 포함하고,
상기 정규화 동작은 대상자의 사진에 대한 밝기 변경, 대비 변경 및 색상 채널간의 화이트밸런싱 동작을 포함하는 것을 특징으로 하는, 전자 장치.According to paragraph 1,
The processor is
It includes a preprocessor that performs a normalization operation on the plurality of images,
The normalization operation includes changing the brightness of the subject's photo, changing the contrast, and white balancing between color channels.
상기 전처리부는
상기 인공지능 모델의 학습에 투입되는 학습용 데이터의 양을 증가시키기 위해 기 확보된 복수의 이미지에 전처리 동작을 수행하되,
상기 복수의 이미지의 개별적 촬영 특성에 대응하여 전처리 기법을 상이하게 설정하는 것을 특징으로 하는, 전자 장치.According to paragraph 3,
The preprocessing unit
In order to increase the amount of learning data input to the learning of the artificial intelligence model, a preprocessing operation is performed on a plurality of images already secured,
An electronic device, characterized in that pre-processing techniques are set differently in response to individual shooting characteristics of the plurality of images.
상기 프로세서는
상기 복수의 이미지 각각을 개별 CNN(Convolutional Neural Networks) 기반의 이미지 인코더로 투입하여 산출된 복수의 레이블에 대한 보팅(voting) 동작을 수행하여 최종 결과값을 도출하도록 상기 인공지능 모델을 학습시키는 학습부;를 포함하는 것을 특징으로 하는, 전자 장치.According to paragraph 1,
The processor is
A learning unit that trains the artificial intelligence model to derive the final result by performing a voting operation on the plurality of labels calculated by inputting each of the plurality of images into an individual CNN (Convolutional Neural Networks)-based image encoder. An electronic device, characterized in that it includes ;
상기 프로세서는
복수의 이미지를 인공지능 모델에 투입하여 연산한 결과로 산출된 복수의 레이블에 보팅 가중치를 적용하여 최종 결과값을 도출하는 판단부;를 포함하는 것을 특징으로 하는, 전자 장치.According to paragraph 1,
The processor is
An electronic device comprising: a determination unit that derives a final result by applying voting weights to a plurality of labels calculated as a result of inputting a plurality of images into an artificial intelligence model.
상기 보팅 가중치는
상기 복수의 이미지의 촬영 특성 및 대상자의 목 움직임 자유도 중 적어도 하나에 의해 상이하게 지정되는 것을 특징으로 하는, 전자 장치.According to clause 6,
The voting weight is
An electronic device, characterized in that the plurality of images are differently specified by at least one of the capturing characteristics and the degree of freedom of neck movement of the subject.
상기 프로세서는
상기 복수의 이미지에 대한 촬영 자세와 관련된 가이드 정보를 상기 대상자 단말에 제공하고, 대상자 단말로부터 상기 복수의 이미지를 획득하는 데이터 획득 지원부;를 포함하는 것을 특징으로 하는, 전자 장치.According to paragraph 1,
The processor is
An electronic device comprising a data acquisition support unit that provides guide information related to the shooting posture for the plurality of images to the subject terminal and acquires the plurality of images from the subject terminal.
상기 전자 장치가, 기도(Airway)에 대한 평가를 수행하도록 인공지능 모델을 학습시키는 단계;
상기 전자 장치가, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 획득하여 기 학습된 인공지능 모델에 투입하는 단계;및
상기 전자 장치가, 상기 인공지능 모델을 구동하여 상기 이미지로부터 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하는 단계;를 포함하는 것을 특징으로 하는, 방법.In a method of controlling an electronic device,
Learning an artificial intelligence model to enable the electronic device to evaluate airways;
The electronic device acquires a plurality of images captured to include the subject's face and neck and inputs them into a previously learned artificial intelligence model; And
The electronic device, driving the artificial intelligence model to extract items related to the ease of intubation of the airway of the subject from the image, calculating values for the extracted items to classify the difficulty level of the subject's airway; A method comprising:
상기 전자 장치는
기도(Airway)에 대한 평가를 수행하도록 학습된 인공지능 모델을 저장하는 메모리; 및
상기 메모리와 연결된 프로세서;를 포함하고,
상기 프로세서는,
대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 상기 인공지능 모델에 투입하여, 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 상기 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하고,
상기 대상자 단말은
상기 전자 장치로부터 촬영 자세와 관련된 가이드 정보를 수신하여 촬영 화면 상에 표시하고, 상기 가이드 정보에 따라 촬영된 대상자의 이미지를 상기 전자 장치로 전송하는 것을 특징으로 하는, 시스템.In a system consisting of an electronic device and a subject terminal,
The electronic device is
Memory to store an artificial intelligence model trained to perform airway evaluation; and
Including a processor connected to the memory,
The processor,
A plurality of images captured including the subject's face and neck are input into the artificial intelligence model, items related to the ease of airway intubation for the subject are extracted, and values for the extracted items are calculated to determine the subject's airway. Classify the level of difficulty,
The target terminal is
The system is characterized in that it receives guide information related to the shooting posture from the electronic device, displays it on the shooting screen, and transmits the image of the subject captured according to the guide information to the electronic device.
상기 전자 장치가, 기도(Airway)에 대한 평가를 수행하도록 인공지능 모델을 학습시키는 단계;
상기 대상자 단말이, 상기 전자 장치로부터 촬영 자세와 관련된 가이드 정보를 수신하여 촬영 화면 상에 표시하는 단계;
상기 대상자 단말이, 상기 가이드 정보에 따라 촬영된 대상자의 이미지를 상기 전자 장치로 전송하는 단계;
상기 전자 장치가, 대상자의 안면부와 목이 포함되도록 촬영된 복수의 이미지를 획득하여 기 학습된 인공지능 모델에 투입하는 단계;및
상기 전자 장치가, 상기 인공지능 모델을 구동하여 상기 이미지로부터 상기 대상자에 대한 기도 삽관의 용이성과 관련된 항목을 추출하고, 추출된 항목에 대한 값을 연산하여 대상자의 기도에 대한 난이도를 분류하는 단계;를 포함하는 것을 특징으로 하는, 방법
In a method of controlling a system consisting of an electronic device and a subject terminal,
Learning an artificial intelligence model to enable the electronic device to evaluate airways;
Receiving, by the subject terminal, guide information related to the shooting posture from the electronic device and displaying it on the shooting screen;
transmitting, by the subject terminal, an image of the subject captured according to the guide information to the electronic device;
The electronic device acquires a plurality of images captured to include the subject's face and neck and inputs them into a previously learned artificial intelligence model; And
The electronic device, driving the artificial intelligence model to extract items related to the ease of intubation of the airway of the subject from the image, calculating values for the extracted items to classify the difficulty level of the subject's airway; A method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220141005A KR20240059918A (en) | 2022-10-28 | 2022-10-28 | Device and method for evaluating airway using picture of face and neck |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220141005A KR20240059918A (en) | 2022-10-28 | 2022-10-28 | Device and method for evaluating airway using picture of face and neck |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240059918A true KR20240059918A (en) | 2024-05-08 |
Family
ID=91074605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220141005A KR20240059918A (en) | 2022-10-28 | 2022-10-28 | Device and method for evaluating airway using picture of face and neck |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240059918A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102457342B1 (en) | 2020-12-21 | 2022-10-20 | 한림대학교 산학협력단 | System for endotracheal intubation training, and control method |
-
2022
- 2022-10-28 KR KR1020220141005A patent/KR20240059918A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102457342B1 (en) | 2020-12-21 | 2022-10-20 | 한림대학교 산학협력단 | System for endotracheal intubation training, and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11645748B2 (en) | Three-dimensional automatic location system for epileptogenic focus based on deep learning | |
CN109730704B (en) | Method and system for controlling exposure of medical diagnosis and treatment equipment | |
KR101301821B1 (en) | Apparatus and method for detecting complexion, apparatus and method for determinig health using complexion, apparatus and method for generating health sort function | |
CN112370018B (en) | Computer application software for predicting difficult airway and airway management data system | |
US20190130565A1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
KR102263840B1 (en) | AI (Artificial Intelligence) based fitness solution display device and method | |
EP4134981A1 (en) | Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium | |
Haase et al. | Automated and objective action coding of facial expressions in patients with acute facial palsy | |
CN108451500B (en) | A face colour detects and face type identification equipment for traditional chinese medical science inspection diagnosis | |
Tsai et al. | Toward Development and Evaluation of Pain Level-Rating Scale for Emergency Triage based on Vocal Characteristics and Facial Expressions. | |
CN114999646A (en) | Newborn exercise development assessment system, method, device and storage medium | |
CN111062929A (en) | Intelligent analysis and diagnosis system for livestock and poultry disease pictures through software design | |
CN113053517B (en) | Facial paralysis grade evaluation method based on dynamic region quantitative indexes | |
Gaber et al. | Comprehensive assessment of facial paralysis based on facial animation units | |
US20230337913A1 (en) | Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor | |
KR20240059918A (en) | Device and method for evaluating airway using picture of face and neck | |
KR100915922B1 (en) | Methods and System for Extracting Facial Features and Verifying Sasang Constitution through Image Recognition | |
KR102475962B1 (en) | Method and apparatus for simulating clinical image | |
KR20210158441A (en) | Control method, apparatus and program for lesion determination system obtained by breast imaging | |
WO2019168372A1 (en) | Medical image processing apparatus and operating method therefor | |
Loonen | 3D imaging for the prediction of a difficult airway | |
TWI722705B (en) | Method for automatically labelling muscle feature points on face | |
KR102421765B1 (en) | Control method, device and program of system for determining Pulmonary Thrombo-embolism based on non-contrast computed tomography images using artificial intelligence | |
JP2019213652A (en) | Imaging apparatus, imaging program, picture determination apparatus, picture determination program, and picture processing system | |
WO2023234757A1 (en) | Method and system for processing image for nail analysis, and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |