KR102344084B1

KR102344084B1 - Method for providing information of lesions on the ear and device for providing information of lesions on the ear using the same

Info

Publication number: KR102344084B1
Application number: KR1020200057012A
Authority: KR
Inventors: 박해정; 차동철
Original assignee: 연세대학교 산학협력단
Priority date: 2020-05-13
Filing date: 2020-05-13
Publication date: 2021-12-27
Also published as: KR20210138932A

Abstract

본 발명은, 프로세서에 의해 구현되는 귀의 병변에 대한 정보 제공 방법으로서, 귀의 관심 영역의 포함 여부를 판별하도록 구성된 제1 평가 모델을 이용하여, 귀 내부 동영상의 프레임 각각에 대하여 관심 영역의 포함 여부를 판별하는 단계, 및 귀의 병변 여부를 결정하도록 구성된 제2 평가 모델 이용하여 판별된 프레임에 기초하여 개체의 귀에 대한 병변 여부를 결정하는 단계를 포함, 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스를 제공한다.The present invention provides a method for providing information on an ear lesion implemented by a processor, by using a first evaluation model configured to determine whether a region of interest in the ear is included, and determining whether the region of interest is included in each frame of a video inside the ear A method of providing information on an ear lesion and a method for providing information on an ear lesion, comprising the steps of determining whether an ear lesion is present or not based on a frame determined using a second evaluation model configured to determine whether an ear lesion is present It provides a device for providing information about

Description

Method for providing information on ear lesions and a device for providing information on ear lesions using the same

본 발명은, 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로는 귀 내부 영상에 기초하여 귀의 병변을 예측하도록 구성된 방법 및 디바이스에 관한 것이다.The present invention relates to a method for providing information on an ear lesion and a device using the same, and more particularly, to a method and device configured to predict an ear lesion based on an image inside the ear.

유양 병 (mastoid disease) 과 같은 귀 질환은 조기 치료로 쉽게 치료할 수 있는 흔한 질병이다. 그럼에도 불구하고 적시에 발견되지 못하거나 적절한 치료를 받지 않으면 청각 장애와 같은 후유증을 남길 수 있다. 임상에 있어서, 귀 질환의 진단은, 내시경을 이용한 이경검사 (otoscopy) 및 병력 기록이 첫 번째 단계일 수 있다. Ear disorders, such as mastoid disease, are common diseases that can be easily treated with early treatment. Nevertheless, if not detected in a timely manner or if not treated appropriately, it can leave sequelae such as hearing loss. In clinical practice, the diagnosis of ear disease may be the first step in otoscopy and history recording using an endoscope.

그러나, 내시경에 기초한 귀 병변의 진단의 결과는 이비인후과 전문의의 숙련도에 의존적일 수 있다. 나아가, 진단의 정확도가 낮아, 이미징 또는 음성 가이드 제공과 같은 추가적인 도움 없이 귀 질환의 진단이 어려울 수 있다. However, the results of endoscopy-based diagnosis of ear lesions may depend on the skill level of the otolaryngologist. Furthermore, since the accuracy of diagnosis is low, it may be difficult to diagnose an ear disease without additional assistance such as imaging or providing an audio guide.

의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 귀의 병변을 높은 정확도로 평가할 수 있는 새로운 평가 방법의 개발이 요구된다. As the accuracy of diagnosis is further required for the improvement of medical services, the development of a new evaluation method capable of evaluating an ear lesion with high accuracy is required.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The description underlying the invention has been prepared to facilitate understanding of the invention. It should not be construed as an admission that the matters described in the background technology of the invention exist as prior art.

한편, 연구자들은 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 귀 내시경에 기초한 귀의 병변 진단 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다. On the other hand, researchers tried to supplement the limitations and problems of the ear lesion diagnosis system based on the conventional ear endoscope by introducing an artificial intelligence algorithm-based system.

그 결과, 인공 신경망 알고리즘이 적용된 귀 내시경 영상에 대하여 귀 질환을 자동 진단하는 귀의 병변 진단 시스템이 제안되었다. 한편, 제안된 귀의 병변 진단 시스템은 약 80 %의 정확도를 제공함에도, 상고 실내함 함몰 (attic retraction) 과 같은 중요한 병변을 분류하지 못하는 것으로 나타났다. As a result, an ear lesion diagnosis system for automatically diagnosing ear diseases with respect to an ear endoscopic image to which an artificial neural network algorithm is applied has been proposed. On the other hand, although the proposed ear lesion diagnosis system provides an accuracy of about 80%, it has been shown that it cannot classify important lesions such as attic retraction.

특히, 제안된 귀의 병변 진단 시스템은, 병변의 진단에 있어서 입력되는 영상의 퀄리티에 따른 필터링을 진행하지 않아 성능 향상의 한계가 있을 수 있다.In particular, the proposed ear lesion diagnosis system does not perform filtering according to the quality of an input image in diagnosing a lesion, so there may be a limitation in performance improvement.

한편, 본 발명의 발명자들은 이와 같은 한계를 극복하기 위한 방안으로, 입력된 귀 내시경 영상에 대하여 병변이 실제 존재할 수 있는 관심 영역 (예를 들어, 고막 영역 및 외이도 영역) 에 대한 선 판별, 동적 영상에 각 프레임에 대한 앙상블 판별 및 병변 분류에 방해가 되는 요소들에 대한 필터링을 위한 예측 모델들에 주목하였다. On the other hand, the inventors of the present invention, as a way to overcome this limitation, line discrimination and dynamic imaging for regions of interest (eg, tympanic membrane region and external auditory meatus region) in which lesions may actually exist with respect to the input endoscopic image of the ear. Attention was paid to predictive models for filtering factors that interfere with ensemble discrimination and lesion classification for each frame.

보다 구체적으로, 본 발명의 발명자들은 귀 내부 동영상에 대하여 고막 영역과 같은 관심 영역이 포함하는지를 판별하도록 구성된 평가 모델과 고막 영역을 포함하는 특정 프레임에 대하여 병변을 분류하도록 구성된 평가 모델을 귀의 병변 진단 시스템에 적용하고자 하였다.More specifically, the inventors of the present invention have developed an evaluation model configured to determine whether a region of interest such as a tympanic membrane region is included in a video inside the ear, and an evaluation model configured to classify a lesion with respect to a specific frame including the tympanic membrane region, an ear lesion diagnosis system was intended to be applied to

더욱이, 본 발명의 발명자들은, 귀의 병변 진단 시스템에 대하여, 병변의 진단에 방해가 되는 귀지 등의 요소들을 포함하지 않고 관심 영역만을 포함하는 프레임을 저장하도록 구성하였고, 보조 진단을 위한 데이터로서 제공하고자 하였다. Furthermore, the inventors of the present invention have configured the ear lesion diagnosis system to store a frame including only a region of interest without including elements such as earwax that interferes with the diagnosis of a lesion, and to provide it as data for auxiliary diagnosis did

나아가, 본 발명의 발명자들은 귀 병변 진단에 있어 단일 영상을 이용하는 것이 아니라, 앙상블 모델에 기초하여 동영상의 프레임을 각각에 대한 분석 결과를 최종 진단에 반영함으로써, 진단 정확도를 높이는 것을 기대할 수 있었다. Furthermore, the inventors of the present invention could expect to increase the diagnosis accuracy by reflecting the analysis results for each frame of the moving picture based on the ensemble model in the final diagnosis, rather than using a single image in diagnosing ear lesions.

특히, 본 발명의 발명자들은, 진단의 정확도를 높이기 위해, 다양한 인공지능 알고리즘 모델에 기초한 앙상블 진단을 내리는 분류기와 한 사람에게서 얻어지는 실시간 동영상의 각 프레임 별로 분류를 수행하여 여러 프레임에 대한 앙상블 분류 결과를 종합하는 두 종류의 앙상블 기법을 적용할 수 있었다.In particular, the inventors of the present invention performed classification for each frame of a real-time video obtained from a classifier and a classifier that makes an ensemble diagnosis based on various artificial intelligence algorithm models in order to increase the accuracy of diagnosis, and the ensemble classification results for several frames were obtained. Two types of ensemble techniques for synthesizing could be applied.

나아가, 본 발명의 발명자들은, 빛을 조절하여 조도가 다른 프레임을 생성한 후 진단에 적용하도록 귀의 병변 진단 시스템을 설계함에 따라, 한 개인에 대한 다양한 영상을 이용한 앙상블 진단이 가능하도록 하였다. Furthermore, the inventors of the present invention designed an ear lesion diagnosis system to be applied to diagnosis after generating frames with different illuminance by controlling light, thereby enabling ensemble diagnosis using various images for an individual.

이를 통해, 귀의 병변 진단 시스템은 하나의 개체에 대하여 다른 각도와 조도에서 동영상을 실시간으로 측정하고, 다양한 각도와 조도에서 얻어지는 영상의 각 프레임에 대하여 질환 진단 평가를 종합하여 내릴 수 있는, 앙상블 진단을 통해 진단의 정확도를 높일 수 있다. Through this, the ear lesion diagnosis system measures a moving picture at different angles and illuminance for one object in real time, and provides an ensemble diagnosis that can synthesize and evaluate disease diagnosis for each frame of an image obtained from various angles and illuminance. This can increase the accuracy of diagnosis.

또한, 본 발명의 발명자들은, 귀의 병변 진단 시스템에 대하여, 실시간으로 분류되는 병변 종류에 따라 판별음을 제시하여 의료진이 소리를 기반으로 위치 선정 및 검사 종료를 결정하도록 설계하였다. In addition, the inventors of the present invention designed the ear lesion diagnosis system to present a discriminant sound according to the type of lesion classified in real time so that the medical staff can determine the location and end of the examination based on the sound.

또한, 본 발명의 발명자들은, 귀의 병변 진단 시스템에 대하여, 기록을 위해 분류의 특성이 가장 잘 드러나는 프레임에 대한 최적의 판단이 이루어져서 기록할 뿐만 아니라 음성 인식을 통해 동영상의 특정 프레임을 캡쳐할 수 있도록 설계하였다. In addition, the inventors of the present invention, with respect to the ear lesion diagnosis system, for recording, an optimal judgment is made on the frame in which the characteristics of classification are best revealed and recording, as well as capturing a specific frame of a moving picture through voice recognition. designed.

즉, 본 발명의 발명자들은 최종 분류된 병변의 종류뿐만 아니라, 명확한 진단에 기여하는 관심 영역을 포함하는 프레임을 다양한 조건에서 캡쳐링함에 따라 병변 분류를 위한 중간 과정을 시각적으로 제공하고자 하였다.That is, the inventors of the present invention tried to visually provide an intermediate process for lesion classification by capturing not only the final classified type of lesion, but also a frame including a region of interest contributing to a clear diagnosis under various conditions.

이에, 본 발명의 발명자들은, 정확도 높고 시각적으로 설명 가능한 귀의 병변 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 귀의 병변의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다.Accordingly, the inventors of the present invention provide a highly accurate and visually explainable ear lesion diagnosis system, thereby preventing the medical staff from erroneous interpretation of the progress of the ear lesion due to inaccurate images, and providing the medical staff's workflow in actual clinical practice. could be expected to improve.

나아가, 본 발명의 발명자들은, 나아가, 귀의 병변 진단 시스템에 대하여, 실시간 분류 자료에 대한 소리 변환 음파를 형성하도록 하였다.Furthermore, the inventors of the present invention further formed a sound conversion sound wave for real-time classification data for an ear lesion diagnosis system.

즉, 귀의 병변 진단 시스템은 평가 모델에 의해 최종 분류된 병변의 종류에 따라 상이한 판별음을 제시할 수 있어, 사용자는 측정기의 위치 설정이 용이할 수 있고, 진단 과정에서 지속적인 내시경 영상에 대한 모니터링 없이 소리만으로 병변의 종류를 인지할 수 있고 축적되는 정보 양에 따라 검사를 종료할 수 있다.That is, the ear lesion diagnosis system can present different discriminant sounds according to the type of lesion finally classified by the evaluation model, so that the user can easily set the position of the measuring device, and without continuous monitoring of the endoscopic image during the diagnosis process. The type of lesion can be recognized only by sound, and the test can be terminated according to the amount of accumulated information.

본 발명이 해결하고자 하는 과제는, 수신된 귀 내부 영상에 대하여, 제1 평가 모델을 이용하여, 귀 내부 동영상의 프레임 각각에 대하여 관심 영역의 포함 여부를 판별하고 제2 평가 모델을 이용하여 판별된 프레임에 기초하여 개체의 귀에 대한 병변 여부를 결정하도록 구성된, 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.The problem to be solved by the present invention is to determine whether a region of interest is included in each frame of an intra-ear video using a first evaluation model with respect to a received intra-ear image, and to be determined using a second evaluation model. An object of the present invention is to provide a method for providing information on an ear lesion, configured to determine whether an object has a lesion on the ear based on a frame, and a device using the same.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법이 제공된다. 본 방법은, 프로세서에 의해 구현되는 귀의 병변에 대한 정보 제공 방법으로서, 개체에 대한 귀 내부 동영상을 수신하는 단계, 귀의 관심 영역의 포함 여부를 판별하도록 구성된 제1 평가 모델을 이용하여, 귀 내부 동영상의 프레임 각각에 대하여 관심 영역의 포함 여부를 판별하는 단계, 및 귀의 병변 여부를 결정하도록 구성된 제2 평가 모델 이용하여 판별된 프레임에 기초하여 상기 개체의 귀에 대한 병변 여부를 결정하는 단계를 포함한다.In order to solve the above problems, there is provided a method for providing information on an ear lesion according to an embodiment of the present invention. The method is a method of providing information on an ear lesion implemented by a processor, comprising: receiving an intra-ear video for an object; using a first evaluation model configured to determine whether a region of interest in the ear is included; determining whether a region of interest is included in each frame of , and determining whether the subject has a lesion on the ear based on the determined frame using a second evaluation model configured to determine whether or not an ear lesion is present.

본 발명의 특징에 따르면, 관심 영역의 포함 여부를 판별하는 단계는, 제1 평가 모델을 이용하여 귀 내부 동영상의 프레임 각각에 대하여 제1 병변 확률을 산출하는 단계, 및 미리 결정된 수준, 및 산출된 제1 병변 확률에 기초하여 상기 관심 영역의 포함 여부를 판별하는 단계를 포함할 수 있다.According to a feature of the present invention, the step of determining whether a region of interest is included includes calculating a first lesion probability for each frame of an intra-ear video using a first evaluation model, and a predetermined level, and the calculated The method may include determining whether the region of interest is included based on the first lesion probability.

본 발명의 다른 특징에 따르면, 개체의 귀에 대한 병변 여부를 결정하는 단계는, 제2 평가 모델을 이용하여, 관심 영역을 포함하는 것으로 판별된 프레임에 대하여 제2 병변 확률을 산출하는 단계, 및 제2 병변 확률에 기초하여 개체의 귀에 대한 병변 여부를 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the step of determining whether the subject has a lesion on the ear includes calculating a second lesion probability for a frame determined to include the region of interest by using the second evaluation model, and 2 The method may further include determining whether the subject has a lesion on the ear based on the lesion probability.

본 발명의 또 다른 특징에 따르면, 제1 병변 확률 또는 상기 제2 병변 확률은, 귀 내부 동영상의 프레임에 대하여 정상 고막 (normal eardrum), 종양, 고막 천공 (Tympanic perforation), 상고 실내함 함몰 (Attic retraction), 고막염 (Myringitis) 을 갖는 외이도염 (Otitis externa), 및 고막염이 없는 외이도염 중 적어도 하나에 대한 확률을 포함할 수 있다.According to another feature of the present invention, the first lesion probability or the second lesion probability is a normal eardrum, a tumor, a tympanic perforation, and an upper chamber depression with respect to the frame of the video inside the ear. retraction), Otitis externa with Myringitis, and Otitis externa without myringitis.

본 발명의 또 다른 특징에 따르면, 병변은 서로 상이한 복수의 병변이고, 개체의 귀에 대한 병변 여부를 결정하는 단계 이후에, 제2 평가 모델에 의해, 제2 병변 확률이 미리 결정된 수준 이상인 복수의 병변이 결정된 경우, 동반 질환이 발병된 것으로 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the lesion is a plurality of lesions that are different from each other, and after the step of determining whether or not the subject's ear is a lesion, a second lesion probability by the second evaluation model is a plurality of lesions equal to or greater than a predetermined level If this is determined, it may include determining that a comorbidity has developed.

본 발명의 또 다른 특징에 따르면, 상기 방법은 판별하는 단계 이후에, 관심 영역을 포함하는 프레임을 결정하는 단계를 포함할 수 있다. 이때, 제2 평가 모델은 복수의 모델로 구성되고, 개체의 귀에 대한 병변 여부를 결정하는 단계는, 복수의 모델 각각을 이용하여, 관심 영역을 포함하는 프레임에 대한 병변 여부를 결정하는 단계, 복수의 모델 각각에 대한 평가 결과를 합산하는 단계, 및 합산된 평가 결과에 기초하여 개체의 귀에 대한 병변 여부를 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, after the step of determining, the method may include determining a frame including the region of interest. In this case, the second evaluation model is composed of a plurality of models, and the step of determining whether the subject has a lesion on the ear includes: using each of the plurality of models, determining whether or not a lesion on the frame including the region of interest; summing the evaluation results for each of the models, and determining whether the subject has a lesion on the ear based on the summed evaluation results.

본 발명의 또 다른 특징에 따르면, 복수의 모델은, 적어도 하나의 제1 평가 모델을 포함할 수 있다. 이때, 제1 평가 모델은, 복수의 모델 중, 모델을 이루는 레이어의 수가 가장 적은 모델일 수 있다.According to another feature of the present invention, the plurality of models may include at least one first evaluation model. In this case, the first evaluation model may be a model with the smallest number of layers constituting the model among the plurality of models.

본 발명의 또 다른 특징에 따르면, 상기 방법은 관심 영역의 여부를 판별하는 단계 이후에, 판별 결과에 기초하여 관심 영역의 여부에 따라 상이한 판별음을 생성하는 단계, 및 판별음을 제공하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the method includes, after the step of determining whether the region of interest exists, generating different discrimination sounds according to the presence or absence of the region of interest based on the determination result, and providing the discrimination sound may include more.

본 발명의 또 다른 특징에 따르면, 관심 영역의 포함 여부를 판별하는 단계 이후에, 복수의 프레임에 대한 엔트로피 특징을 추출하는 단계, 엔트로피 특징의 수준이 미리 결정된 수준 이하인 프레임을 결정하는 단계, 및 미리 결정된 수준 이하인 프레임을 저장하거나 제공하는 단계를 더 포함할 수 있다.According to another feature of the present invention, after determining whether or not the region of interest is included, extracting entropy features for a plurality of frames, determining a frame in which the level of the entropy feature is less than or equal to a predetermined level, and in advance The method may further include storing or providing a frame that is less than or equal to the determined level.

본 발명의 또 다른 특징에 따르면, 상기 방법은 관심 영역의 포함 여부를 판별하는 중에, 상기 평가 모델에 대한 관심 영역을 복수의 프레임에 표시하여 제공하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the method may further include displaying the region of interest for the evaluation model in a plurality of frames and providing the region of interest while determining whether the region of interest is included.

본 발명의 또 다른 특징에 따르면, 상기 방법은 귀 내부 동영상을 수신하는 단계 이후에, 귀 내부 동영상의 프레임 각각에 대한 조도를 보정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the method may further include, after receiving the in-ear video, correcting the illuminance for each frame of the in-ear video.

본 발명의 또 다른 특징에 따르면, 관심 영역은, 고막 영역 또는 외이도 영역일 수 있다.According to another feature of the present invention, the region of interest may be an eardrum region or an external auditory meatus region.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스가 제공된다. 상기 디바이스는, 개체에 대한 귀 내부 동영상을 수신하도록 구성된 수신부, 및 수신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 귀의 관심 영역의 포함 여부를 판별하도록 구성된 제1 평가 모델을 이용하여, 귀 내부 동영상의 프레임 각각에 대하여 관심 영역의 포함 여부를 판별하고, 귀의 병변 여부를 결정하도록 구성된 제2 평가 모델을 이용하여 판별된 프레임에 기초하여 개체의 귀에 대한 병변 여부를 결정하도록 구성된다.In order to solve the above problems, there is provided a device for providing information on an ear lesion according to another embodiment of the present invention. The device includes a receiver configured to receive an in-ear video of the object, and a processor connected to the receiver. In this case, the processor uses the first evaluation model configured to determine whether the region of interest in the ear is included, and determines whether the region of interest is included in each frame of the video inside the ear, and the second evaluation is configured to determine whether the ear is lesioned. It is configured to determine whether the subject has a lesion on the ear based on the frame determined using the model.

본 발명의 특징에 따르면, 프로세서는, 제1 평가 모델을 이용하여 귀 내부 동영상의 프레임 각각에 대하여 제1 병변 확률을 산출하고, 미리 결정된 수준, 및 산출된 상기 제1 병변 확률에 기초하여 관심 영역의 포함 여부를 판별하도록 더 구성될 수 있다.According to a feature of the present invention, the processor calculates a first lesion probability for each frame of the intra-ear video using the first evaluation model, and a region of interest based on a predetermined level and the calculated first lesion probability. It may be further configured to determine whether to include.

본 발명의 다른 특징에 따르면, 프로세서는, 제2 평가 모델을 이용하여, 관심 영역을 포함하는 것으로 판별된 프레임에 대하여 제2 병변 확률을 산출하고, 제2 병변 확률에 기초하여 상기 개체의 귀에 대한 병변 여부를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor calculates a second lesion probability for a frame determined to include a region of interest by using the second evaluation model, and based on the second lesion probability, and may be further configured to determine whether a lesion is present.

본 발명의 또 다른 특징에 따르면 병변은 서로 상이한 복수의 병변일 수 있다. 이때, 프로세서는, 제2 평가 모델에 의해, 제2 병변 확률이 미리 결정된 수준 이상인 복수의 병변이 결정된 경우, 동반 질환이 발병된 것으로 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the lesion may be a plurality of different lesions. In this case, the processor may be further configured to determine that a comorbid disease has occurred when a plurality of lesions having a second lesion probability equal to or greater than a predetermined level are determined by the second evaluation model.

본 발명의 또 다른 특징에 따르면 제2 평가 모델은 복수의 모델로 구성되고, 프로세서는, 관심 영역을 포함하는 프레임을 결정하고, 복수의 모델 각각을 이용하여 관심 영역을 포함하는 프레임에 대한 병변 여부를 결정하고, 복수의 모델 각각에 대한 평가 결과를 합산하고, 합산된 평가 결과에 기초하여 상기 개체의 귀에 대한 병변 여부를 결정하도록 구성될 수 있다.According to another feature of the present invention, the second evaluation model consists of a plurality of models, the processor determines a frame including the region of interest, and uses each of the plurality of models to determine whether the frame including the region of interest is a lesion. may be configured to determine a lesion to the ear of the subject, to sum up the evaluation results for each of the plurality of models, and to determine whether the subject has a lesion on the ear based on the summed evaluation result.

본 발명의 또 다른 특징에 따르면 복수의 모델은, 적어도 하나의 제1 평가 모델을 포함하고, 제1 평가 모델은, 복수의 모델 중, 모델을 이루는 레이어의 수가 가장 적은 모델일 수 있다.According to another feature of the present invention, the plurality of models may include at least one first evaluation model, and the first evaluation model may be a model in which the number of layers constituting the model is the smallest among the plurality of models.

본 발명의 또 다른 특징에 따르면, 상기 디바이스는 표시부를 더 포함하고, 프로세서는 판별 결과에 기초하여 상기 관심 영역의 여부에 따라 상이한 판별음을 생성하도록 더 구성될 수 있다. 이때, 표시부는 판별음을 출력하도록 구성될 수 있다.According to another feature of the present invention, the device may further include a display unit, and the processor may be further configured to generate a different discrimination sound according to the presence or absence of the ROI based on the determination result. In this case, the display unit may be configured to output a discrimination sound.

본 발명의 또 다른 특징에 따르면 상기 디바이스는 저장부를 더 포함하고, 프로세서는, 복수의 프레임에 대한 엔트로피 특징을 추출하고, 엔트로피 특징의 수준이 미리 결정된 수준 이하인 프레임을 결정하도록 구성될 수 있다. 이때, 저장부는, 미리 결정된 수준 이하인 프레임을 저장하도록 구성될 수 있다.According to another feature of the present invention, the device may further include a storage unit, and the processor may be configured to extract entropy characteristics for a plurality of frames, and determine a frame in which the level of the entropy characteristics is less than or equal to a predetermined level. In this case, the storage unit may be configured to store a frame that is less than or equal to a predetermined level.

본 발명의 또 다른 특징에 따르면 관심 영역의 포함 여부를 판별하는 중에, 평가 모델에 대한 관심 영역을 상기 복수의 프레임에 표시하여 제공하도록 더 구성될 수 있다.According to another feature of the present invention, while determining whether or not the ROI is included, the ROI for the evaluation model may be displayed and provided in the plurality of frames.

본 발명의 또 다른 특징에 따르면 프로세서는, 귀 내부 동영상의 프레임 각각에 대한 조도를 보정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to correct the illuminance for each frame of the video inside the ear.

본 발명의 또 다른 특징에 따르면 관심 영역은, 고막 영역 또는 외이도 영역일 수 있다.According to another feature of the present invention, the region of interest may be an eardrum region or an external auditory meatus region.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.

본 발명은, 두 개의 평가 모델에 기초하여 귀 내부 동영상에 대하여 관심 영역을 포함하는 프레임을 선별하고, 선별된 프레임에 대한 병변을 결정하여, 개체에 대한 귀 병변을 평가하도록 구성된 새로운 귀의 병변 진단 시스템을 제공함으로써 정확한 귀의 병변에 대한 평가 결과를 제공할 수 있다.The present invention provides a novel ear lesion diagnosis system configured to select a frame including a region of interest for a video inside the ear based on two evaluation models, determine a lesion for the selected frame, and evaluate an ear lesion on an object It is possible to provide accurate evaluation results for ear lesions by providing

예를 들어, 본 발명은, 제안된 귀의 병변 진단 시스템은, 병변의 진단에 있어서 입력되는 영상의 퀄리티에 따른 필터링을 진행하지 않아 성능 향상의 한계를 갖는 종래의 진단 시스템보다 진단 성능이 우수하여 상고 실내함 함몰과 같은 귀 병변의 분류가 가능할 수 있다. For example, in the present invention, the proposed ear lesion diagnosis system has superior diagnostic performance than the conventional diagnosis system, which has a limitation in performance improvement because filtering according to the quality of the input image is not performed in diagnosing the lesion. It may be possible to classify ear lesions, such as chamber depression.

보다 구체적으로, 본 발명은 주요 귀 병변 진단에 있어 단일 영상을 이용하는 것이 아니라, 앙상블 모델에 기초하여 동영상의 프레임을 각각에 대한 분석 결과를 최종 진단에 반영함으로써, 높은 정확도의 진단 결과를 제공할 수 있다.More specifically, the present invention does not use a single image in diagnosing major ear lesions, but reflects the analysis results for each frame of a moving picture based on an ensemble model in the final diagnosis, thereby providing high-accuracy diagnostic results. have.

특히, 본 발명은, 다양한 인공지능 알고리즘 모델에 기초한 앙상블 진단을 내리는 분류기가 적용될 뿐만 아니라, 한 사람에게서 얻어지는 실시간 동영상의 각 프레임 별로 분류를 수행하여 여러 프레임에 대한 앙상블 분류 결과를 종합하는 두 종류의 앙상블 기법이 적용됨에 따라, 높은 정확도의 진단 결과를 제공할 수 있다.In particular, the present invention applies a classifier that makes an ensemble diagnosis based on various artificial intelligence algorithm models as well as performs classification for each frame of a real-time video obtained from one person to synthesize the ensemble classification results for multiple frames. As the ensemble technique is applied, it is possible to provide a high-accuracy diagnosis result.

나아가, 본 발명은, 빛을 조절하여 조도가 다른 프레임을 생성한 후 진단에 적용하도록 귀의 병변 진단 시스템을 제공할 수 있어, 한 개인에 대한 다양한 귀 측정 영상에 대한 앙상블 진단이 가능할 수 있다. Furthermore, the present invention can provide a system for diagnosing ear lesions so that frames having different illuminance are generated by controlling light and then applied to diagnosis, so that ensemble diagnosis of various ear measurement images for an individual can be performed.

즉, 본 발명은 하나의 개체에 대하여 다른 각도와 조도에서 동영상을 실시간으로 측정하고, 다양한 각도와 조도에서 얻어지는 영상의 각 프레임에 대하여 질환 진단 평가를 종합하여 내릴 수 있는, 앙상블 진단을 통해 진단의 정확도를 높일 수 있다.That is, the present invention measures a moving picture in real time at different angles and illuminance for a single object, and synthesizes disease diagnosis evaluation for each frame of an image obtained at various angles and illuminance. accuracy can be increased.

나아가, 본 발명은, 실시간 분류 자료에 대한 소리 변환 음파를 형성하는 귀의 병변 진단 시스템을 제공함에 따라, 사용자는 보다 용이하게 측정기의 위치를 설정할 수 있다.Furthermore, the present invention provides an ear lesion diagnosis system that forms sound-converted sound waves for real-time classification data, so that the user can more easily set the position of the measuring device.

즉, 본 발명은, 실시간으로 분류되는 병변 종류에 따라 판별음을 제시할 수 있어, 의료진은 소리를 기반으로 위치 선정 및 검사 종료를 용이하게 결정할 수 있다. That is, the present invention can present a discriminant sound according to the type of lesion classified in real time, so that the medical staff can easily determine the location and the end of the examination based on the sound.

또한, 본 발명은, 최적의 판단이 이루어지는 영역뿐만 아니라 음성 인식을 통해 동영상의 특정 프레임을 캡쳐할 수 있어, 보조 진단을 위한 데이터를 제공할 수 있다.In addition, according to the present invention, it is possible to capture a specific frame of a moving picture through voice recognition as well as a region in which an optimal judgment is made, thereby providing data for an auxiliary diagnosis.

예를 들어, 본 발명은 병변의 진단에 방해가 되는 귀지 등의 요소들을 포함하지 않고 관심 영역만을 포함하는 프레임을 저장하거나, 음성 인식을 통해 특정 프레임을 캡쳐하도록 구성된 병변 진단 시스템을 제공할 수 있다. For example, the present invention can provide a lesion diagnosis system configured to store a frame including only a region of interest without including elements such as earwax that interferes with the diagnosis of a lesion, or to capture a specific frame through voice recognition. .

즉, 본 발명은, 기록을 위해 분류의 특성이 가장 잘 드러나는 프레임에 대한 최적의 판단이 이루어져서 기록할 뿐만 아니라 음성 인식을 통해 동영상의 특정 프레임을 캡쳐할 수 있다. That is, according to the present invention, for recording, an optimal judgment is made on the frame in which the characteristic of classification is most evident and not only recording, but also capturing a specific frame of a moving picture through voice recognition.

이에, 본 발명은, 최종 분류된 병변의 종류뿐만 아니라, 명확한 진단에 기여하는 관심 영역을 포함하는 프레임을 캡쳐하여 저장함에 따라, 병변 분류를 위한 중간 과정을 시각적으로 제공할 수 있다. 나아가, 본 발명은 부정확한 영상으로 인한 의료진의 귀의 병변의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.Accordingly, according to the present invention, an intermediate process for lesion classification can be visually provided by capturing and storing a frame including a region of interest contributing to a clear diagnosis as well as a type of a finally classified lesion. Furthermore, the present invention can prevent erroneous interpretation of the progress of ear lesions by medical staff due to inaccurate images, and improve the workflow of medical personnel in actual clinical practice.

또한, 본 발명은, 평가 모델에 의해 최종 분류된 병변의 종류에 따라 상이한 판별음을 제시하도록 구성된 귀의 병변 진단 시스템을 제공함에 따라, 의로진은 진단 과정에서 지속적인 내시경 영상에 대한 모니터링 없이 소리만으로 병변의 종류를 인지할 수 있다.In addition, the present invention provides an ear lesion diagnosis system configured to present different discriminant sounds depending on the type of lesion finally classified by the evaluation model. types can be recognized.

이에, 본 발명은 귀 내시경을 이용한 모니터링과 동시에 병변에 대한 실시간 진단이 가능할 수 있고, 조기 진단 및 이에 따른 좋은 치료 예후에 기여할 수도 있다. Accordingly, the present invention may enable real-time diagnosis of lesions while monitoring using an ear endoscope, and may contribute to early diagnosis and good treatment prognosis.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다. The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1a는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스에 기초한 귀의 병변 진단 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스로부터 귀의 병변에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따라 귀의 병변 여부를 결정하는 절차를 예시적으로 도시한 것이다.
도 4a 및 4b는 본 발명의 다양한 실시예에 이용되는 제1 평가 모델 및 제2 평가 모델의 학습에 이용되는 영상을 예시적으로 도시한 것이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따른, 평가 결과를 도시한 것이다.1A exemplarily illustrates an ear lesion diagnosis system based on a device for providing information on ear lesions according to an embodiment of the present invention.
1B exemplarily shows the configuration of a device for providing information on an ear lesion according to an embodiment of the present invention.
1C exemplarily shows the configuration of a medical staff device that receives and outputs information on an ear lesion from a device for providing information on an ear lesion according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing information on an ear lesion according to an embodiment of the present invention.
3A and 3B exemplarily show a procedure for determining whether an ear lesion exists according to a method for providing information on an ear lesion according to an embodiment of the present invention.
4A and 4B exemplarily show images used for learning the first evaluation model and the second evaluation model used in various embodiments of the present invention.
5A to 5C illustrate evaluation results according to a method for providing information on an ear lesion according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be embodied in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. In connection with the description of the drawings, like reference numerals may be used for like components.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have," "may have," "includes," or "may include" refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, "A or B," "at least one of A and B," or "at least one of A or B" means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.As used herein, expressions such as "first," "second," "first," or "second," may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components. For example, the first user equipment and the second user equipment may represent different user equipment regardless of order or importance. For example, without departing from the scope of rights described in this document, the first component may be named as the second component, and similarly, the second component may also be renamed as the first component.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component); When referring to "connected to", it will be understood that the certain element may be directly connected to the other element or may be connected through another element (eg, a third element). On the other hand, when it is said that a component (eg, a first component) is "directly connected" or "directly connected" to another component (eg, a second component), the component and the It may be understood that other components (eg, a third component) do not exist between other components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression "configured to (or configured to)" as used in this document, depending on the context, for example, "suitable for," "having the capacity to ," "designed to," "adapted to," "made to," or "capable of." The term “configured (or configured to)” may not necessarily mean only “specifically designed to” in hardware. Instead, in some circumstances, the expression “a device configured to” may mean that the device is “capable of” with other devices or parts. For example, the phrase "a processor configured (or configured to perform) A, B, and C" refers to a dedicated processor (eg, an embedded processor) for performing the corresponding operations, or by executing one or more software programs stored in a memory device. , may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described in this document. Among terms used in this document, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, ideal or excessively formal meanings is not interpreted as In some cases, even terms defined in this document cannot be construed to exclude embodiments of this document.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다. Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and as those skilled in the art will fully understand, technically various interlocking and driving are possible, and each embodiment may be implemented independently of each other, It may be possible to implement together in a related relationship.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다. For clarity of interpretation of the present specification, terms used herein will be defined below.

본 명세서에서 사용되는 용어, "개체"는 귀의 병변을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 귀의 병변 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term “subject” may refer to any subject for which an ear lesion is to be predicted. For example, the subject may be a subject suspected of having an ear lesion. In this case, the subject disclosed herein may be any mammal except humans, but is not limited thereto.

본 명세서에서 사용되는 용어, "귀 내부 동영상"은, 영상 진단 장치로부터 촬영된 복수의 프레임으로 이루어진 귀 내부 영상을 의미할 수 있다. As used herein, the term “intra-ear video” may refer to an inside-ear image including a plurality of frames captured by an imaging apparatus.

예를 들어, "귀 내부 동영상"은, 개체에 대하여 촬영된 귀 내시경 동영상, 귀 초음파 동영상일 수 있으나 이에 제한된 건 아니다. 한편, 귀 내시경 동영상은, 고막 영역 또는 외이도 영역의 관심 영역을 포함할 수 있다. For example, the "video inside the ear" may be an ear endoscopy video or an ear ultrasound video captured with respect to an object, but is not limited thereto. Meanwhile, the ear endoscopy video may include a region of interest in the eardrum region or the external auditory meatus region.

한편, 복수 개의 컷으로 구성된 귀 내시경 동영상은, 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따라 귀 내시경 동영상의 프레임 각각에 대하여 병변이 결정될 수도 있다. 그 결과, 본 발명은 귀 내시경과 같은 영상 진단 장치로부터의 귀 내시경 동영상의 수신과 동시에 병변의 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 귀의 병변의 진단 정보를 제공할 수 있다.Meanwhile, in the ear endoscopy video composed of a plurality of cuts, the lesion may be determined for each frame of the ear endoscopy video according to the method of providing information on the ear lesion according to an embodiment of the present invention. As a result, according to the present invention, it is possible to provide a streaming service by predicting a lesion at the same time as receiving an ear endoscopy video from an imaging device such as an ear endoscope, and to provide diagnosis information of an ear lesion in real time.

본 발명의 특징에 따르면, 귀 내부 영상은, 2차원 영상, 3차원 영상일 수 있다. According to a feature of the present invention, the inner ear image may be a two-dimensional image or a three-dimensional image.

본 발명의 다른 특징에 따르면, 귀 내부 영상은, 빛의 세기가 다양하게 조작됨에 따라 생성된 복수의 조도를 갖는 프레임을 포함할 수 있다. 나아가, 복수의 각도에서 촬영된 영상일 수 있다. 복수의 각도 및 조도를 갖는 프레임이 진단에 이용될 경우, 진단의 정확도가 높을 수 있다. According to another feature of the present invention, the inner ear image may include frames having a plurality of illuminances generated as the intensity of light is manipulated in various ways. Furthermore, it may be an image photographed from a plurality of angles. When a frame having a plurality of angles and illuminance is used for diagnosis, the accuracy of diagnosis may be high.

본 명세서에서 사용되는 용어, "제1 평가 모델"은 귀 내시경 동영상을 이루는 프레임 영상을 입력으로 하여 관심 영역의 포함 여부를 출력하도록 구성된 모델일 수 있다.As used herein, the term “first evaluation model” may be a model configured to output whether a region of interest is included by inputting a frame image constituting an ear endoscopy video as an input.

보다 구체적으로 제1 평가 모델은, 귀 내부 동영상의 프레임 각각에 대하여 제1 병변 확률을 산출하고, 제1 병변 확률이 미리 결정된 수준 이상인 경우, 관심 영역이 포함된 것으로 결정하도록 학습된 모델일 수 있다.More specifically, the first evaluation model may be a model trained to calculate a first lesion probability for each frame of an inside-ear video, and determine that a region of interest is included when the first lesion probability is greater than or equal to a predetermined level. .

본 발명의 특징에 따르면, 제1 평가 모델은 제1 병변 확률만을 출력하고, 관심 영역의 포함 여부는 출력된 제1 병변 확률을 이용하여 독립적으로 수행될 수도 있다. According to a feature of the present invention, the first evaluation model may output only the first lesion probability, and whether the region of interest is included may be independently performed using the output first lesion probability.

이때, 관심 영역의 판별은 하기의 수학식 1에 의해 수행될 수 있다.In this case, the determination of the ROI may be performed by Equation 1 below.

[수학식 1][Equation 1]

여기서, p _c (I _i )는 i 프레임 영상이 병변 클래스 c일 확률을 의미하고, p _thr 은 상기 확률에 대한 미리 결정된 수준 (임계치) 이고, σ(I _i )는 관심 영역을 포함하는지에 대한 판별 결과이다. where p _c ( I _i ) denotes the probability that the i-frame image is of lesion class c, p _thr is a predetermined level (threshold) for the probability, and σ ( I _i ) denotes the probability of including the region of interest. It is the result of discrimination.

즉, 수학식 1에 따르면, 관심 영역의 포함 여부는 제1 병변 확률이 미리 결정된 수준 이상인 경우 1로, 그렇지 않은 경우 0으로 결정될 수 있다. That is, according to Equation 1, whether the region of interest is included may be determined as 1 when the probability of the first lesion is equal to or greater than a predetermined level, and as 0 otherwise.

이때, 제1 병변 확률은, 정상 고막 (normal eardrum), 종양, 고막 천공 (Tympanic perforation), 상고 실내함 함몰 (Attic retraction), 고막염 (Myringitis) 을 갖는 외이도염 (Otitis externa), 및 고막염이 없는 외이도염 중 적어도 하나에 대한 확률을 포함할 수 있다. At this time, the first lesion probability is, normal eardrum, tumor, tympanic perforation, attic retraction, otitis externa with myringitis, and otitis externa without tympanitis. It may include a probability for at least one of.

즉, 제1 평가 모델은, 하나의 개체로부터 획득된 귀 내부 동영상을 이루는 각 프레임 별로 판독한 것을 앙상블로 종합하여 질환을 진단할 수 있다.That is, the first evaluation model may diagnose the disease by synthesizing the readings for each frame constituting the moving picture of the inside of the ear obtained from one individual into an ensemble.

그러나 이에 제한되지 않고, 제1 평가 모델은, 복수의 각도 및 복수의 조도에서 얻어지는 동영상의 프레임에 대하여 질환 진단 평가를 종합하여 내릴 수 있는, 앙상블 진단을 통해 진단의 정확도를 높일 수 있다. .However, the present invention is not limited thereto, and the first evaluation model may increase the accuracy of diagnosis through ensemble diagnosis, in which disease diagnosis evaluation can be synthesized for video frames obtained from a plurality of angles and a plurality of illuminances. .

본 명세서에서 사용되는 용어, "제2 평가 모델"은 분류된 프레임을 입력으로 하여 병변을 분류하고 출력하도록 구성된 모델일 수 있다. 이때, 입력되는 프레임은 관심 영역을 포함할 수 있다. As used herein, the term “second evaluation model” may be a model configured to classify and output a lesion by inputting a classified frame as an input. In this case, the input frame may include the ROI.

보다 구체적으로, 제2 평가 모델은 관심 영역을 포함하는 것으로 판별된 프레임에 대하여 제2 병변 확률을 산출하고, 제2 병변 확률에 기초하여 개체의 귀에 대한 병변 여부를 최종 결정하도록 구성될 수 있다. More specifically, the second evaluation model may be configured to calculate a second lesion probability for a frame determined to include the region of interest, and finally determine whether or not the subject has a lesion on the ear based on the second lesion probability.

이때, 병변의 최종 분류는 하기 수학식 2에 의해 수행될 수 있다.In this case, the final classification of the lesion may be performed by Equation 2 below.

[수학식 2][Equation 2]

c* = f{I ₁, I ₂,…, I _N } c * = f { I ₁ , I ₂ ,… , I _N }

여기서, C*는 병변 클래스 (예를 들어, 정상 고막 또는, 종양 또는, 고막 공 또는, 상고 실내함 함몰 또는, 고막염을 갖는 외이도염 또는, 고막염이 없는 외이도염) 이고, {I ₁, I ₂,…, I _N }은 귀 내부 동영상을 이루는 복수의 프레임 영상을 의미할 수 있다. where C* is the lesion class (eg, normal tympanic membrane or tumor or tympanic cavity or supragedral chamber depression or otitis externa with tympanitis or otitis externa without tympanitis), { I ₁ , I ₂ , ... , I _N } may mean a plurality of frame images constituting a video inside the ear.

한편, 제2 평가 모델은 복수의 모델로 이루어진 앙상블 모델일 수 있다. 이때, 복수의 모델은 전술한 제1 평가 모델을 포함할 수 있다. 예를 들어, 복수의 모델 중 가장 간단한 구조를 갖는 모델이 제1 평가 모델로 선택될 수 있다.Meanwhile, the second evaluation model may be an ensemble model including a plurality of models. In this case, the plurality of models may include the above-described first evaluation model. For example, a model having the simplest structure among the plurality of models may be selected as the first evaluation model.

제2 평가 모델이 앙상블 모델일 경우, 복수의 모델 각각은, 관심 영역을 포함하는 프레임에 대한 병변 여부를 결정하고, 복수의 모델 각각에 대한 평가 결과를 합산하고, 합산된 평가 결과에 기초하여 개체의 귀에 대한 병변 여부를 결정할 수 있다.When the second evaluation model is an ensemble model, each of the plurality of models determines whether or not a lesion is present for a frame including the region of interest, sums the evaluation results for each of the plurality of models, and an individual based on the summed evaluation result can determine whether there is a lesion to the ear of

즉 제2 평가 모델은 모델들의 앙상블뿐만 아니라 한 사람에게서 얻는 복수의 데이터를 판독한 결과를 종합하여 최종적으로 병변을 분류함에 따라, 귀 병변의 진단의 정확도가 높을 수 있다. That is, as the second evaluation model classifies the lesion by synthesizing the results of reading a plurality of data obtained from one person as well as an ensemble of models, the accuracy of diagnosis of ear lesions may be high.

한편, 본 발명의 제2 평가 모델은, Inception-v3 및 Resnet-v2의 두 개의 모델로 이루어진 앙상블 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 제2 평가 모델은, CNN (Convolutional Neural Network) 기반의 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 두 개의 모델이 앙상블을 이루는 모델일 수도 있다. Meanwhile, the second evaluation model of the present invention may be an ensemble model composed of two models, Inception-v3 and Resnet-v2. However, the present invention is not limited thereto. For example, the second evaluation model of the present invention is a Convolutional Neural Network (CNN)-based VGG net, R, DenseNet, and a Fully Convolutional Network (FCN) having an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, U At least two models selected from a deep neural network (DNN) such as -net, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet50, Resnet101, and Inception-v3 may form an ensemble.

이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스에 기초한 귀의 병변 진단 시스템을 설명한다. Hereinafter, an ear lesion diagnosis system based on a device for providing information on ear lesions according to an embodiment of the present invention will be described with reference to FIGS. 1A to 1C .

도 1a는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스에 기초한 귀의 병변 진단 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스로부터 귀의 병변에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.1A exemplarily illustrates an ear lesion diagnosis system based on a device for providing information on ear lesions according to an embodiment of the present invention. 1B exemplarily shows the configuration of a device for providing information on an ear lesion according to an embodiment of the present invention. 1C exemplarily shows the configuration of a medical staff device that receives and outputs information on an ear lesion from a device for providing information on an ear lesion according to an embodiment of the present invention.

먼저, 도 1a을 참조하면, 귀의 병변 진단 시스템 (1000) 은, 개체에 대한 귀 내시경 동영상을 기초로 귀의 병변과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 귀의 병변 진단 시스템 (1000) 은, 귀 내시경 영상에 기초하여, 개체에 대한 귀의 질환의 발병 여부를 결정하도록 구성된 귀의 병변에 대한 정보 제공용 디바이스 (100), 귀의 병변 진단에 대한 정보를 수신하는 의료진 디바이스 (200) 및 귀 내시경 영상을 제공하는 귀 내시경 영상 촬영용 디바이스 (300) 로 구성될 수 있다. First, referring to FIG. 1A , the system for diagnosing an ear lesion 1000 may be a system configured to provide information related to an ear lesion based on an ear endoscopic video of an object. At this time, the ear lesion diagnosis system 1000 receives the information on the ear lesion diagnosis, the device for providing information about the ear lesion 100 configured to determine whether an ear disease occurs in the subject, based on the ear endoscopy image. It may be composed of a medical staff device 200 and an ear endoscopy device 300 for providing an ear endoscopy image.

먼저, 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 귀 내시경 영상 촬영용 디바이스 (300) 로부터 제공된 사용자의 귀 내시경 동영상을 기초로 귀의 질환의 발병 여부를 평가하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 귀의 병변에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. First, the device for providing information on the lesion of the ear 100 is a general-purpose computer or laptop that performs various calculations to evaluate whether an ear disease occurs based on the user's ear endoscopy video provided from the device 300 for taking an ear endoscopy image. , and/or a data server. In this case, the medical staff device 200 may be a device for accessing a web server providing a web page for an ear lesion or a mobile web server providing a mobile web site, but is not limited thereto. does not

구체적으로, 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 귀 내시경 영상 촬영용 디바이스 (300) 로부터 귀 내시경 동영상을 수신하고, 수신된 귀 내시경 영상으로부터 관심 영역의 포함 여부를 판별하고, 질환의 발병 여부와 연관된 정보를 제공할 수 있다. 이때, 귀 내시경 영상 촬영용 디바이스 (300) 는, 하나의 개체 대한 다양한 영상 정보를 제공하도록, 복수의 조도에서 촬영된 동영상 또는 이의 프레임을 제공할 수 있다. 나아가, 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 복수의 각도 및 조도를 갖는 프레임을 이용하여, 관심 영역의 포함 여부를 판별하고, 질환의 발병 여부와 연관된 정보를 제공할 수 있다.Specifically, the device 100 for providing information on a lesion of the ear receives an ear endoscopy video from the device 300 for taking an ear endoscopy image, determines whether a region of interest is included from the received ear endoscope image, and whether a disease occurs can provide related information. In this case, the device 300 for taking an ear endoscopic image may provide a moving picture or a frame thereof captured at a plurality of illuminances so as to provide various image information for one object. Furthermore, the device 100 for providing information on an ear lesion may determine whether a region of interest is included by using a frame having a plurality of angles and illuminance, and may provide information related to whether or not a disease has occurred.

귀의 병변에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 귀의 질환의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다. The device 100 for providing information on an ear lesion may provide data related to the onset of an ear disease for an individual to the medical staff device 200 .

이와 같이 귀의 병변에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.As described above, the data provided from the device 100 for providing information on ear lesions may be provided as a web page through a web browser installed in the medical staff device 200 , or may be provided in the form of an application or a program. In various embodiments, such data may be provided in a form included in the platform in a client-server environment.

다음으로, 의료진 디바이스 (200) 는 개체에 대한 귀의 질환의 발병에 대한 정보 제공을 요청하고 평가 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.Next, the medical staff device 200 is an electronic device for requesting information on the onset of an ear disease for an individual and providing a user interface for displaying evaluation result data, a smart phone, a tablet PC (Personal Computer), and a notebook computer. and/or may include at least one of a PC and the like.

의료진 디바이스 (200) 는 귀의 병변에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 귀의 질환의 발병에 관한 평가 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 평가 결과는, 예측 모델들에 의해 병변을 분류하는 과정에서 예측된 관심 영역, 및 이를 포함하는 프레임 영상, 병변의 종류 등을 포함할 수 있다. The medical staff device 200 may receive an evaluation result regarding the onset of an ear disease for an individual from the device 100 for providing information on an ear lesion, and display the received result through a display unit. Here, the evaluation result may include a region of interest predicted in the process of classifying the lesion by the prediction models, a frame image including the region of interest, and the type of the lesion.

다음으로, 도 1b를 참조하여, 본 발명의 귀의 병변에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 1B , components of the device 100 for providing information on an ear lesion according to the present invention will be described in detail.

도 1b를 참조하면, 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다. Referring to FIG. 1B , the device 100 for providing information on an ear lesion includes a storage unit 110 , a communication unit 120 , and a processor 130 .

먼저, 저장부 (110) 는 개체에 대한 귀의 질환의 발병 여부를 평가하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는 제1 평가 모델에 의해 관심 영역을 포함하는 것으로 분류된 프레임 영상을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.First, the storage unit 110 may store various data generated while evaluating whether an ear disease occurs in an individual. For example, the storage 110 may be configured to store the frame image classified as including the region of interest by the first evaluation model. In various embodiments, the storage unit 110 is a flash memory type, hard disk type, multimedia card micro type, card type memory (eg, SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory. , a magnetic disk, and an optical disk may include at least one type of storage medium.

통신부 (120) 는 귀의 병변에 대한 정보 제공용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 귀 내시경 영상 촬영용 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 귀 내시경 영상 촬영용 디바이스 (300) 로부터 개체의 귀 내시경 동영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 귀 내시경 영상 촬영용 디바이스 (300) 로부터 하나의 개체 대한 복수의 각도 및/또는 조도에서 촬영된 동영상 또는 이의 프레임을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 평가 결과를 전달할 수 있다.The communication unit 120 connects the device 100 for providing information on the lesion of the ear so that it can communicate with an external device. The communication unit 120 may be connected to the medical staff device 200 and further the device 300 for endoscopic imaging by using wired/wireless communication to transmit/receive various data. In detail, the communication unit 120 may receive an ear endoscope video of an object from the device 300 for capturing an ear endoscope image. For example, the communication unit 120 may receive a moving picture or a frame thereof captured at a plurality of angles and/or illuminance for one object from the device 300 for capturing an ear endoscopy image. Furthermore, the communication unit 120 may transmit the evaluation result to the medical staff device 200 .

프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 귀 내시경 영상 및/또는 뇌 활성 데이터를 분석하기 위한 다양한 명령들을 수행할 수 있다. The processor 130 is operatively connected to the storage unit 110 and the communication unit 120 , and may perform various commands for analyzing an ear endoscopic image and/or brain activity data for an object.

구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 귀 내시경 영상을 기반으로 고막 또는 외이도와 같은 관심 영역의 포함 여부를 결정하고, 판별된 프레임 영상에 기초하여 병변을 분류하도록 구성될 수 있다. Specifically, the processor 130 may be configured to determine whether a region of interest such as the tympanic membrane or the external auditory meatus is included based on the ear endoscopic image received through the communication unit 120, and to classify the lesion based on the determined frame image. have.

이때, 프로세서 (130) 는 귀 내시경 동영상을 이루는 프레임 영상에 기초하여 관심 영역의 포함 여부를 판별하는 제1 평가 모델, 및/또는 관심 영역을 포함하는 프레임 영상에 기초하여 최종적으로 병변 여부를 분류하도록 구성된 제2 평가 모델에 기초할 수 있다. In this case, the processor 130 is configured to finally classify the lesion based on the first evaluation model for determining whether the region of interest is included or not, and/or the frame image including the region of interest, based on the frame image constituting the video of the ear endoscopy. It may be based on the constructed second evaluation model.

또한, 프로세서 (130) 는, 다양한 CNN 모델을 앙상블 진단을 내리는 모듈과 한 사람에게서 얻어지는 실시간 동영상의 각 프레임 별로 분류를 수행하여 여러 프레임에 대한 앙상블 분류를 진행하는 모듈의 두 가지 서로 다른 앙상블 기법이 적용될 수 있다. 이에, 프로세서 (130) 는, 앙상블 모델을 이용하여 최종 진단을 수행하도록 구성됨에 따라, 귀 병변에 대한 진단의 정확도가 높을 수 있다. In addition, the processor 130 has two different ensemble techniques, a module for performing ensemble diagnosis on various CNN models and a module for performing ensemble classification for multiple frames by performing classification for each frame of a real-time video obtained from one person. can be applied. Accordingly, as the processor 130 is configured to perform a final diagnosis using the ensemble model, the accuracy of diagnosis for an ear lesion may be high.

본 발명의 특징에 따르면, 프로세서 (130) 는, 단일의 개체에 대한 복수의 조도를 갖는 프레임 각각에 대한 관심 영역의 결정 및 병변 분류를 수행하고, 이를 기초로 앙상블 진단이 가능하도록 구성될 수 있다. According to a feature of the present invention, the processor 130 may be configured to determine a region of interest and classify a lesion for each frame having a plurality of illuminances for a single object, and perform ensemble diagnosis based on the determination of the lesion. .

나아가, 프로세서 (130) 는 평가 모델에 의한 출력 결과를 기초로 병변 분류 결과를 결정하여 제공할 뿐만 아니라, 병변의 예측 과정에서 결정된 관심 영역을 포함하는 프레임 영상을 캡쳐링하여 (Capturing) 제공하도록 구성될 수 있다. 이에, 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 불명확한 의료 영상으로 인한 의료진의 귀의 병변의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.Furthermore, the processor 130 is configured to not only determine and provide a lesion classification result based on the output result by the evaluation model, but also capture and provide a frame image including the region of interest determined in the lesion prediction process. can be Accordingly, the device 100 for providing information on the ear lesion may prevent the medical staff from erroneous interpretation of the progress of the ear lesion due to an unclear medical image, and may improve the medical staff's workflow in actual clinical practice.

본 발명의 다른 특징에 따르면, 프로세서 (130) 는 관심 영역을 포함했을 때뿐만 아니라, 사용자의 음식을 인식하여 특정 프레임을 캡쳐하도록 더욱 구성될 수 있다. According to another feature of the present invention, the processor 130 may be further configured to capture a specific frame by recognizing the user's food, as well as when the region of interest is included.

본 발명의 또 다른 특징에 따르면, 프로세서 (130) 는 프로세서는 판별 결과에 기초하여 상기 관심 영역의 여부에 따라 상이한 판별음을 생성하도록 더 구성될 수 있다. According to another feature of the present invention, the processor 130 may be further configured to generate a different discrimination sound according to the presence or absence of the region of interest based on the determination result.

나아가, 본 발명의 다양한 실시예에 따른 귀의 병변에 대한 정보 제공용 디바이스 (100) 는 상기 판별음을 출력하는 표시부 (미도시) 를 더욱 포함할 수 있다. 이때, 판별음은 소리 변환 음파 형성을 통해 생성될 수 있다. 한편, 사용자는 판별음을 통해, 측정기의 위치를 보다 용이하게 설정하고 원하는 결과를 획득할 경우 종료를 수행할 수도 있다. Furthermore, the device 100 for providing information on an ear lesion according to various embodiments of the present disclosure may further include a display unit (not shown) for outputting the discrimination sound. In this case, the discrimination sound may be generated through sound conversion sound wave formation. On the other hand, the user may set the position of the measuring device more easily through the discriminant sound and perform the termination when a desired result is obtained.

귀의 병변에 대한 정보 제공용 디바이스 (100) 는 하드웨어 적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 귀의 병변에 대한 정보 제공용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 귀의 병변에 대한 평가 결과는 상기 소프트웨어가 연결된 귀 내시경 영상 촬영용 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.The device 100 for providing information on an ear lesion is not limited in hardware design. For example, the processor 130 of the device 100 for providing information on an ear lesion may be implemented as software. Accordingly, the evaluation result of the ear lesion may be displayed through the display unit of the device 300 for endoscopic imaging of the ear to which the software is connected.

한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다. Meanwhile, referring to FIG. 1C , the medical staff device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 , and a processor 240 .

통신부 (210) 는 의료진 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 귀의 병변에 대한 정보 제공용 디바이스 (100) 와 연결되어 귀의 병변의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 귀의 병변에 대한 정보 제공용 디바이스 (100) 로부터 개체의 귀의 병변의 진단과 연관된 평가 결과, 예를 들어 정상 고막 (normal eardrum) 인지, 또는 종양, 고막 천공 (Tympanic perforation), 상고 실내함 함몰 (Attic retraction), 고막염 (Myringitis) 을 갖는 외이도염 (Otitis externa), 및 고막염이 없는 외이도염 중 적어도 하나의 병변 발병 여부, 및 병변 영역을 수신하고, 병변을 예측 과정에서 결정되는 관심 영역 등의 시각적 정보를 수신할 수 있다. 상기 정보들은 귀 내시경 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다. The communication unit 210 connects the medical staff device 200 to enable communication with an external device. The communication unit 210 may be connected to the device 100 for providing information on the ear lesion using wired/wireless communication to transmit various data related to the diagnosis of the ear lesion. Specifically, the communication unit 210 receives the evaluation result related to the diagnosis of the subject's ear lesion from the device 100 for providing information on the ear lesion, for example, whether a normal eardrum is recognized, or a tumor, a tympanic perforation. ), attic retraction, otitis externa with myringitis, and otitis externa without tympanitis. Visual information such as a region of interest may be received. The information may be displayed and provided with respect to the endoscopic image of the ear, but is not limited thereto.

표시부 (220) 는 개체의 귀의 병변의 진단과 연관된 평가 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The display unit 220 may display various interface screens for displaying evaluation results related to the diagnosis of an ear lesion of an individual.

다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다. In various embodiments, the display unit 220 may include a touch screen, for example, a touch, gesture, proximity, drag, swipe using an electronic pen or a part of the user's body. A swipe or hovering input may be received.

저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage 230 may store various data used to provide a user interface for displaying result data. In various embodiments, the storage unit 230 may include a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (eg, SD or XD). memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.

프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다. The processor 240 is operatively connected to the communication unit 210 , the display unit 220 , and the storage unit 230 , and may perform various commands for providing a user interface for displaying result data.

이하에서는, 도 2, 도 3a 및 도 3d를 참조하여, 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따라 귀의 병변 여부를 결정하는 절차를 예시적으로 도시한 것이다.Hereinafter, a method for providing information on an ear lesion according to an embodiment of the present invention will be described in detail with reference to FIGS. 2, 3A and 3D . 2 is a flowchart illustrating a method for providing information on an ear lesion according to an embodiment of the present invention. 3A and 3B exemplarily show a procedure for determining whether an ear lesion exists according to a method for providing information on an ear lesion according to an embodiment of the present invention.

먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 귀의 병변 평가의 절차는 다음과 같다. 먼저, 개체에 대한 귀 내부 동영상이 수신된다 (S210). 그 다음, 제1 평가 모델에 의해 귀 내부 동영상의 프레임 각가에 대하여 관심 영역의 포함 여부가 결정된다 (S220). 다음으로, 제2 평가 모델에 의해 판별된 프레임에 기초하여 개체의 병변 여부가 결정되고 (S230), 마지막으로 평가 결과가 제공된다 (S240).First, referring to FIG. 2 , a procedure for evaluating an ear lesion according to an embodiment of the present invention is as follows. First, a video inside the ear of the object is received (S210). Next, it is determined whether or not a region of interest is included in each frame of the moving picture inside the ear by the first evaluation model ( S220 ). Next, based on the frame determined by the second evaluation model, whether the subject is lesion or not is determined (S230), and finally, the evaluation result is provided (S240).

보다 구체적으로, 귀 내부 동영상이 수신되는 단계 (S210) 에서 귀 내시경 동영상, 또는 초음파 동영상과 같은 귀 내부 동영상이 수신될 수 있다. 이때, 내부 동영상은 고막 또는 외이도와 같은 병변이 존재할 확률이 높은 관심 영역을 포함할 수 있다. 나아가, 귀지와 같은 이물질들 또한 포함할 수 있다.More specifically, in step S210 of receiving the intra-ear video, an inside-ear video such as an ear endoscopy video or an ultrasound video may be received. In this case, the internal video may include a region of interest with a high probability of having a lesion such as the eardrum or the external auditory meatus. Furthermore, foreign substances such as earwax may also be included.

본 발명의 일 실시예에 따르면, 귀 내부 동영상이 수신되는 단계 (S210) 에서, 귀 내시경 영상 촬영 디바이스가 구동되어 실시간으로 촬영된 귀 내시경 영상이 획득될 수 있다. According to an embodiment of the present invention, in the step (S210) of receiving the inside of the ear video, the ear endoscope image photographing device is driven to obtain an ear endoscope image captured in real time.

본 발명의 특징에 따르면, 귀 내부 동영상이 수신되는 단계 (S210) 에서, 귀 내시경 영상 촬영 디바이스의 조도 및 각도 설정에 따른, 복수의 조도 및/또는 각도를 갖는 동영상 및 이의 프레임을 더 수신할 수도 있다. According to a feature of the present invention, in the step (S210) in which the inside of the ear video is received, a video and a frame thereof having a plurality of illuminances and/or angles according to the illuminance and angle settings of the ear endoscope imaging device may be further received. have.

다음으로, 관심 영역의 포함 여부가 결정되는 단계 (S220) 에서, 귀 내시경 동영상을 이루는 프레임 영상을 입력으로 하여 관심 영역의 포함 여부를 출력하도록 구성된 제1 평가 모델이 이용될 수 있다. Next, in the step S220 in which it is determined whether the region of interest is included, a first evaluation model configured to output whether the region of interest is included by inputting a frame image constituting the moving image of the ear endoscope may be used.

예를 들어, 도 3a를 참조하면, 귀 내부 동영상이 수신되는 단계 (S210) 에서 수신된 귀 내시경 동영상 (312) 을 이루는 복수의 프레임 영상 (314a, 314b, 314c, 314d, 314e) 이 제1 평가 모델 (320) 에 입력된다. 그 결과, 복수의 프레임 영상 (314a, 314b, 314c, 314d, 314e) 각각에 대하여 관심 영역의 포함 여부가 결정되고, 관심 영역을 포함하는 프레임 영상이 획득될 수 있다. For example, referring to FIG. 3A , a plurality of frame images 314a , 314b , 314c , 314d , 314e constituting the ear endoscopy video 312 received in step S210 in which the intra-ear video is received is the first evaluation is input to the model 320 . As a result, whether a region of interest is included in each of the plurality of frame images 314a, 314b, 314c, 314d, and 314e is determined, and a frame image including the region of interest may be obtained.

이때, 제1 평가 모델 (320) 은, 복수의 프레임 영상 (314a, 314b, 314c, 314d, 314e) 각각에 대하여 정상 고막 (normal eardrum) 인지에 대한 확률, 또는 종양, 고막 천공 (Tympanic perforation), 상고 실내함 함몰 (Attic retraction), 고막염 (Myringitis) 을 갖는 외이도염 (Otitis externa), 및 고막염이 없는 외이도염 중 적어도 하나의 병변에 대한 확률인 제1 병변 확률을 산출하고, 그 결과에 기초하여 복수의 프레임 영상 (314a, 314b, 314c, 314d, 314e) 각각에 대한 관심 영역의 포함 여부를 결정할 수 있다. At this time, the first evaluation model 320 is a probability for recognizing a normal eardrum for each of the plurality of frame images 314a, 314b, 314c, 314d, and 314e, or a tumor, a tympanic perforation, A first lesion probability, which is a probability for at least one lesion among Attic retraction, Otitis externa with Myringitis, and Otitis externa without tympanitis, is calculated, and based on the result, a plurality of lesions are calculated. It may be determined whether a region of interest is included in each of the frame images 314a, 314b, 314c, 314d, and 314e.

본 발명의 특징에 따르면, 제1 평가 모델 (320) 은 제1 병변 확률만을 출력하고, 관심 영역의 포함 여부는 출력된 제1 병변 확률을 이용하여 독립적으로 수행될 수도 있다. According to a feature of the present invention, the first evaluation model 320 may output only the first lesion probability, and whether the ROI is included may be independently performed using the output first lesion probability.

[수학식 1][Equation 1]

즉, 수학식 1에 따르면, 관심 영역의 포함 여부는 제1 병변 확률이 미리 결정된 수준 이상인 경우 1로, 그렇지 않은 경우 0으로 결정될 수 있다.That is, according to Equation 1, whether the region of interest is included may be determined as 1 when the probability of the first lesion is equal to or greater than a predetermined level, and as 0 otherwise.

결과적으로, 천공일 확률이 70 %인 프레임 영상 (314c), 천공일 확률이 95 % 인 프레임 영상 (314d), 천공일 확률이 99 % 인 프레임 영상 (314d) 가 고막 영역 (3141a, 3141b, 3141c) 을 포함하는 프레임 영상으로 결정될 수 있다. As a result, the frame image 314c with a 70% probability of being perforated, the frame image 314d with a 95% probability of perforation, and the frame image 314d with a 99% probability of perforation are the tympanic membrane regions 3141a, 3141b, and 3141c. ) may be determined as a frame image including

한편, 본 발명의 특징에 따르면, 관심 영역의 포함 여부가 결정되는 단계 (S220) 이후에 판별 결과에 기초하여 관심 영역의 여부에 따라 상이한 판별음을 생성하고, 판별음을 출력하는 단계가 더 수행될 수 있다.On the other hand, according to a feature of the present invention, after the step (S220) of determining whether or not the region of interest is included, the step of generating a different discrimination sound according to the presence of the region of interest based on the determination result and outputting the discrimination sound is further performed can be

본 발명의 다른 특징에 따르면, 관심 영역의 포함 여부가 결정되는 단계 (S220) 이후에 판별 결과에 기초하여 관심 영역을 포함하는 프레임 영상은 저장부에 저장될 수 있다. According to another feature of the present invention, after the step ( S220 ) of determining whether the region of interest is included, the frame image including the region of interest may be stored in the storage unit based on the determination result.

다시 도 3a를 함께 참조하면, 제1 평가 모델 (320) 에 의해 관심 영역을 포함하는 것으로 판별된 프레임 영상 (314c, 314d, 314e) 이 결정될 경우, 판별음이 실시간으로 출력될 수 있다. Referring again to FIG. 3A , when the frame images 314c , 314d , and 314e determined to include the region of interest are determined by the first evaluation model 320 , a discrimination sound may be output in real time.

더욱이, 귀지 등의 방해 요소를 포함하지 않고, 고막을 포함하여 진단의 명확함을 제공할 수 있는 판별된 프레임 영상 (314c, 314d, 314e) 은, 캡쳐링되어 저장 및 출력될 수 있다.Furthermore, the discriminated frame images 314c, 314d, and 314e that do not include an obstructive element such as earwax and include the eardrum, which can provide clarity of diagnosis, can be captured, stored, and output.

다시, 도 2를 참조하면, 개체의 병변 여부가 결정되는 단계 (S230) 가 수행된다. Again, referring to FIG. 2 , a step S230 of determining whether an object is a lesion is performed.

본 발명의 특징에 따르면, 개체의 병변 여부가 결정되는 단계 (S230) 에서 제2 평가 모델에 의해 관심 영역을 포함하는 것으로 판별된 프레임에 대하여 제2 병변 확률이 산출되고, 제2 병변 확률에 의해 개체의 귀에 대한 병변 여부가 결정된다.According to a feature of the present invention, a second lesion probability is calculated for the frame determined to include the region of interest by the second evaluation model in the step S230 in which the lesion of the subject is determined, and the second lesion probability is determined by the second lesion probability. It is determined whether the subject has a lesion to the ear.

예를 들어, 도 3a를 다시 참조하면, 관심 영역을 포함하는 것으로 판별된 프레임 영상 (314c, 314d, 314e) 이 제2 평가 모델 (330) 에 입력될 수 있다. 그 다음, 판별된 프레임 영상 (314c, 314d, 314e) 각각에 대하여 정상 고막 인지에 대한 확률, 또는 종양, 고막 천공, 상고 실내함 함몰, 고막염을 갖는 외이도염, 및 고막염이 없는 외이도염 중 적어도 하나의 병변에 대한 확률인 제2 병변 확률이 산출되고, 제2 병변 확률이 다양한 통계적 방법에 의해 합산되어 최종적으로 발병된 병변이 결정될 수 있다. For example, referring back to FIG. 3A , frame images 314c , 314d , and 314e determined to include the ROI may be input to the second evaluation model 330 . Then, for each of the discriminated frame images 314c, 314d, and 314e, the probability of normal tympanic membrane recognition, or at least one lesion of tumor, tympanic membrane perforation, supraspinatus chamber depression, otitis externa with tympanitis, and otitis externa without tympanitis A second lesion probability, which is a probability for , may be calculated, and the second lesion probability may be summed up by various statistical methods to determine a finally-onset lesion.

[수학식 2][Equation 2]

c* = f{I ₁, I ₂,…, I _N } c * = f { I ₁ , I ₂ ,… , I _N }

결과적으로, 개체의 병변 여부가 결정되는 단계 (S230) 의 결과로, 개체가 95 %의 확률로 고막 천공을 갖는 것으로 결정될 수 있다. As a result, as a result of the step S230 in which it is determined whether the subject has a lesion, it may be determined that the subject has a perforation of the eardrum with a 95% probability.

한편, 본 발명의 특징에 따르면, 제2 평가 모델은 복수의 모델로 구성된 앙상블 모델일 수 있다. 이때, 복수의 모델은 전술한 제1 평가 모델을 포함할 수 있다. 예를 들어, 복수의 모델 중 가장 간단한 구조를 갖는 모델이 제1 평가 모델로 선택될 수 있다.Meanwhile, according to a feature of the present invention, the second evaluation model may be an ensemble model composed of a plurality of models. In this case, the plurality of models may include the above-described first evaluation model. For example, a model having the simplest structure among the plurality of models may be selected as the first evaluation model.

이에, 개체의 병변 여부가 결정되는 단계 (S230) 에서, 제2 평가 모델이 앙상블 모델일 경우, 복수의 모델 각각은, 관심 영역을 포함하는 프레임에 대한 병변 여부를 결정하고, 복수의 모델 각각에 대한 평가 결과를 합산하고, 합산된 평가 결과에 기초하여 개체의 귀에 대한 병변 여부를 결정할 수 있다.Accordingly, in the step (S230) of determining whether the object is a lesion, when the second evaluation model is an ensemble model, each of the plurality of models determines whether or not a lesion is present for a frame including the region of interest, and is applied to each of the plurality of models. The evaluation results may be summed, and based on the summed evaluation results, it is possible to determine whether the subject has a lesion on the ear.

예를 들어, 도 3c를 함께 참조하면, 제2 평가 모델 (330) 은 복수의 모델 (330a, 330b) 로 이루어질 수 있고, 제1 평가 모델 (320) 에 의해 관심 영역을 포함하는 것으로 판별된 프레임 영상 (314c, 314d, 314e) 이 복수의 모델 (330a, 330b) 각각에 입력될 수 있다. 그 다음, 복수의 모델 (330a, 330b) 각각은, 판별된 프레임 영상 (314c, 314d, 314e) 각각에 대하여 정상 고막 인지에 대한 확률, 또는 종양, 고막 천공, 상고 실내함 함몰, 고막염을 갖는 외이도염, 및 고막염이 없는 외이도염 중 적어도 하나의 병변에 대한 확률인 제2 병변 확률을 산출한다. 이때, 복수의 모델 (330a, 330b) 중 적어도 하나는, 제1 평가 모델 (320) 과 구조적 특징이 동일한 모델일 수도 있다. 그 다음, 복수의 모델 (330a, 330b) 에 의해 출력된 제2 병변 확률들이 다양한 통계적 방법에 의해 합산되어 최종적으로 발병된 병변이 결정될 수 있다. For example, referring together with FIG. 3C , the second evaluation model 330 may include a plurality of models 330a and 330b, and the frame determined by the first evaluation model 320 to include the region of interest. Images 314c, 314d, and 314e may be input to each of the plurality of models 330a and 330b. Then, each of the plurality of models (330a, 330b) is, for each of the determined frame images (314c, 314d, 314e), the probability of normal tympanic membrane recognition, or tumor, tympanic membrane perforation, upper chamber depression, otitis externa with tympanitis , and a second lesion probability, which is a probability for at least one lesion of otitis externa without tympanitis. In this case, at least one of the plurality of models 330a and 330b may be a model having the same structural characteristics as the first evaluation model 320 . Then, the second lesion probabilities output by the plurality of models 330a and 330b may be summed up by various statistical methods to determine a finally-onset lesion.

즉, 제2 평가 모델 (330) 은 복수의 모델들 (330a, 330b) 의 앙상블에 기초한 앙상블 분류뿐만 아니라 한 사람에게서 얻는 복수의 데이터의 판독한 결과를 앙상블 기법으로 종합하여 최종적으로 병변을 분류함에 따라, 진단 결과의 신뢰도가 높을 수 있다. That is, the second evaluation model 330 not only classifies the ensemble based on the ensemble of the plurality of models 330a and 330b, but also classifies the lesion by synthesizing the results of reading a plurality of data obtained from one person using the ensemble technique. Accordingly, the reliability of the diagnosis result may be high.

한편, 본 발명의 또 다른 특징에 따르면, 개체의 병변 여부가 결정되는 단계 (S230) 이후에, 제2 평가 모델에 의해, 제2 병변 확률이 미리 결정된 수준 이상인 복수의 병변이 결정된 경우, 동반 질환이 발병된 것으로 결정될 수 있다.Meanwhile, according to another feature of the present invention, when a plurality of lesions having a second lesion probability greater than or equal to a predetermined level are determined by the second evaluation model after the step (S230) of determining whether an individual has a lesion, a comorbid disease may be determined to have developed.

예를 들어, 제2 평가 모델에 의해 임계치 (70 %) 를 넘는 두 개의 질환이 결정된 경우 두 개의 질환은 동시에 발병된 것으로 결정될 수도 있다. For example, when two diseases exceeding the threshold (70%) are determined by the second evaluation model, the two diseases may be determined to have occurred at the same time.

마지막으로, 평가 결과가 제공되는 단계 (S240) 에서, 개체에 대한 귀의 질환의 발병 여부에 대한 평가 결과가 제공될 수 있다.Finally, in the step ( S240 ) in which the evaluation result is provided, the evaluation result as to whether or not the subject has an ear disease may be provided.

예를 들어, 도 3a를 다시 참조하면, 평가 결과가 제공되는 단계 (S240) 에서, 최종 평가 결과 (342) 가 제공될 수 있다. 이때, 최종 평가 결과 (342) 는 최종 결정된 병변에 대한 확률뿐만 아니라, 고막 영역 (3141a, 3141b, 3141c) 및 천공 영역 (3421) 의 병변 영역을 프레임 영상에 표시하여 제공할 수 있다.For example, referring back to FIG. 3A , in step S240 in which the evaluation result is provided, the final evaluation result 342 may be provided. In this case, the final evaluation result 342 may be provided by displaying the lesion region of the eardrum region 3141a , 3141b , 3141c and the perforation region 3421 on the frame image as well as the finally determined probability of the lesion.

이상의 다양한 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따라, 시각적으로 설명 가능한 귀의 병변 진단 시스템이 제공될 수 있다. 이에, 본 발명은, 상기 귀의 병변 진단 시스템을 제공함에 따라 부정확한 측정으로 인한 의료진의 귀의 병변의 진단에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.According to the method of providing information on ear lesions according to the above various embodiments, a visually explainable ear lesion diagnosis system may be provided. Accordingly, according to the present invention, by providing the system for diagnosing ear lesions, it is possible to prevent erroneous interpretation of the diagnosis of ear lesions by medical staff due to inaccurate measurement, and to improve the workflow of medical personnel in actual clinical practice.

한편, 귀의 병변 진단 시스템은 귀 내시경과 같은 영상 진단 장치로부터의 귀 내시경 동영상의 수신과 동시에 병변의 예측을 수행할 수 있다. 즉, 귀의 병변 진단 시스템은 스트리밍 서비스를 제공할 수 있고, 실시간으로 귀의 병변의 진단 정보를 제공할 수 있다.On the other hand, the ear lesion diagnosis system may perform the prediction of the lesion simultaneously with the reception of the ear endoscope video from the imaging device such as the ear endoscope. That is, the ear lesion diagnosis system may provide a streaming service and may provide diagnosis information of the ear lesion in real time.

또한, 귀의 병변 진단 시스템은 사용자의 음성을 인식하여, 진단 과정에서 특정 프레임을 캡쳐하고 저장하여, 귀의 병변의 진단에 대한 영상 정보를 제공할 수 있다.In addition, the ear lesion diagnosis system may recognize the user's voice, capture and store a specific frame during the diagnosis process, and provide image information for the diagnosis of the ear lesion.

나아가, 귀의 병변 진단 시스템은 판별 결과에 기초하여, 소리 변환 음파 형성을 통해 관심 영역의 여부에 따라 상이한 판별음을 생성하고, 판별음을 제공할 수도 있다.Furthermore, the system for diagnosing a lesion of the ear may generate a different discrimination sound according to the presence or absence of a region of interest through sound conversion sound wave formation based on the discrimination result, and provide the discrimination sound.

이하에서는, 도 4a 및 도 4b를 참조하여 본 발명의 다양한 실시예에 따른 제1 평가 모델 및 제2 평가 모델의 학습 데이터를 설명한다. Hereinafter, learning data of the first evaluation model and the second evaluation model according to various embodiments of the present invention will be described with reference to FIGS. 4A and 4B .

먼저, 도 4a의 (a), (b), (c) 및 (d)를 참조하면, 제1 평가 모델 및 제2 평가 모델의 학습에 적용되는, 정상 고막으로 라벨링된 다양한 학습용 귀 내부 영상이 도시된다. 이때, 정상 고막으로 라벨링된 학습용 귀 내부 영상은 병변과 상이한 귀지를 포함할 수도 있다. First, referring to (a), (b), (c) and (d) of FIG. 4A , various inner ear images for learning, labeled with a normal eardrum, applied to the learning of the first evaluation model and the second evaluation model are is shown In this case, the inner ear image for learning labeled with the normal eardrum may include earwax different from the lesion.

다음으로, 도 4b를 참조하면, 정상 고막을 포함하는 6 가지의 병변이 라벨링된 학습용 귀 내부 영상이 도시된다. 이때, 보다 구체적으로 라벨링된 학습용 귀 내부 영상은, 고막 천공 (Tympanic perforation) (도 4b의 (a)), 상고 실내함 함몰 (Attic retraction) (도 4b의 (b)), 고막염 (Myringitis) 또는 급성 중이염/외이도염 (Acute otitis media/externa) (도 4b의 (c)), 에퓨젼 (effusion) 을 갖는 외이도염 (Otitis externa) (도 4b의 (d)), 중이 또는 외이도 종양 또는 귀지색전 (cerumen impaction) (도 4b의 (e)), 및 정상 고막 (도 4b의 (f)) 을 포함한다.Next, referring to FIG. 4B , an inner ear image for learning in which six lesions including a normal eardrum are labeled are shown. At this time, the more specifically labeled inner ear image for learning, Tympanic perforation ((a) of FIG. 4b), Attic retraction ((b) of FIG. 4b), Myringitis or Acute otitis media/externa (Fig. 4b (c)), Otitis externa with effusion (Fig. 4b (d)), middle or external auditory meatus tumor or cerumen impaction) (Fig. 4b(e)), and normal tympanic membrane (Fig. 4b(f)).

제1 평가 모델 및 제2 평가 모델은, 라벨링된 학습용 귀 내부 영상을 입력으로 하여, 정상 고막인지에 대한 확률, 또는 고막 천공, 상고 실내함 함몰, 고막염을 갖는 외이도염, 및 고막염이 없는 외이도염 중 적어도 하나의 병변에 대한 확률을 출력하도록 학습될 수 있다.The first evaluation model and the second evaluation model receive the labeled learning inner ear image as an input, and the probability of whether the eardrum is normal, or at least one of tympanic membrane perforation, superior chamber depression, otitis externa with tympanitis, and otitis externa without tympanitis It can be learned to output a probability for one lesion.

한편, 제2 평가 모델은 복수의 모델로 이루어진 앙상블 모델일 수 있다. 이때, 복수의 모델은 전술한 제1 평가 모델을 포함할 수 있고, 복수의 모델 중 가장 간단한 구조를 갖는 모델이 제1 평가 모델로 선택될 수 있다.Meanwhile, the second evaluation model may be an ensemble model including a plurality of models. In this case, the plurality of models may include the above-described first evaluation model, and a model having the simplest structure among the plurality of models may be selected as the first evaluation model.

한편, 본 발명의 제2 평가 모델은, Inception-v3 및 Resnet-v2의 두 개의 모델로 이루어진 앙상블 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 제2 평가 모델은, CNN (Convolutional Neural Network) 기반의 VGG net, ResNet, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 두 개의 모델이 앙상블을 이루는 모델일 수도 있다. Meanwhile, the second evaluation model of the present invention may be an ensemble model composed of two models, Inception-v3 and Resnet-v2. However, the present invention is not limited thereto. For example, the second evaluation model of the present invention is a Convolutional Neural Network (CNN)-based VGG net, ResNet, DenseNet, and FCN (Fully Convolutional Network) having an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, U At least two models selected from a deep neural network (DNN) such as -net, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet50, Resnet101, and Inception-v3 may form an ensemble.

비교예: 본 발명의 제2 평가 모델 및 단독 모델의 성능 비교Comparative Example: Comparison of the performance of the second evaluation model and the independent model of the present invention

이하에서는 도 5a 내지 5c를 참조하여 본 발명의 다양한 실시예에 적용되고 복수의 모델로 이루어진 제2 평가 모델과 단독 모델 Inception-v3 및 Resnet-v2에 대한 성능 평가 결과를 비교하여 설명한다.Hereinafter, the performance evaluation results for the second evaluation model applied to various embodiments of the present invention and composed of a plurality of models and the independent models Inception-v3 and Resnet-v2 will be compared and described with reference to FIGS. 5A to 5C .

이때, 제2 평가 모델은, Inception-v3 및 Resnet-v2의 두 개의 모델로 이루어진 앙상블 모델이 이용되었다. 그러나, 이에 제한되는 것은 아니다.In this case, as the second evaluation model, an ensemble model consisting of two models, Inception-v3 and Resnet-v2, was used. However, the present invention is not limited thereto.

도 5a 내지 5c는 본 발명의 일 실시예에 따른 귀의 병변에 대한 정보 제공 방법에 따른, 평가 결과를 도시한 것이다.5A to 5C illustrate evaluation results according to a method for providing information on an ear lesion according to an embodiment of the present invention.

도 5a의 (a)를 참조하면, 고막염 (Myringitis) 으로 라벨링된 영상에 대하여 Resnet-v2의 단독 모델은, '종양'으로 분류한 것으로 나타난다. 그러나, 본 발명의 다양한 실시예에 적용되는 제2 평가 모델은 '고막염'으로 정확하게 분류한 것으로 나타난다.Referring to (a) of FIG. 5A , the single model of Resnet-v2 for the image labeled Myringitis is classified as a 'tumor'. However, it appears that the second evaluation model applied to various embodiments of the present invention is correctly classified as 'tympanitis'.

도 5a의 (b)를 참조하면, 종양으로 라벨링된 영상에 대하여 Resnet-v2의 단독 모델은, '고막염'으로 분류한 것으로 나타난다. 그러나, 본 발명의 다양한 실시예에 적용되는 제2 평가 모델은 '종양'으로 정확하게 분류한 것으로 나타난다.Referring to (b) of FIG. 5A , the single model of Resnet-v2 for the tumor-labeled image is classified as 'tympanitis'. However, it appears that the second evaluation model applied to various embodiments of the present invention is correctly classified as a 'tumor'.

도 5a의 (c)를 참조하면, 종양으로 라벨링된 영상에 대하여 본 발명의 다양한 실시예에 적용되는 제2 평가 모델은 '종양'으로 정확하게 분류한 것으로 나타난다.Referring to (c) of FIG. 5A , the second evaluation model applied to various embodiments of the present invention for an image labeled as a tumor is correctly classified as a 'tumor'.

도 5a의 (d)를 참조하면, ARADOM (attic retraction or adhesive otitis media) 즉, 상고 실내함 함몰 또는 유착성 중이염으로 라벨링된 영상에 대하여 Inception-v3의 단독 모델은, '정상 고막'으로 분류한 것으로 나타난다. 그러나, 본 발명의 다양한 실시예에 적용되는 제2 평가 모델은 'ARADOM'으로 정확하게 분류한 것으로 나타난다.Referring to (d) of FIG. 5A , the independent model of Inception-v3 for an image labeled with ARADOM (attic retraction or adhesive otitis media), that is, upper and lower chamber depression or adhesive otitis media, was classified as a 'normal tympanic membrane'. appears to be However, it appears that the second evaluation model applied to various embodiments of the present invention is correctly classified as 'ARADOM'.

도 5b를 함께 참조하면, 분류의 정확도는 본 발명의 다양한 실시예에 적용되는 제2 평가 모델인 앙상블 (ensemble) 모델이 다른 단독 모델 Inception-v3 및 Resnet-v2보다 높은 것으로 나타난다.Referring to FIG. 5B together, it appears that the ensemble model, which is the second evaluation model applied to various embodiments of the present invention, has higher classification accuracy than other independent models Inception-v3 and Resnet-v2.

이러한 결과는, 제2 평가 모델이, 단독 모델보다 진단 성능이 높음을 의미할 수 있다. These results may mean that the second evaluation model has higher diagnostic performance than the single model.

더욱이, 도 5c의 (a), (b) 및 (c)각각을 참조하면, Inception-v3, Resnet-v2 및 본 발명의 다양한 실시예에 적용되는 제2 평가 모델인 앙상블 모델에 대한 병변 클래스 분류 결과가 도시된다. 이때, x축은 정답 라벨의 클래스이고, y축은 각각의 모델에 의해 분류된 클래스이다.Furthermore, referring to (a), (b) and (c) of FIG. 5C, respectively, lesion class classification for Inception-v3, Resnet-v2, and the ensemble model, which is a second evaluation model applied to various embodiments of the present invention Results are shown. At this time, the x-axis is the class of the correct answer label, and the y-axis is the class classified by each model.

결과에 따르면, 본 발명의 다양한 실시예에 적용되는 제2 평가 모델에 대한 진단 및 분류의 정확도는 평균 93·73%로 다른 단독 모델보다 유의한 수준으로 높은 것으로 나타난다.According to the results, the accuracy of diagnosis and classification for the second evaluation model applied to various embodiments of the present invention is an average of 93·73%, which is significantly higher than that of other independent models.

즉, 이러한 결과는, 제1 평가 모델 및 앙상블 모델인 제2 평가 모델에 기초한 본 발명의 다양한 실시예에 따른 귀의 병변 진단 시스템이, 정확한 귀의 병변에 대한 평가 결과를 제공할 수 있음을 의미할 수 있다.That is, these results mean that the ear lesion diagnosis system according to various embodiments of the present invention based on the first evaluation model and the second evaluation model that is the ensemble model can provide an accurate evaluation result for the ear lesion. have.

특히, 본 발명은, 제안된 귀의 병변 진단 시스템은, 병변의 진단에 있어서 입력되는 영상의 퀄리티에 따른 필터링을 진행하지 않아 성능 향상의 한계를 갖는 종래의 진단 시스템보다 진단 성능이 우수하여 상고 실내함 함몰과 같은 귀 병변의 분류가 가능할 수 있다.In particular, in the present invention, the proposed ear lesion diagnosis system has superior diagnosis performance than the conventional diagnosis system, which has a limitation in performance improvement because filtering according to the quality of the input image is not performed in diagnosing the lesion. Classification of ear lesions such as depressions may be possible.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made within the scope without departing from the technical spirit of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 귀의 병변에 대한 정보 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 귀 내시경 영상 촬영용 디바이스
312: 귀 내시경 영상
314: 복수의 프레임 영상
314c, 314d, 314e: 판별된 프레임 영상
3141a, 3141b, 3141c: 고막 영역
320: 제1 평가 모델
330: 제2 평가 모델
330a, 330b: 복수의 모델
342: 최종 평가 결과
3421: 천공 영역100: Device for providing information about ear lesions
110, 230: storage unit
120, 210: communication unit
130, 240: processor
200: medical staff device
220: display unit
300: device for endoscopic imaging of the ear
312: ear endoscopy image
314: multiple frame image
314c, 314d, 314e: determined frame image
3141a, 3141b, 3141c: eardrum region
320: first evaluation model
330: second evaluation model
330a, 330b: multiple models
342: final evaluation result
3421: perforated area

Claims

It relates to a method of providing information on an ear lesion implemented by a processor,
receiving an in-ear video of the object;
determining whether the ROI is included in each frame of the in-ear video by using a first evaluation model configured to output whether the region of interest is included in the in-ear video frame;
determining a frame including the region of interest; and
Determining whether the object has a lesion on the ear based on the frame including the region of interest using a second evaluation model configured to output an ear lesion by receiving a frame of an in-ear video as an input,
The method for providing information on an ear lesion, wherein the region of interest is an eardrum region or an external auditory meatus region.

According to claim 1,
The step of determining whether the region of interest is included,
calculating a first lesion probability for each frame of the inside of the ear video using the first evaluation model, and
A method of providing information on an ear lesion, comprising the step of determining whether the region of interest is included based on a predetermined level and the calculated probability of the first lesion.

3. The method of claim 2,
The step of determining whether the subject's ear lesion is,
calculating a second lesion probability for a frame including the ROI by using the second evaluation model; and
The method of providing information on an ear lesion further comprising the step of determining whether the subject has a lesion on the ear based on the second lesion probability.

4. The method of claim 3,
The first lesion probability or the second lesion probability is,
With respect to the frame of the video inside the ear, normal eardrum, tumor, tympanic perforation, attic retraction, otitis externa with myringitis, and otitis externa without tympanitis A method of providing information about an ear lesion, comprising a probability for at least one of.

4. The method of claim 3,
The lesion is a plurality of lesions different from each other,
After the step of determining whether the subject's ear lesion,
When a plurality of lesions having the second lesion probability equal to or greater than a predetermined level are determined by the second evaluation model, determining that a comorbid disease has occurred.

According to claim 1,
The second evaluation model is composed of a plurality of models,
The step of determining whether the subject's ear lesion is,
determining whether a lesion exists in a frame including the ROI by using each of the plurality of models;
summing the evaluation results for each of the plurality of models, and
A method of providing information on an ear lesion, comprising determining whether the subject has a lesion on the ear based on the summed evaluation result.

7. The method of claim 6,
The plurality of models include at least one of the first evaluation models,
The first evaluation model is,
A method of providing information on an ear lesion, which is a model with the smallest number of layers constituting the model among the plurality of models.

According to claim 1,
After determining whether the region of interest is
generating different discrimination sounds according to the presence of the region of interest based on the discrimination result; and
Further comprising the step of providing the discriminant sound, the method of providing information about the lesion of the ear.

According to claim 1,
After determining whether the region of interest is included,
extracting an entropy characteristic for the frame;
determining a frame in which the level of the entropy characteristic is less than or equal to a predetermined level; and
The method of providing information on an ear lesion further comprising the step of storing or providing a frame that is less than or equal to the predetermined level.

According to claim 1,
While determining whether the region of interest is included, the method further comprising the step of displaying and providing the region of interest for the evaluation model in the frame.

According to claim 1,
After receiving the video inside the ear,
Further comprising the step of correcting the illuminance for each frame of the video inside the ear, the information providing method for the ear lesion.

delete

a receiver configured to receive an in-ear video of the object;
and a processor connected to the receiver,
The processor is
Using the first evaluation model configured to output whether the region of interest in the ear is included by inputting the frame of the in-ear video as an input, it is determined whether the region of interest is included in each frame of the in-ear video, and the region of interest is included Determine whether the object has a lesion on the ear based on the frame including the region of interest by using a second evaluation model configured to determine a frame that includes the ROI and the region of interest is an eardrum region or an external auditory meatus region, a device for providing information about an ear lesion.

14. The method of claim 13,
The processor is
Further to calculate a first lesion probability for each frame of the video inside the ear using the first evaluation model, and to determine whether the region of interest is included based on a predetermined level and the calculated first lesion probability Constructed, device for providing information on lesions of the ear.

15. The method of claim 14,
The processor is
Using the second evaluation model, calculating a second lesion probability for a frame including the region of interest, and determining whether the subject has a lesion on the ear based on the second lesion probability. Device for providing information about.

16. The method of claim 15,
The first lesion probability or the second lesion probability is,
With respect to the frame of the video inside the ear, normal eardrum, tumor, tympanic perforation, attic retraction, otitis externa with myringitis, and otitis externa without tympanitis A device for providing information about an ear lesion, including a probability for at least one of.

16. The method of claim 15,
The lesion is a plurality of lesions different from each other,
The processor is
The device for providing information on an ear lesion, further configured to determine that a comorbid disease has occurred when a plurality of lesions having the second lesion probability equal to or greater than a predetermined level are determined by the second evaluation model.

14. The method of claim 13,
The second evaluation model is composed of a plurality of models,
The processor is
Using each of the plurality of models, it is determined whether there is a lesion for the frame including the region of interest, summing the evaluation results for each of the plurality of models, and based on the summed evaluation result, whether the subject has a lesion on the ear A device for providing information about an ear lesion, configured to determine.

19. The method of claim 18,
The plurality of models include at least one of the first evaluation models,
The first evaluation model is,
A device for providing information on an ear lesion, which is a model having the smallest number of layers constituting the model among the plurality of models.

14. The method of claim 13,
Further comprising a display unit,
The processor is
Further configured to generate a different discrimination sound according to the presence of the region of interest based on the discrimination result,
the display unit
A device for providing information about a lesion, configured to output the discrimination sound.

14. The method of claim 13,
further comprising a storage unit,
The processor is
extract an entropy characteristic for the frame, and determine a frame in which a level of the entropy characteristic is less than or equal to a predetermined level;
The storage unit,
A device for providing information about an ear lesion, configured to store a frame that is below the predetermined level.

14. The method of claim 13,
The processor is
The device for providing information on an ear lesion, further configured to display and provide a region of interest for the evaluation model in the frame while determining whether the region of interest is included.

14. The method of claim 13,
The processor is
A device for providing information on a lesion in the ear, further configured to correct the illuminance for each frame of the video inside the ear.

delete