KR102314270B1 - 초음파 기관지 내시경 분석 방법 및 장치 - Google Patents

초음파 기관지 내시경 분석 방법 및 장치 Download PDF

Info

Publication number
KR102314270B1
KR102314270B1 KR1020210058337A KR20210058337A KR102314270B1 KR 102314270 B1 KR102314270 B1 KR 102314270B1 KR 1020210058337 A KR1020210058337 A KR 1020210058337A KR 20210058337 A KR20210058337 A KR 20210058337A KR 102314270 B1 KR102314270 B1 KR 102314270B1
Authority
KR
South Korea
Prior art keywords
image
ultrasound
lymph node
endoscopic
bronchoscopy
Prior art date
Application number
KR1020210058337A
Other languages
English (en)
Inventor
김경남
금지수
오상일
김은영
장윤수
용승현
Original Assignee
주식회사 웨이센
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센, 연세대학교 산학협력단 filed Critical 주식회사 웨이센
Application granted granted Critical
Publication of KR102314270B1 publication Critical patent/KR102314270B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Otolaryngology (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 초음파 기관지 내시경 분석 방법 및 장치에 관한 것으로, 초음파가 결합된 내시경 프로브를 기관지에 삽입하여 검사하고, 채취 바늘을 이용하여 상기 기관지의 조직을 채취하는 초음파 기관지 내시경 검사 장치로부터 복수의 영상 프레임을 포함하는 검사 영상을 수신하는 단계, 복수의 영상 프레임 각각에 대해 검사 영상을 내시경 영상 및 초음파 영상으로 분리하는 단계, 미리 학습된 제1 신경망 모델을 이용하여 내시경 영상으로부터 림프절의 위치를 판단하는 단계, 미리 학습된 제2 신경망 모델을 이용하여 초음파 영상으로부터 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 판단하는 단계, 및 판단 결과를 화면 상에 표시하고, 기록하는 단계를 포함한다.

Description

초음파 기관지 내시경 분석 방법 및 장치{ULTRASONIC BRONCHOSCOPY ANALYSIS METHOD AND APPARATUS}
본 발명은 초음파 기관지 내시경 분석 방법 및 장치에 관한 것으로, 보다 상세하게는 신경망 모델을 이용하여 초음파 영상에 대한 림프절의 전이 여부를 분석할 수 있는 초음파 기관지 내시경 분석 방법 및 장치에 관한 것이다.
종격동 병변을 보이는 질환으로는 생식세포 종양, 신경성 종양, 흉선 종양 등 종격동 원발 종양 및 종격동 림프절 질환이 있으며 이 중 종격동 림프절 질환의 경우 반응성 림프절 종대, 결핵성 림프절염, 사르코이드증과 같은 양성 질환이 있고, 폐암과 같은 악성 종양의 전이가 있으며, 그리고 림프종과 같은 림프절 원발인 악성 질환이 있다.
종격동 림프절은 염증, 감염, 악성 전이 등의 다양한 이유로 커질 수 있으므로 조직검사를 통한 병리학적 확인이 요구되며, 특히 악성 종양의 진단과 치료를 결정하기 위한 병기 설정에 있어 종격동 림프절 조직검사가 매우 중요하다. 기존 종격동 림프절 질환 진단의 표준 검사법은 수술적 종격동경을 통한 림프절 생검이었으나 2002년 새로운 종격동 림프절 조직검사 방법으로 초음파 기관지경(endobronchial ultrasonography) 및 초음파 기관지경 세침 흡인술(endobronchial ultrasonography guided transbronchial needle aspiration; 이하, EBUS-TBNA)이 개발되어 현재 1차 진단 기법으로 권고되고 있다. 즉, EBUS-TBNA는 원인을 모르는 림프절 종대의 진단과 전이성 악성 종양의 병기 결정에 유용한 최소 침습적인 종격동 림프절 조직 검사 방법이다.
EBUS-TBNA를 이용한 종격동 검사는 종격동 구조물을 내시경 영상 및 초음파 영상으로 직접 관찰하면서 세침 흡인 검사를 진행하는 방식이다. 검사 과정 중 검사자는 내시경 영상을 바탕으로 림프절의 위치를 판단하고, 초음파 영상을 바탕으로 검사하는 림프절의 위치가 좌측 또는 우측에 해당하는지 여부 및 림프절의 전이 의심 여부를 판단한다. 검사자는 림프절의 전이가 의심되면 세침 흡인 검사를 진행한다.
그런데, 검사자의 숙련도에 따라 림프절의 중심 포인트 지정에 편차가 발생하고, 림프절의 위치 및 좌우 방향을 수작업으로 입력하기 때문에 검사 시간이 증가하고, 입력 과정에서 실수가 발생할 수 있다. 또한, 초음파 영상만으로 전이 여부 판단이 어렵기 때문에 불필요한 세침 흡인 검사가 많이 진행되고 있다. 세침 흡인 검사에 사용되는 바늘은 단가가 높아 불필요한 세침 흡인 검사로 인해 의료비 부담이 상승할 수 있다.
본 발명의 일 실시예는 신경망 모델을 이용하여 초음파 영상에 대한 림프절의 전이 여부를 분석할 수 있는 초음파 기관지 내시경 분석 방법 및 장치를 제공하고자 한다.
실시예들 중에서, 초음파 기관지 내시경 분석 방법은 초음파가 결합된 내시경 프로브를 기관지에 삽입하여 검사하고, 채취 바늘을 이용하여 상기 기관지의 조직을 채취하는 초음파 기관지 내시경 검사 장치로부터 복수의 영상 프레임을 포함하는 검사 영상을 수신하는 단계; 상기 복수의 영상 프레임 각각에 대해 상기 검사 영상을 내시경 영상 및 초음파 영상으로 분리하는 단계; 미리 학습된 제1 신경망 모델을 이용하여 상기 내시경 영상으로부터 림프절의 위치를 판단하는 단계; 미리 학습된 제2 신경망 모델을 이용하여 상기 초음파 영상으로부터 상기 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 판단하는 단계; 및 상기 판단 결과를 화면 상에 표시하고, 기록하는 단계를 포함한다.
여기에서, 상기 제1 신경망 모델은 상기 복수의 영상 프레임 각각에 대해 상기 내시경 영상을 상기 림프절의 지시가 가능한 영상과 상기 림프절의 지시가 불가능한 영상으로 분류하는 제1 내시경 영상 분류 모델; 및 상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 활성화된 활성화 맵을 생성하는 제2 내시경 영상 분류 모델을 포함한다.
여기에서, 상기 제1 내시경 영상 분류 모델은 상기 내시경 영상이 상기 내시경 프로브가 이동하는 영상, 상기 조직의 채취 영상 및 출혈이 발생한 영상 중 적어도 어느 하나에 해당하면 상기 림프절의 지시가 불가능한 영상으로 분류한다.
여기에서, 상기 제1 신경망 모델은 상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 분할된 영상을 생성하는 영상 분할 모델을 포함한다.
여기에서, 상기 제2 신경망 모델은 상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상을 상기 림프절에 대한 분석이 가능한 영상과 상기 림프절에 대한 분석이 불가능한 영상으로 분류하는 제1 초음파 영상 분류 모델; 상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상으로부터 상기 림프절의 전이 여부를 양성 및 악성으로 분류하는 제2 초음파 영상 분류 모델; 상기 복수의 영상 프레임 각각에 대해 림프절 및 혈관에 대응하는 랜드마크를 기초로 상기 초음파 영상으로부터 상기 림프절의 번호 및 좌우 방향을 판단하는 제3 초음파 영상 분류 모델; 및 상기 복수의 영상 프레임 각각에 대해 상기 채취 바늘의 존재 여부를 기초로 상기 초음파 영상으로부터 상기 조직 채취 여부를 판단하는 제4 초음파 영상 분류 모델을 포함한다.
여기에서, 상기 제1 초음파 영상 분류 모델은 상기 초음파 영상이 상기 내시경 프로브가 이동하는 영상 및 상기 초음파의 검사를 준비하는 영상 중 적어도 어느 하나에 해당하면 상기 림프절에 대한 분석이 불가능한 영상으로 분류한다.
여기에서, 상기 판단 결과를 화면 상에 표시하는 단계는 상기 복수의 영상 프레임 중 상기 림프절의 위치를 지시할 수 있는 영상 프레임의 내시경 영상 상에 상기 림프절의 위치를 지시한다.
여기에서, 상기 림프절의 위치를 지시하는 단계는 상기 내시경 영상에 상기 림프절의 위치가 활성화된 활성화 맵을 중첩 표시하거나, 상기 림프절이 위치한 영역이 분할된 영상을 중첩 표시한다.
여기에서, 상기 판단 결과를 화면 상에 표시하는 단계는 미리 제공된 기관지 이미지 상에 상기 복수의 영상 프레임 중 상기 림프절을 분석할 수 있는 영상 프레임의 초음파 영상에 해당하는 상기 림프절의 번호 및 좌우 방향을 판단한 결과를 표시하는 단계; 상기 기관지 이미지 상에 상기 림프절의 전이 여부를 판단한 결과에 따라 악성으로 판단된 림프절을 표시하는 단계; 및 상기 기관지 이미지 상에 상기 조직 채취 여부를 판단한 결과에 따라 상기 조직이 채취된 림프절을 표시하는 단계를 포함한다.
실시예들 중에서, 초음파 기관지 내시경 분석 장치는 초음파가 결합된 내시경 프로브를 기관지에 삽입하여 검사하고, 채취 바늘을 이용하여 상기 기관지의 조직을 채취하는 초음파 기관지 내시경 검사 장치로부터 복수의 영상 프레임을 포함하는 검사 영상을 수신하여 내시경 영상과 초음파 영상으로 분리하는 영상 처리부; 미리 학습된 제1 신경망 모델을 이용하여 상기 내시경 영상으로부터 림프절의 위치를 판단하는 내시경 분석부; 미리 학습된 제2 신경망 모델을 이용하여 상기 초음파 영상으로부터 상기 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 판단하는 초음파 분석부; 및 상기 판단 결과를 화면 상에 표시하는 표시부를 포함한다.
여기에서, 상기 내시경 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 활성화된 활성화 맵을 생성한다.
여기에서, 상기 내시경 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 분할된 영상을 생성한다.
여기에서, 상기 초음파 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상을 상기 림프절에 대한 분석이 가능한 영상과 상기 림프절에 대한 분석이 불가능한 영상으로 분류한다.
여기에서, 상기 초음파 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 림프절 및 혈관에 대응하는 랜드마크를 기초로 상기 초음파 영상으로부터 상기 림프절의 번호 및 좌우 방향을 판단한다.
여기에서, 상기 초음파 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상으로부터 상기 림프절의 전이 여부를 양성 및 악성으로 판단한다.
여기에서, 상기 초음파 분석부는 상기 복수의 영상 프레임 각각에 대해 상기 채취 바늘의 존재 여부를 기초로 상기 초음파 영상으로부터 상기 조직 채취 여부를 판단한다.
여기에서, 상기 표시부는 상기 복수의 영상 프레임 중 상기 림프절의 위치를 지시할 수 있는 영상 프레임의 내시경 영상 상에 상기 림프절의 위치가 활성화된 활성화 맵을 중첩 표시하거나, 상기 림프절이 위치한 영역이 분할된 영상을 중첩 표시한다.
여기에서, 상기 표시부는 미리 제공된 기관지 이미지 상에 상기 복수의 영상 프레임 중 상기 림프절을 분석할 수 있는 영상 프레임의 초음파 영상에 해당하는 상기 림프절의 번호와 좌우 방향, 악성으로 판단된 림프절 및 상기 조직이 채취된 림프절 중 적어도 어느 하나를 표시한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 방법 및 장치는 신경망 모델을 이용하여 초음파 영상에 대한 림프절의 전이 여부를 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 시스템을 설명하기 위해 도시한 도면이다.
도 2는 도 1에 도시된 초음파 기관지 내시경 검사 장치를 이용하여 관찰하는 림프절을 설명하기 위해 도시한 도면이다.
도 3은 초음파 기관지 내시경 검사 장치로부터 출력되는 검사 영상을 설명하기 위해 도시한 도면이다.
도 4는 도 1에 도시된 초음파 기관지 내시경 분석 장치를 설명하기 위해 도시한 도면이다.
도 5 내지 도 14는 신경망 모델을 설명하기 위해 도시한 도면이다.
도 15는 도 4에 도시된 초음파 기관지 내시경 분석 장치에서 수행되는 분석 방법을 설명하기 위해 도시한 도면이다.
도 16 및 도 17은 림프절의 위치 지시를 설명하기 위해 도시한 도면이다.
도 18은 림프절의 번호 및 좌우 방향에 대한 판단 결과를 설명하기 위해 도시한 도면이다.
도 19는 기관지 이미지 상에 표시되는 판단 결과를 설명하기 위해 도시한 도면이다.
도 20 및 도 21은 본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 장치의 성능을 설명하기 위해 도시한 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 시스템을 설명하기 위해 도시한 도면이고, 도 2는 도 1에 도시된 초음파 기관지 내시경 검사 장치를 이용하여 관찰하는 림프절을 설명하기 위해 도시한 도면이며, 도 3은 초음파 기관지 내시경 검사 장치로부터 출력되는 검사 영상을 설명하기 위해 도시한 도면이다.
도 1을 참조하면, 초음파 기관지 내시경 분석 시스템(1)은 초음파 기관지 내시경 검사 장치(100) 및 초음파 기관지 내시경 분석 장치(200)를 포함할 수 있다. 본 발명의 일 실시예에 따른 초음파 기관지 내시경 검사 장치(100)는 EBUS-TBNA 검사에 적용되는 장치로서, 초음파가 결합된 기관지 내시경 프로브(probe)를 기관지에 삽입하여 내시경 검사 및 초음파 검사를 동시에 수행할 수 있고, 내시경 및 초음파 영상을 관찰하면서 채취 바늘을 이용하여 기관지의 조직을 채취할 수 있다. 초음파 기관지 내시경 장치(100)는 기관지 내부로 내시경 프로브를 이동시키면서 기관지의 내벽과 주위 조직을 내시경 및 초음파로 관찰할 수 있다.
일반적으로 좌우측 폐 사이의 종격동(mediastinum)에 대해 내시경 프로브로 접근하여 관찰하는 림프절(lymph node)은 도 2에 도시된 바와 같이, 2R, 2L, 4R, 4L, 7, 10R, 10L, 11Rs, 11Ri, 11L과 같이 번호 및 좌우 방향으로 구분될 수 있다. 여기에서, 2R은 오른쪽 상부 기관지(right upper paratracheal) 림프절, 2L은 왼쪽 상부 기관지(left upper paratracheal) 림프절, 4R은 오른쪽 하부 기관지(right lower paratracheal) 림프절, 4L은 왼쪽 하부 기관지(left lower paratracheal) 림프절에 해당한다.
7은 기관지 분기점 하측(subcarinal) 림프절, 10R은 오른쪽 폐문(right hilar) 림프절, 10L은 왼쪽 폐문(left hilar) 림프절에 해당한다. 11은 엽기관지 사이(inter-lobar)의 림프절로서, 11R은 오른쪽에 위치하는 림프절이고, 11L은 왼쪽에 위치하는 림프절이다. 여기에서, 11R는 우상엽(right upper lobe) 기관지 와 중간(intermedius) 기관지 사이의 림프절을 나타내는 11Rs와 우중엽(right middle lobe) 및 하엽(lower lobe) 기관지 사이의 림프절을 나타내는 11Ri로 세분화된다. 여기에서, 도 2에 도시된 AO는 대동맥(Aortic Arch)이고, PA는 폐동맥(Pulmonary Artery)을 나타낸다. SVC는 상대정맥(Superior Vena Cava)이며, AV는 기정맥(Azygous Vein)을 나타낸다. RIV는 오른쪽 무명 정맥(Right Innominate Vein)을 나타낸다.
내시경 프로브는 11Ri, 11Rs, 10R, 4R, 7, 4L, 10L, 11L의 순서로 이동하면서 림프절을 관찰할 수 있다. 그리고, 2R, 2L은 전이가 의심되어 검사가 필요할 경우 관찰할 수 있다.
초음파 기관지 내시경 검사 장치(100)는 렌즈와 같은 광학 소자 및 촬상 소자를 이용하여 내시경 검사를 수행하고, 초음파 진동자를 이용하여 초음파 검사를 수행할 수 있다. 초음파 기관지 내시경 검사 장치(100)는 도 3과 같이, 하나의 영상 프레임에 내시경 영상과 초음파 영상이 동시에 나타나는 검사 영상을 출력할 수 있다. 여기에서, (a)에 도시된 바와 같이, 검사자가 내시경 영상을 관찰하면서 내시경 프로브를 이동시키는 경우 초음파 영상은 도플러 효과(doppler effect) 영상과 같은 노이즈 영상이 나타나는 것을 볼 수 있다.
그리고, (b)에 도시된 바와 같이, 내시경 프로브를 기관지 벽에 대고 초음파 영상을 관찰하면서 림프절 검사를 수행할 경우 내시경 영상은 기관지 벽이 확대되어 살색과 같은 영상으로 나타나거나, 조직 채취에 따른 출혈 영상 또는 채취 바늘이 보이는 영상으로 나타날 수 있다.
초음파 기관지 내시경 분석 장치(200)는 초음파 기관지 내시경 검사 장치(100)에서 출력하는 검사 영상을 실시간으로 입력 받아 분석하고, 분석된 결과를 화면에 표시 및 기록할 수 있다. 여기에서, 검사 영상은 복수의 영상 프레임으로 입력될 수 있다.
초음파 기관지 내시경 분석 장치(200)는 초음파 기관지 검사 장치(100)에서 검사자에 의해 검사 영상이 저장되는 이벤트가 발생했는지 여부를 감지하여 해당 검사 영상을 저장할 수 있다. 예를 들어, 초음파 기관지 내시경 분석 장치(200)는 검사 영상의 일시 멈춤 등을 감지하여 이벤트 발생 여부를 감지할 수 있다. 또한, 초음파 기관지 내시경 분석 장치(200)는 초음파 기관지 검사 장치(100)에서 검사 종료 여부를 감지하여 분석을 종료할 수 있다.
초음파 기관지 내시경 분석 장치(200)는 검사 영상을 분석하기 위한 소프트웨어를 구동할 수 있고, 분석 결과를 표시 및 저장할 수 있는 컴퓨팅 장치, 예를 들어 PC, 노트북, 태블릿 등의 다양한 전자 기기를 포함할 수 있다.
초음파 기관지 내시경 분석 장치(200)는 복수의 영상 프레임 각각에 대해 검사 영상을 내시경 영상 및 초음파 영상으로 분리하고, 미리 학습된 신경망 모델을 이용하여 내시경 영상 및 초음파 영상 각각을 분석할 수 있다.
여기에서, 초음파 기관지 내시경 분석 장치(200)는 내시경 영상을 기초로 림프절의 위치를 예측하도록 제1 신경망 모델을 학습시키고, 초음파 영상을 기초로 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 예측하도록 제2 신경망 모델을 학습시킬 수 있다. 예를 들어, 초음파 기관지 내시경 분석 장치(200)는 합성 곱 신경망(CNN; Convolutional Neural Networks)을 기반으로 제1 및 제2 신경망 모델에 대한 학습을 수행할 수 있다.
초음파 기관지 내시경 분석 장치(200)는 제1 및 제2 신경망 모델을 이용하여 분석된 결과 중 유효한 결과를 화면에 표시 및 기록할 수 있다. 또한, 초음파 기관지 내시경 분석 장치(200)는 영상 프레임에 대한 사용자 이벤트 신호를 기초로 유효한 결과를 표시 및 기록할 수 있다.
도 4는 도 1에 도시된 초음파 기관지 내시경 분석 장치를 설명하기 위해 도시한 도면이고, 도 5 내지 도 14는 신경망 모델을 설명하기 위해 도시한 도면이다.
도 4를 참조하면, 영상 분석 모델링부(210), 영상 처리부(220), 내시경 분석부(230), 초음파 분석부(240), 표시부(250), 저장부(260), 통신부(270) 및 제어부(280)를 포함할 수 있다. 영상 분석 모델링부(210)는 내시경 영상 및 초음파 영상에 대해 학습된 제1 및 제2 신경망 모델을 구성한다. 영상 분석 모델링부(210)는 도 5에 도시된 바와 같이, 내시경 영상에 대해 제1 신경망 모델(212)을 구성하고, 초음파 영상에 대해 제2 신경망 모델(214)을 구성할 수 있다.
여기에서, 제1 신경망 모델(212)은 제1 및 제2 내시경 영상 분류 모델을 포함할 수 있다. 제1 내시경 영상 분류 모델은 내시경 영상을 기초로 림프절의 지시 가능 여부를 판단하도록 학습된 모델로서, 도 6에 도시된 바와 같이, 복수의 영상 프레임 각각에 대해 내시경 영상을 림프절의 지시가 가능한 영상과 림프절의 지시가 불가능한 영상으로 분류할 수 있다. 여기에서, 제1 내시경 영상 분류 모델은 내시경 영상이 지시 불가 영상, 예를 들어 도 7에 도시된 바와 같이, 내시경 프로브가 이동하는 영상(a, b), 조직 채취 영상(c) 및 출혈이 발생한 영상(d) 중 적어도 어느 하나에 해당하면 림프절의 지시가 불가능한 영상으로 분류하고, 그 외의 영상(e, f)은 림프절의 지시가 가능한 영상으로 분류할 수 있다.
제2 내시경 영상 분류 모델은 림프절의 지시가 가능한 영상으로 분류된 내시경 영상을 기초로 림프절의 위치를 판단하도록 학습된 모델이다. 본 발명의 일 실시예에 따른 제2 내시경 영상 분류 모델은 도 8에 도시된 바와 같이, 내시경 영상으로부터 림프절의 위치를 판단하고, 림프절의 위치가 활성화된 부류 활성화 맵(class activation map)을 생성하도록 학습될 수 있다. 부류 활성화 맵은 부류 단위로 객체가 존재하는 위치에 대한 시각적 정보를 제공하는 것으로서, 붉은색에 가까울수록 객체가 존재하는 위치를 나타낸다. 본 발명의 일 실시예에 따른 제2 내시경 영상 분류 모델은 림프절의 위치를 부류로 분류하여 부류 활성화 맵을 생성할 수 있다.
본 발명의 일 실시예는 이에 한정되지 않고, 제2 내시경 영상 분류 모델 대신 영상 분할 모델을 이용하여 림프절의 위치를 판단할 수 있다. 영상 분할 모델은 도 9에 도시된 바와 같이, 내시경 영상으로부터 림프절의 위치를 판단하고, 림프절이 위치한 영역이 분할된 영상을 생성하도록 학습된 모델일 수 있다.
제2 신경망 모델(214)은 제1 내지 제4 초음파 영상 분류 모델을 포함할 수 있다. 제1 초음파 영상 분류 모델은 초음파 영상을 기초로 림프절의 분석 가능 여부를 판단하도록 학습된 모델로서, 도 10에 도시된 바와 같이, 복수의 영상 프레임 각각에 대해 초음파 영상을 림프절에 대한 분석이 가능한 영상과 림프절에 대한 분석이 불가능한 영상으로 분류할 수 있다.
여기에서, 제1 초음파 영상 분류 모델은 분석 불가 영상, 예를 들어 도 11에 도시된 바와 같이, 초음파 영상이 내시경 프로브가 이동하는 영상(a) 및 초음파 검사를 준비하는 영상(b) 중 적어도 어느 하나에 해당하면 림프절의 분석이 불가능한 영상으로 분류하고, 그 외의 영상은 림프절의 분석이 가능한 영상으로 분류할 수 있다. 예를 들어, 랜드마크가 나타나는 영상(c), 림프절이 나타나는 영상(d), 일반적인 검사 영상(e), 조직 채취 영상(f) 등은 림프절의 분석이 가능한 영상으로 분류될 수 있다.
제2 초음파 영상 분류 모델은 초음파 영상을 기초로 림프절의 전이 여부를 판단하도록 학습된 모델로서, 도 12에 도시된 바와 같이, 초음파 영상을 양성(Benign) 및 악성(Malignant) 영상으로 분류할 수 있다. 제2 초음파 영상 분류 모델은 양성과 악성 간의 확률과 히트맵으로 판단 결과를 출력할 수 있다.
제3 초음파 영상 분류 모델은 초음파 영상을 기초로 림프절의 번호 및 좌우 방향을 판단하도록 학습된 모델이다. 제3 초음파 영상 분류 모델은 도 13에 도시된 바와 같이, 림프절과 혈관을 랜드마크로 학습하고, 랜드마크를 기초로 초음파 영상을 2R, 2L. 4R, 4L, 7, 10R, 10L, 11Rs, 11Ri, 11L 및 그 외의 영상으로 분류할 수 있다.
제4 초음파 영상 분류 모델은 초음파 영상을 기초로 조직 채취 여부를 판단하도록 학습된 모델로서, 도 14에 도시된 바와 같이, 초음파 영상을 조직 채취 영상 및 그 외 영상으로 분류할 수 있다. 여기에서, 제4 초음파 영상 분류 모델은 채취 바늘이 존재하는지 여부를 기초로 초음파 영상으로부터 조직 채취 여부를 판단할 수 있다.
영상 처리부(220)는 초음파 기관지 내시경 장치(100)로부터 검사 영상을 수신하여 내시경 영상이 출력되는 내시경 영상 영역 및 초음파 영상이 출력되는 초음파 영상 영역으로 분리한다. 영상 처리부(220)는 내시경 영상을 내시경 분석부(230)에 전송하고, 초음파 영상을 초음파 분석부(240)에 전송할 수 있다.
영상 처리부(220)는 초음파 기관지 내시경 장치(100)에 검사 영상이 저장되는 이벤트가 발생하였는지 여부를 감지하고, 이벤트가 발생된 해당 영상 프레임을 저장부(260)에 저장할 수 있다. 예를 들어, 영상 처리부(220)는 검사 영상의 일시 멈춤이 감지되면 이벤트가 발생한 것으로 판단하여 해당 영상 프레임을 저장부(260)에 저장할 수 있다. 즉, 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)에 저장되는 영상 프레임을 감지하여 저장부(260)에 저장할 수 있다.
또한, 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)의 검사 종료 여부를 감지하여 내시경 분석부(230) 및 초음파 분석부(240)에 감지 결과를 전송할 수 있다.
내시경 분석부(230)는 영상 처리부(220)를 통해 내시경 영상이 입력되면 분석을 시작하고, 영상 처리부(220)를 통해 초음파 기관지 내시경 검사 장치(100)의 검사 종료가 감지되면 분석을 종료할 수 있다.
구체적으로, 내시경 분석부(230)는 제1 신경망 모델을 이용하여 복수의 영상 프레임 각각의 내시경 영상을 분석한다. 내시경 분석부(230)는 제1 내시경 영상 분류 모델을 이용하여 림프절의 위치를 지시할 수 있는 내시경 영상을 판단하고, 해당 내시경 영상이 포함된 영상 프레임을 유효 프레임으로 처리할 수 있다.
내시경 분석부(230)는 제2 내시경 영상 분류 모델을 이용하여 유효 프레임에 해당하는 내시경 영상으로부터 림프절의 위치를 판단하고, 판단 결과를 림프절의 위치가 활성화된 활성화 맵으로 생성할 수 있다. 내시경 분석부(230)는 유효 프레임 및 판단 결과를 저장부(260)에 전송할 수 있다.
본 발명의 일 실시예는 이에 한정되지 않고, 내시경 분석부(230)가 영상 분석 모델을 이용하여 유효 프레임에 해당하는 내시경 영상으로부터 림프절의 위치를 판단하고, 판단 결과를 림프절이 위치한 영역이 분할된 영상으로 생성할 수 있다. 내시경 분석부(230)는 림프절의 위치가 활성화된 활성화 맵 또는 림프절이 위치한 영역이 분할된 영상을 표시부(250)에 전송할 수 있다.
본 발명의 일 실시예는 이에 한정되지 않고, 내시경 분석부(230)가 영상 분할 모델을 이용하여 유효 프레임에 해당하는 내시경 영상으로부터 림프절이 위치한 영역을 분할하고, 분할된 영역을 림프절 영역 이미지로 생성할 수 있다.
초음파 분석부(240)는 영상 처리부(220)를 통해 초음파 영상이 입력되면 분석을 시작하고, 영상 처리부(220)를 통해 초음파 기관지 내시경 검사 장치(100)의 검사 종료가 감지되면 분석을 종료할 수 있다.
구체적으로, 초음파 분석부(240)는 제2 신경망 모델을 이용하여 복수의 영상 프레임 각각의 초음파 영상을 분석한다. 초음파 분석부(240)는 제1 초음파 영상 분류 모델을 이용하여 림프절을 분석할 수 있는 초음파 영상을 판단하고, 해당 초음파 영상이 포함된 영상 프레임을 유효 프레임으로 처리할 수 있다.
초음파 분석부(240)는 제2 초음파 영상 분류 모델을 이용하여 초음파 영상을 양성 및 악성 영상으로 분류하여 전이 여부를 판단할 수 있다. 초음파 분석부(240)는 제3 초음파 영상 분류 모델을 이용하여 초음파 영상으로부터 림프절의 번호 및 좌우 방향을 판단할 수 있다. 여기에서, 초음파 분석부(240)는 랜드마크를 기초로 초음파 영상으로부터 림프절의 번호 및 좌우 방향을 판단할 수 있다.
초음파 분석부(240)는 제4 초음파 영상 분류 모델을 이용하여 초음파 영상으로부터 조직 채취 여부를 판단할 수 있다. 여기에서, 초음파 분석부(240)는 채취 바늘의 존재 여부를 기초로 초음파 영상으로부터 조직 채취 여부를 판단할 수 있다. 초음파 분석부(240)는 유효 프레임 및 판단 결과를 표시부(250) 및 저장부(260)에 전송할 수 있다.
표시부(250)는 내시경 분석부(230)로부터 림프절의 위치가 활성화된 활성화 맵 또는 림프절이 위치한 영역이 분할된 영상을 수신받고, 유효 프레임에 해당하는 내시경 영상 상에 중첩시켜 표시할 수 있다. 표시부(250)는 초음파 분석부(240)로부터 유효 프레임 및 판단 결과를 수신받아 화면에 표시할 수 있다. 여기에서, 표시부(250)는 유효 프레임에 해당하는 판단 결과를 기관지를 도식화한 기관지 이미지 상에 중첩시켜 표시할 수 있다.
저장부(260)에는 이벤트가 발생된 영상 프레임에 해당하는 검사 영상 및 검사 영상에 대한 판단 결과가 저장된다. 본 발명의 일 실시예는 이에 한정되지 않고, 저장부(260)에는 유효 프레임 및 유효 프레임에 대한 판단 결과가 저장될 수도 있다.
저장부(260)에는 제1 및 제2 신경망 모델(212, 214)이 저장될 수 있고, 기관지 이미지, 사용자 정보, 검사 관련 정보 등이 저장될 수 있다. 저장부(260)는 초음파 기관지 내시경 분석 장치(200)의 내부 또는 외부에 위치할 수 있고, 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있다.
통신부(270)는 초음파 기관지 내시경 장치(100)로부터 영상 프레임을 포함하는 검사 영상을 수신할 수 있다. 통신부(270)는 영상 수신 장치와 무선랜, 블루투스, 지그비 등의 무선 통신망과 유선 통신망, 이동 통신망 등을 포함할 수 있다.
제어부(280)는 초음파 기관지 내시경 분석 장치(200)의 전체적인 동작을 제어한다. 제어부(280)는 영상 분석 모델링부(210), 영상 처리부(220), 내시경 분석부(230), 초음파 분석부(240), 표시부(250), 저장부(260) 및 통신부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 15는 도 4에 도시된 초음파 기관지 내시경 분석 장치에서 수행되는 분석 방법을 설명하기 위해 도시한 도면이고, 도 16 및 도 17은 림프절의 위치 지시를 설명하기 위해 도시한 도면이다. 도 18은 림프절의 번호 및 좌우 방향에 대한 판단 결과를 설명하기 위해 도시한 도면이고, 도 19는 기관지 이미지 상에 표시되는 판단 결과를 설명하기 위해 도시한 도면이다.
도 15를 참조하면, 먼저 영상 분석 모델링부(210)는 제1 및 제2 신경망 모델(212, 214)을 구성한다(S110). 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)로부터 복수의 영상 프레임을 포함하는 검사 영상을 입력 받는다(S120).
이때, 영상 처리부(220)는 검사 영상을 내시경 영상이 출력되는 내시경 영상 영역 및 초음파 영상이 출력되는 초음파 영상 영역으로 분리한다. 영상 처리부(220)는 내시경 분석부(230)에 내시경 영상을 전송하고, 초음파 분석부(240)에 초음파 영상을 전송한다.
그 다음, 내시경 분석부(230)는 제1 내시경 영상 분류 모델을 이용하여 해당 영상 프레임의 내시경 영상이 림프절의 위치를 지시할 수 있는 내시경 영상인지 여부를 판단한다(S130). 내시경 분석부(230)는 내시경 영상이 미리 설정된 지시 불가 영상, 예를 들어 내시경 프로브가 이동하는 영상, 조직 채취 영상 및 출혈이 발생한 영상 중 적어도 어느 하나에 해당하는지 여부를 판단할 수 있다. 판단 결과, 내시경 영상이 지시 불가 영상에 해당되지 않는 경우 내시경 분석부(230)는 해당 영상 프레임을 유효 프레임으로 판단한다.
내시경 분석부(230)는 제2 내시경 영상 분류 모델을 이용하여 유효 프레임에 해당하는 내시경 영상으로부터 림프절의 위치를 판단한다(S140). 이때, 판단 결과는 림프절의 위치가 활성화된 활성화 맵으로 생성될 수 있다. 본 발명의 일 실시예는 이에 한정되지 않고, 내시경 분석부(230)가 영상 분할 모델을 이용하여 림프절의 위치를 판단하는 경우 판단 결과는 림프절이 위치한 영역이 분할된 영상으로 생성될 수 있다.
표시부(250)는 림프절의 위치를 판단한 결과를 화면에 표시한다(S150). 예를 들어, 표시부(250)는 도 16의 (a)에 도시된 바와 같이, 활성화 맵을 내시경 영상 상에 중첩시켜 표시하거나, (b)에 도시된 바와 같이, 림프절이 위치한 영역이 분할된 영상(SI)을 내시경 영상 상에 중첩시켜 표시할 수 있다. 즉, 본 발명의 일 실시예에 따른 표시부(250)는 도 17에 도시된 바와 같이, 내시경 영상 상에 림프절의 위치를 지시함으로써 내시경 검사 중 림프절의 위치를 시각적으로 용이하게 식별할 수 있다.
한편, S160 단계에서, 초음파 분석부(240)는 제1 초음파 영상 분류 모델을 이용하여 복수의 영상 프레임 각각에 대한 초음파 영상이 림프절의 분석이 가능한 영상인지 여부를 판단한다. 이때, 초음파 분석부(240)는 초음파 영상이 분석 불가 영상, 예를 들어 내시경 프로브가 이동하는 영상 및 초음파 검사를 준비하는 영상 중 적어도 어느 하나에 해당하는지 여부를 판단할 수 있다. 판단 결과, 초음파 영상이 분석 불가 영상에 해당하지 않는 경우 초음파 분석부(240)는 해당 영상 프레임을 유효 프레임으로 판단한다.
초음파 분석부(240)는 제2 초음파 영상 분류 모델을 이용하여 복수의 영상 프레임 각각에 대한 초음파 영상을 양성 및 악성 영상으로 분류하고, 분류 결과에 따라 림프절 전이 여부를 판단한다(S170).
초음파 분석부(240)는 제3 초음파 영상 분류 모델을 이용하여 복수의 영상 프레임 각각의 초음파 영상에 해당하는 림프절의 번호 및 좌우 방향을 판단한다(S180). 초음파 분석부(240)는 림프절과 혈관을 기초로 초음파 영상으로부터 림프절의 번호 및 좌우 방향을 판단할 수 있다.
예를 들어, 초음파 분석부(240)는 도 18의 (a)에 도시된 바와 같이, 림프절(LN)과 뇌 세포 동맥(brachiocephalic artery, BCA)을 기초로 해당 초음파 영상이 2R 림프절에 해당하는 것으로 판단할 수 있다. 초음파 분석부(240)는 도 18의 (b)에 도시된 바와 같이, 림프절(LN)과 상대정맥(Superior Vena Cava, SVC)을 기초로 해당 초음파 영상이 4R 림프절에 해당하는 것으로 판단할 수 있다.
또한, 초음파 분석부(240)는 도 18의 (c)에 도시된 바와 같이, 림프절(LN)과 폐동맥(Pulmonary Artery, PA)을 기초로 해당 초음파 영상이 4L 림프절에 해당하는 것으로 판단할 수 있다. 초음파 분석부(240)는 도 18의 (d)에 도시된 바와 같이, 림프절(LN)과 기정맥(Azygos vein, AV)을 기초로 해당 초음파 영상이 10R 림프절에 해당하는 것으로 판단할 수 있다.
그리고, 초음파 분석부(240)는 도 18의 (e)에 도시된 바와 같이, 림프절(LN), 폐동맥(PA) 및 대동맥(Aortic arch, AO)을 기초로 해당 초음파 영상이 10L 림프절에 해당하는 것으로 판단할 수 있다. 이러한 방식으로, 초음파 분석부(240)는 도 18의 (f), (g), (h), (i)에 도시된 바와 같이, 해당 초음파 영상이 11L, 7, 11Rs, 11Ri 림프절에 해당하는 것을 판단할 수 있다. 즉, 초음파 분석부(240)는 제3 초음파 영상 분류 모델을 이용하여 현재 초음파 프로브가 이동하는 림프절의 위치(검사 위치)를 판단할 수 있다.
초음파 분석부(240)는 제4 초음파 영상 분류 모델을 이용하여 복수의 영상 프레임 각각의 초음파 영상에 대해 조직 채취 여부를 판단한다(S190).
그 다음, S150 단계에서, 표시부(250)는 유효 프레임으로 판단된 초음파 영상에 대해 림프절의 전이 여부, 림프절의 번호 및 좌우 방향, 조직 채취 여부 중 적어도 어느 하나를 화면에 표시한다. 예를 들어, 표시부(250)는 도 19의 (a)에 도시된 바와 같이, 현재 초음파 영상에 해당하는 림프절의 번호 및 좌우 방향을 기관지 이미지 상에 알림으로 표시할 수 있다. 즉, 현재 초음파 프로브의 이동 위치를 실시간으로 표시할 수 있다. 또한, 표시부(250)는 도 19의 (b)에 도시된 바와 같이, 기관지 이미지 상에 전이가 발생한 림프절을 표시할 수 있다. (c)에 도시된 바와 같이, 조직을 채취한 림프절을 표시할 수 있다.
그 다음, 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)에 검사 영상이 저장되는 이벤트가 발생하였는지 여부를 판단한다(S200). 판단 결과, 이벤트가 발생한 경우 영상 처리부(220)는 해당 영상 프레임 및 이를 분석하여 판단한 결과를 저장부(260)에 저장한다(S210). 즉, 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)와 연동하여 영상 프레임 및 이에 대한 판단 결과를 기록할 수 있다.
그 다음, 영상 처리부(220)는 초음파 기관지 내시경 검사 장치(100)의 검사가 종료되었는지 여부를 감지하고(S220), 초음파 기관지 내시경 검사 장치(100)의 검사가 종료된 경우 내시경 분석부(230) 및 초음파 분석부(240)는 분석을 종료한다.
한편, 상기한 방법에서는 내시경 분석부(230)가 S130 및 S140 단계를 직렬로 처리하는 경우를 예를 들어 설명하였으나, 본 발명의 일 실시예는 이에 한정되지 않고, S130 및 S140 단계를 병렬로 처리할 수 있다. 또한, 초음파 분석부(240)가 S160 단계와 S170, S180, S190 단계를 직렬로 처리하는 경우를 예를 들어 설명하였으나, 본 발명의 일 실시예는 이에 한정되지 않고, S160 단계와 S170, S180, S190 단계를 병렬로 처리할 수 있다.
도 20 및 도 21은 본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 장치의 성능을 설명하기 위해 도시한 도면이다.
도 20에서, 초음파 기관지 내시경 검사 장치(100)를 이용하여 초음파 및 내시경 검사를 진행하고, 조직 검사 결과가 양성인 118명과 악성인 123명에 대한 검사 영상을 수집하여 제2 초음파 영상 분류 모델을 학습시켰다. 학습 및 평가 데이터는 (a)과 같이 구성하고, 제2 초음파 영상 분류 모델의 출력 값은 양성과 악성의 확률 값으로 설정하였다.
그리고, 제2 초음파 영상 분류 모델의 성능은 민감도(sensitivity), 특이도(specificity), 정확도(accuracy), AUC(area under the curve)로 평가하였다. 평가 결과는 (b)와 같다. 여기에서, TP는 진양성(true positive), FP는 위양성(false positive), TN은 진음성(true negative), FN는 위음성(false negative)이며, 민감도는 TP/(TP+FN), 특이도는 TN/(TN+FP), 정확도는 (TP+TN)/(TP+FP+TN+FN)로 정의되는 값이다. 즉, (c)에 도시된 바와 같이, ROC 곡선에 대해 AUC가 0.809로서, 제2 초음파 영상 분류 모델이 매우 높은 성능을 나타내는 것을 볼 수 있다.
따라서, 제2 초음파 영상 분류 모델을 이용하여 악성을 예측한 결과(붉은색 선 표시)는 도 21에 도시된 바와 같이, 예측한 결과와 호흡기 내과 전문의가 전이 의심 부위로 판단한 결과(푸른색 선 표시)와 거의 일치하는 것을 볼 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 초음파 기관지 내시경 분석 장치(200)는 내시경 영상 상에 종격동의 림프절 위치를 지시할 수 있고, 자동으로 림프절의 번호 및 좌우 방향을 판단할 수 있다. 이에 따라, 실시간으로 내시경 프로브의 이동 경로를 시각적으로 식별할 수 있다.
또한, 림프절의 전이 여부 가능성을 확률과 히트맵으로 제시하여 진단을 보조할 수 있고, 정확한 조직 검사를 가능하게 하여 불필요한 조직 채취로 인한 부작용과 의료비 부담을 경감시킬 수 있다. 그리고, 자동으로 림프절의 조직 채취 여부를 나타내고, 기록할 수 있다.
100: 초음파 기관지 내시경 검사 장치
200: 초음파 기관지 내시경 분석 장치
210: 영상 분석 모델링부 220: 영상 처리부
230: 내시경 분석부 240: 초음파 분석부
250: 표시부 260: 저장부
270: 통신부 280: 제어부

Claims (18)

  1. 초음파가 결합된 내시경 프로브를 기관지에 삽입하여 검사하고, 채취 바늘을 이용하여 상기 기관지의 조직을 채취하는 초음파 기관지 내시경 검사 장치로부터 복수의 영상 프레임을 포함하는 검사 영상을 수신하는 단계;
    상기 복수의 영상 프레임 각각에 대해 상기 검사 영상을 내시경 영상 및 초음파 영상으로 분리하는 단계;
    미리 학습된 제1 신경망 모델을 이용하여 상기 내시경 영상으로부터 림프절의 위치를 판단하는 단계;
    미리 학습된 제2 신경망 모델을 이용하여 상기 초음파 영상으로부터 상기 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 판단하는 단계; 및
    상기 판단 결과를 화면 상에 표시하고, 기록하는 단계를 포함하고,
    상기 제1 신경망 모델은
    상기 복수의 영상 프레임 각각에 대해 상기 내시경 영상을 상기 림프절의 지시가 가능한 영상과 상기 림프절의 지시가 불가능한 영상으로 분류하는 제1 내시경 영상 분류 모델; 및
    상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 활성화된 활성화 맵을 생성하는 제2 내시경 영상 분류 모델을 포함하는 초음파 기관지 내시경 분석 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 제1 내시경 영상 분류 모델은
    상기 내시경 영상이 상기 내시경 프로브가 이동하는 영상, 상기 조직의 채취 영상 및 출혈이 발생한 영상 중 적어도 어느 하나에 해당하면 상기 림프절의 지시가 불가능한 영상으로 분류하는 초음파 기관지 내시경 분석 방법.
  4. 제1항에 있어서, 상기 제1 신경망 모델은
    상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 분할된 영상을 생성하는 영상 분할 모델을 포함하는 초음파 기관지 내시경 분석 방법.
  5. 제1항에 있어서, 상기 제2 신경망 모델은
    상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상을 상기 림프절에 대한 분석이 가능한 영상과 상기 림프절에 대한 분석이 불가능한 영상으로 분류하는 제1 초음파 영상 분류 모델;
    상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상으로부터 상기 림프절의 전이 여부를 양성 및 악성으로 분류하는 제2 초음파 영상 분류 모델;
    상기 복수의 영상 프레임 각각에 대해 림프절 및 혈관에 대응하는 랜드마크를 기초로 상기 초음파 영상으로부터 상기 림프절의 번호 및 좌우 방향을 판단하는 제3 초음파 영상 분류 모델; 및
    상기 복수의 영상 프레임 각각에 대해 상기 채취 바늘의 존재 여부를 기초로 상기 초음파 영상으로부터 상기 조직 채취 여부를 판단하는 제4 초음파 영상 분류 모델을 포함하는 초음파 기관지 내시경 분석 방법.
  6. 제5항에 있어서, 상기 제1 초음파 영상 분류 모델은
    상기 초음파 영상이 상기 내시경 프로브가 이동하는 영상 및 상기 초음파의 검사를 준비하는 영상 중 적어도 어느 하나에 해당하면 상기 림프절에 대한 분석이 불가능한 영상으로 분류하는 초음파 기관지 내시경 분석 방법.
  7. 제1항에 있어서, 상기 판단 결과를 화면 상에 표시하는 단계는
    상기 복수의 영상 프레임 중 상기 림프절의 위치를 지시할 수 있는 영상 프레임의 내시경 영상 상에 상기 림프절의 위치를 지시하는 초음파 기관지 내시경 분석 방법.
  8. 제7항에 있어서, 상기 림프절의 위치를 지시하는 단계는
    상기 내시경 영상에 상기 림프절의 위치가 활성화된 활성화 맵을 중첩 표시하거나, 상기 림프절이 위치한 영역이 분할된 영상을 중첩 표시하는 초음파 기관지 내시경 분석 방법.
  9. 제1항에 있어서, 상기 판단 결과를 화면 상에 표시하는 단계는
    미리 제공된 기관지 이미지 상에 상기 복수의 영상 프레임 중 상기 림프절을 분석할 수 있는 영상 프레임의 초음파 영상에 해당하는 상기 림프절의 번호 및 좌우 방향을 판단한 결과를 표시하는 단계;
    상기 기관지 이미지 상에 상기 림프절의 전이 여부를 판단한 결과에 따라 악성으로 판단된 림프절을 표시하는 단계; 및
    상기 기관지 이미지 상에 상기 조직 채취 여부를 판단한 결과에 따라 상기 조직이 채취된 림프절을 표시하는 단계를 포함하는 초음파 기관지 내시경 분석 방법.
  10. 초음파가 결합된 내시경 프로브를 기관지에 삽입하여 검사하고, 채취 바늘을 이용하여 상기 기관지의 조직을 채취하는 초음파 기관지 내시경 검사 장치로부터 복수의 영상 프레임을 포함하는 검사 영상을 수신하여 내시경 영상과 초음파 영상으로 분리하는 영상 처리부;
    미리 학습된 제1 신경망 모델을 이용하여 상기 내시경 영상으로부터 림프절의 위치를 판단하는 내시경 분석부;
    미리 학습된 제2 신경망 모델을 이용하여 상기 초음파 영상으로부터 상기 림프절의 번호, 좌우 방향, 전이 여부 및 조직 채취 여부 중 적어도 어느 하나를 판단하는 초음파 분석부; 및
    상기 판단 결과를 화면 상에 표시하는 표시부를 포함하고,
    상기 내시경 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 활성화된 활성화 맵을 생성하는 초음파 기관지 내시경 분석 장치.
  11. 삭제
  12. 제10항에 있어서, 상기 내시경 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 림프절의 지시가 가능한 내시경 영상을 대상으로 상기 림프절의 위치를 판단하여 상기 림프절의 위치가 분할된 영상을 생성하는 초음파 기관지 내시경 분석 장치.
  13. 제10항에 있어서, 상기 초음파 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상을 상기 림프절에 대한 분석이 가능한 영상과 상기 림프절에 대한 분석이 불가능한 영상으로 분류하는 초음파 기관지 내시경 분석 장치.
  14. 제10항에 있어서, 상기 초음파 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 림프절 및 혈관에 대응하는 랜드마크를 기초로 상기 초음파 영상으로부터 상기 림프절의 번호 및 좌우 방향을 판단하는 초음파 기관지 내시경 분석 장치.
  15. 제10항에 있어서, 상기 초음파 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 초음파 영상으로부터 상기 림프절의 전이 여부를 양성 및 악성으로 판단하는 초음파 기관지 내시경 분석 장치.
  16. 제10항에 있어서, 상기 초음파 분석부는
    상기 복수의 영상 프레임 각각에 대해 상기 채취 바늘의 존재 여부를 기초로 상기 초음파 영상으로부터 상기 조직 채취 여부를 판단하는 초음파 기관지 내시경 분석 장치.
  17. 제10항에 있어서, 상기 표시부는
    상기 복수의 영상 프레임 중 상기 림프절의 위치를 지시할 수 있는 영상 프레임의 내시경 영상 상에 상기 림프절의 위치가 활성화된 활성화 맵을 중첩 표시하거나, 상기 림프절이 위치한 영역이 분할된 영상을 중첩 표시하는 초음파 기관지 내시경 분석 장치.
  18. 제10항에 있어서, 상기 표시부는
    미리 제공된 기관지 이미지 상에 상기 복수의 영상 프레임 중 상기 림프절을 분석할 수 있는 영상 프레임의 초음파 영상에 해당하는 상기 림프절의 번호와 좌우 방향, 악성으로 판단된 림프절 및 상기 조직이 채취된 림프절 중 적어도 어느 하나를 표시하는 초음파 기관지 내시경 분석 장치.
KR1020210058337A 2021-01-26 2021-05-06 초음파 기관지 내시경 분석 방법 및 장치 KR102314270B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210010858 2021-01-26
KR1020210010858 2021-01-26

Publications (1)

Publication Number Publication Date
KR102314270B1 true KR102314270B1 (ko) 2021-10-19

Family

ID=78228091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210058337A KR102314270B1 (ko) 2021-01-26 2021-05-06 초음파 기관지 내시경 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102314270B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035019A (zh) * 2022-03-24 2022-09-09 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部淋巴结分析装置
KR20230167232A (ko) 2022-05-31 2023-12-08 가톨릭대학교 산학협력단 기관절개관 환자의 호흡음 실시간 모니터링을 통한 가래 흡인 알람 장치 및 그 방법
KR20230172711A (ko) 2022-06-16 2023-12-26 가톨릭대학교 산학협력단 기관절개관 환자의 기관절개관, 기관 및 기관지 막힘 측정 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927389B2 (ja) * 2011-11-10 2016-06-01 株式会社高研 超音波気管支内視鏡用トレーニングモデル
WO2017169374A1 (ja) * 2016-04-01 2017-10-05 富士フイルム株式会社 超音波振動子ユニット、及びこれを用いる超音波内視鏡
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
CN111145149A (zh) * 2019-12-18 2020-05-12 佛山科学技术学院 一种基于深度学习的图像识别方法、装置及存储介质
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
EP3662842A1 (en) * 2018-12-06 2020-06-10 Verathon, Inc. Endobronchial ultrasound imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927389B2 (ja) * 2011-11-10 2016-06-01 株式会社高研 超音波気管支内視鏡用トレーニングモデル
WO2017169374A1 (ja) * 2016-04-01 2017-10-05 富士フイルム株式会社 超音波振動子ユニット、及びこれを用いる超音波内視鏡
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
EP3662842A1 (en) * 2018-12-06 2020-06-10 Verathon, Inc. Endobronchial ultrasound imaging
CN111145149A (zh) * 2019-12-18 2020-05-12 佛山科学技术学院 一种基于深度学习的图像识别方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"내시경 초음파 영상의 특징 분석",Proceedings of the Korea Contents Association Conference, p.390-397(2009) *
"신경회로망과 초음파 트랜스듀서에 의한 2차원 목표물의 위치식별". 한국정보과학회 학술발표논문집, 23(1A), p.1037-1040(1996) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035019A (zh) * 2022-03-24 2022-09-09 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部淋巴结分析装置
CN115035019B (zh) * 2022-03-24 2024-08-02 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部淋巴结分析装置
KR20230167232A (ko) 2022-05-31 2023-12-08 가톨릭대학교 산학협력단 기관절개관 환자의 호흡음 실시간 모니터링을 통한 가래 흡인 알람 장치 및 그 방법
KR20230172711A (ko) 2022-06-16 2023-12-26 가톨릭대학교 산학협력단 기관절개관 환자의 기관절개관, 기관 및 기관지 막힘 측정 장치

Similar Documents

Publication Publication Date Title
KR102314270B1 (ko) 초음파 기관지 내시경 분석 방법 및 장치
US11715198B2 (en) Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network
JP2023171651A (ja) 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法
JP4945705B2 (ja) 誤診原因検出装置及び誤診原因検出方法
JPWO2017150497A1 (ja) 肺野病変の診断支援装置、該装置の制御方法及びプログラム
KR102185886B1 (ko) 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
JP2009095550A (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
Zhou et al. The accuracy of magnifying narrow band imaging (ME-NBI) in distinguishing between cancerous and noncancerous gastric lesions: A meta-analysis
JP5151403B2 (ja) 低分化癌検出モジュール、これを備えた病理画像診断支援装置、プログラムおよび記録媒体
KR20160047720A (ko) 자궁 경부암 자동 진단 시스템 및 방법
KR100998630B1 (ko) 폐질환 자동 분류 방법
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
KR102325346B1 (ko) 의료 영상 진단 장치 및 방법
CN114419044B (zh) 一种基于人工智能的医用超声图像分析系统及方法
JP2013010009A (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
Li et al. Artificial intelligence-assisted colonoscopy: a narrative review of current data and clinical applications
KR20210054140A (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
JP5624505B2 (ja) 画像処理装置
CN101257835B (zh) 图像显示装置
KR102393661B1 (ko) 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN117916766A (zh) 医学图像中的纤维化帽检测
CN115668388A (zh) 估计内窥镜在人体气道模型中的位置
JP2005269214A (ja) 画像診断支援装置及び画像診断支援方法及び画像診断支援プログラム及び画像診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant