KR102078876B1

KR102078876B1 - 기흉 검출 방법 및 시스템

Info

Publication number: KR102078876B1
Application number: KR1020190109151A
Authority: KR
Inventors: 김민철; 박창민; 황의진
Original assignee: 주식회사 루닛; 서울대학교병원
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2020-02-20
Also published as: US20210059627A1; US20230129667A1; US11564650B2; US11996184B2; US20240282434A1

Abstract

컴퓨팅 장치가 기흉을 검출하는 방법으로서, 학습된 기흉 예측 모델로부터, 입력 영상에 대해 예측된 기흉 정보, 예측된 튜브 정보, 그리고 예측된 척추 기준선을 획득하는 단계, 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 표시된 예측 영상에서, 상기 예측된 기흉 정보에 대한 적어도 하나의 기흉 대표 위치, 그리고 상기 예측된 튜브 정보에 대한 적어도 하나의 튜브 대표 위치를 결정하는 단계, 상기 예측 영상을 상기 예측된 척추 기준선으로 제1 영역과 제2 영역으로 나누는 단계, 그리고 상기 제1 영역과 상기 제2 영역 중에서, 상기 적어도 하나의 기흉 대표 위치와 상기 적어도 하나의 튜브 대표 위치가 존재하는 영역을 판단하는 단계를 포함한다.

Description

기흉 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING PNEUMOTHORAX}

본 발명은 인공지능 기반 의료 영상 판독 기술에 관한 것이다.

기흉(pneumothorax)은 폐를 둘러싸고 있는 흉막강 내에 공기가 차게 되면 폐가 눌려 정상적인 호흡을 할 수 없는 질환으로서, 호흡 곤란과 가슴 통증의 증상이 나타난다. 기흉의 발생 원인은 아직까지 정확히 밝혀지지 않았고, 근본적인 예방법이 없으며, 폐질환이 없는 젊은 연령층에서도 다양한 원인으로 발병할 수 있다.

의료진은 엑스레이(X-Ray) 영상을 통해 기흉을 진단할 수 있고, 기흉의 크기가 크거나 증상이 심한 경우에는 가슴에 가는 튜브(tube)를 삽입하여 공기를 배출시키는 시술을 할 수 있다. 응급 질환인 기흉은 빠른 시술을 통해 환자의 호흡 곤란과 가슴 통증을 완화하고 추가적인 피해를 줄일 수 있다.

최근 인공지능 기술이 의료 영상 판독 분야에 적용되어, 영상 판독의 정확도 및 속도를 높이고 있다. 특히, 엑스레이 영상 분석을 통해 폐 결절 등의 이상 소견이 있는 부위를 표시하고, 그 가능성을 지표로 제시하는 인공지능 판독 시스템이 개발되었다. 따라서 기흉도 인공지능 영상 판독을 통해 어느 정도 발견할 수 있다.

다만, 기흉은 환자의 양쪽 폐 모두에서 발견되거나, 한 쪽 폐에서만 발견될 수 있다. 특히, 기흉이 존재하는 폐쪽으로 튜브 삽입을 응급으로 진행해야 하는 특성 상, 기흉 유무와 함께 기흉의 좌우 위치까지 예측해야 할 필요가 있다. 하지만, 영상 전체에서 이상 부위를 예측하는 지금까지의 영상 판독 시스템은 발견된 기흉이 환자의 왼쪽 폐쪽에 위치하는지 오른쪽 폐쪽에 위치하는지 정확히 예측하는 데 한계가 있다. 따라서, 기흉에 최적화된 인공지능 영상 판독 기술이 필요하다.

(특허문헌 1) KR10-1879207 B

(특허문헌 2) US2018-0047158 A

(특허문헌 3) US2019-0156484 A

결하고자 하는 과제는 영상에서 기흉을 예측하고 환자의 좌우 영역 중에서 기흉이 위치하는 영역을 판별하는 기흉 예측 모델을 생성하고, 학습된 기흉 예측 모델을 이용한 기흉 검출 방법 및 시스템을 제공하는 것이다.

해결하고자 하는 과제는 영상에서 기흉 유무 및 기흉이 위치하는 영역, 그리고 시술된 튜브(tube)의 유무 및 튜브가 위치하는 영역을 동시에 판별하는 기흉 예측 모델을 생성하고, 학습된 기흉 예측 모델을 이용한 응급 기흉 검출 방법 및 시스템을 제공하는 것이다.

해결하고자 하는 과제는 영상에서 환자의 좌우 영역 판별의 기준이 되는 척추(spine) 기준선을 생성하고, 척추 기준선을 기준으로 좌측 영역과 우측 영역이 레이블된 영상을 학습 데이터로 생성하는 방법 및 시스템을 제공하는 것이다.

한 실시예에 따라, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 기흉을 검출하는 방법으로서, 학습된 기흉 예측 모델로부터, 입력 영상에 대해 예측된 기흉 정보, 예측된 튜브 정보, 그리고 예측된 척추 기준선을 획득하는 단계, 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 표시된 예측 영상에서, 상기 예측된 기흉 정보에 대한 적어도 하나의 기흉 대표 위치, 그리고 상기 예측된 튜브 정보에 대한 적어도 하나의 튜브 대표 위치를 결정하는 단계, 상기 예측 영상을 상기 예측된 척추 기준선으로 제1 영역과 제2 영역으로 나누는 단계, 그리고 상기 제1 영역과 상기 제2 영역 중에서, 상기 적어도 하나의 기흉 대표 위치와 상기 적어도 하나의 튜브 대표 위치가 존재하는 영역을 판단하는 단계를 포함한다.

상기 기흉 검출 방법은 상기 적어도 하나의 기흉 대표 위치가 존재하는 제1 영역에, 상기 튜브 대표 위치가 존재하지 않는 경우, 상기 입력 영상을 응급 기흉으로 분류하는 단계를 더 포함할 수 있다.

상기 기흉 검출 방법은 상기 응급 기흉을 나타내는 알람과 함께, 튜브 시술이 요구되는 상기 제1 영역의 정보를 출력하는 단계를 더 포함할 수 있다.

상기 기흉 검출 방법은 상기 적어도 하나의 기흉 대표 위치가 존재하는 제1 영역에, 상기 튜브 대표 위치가 존재하는 경우, 상기 입력 영상을 일반 기흉으로 분류하는 단계를 더 포함할 수 있다.

상기 기흉 대표 위치와 튜브 대표 위치 각각은 상기 예측된 기흉 정보 또는 상기 예측된 튜브 정보가 예측값으로 표시된 예측 영상에서, 예측값이 최댓값인 위치, 예측값이 임계값 이상인 영역에서 최댓값의 위치, 또는 예측값이 임계값 이상인 영역에서의 중앙값의 위치 중 적어도 하나로 결정될 수 있다.

상기 기흉 검출 방법은 상기 기흉 예측 모델을 적어도 하나의 태스크에 대해 학습시키는 단계를 더 포함할 수 있다. 상기 적어도 하나의 태스크는 척추 기준선으로 구분된 제1 영역과 제2 영역이 좌우 판별 레이블로 태깅된 학습 영상들을 기초로, 상기 학습 영상들에서 기흉을 예측하는 태스크, 상기 학습 영상들에서 튜브를 예측하는 태스크, 그리고 상기 학습 영상들에서 상기 척추 기준선을 예측하는 태스크를 포함할 수 있다.

다른 실시예에 따라, 컴퓨팅 장치가 기흉을 검출하는 방법으로서, 좌우 판별 레이블이 태깅된 학습 영상들을 이용하여 기흉을 예측하도록 학습된 기흉 예측 모델로부터, 입력 영상에 대해 예측된 기흉 정보와 예측된 척추 기준선을 획득하는 단계, 그리고 상기 예측된 기흉 정보와 상기 예측된 척추 기준선을 이용하여 환자의 좌우 영역 중에서, 기흉 존재 영역을 결정하는 단계를 포함한다. 상기 좌우 판별 레이블은 각 학습 영상의 척추 기준선을 기준으로 구분된 영역 정보를 포함한다.

상기 기흉 검출 방법은 상기 기흉 예측 모델이 상기 학습 영상들에서 튜브를 더 예측하도록 학습된 경우, 상기 기흉 예측 모델로부터 상기 입력 영상에 대해 예측된 튜브 정보를 획득하는 단계, 상기 예측된 튜브 정보와 상기 예측된 척추 기준선을 이용하여 환자의 좌우 영역 중에서, 튜브 존재 영역을 결정하는 단계, 그리고 상기 환자의 좌우 영역 중에서 상기 기흉 존재 영역이 제1 영역이고, 상기 튜브 존재 영역이 제2 영역이거나 상기 튜브 존재 영역이 존재하지 않는 경우, 상기 입력 영상을 응급 기흉으로 분류하는 단계를 더 포함할 수 있다.

또 다른 실시예에 따라, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 기흉을 검출하는 방법으로서, 학습 영상들을 입력받는 단계, 각 학습 영상에서 척추 영역을 분리하고, 상기 척추 영역을 대표하는 척추 기준선을 생성하는 단계, 상기 각 학습 영상에서 상기 척추 기준선을 기준으로, 좌우 판별 레이블을 태깅하는 단계, 상기 좌우 판별 레이블이 태깅된 상기 각 학습 영상을 학습 데이터로 생성하는 단계, 그리고 상기 학습 데이터를 이용하여 기흉 예측 모델을 학습시키는 단계를 포함한다. 상기 기흉 예측 모델을 학습시키는 단계는 상기 학습 데이터에 대응하는 적어도 하나의 학습 영상에 대하여, 기흉을 예측하는 태스크, 튜브를 예측하는 태스크, 그리고 상기 척추 기준선을 예측하는 태스크 각각에 대해 상기 기흉 예측 모델을 학습시키는 단계를 포함한다.

상기 척추 기준선을 생성하는 단계는 척추 영역 정보가 어노테이션된 각 학습 영상에서 척추 영역을 분리하거나, 척추 영역 검출 태스크로 학습된 기계 학습 모델을 통해 각 학습 영상에서 척추 영역을 분리할 수 있다.

상기 척추 기준선을 생성하는 단계는 상기 척추 영역으로 분리된 픽셀들을 다중 회귀 알고리즘으로 후처리하여 기준선을 생성할 수 있다.

상기 기흉 검출 방법은 의뢰 영상을 학습된 상기 기흉 예측 모델로 입력하는 단계, 상기 기흉 예측 모델로부터, 상기 의뢰 영상에 대해 예측된 기흉 정보, 예측된 튜브 정보, 그리고 예측된 척추 기준선을 획득하는 단계, 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 표시된 예측 영상을 상기 예측된 척추 기준선을 이용하여 두 영역으로 분리하는 단계, 그리고 상기 두 영역 중에서 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 존재하는 영역을 비교하여, 상기 의뢰 영상의 응급 여부를 판단하는 단계를 더 포함할 수 있다.

상기 의뢰 영상의 응급 여부를 판단하는 단계는 상기 예측된 기흉 정보가 존재하는 영역에 상기 예측된 튜브 정보가 존재하지 않는 경우, 상기 의뢰 영상을 응급 기흉으로 분류하고, 상기 예측된 기흉 정보가 존재하는 영역에 상기 예측된 튜브 정보가 존재하는 경우, 상기 의뢰 영상을 일반 기흉으로 분류할 수 있다.

또 다른 실시예에 따른 컴퓨팅 장치로서, 메모리, 그리고 상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함한다. 상기 프로그램은 의뢰 영상을 기흉 예측 모델로 입력하는 단계, 상기 기흉 예측 모델로부터, 상기 의뢰 영상에 대해 예측된 기흉 정보, 예측된 튜브 정보, 그리고 예측된 척추 기준선을 획득하는 단계, 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 표시된 예측 영상을 상기 예측된 척추 기준선을 이용하여 두 영역으로 분리하는 단계, 그리고 상기 두 영역 중에서 상기 예측된 기흉 정보와 상기 예측된 튜브 정보가 존재하는 영역을 비교하여, 상기 의뢰 영상의 응급 여부를 판단하는 단계를 실행하도록 기술된 명령들을 포함한다.

상기 프로그램은 입력 영상에서 기흉을 예측하는 태스크, 상기 입력 영상에서 튜브를 예측하는 태스크, 그리고 상기 입력 영상에서 상기 척추 기준선을 예측하는 태스크에 대해 학습된 상기 기흉 예측 모델을 포함할 수 있다.

상기 의뢰 영상의 응급 여부를 판단하는 단계는 상기 예측 영상에서, 상기 예측된 기흉 정보에 대한 적어도 하나의 기흉 대표 위치, 그리고 상기 예측된 튜브 정보에 대한 적어도 하나의 튜브 대표 위치를 결정하는 단계, 상기 예측된 척추 기준선을 이용하여 분리된 상기 예측 영상의 두 영역 중에서, 상기 적어도 하나의 기흉 대표 위치와 상기 적어도 하나의 튜브 대표 위치가 존재하는 영역을 판단하는 단계, 그리고 상기 적어도 하나의 기흉 대표 위치가 존재하는 영역에, 상기 튜브 대표 위치가 존재하지 않는 경우, 상기 의뢰 영상을 응급 기흉으로 분류하는 단계를 실행하도록 기술된 명령들을 포함할 수 있다.

실시예에 따르면 기흉 예측 모델을 통해 영상으로부터 기흉을 예측할 뿐만 아니라, 시술된 튜브의 유무, 그리고 좌우 영역 판별의 기준이 되는 환자의 척추 기준선을 예측할 수 있고, 이를 통해 응급 시술이 요구되는 응급 기흉인지를 빠르고 정확하게 판단할 수 있다.

실시예에 따르면 영상에서 예측된 환자의 척추 기준선을 이용하여 환자마다의 좌우 영역을 오류 없이 판별할 수 있으므로, 환자의 촬영 자세, 신체 특성에 영향받지 않고 기흉 예측을 할 수 있다.

도 1은 좌우 비대칭 환자 영상의 예시 도면이다.
도 2와 도 3 각각은 한 실시예에 따른 기흉 검출 시스템의 구조도이다.
도 4는 한 실시예에 따라 좌우 판별 레이블이 태깅된 학습 영상을 생성하는 방법을 설명하는 도면이다.
도 5는 한 실시예에 따른 응급 기흉 분류 방법을 예시적으로 설명하는 도면이다.
도 6은 한 실시예에 따른 기흉 검출 모델의 학습 데이터 생성 방법의 흐름도이다.
도 7은 한 실시예에 따른 기흉 검출 모델을 이용한 기흉 검출 방법의 흐름도이다.
도 8은 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

명세서에서, 태스크(task)란, 기계 학습을 통해 해결하고자 하는 과제 또는 기계 학습을 통해 수행하고자 하는 작업을 지칭한다. 예를 들어, 의료 영상(medical image)으로부터 이상(anomaly)에 대한 인식, 분류, 예측 등을 수행한다고 할 때, 이상 인식, 이상 분류, 이상 예측 각각이 개별 태스크에 대응될 수 있다. 본 발명의 기흉 검출 모델은 적어도 하나의 태스크를 학습하는 기계 학습 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어로 구현될 수 있다. 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.

본 발명에 따라 최종적으로 의료진에게 제공되는 좌우 영역은 환자의 척추를 기준으로 나뉘는 환자의 좌측 영역, 우측 영역으로 제공되는 것이 바람직하다. 이때 컴퓨팅 장치는 영상의 좌측을 환자의 우측으로 매핑하고, 영상의 우측을 환자의 좌측으로 매핑한 후, 기흉 등이 환자 기준 좌측 영역에 존재하는지 우측 영역에 존재하는지 판단할 수 있다. 또는 컴퓨팅 장치는 중간 단계에서는 기흉 등이 영상 기준 좌측 영역에 존재하는지 우측 영역에 존재하는지 판단한 후, 출력 단계에서 환자에 맞춰 좌우를 변경하도록 구현될 수 있다. 또는 컴퓨팅 장치는 중간 단계에서는 좌우 방향에 대한 구분 없이 기흉 등이 영상의 제1 영역에 존재하는지 제2 영역에 존재하는지 판단한 후, 출력 단계에서 환자에 맞춰 좌측 영역, 우측 영역으로 변경하도록 구현될 수 있다.

도 1은 좌우 비대칭 영상의 예시 도면이다.

도 1을 참고하면, 기흉은 폐를 둘러싸고 있는 흉막강 내에 공기가 차게 되면 폐가 눌려 정상적인 호흡을 할 수 없는 질환이므로, 의료진은 신속하게 기흉이 생긴 흉막강 내에 튜브(tube)를 삽입하여 공기를 배출시키는 시술을 해야 한다. 기흉 환자는 응급 시술이 필요하므로, 영상 판독 시스템이 영상으로부터 정확하고 빠르게 기흉 예측을 한다면 응급 환자의 피해를 줄일 수 있다.

하지만, 지금까지의 영상 판독 시스템은 대부분 영상 전체에서 이상 징후를 예측하기 때문에, 기흉을 예측하고, 예측된 기흉 위치를 영상에 표시할 수 있더라도, 예측된 기흉 위치가 환자의 좌측 영역(왼쪽 폐가 위치하는 영역)에 위치하는지 우측 영역(오른쪽 폐가 위치하는 영역)에 위치하는지를 판별하기 어렵다. 항상 촬영 시 요구되는 기준 자세로 영상이 촬영된다면, 영상 판독 시스템이 영상의 가운데를 기준으로 좌우 영역을 분할함으로써 기흉이 위치하는 영역을 판별하도록 설계할 수 있다. 하지만, 이러한 단순 분할 방법은 호흡 곤란과 가슴 통증으로 인해 환자가 자세를 바르게 가누지 못하는 특수 상황이나 신체적 특성으로 기준 자세로 촬영되기 어려운 환자의 경우, 오류가 발생하는 문제가 있다. 예를 들어, 도 1과 같이 환자의 자세가 좌우 대칭으로 촬영되지 않은 영상이 입력되면, 기흉이 위치하는 좌우 영역이 잘못 판별될 수 있는 큰 문제가 있다.

한편, 의료진이라면, 엑스레이(X-Ray) 영상에서 기흉을 발견하고, 이와 동시에 기흉이 환자의 왼쪽 폐쪽에 위치하는지 오른쪽 폐쪽에 위치하는지 판별할 수 있다. 따라서, 의료진은 도 1과 같이 환자의 자세가 좌우 대칭으로 촬영되지 않은 영상을 보더라도 튜브를 삽입할 영역이 어디인지 바로 알 수 있는 것이다.

다음에서, 의료진의 기흉 판단 매커니즘과 유사하게, 환자의 촬영 자세나 신체적 특성까지 고려하여 영상으로부터 기흉을 예측하고, 환자의 좌우 영역 중에서 기흉이 위치하는 영역을 판별하는 기흉 검출 방법에 대해 설명한다. 나아가 시술된 튜브까지 동시에 예측함으로써 응급 기흉을 검출하는 방법에 대해 설명한다.

도 2와 도 3 각각은 한 실시예에 따른 기흉 검출 시스템의 구조도이고, 도 4는 한 실시예에 따라 좌우 판별 레이블이 태깅된 학습 영상을 생성하는 방법을 설명하는 도면이며, 도 5는 한 실시예에 따른 응급 기흉 분류 방법을 예시적으로 설명하는 도면이다.

도 2를 참고하면, 기흉 검출 시스템(1)은 영상(10)으로부터 학습 데이터를 생성하는 학습 데이터 생성기(100), 기흉 예측 모델(20)을 학습시키는 학습기(200) 그리고 학습된 기흉 예측 모델(20)을 이용하여 기흉 응급 환자를 분류하는 응급 분류기(300)를 포함한다. 설명을 위해, 학습 데이터 생성기(100), 학습기(200) 그리고 응급 분류기(300)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 학습 데이터 생성기(100), 학습기(200) 그리고 응급 분류기(300)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 학습 데이터 생성기(100), 학습기(200) 그리고 응급 분류기(300)는 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하고, 예를 들면, 서버, 랩탑 컴퓨터 등일 수 있다.

학습 데이터 생성기(100), 학습기(200) 그리고 응급 분류기(300) 각각은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 그리고 기흉 예측 모델(20)도 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 기흉 검출 시스템(1)은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 이에 따라, 상술한 구성들에 대응하는 하나 또는 복수의 인공지능 모델은 하나 또는 복수의 컴퓨팅 장치에 의해 구현될 수 있다.

도 3을 참고하면, 학습기(200)에서 학습이 완료된 기흉 예측 모델과 응급 분류기(300)에 구현된 소프트웨어는 하나의 컴퓨팅 장치(400)에서 동작할 수 있다. 컴퓨팅 장치(400)는 복수일 수 있고, 예를 들면, 다양한 사이트들(예를 들면, 병원들, 하나 또는 복수의 병원 내 서로 다른 장소들)에서 개별적으로 동작할 수 있다. 또는 학습기(200)에서 학습이 완료된 기흉 예측 모델은 서버측에 위치하고, 응급 분류기(300)를 탑재한 컴퓨팅 장치(400)들이 네트워크를 통해 서버에 접속할 수 있다.

이외에도, 본 발명에서 설명하는 기능들은 서비스 형태에 따라 다양하게 분리되거나 통합될 수 있다. 예를 들면, 다양한 사이트들(예를 들면, 병원들, 하나 또는 복수의 병원 내 서로 다른 장소들)의 클라이언트 장치가 네트워크를 통해 서버로 영상 분석을 의뢰할 수 있다. 영상촬영 장치에서 촬영된 영상이 네트워크를 통해 서버로 의뢰될 수 있다. 그러면, 서버가 의뢰 영상에 대한 기흉 예측 결과, 응급 여부, 응급 시술 부위(예를 들면, 환자의 좌측 영역) 등에 대한 리포트를 클라이언트 장치로 전송할 수 있다.

다시 도 2를 참고하면, 학습 데이터 생성기(100)는 기흉 예측 모델의 학습에 사용되는 영상들(10)을 입력받는다. 학습 데이터 생성기(100)는 각 영상에서 척추 영역을 예측하고, 환자의 좌우 영역 판별의 기준이 되는 척추(spine) 기준선을 생성한다. 학습 데이터 생성기(100)는 척추 기준선을 기준으로 생성한 좌우 판별 레이블을 기흉 예측 모델의 학습 데이터로 생성한다. 영상은 흉부 엑스레이 영상일 수 있으나, 의료 기술에 따라 다른 종류의 장치로 촬영된 영상일 수 있다. 기흉 예측 모델의 종류 및 구조, 그리고 학습 방법에 맞춰 학습 데이터가 생성될 수 있다. 예를 들면, 영상들 중 적어도 일부는 기흉 정보 및/또는 튜브 정보가 레이블로 태깅된 데이터일 수 있고, 또는 레이블이 없는 데이터일 수 있다.

척추 영역에 대한 정보가 어노테이션(annotation)된 영상들이 많지 않기 때문에, 기흉 예측 모델이 영상으로부터 좌우 판별하는 태스크를 학습하기 어렵다. 따라서, 학습 데이터 생성기(100)가 척추 영역이 어노테이션된 학습 영상들을 이용하여, 척추 영역이 어노테이션되어 있지 않은 영상의 척추 영역을 예측하는 태스크에 대해 학습할 수 있다. 학습된 학습 데이터 생성기(100)는 기흉 예측 모델의 학습에 사용되는 영상들(10)에서, 척추 영역을 예측하고, 각 영상에서 환자의 좌우 영역 판별의 기준이 되는 척추(spine) 기준선을 생성할 수 있다.

한편, 기흉 예측 모델의 학습에 사용되는 영상들(10) 중 일부 영상들에 척추 영역에 대한 정보가 어노테이션되어 있다면, 학습 데이터 생성기(100)는 해당 영상에서 어노테이션된 척추 영역을 분리하고, 척추 기준선을 생성할 수 있다.

도 4를 참고하면, 학습 데이터 생성기(100)는 영상(10)을 입력받는다. 영상(10)에 척추 영역이 어노테이션되어 있지 않은 경우, 척추 영역을 예측하도록 학습된 학습 데이터 생성기(100)는 영상(10)에서 척추 영역을 예측하고, 예측한 척추 영역(12)을 분리(segmentation)한다. 학습 데이터 생성기(100)는 척추 영역(12)으로 분리된 픽셀들을 후처리(post processing)하여 척추 영역을 대표하는 척추 기준선(14)을 생성한다. 학습 데이터 생성기(100)는 척추 영역(12)으로 분리된 픽셀들을 다중 회귀(polynomial regression) 등의 알고리즘으로 후처리하여 척추 기준선(14)을 생성할 수 있다.

학습 데이터 생성기(100)는 척추 기준선(14)을 기준으로 좌우 판별 레이블을 생성할 수 있다. 학습 데이터 생성기(100)는 척추 기준선(14)을 기준으로 좌우 영역을 구분하고, 구분된 좌우 영역에 대한 레이블을 생성할 수 있다. 좌우 판별 레이블은 좌우가 정확할 필요가 없으므로, 의사 레이블(pseudo label)을 좌측 영역과 우측 영역에 태깅(어노테이션)할 수 있다. 좌우 영역은 예를 들면, 심장의 위치를 기준으로 구분할 수 있다. 즉, 척추 기준선(14)으로 구분되는 두 영역 중에서, 심장이 존재하는 영역에 환자의 좌측 영역이라는 레이블을 태깅하고, 심장이 존재하지 않는 영역을 환자의 우측 영역이라는 레이블을 태깅할 수 있다. 또는, 좌우 판별 레이블은 좌우를 구분하지 않고 척추 기준선으로 나뉘는 제1영역이라는 레이블, 제2영역이라는 레이블을 태깅할 수 있다.

이렇게 척추 기준선(14)을 기준으로 좌측 영역과 우측 영역을 나눈 이미지 레이블인 좌우 판별 레이블은, 영상(10)과 함께 기흉 예측 모델로 입력된다. 좌우 판별 레이블은 기흉 예측 모델이 기흉 예측과 동시에 좌우 영역 예측하도록 학습시키는 데이터로 사용된다.

학습 데이터 생성기(100)는 좌우 판별 레이블이 태깅된 영상을 학습 데이터로 생성한다. 학습 데이터는 지정된 저장소에 저장된다. 상술한 좌우 판별 레이블은 영상을 촬영한 환자의 실제 좌우 위치와 일치할 수도 있고, 일치하지 않을 수도 있다. 후술하는 것과 같이, 본 개시는 기흉의 응급 여부를 판단하기 위해, 기흉이 발생한 영역과 기흉에 대한 응급 조치, 예를 들면 튜브 삽입이 된 영역이 동일한 영역인지를 판단하기 위한 구성이므로, 실제 환자의 좌우와, 응급 기흉 여부를 판단하기 위해 태깅된 좌우 판별 레이블은 동일하지 않을 수 있다.

영상(10)에서 척추 영역(12)을 분리하는 방법은 다양할 수 있다.

한 실시예에 따르면, 영상(10)에 척추 영역에 대한 정보가 어노테이션된 경우, 학습 데이터 생성기(100)는 영상(10)에서 어노테이션된 척추 영역(12)을 분리할 수 있다.

다른 실시예에 따르면, 학습 데이터 생성기(100)는 기계 학습 기반 세그먼테이션을 통해 영상(10)에서 척추 영역(12)을 예측 및 분리할 수 있다.

학습 데이터 생성기(100)는, 영상에서 척추 영역을 검출하는 태스크에 대해 기계 학습 모델을 학습시킬 수 있다. 기계 학습 모델은 예를 들면, 컨볼류션 뉴럴 네트워크(Convolutional Neural Network) 모델일 수 있다. 학습 데이터 생성기(100)는 의료 영상 및 해당 의료 영상에 포함된 척추 영역에 대한 정보가 어노테이션된 데이터로 기계 학습 모델을 학습시키고, 학습된 기계 학습 모델을 통해 입력 영상(10)의 척추 영역(12)을 예측 및 분리할 수 있다. 그리고 학습 데이터 생성기(100)는 다중 회귀 알고리즘으로 척추 영역의 픽셀들로부터 척추 영역을 대표하는 중앙 선을 찾고, 중앙 선을 척추 기준선(14)으로 결정할 수 있다.

또 다른 실시예에 따르면, 학습 데이터 생성기(100)는, 어노테이션된 척추 영역을 가장 잘 따르는 중앙 선을 찾는 태스크에 대해 기계 학습 모델을 학습시킬 수 있다. 학습 데이터 생성기(100)는 학습된 기계 학습 모델을 통해 입력 영상(10)의 척추 영역(12)을 가장 잘 따르는 중앙 선을 찾고, 중앙 선을 척추 기준선(14)으로 결정할 수 있다.

척추 기준선(14)은 분리된 척추 영역의 픽셀들에 다중 회귀 알고리즘을 적용하여 생성될 수 있다. 이때, 학습 데이터 생성기(100)는 척추 영역을 복수의 영역들로 분리한 후, 영역별로 추출된 중앙 선을 연결하여 척추 기준선을 생성할 수 있다. 또는 학습 데이터 생성기(100)는 척추 영역을 복수의 영역들로 분리한 후, 영역별로 영역의 중심 점을 찾고, 영역별 중심 점을 연결하여 척추 기준선을 생성할 수 있다.

다시 도 2를 참고하면, 학습기(200)는 좌우 판별 레이블이 태깅된(어노테이션된) 영상들을 학습 데이터로 입력받고, 학습 데이터를 이용하여 기흉 예측 모델(20)을 학습시킨다. 기흉 예측 모델(20)은 입력 영상에서 기흉을 예측하는 태스크, 그리고 입력 영상에서 환자의 좌우 영역을 판별하는 척추 기준선을 예측하는 태스크를 학습한다. 이때, 기흉 예측 모델(20)은 입력 영상에서 튜브를 예측하는 태스크를 동시에 학습할 수 있다. 입력 영상에서 기흉을 예측하는 태스크는 영상의 픽셀들이 기흉으로 예측되는 값을 출력하는 태스크일 수 있다. 입력 영상에서 튜브를 예측하는 태스크는 영상의 픽셀들이 튜브로 예측되는 값을 출력하는 태스크일 수 있다. 입력 영상에서 환자의 좌우 영역을 판별하는 태스크는 영상의 픽셀들이 척추 기준선으로 예측되는 값을 출력하는 태스크이거나, 예측되는 척추 기준선을 기준으로 좌우 영역(또는 제1영역과 제2영역)을 예측하는 태스크일 수 있다. 설명에서는 척추 기준선을 예측하는 것으로 설명한다.

기흉 예측 모델은 기흉, 척추 및 튜브 각각에 대해 어노테이션된 영상을 기초로 학습될 수 있다. 이 경우, 상술한 학습기(200) 구성 없이, 기흉 예측 모델을 학습시킬 수 있고, 기흉, 척추 및 튜브 각각에 대한 태스크를 한번에 학습시킬 수도 있다.

기흉 예측 모델(20)은 입력 영상에서 예측된 기흉 정보, 튜브 정보, 그리고 예측된 척추 기준선을 출력할 수 있다. 기흉 정보와 튜브 정보는 픽셀별로 계산된 예측값을 포함할 수 있다. 기흉 예측값과 튜브 예측값이 입력 영상에 시각적으로 표시될 수 있다. 예를 들면, 예측값이 표시된 예측 영상에는 예측값에 따른 히트맵(heat map)이 표시될 수 있다. 응급 분류기(300)는 학습된 기흉 예측 모델(20)에서 출력된 기흉 정보, 튜브 정보, 그리고 척추 기준선을 기초로, 기흉 환자를 분류한다. 응급 분류기(300)는 예를 들면, 응급 시술이 요구되는 응급 기흉과 응급 시술이 요구되지 않는 일반 기흉으로 분류할 수 있다. 응급 기흉에 대한 응급 시술은 튜브 시술을 포함할 수 있다. 응급 분류기(300)는 기흉으로 예측되지 않은 경우도 분류할 수 있다. 예를 들면, 응급 분류기(300)는 기흉이 없는 정상 또는 다른 병변을 분류할 수도 있다.

기흉 환자 분류 시, 튜브를 통한 시술 후의 기흉 환자는 응급으로 분류되지 않으므로, 응급 분류기(300)는 척추 기준선을 기준으로 분리된 영역 중에서, 동일 영역에 기흉과 튜브가 존재한다고 예측되면 응급으로 분류하지 않고, 기흉이 존재한다고 예측된 영역에 튜브가 없으면 응급으로 분류할 수 있다. 응급 분류기(300)는 기흉이 존재한다고 예측된 영역을 먼저 찾고, 기흉 예측 영역에 튜브가 없으면 입력 영상을 응급으로 분류할 수 있다. 응급 분류기(300)는 기흉이 존재한다고 예측된 영역에 튜브가 없으면 입력 영상을 응급으로 분류하되, 튜브 시술이 요구되는 환자 영역 정보(예를 들면, 환자의 좌측 폐 영역)를 응급 기흉에 대한 정보와 함께 출력할 수 있다.

도 5를 참고하면, 응급 분류기(300)는 입력 영상(40)에 대해 기흉 예측 모델(20)에서 출력된 척추 기준선 예측값을 기초로, 좌우 영역을 판별할 수 있다. 척추 기준선 예측값은 상술한 척추 기준선에 대한 예측값을 의미할 수 있다. 그리고 응급 분류기(300)는 기흉 예측 영상(42)에서, 기흉 예측 히트맵이 포함된 영역을 판별할 수 있다. 예를 들면, 응급 분류기(300)는 기흉 예측 영상(42)의 좌우 영역(또는 제1 영역과 제2 영역) 중 예측 히트맵이 포함된 영역을 판별할 수 있고, 기흉 예측값을 기초로 기흉이 존재하는 영역을 판단할 수 있다. 구체적으로 응급 분류기(300)는 척추 기준선을 기초로 구분된, 좌측 영역과 우측 영역에서, 기흉 예측값을 기초로 기흉이 존재하는 영역을 판단할 수 있다. 마찬가지로, 응급 분류기(300)는 척추 기준선 예측값을 기초로, 튜브 예측 히트맵이 위치하는 영역을 판별할 수 있다. 예를 들면, 응급 분류기(300)는 척추 기준선을 기초로, 튜브 예측 히트맵이 위치하는 영역이 좌우 영역(또는 제1 영역과 제2 영역) 중 어느 영역인지를 판별할 수 있고, 튜브 예측값을 기초로 튜브가 존재하는 영역을 판단할 수 있다. 응급 분류기(300)는 척추 기준선으로 좌우 분리된 영역 중에서 동일한 영역에 기흉과 튜브가 존재하면, 일반 기흉으로 분류할 수 있다.

예를 들어, 응급 분류기(300)는 환자 기준으로 우측 영역에서 기흉을 예측(R_ptx=1, L_ptx=0)하고, 환자 기준으로 우측 영역에서 튜브를 예측(R_tube=1, L_ptx=0)하면, 환자 기준 우측 영역과 좌측 영역 모두를 응급이 아닌 일반으로 분류(R_emergency=0, L_emergency=0)할 수 있다.

만약, 응급 분류기(300)는 환자 기준으로 우측 영역에서 기흉을 예측(R_ptx=1, L_ptx=0)하고, 환자 기준으로 좌측 영역에서 튜브를 예측(R_tube=0, L_ptx=1)하거나 튜브가 예측되지 않으면(R_tube=0, L_ptx=0), 환자 기준 우측 영역을 응급으로 분류(R_emergency=1, L_emergency=0)할 수 있다.

응급 분류기(300)가 기흉 예측값, 튜브 예측값, 그리고 예측된 척추 기준선을 기초로, 동일 영역에 기흉과 튜브가 존재하는지 판단하는 방법은 다양할 수 있다.

한 실시예에 따르면, 응급 분류기(300)는 입력 영상에 대한 기흉 예측값과 튜브 예측값이 표시된 예측 히트맵 각각에서, 기흉 예측값의 최댓값과 튜브 예측값의 최댓값을 추출한다. 응급 분류기(300)는 예측된 척추 기준선을 기준으로 나뉜 두 영역(제1 영역, 제2 영역) 중에서 기흉 예측값의 최댓값과 튜브 예측값의 최댓값의 위치가 포함된 영역을 확인하고, 최댓값의 위치를 기초로 동일 영역에 기흉과 튜브가 존재하는지 판단할 수 있다. 기흉 예측값의 최댓값과 튜브 예측값의 최댓값이 POSITIVE 판별 임계값을 넘으면 POSITIVE로 판별할 수 있다.

다른 실시예에 따르면, 응급 분류기(300)는 기흉 및 튜브 각각에 대한 예측 히트맵이 포함된 예측 영상에서, 기흉 예측값이 임계값 이상인 지점들을 연결하는 영역(contour)과 튜브 예측값이 임계값 이상인 지점들을 연결하는 영역을 그린 후, 각 영역의 최댓값의 위치가 포함된 영역을 확인하고, 최댓값의 위치를 기초로 동일 영역에 기흉과 튜브가 존재하는지 판단할 수 있다. 각 영역의 최댓값이 POSITIVE 판별 임계값을 넘으면 POSITIVE로 판별할 수 있다.

또 다른 실시예에 따르면, 응급 분류기(300)는 기흉 및 튜브 각각에 대한 예측 히트맵이 포함된 예측 영상에서, 기흉 예측값이 임계값 이상인 지점들을 연결하는 영역과 튜브 예측값이 임계값 이상인 지점들을 연결하는 영역을 그린 후, 각 영역의 중앙값의 위치가 포함된 영역을 확인하고, 중앙값의 위치를 기초로 동일 영역에 기흉과 튜브가 존재하는지 판단할 수 있다. 각 영역의 최댓값이 POSITIVE 판별 임계값을 넘으면 POSITIVE로 판별할 수 있다.

또 다른 실시예에 따르면, 응급 분류기(300)는 기흉 및 튜브 각각에 대한 예측 히트맵이 포함된 예측 영상에서, 기흉 예측값이 임계값 이상인 지점들을 연결하는 영역과 튜브 예측값이 임계값 이상인 지점들을 연결하는 영역을 그린 후, 각 영역에 포함된 픽셀 수가 더 많이 분포한 영역을 확인하고, 픽셀수가 더 많이 분포한 영역의 최댓값이 POSITIVE 판별 임계값을 넘으면 POSITIVE로 판별할 수 있다.

도 6은 한 실시예에 따른 기흉 검출 모델의 학습 데이터 생성 방법의 흐름도이다.

도 6을 참고하면, 학습 데이터 생성기(100)는 기흉 예측 모델의 학습에 사용되는 영상들을 입력받는다(S110).

학습 데이터 생성기(100)는 척추 영역에 대한 정보가 어노테이션된 각 영상에서 척추 영역을 분리하거나, 척추 영역을 검출하도록 학습된 기계 학습 모델을 통해 각 영상에서 척추 영역을 분리한다(S120).

학습 데이터 생성기(100)는 각 영상의 척추 영역으로부터 환자의 좌우 영역 판별의 기준이 되는 척추 기준선을 생성한다(S130). 척추 영역으로 분리된 픽셀들을 다중 회귀 알고리즘으로 후처리하여 기준선을 생성할 수 있다.

학습 데이터 생성기(100)는 척추 기준선을 기초로 생성한 좌우 판별 레이블을 해당 영상에 태깅한다(S140). 좌우 판별 레이블은 좌측 영역(또는 제1영역)과 우측 영역(제2영역)을 구분하는 레이블로서, 의사 레이블(pseudo label)일 수 있다.

학습 데이터 생성기(100)는 좌우 판별 레이블이 태깅된 영상들을 학습 데이터로 저장한다(S150).

좌우 판별 레이블이 태깅된 영상들은 기흉 예측 모델(20)의 학습에 사용된다. 학습기(200)는 좌우 판별 레이블이 태깅된 영상들을 입력받고, 입력 영상에서 기흉을 예측하는 태스크, 입력 영상에서 튜브를 예측하는 태스크, 그리고 입력 영상에서 환자의 좌우 영역을 판별하는 척추 기준선을 예측하는 태스크로 기흉 예측 모델(20)을 학습시킨다. 기흉 예측 모델(20)의 종류, 구조, 그리고 학습 방법은 다양하게 설계될 수 있다.

도 7은 한 실시예에 따른 기흉 검출 모델을 이용한 기흉 검출 방법의 흐름도이다.

도 7을 참고하면, 응급 분류기(300)는 학습된 기흉 예측 모델(20)로 의뢰 영상을 입력한다(S210).

응급 분류기(300)는 입력 영상에 대해 기흉 예측 모델(20)로부터 예측된 기흉 정보(기흉 예측값), 튜브 정보(튜브 예측값), 그리고 예측된 척추 기준선을 획득한다(S220). 기흉 정보와 튜브 정보 각각은 입력 영상에 기흉 예측값과 튜브 예측값이 표시된 예측 히트맵으로 출력될 수 있다. 예측 히트맵이 포함된 영상을 예측 영상이라고 부를 수 있다.

응급 분류기(300)는 척추 기준선을 기준으로 영역이 나누어진 영상에서, 기흉 정보(기흉 예측값)의 대표 위치와 튜브 정보(튜브 예측값)의 대표 위치가 동일 영역에 존재하는 지 판단한다(S230). 응급 분류기(300)는 기흉 예측값과 튜브 예측값이 최댓값인 픽셀 위치를 대표 위치로 결정할 수 있다. 응급 분류기(300)는 기흉과 튜브의 예측값을 기초로 영역들을 결정하고, 영역 내 최댓값 또는 중앙값의 픽셀 위치를 기흉 예측값 또는 튜브 예측값의 대표 위치로 결정할 수 있다.

응급 분류기(300)는 기흉 예측값의 대표 위치와 튜브 예측값의 대표 위치가 동일 영역에 존재하는 경우, 일반 기흉으로 분류한다(S240). 즉, 응급 분류기(300)는 기흉이 발견된 영역에 시술된 튜브가 존재하므로, 일반 기흉으로 분류한다.

응급 분류기(300)는 기흉 예측값의 대표 위치가 존재하는 영역에 튜브 예측값의 대표 위치가 존재하지 않는 경우, 응급 기흉으로 분류한다(S250). 즉, 응급 분류기(300)는 기흉이 발견된 영역에 튜브가 발견되지 않으므로, 해당 영역(예를 들면, 환자의 좌측 폐 영역)에 응급 시술, 예를 들면 튜브 시술이 요구되는 응급 기흉으로 분류한다.

응급 분류기(300)는 입력 영상에 대한 응급 기흉 여부를 포함하는 결과를 출력한다(S260). 응급 분류기(300)는 응급 기흉인 경우, 응급 기흉을 나타내는 알람을 출력한다. 이때, 응급 분류기(300)는 입력 영상에 대한 응급 기흉 여부와 함께, 기흉과 관련된 정보를 출력할 수 있다. 예를 들면, 응급 분류기(300)는 입력 영상에 포함된 응급 기흉과 관련된 정보로, 기흉 예측 결과, 튜브 예측 결과, 응급 튜브 시술 부위(예를 들면, 환자의 좌측 폐 영역) 등의 각종 결과를 출력할 수 있다.

이와 같이 기흉 검출 시스템(1)은 기흉 예측 모델을 통해 영상으로부터 기흉을 예측할 뿐만 아니라, 시술된 튜브의 유무, 그리고 좌우 영역 판별의 기준이 되는 환자의 척추 기준선을 예측할 수 있고, 이를 통해 응급 시술이 요구되는 응급 기흉인지를 빠르고 정확하게 판단할 수 있다. 특히, 기흉 검출 시스템(1)은 영상에서 예측된 환자의 척추 기준선을 이용하여 환자마다의 좌우 영역을 오류 없이 판별할 수 있으므로, 환자의 촬영 자세, 신체 특성 등에 영향받지 않고 기흉 예측을 할 수 있다.

도 8은 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.

도 8을 참고하면, 학습 데이터 생성기(100), 학습기(200), 응급 분류기(300)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(500)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다.

컴퓨팅 장치(500)의 하드웨어는 적어도 하나의 프로세서(510), 메모리(530), 스토리지(550), 통신 인터페이스(570)을 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(500)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.

프로세서(510)는 컴퓨팅 장치(500)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(530)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(510)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(530)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(550)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(570)는 유/무선 통신 모듈일 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 기흉을 검출하는 방법으로서,
학습된 기흉 예측 모델로부터, 입력 영상에 대해 예측된 기흉 정보, 예측된 튜브 위치 정보, 그리고 예측된 척추 기준선을 획득하는 단계,
상기 예측된 기흉 정보와 상기 예측된 튜브 위치 정보가 표시된 예측 영상에서, 상기 예측된 기흉 정보에 대한 적어도 하나의 기흉 대표 위치, 그리고 상기 예측된 튜브 위치 정보에 대한 적어도 하나의 튜브 대표 위치를 결정하는 단계,
상기 예측 영상을 상기 예측된 척추 기준선으로 제1 영역과 제2 영역으로 나누는 단계, 그리고
상기 제1 영역과 상기 제2 영역 중에서, 상기 적어도 하나의 기흉 대표 위치와 상기 적어도 하나의 튜브 대표 위치가 존재하는 영역을 판단하는 단계
를 포함하는 기흉 검출 방법.
제1항에서,
상기 적어도 하나의 기흉 대표 위치가 존재하는 제1 영역에, 상기 튜브 대표 위치가 존재하지 않는 경우, 상기 입력 영상을 응급 기흉으로 분류하는 단계
를 더 포함하는, 기흉 검출 방법.
제2항에서,
상기 응급 기흉을 나타내는 알람과 함께, 튜브 시술이 요구되는 상기 제1 영역의 정보를 출력하는 단계
를 더 포함하는, 기흉 검출 방법.
제1항에서,
상기 적어도 하나의 기흉 대표 위치가 존재하는 제1 영역에, 상기 튜브 대표 위치가 존재하는 경우, 상기 입력 영상을 일반 기흉으로 분류하는 단계
를 더 포함하는, 기흉 검출 방법.
제1항에서,
상기 기흉 대표 위치와 튜브 대표 위치 각각은
상기 예측된 기흉 정보 또는 상기 예측된 튜브 위치 정보가 예측값으로 표시된 예측 영상에서, 예측값이 최댓값인 위치, 예측값이 임계값 이상인 영역에서 최댓값의 위치, 또는 예측값이 임계값 이상인 영역에서의 중앙값의 위치 중 적어도 하나로 결정되는, 기흉 검출 방법.
제1항에서,
상기 기흉 예측 모델을 적어도 하나의 태스크에 대해 학습시키는 단계를 더 포함하고,
상기 적어도 하나의 태스크는
척추 기준선으로 구분된 제1 영역과 제2 영역이 좌우 판별 레이블로 태깅된 학습 영상들을 기초로, 상기 학습 영상들에서 기흉을 예측하는 태스크, 상기 학습 영상들에서 튜브를 예측하는 태스크, 그리고 상기 학습 영상들에서 상기 척추 기준선을 예측하는 태스크를 포함하는, 기흉 검출 방법.
삭제
컴퓨팅 장치가 기흉을 검출하는 방법으로서,
좌우 판별 레이블이 태깅된 학습 영상들을 이용하여 기흉을 예측하도록 학습된 기흉 예측 모델로부터, 입력 영상에 대해 예측된 기흉 정보와 예측된 척추 기준선을 획득하는 단계,
상기 예측된 기흉 정보와 상기 예측된 척추 기준선을 이용하여 환자의 좌우 영역 중에서, 기흉 존재 영역을 결정하는 단계,
상기 기흉 예측 모델이 상기 학습 영상들에서 튜브를 더 예측하도록 학습된 경우, 상기 기흉 예측 모델로부터 상기 입력 영상에 대해 예측된 튜브 위치 정보를 획득하는 단계,
상기 예측된 튜브 위치 정보와 상기 예측된 척추 기준선을 이용하여 환자의 좌우 영역 중에서, 튜브 존재 영역을 결정하는 단계, 그리고
상기 환자의 좌우 영역 중에서 상기 기흉 존재 영역이 제1 영역이고, 상기 튜브 존재 영역이 제2 영역이거나 상기 튜브 존재 영역이 존재하지 않는 경우, 상기 입력 영상을 응급 기흉으로 분류하는 단계를 포함하며,
상기 좌우 판별 레이블은 각 학습 영상의 척추 기준선을 기준으로 구분된 영역 정보를 포함하는, 기흉 검출 방법.
적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 기흉을 검출하는 방법으로서,
학습 영상들을 입력받는 단계,
각 학습 영상에서 척추 영역을 분리하고, 상기 척추 영역을 대표하는 척추 기준선을 생성하는 단계,
상기 각 학습 영상에서 상기 척추 기준선을 기준으로, 좌우 판별 레이블을 태깅하는 단계,
상기 좌우 판별 레이블이 태깅된 상기 각 학습 영상을 학습 데이터로 생성하는 단계, 그리고
상기 학습 데이터를 이용하여 기흉 예측 모델을 학습시키는 단계를 포함하고,
상기 기흉 예측 모델을 학습시키는 단계는
상기 학습 데이터에 대응하는 적어도 하나의 학습 영상에 대하여, 기흉을 예측하는 태스크, 튜브를 예측하는 태스크, 그리고 상기 척추 기준선을 예측하는 태스크 각각에 대해 상기 기흉 예측 모델을 학습시키는 단계를 포함하는, 기흉 검출 방법.
제9항에서,
상기 척추 기준선을 생성하는 단계는
척추 영역 정보가 어노테이션된 각 학습 영상에서 척추 영역을 분리하거나, 척추 영역 검출 태스크로 학습된 기계 학습 모델을 통해 각 학습 영상에서 척추 영역을 분리하는, 기흉 검출 방법.
제9항에서,
상기 척추 기준선을 생성하는 단계는
상기 척추 영역으로 분리된 픽셀들을 다중 회귀 알고리즘으로 후처리하여 기준선을 생성하는, 기흉 검출 방법.
제9항에서,
의뢰 영상을 학습된 상기 기흉 예측 모델로 입력하는 단계,
상기 기흉 예측 모델로부터, 상기 의뢰 영상에 대해 예측된 기흉 정보, 예측된 튜브 위치 정보, 그리고 예측된 척추 기준선을 획득하는 단계,
상기 예측된 기흉 정보와 상기 예측된 튜브 위치 정보가 표시된 예측 영상을 상기 예측된 척추 기준선을 이용하여 두 영역으로 분리하는 단계, 그리고
상기 두 영역 중에서 상기 예측된 기흉 정보와 상기 예측된 튜브 위치 정보가 존재하는 영역을 비교하여, 상기 의뢰 영상의 응급 여부를 판단하는 단계
를 더 포함하는, 기흉 검출 방법.
제12항에서,
상기 의뢰 영상의 응급 여부를 판단하는 단계는
상기 예측된 기흉 정보가 존재하는 영역에 상기 예측된 튜브 위치 정보가 존재하지 않는 경우, 상기 의뢰 영상을 응급 기흉으로 분류하고,
상기 예측된 기흉 정보가 존재하는 영역에 상기 예측된 튜브 위치 정보가 존재하는 경우, 상기 의뢰 영상을 일반 기흉으로 분류하는, 기흉 검출 방법.
컴퓨팅 장치로서,
메모리, 그리고
상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 프로그램은
의뢰 영상을 기흉 예측 모델로 입력하는 단계,
상기 기흉 예측 모델로부터, 상기 의뢰 영상에 대해 예측된 기흉 정보, 예측된 튜브 위치 정보, 그리고 예측된 척추 기준선을 획득하는 단계,
상기 예측된 기흉 정보와 상기 예측된 튜브 위치 정보가 표시된 예측 영상을 상기 예측된 척추 기준선을 이용하여 두 영역으로 분리하는 단계, 그리고
상기 두 영역 중에서 상기 예측된 기흉 정보와 상기 예측된 튜브 위치 정보가 존재하는 영역을 비교하여, 상기 의뢰 영상의 응급 여부를 판단하는 단계를 실행하도록 기술된 명령들을 포함하는, 컴퓨팅 장치.
제14항에서,
상기 프로그램은
입력 영상에서 기흉을 예측하는 태스크, 상기 입력 영상에서 튜브를 예측하는 태스크, 그리고 상기 입력 영상에서 상기 척추 기준선을 예측하는 태스크에 대해 학습된 상기 기흉 예측 모델을 포함하는, 컴퓨팅 장치.
제14항에서,
상기 의뢰 영상의 응급 여부를 판단하는 단계는
상기 예측 영상에서, 상기 예측된 기흉 정보에 대한 적어도 하나의 기흉 대표 위치, 그리고 상기 예측된 튜브 위치 정보에 대한 적어도 하나의 튜브 대표 위치를 결정하는 단계,
상기 예측된 척추 기준선을 이용하여 분리된 상기 예측 영상의 두 영역 중에서, 상기 적어도 하나의 기흉 대표 위치와 상기 적어도 하나의 튜브 대표 위치가 존재하는 영역을 판단하는 단계, 그리고
상기 적어도 하나의 기흉 대표 위치가 존재하는 영역에, 상기 튜브 대표 위치가 존재하지 않는 경우, 상기 의뢰 영상을 응급 기흉으로 분류하는 단계
를 실행하도록 기술된 명령들을 포함하는, 컴퓨팅 장치.