KR102676569B1 - 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 - Google Patents
의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 Download PDFInfo
- Publication number
- KR102676569B1 KR102676569B1 KR1020210063580A KR20210063580A KR102676569B1 KR 102676569 B1 KR102676569 B1 KR 102676569B1 KR 1020210063580 A KR1020210063580 A KR 1020210063580A KR 20210063580 A KR20210063580 A KR 20210063580A KR 102676569 B1 KR102676569 B1 KR 102676569B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- image
- result
- results
- medical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000010191 image analysis Methods 0.000 title claims abstract description 108
- 238000012800 visualization Methods 0.000 title claims description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 223
- 230000008569 process Effects 0.000 claims abstract description 95
- 238000007781 pre-processing Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000003745 diagnosis Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003703 image analysis method Methods 0.000 claims description 6
- 238000004445 quantitative analysis Methods 0.000 claims description 6
- 238000007794 visualization technique Methods 0.000 claims description 6
- 210000004072 lung Anatomy 0.000 description 34
- 238000010586 diagram Methods 0.000 description 24
- 238000011002 quantification Methods 0.000 description 21
- 238000004195 computer-aided diagnosis Methods 0.000 description 20
- 230000003902 lesion Effects 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000003709 image segmentation Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000002308 calcification Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 2
- 206010014561 Emphysema Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 1
- 206010006458 Bronchitis chronic Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 206010006451 bronchitis Diseases 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000007451 chronic bronchitis Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000007334 memory performance Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Abstract
컴퓨팅 시스템에서 실행되는 프로그램 인스트럭션에 의하여 의료 영상을 시각화하는 장치가 개시된다. 본 발명의 일 실시예에 따른 장치는 적어도 하나 이상의 프로세서를 포함한다. 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 의료 영상에 표시되며 적어도 하나 이상의 의료 영상과 적어도 하나 이상의 의료 영상에 대한 상세 분석 정보를 연결하는 연결 영상을 인식하고, 연결 영상에 의하여 적어도 하나 이상의 의료 영상과 연결되는 상세 분석 정보를 의료 영상 분석 서버로 요청하고, 의료 영상 분석 서버로부터 수신된 상세 분석 정보를 디스플레이 상에 시각화한다. 이때 상세 분석 정보는 원본 의료 영상에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 중간 결과 및 최종 결과를 포함한다.
Description
본 발명은 의료 영상을 이용한 진단(diagnosis)을 보조하는 장치 및 방법에 관한 것이다. 구체적으로는 의료 영상을 이용한 진단을 보조하기 위하여 의료 영상을 자동으로 분석하고 저장하는 장치 및 방법, 의료 영상의 분석 결과를 이용하여 의료 영상의 판독(reading)을 보조하는 의료 영상 시각화 장치 및 방법에 관한 것이다.
의료 영상에 QR 코드 또는 바코드를 부가하여 모바일 단말기 또는 웨어러블 단말기를 통한 부가 정보를 획득하고자 하는 시도가 존재한다.
이러한 예시로서, 일본공개특허 JP 2017-182244 "의료 정보 제공 시스템"은 초음파 진단 장치 등 의료 영상 획득 장비(medical image acquisition equipment, modality)에서 얻어진 환자의 부위 정보에 기반하여 부위 정보와 관련된 의료 정보를 검색하고, 검색 및 선택된 의료 정보에 액세스할 수 있는 URL 정보를 QR 코드로 생성하고, QR 코드를 환자의 부위 영상을 포함하는 의료 영상에 부가하여 출력한다.
JP 2017-182244는 모달리티에서 얻어지는 원본 의료 영상과 연관되는 의료 정보의 액세스 경로를 QR 코드 이미지로 생성하고, 원본 의료 영상에 QR 코드 이미지를 결합하여 새로운 의료 영상을 데이터 스토리지에 저장하는 개념으로 가장 널리 알려진 형태의 QR 코드 결합 의료 영상 생성 및 저장 수단을 제공한다.
미국공개특허 US 2019/0356479 "Method, server and communication system for secure delivery of patient's image and consent data"는 환자의 등록(registration) 시 환자의 인식 정보를 QR 코드로 부여하고, QR 코드를 환자의 UID 인증 및 personal medical data에 대한 접근의 매개체로서 이용하는 내용이 소개된다.
미국등록특허 US 10,945,807 "Augmented reality viewing and tagging for medical procedures"에서는 환자가 착용한 QR 코드 태그를 인식하여 의사가 착용하고 있는 스마트 글래스에 환자의 정보를 증강 현실 기법으로 제공하는 인터페이스가 소개된다.
이들 선행문헌은 환자에 대하여 병원 시스템에 저장된 전자 의무 기록(EMR), 환자에 대하여 얻어진 원본 의료 영상 등을 QR 코드를 경유하여 사용자에게 제공하는 다양한 인터페이스를 제공하고 있다.
또 다른 예시로는, 한국공개특허 KR 10-2019-0138106 "의료 영상 저장 전송 시스템"에서 원본 의료 영상과 분석 정보를 연결하도록 생성된 연결이미지를 생성된 새로운 의료 영상에 삽입하는 과정과, 연결이미지가 삽입된 새로운 의료 영상을 출력하는 과정과, 연결이미지를 인식한 후 새로운 의료 영상과 분석 정보를 시각화하는 과정이 개시된다.
이때 연결이미지는 새로운 의료 영상과, 원본 의료 영상에 대하여 분석된 정보를 연결한다. 다만 KR 10-2019-0138106은 의료 영상 저장 전송 시스템(PACS) 내에서 구현된 것으로서, 분석 정보가 분석이미지로서 시각화되므로, 사용자는 분석이미지로서 생성된 분석 결과만을 확인할 수 있으며, 분석 결과가 생성되는 과정에 대해서는 정보를 얻을 수 없었던 문제점이 있었다.
의료 영상 저장 전송 시스템(PACS)은 영상 데이터만을 저장하고 관리할 수 있으므로, 분석된 정보는 모두 영상 데이터로 변환되어 제공된다. 종래의 Legacy PACS 내의 의료 영상 데이터는 분석 결과만을 사용자에게 제공할 수 있는 한계가 있었다. 이에 한국등록특허 KR 10-1818074 "인공지능 기반 의료용 자동 진단 보조 방법 및 시스템"과 같은 다수의 선행문헌들에서는, 분석 결과들을 복수개의 레이어로 제공하여 사용자에게 제공되는 정보의 디테일을 개선하고자 하는 시도가 있었으나, 복수개의 레이어를 포함하는 경우에도 여전히 영상 데이터로서만 제공되므로 분석 결과가 생성되는 과정에 대해서는 사용자가 확인할 수 없는 문제점이 있었다.
의료 전문가인 사용자가 영상 처리 및/또는 영상 분석의 최종 결과를 확인한 후 최종 결과에 대한 의문을 가지거나 대안을 제시하기를 원할 때가 있다. 이때 사용자는 최종 결과가 생성되는 근거인 중간 결과를 확인하여 중간 결과가 적절하게 생성되었는지를 확인하기를 원할 수 있다.
최근의 인공 지능 기술의 발전은 의료 영상 분야에서도 종래의 진단, 및 병변 검출 뿐만 아니라 특정 영역에 대한 분석 및 정량화된 정보를 얻을 수 있는 다양한 수단으로 확장되고 있다. 이때 의료 영상의 분석 결과 및 정량화된 정보에 대한 대표적인 시각화 형태를 제공함으로써 의료 전문가가 인공 지능에 의한 의료 영상의 분석 결과 및 정량화된 정보에 대하여 임상적 판단 및 의사 결정을 할 수 있는 메뉴에 대한 수요가 존재한다. 본 발명은 이러한 수요에 응답하여, 인공 지능 기반의 의료 영상 분석 결과 및 정량화 결과에 대한 임상적 판단 및 의사 결정에 용이한 대표적인 시각화 형태를 제공하는 것을 목적으로 한다.
한편 인공 지능 기반의 의료 영상의 분석 결과 및 정량화 결과는 영상 분할(image segmentation)과 같은 전처리 과정을 거쳐 도출된다.
이때 워크플로우 상 전처리 과정에 오류가 있으면 이후의 분석 과정은 오류를 포함하게 된다. 따라서 영상에 대한 분석 결과 및 워크플로우 상 분석 결과를 도출하기 위한 전처리 과정들의 결과를 함께 제시하여 의료 전문가가 분석 결과에 대한 임상적 판단 및 의사 결정을 할 수 있는 메뉴에 대한 수요가 존재한다. 본 발명은 이러한 수요에 응답하기 위한 것으로서, 본 발명의 목적은 인공 지능 기반 의료 영상 분석 결과 및 정량화 결과를 시각화하고, 또한 워크플로우 상 분석 결과 및 정량화 결과를 제공하기 위한 전처리 결과를 함께 시각화하여 의료 전문가의 임상적 판단 및 의사 결정을 보조하는 것이다.
본 발명의 목적은 영상의에 의한 의료 영상의 판독 및/또는 임상의에 의한 의료 영상의 진단의 효율을 높이고 짧은 시간에 영상의 및/또는 임상의가 더 정확한 판독 및/또는 진단 결과를 도출할 수 있도록 보조하며 분석의 정확도를 높이는 사용자 인터페이스 및 디스플레이 환경을 제공하는 것이다.
본 발명의 목적은 의료 전문가가 인공 지능 기반 분석 결과 및 정량화 결과를 거부한 경우, 분석 결과 및 정량화 결과가 도출되는 기반이 되는 전처리 결과에 대한 거부도 가능하고, 전처리 과정, 분석 과정, 및 정량화 과정을 인공 지능과 독립적인 방법으로 다시 수행할 수 있는 사용자 메뉴를 제공하는 것이다.
중간 결과는 사용자에게 영상만으로 제공되어서는 부족할 수 있다. 중간 결과에 포함되는 객체 및/또는 값 각각을 사용자가 인터랙티브하게 확인할 수 있는 메뉴가 동반되어야 중간 결과가 적절한 지 여부를 사용자가 판단할 수 있는 경우가 빈번하다. 따라서 본 발명의 목적 중 하나는 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과의 객체 및/또는 값 각각을 사용자가 인터랙티브하게 확인할 수 있는 메뉴를 연결 영상을 경유하여 사용자에게 제공하는 것이다.
의료 전문가인 사용자가 중간 결과를 확인한 후 중간 결과에 대한 의문을 가지거나 대안을 제시하기를 원할 때가 있다. 사용자는 중간 결과의 특징적인 설정 또는 임계값을 변경하여 새로운 중간 결과를 도출하고, 새로운 중간 결과로부터 새로운 최종 결과를 얻기를 원할 수도 있다. 본 발명의 목적 중 하나는 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과를 새롭게 도출할 수 있도록, 중간 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 중간 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공하는 것이다.
의료 전문가인 사용자는 새로운 중간 결과를 이용하여 최종 결과를 새롭게 조정하기를 원할 수도 있다. 또는 의료 전문가인 사용자는 기존의 중간 결과를 그대로 이용하면서 최종 결과만을 새롭게 조정하기를 원할 수도 있다. 본 발명의 목적 중 하나는 중간 결과에 기반하여 컴퓨터 소프트웨어의 처리 과정에서 도출되는 최종 결과를 새롭게 도출할 수 있도록, 최종 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 최종 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공하는 것이다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 의료 영상 시각화 장치는 적어도 하나 이상의 의료 영상을 획득하거나 수신하는 수신 인터페이스 모듈; 적어도 하나 이상의 프로세서; 및 디스플레이를 포함한다. 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 의료 영상에 표시되며 적어도 하나 이상의 의료 영상과 적어도 하나 이상의 의료 영상에 대한 상세 분석 정보를 연결하는 연결 영상을 인식하고, 연결 영상에 의하여 적어도 하나 이상의 의료 영상과 연결되는 상세 분석 정보를 의료 영상 분석 서버로 요청하고, 의료 영상 분석 서버로부터 수신된 상세 분석 정보를 디스플레이 상에 시각화한다. 이때 상세 분석 정보는 원본 의료 영상에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 중간 결과 및 최종 결과를 포함한다.
상세 분석 정보는 원본 의료 영상에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 중간 결과 및 최종 결과에 대한 이미지 정보 및 논-이미지 정보를 포함할 수 있다. 연결 영상이 표시되는 적어도 하나 이상의 의료 영상은 legacy PACS에 저장되는 것을 전제로 하여 이미지 정보만을 포함할 수 있다. 연결 영상은 legacy PACS에 저장되지 못하는 논-이미지 정보를 포함하는 상세 분석 정보를 사용자에게 제공할 수 있다.
적어도 하나 이상의 프로세서는 상세 분석 정보를 원본 의료 영상에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 또는 거부의 피드백을 입력할 수 있는 메뉴와 함께 시각화할 수 있다. 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다.
적어도 하나 이상의 프로세서는 중간 결과 및 최종 결과 중 적어도 하나 이상에 대하여 사용자가 승인한 경우, 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 사실을 적어도 하나 이상의 의료 영상, 및 상세 분석 결과와 관련시켜 데이터베이스에 저장할 수 있다. 이때 저장되는 데이터베이스는 의료 영상 분석 서버의 데이터베이스일 수도 있고, 의료 영상 시각화 장치 내의 데이터베이스일 수도 있다. 이때 저장되는 것은 사용자가 승인했다는 사실로서, 의료 전문가의 승인을 거쳤으므로 상세 분석 결과가 검증된 분석 결과임을 시사하는 정보로서 부가 저장될 수 있다.
적어도 하나 이상의 프로세서는 중간 결과 및 최종 결과 중 적어도 하나 이상을 사용자가 수동으로 수정할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 이때 작업 환경 메뉴를 통하여 사용자는 기존의 중간 결과 및 최종 결과와 대응하되 새로운 중간 결과 및 최종 결과를 기존의 중간 결과 및 최종 결과와는 독립적으로 생성할 수 있다.
상세 분석 정보는 원본 의료 영상에 대한 전처리 결과를 중간 결과로서 포함할 수 있다. 전처리 결과에 기반하여 생성되는 원본 의료 영상에 대한 정량적 분석 결과를 최종 결과로서 포함할 수 있다. 예를 들어 영상 전처리 결과로서 영상 분할에 의한 장기(organ) 및/또는 병변의 분할 결과가 중간 결과로서 상세 분석 정보에 포함될 수 있다.
상세 분석 정보는 원본 의료 영상에 대한 객체 식별 결과를 중간 결과로서 포함할 수 있다. 객체 식별 결과에 대하여 임계치를 적용하여 필터링한 결과를 최종 결과로서 포함할 수 있다. 예를 들어 컴퓨터 보조 진단(CAD, computer-aided diagnosis)에서 병변 후보로서 식별된 객체, 즉 객체 식별 결과가 중간 결과로서 포함될 수 있다.
적어도 하나 이상의 프로세서는 적어도 하나 이상의 의료 영상을 편집하거나 적어도 하나 이상의 의료 영상의 설정이 조정된 새로운 의료 영상을 생성할 수 있는 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
적어도 하나 이상의 프로세서는 적어도 하나 이상의 의료 영상이 원본 의료 영상에 대한 재구성 영상 및 리포맷 영상 중 적어도 하나 이상인 경우, 재구성 영상 및 리포맷 영상 중 적어도 하나 이상이 생성되는 범위, 각도, 뷰포인트, 및 옵션 중 적어도 하나 이상을 조정하여 새로운 재구성 영상 및 리포맷 영상 중 적어도 하나 이상을 새로운 의료 영상으로서 생성할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
적어도 하나 이상의 프로세서는, 적어도 하나 이상의 의료 영상이 영상 분석 결과를 나타낸 리포트를 포함하는 경우, 리포트를 생성하기 위하여 사용되는 적어도 하나 이상의 파라미터를 조정하여 새로운 리포트를 생성할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 예를 들어 리포트 생성 시의 여러 파라미터/변수를 조정하거나 리포트를 새롭게 생성하거나 리포트를 위해 캡쳐되는 영상의 개수를 조정하거나 리포트의 레이아웃을 조정할 수 있는 기능을 제공하는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
적어도 하나 이상의 프로세서는, 상세 분석 정보가 원본 의료 영상에 대한 객체 식별 결과를 포함하는 경우, 객체 식별 결과에 대하여 적용하는 임계치를 수정하거나, 수정된 임계치를 적용하여 필터링한 결과를 새로운 상세 분석 정보로서 생성하거나, 임계치가 적용되기 전의 객체 식별 결과를 수동으로 검증할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 예를 들어 이미 도출된 CAD 결과에 필터를 걸어 보고 싶은 대상을 변경하거나, CAD 결과에 대한 검증을 통해 최종 리포트를 다시 생성할 수 있는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 분석 장치는, 적어도 하나 이상의 제1 의료 영상을 획득하거나 수신하는 수신 인터페이스 모듈; 및 적어도 하나 이상의 프로세서; 를 포함한다. 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정을 수행하고, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정의 각 단계별 결과를 중간 결과 또는 최종 결과로서 생성하고, 최종 결과를 표준화된 규격에 따라서 임시 결과 영상으로서 생성하고, 중간 결과 및 최종 결과를 포함하는 상세 분석 정보를 생성하고, 상세 분석 정보에 대한 연결 영상을 생성하고, 연결 영상을 임시 결과 영상에 부가하여 적어도 하나 이상의 제2 의료 영상을 생성한다. 적어도 하나 이상의 프로세서는 적어도 하나 이상의 제2 의료 영상을 제1 데이터베이스에 저장하는 과정 및 적어도 하나 이상의 제2 의료 영상을 외부의 제2 데이터베이스에 저장되도록 전송하는 과정 중 적어도 하나 이상을 수행한다.
적어도 하나 이상의 프로세서는 적어도 하나 이상의 제2 의료 영상을 편집하거나 적어도 하나 이상의 제2 의료 영상의 설정이 조정된 적어도 하나 이상의 제3 의료 영상을 생성할 수 있는 메뉴가 상세 분석 정보와 함께 연결 영상과 연결되도록 연결 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 시각화 방법은, 적어도 하나 이상의 프로세서가, 수신 인터페이스 모듈을 제어하여 적어도 하나 이상의 의료 영상을 획득하거나 수신하는 단계; 적어도 하나 이상의 프로세서가, 적어도 하나 이상의 의료 영상에 표시되며 적어도 하나 이상의 의료 영상과 적어도 하나 이상의 의료 영상에 대한 상세 분석 정보를 연결하는 연결 영상을 인식하는 단계; 적어도 하나 이상의 프로세서가, 연결 영상에 의하여 적어도 하나 이상의 의료 영상과 연결되는 상세 분석 정보를 의료 영상 분석 서버로 요청하는 단계; 및 적어도 하나 이상의 프로세서가, 의료 영상 분석 서버로부터 수신된 상세 분석 정보를 디스플레이 상에 시각화하는 단계를 포함한다. 이때 상세 분석 정보는 원본 의료 영상에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 중간 결과 및 최종 결과를 포함한다.
본 발명의 일 실시예에 따른 의료 영상 분석 방법은, 적어도 하나 이상의 프로세서가, 수신 인터페이스 모듈을 제어하여 적어도 하나 이상의 제1 의료 영상을 획득하거나 수신하는 단계; 적어도 하나 이상의 프로세서가, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정을 수행하는 단계; 적어도 하나 이상의 프로세서가, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정의 각 단계별 결과를 중간 결과 또는 최종 결과로서 생성하는 단계; 적어도 하나 이상의 프로세서가, 최종 결과를 표준화된 규격에 따라서 임시 결과 영상으로서 생성하는 단계; 적어도 하나 이상의 프로세서가, 중간 결과 및 최종 결과를 포함하는 상세 분석 정보를 생성하는 단계; 적어도 하나 이상의 프로세서가, 상세 분석 정보에 대한 연결 영상을 생성하는 단계; 적어도 하나 이상의 프로세서가, 연결 영상을 임시 결과 영상에 부가하여 적어도 하나 이상의 제2 의료 영상을 생성하는 단계; 적어도 하나 이상의 프로세서가, 적어도 하나 이상의 제2 의료 영상을 제1 데이터베이스에 저장하는 과정 및 적어도 하나 이상의 제2 의료 영상을 외부의 제2 데이터베이스에 저장되도록 전송하는 과정 중 적어도 하나 이상을 수행하는 단계를 포함한다.
의료 전문가인 사용자가 영상 처리 및/또는 영상 분석의 최종 결과를 확인한 후 최종 결과에 대한 의문을 가지거나 대안을 제시하기를 원할 때가 있다. 이때 사용자는 최종 결과가 생성되는 근거인 중간 결과를 확인하여 중간 결과가 적절하게 생성되었는지를 확인하기를 원할 수 있다. 본 발명에 따르면 임상의(clinician) 또는 영상의(radiologist)를 위한 워크플로우(workflow) 내에서 임상의 또는 영상의가 사용자로서 최종 결과가 생성되는 근거인 중간 결과를 확인하여 중간 결과 및 그로 인한 최종 결과가 적절하게 생성되었는지를 확인할 수 있다.
본 발명에 따르면 임상의(clinician) 또는 영상의(radiologist)를 위한 워크플로우(workflow) 내에서 임상의 또는 영상의가 인공 지능 기반 영상 분석 결과를 판정하거나 분석 결과에 대한 의사 결정을 하기에 적절하게 설계된 대표적인 시각화 형태를 제공할 수 있다.
본 발명에 따르면 인공 지능 기반 의료 영상 분석 결과 및 정량화 결과를 시각화할 수 있고, 또한 워크플로우 상 분석 결과 및 정량화 결과를 제공하기 위한 전처리 결과를 함께 시각화하여 의료 전문가의 임상적 판단 및 의사 결정을 보조할 수 있다.
본 발명에 따르면 의료 전문가가 인공 지능 기반 분석 결과 및 정량화 결과를 거부한 경우, 분석 결과 및 정량화 결과가 도출되는 기반이 되는 전처리 결과에 대한 거부도 가능하고, 전처리 과정, 분석 과정, 및 정량화 과정을 인공 지능과 독립적인 방법으로 다시 수행할 수 있는 사용자 메뉴를 제공할 수 있다.
본 발명에 따르면 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과의 객체 및/또는 값 각각을 사용자가 인터랙티브하게 확인할 수 있는 메뉴를 연결 영상을 경유하여 사용자에게 제공할 수 있다.
본 발명에 따르면 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과를 새롭게 도출할 수 있도록, 중간 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 중간 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공할 수 있다.
본 발명에 따르면 중간 결과에 기반하여 컴퓨터 소프트웨어의 처리 과정에서 도출되는 최종 결과를 새롭게 도출할 수 있도록, 최종 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 최종 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 분석 장치 및 의료 영상 시각화 장치를 포함하는 의료 영상 분석 및 시각화 시스템을 도시하는 도면이다.
도 2는 도 1의 의료 영상 분석 장치의 일 실시예를 도시하는 도면이다.
도 3은 도 1의 의료 영상 시각화 장치의 일 실시예를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 시각화 방법을 도시하는 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 분석 방법을 도시하는 동작 흐름도이다.
도 6은 본 발명의 일 실시예 따른 의료 영상 시각화 장치에서 디스플레이되는 의료 영상 뷰어를 도시하는 도면이다.
도 7 내지 도 14는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 실시예들을 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 연결 영상에 기반하여 상세 분석 정보와 함께 디스플레이되는 작업 환경 메뉴의 실시예를 도시하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 디스플레이되는 상세 분석 정보의 실시예를 도시하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 함께 디스플레이되는 상세 분석 정보 및 작업 환경 메뉴의 실시예를 도시하는 도면이다.
도 2는 도 1의 의료 영상 분석 장치의 일 실시예를 도시하는 도면이다.
도 3은 도 1의 의료 영상 시각화 장치의 일 실시예를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 시각화 방법을 도시하는 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 분석 방법을 도시하는 동작 흐름도이다.
도 6은 본 발명의 일 실시예 따른 의료 영상 시각화 장치에서 디스플레이되는 의료 영상 뷰어를 도시하는 도면이다.
도 7 내지 도 14는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 실시예들을 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 연결 영상에 기반하여 상세 분석 정보와 함께 디스플레이되는 작업 환경 메뉴의 실시예를 도시하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 디스플레이되는 상세 분석 정보의 실시예를 도시하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 함께 디스플레이되는 상세 분석 정보 및 작업 환경 메뉴의 실시예를 도시하는 도면이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류의 병변을 검출하는 데에 이용될 수 있다. 예를 들어 폐(lung)에 대해서는 폐결절(lung nodule)이 진단될 수 있는 동시에 만성 폐쇄성 폐질환(COPD, Chronic Obstructive Pulmonary Disease), 또는 폐기종(emphysema)이 진단될 수 있고, 만성 기관지염 또는 기도(airway)와 관련된 질환도 진단될 수 있다.
의료 영상을 이용한 진단(diagnosis)은 의료 전문가에 의하여 환자에게 발생한 질환 또는 병변을 식별하는 과정을 의미한다. 이때 의료 영상을 이용한 진단에 이르기 전에 의료 전문가는 의료 영상을 분석하고 의료 영상에 나타난 질환 또는 병변을 검출한다. 의료 영상에 대한 질환 또는 병변의 검출에 대한 일차적인 의견을 소견(findings)이라 하고, 의료 영상을 분석하여 소견을 도출하는 과정을 판독(reading)이라 한다.
의료 영상을 이용한 진단은 의료 영상의 판독 과정을 거쳐 도출된 소견을 다시 의료 전문가가 분석함으로써 이루어진다. 이 과정에서 의료 영상을 판독하고 소견을 도출하는 것은 영상의(radiologist)가 수행하고, 판독 결과 및 소견에 기반하여 진단을 도출하는 것은 임상의(clinician)이 수행하는 역할 분담이 빈번하게 이루어진다.
의료 영상에 대한 진단 보조는 매우 포괄적인 의미로서, 의료 영상의 판독 과정을 보조하는 경우, 의료 영상의 판독 결과에 대한 진단을 보조하는 경우, 의료 영상의 진단 결과에 기반하여 이후의 치료, 투약, 수술 등 의료 행위에 대한 의사 결정을 보조하는 경우로 구분될 수 있다.
또한 의료 영상을 이용하여 치료, 투약, 수술 등 특수한 의료 행위를 보조하는 경우가 별개의 기술 분야로서 알려져 있다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
이러한 인공 신경망 기술이 적용되어 의료 영상 내에서 인간의 육안으로 식별하기 어려운 질환이나 병변을 검출하고, 특정 조직 등 관심 영역을 분할하며(segmentation), 분할된 영역에 대한 측정 등 분석 과정을 수행할 수 있을 것으로 기대된다.
본 발명은 이처럼 다양한 의료 영상의 분석 기술에 의한 분석 결과를 의료 전문가에게 제공하여, 의료 전문가의 판독 및/또는 진단 과정을 보조하는 기술에 관한 것이다. 본 발명은 의료 영상의 분석 결과를 저장하는 과정, 및 시각화하는 과정에 특징이 있으며 이들은 의료 전문가의 판독 및/또는 진단 과정을 효과적으로 보조하기 위한 수단으로서 도출된 것이다.
본 발명의 구성 중 본 발명의 출원 전에 당업자에게 공지된 내용은 필요에 따라서 본 명세서에서 본 발명의 구성 중 일부로서 설명하되, 당업자에게 자명한 사실은 발명의 취지를 흐릴 수 있다고 생각되면 설명을 생략할 수 있다. 또한 본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, 일본공개특허 JP 2017-182244 "의료 정보 제공 시스템", 미국공개특허 US 2019/0356479 "Method, server and communication system for secure delivery of patient's image and consent data", 미국등록특허 US 10,945,807 "Augmented reality viewing and tagging for medical procedures", 한국공개특허 KR 10-2019-0138106 "의료 영상 저장 전송 시스템", 한국등록특허 KR 10-1818074 "인공지능 기반 의료용 자동 진단 보조 방법 및 시스템", 및 한국등록특허 KR 10-1943011 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
이상의 선행문헌들에서는 인공 신경망을 이용하여 병변 후보를 검출하고, 이들을 분류(classification)하여 소견(findings)을 생성한다. 각 소견은 진단 보조 정보를 포함하며, 진단 보조 정보는 각 소견이 실제로 병변일 확률, 소견의 신뢰도(confidence), 악성도(malignity), 및 소견이 대응하는 병변 후보들의 크기, 부피 등 정량적 측정을 포함할 수 있다.
인공 신경망을 이용한 의료 영상 판독 지원에서는 각 소견은 반드시 확률, 또는 신뢰도를 수치화하여 진단 보조 정보로서 포함하며, 모든 소견을 사용자에게 제공할 수 없으므로 일정한 임계치(threshold)를 적용하여 소견을 필터링하고, 필터링된 소견만이 사용자에게 제공된다.
종래 기술인 KR 10-1943011 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치" 등에서 임계치를 사용자가 조정할 수 있는 사용자 메뉴가 개시되지만, 종래 기술들에서는 모든 병변 또는 소견에 대해서 동일한 임계치가 일괄적으로 적용되고 있다.
이들 선행문헌들이 개시하는 내용 중 일부는 본 발명이 해결하고자 하는 문제점과 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 이들 선행문헌에도 공통적으로 적용된다.
본 발명은 의료 영상을 이용한 진단(diagnosis)을 보조하는 장치 및 방법에 관한 것이다. 구체적으로는 의료 영상을 이용한 진단을 보조하기 위하여 의료 영상을 자동으로 분석하고 저장하는 장치 및 방법, 의료 영상의 분석 결과를 이용하여 의료 영상의 판독(reading)을 보조하는 의료 영상 시각화 장치 및 방법에 관한 것이다. 본 발명의 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법은 모두 컴퓨팅 시스템 및 그 컴퓨팅 시스템에서 실행되는 소프트웨어에 의하여 실행된다.
이하의 도 1 내지 도 17의 설명에서, 본 발명의 기술 분야에서 널리 알려진 공지 기술이라고 간주되는 사항은 요점을 흐리지 않기 위하여 필요에 따라 설명을 생략하거나, 선행문헌을 인용함으로써 설명을 대체할 수 있다.
또한 앞서 인용된 선행문헌 및 이후 인용되는 선행문헌들의 구성의 일부 또는 전부는 본 발명이 해결하고자 하는 문제점의 일부와 관련될 수 있으며, 본 발명이 채택하는 해결 수단 중 일부는 선행문헌들로부터 차용한 것일 수 있다.
선행문헌들에 개시된 사항들 중 본 발명을 구체화하기 위하여 공통적으로 포함되는 사항에 한하여 본 발명의 구성의 일부로서 간주될 것이다.
이하에서 본 발명의 상세한 사항을 도 1 내지 도 17의 실시예들을 통하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 분석 장치 및 의료 영상 시각화 장치를 포함하는 의료 영상 분석 및 시각화 시스템을 도시하는 도면이다.
도 1을 참조하면, 영상 진단 장치(110)로부터 획득된 원본 의료 영상인 의료 영상 A는 PACS(120) 또는 의료 영상 분석 장치(130)로 전달된다. PACS(120)는 의료 영상 A를 저장하는 시스템이다. 의료 영상 분석 장치(130)는 의료 영상 A를 영상 진단 장치(110)로부터 수신할 수 있고, PACS(120)에 의료 영상 A를 요청하여 PACS(120)에 저장된 의료 영상 A를 수신할 수도 있다. 영상 진단 장치(110)는 CT, MRI, 초음파 등의 의료 영상을 획득하는 장치를 의미하며, 영상 진단 장치(110)의 종류를 모달리티(modality)라 칭하기도 한다.
의료 영상 분석 장치(130)는 의료 영상 분석 서버일 수도 있다. 의료 영상 분석 장치(130)는 원본 의료 영상인 의료 영상 A를 분석하여 상세 분석 정보를 생성할 수 있다. 이때 의료 영상 분석 장치(130)는 의료 영상 A의 분석 결과를 이미지화하여 의료 영상 B(150)를 생성할 수 있다. 의료 영상 분석 장치(130)는 의료 영상 A의 상세 분석 정보에 대한 연결 영상(160)을 생성하여, 연결 영상(160)이 포함된 의료 영상 B(150)를 생성할 수 있다. 의료 영상 분석 장치(130)는 의료 영상 B(150)를 PACS(120)에 전송하고, PACS(120)는 의료 영상 B(150)를 저장할 수 있다.
의료 영상 시각화 장치(140)가 PACS(120)에 원본인 의료 영상 A 및/또는 의료 영상 A에 대한 분석 결과가 이미지로서 생성된 의료 영상 B(150)를 요청하고, PACS(120)로부터 의료 영상 A 및/또는 의료 영상 B(150)를 수신할 수 있다.
의료 영상 시각화 장치(140)가 의료 영상 B(150)에 포함된 연결 영상(160)을 인식하고, 연결 영상(160)에 연결된 상세 분석 정보를 의료 영상 분석 장치(130)로 요청할 수 있다. 상세 분석 정보는 이미지 정보와 논-이미지 정보를 모두 포함할 수 있다. 일반적인 Legacy PACS는 DICOM 포맷에 따른 이미지 정보만을 저장할 수 있으므로, 의료 영상 B(150)는 PACS(120)에 저장 및 보관되기 위하여 생성되는 이미지 정보이다. 의료 영상 분석 장치(130)는 의료 영상 A에 대한 상세 분석 결과 중 최종 결과를 이미지화하여 의료 영상 B(150)를 생성한다.
도 2는 도 1의 의료 영상 분석 장치의 일 실시예를 도시하는 도면이다.
도 2를 참조하면, 의료 영상 분석 장치(130)는 컴퓨팅 시스템(131) 및 데이터베이스(136)를 포함한다. 컴퓨팅 시스템(131)은 적어도 하나 이상의 프로세서(132), 수신 인터페이스 모듈(133), 및 송신 인터페이스 모듈(134)를 포함한다.
수신 인터페이스 모듈(133)은 프로세서(132)에 의하여 제어되어 영상 진단 장치(110) 또는 PACS(120)로부터 의료 영상 A를 수신할 수 있다. 송신 인터페이스 모듈(134)는 프로세서(132)에 의하여 제어되어 의료 영상 B(150)를 PACS(120)로 제어하거나, 의료 영상 시각화 장치(140)의 요청에 응답하여 의료 영상 A에 대한 상세 분석 정보를 의료 영상 시각화 장치(140)로 전송할 수 있다.
데이터베이스(136)는 프로세서(132)의 제어에 의하여 의료 영상 A, 의료 영상 B(150), 및 상세 분석 정보를 저장할 수 있다.
도 3은 도 1의 의료 영상 시각화 장치의 일 실시예를 도시하는 도면이다.
도 3을 참조하면, 의료 영상 시각화 장치(140)는 컴퓨팅 시스템(141) 및 디스플레이(146)를 포함한다. 컴퓨팅 시스템(141)은 적어도 하나 이상의 프로세서(142), 수신 인터페이스 모듈(143), 및 송신 인터페이스 모듈(144)를 포함한다.
수신 인터페이스 모듈(143)은 프로세서(142)에 의하여 제어되어 PACS(120)로부터 의료 영상 A 및/또는 의료 영상 B(150)를 수신할 수 있다. 프로세서(142)는 의료 영상 B(150)에 표시된 연결 영상(160)을 인식하고, 연결 영상(160)에 연결된 상세 분석 정보를 송신 인터페이스 모듈(144)을 경유하여 의료 영상 분석 서버 또는 의료 영상 분석 장치(130)로 요청할 수 있다.
디스플레이(146)는 의료 영상 A, 의료 영상 B(150), 및/또는 상세 분석 정보를 프로세서(142)의 제어에 의하여 디스플레이할 수 있다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 시각화 방법을 도시하는 동작 흐름도이다. 도 4의 의료 영상 시각화 방법은, 의료 영상 시각화 장치(140) 내의 프로세서(142)에 로드되어 프로세서(142)에 의하여 실행되는 컴퓨터 프로그램 인스트럭션에 의하여 실행된다.
본 발명의 일 실시예에 따른 의료 영상 시각화 방법에서는, 적어도 하나 이상의 프로세서(142)가, 수신 인터페이스 모듈(141)을 제어하여 적어도 하나 이상의 의료 영상 B(150)을 획득하거나 수신하는 단계(S410)가 실행된다.
적어도 하나 이상의 프로세서(142)가, 적어도 하나 이상의 의료 영상 B(150)에 표시되며 적어도 하나 이상의 의료 영상 B(150)과 적어도 하나 이상의 의료 영상 B(150)에 대한 상세 분석 정보를 연결하는 연결 영상(160)을 인식하는 단계(S420)가 실행된다.
적어도 하나 이상의 프로세서(142)가, 연결 영상(160)에 의하여 적어도 하나 이상의 의료 영상 B(150)와 연결되는 상세 분석 정보를 의료 영상 분석 서버 또는 의료 영상 분석 장치(130)로 요청하는 단계(S430)가 실행된다.
적어도 하나 이상의 프로세서(142)가, 의료 영상 분석 서버 또는 의료 영상 분석 장치(130)로부터 수신된 상세 분석 정보를 디스플레이(146) 상에 시각화하는 단계(S440)가 실행된다.
이때 상세 분석 정보는 원본 의료 영상(의료 영상 A)에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상 B(150)로서 생성되는 과정의 중간 결과 및 최종 결과를 포함한다.
상세 분석 정보는 원본 의료 영상 A에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상 B(150)로서 생성되는 과정의 중간 결과 및 최종 결과에 대한 이미지 정보 및 논-이미지 정보를 포함할 수 있다. 연결 영상(160)이 표시되는 적어도 하나 이상의 의료 영상 B(150)는 legacy PACS에 저장되는 것을 전제로 하여 DICOM 포맷에 따른 이미지 정보만을 포함할 수 있다. 연결 영상(160)은 legacy PACS에 저장되지 못하는 논-이미지 정보를 포함하는 상세 분석 정보를 사용자에게 제공할 수 있다. 연결 영상(160)은 PACS(120)에서 제공되는 DICOM 포맷의 이미지 정보 외에 사용자가 참조하기를 원하는 상세 분석 정보를 추가적으로 사용자에게 제공할 수 있는 수단이다. 이때 상세 분석 정보는 연결 영상(160)에 의하여 의료 영상 시각화 장치(140)로부터 의료 영상 분석 서버인 의료 영상 분석 장치(130)로 요청될 수 있다.
연결 영상(160)은 이미지 정보로서 DICOM 포맷을 준수하는 의료 영상 B(150) 내에 포함될 수 있으며, 이미지 정보이면서 상세 분석 정보에 대응하는 URL 주소 등을 포함할 수 있는 QR 코드, 바코드 등을 이용하여 구현될 수 있다.
의료 영상 시각화 장치(140)가 모바일 디바이스이고, PACS(120)에 저장된 영상을 디스플레이하는 별도의 디스플레이 디바이스가 존재하는 경우, 모바일 디바이스에 장착된 카메라를 이용하여 PACS(120)로부터 호출된 의료 영상 B(150) 내의 연결 영상(160)을 촬영하여 모바일 디바이스가 연결 영상(160)을 인식할 수 있다. 의료 영상 시각화 장치(140)가 일반적인 퍼스널 컴퓨터 또는 워크스테이션인 경우, 또는 모바일 디바이스로서 의료 영상 B(150)가 모바일 디바이스에 디스플레이되는 경우, 의료 영상 시각화 장치(140)의 디스플레이(146) 상에 디스플레이되는 의료 영상 B(150)의 연결 영상(160) 영역을 마우스로 클릭하거나, 마우스로 드래그하여 선택하거나, 터치하는 경우 해당 영역의 연결 영상(160)을 인식하도록 부가적인 소프트웨어가 설치될 수 있다. 부가적인 소프트웨어는 의료 영상 시각화 장치(140) 상에 설치되는 애드-온 프로그램일 수 있다.
적어도 하나 이상의 프로세서(142)는 원본 의료 영상 A에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상 B(150)으로서 생성되는 과정의 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 또는 거부의 피드백을 입력할 수 있는 메뉴와 함께 상세 분석 정보를 시각화할 수 있다. 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다. 실시예에 따라서는 "Accept" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다. 또 다른 실시예에 따라서는 사용자가 "Reject"를 선택한 경우에 비로소 연결 영상(160)에 대한 인식 기능이 활성화되고, 연결 영상(160)에 의하여 상세 분석 정보 및/또는 작업 환경 메뉴가 사용자에게 제공될 수도 있다.
적어도 하나 이상의 프로세서(142)는 중간 결과 및 최종 결과 중 적어도 하나 이상에 대하여 사용자가 승인한 경우, 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 사실을 적어도 하나 이상의 의료 영상 B(150) 및 상세 분석 결과와 관련시켜 데이터베이스에 저장할 수 있다. 이때 저장되는 데이터베이스는 의료 영상 분석 서버 또는 의료 영상 분석 장치(130)의 데이터베이스(136)일 수도 있고, 의료 영상 시각화 장치(140) 내의 데이터베이스일 수도 있다. 이때 저장되는 것은 사용자가 승인했다는 사실로서, 의료 전문가의 승인을 거쳤으므로 상세 분석 결과가 검증된 분석 결과임을 시사하는 정보로서 부가 저장될 수 있다.
적어도 하나 이상의 프로세서(142)는 중간 결과 및 최종 결과 중 적어도 하나 이상을 사용자가 수동으로 수정할 수 있는 작업 환경 메뉴를 연결 영상(160)과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 이때 작업 환경 메뉴를 통하여 사용자는 기존의 중간 결과 및 최종 결과와 대응하되 새로운 중간 결과 및 최종 결과를 기존의 중간 결과 및 최종 결과와는 독립적으로 생성할 수 있다.
상세 분석 정보는 원본 의료 영상 A에 대한 전처리 결과를 중간 결과로서 포함할 수 있다. 전처리 결과에 기반하여 생성되는 원본 의료 영상 A에 대한 정량적 분석 결과를 최종 결과로서 포함할 수 있다. 예를 들어 영상 전처리 결과로서 영상 분할에 의한 장기(organ) 및/또는 병변의 분할 결과가 중간 결과로서 상세 분석 정보에 포함될 수 있다.
상세 분석 정보는 원본 의료 영상 A에 대한 객체 식별 결과를 중간 결과로서 포함할 수 있다. 객체 식별 결과에 대하여 임계치를 적용하여 필터링한 결과를 최종 결과로서 포함할 수 있다. 예를 들어 컴퓨터 보조 진단(CAD, computer-aided diagnosis)에서 병변 후보로서 식별된 객체, 즉 객체 식별 결과가 중간 결과로서 포함될 수 있다.
적어도 하나 이상의 프로세서(142)는 적어도 하나 이상의 의료 영상 B(150)를 편집하거나 적어도 하나 이상의 의료 영상 B(150)의 설정이 조정된 새로운 의료 영상을 생성할 수 있는 메뉴를 연결 영상(160)과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
적어도 하나 이상의 프로세서(142)는 적어도 하나 이상의 의료 영상 B(150)이 원본 의료 영상 A에 대한 재구성 영상 및 리포맷 영상 중 적어도 하나 이상인 경우, 재구성 영상 및 리포맷 영상 중 적어도 하나 이상이 생성되는 범위, 각도, 뷰포인트, 및 옵션 중 적어도 하나 이상을 조정하여 새로운 재구성 영상 및 리포맷 영상 중 적어도 하나 이상을 새로운 의료 영상으로서 생성할 수 있는 작업 환경 메뉴를 연결 영상(160)과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
적어도 하나 이상의 프로세서(142)는, 적어도 하나 이상의 의료 영상 B(150)이 영상 분석 결과를 나타낸 리포트를 포함하는 경우, 리포트를 생성하기 위하여 사용되는 적어도 하나 이상의 파라미터를 조정하여 새로운 리포트를 생성할 수 있는 작업 환경 메뉴를 연결 영상(160)과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 예를 들어 리포트 생성 시의 여러 파라미터/변수를 조정하거나 리포트를 새롭게 생성하거나 리포트를 위해 캡쳐되는 영상의 개수를 조정하거나 리포트의 레이아웃을 조정할 수 있는 기능을 제공하는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
적어도 하나 이상의 프로세서(142)는, 상세 분석 정보가 원본 의료 영상 A에 대한 객체 식별 결과를 포함하는 경우, 객체 식별 결과에 대하여 적용하는 임계치를 수정하거나, 수정된 임계치를 적용하여 필터링한 결과를 새로운 상세 분석 정보로서 생성하거나, 임계치가 적용되기 전의 객체 식별 결과를 수동으로 검증할 수 있는 작업 환경 메뉴를 연결 영상(160)과 연결하여 상세 분석 정보와 함께 제공할 수 있다. 예를 들어 이미 도출된 CAD 결과에 필터를 걸어 보고 싶은 대상을 변경하거나, CAD 결과에 대한 검증을 통해 최종 리포트를 다시 생성할 수 있는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 분석 방법을 도시하는 동작 흐름도이다. 도 5의 의료 영상 분석 방법은, 의료 영상 분석 서버 또는 의료 영상 분석 장치(130) 내의 프로세서(132)에 로드되어 프로세서(132)에 의하여 실행되는 컴퓨터 프로그램 인스트럭션에 의하여 실행된다.
본 발명의 일 실시예에 따른 의료 영상 분석 방법에서는, 적어도 하나 이상의 프로세서(132)가, 수신 인터페이스 모듈(131)을 제어하여 적어도 하나 이상의 제1 의료 영상으로서 의료 영상 A를 획득하거나 수신하는 단계(S510)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정을 수행하는 단계가 실행되고, 적어도 하나 이상의 프로세서(132)가, 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정의 각 단계별 결과를 중간 결과 또는 최종 결과로서 생성하는 단계(S520)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 최종 결과를 표준화된 규격(예를 들면, DICOM)에 따라서 임시 결과 영상으로서 생성하는 단계(S530)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 중간 결과 및 최종 결과를 포함하는 상세 분석 정보를 생성하는 단계(S540)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 상세 분석 정보에 대한 연결 영상(160)을 생성하는 단계(S550)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 연결 영상(160)을 임시 결과 영상에 부가하여 적어도 하나 이상의 제2 의료 영상으로서 의료 영상 B(150)를 생성하는 단계(S560)가 실행된다.
적어도 하나 이상의 프로세서(132)가, 적어도 하나 이상의 제2 의료 영상으로서 의료 영상 B(150)를 제1 데이터베이스(136)에 저장하는 과정 및 적어도 하나 이상의 제2 의료 영상으로서 의료 영상 B(150)를 외부의 제2 데이터베이스에 저장되도록 송신 인터페이스 모듈(134)을 경유하여 전송하는 과정 중 적어도 하나 이상을 수행하는 단계가 실행된다. 이때 외부의 제2 데이터베이스는 PACS(120)의 데이터베이스일 수 있다.
적어도 하나 이상의 프로세서(132)는 적어도 하나 이상의 제2 의료 영상으로서 의료 영상 B(150)를 편집하거나 적어도 하나 이상의 제2 의료 영상의 설정이 조정된 적어도 하나 이상의 제3 의료 영상을 생성할 수 있는 메뉴가 상세 분석 정보와 함께 연결 영상과 연결되도록 연결 영상(160)을 생성할 수 있다.
적어도 하나 이상의 프로세서(132)는 사용자 승인/거부 입력 가능한 메뉴를 상세 분석 정보와 함께 표시할 수 있는 페이지로 연결되는 URL을 포함하는 연결 영상(160)을 생성할 수 있다. 이때 사용자 승인/거부 입력 가능한 메뉴는 원본 의료 영상 A에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상 B(150)으로서 생성되는 과정의 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 또는 거부의 피드백을 입력할 수 있는 메뉴일 수 있다. 사용자 메뉴는 "Confirm" 또는 "Reject" 중 어느 한 쪽을 사용자가 선택할 수 있도록 하는 사용자 인터페이스로 제공될 수 있다.
적어도 하나 이상의 프로세서(132)는 중간 결과 및 최종 결과 중 적어도 하나 이상에 대하여 사용자가 승인한 경우, 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 사실을 적어도 하나 이상의 의료 영상 B(150) 및 상세 분석 결과와 관련시켜 데이터베이스(136)에 저장할 수 있다. 이때 저장되는 것은 사용자가 승인했다는 사실로서, 의료 전문가의 승인을 거쳤으므로 상세 분석 결과가 검증된 분석 결과임을 시사하는 정보로서 부가 저장될 수 있다.
적어도 하나 이상의 프로세서(132)는 중간 결과 및 최종 결과 중 적어도 하나 이상을 사용자가 수동으로 수정할 수 있는 작업 환경 메뉴 및 상세 분석 정보를 표시하는 페이지의 URL을 포함하는 연결 영상(160)을 생성할 수 있다. 이때 작업 환경 메뉴를 통하여 사용자는 기존의 중간 결과 및 최종 결과와 대응하되 새로운 중간 결과 및 최종 결과를 기존의 중간 결과 및 최종 결과와는 독립적으로 생성할 수 있다.
적어도 하나 이상의 프로세서(132)는 적어도 하나 이상의 의료 영상 B(150)를 편집하거나 적어도 하나 이상의 의료 영상 B(150)의 설정이 조정된 새로운 의료 영상을 생성할 수 있는 메뉴가 상세 분석 정보와 함께 표시되는 페이지로 연결되는 URL을 포함하는 연결 영상(160)을 생성할 수 있다.
적어도 하나 이상의 프로세서(132)는 적어도 하나 이상의 의료 영상 B(150)이 원본 의료 영상 A에 대한 재구성 영상 및 리포맷 영상 중 적어도 하나 이상인 경우, 재구성 영상 및 리포맷 영상 중 적어도 하나 이상이 생성되는 범위, 각도, 뷰포인트, 및 옵션 중 적어도 하나 이상을 조정하여 새로운 재구성 영상 및 리포맷 영상 중 적어도 하나 이상을 새로운 의료 영상으로서 생성할 수 있는 작업 환경 메뉴가 상세 분석 정보와 함께 표시되는 페이지로 연결되는 URL을 포함하는 연결 영상(160)을 생성할 수 있다.
적어도 하나 이상의 프로세서(132)는, 적어도 하나 이상의 의료 영상 B(150)이 영상 분석 결과를 나타낸 리포트를 포함하는 경우, 리포트를 생성하기 위하여 사용되는 적어도 하나 이상의 파라미터를 조정하여 새로운 리포트를 생성할 수 있는 작업 환경 메뉴가 상세 분석 정보와 함께 표시되는 페이지로 연결되는 URL을 포함하는 연결 영상(160)을 생성할 수 있다. 예를 들어 리포트 생성 시의 여러 파라미터/변수를 조정하거나 리포트를 새롭게 생성하거나 리포트를 위해 캡쳐되는 영상의 개수를 조정하거나 리포트의 레이아웃을 조정할 수 있는 기능을 제공하는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
적어도 하나 이상의 프로세서(132)는, 상세 분석 정보가 원본 의료 영상 A에 대한 객체 식별 결과를 포함하는 경우, 객체 식별 결과에 대하여 적용하는 임계치를 수정하거나, 수정된 임계치를 적용하여 필터링한 결과를 새로운 상세 분석 정보로서 생성하거나, 임계치가 적용되기 전의 객체 식별 결과를 수동으로 검증할 수 있는 작업 환경 메뉴가 상세 분석 정보와 함께 표시되는 페이지로 연결되는 URL을 포함하는 연결 영상(160)을 생성할 수 있다. 예를 들어 이미 도출된 CAD 결과에 필터를 걸어 보고 싶은 대상을 변경하거나, CAD 결과에 대한 검증을 통해 최종 리포트를 다시 생성할 수 있는 페이지가 작업 환경 메뉴로서 제공될 수 있다.
도 6은 본 발명의 일 실시예 따른 의료 영상 시각화 장치에서 디스플레이되는 의료 영상 뷰어를 도시하는 도면이다.
도 6을 참조하면, 다수의 스터디(study)를 일람할 수 있는 의료 영상 뷰어가 도시된다. 영역(610)에서는 다수의 스터디의 리스트가 디스플레이된다. 하나의 스터디는 관련된 다수의 시리즈(series)를 포함할 수 있다.
영역(610) 내에서 하나의 스터디(611)가 선택된 상태임이 도시된다.
영역(620) 내에서는 스터디(611)에 대응하는 다수의 시리즈의 리스트가 디스플레이된다. 영역(620) 내에서 선택된 시리즈 0003(622)에 해당하는 원본 의료 영상 A가 영역(630)에 디스플레이된다.
하나의 스터디(611) 내에는 다수의 시리즈가 포함될 수 있다. 이때 시리즈 003(622)는 원본 의료 영상 A일 수 있고, 시리즈 0011은 원본 의료 영상 A를 영상 분석 및 영상 처리하여 생성되는 배치 시리즈(batch series), 시리즈 0087은 원본 의료 영상 A를 영상 분석 및 영상 처리하여 얻어지는 결과의 리포트일 수 있다.
PACS(120)를 경유하여 제공되는 시리즈들은 모두 DICOM 포맷으로 구현된 이미지 정보이다. 의료 영상 분석 장치(130)가 의료 영상 A를 영상 분석 및 영상 처리하여 의료 전문가의 판독을 지원할 수 있는 부가 정보를 생성할 수 있다. 부가 정보는 의료 영상 A 내에 포함되는 임상적 의미를 추출하거나, 병변 후보를 검출하거나, 의료 영상 A 내에 포함되는 특정 영역에 대한 정량적 측정을 포함할 수 있다. DICOM 포맷은 이들 부가 정보를 이미지 정보로 변환할 것을 요구하므로, 사용자는 이미지 정보로 변환된 결과만을 시리즈로서 PACS(120) 내에서 열람할 수 있다.
도 7 내지 도 14는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 실시예들을 도시하는 도면이다.
의료 영상 분석 기술이 발전함에 따라, 인공 지능 또는 인공 신경망 기반의 영상 분석 알고리즘은 영상 내의 특정 병변을 검출/진단할 뿐 아니라 분할된 영역에 대한 정량화된 정보를 얻을 수 있다. 이러한 정량화된 정보를 얻는 과정은 측정이라고 불리기도 한다. 측정 결과는 의료 전문가의 영상 판독을 보조하는 정보로서 작용할 수 있다. 영상 분석 및/또는 영상 분할이 아무리 정확하더라도 현재 기술 수준에서 100% 정확도를 달성할 수는 없으며, 의료 영상 분석에서는 한 번의 실패라도 치명적인 결과를 초래할 수 있기 때문에 영상 분석의 실패에 대한 대안을 마련하는 것은 매우 중요하다.
측정 결과가 부정확하거나 합리적인 수준을 벗어나는 경우에는 전처리 과정인 영상 분할(image segmentation)이 실패하거나 부정확한 경우일 수 있다.
예를 들어 폐 영상에서는 폐엽 분할(lung lobe segmentation), 기도 분할(airway segmentation)이 중요하다. 이들 분할 결과들에 기반하여 의료 영상 분석 알고리즘 또는 인공 신경망을 이용하여 폐기종(emphysema), 기도 벽 두께(airway wall thickness) 등과 관련된 정량화된 정보를 얻을 수 있다.
심장 영상에서는 동맥/정맥 등 혈관 분할(blood vessel segmentation)이 중요하다. 이들 분할 결과들에 기반하여 의료 영상 분석 알고리즘 또는 인공 신경망을 이용하여 칼슘 스코어링 등에 관련된 정량화된 정보를 얻을 수 있다.
정량화된 정보를 얻는 측정 과정의 결과들은 그 전처리 과정인 영상 분할 과정이 정확하지 않거나 영상 분할이 실패하는 경우, 정량화된 측정 결과가 너무 낮거나 너무 높은 등, 합리적인 범위를 넘어서는 경우가 있을 수 있다.
정량화된 측정 결과가 합리적인 범위를 넘어서서 너무 높은 경우에는 의료 전문가가 의료 영상을 한번 더 확인하여 잘못된 측정을 바로잡을 가능성이 높겠지만, 정량화된 측정 결과가 합리적인 범위를 넘어서서 너무 낮은 경우가 문제될 수 있다. 이때에는 의료 전문가가 의료 영상 분석 알고리즘 또는 인공 신경망의 분석 결과만을 참고한다면 실제 질환이 있는 데도 발견하지 못한 채로 지나치게 될 가능성이 있다.
그러나 위와 같은 이유로 정량화된 분석 결과를 제공하는 모든 경우에 의료 전문가가 의료 영상 원본을 다시 한번씩 모두 살펴보는 것은 매우 부담스러운 일이 될 것이며, 자동으로 제공되는 정량화된 분석 결과를 이용하는 취지에 전혀 부합하지 않는다. 따라서 정량화된 분석 결과를 제공하되, 정량화된 분석 결과가 정확한지 또는 합리적인 수준을 벗어난 오류가 있지는 않은 지에 대한 판단을 보조할 수 있도록 상세 분석 정보에 접근할 수 있는 기회를 연결 영상(160)을 이용하여 제공하고, 상세 분석 정보를 정량화된 분석 결과와 함께 시각화하고, 사용자인 의료 전문가가 상세 분석 정보와 함께 시각화된 정량화된 분석 결과를 확인할 수 있도록 하는 사용자 인터페이스를 제공하는 것은 워크플로우를 개선하고 오류를 방지할 수 있는 효과적인 수단일 것이다.
이때 사용자는 의료 전문가인 임상의(clinician) 또는 영상의(radiologist)일 수도 있지만, 진단하고자 하는 대상에 따라서는 영상 분할 등 기본적인 전처리 과정이 합리적인 범위 내에서 수행되었는 지를 확인하는 정도의 지식만 가지고 있는 보조 스태프일 수도 있다. 즉, 임상적인 지식을 가지고 있지 않더라도 영상 내 특정 영역의 분할이 정확히 수행되었는 지를 확인할 수 있는 정도의 대표성을 가지고 있다면 본 발명의 사용자일 수 있다.
또한 도 1 내지 도 5의 실시예에 도시된 것처럼, 사용자가 거부한 분석 결과에 대해서는 수동 또는 반자동으로 다시 분석하여 올바른 분석 결과를 측정할 수 있도록 보조하는 사용자 메뉴를 제공하는 것도 워크플로우로서 중요하다.
사용자가 승인한 분석 결과는 원래의 진단 목적으로 이용할 수 있도록(의료기관 내에서 진단 목적으로 이용할 수 있도록) PACS 데이터베이스 등에 저장하는 구성도 워크플로우로서 중요하다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 7에 따르면 폐엽 분할 및 LAA(Low Attenuation Area) 분석 결과에 기반하여 상세 분석 정보이면서 대표적인 시각화 형태로서 도출된 좌폐 중심부의 Sagittal 영상이 도시된다.
좌폐 중심부의 Sagittal 영상은 좌폐가 3개의 폐엽(710, 720, 730)으로 분할된 결과와 함께 도시된다. 이 경우 좌폐 중심부의 Sagittal 영상은 분석 결과에 따른 대표적인 시각화 형태 중 하나이고, 영상 분석 결과에 대응하는 전처리 결과로서, 또는 영상 분석 결과에 포함되는 전처리 결과로서 좌폐의 3개의 폐엽(710, 720, 730) 분할 결과가 오버레이되어 시각화된다.
LAA는 폐를 포함하는 CT 영상에 대하여 분석된 결과로서 CT 영상 내의 밝기값이 기준값보다 어두운 영역을 의미할 수 있다. 정상적인 폐포는 호흡의 페이즈에 따라서 CT 영상 내에서 밝기값이 변할 수 있다. 그러나 폐의 CT 영상 내에서 특정한 기준값 미만의 밝기값으로 계속 유지되는 영역은 공기로 채워진 영상이고 폐포가 터졌거나 비활성화된 것으로 간주되므로 호흡에 도움이 되지 않는 영역으로 판단될 수 있다.
LAA에 대한 정량 분석 결과는 특정한 영역(region) 내에서 밝기값이 기준값(예를 들어 -950 HU) 이하로 유지되는 영역의 부피의 해당 영역의 부피에 대한 비율로 나타낼 수 있다. 또 다른 LAA에 대한 정량 분석 결과는 LAA 영역의 크기를 구분하여 크기 별로 LAA 영역의 개수를 카운트하여 표시하는 방법으로도 나타낼 수 있다. 이러한 정량화 결과는 환자의 호흡 레벨(호흡을 어느 정도까지 들이마셨는지)에 따라 달라지며, Log 연산을 이용하여 가공할 경우 호흡 레벨과 무관한 일정한 값을 도출하여 환자의 폐의 전체적인 능력에 대한 지표로서 제공될 수 있다. 이러한 LAA에 대한 정량적 측정 결과는 만성 폐쇄성 폐질환(COPD) 등의 진단을 위하여 사용자에게 제공되며, 진단을 보조할 수 있다.
이러한 LAA 분석 결과는 복수의 단계의 영상 처리 과정을 거쳐서 얻어진다.
폐 CT 영상은 Whole Lung, Left Lung, Right Lung으로 분할될(segmented) 수 있다. Left Lung과 Right Lung 각각의 폐엽이 분할될 수 있다.
LAA 분석 결과 중 영역 별로 LAA 영역의 비율을 도출하기 위한 기준 영역은 이렇게 구분된 폐엽 또는 좌폐/우폐일 수 있다.
LAA 분석 결과를 도출하기 위해 필요한 복수의 전처리 과정들에 오류가 있으면 LAA 분석 결과에 대해서도 신뢰성이 낮아질 수 있다.
따라서 분석 결과에 기반하여, 분석 결과에 도달하기 위한 복수의 전처리 과정들의 전처리 결과들이 대표적인 시각화 형태와 함께 시각화되어 분석 결과와 함께 제공될 수 있다.
이처럼 도 7은 LAA 분석 결과에 기반하여, LAA 분석 결과에 대한 대표적인 시각화 형태 중 하나로서 사용자에게 제공될 수 있는 실시예이다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 8은 우폐 중심부의 Sagittal 영상으로서, 우폐에서 분할된 2개의 폐엽들(810, 820)이 도시된다.
도 8은 LAA 분석 결과에 도달하기 위한 전처리 과정의 결과로서, LAA 분석 결과를 도출하기 전의 중간 결과일 수 있다. 이러한 중간 결과가 상세 분석 정보이면서 대표적인 시각화 형태 중 하나로서 사용자에게 제공될 수 있다.
도 9는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 9는 기관 분지부(tracheal branches)의 Coronal 영상으로서, 폐엽 분할의 결과를 사용자가 평가하기에 효과적인 대표적인 시각화 형태의 하나이다. 이처럼 상세 분석 정보는 중간 결과를 사용자가 평가하기에 효과적인 대표적인 시각화 형태로서 사용자에게 제공될 수 있다. 본 발명의 일 실시예에 따르면 도 7 및 도 8을 대체하여 도 9의 실시예가 LAA 분석 결과와 함께 사용자에게 제공될 수 있다. 또 다른 실시예에 따르면 도 7 내지 도 9가 모두 함께 사용자에게 제공될 수 있다. 도 9는 영상 분할 결과를 모두 나타내기보다는 영상 분할이 실패할 가능성이 높은 영역을 대표적으로 시각화하여 사용자가 폐엽 분할의 결과를 효과적으로 평가할 수 있도록 보조하는 시각화 형태일 수 있다.
도 10은 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 10은 기관 분지부(tracheal branches)의 Coronal 영상에 검출된 LAA 영역을 표시하기 위한 대표적인 시각화 형태 중 하나이다.
도 11은 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 11은 도 10의 대표적인 시각화 형태 영상에 분석 결과인 검출된 LAA 영역을 오버레이하여 시각화하는 일 예를 도시한다. 특정 영역 내 LAA 영역의 비율을 산출하는 분석 결과와 함께 도 11의 영상이 표시되면, 본 발명의 의료 영상 판독 보조 장치는 도 11에서 좌폐/우폐, 및 그 좌폐/우폐 내에서 폐엽으로 분할되어야 할 부분과 LAA 영역의 비율이 합리적으로 산출되었는지를 사용자가 판단할 수 있도록 보조할 수 있다.
도 11에 도시되지는 않았으나, 본 발명의 또 다른 일 실시예에 따르면 검출된 LAA 영역을 LAA 영역의 크기에 기반하여 구분되는 시각화 요소(색상, 패턴, 명도)를 이용하여 시각화할 수도 있다.
도 12는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
분석 결과가 기도 분할(airway segmentation) 및 기도 분할에 기반한 정량화에 관련되는 분석인 경우, 기도 분할은 분석 결과이면서 전처리 결과일 수 있다. 이때 분석 결과 및 전처리 결과가 함께 대표적인 시각화 형태에 포함되도록 대표적인 시각화 형태가 생성될 수 있다. 도 12에서는 전처리 결과인 제1 의료 영상(150, 250, 350, 450, 550, 650)의 기도 분할 결과를 3차원 볼륨 렌더링 영상으로 표현하고, 3차원 볼륨 렌더링 영상에 색상, 명도, 채도, 패턴 등의 시각화 요소를 부가하여 제1 분석 결과(112, 212, 312, 412, 512, 612)인 정량화 결과를 제1 의료 영상(150, 250, 350, 450, 550, 650)의 3차원 볼륨 렌더링 영상에 함께 시각화할 수 있다. 이때 제1 시각화 형태(160, 260, 360, 460, 560, 660)는 제1 의료 영상(150, 250, 350, 450, 550, 650)의 3차원 볼륨 렌더링 영상 및 그에 부가된 시각화 요소를 포함할 수 있으며, 이때 제1 시각화 형태(160, 260, 360, 460, 560, 660)는 제1 의료 영상(150, 250, 350, 450, 550, 650)의 정보, 전처리 결과, 및 제1 분석 결과(112, 212, 312, 412, 512, 612)를 함께 시각화할 수 있는 대표적인 시각화 형태로서 도출될 수 있다.
도 12에서는 기도 분할 결과와 함께 기도 벽 두께(Airway Wall Thickness) 측정 분석 값이 함께 시각화되어 표시된다. 이때 정량화된 기도 벽 두께 정보는 색상과 함께 시각화되어 구분될 수 있다.
사용자는 기도 분할 결과를 정량화 분석 결과와 함께 볼 수 있으므로 기도 분할 결과가 정확한 지 여부에 대하여 판단할 수 있고, 정량화 분석 결과를 그대로 수용할 수 있을 지에 대한 근거 정보를 제공받을 수 있다. 사용자의 의료 영상 판독 과정은 대표적인 시각화 형태로서 제공되는 도 12의 영상에 기반하여 본 발명의 의료 영상 판독 보조 장치에 의하여 보조받을 수 있다.
기도 벽이 두꺼워지면 환자는 호흡을 내뱉기 어려워질 수 있다고 알려져 있다. 일반적으로 trachea 쪽은 기도 내강(airway lumen)과 기도 벽의 두께가 모두 크고, 미세 기관지 쪽으로 갈수록 lumen과 기도 벽의 두께가 작은 것으로 알려져 있다. 도 12에서 기도 벽의 두께가 기도 내의 상대적인 위치를 고려할 때 적절히 정량화되었는지를 사용자가 판단할 수 있도록 정량화 결과 및 대표적인 시각화 형태가 도시된다.
도 13은 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 13에서는 기도 분할 결과와 함께 기도 벽 면적%(Airway Wall Area %) 측정 분석 값이 함께 시각화되어 표시된다. 이때 정량화된 기도 벽 면적% 정보는 색상과 함께 시각화되어 구분될 수 있다.
도 12에서와 마찬가지로 사용자는 기도 분할 결과를 정량화 분석 결과와 함께 볼 수 있으므로 기도 분할 결과가 정확한 지 여부에 대하여 판단할 수 있고, 정량화 분석 결과를 그대로 수용할 수 있을 지에 대한 근거 정보를 제공받을 수 있다. 사용자의 의료 영상 판독 과정은 대표적인 시각화 형태로서 제공되는 도 13의 영상에 기반하여 본 발명의 의료 영상 판독 보조 장치에 의하여 보조받을 수 있다.
도 13에서 기도 벽 면적%가 기도 내의 상대적인 위치를 고려할 때 적절히 정량화되었는지를 사용자가 판단할 수 있도록 정량화 결과 및 대표적인 시각화 형태가 도시된다. 또한 기도 벽 면적% 정보가 100%이거나 100%에 가까운 영역에 대해서는 사용자가 임상의(clinician) 또는 전문의(radiologist)인 경우 분석 결과 및 도 13에서 시각화된 대표적인 시각화 형태를 고려하여 환자의 질환을 진단할 수 있다.
도 14는 본 발명의 일 실시예에 따른 의료 영상 시각화 장치에서 디스플레이되는 상세 분석 정보의 일 실시예를 도시하는 도면이다.
도 14는 관상 동맥의 석회화(CAC, Coronary Artery Calcification) 분석/측정 결과를 도시하는 대표적인 시각화 형태의 일 예를 도시한다.
분석 결과가 CAC인 경우, 심혈관 분할 과정이 전처리 과정으로서 실행된다. 이때 심혈관 분할 과정에 오류가 있어 갈비뼈 영역이 혈관 영역으로 편입되는 경우 CAC 측정값은 실제보다 매우 크게 측정되는 오류가 발생할 수 있다.
분석 결과가 CAC인 경우 대표적인 시각화 형태는 흉부 쪽의 뼈 영역이 혈관 분할 영역으로 편입되어 calcification으로 분류된 것을 확인할 수 있는 영상으로 제공될 수 있다. 예를 들어, CT 영상의 slice thickness가 50 mm로 설정된 Axial 영상 위에 검출된 calcification 영역을 모두 표시한 하나의 영상이 대표적인 시각화 형태 및 분석 결과의 시각화 정보로 생성될 수 있다. 이 경우 CT 영상의 Axial 영상이 대표적인 시각화 형태이고, 검출된 calcification 영역 전부가 대표적인 시각화 형태 위에 오버레이되어 시각화 정보로서 생성된다.
도 15는 본 발명의 일 실시예에 따른 연결 영상에 기반하여 상세 분석 정보와 함께 디스플레이되는 작업 환경 메뉴의 실시예를 도시하는 도면이다.
도 15를 참조하면, DICOM 포맷의 의료 영상(1510)이 호출되어 디스플레이된다. 의료 영상(1510)은 연결 영상(160)을 포함한다. 연결 영상(160)이 인식되고 연결 영상(160)에 의하여 의료 영상(1510)과 관련되는 상세 분석 정보가 디스플레이된다. 이때 연결 영상(160)에 의하여 의료 영상(1510)의 재구성 영상의 뷰포인트 등을 변경할 수 있는 페이지로서 작업 환경 메뉴(1520)가 제공된다. 작업 환경 메뉴(1520)는 의료 영상(1510)을 변경하거나 다시 생성할 수 있는 기능을 제공할 수 있다. 도 15에 도시된 영상은 3D Volume Rendering 영상인데, 원본 영상을 재구성하여 얻어진다. 의료 영상(1510)은 이미 재구성 완료된 3D rendering 영상이고, 사용자가 환자의 병변이나 질환을 진단하는 데에 의료 영상(1510)이 불충분하다고 판단하는 경우에 연결 영상(160)을 이용하여 의료 영상(1510)을 생성한 작업 환경 메뉴(1520)를 호출할 수 있다. 작업 환경 메뉴(1520)는 논-이미지 정보를 포함하므로 PACS(120)에서 제공되지는 못하며, 의료 영상 분석 장치(130)와 같은 분석 서버 또는 클라우드 서버에 저장된 상태에서 사용자의 의료 영상 시각화 장치(140)로 전달될 수 있다. 이때 사용자는 작업 환경 메뉴(1520)를 이용하여 의료 영상(1510)의 3D rendering을 다시 수행할 수도 있고, 3D rendering 영상의 방향, 뷰포인트 등을 변경할 수 있으며, axial 영상을 sagittal 또는 coronal 영상으로 재구성하거나 oblique한 방향의 영상을 재구성(reconstruction)/리포맷(reformat)할 수 있다.
도 16은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 디스플레이되는 상세 분석 정보의 실시예를 도시하는 도면이다.
도 16에서는 상세 분석 정보의 일 실시예로서 의료 영상 A에 대한 영상 분석 및 영상 처리 결과를 요약한 리포트(report)가 소개된다. 의료 영상 분석 장치(130)는 의료 영상 A에 대한 영상 분석 및 영상 처리 결과를 이미지로 캡쳐하여 의료 영상 B(150)를 생성한다. 의료 영상 B(150)에는 도 16과 같이 연결 영상(160)이 표시될 수 있다.
의료 영상 B(150)의 전체 프레임(1610)은 의료 영상 A에 대한 처리, 분석, 및 측정 결과를 포함하는 리포트(1610)로서 사용자에게 제공된다. 도 16에서는 전체 프레임(1610)에 하나의 연결 영상(160)이 표시되는 실시예가 도시되었지만, 본 발명의 다른 실시예에 따라서는 의료 영상 B(150)의 각 프레임 영역(1620, 1630, 1640, 1650)에 각각의 연결 영상(도시되지 않음)이 표시될 수도 있다.
연결 영상(160)에 의하여 연결되는 상세 분석 정보는 의료 영상 B(150)의 리포트(1610)의 각 프레임 영역(1620, 1630, 1640, 1650)의 중간 결과 및 최종 결과를 생성하는 작업 환경 메뉴와 함께 사용자에게 제공될 수 있다.
사용자는 연결 영상(160)에 의하여 프레임 영역(1620)부터 순차적으로 프레임 영역들(1630, 1640, 1650)의 상세 분석 정보를 열람할 수 있는 페이지를 제공받을 수 있다. 예를 들어 의료 영상 A에 대한 정량적 측정 결과를 요약하여 그래프화한 프레임 영역(1620), 및 이를 테이블로 정리한 프레임 영역(1630) 등이 상세 분석 정보로서 제공될 수 있다.
프레임 영역(1620) 및 프레임 영역(1630)이 생성되는 근거인 의료 영상(스카우트 영상 또는 coronal 영상)이 프레임 영역(1640)으로 제공될 수 있다. 이때 프레임 영역(1640)에서 영상 처리(영상 분할, 영상 재구성 등)을 거쳐 관심 영역에 대한 재구성 영상이 프레임 영역(1650)에 제공될 수 있다.
DICOM 이미지로 제공되는 의료 영상 B(150) 및 리포트(1610)에서는 이미 생성된 상세 분석 정보가 캡쳐된 이미지 정보만이 제공되므로, 사용자가 상세 분석 정보의 도출 과정에 의문을 가지거나 상세 분석 정보의 도출 과정 전반을 재확인하고 싶을 때 DICOM 이미지만으로는 상세 분석 정보의 도출 과정 전반에 대한 정보를 제공할 수 없다. 본 발명은 상세 분석 정보에 대한 별도의 링크를 제공하여 DICOM 이미지만이 아닌 논-이미지 정보를 함께 제공함으로써 사용자가 상세 분석 정보의 도출 과정 전반을 열람하고, 필요에 따라서 이를 수정하거나 변경할 수 있고, 상세 분석 정보를 다시 생성하는 것을 시도할 수 있는 작업 환경 메뉴를 제공할 수 있다.
예를 들어 프레임 영역(1640)에서는 프레임 영역(1640)의 원본 의료 영상 A에 대한 작업 환경 메뉴가 연결되고, 사용자의 선택에 의하여 작업 환경 메뉴가 제공될 수 있다. 사용자는 프레임 영역(1640)에서 선택할 수 있는 여러 파라미터 또는 변수를 조절하여 리포트(1610)의 전반의 내용을 새롭게 생성하는 것을 시도할 수 있다. 또한 리포트(1610)가 도 15에 도시된 것처럼 재구성 영상을 포함하는 경우에는, 작업 환경 메뉴는 리포트(1610)를 위하여 캡쳐되는 영상의 개수를 조정하거나 리포트(1610)에 포함될 영상을 추가로 캡쳐해 볼 수 있다. 즉, 정면의 coronal 영상만이 리포트(1610)에 포함되었으나, coronal 영상만으로는 부족하다고 생각되는 경우에 사용자는 oblique view, sagittal view, 등을 추가하여 새로운 리포트를 생성할 수 있다.
사용자에 의하여 파라미터 또는 변수가 조정되었거나 이미지가 추가되어 새롭게 생성되는 리포트는 영상 분석 장치(130)에 의하여 다시 PACS(120)에 전송될 수 있다. 이때의 새로운 리포트는 DICOM 포맷으로 캡쳐된 이미지 정보이며, 환자의 기존 스터디(study)(611)에 새로운 시리즈(series)로서 추가로 PACS(120)에 저장될 수 있다.
실시예에 따라서는 본 발명에 의하여 제공되는 리포트(1610)은 SR(structured report)를 포함할 수 있다.
도 17은 본 발명의 일 실시예에 따른 연결 영상에 기반하여 함께 디스플레이되는 상세 분석 정보 및 작업 환경 메뉴의 실시예를 도시하는 도면이다.
DICOM 포맷으로 제공되는 의료 영상 B(150)가 컴퓨터 보조 진단(CAD, computer-aided diagnosis)의 결과인 경우, 의료 영상 B(150)에 표시된 연결 영상(160)에 의하여 의료 영상 B(150)의 상세 분석 정보가 의료 영상 분석 서버 또는 분석 장치(130)로부터 호출되어 디스플레이될 수 있다.
도 17은 이러한 CAD 결과에 대하여 연결 영상(160)에 의하여 연결되는 상세 분석 정보 및 작업 환경 메뉴의 실시예를 도시한다.
CAD 결과는 의료 영상 A 내의 객체 식별 결과 또는 의료 영상 A 내의 객체에 대한 정량적 측정 결과를 포함한다. CAD 결과에 대하여 사용자가 의문을 가지는 경우, 연결 영상(160)에 대응하는 사용자 입력에 의하여 의료 영상 시각화 장치(140)는 상세 분석 정보를 의료 영상 분석 서버 또는 분석 장치(130)에 요청하고, 상세 분석 정보를 수신하여 디스플레이(146)에 디스플레이할 수 있다.
이때 상세 분석 정보와 함께 작업 환경 메뉴가 함께 제공될 수 있다. 사용자는 CAD 결과의 객체 식별 결과 또는 정량적 측정 결과에 대하여 임계치를 조정하거나, CAD 결과에 필터를 걸어 보고 싶은 대상을 변경하거나, CAD 결과를 재설정하여 CAD 결과에 대한 검증을 진행할 수 있다.
이때 CAD 결과를 도출하기 전의 전처리 결과로서 인공지능/인공 신경망 등에 의한 영상 분할 결과를 이용할 수 있다. 영상 분할 결과 등 인공 신경망에 의한 영상 전처리 결과가 만족스럽지 않은 경우 작업 환경 메뉴는 사용자로 하여금 영상 분할 등 영상 전처리 결과를 수동으로 수정할 수 있는 메뉴를 제공할 수 있다.
이때 사용자의 변경, 수정, 재검증을 통하여 얻어지는 새로운 분석 결과는 DICOM 이미지로 캡쳐되어 새로운 리포트 영상으로서 생성된다. 새로운 리포트 영상은 영상 분석 장치(130)에 의하여 다시 PACS(120)에 전송될 수 있다. 이때의 새로운 리포트는 DICOM 포맷으로 캡쳐된 이미지 정보이며, 환자의 기존 스터디(study)(611)에 새로운 시리즈(series)로서 추가로 PACS(120)에 저장될 수 있다.
QR 코드 등의 연결 영상에 의하여 연결되는 상세 분석 정보는 원본 의료 영상(의료 영상 A)에 대한 영상 분석 결과가 적어도 하나 이상의 의료 영상 B로서 생성되는 과정의 중간 결과 및 최종 결과를 포함한다.
QR 코드가 부여되는 적어도 하나 이상의 의료 영상 B는 (Legacy PACS에 저장되기 위해서) 최종 결과만을 포함하고, 중간 결과를 포함하지 않는다. 즉, 본 발명은 최종 결과로서 생성된 적어도 하나 이상의 의료 영상 B를 사용자가 체크한 후, 최종 결과가 도출되는 과정을 상세히 검증하기를 원할 때, 최종 결과가 도출되기 전의 중간 결과를 QR 코드 등을 이용하여 제공하는 것을 특징으로 한다.
이때 최종 결과 및 중간 결과는 모두 원본 의료 영상에 대한 영상 전처리 과정, 영상 처리 과정, 및/또는 영상 분석 과정에 의하여 수행되는 각 단계별 결과이다. 본 발명은 KR 10-2019-0138106 등 공지의 기술에서 의료영상 상의 QR 코드와 연결되어 제공되는 해당 의료 영상과 관련된 환자의 의무 기록, 및 환자의 개인 정보만으로는 해당 의료 영상 또는 최종 결과의 적절성을 검증하기 불가능한 경우를 타겟으로 한 것이고, 따라서 의료 전문가인 사용자가 원본 의료 영상으로부터 최종 결과가 얻어지기까지의 과정 전반을 상세하게 검증할 수 있는 정보 및 작업 환경을 제공할 수 있다.
중간 결과가 사용자에게 처음부터 제공되기 어려운 것은, 중간 결과가 대부분 방대한 데이터 량을 가지고 있거나, Legacy PACS에서 제공될 수 있는 이미지 데이터만으로는 취급할 수 없는 상세한 정보를 포함하는 경우가 빈번하기 때문이다.
Legacy PACS는 DICOM 기반의 이미지 데이터만을 저장하고 관리하며, 이미지 데이터가 아닌 별도의 부가 정보는 Legacy PACS가 아닌 다른 데이터베이스, 예를 들어 EMR, CIS 등에서 관리된다 다만 전자 의무 기록(EMR) 또는 CIS(진단 정보 시스템)는 미리 정의된 규정에 따른 데이터만을 저장하고 관리할 수 있으며, 규정에서 벗어나는 정보는 저장할 수 없다. 따라서 본 발명에서 언급하는 중간 결과는 종래의 Legacy PACS 뿐만 아니라, EMR, CIS 등에 의해서도 사용자에게 제공되기 어렵고, 별도의 영상 분석 전용 소프트웨어 등을 통하여 제공될 필요가 있다.
이때 사용자는 영상 분석 전용 소프트웨어를 번번이 실행시키는 대신, 자신에게 필요한 중간 결과만을 확인하기를 원할 수 있으며, 본 발명은 최종 결과에 연관되는 적어도 하나 이상의 중간 결과를 상세 분석 정보로서 QR 코드 등을 이용하여 사용자에게 제공할 수 있다. 사용자는 영상 분석 전용 소프트웨어를 직접 실행하지 않더라도 상대적으로 간편하게 최종 결과에 도달하는 전 단계인 중간 결과들을 확인할 수 있고, 최종 결과가 적절한 지 여부에 대하여 판단할 수 있는 풍부한 정보를 제공받을 수 있다.
의료 전문가인 사용자가 영상 처리 및/또는 영상 분석의 최종 결과를 확인한 후 최종 결과에 대한 의문을 가지거나 대안을 제시하기를 원할 때가 있다. 이때 사용자는 최종 결과가 생성되는 근거인 중간 결과를 확인하여 중간 결과가 적절하게 생성되었는지를 확인하기를 원할 수 있다.
이때 중간 결과는 사용자에게 영상만으로 제공되어서는 부족할 수 있다. 중간 결과에 포함되는 객체 및/또는 값 각각을 사용자가 인터랙티브하게 확인할 수 있는 메뉴가 동반되어야 중간 결과가 적절한 지 여부를 사용자가 판단할 수 있는 경우가 빈번하다. 따라서 본 발명은 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과의 객체 및/또는 값 각각을 사용자가 인터랙티브하게 확인할 수 있는 메뉴를 연결 영상을 경유하여 사용자에게 제공하는 구성을 특징으로 한다.
의료 전문가인 사용자가 중간 결과를 확인한 후 중간 결과에 대한 의문을 가지거나 대안을 제시하기를 원할 때가 있다. 사용자는 중간 결과의 특징적인 설정 또는 임계값을 변경하여 새로운 중간 결과를 도출하고, 새로운 중간 결과로부터 새로운 최종 결과를 얻기를 원할 수도 있다. 본 발명은 컴퓨터 소프트웨어의 처리 과정에서 도출되는 중간 결과를 새롭게 도출할 수 있도록, 중간 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 중간 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공하는 구성을 특징으로 한다.
의료 전문가인 사용자는 새로운 중간 결과를 이용하여 최종 결과를 새롭게 조정하기를 원할 수도 있다. 또는 의료 전문가인 사용자는 기존의 중간 결과를 그대로 이용하면서 최종 결과만을 새롭게 조정하기를 원할 수도 있다. 본 발명은 중간 결과에 기반하여 컴퓨터 소프트웨어의 처리 과정에서 도출되는 최종 결과를 새롭게 도출할 수 있도록, 최종 결과를 생성하는 데에 필요한 특징적인 설정 또는 값을 변경하여 새로운 최종 결과를 생성할 수 있는 작업 환경 및 사용자 메뉴를 제공하는 구성을 특징으로 한다.
이때 새로운 중간 결과 또는 최종 결과를 생성할 수 있는 작업 환경이 사용자에게 제공되더라도, 사용자는 영상 분석 전용 소프트웨어 전체를 직접 실행하지 않고 자신에게 필요한 기능만을 자신의 컴퓨팅 단말기에서 실행할 수 있다. 본 발명의 이러한 장점은 모바일 단말기, 웨어러블 단말기, 또는 컴퓨팅 파워/메모리 성능이 열화된 컴퓨팅 단말기에서 자유롭게 새로운 중간 결과 또는 최종 결과를 테스트할 수 있는 인터페이스를 제공할 수 있다.
중간 결과에 대한 시각화 또는 새로운 중간 결과/최종 결과를 생성할 수 있는 작업 환경은 씬-클라이언트 기술에 의하여 사용자에게 제공될 수 있다. 이때 사용자의 컴퓨팅 단말기 등은 시각화 또는 작업 환경의 구동(새로운 중간 결과/최종 결과의 생성)에 필요한 최소한의 리소스만을 이용하여 실행되고, 시각화 또는 새로운 중간 결과/최종 결과의 생성에 필요한 연산은 클라우드 기반의 컴퓨팅 서버에서 실행될 수 있다.
본 발명의 상세 분석 정보의 시각화 및 새로운 중간 결과/최종 결과의 생성 과정에서 도출되거나 결과로서 얻어지는 데이터는 클라우드 기반의 데이터베이스 서버에 저장될 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상 진단 장치
120: PACS
130: 의료 영상 분석 장치
140: 의료 영상 시각화 장치
150: 의료 영상 B
160: 연결 영상
120: PACS
130: 의료 영상 분석 장치
140: 의료 영상 시각화 장치
150: 의료 영상 B
160: 연결 영상
Claims (18)
- 의료 영상 시각화 장치에 있어서,
사용자에게 제공되는 적어도 하나 이상의 의료 영상을 획득하거나 수신하는 수신 인터페이스 모듈;
적어도 하나 이상의 프로세서; 및
디스플레이;
를 포함하고,
상기 적어도 하나 이상의 프로세서는,
상기 적어도 하나 이상의 의료 영상에 표시되며 상기 적어도 하나 이상의 의료 영상과 상기 적어도 하나 이상의 의료 영상에 대한 상세 분석 정보를 연결하는 연결 영상을 인식하고,
상기 연결 영상에 의하여 상기 적어도 하나 이상의 의료 영상과 연결되는 상기 상세 분석 정보를 의료 영상 분석 서버로 요청하고,
상기 의료 영상 분석 서버로부터 수신된 상기 상세 분석 정보를 디스플레이 상에 시각화하고,
상기 적어도 하나 이상의 의료 영상은 소견, 진단 결과, 또는 정량적 측정 결과인 최종 결과를 포함하고,
상기 적어도 하나 이상의 의료 영상이 원본 의료 영상으로부터 생성되는 과정은 상기 원본 의료 영상으로부터 상기 최종 결과의 대상 객체 또는 기준 영역의 분할 또는 식별 결과인 중간 결과가 얻어지는 제1 과정 및 상기 제1 과정과 구분되며 상기 제1 과정의 상기 중간 결과에 기반하여 상기 소견, 상기 진단 결과, 또는 상기 정량적 측정 결과인 상기 최종 결과가 얻어지는 제2 과정을 포함하고,
상기 상세 분석 정보는 상기 원본 의료 영상으로부터 상기 제1 과정에 의하여 생성되는 상기 중간 결과를 포함하고, 상기 제2 과정에 의하여 생성되는 상기 최종 결과 및 상기 연결 영상이 상기 적어도 하나 이상의 의료 영상에 포함되는,
의료 영상 시각화 장치. - 제1항에 있어서,
상기 상세 분석 정보는
상기 원본 의료 영상에 대한 상기 영상 분석 결과가 상기 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 상기 중간 결과 및 상기 최종 결과에 대한 이미지 정보 및 논-이미지 정보를 포함하는 의료 영상 시각화 장치. - 제1항에 있어서,
상기 적어도 하나 이상의 프로세서는
상기 상세 분석 정보를 상기 원본 의료 영상에 대한 상기 영상 분석 결과가 상기 적어도 하나 이상의 의료 영상으로서 생성되는 과정의 상기 중간 결과 및 상기 최종 결과 중 적어도 하나 이상에 대한 상기 사용자의 승인 또는 거부의 피드백을 입력할 수 있는 메뉴와 함께 시각화하는 의료 영상 시각화 장치. - 제3항에 있어서,
상기 적어도 하나 이상의 프로세서는
상기 중간 결과 및 상기 최종 결과 중 적어도 하나 이상에 대하여 상기 사용자가 승인한 경우, 상기 중간 결과 및 상기 최종 결과 중 적어도 하나 이상에 대한 상기 사용자의 승인 사실을 상기 적어도 하나 이상의 의료 영상, 및 상기 상세 분석 결과와 관련시켜 데이터베이스에 저장하는 의료 영상 시각화 장치. - 제1항에 있어서,
상기 적어도 하나 이상의 프로세서는
상기 중간 결과 및 상기 최종 결과 중 적어도 하나 이상을 상기 사용자가 수동으로 수정할 수 있는 작업 환경 메뉴를 상기 연결 영상과 연결하여 상기 상세 분석 정보와 함께 제공하는 의료 영상 시각화 장치. - 제1항에 있어서,
상기 상세 분석 정보는
상기 원본 의료 영상에 대한 전처리 결과를 상기 중간 결과로서 포함하고,
상기 전처리 결과에 기반하여 생성되는 상기 원본 의료 영상에 대한 정량적 분석 결과를 상기 최종 결과로서 포함하는 의료 영상 시각화 장치. - 제1항에 있어서,
상기 상세 분석 정보는
상기 원본 의료 영상에 대한 객체 식별 결과를 상기 중간 결과로서 포함하고,
상기 객체 식별 결과에 대하여 임계치를 적용하여 필터링한 결과를 상기 최종 결과로서 포함하는 의료 영상 시각화 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 의료 영상 분석 장치에 있어서,
적어도 하나 이상의 제1 의료 영상을 획득하거나 수신하는 수신 인터페이스 모듈; 및
적어도 하나 이상의 프로세서;
를 포함하고,
상기 적어도 하나 이상의 프로세서는,
상기 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정에 의한 제1 과정을 수행함으로써 중간 결과를 생성하고,
상기 중간 결과의 적어도 일부로부터 제2 과정에 의하여 최종 결과 및 연결 영상을 포함하는, 사용자에게 제공되는 적어도 하나 이상의 제2 의료 영상을 생성하고,
상기 제1 과정으로서,
상기 적어도 하나 이상의 제1 의료 영상으로부터 소견, 진단 결과, 또는 정량적 측정 결과의 대상 객체 또는 기준 영역의 분할 또는 식별 결과인 상기 중간 결과를 생성하고,
상기 제1 과정과 구분되는 상기 제2 과정으로서,
상기 제1 과정의 상기 중간 결과에 기반하여 상기 소견, 상기 진단 결과, 또는 상기 정량적 측정 결과인 최종 결과를 생성하고,
상기 연결 영상이 적어도 상기 중간 결과를 포함하는 상세 분석 정보와 연결되도록 상기 연결 영상을 설정하고,
상기 적어도 하나 이상의 제2 의료 영상을 제1 데이터베이스에 저장하는 과정 및 상기 적어도 하나 이상의 제2 의료 영상을 외부의 제2 데이터베이스에 저장되도록 전송하는 과정 중 적어도 하나 이상을 수행하는 의료 영상 분석 장치. - 제12항에 있어서,
상기 상세 분석 정보는
상기 적어도 하나 이상의 제1 의료 영상에 대한 상기 영상 분석 결과가 상기 적어도 하나 이상의 제2 의료 영상으로서 생성되는 과정의 상기 중간 결과 및 상기 최종 결과에 대한 이미지 정보 및 논-이미지 정보를 포함하는 의료 영상 분석 장치. - 제12항에 있어서,
상기 상세 분석 정보는
상기 적어도 하나 이상의 제1 의료 영상에 대한 전처리 결과를 상기 중간 결과로서 포함하고,
상기 전처리 결과에 기반하여 생성되는 상기 적어도 하나 이상의 제1 의료 영상에 대한 정량적 분석 결과를 상기 최종 결과로서 포함하는 의료 영상 분석 장치. - 제12항에 있어서,
상기 상세 분석 정보는
상기 적어도 하나 이상의 제1 의료 영상에 대한 객체 식별 결과를 상기 중간 결과로서 포함하고,
상기 객체 식별 결과에 대하여 임계치를 적용하여 필터링한 결과를 상기 최종 결과로서 포함하는 의료 영상 분석 장치. - 삭제
- 적어도 하나 이상의 프로세서가, 수신 인터페이스 모듈을 제어하여 사용자에게 제공되는 적어도 하나 이상의 의료 영상을 획득하거나 수신하는 단계;
상기 적어도 하나 이상의 프로세서가, 상기 적어도 하나 이상의 의료 영상에 표시되며 상기 적어도 하나 이상의 의료 영상과 상기 적어도 하나 이상의 의료 영상에 대한 상세 분석 정보를 연결하는 연결 영상을 인식하는 단계;
상기 적어도 하나 이상의 프로세서가, 상기 연결 영상에 의하여 상기 적어도 하나 이상의 의료 영상과 연결되는 상기 상세 분석 정보를 의료 영상 분석 서버로 요청하는 단계; 및
상기 적어도 하나 이상의 프로세서가, 상기 의료 영상 분석 서버로부터 수신된 상기 상세 분석 정보를 디스플레이 상에 시각화하는 단계;
를 포함하고,
상기 적어도 하나 이상의 의료 영상은 소견, 진단 결과, 또는 정량적 측정 결과인 최종 결과를 포함하고,
상기 적어도 하나 이상의 의료 영상이 원본 의료 영상으로부터 생성되는 과정은 상기 원본 의료 영상으로부터 상기 최종 결과의 대상 객체 또는 기준 영역의 분할 또는 식별 결과인 중간 결과가 얻어지는 제1 과정 및 상기 제1 과정과 구분되며 상기 제1 과정의 상기 중간 결과에 기반하여 상기 소견, 상기 진단 결과, 또는 상기 정량적 측정 결과인 상기 최종 결과가 얻어지는 제2 과정을 포함하고,
상기 상세 분석 정보는 상기 원본 의료 영상으로부터 상기 제1 과정에 의하여 생성되는 상기 중간 결과를 포함하고, 상기 제2 과정에 의하여 생성되는 상기 최종 결과 및 상기 연결 영상이 상기 적어도 하나 이상의 의료 영상에 포함되는,
의료 영상 시각화 방법. - 적어도 하나 이상의 프로세서가, 수신 인터페이스 모듈을 제어하여 적어도 하나 이상의 제1 의료 영상을 획득하거나 수신하는 단계;
상기 적어도 하나 이상의 프로세서가, 상기 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정을 수행하는 단계;
상기 적어도 하나 이상의 프로세서가, 상기 적어도 하나 이상의 제1 의료 영상에 대한 영상 처리 및 영상 분석 과정에 의한 제1 과정을 수행함으로써 중간 결과를 생성하는 단계;
상기 중간 결과의 적어도 일부로부터 제2 과정에 의하여 최종 결과 및 연결 영상을 포함하는, 사용자에게 제공되는 적어도 하나 이상의 제2 의료 영상을 생성하는 단계;
상기 연결 영상이 적어도 상기 중간 결과를 포함하는 상세 분석 정보와 연결되도록 상기 연결 영상을 설정하는 단계; 및
상기 적어도 하나 이상의 프로세서가, 상기 적어도 하나 이상의 제2 의료 영상을 제1 데이터베이스에 저장하는 과정 및 상기 적어도 하나 이상의 제2 의료 영상을 외부의 제2 데이터베이스에 저장되도록 전송하는 과정 중 적어도 하나 이상을 수행하는 단계;
를 포함하고,
상기 중간 결과를 생성하는 단계는,
상기 적어도 하나 이상의 제1 의료 영상으로부터 소견, 진단 결과, 또는 정량적 측정 결과의 대상 객체 또는 기준 영역의 분할 또는 식별 결과인 상기 중간 결과를 생성하고,
상기 적어도 하나 이상의 제2 의료 영상을 생성하는 단계는,
상기 제1 과정과 구분되는 상기 제2 과정으로서, 상기 제1 과정의 상기 중간 결과에 기반하여 상기 소견, 상기 진단 결과, 또는 상기 정량적 측정 결과인 최종 결과를 생성하는 단계;
를 포함하는 의료 영상 분석 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210063580A KR102676569B1 (ko) | 2021-05-17 | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| DE102022112136.4A DE102022112136A1 (de) | 2021-05-17 | 2022-05-14 | Medizinisches bildanalysegerät, verfahren und medizinisches bild, visualisierungsgerät und verfahren |
| US17/746,347 US20220366562A1 (en) | 2021-05-17 | 2022-05-17 | Medical image analysis apparatus and method, and medical image visualization apparatus and method |
| KR1020240049577A KR20240054248A (ko) | 2021-05-17 | 2024-04-12 | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210063580A KR102676569B1 (ko) | 2021-05-17 | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240049577A Division KR20240054248A (ko) | 2021-05-17 | 2024-04-12 | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220155828A KR20220155828A (ko) | 2022-11-24 |
| KR102676569B1 true KR102676569B1 (ko) | 2024-06-20 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101943011B1 (ko) * | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101943011B1 (ko) * | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20240054248A (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| KR101874348B1 (ko) | 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
| US8335365B2 (en) | Diagnosis assisting apparatus, diagnosis assisting method, and storage medium having a diagnosis assisting program recorded therein | |
| US8422752B2 (en) | Diagnosis assisting apparatus, diagnosis assisting method, and storage medium in which a diagnosis assisting program is recorded | |
| JP5222082B2 (ja) | 情報処理装置およびその制御方法、データ処理システム | |
| KR20190071724A (ko) | 의료 이미지 해석을 위한 시스템 및 방법 | |
| JP2020515924A (ja) | 医用画像の識別及び読影 | |
| EP2365471B1 (en) | Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analzying program stored therein | |
| CN107403425A (zh) | 从图像自动地生成放射学报告并自动排除没有发现的图像 | |
| KR102382872B1 (ko) | 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| US8923579B2 (en) | Surgery-assistance apparatus, method and computer-readable recording medium storing a program for setting a margin during organ excision | |
| KR102283673B1 (ko) | 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법 | |
| JP6719421B2 (ja) | 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム | |
| KR102439845B1 (ko) | 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| EP3939003B1 (en) | Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof | |
| JP5539478B2 (ja) | 情報処理装置および情報処理方法 | |
| WO2020235461A1 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
| KR102676569B1 (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| KR102469907B1 (ko) | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 | |
| KR102222015B1 (ko) | 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| CN115222665B (zh) | 一种斑块检测方法、装置、电子设备及可读存储介质 | |
| KR102501815B1 (ko) | 인공지능을 이용한 폐기관 자동 분석 방법 및 장치 | |
| KR20230151865A (ko) | 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 | |
| CN117912626A (zh) | 提供用于创建医学评定报告的文档模型结构的方法和系统 | |
| CN115512802A (zh) | 基于序列冠脉造影的syntax评分处理方法与系统 |