KR102405314B1 - 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 - Google Patents
인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 Download PDFInfo
- Publication number
- KR102405314B1 KR102405314B1 KR1020200068149A KR20200068149A KR102405314B1 KR 102405314 B1 KR102405314 B1 KR 102405314B1 KR 1020200068149 A KR1020200068149 A KR 1020200068149A KR 20200068149 A KR20200068149 A KR 20200068149A KR 102405314 B1 KR102405314 B1 KR 102405314B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tag information
- reading
- information
- image file
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000003902 lesion Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 23
- 230000035945 sensitivity Effects 0.000 claims description 21
- 201000010099 disease Diseases 0.000 claims description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000007726 management method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/465—Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
인공지능 기반의 엑스레이 영상 판독 방법 및 시스템이 제공된다. 본 발명의 일 실시예에 따른, 실시간 자동 엑스레이 영상 판독 시스템은, 환자의 엑스레이 영상을 획득하는 엑스레이 영상 획득부; 영상 획득부로부터 수신되는 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하는 이미지 콘솔 뷰어부; 이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하는 영상 판독부; 태그 정보가 부가된 이미지 파일을 저장하는 영상 관리부; 및 영상 관리부에 저장된 태그 정보가 부가된 이미지 파일을 수신하여, 화면에 표시하는 이미지 뷰어부;를 포함한다. 이에 의해, 환자의 엑스레이 영상을 획득하자 마자 거의 실시간으로 인공지능 기반 자동 엑스레이 영상 판독 결과를 원격의 이미지 콘솔 뷰어 (Image Console Viewer)를 활용하여 AXIR(영상 판독부)가 판독한 결과, 즉, 검출 확률 (Screening Score), 바운딩 박스(bounding Box), 윤곽선 맵(Contour Map) 및 히트맵(Heatmap) 등의 정보를 판독 보조 자료로 생성하여 의료진에게 제공할 수 있다. 이를 통해, 의료진은 전술한 판독 보조 정보에 기반하여 디지털 영상 이미지를 효율적이고 효과적으로 판독할 수 있다.
Description
본 발명은 인공지능 기반의 엑스레이 영상 판독 방법 및 시스템에 관한 것으로, 더욱 상세하게는 의료현장에서 실시간으로 디지털 엑스레이 영상에 대해서 인공지능 기반 자동 엑스레이 영상 솔루션을 적용하여 판독하고 그 판독 결과인 이미지 분류 결과 및 이미지 검출 결과를 DICOM(Digital Imaging and Communications in Medicine) 파일과 같은 기설정된 포맷의 이미지 파일의 태그 정보(Private Tag)를 생성하여 저장하고, 이미지 파일의 태그 정보에 저장된 판독 결과를 해석하여 이미지 콘솔 뷰어로 판독 결과를 표시하는 장치 및 방법에 관한 것이다.
일반적으로, 의료 영상은 현대 의학에서 환자의 진단 및 치료를 위한 중요한 도구 중의 하나이다. 특히, 환자의 방사선 촬영이미지는 검사 비용이 저렴하고 빠른 진단이 가능하기 때문에 일차적으로 환자를 진단하기 위해 많이 활용되고 있다.
그러나, 숙련된 방사선 전문의라고 하더라도 환자의 방사선 촬영 이미지에서 정확하게 병변(lesion)의 위치를 파악하고 상기 병변을 야기한 질병을 진단하는 것은 매우 어려운 문제이다. 이는 3차원의 인체 내부 구조를 2차원의 방사선 촬영 이미지로 변환하는 과정에서 발생하는 정보의 유실과 사람의 지각 능력의 한계 등 복합적인 요인으로 인해 발생한다.
상술한 문제를 해결하기 위해 인공지능 기반 지도 학습(supervised learning) 방식의 다양한 기계 학습(machine learning) 알고리즘을 적용하여 컴퓨터 보조 진단(Computer-Aided Diagnosis; CAD)을 수행하는 연구가 진행되고 있다.
예를 들면, 종래기술인 한국등록특허 제10-1628276호에는 클라우드 기반 병리 분석 시스템 및 방법에 대한 기술이 개시되어 있으나, 클라우드 서버에 접속하여 결핵 등과 같은 병리 진단을 하는 경우에는 대학병원, 대형병원에서와 같이 인터넷 인프라가 잘 갖추어진 곳에서는 자동 진단을 하는데 큰 문제가 없지만, 인터넷 인프라가 잘 갖추어지지 않은 곳에서는 진단에 많은 시간이 소요된다는 문제점이 있어 그 한계가 존재한다. 더불어, 인터넷에 문제가 발생하거나 인터넷 속도가 저하되는 경우에는 의사의 업무에 막대한 지장을 줄 수 있다는 문제가 있다.
따라서 본 발명에서는 이러한 문제점을 해결하여 의료현장에서 의료인이 실시간으로 보다 효과적이고 효율적으로 엑스레이 영상의 판독 결과를 획득하고, 관리할 수 있는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 의료현장에서 인공지능 자동 엑스레이 판독 솔루션을 이용하여 환자의 엑스레이 영상을 취득한 후 바로 의료진에게 실시간으로 결과를 제공할 수 있는 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 다른 목적은, 인공지능 기반 자동 엑스레이 영상의 판독 결과를 다이콤 표준에 맞추어 Private Tag를 생성하여 Tag에 저장할 판독 결과의 데이터 형식에 따라 최적의 데이터 형식으로 변환 저장하여, 저장된 Tag를 최적의 데이터 형식에 기반하여 해독하여 원 데이터 형식으로 변환하여 판독 결과를 표시할 수 있는 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템을 제공함에 있다.
그리고 본 발명의 또 다른 목적은, 인공지능 기반 자동 엑스레이 판독 결과에 대한 Tag 상세 규격 및 Tag 정보 해석 및 표시방법을 제공하여 제3자가 이를 이용하여 판독 결과를 표시하는 솔루션을 개발하는 경우, 제3자의 이미지 콘솔 뷰어 프로그램(이미지 콘솔 뷰어부)에 범용적으로 적용할 수 있는 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 실시간 자동 엑스레이 영상 판독 시스템은, 환자의 엑스레이 영상을 획득하는 엑스레이 영상 획득부; 영상 획득부로부터 수신되는 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하는 이미지 콘솔 뷰어부; 이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하는 영상 판독부; 태그 정보가 부가된 이미지 파일을 저장하는 영상 관리부; 및 영상 관리부에 저장된 태그 정보가 부가된 이미지 파일을 수신하여, 화면에 표시하는 이미지 뷰어부;를 포함한다.
그리고 영상 판독부는, 엑스레이 영상을 학습 데이터로 엑스레이 영상 내 질환 및 병변의 검출을 위해 학습된 이미지 학습 모델을 이용하여, 이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 판독하고, 각 질환 및 병변에 대해 검출 점수(Screening Score), Contour Map 정보 또는 Heat Map 정보가 포함된 태그 정보를 이미지 파일에 부가할 수 있다.
또한, 영상 판독부는, 영상 판독 결과가 이미지 파일과 함께 표시되는 경우, 태그 정보에 이미지, 문자 및 숫자로 구현되는 영상 판독 결과와 영상 판독 결과의 표시 위치에 대한 위치 정보를 기반으로 태그 정보를 생성할 수 있다.
그리고 이미지 뷰어부는, 이미지 파일을 화면에 표시하는 경우, 이미지 파일에 부가된 태그 정보를 해독하여, 태그 정보에 포함된 이미지, 문자 또는 숫자가 이미지 파일과 함께 표시되도록 하되, 이미지, 문자 또는 숫자의 표시 위치가, 각각의 위치 정보를 기반으로 이미지 파일 내에서 개별적으로 결정되도록 할 수 있다.
또한, 영상 판독부는, 태그 정보에 질환 및 병변 명에 대한 문자열(String)이 포함되도록 하는 경우, 문자열의 VR(Value Representation)을 LO(long String)에 적용하여 태그 정보에 포함되도록 하고, 태그 정보에 정수 및 부동소수점인 Screening Scores가 포함되도록 하는 경우, Screening Scores를 DS(Decimal String)에 적용하여 태그 정보에 포함되도록 하고, 태그 정보에 Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array가 포함되도록 하는 경우, Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array에 대한 정보를 Bytes로 변환시킨 후, 16Bit에 대한 Bytes를 OW(Other Word String)에 적용하고, 8Bit에 대한 Bytes를 OB(Other Byte String)에 적용하여 태그 정보에 포함되도록 할 수 있다.
그리고 이미지 뷰어부는, 이미지 파일 및 태그 정보 판독 시, Bytes로 저장된 Contour Maps과 Heat Maps을 각각의 Array Shape에 따라 Array로 변환시킨 후 List 및 Tuple로 변환하여 변환된 정보 기반 Contour Maps 및 Heat Maps를 생성하고, 이미지 파일에 태그 정보가 포함되는 경우, 태그 정보에 포함된 영상 판독 결과를 표시하는 아이콘 및 메뉴가 활성화되어, 이미지 파일이 표시되는 화면에 함께 표시되도록 하고, 표시된 아이콘 및 메뉴를 이용하여 영상 판독 결과의 표시를 요청하는 경우, 영상 판독 결과가 이미지 파일과 함께 표시되도록 할 수 있다.
또한, 영상 판독부는, 영상 판독 결과에 대한 필수 항목으로 각 질환 및 병변에 대한 판독결과(Positive, Negative), Screening 결과, Screening Scores, Contour Map Information 및 Heat Map information이 포함되도록 할 수 있다.
그리고 영상 판독부는, 판독 기준이 되는 Threshold Score를 Higher Sensitivity(0.3), High Sensitivity(0.4), Default Sensitivity(0.5), High Specificity(0.6), Higher Specificity(0.7)으로 구분하여 각각 태그 정보를 생성하고, 이미지 뷰어부는, 사용자의 입력에 따라 판독 기준이 되는 Threshold Score가 결정되면, 결정된 판독 기준이 되는 Threshold Score에 따라 화면에 표시되는 영상 판독 결과의 세부 항목 및 세부 내용이 결정되도록 할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 실시간 자동 엑스레이 영상 판독 방법은, 실시간 자동 엑스레이 영상 판독 시스템이, 환자의 엑스레이 영상을 획득하는 단계; 실시간 자동 엑스레이 영상 판독 시스템이, 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하는 단계; 실시간 자동 엑스레이 영상 판독 시스템이, 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하는 단계; 실시간 자동 엑스레이 영상 판독 시스템이, 태그 정보가 부가된 이미지 파일을 저장하는 단계; 및 실시간 자동 엑스레이 영상 판독 시스템이, 저장된 태그 정보가 부가된 이미지 파일을 화면에 표시하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 환자의 엑스레이 영상을 획득하자 마자 거의 실시간으로 인공지능 기반 자동 엑스레이 영상 판독 결과를 원격의 이미지 콘솔 뷰어 (Image Console Viewer)를 활용하여 AXIR(영상 판독부)가 판독한 결과, 즉, 검출 확률 (Screening Score), 바운딩 박스(bounding Box), 윤곽선 맵(Contour Map) 및 히트맵(Heatmap) 등의 정보를 판독 보조 자료로 생성하여 의료진에게 제공할 수 있다. 이를 통해, 의료진은 전술한 판독 보조 정보에 기반하여 디지털 영상 이미지를 효율적이고 효과적으로 판독할 수 있다.
또한, 본 발명의 실시예들에 따르면, 디지털 엑스레이 영상을 획득하여 이미지 처리를 한 후 다이콤 파일을 저장하는 시점에서 본 발명의 AXIR(영상 판독부)를 이용하여 추론한 검출확률 (Screening Score), 바운딩 박스(bounding Box), 윤곽선 맵(Contour Map) 및 히트 맵(Heatmap) 등의 판독 결과를 저장한 태그의 주소, VR, Value 등의 상세 스펙과 저장 데이터 형태 및 내용에 대한 정보 그리고 AXIR(영상 판독부)와 관련된 심층 합성곱 신경망의 버전, 다이콤 태그 상세스펙과 내용 등의 메타 정보를 모두 다이콤 파일에 저장이 가능하며, 이를 통하여 일반인 즉, 환자는 의료진으로부터 엑스레이 촬영 후 진료 시 의사의 소견을 공유할 수 있다.
그리고 본 발명의 실시예들에 따르면, AXIR의 판독결과를 다이콤 태그에 저장 시 판독에 사용한 심층 합성곱 신경망에 대한 버전 및 메타 정보를 상세 스펙에 포함 저장함으로써, 본 발명의 다이콤 태그 상세 스펙 및 내용을 사용하는 일반 이미지 뷰어를 개발하는 회사 및 개개인에게 유용한 정보를 제공할 수 있고 또한 그들의 의견을 수렴하여 반영할 수 있다.
또한, 본 발명의 실시예들에 따르면, 학습된 복수 개의 고 정확도, 고 민감도 및 고 특이도를 가진 딥러닝 기반의 학습 모델을 적용함으로써, 다양한 진단 서비스의 구성 및 제공이 가능하고 모델을 용이하게 갱신할 수 있다.
그리고 본 발명의 실시예들에 따르면, 환자가 X-ray 촬영에서부터 그 진단결과를 산출하기까지의 과정에서 실시간으로 의사 및 의료 관계자에게 필요한 정보를 제공하여 의료 워크플로우(Medical Work Flow)를 합리화, 효율화 및 최적화가 가능하게 하여 의료기관의 환자 진료율 제고가 가능하여 비용 절감을 할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 인공지능 기반 실시간 자동 엑스레이 영상 판독 시스템의 설명에 제공된 도면,
도 2는, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부의 설명에 제공된 도면,
도 3은, 본 발명의 일 실시예에 따른 영상 판독부의 설명에 제공된 도면,
도 4는, 본 발명의 일 실시예에 따른 이미지 뷰어부의 설명에 제공된 도면,
도 5는, 본 발명의 일 실시예에 따른 영상 판독부를 통한 판독 결과 및 메타 정보를 저장하기 위한 다이콤 태그의 주소, VR, VM, Description 및 Keyword 등이 예시된 도면,
도 6 내지 도 19는, 본 발명의 일 실시예에 따른 영상 판독부를 통한 판독 결과 및 메타 정보에 대한 태그 정보(Private Tag) 저장 전후의 다이콤 파일을 다이콤 파일 뷰어로 읽은 이미지 파일이 예시된 도면,
도 20은, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부의 동작 특성의 설명에 제공된 도면,
도 21 내지 도 22는, 본 발명의 일 실시예에 따른 영상 판독부의 동작 특성의 설명에 제공된 도면,
도 23 내지 도 24는, 본 발명의 일 실시예에 따른 이미지 뷰어부의 동작 특성의 설명에 제공된 도면이다.
도 2는, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부의 설명에 제공된 도면,
도 3은, 본 발명의 일 실시예에 따른 영상 판독부의 설명에 제공된 도면,
도 4는, 본 발명의 일 실시예에 따른 이미지 뷰어부의 설명에 제공된 도면,
도 5는, 본 발명의 일 실시예에 따른 영상 판독부를 통한 판독 결과 및 메타 정보를 저장하기 위한 다이콤 태그의 주소, VR, VM, Description 및 Keyword 등이 예시된 도면,
도 6 내지 도 19는, 본 발명의 일 실시예에 따른 영상 판독부를 통한 판독 결과 및 메타 정보에 대한 태그 정보(Private Tag) 저장 전후의 다이콤 파일을 다이콤 파일 뷰어로 읽은 이미지 파일이 예시된 도면,
도 20은, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부의 동작 특성의 설명에 제공된 도면,
도 21 내지 도 22는, 본 발명의 일 실시예에 따른 영상 판독부의 동작 특성의 설명에 제공된 도면,
도 23 내지 도 24는, 본 발명의 일 실시예에 따른 이미지 뷰어부의 동작 특성의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 인공지능 기반 실시간 자동 엑스레이 영상 판독 시스템(이하에서는 '실시간 자동 엑스레이 영상 판독 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 실시예에 따른 실시간 자동 엑스레이 영상 판독 시스템은, 의료현장에서 인공지능 자동 엑스레이 판독 솔루션을 이용하여 환자의 엑스레이 영상을 취득한 후 바로 의료진에게 실시간으로 결과를 제공할 수 있으며, 인공지능 기반 자동 엑스레이 영상의 판독 결과를 다이콤 표준에 맞추어 태그 정보(Private Tag)를 생성하여 Tag에 저장할 판독 결과의 데이터 형식에 따라 최적의 데이터 형식으로 변환 저장하여, 저장된 Tag를 최적의 데이터 형식에 기반하여 해독하여 원 데이터 형식으로 변환하여 판독 결과를 표시할 수 있다.
이를 위하여, 본 실시간 자동 엑스레이 영상 판독 시스템은, 엑스레이 영상 획득부(100), 이미지 콘솔 뷰어부(200), 영상 판독부(300), 영상 관리부(400) 및 이미지 뷰어부(500)를 포함할 수 있다.
엑스레이 영상 획득부(100)는, 환자의 엑스레이 영상을 획득하기 위해 마련된다.
구체적으로, 엑스레이 영상 획득부(100)는, 환자로부터 엑스레이 영상을 획득하기 위한 엑스레이 발생기, 디지털 평판 엑스레이 디텍터 및 제어 판넬 등으로 구성되며, 이미지 콘솔 뷰어부(200)와 통신을 하며 주요 기능은 환자의 엑스레이 영상을 취득하여 파일 확장자가 RAW인 원시파일을 생성할 수 있다.
이미지 콘솔 뷰어부(200)는, 컴퓨터 장치로 구현되어, 영상 획득부로부터 수신되는 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 할 수 있다.
구체적으로, 이미지 콘솔 뷰어부(200)는, 엑스레이 영상 획득부(100)와 통신을 하며 디지털 평판 엑스레이 디텍터(Digital flat Panel X-ray Detector)의 특성을 교정하고, 환자가 엑스레이 영상 취득을 엑스레이 영상 획득부(100)를 제어하고, 또한 취득한 엑스레이 영상 파일 수신하여 다양한 이미지 처리를 하고 환자에 대한 정보를 등록하여 기록할 수 있다.
구체적으로, 이미지 콘솔 뷰어부(200)는, 영상 판독부(300)와 정보를 주고 받으며, 영상 관리부(400)와 DICOM(Digital Imaging and Communications in Medicine) 표준의 의료 영상을 송수신할 수 있다.
영상 판독부(300)는, 이미지 콘솔 뷰어부(200)로부터 수신되는 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하여, 인코딩할 수 있다.
구체적으로, 영상 판독부(300)는, AXIR(Automatic X-ray Image Reader)로 구현되어, 이미지 콘솔 뷰어부(200)가 전송한 의료 영상을 입력으로 하여 기학습된 인공지능 기반의 심층 합성곱 신경망을 이용하여 의료 영상의 병변을 분류 및 검출하여 판독하고, 영상 판독 결과가 포함된 태그 정보(Private Tag)를 생성하여, 이미지 파일로 변환된 의료 영상에 부가하여, 이미지 콘솔 뷰어부(200)로 전송할 수 있다.
예를 들면, 영상 판독부(300)는, 엑스레이 영상을 학습 데이터로 엑스레이 영상 내 질환 및 병변의 검출을 위해 학습된 이미지 학습 모델을 이용하여, 이미지 콘솔 뷰어부(200)로부터 수신되는 이미지 파일을 판독하고, 각 질환 및 병변에 대해 검출 점수(Screening Score), Contour Map 정보 또는 Heat Map 정보가 포함된 태그 정보를 이미지 파일에 부가할 수 있다.
즉, 영상 판독부(300)는, 영상 판독 결과에 대한 필수 항목으로 각 질환 및 병변에 대한 판독결과(Positive, Negative), Screening 결과, Screening Scores, Contour Map Information 및 Heat Map information이 포함되도록 할 수 있다.
그리고 이때, 영상 판독부(300)는, 영상 판독 결과가 이미지 파일과 함께 표시되는 경우, 태그 정보에 이미지, 문자 및 숫자로 구현되는 영상 판독 결과와 영상 판독 결과의 표시 위치에 대한 위치 정보를 기반으로 태그 정보를 생성할 수 있다.
한편, 영상 판독부(300)는, 판독 기준이 되는 Threshold Score를 Higher Sensitivity(0.3), High Sensitivity(0.4), Default Sensitivity(0.5), High Specificity(0.6), Higher Specificity(0.7)으로 구분하여 각각 태그 정보를 생성할 수 있다.
구체적으로, 영상 판독부(300)는, 판독 기준이 되는 Threshold Score에 따라 태그 정보에 포함되는 세부 항목 및 세부 내용에 대한 정보를 룩업테이블(Lookup Table)에 기록하고, 의료 영상의 판독 시, 룩업테이블을 기반으로, 태그 정보에 포함되어야 하는 필수 항목의 세부 항목 및 세부 내용이 결정되고, 이를 기반으로 태그 정보를 생성할 수 있다.
여기서, 영상 판독부(300)는, 판독 기준이 되는 Threshold Score가 Default Sensitivity(0.5)를 기준으로 높을수록, 세부 항목 및 세부 내용이 간략하게 표시되어, 특이도(specificity)가 증가하고, 반면 검출도(sensitivity)가 감소하는 방향으로 표시되며, 0.5를 기준으로 낮을수록 자세하게 표시되어, 세부 항목 및 세부 내용의 검출도가 증가하는 대신, 특이도가 감소하는 방향으로 표시되도록 설정될 수 있다.
더불어, 이미지 뷰어부(500)는, 사용자의 입력에 따라 판독 기준이 되는 Threshold Score가 결정되면, 결정된 판독 기준이 되는 Threshold Score에 따라 화면에 표시되는 영상 판독 결과의 세부 항목 및 세부 내용이 결정되도록 할 수 있다.
영상 관리부(400)는 태그 정보가 부가된 이미지 파일을 저장할 수 있다.
구체적으로, 영상 관리부(400)는, 의료 영상의 저장 및 전송을 수행하는 PACS(Picture Achieve and Communication System)로 구현되어, 본 실시간 자동 엑스레이 영상 판독 시스템이 처리하는 의료 영상들을 저장하고, 전송할 수 있다.
이미지 뷰어부(500)는, 영상 관리부(400)에 저장된 태그 정보가 부가된 이미지 파일을 수신하여, 해독(디코딩)하고, 해독 결과를 화면에 표시(디스플레이)할 수 있다.
구체적으로, 이미지 뷰어부(500)는, 영상 관리부(400)에 저장된 의료 영상을 액세스(Access)하여 모니터 화면에 표시하는 인터페이스를 위한 컴퓨팅 장치 또는 프로그램으로 구현되며, 영상 판독부(300)가 판독하여 이미지 파일로 변환된 의료 영상에 부가한 태그 정보를 해독하여, 판독 결과를 이미지 또는 문자 및 숫자로 변환하여 기존 의료 영상 이미지에 중첩, 생성하여 의료진에게 제공할 수 있다.
이를 통해, 의료진은, 다양한 판독결과를 참조하여 의료 영상의 이상 유무 및 병변을 보다 쉽고 정확하게 판독할 수 있다.
또한, 이미지 뷰어부(500)는, 이미지 파일을 화면에 표시하는 경우, 이미지 파일에 부가된 태그 정보를 해독하여, 태그 정보에 포함된 이미지, 문자 또는 숫자가 이미지 파일과 함께 표시되도록 하되, 이미지, 문자 또는 숫자의 표시 위치가, 각각의 위치 정보를 기반으로 이미지 파일 내에서 개별적으로 결정되도록 할 수 있다.
다른 예를 들면, 이미지 뷰어부(500)는, 이미지 파일 및 태그 정보 판독 시, Bytes로 저장된 Contour Maps과 Heat Maps을 각각의 Array Shape에 따라 Array로 변환시킨 후 List 및 Tuple로 변환하여 변환된 정보 기반 Contour Maps 및 Heat Maps를 생성하고, 이미지 파일에 태그 정보가 포함되는 경우, 태그 정보에 포함된 영상 판독 결과를 표시하는 아이콘 및 메뉴가 활성화되어, 이미지 파일이 표시되는 화면에 함께 표시되도록 하고, 표시된 아이콘 및 메뉴를 이용하여 영상 판독 결과의 표시를 요청하는 경우, 영상 판독 결과가 이미지 파일과 함께 표시되도록 할 수 있다.
도 2는, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부(200)의 설명에 제공된 도면이다.
도 2를 참조하면, 본 이미지 콘솔 뷰어부(200)는, 영상 획득부로부터 수신되는 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하기 위해, Image Processor(210), X-ray Controller(220), Image Console Main Module(230) 및 DICOM Handler & Private Tag Decoder(240)를 포함할 수 있다.
Image Processor(210)는, 엑스레이 영상 획득부(100)로부터 파일 확장자가 raw인 원시파일을 수신하여 Noise Cancelling, Gamma Correction, Brightness Optimization, Adaptive Histogram Equalization, Global Contrast Adjustment, Local Contrast Enhancement, Image Sharpness & Smoothness Enhancing, Multi-frequency Processing 등의 여러가지 이미지 향상을 위한 이미지 프로세싱을 수행하여, 이미지 프로세싱이 완료된 의료 영상을 이미지 파일로 변환시켜, DICOM 파일 형태의 의료 영상을 생성할 수 있다.
X-ray Controller(220)는, 엑스레이 영상 획득부(100)의 제어 및 교정을 위해 마련된다.
Image Console Main Module(230)은 이미지 콘솔 뷰어부(200)의 제반 기능을 수행하고 의료진에서 인터페이스를 제공할 수 있다.
구체적으로, Image Console Main Module(230)은 의료진이 환자 정보를 등록하거나 또는 엑스레이 영상 획득부(100)를 제어하여 엑스레이 영상을 획득하고, 영상 관리부(400)에 의료 영상을 전달하거나 또는 수신하는 기능을 수행할 수 있다.
DICOM Handler & Private Tag Decoder(240)는, Image Processor(210)를 통해 생성된 DICOM 파일 형태의 의료 영상을 영상 판독부(300)에 전달하고, 영상 판독부(300)를 통해, 의료 영상이 판독되면, 판독 결과를 포함하는 태그 정보가 부가된 의료 영상을 수신하여, 영상 관리부(400)에 전달하고, 판독 결과에 대한 태그 정보를 해독하여 판독 결과를 생성할 수 있다.
도 3은, 본 발명의 일 실시예에 따른 영상 판독부(300)의 설명에 제공된 도면이다.
도 3을 참조하면, 영상 판독부(300)는, 이미지 콘솔 뷰어부(200)로부터 수신되는 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하기 위해, Image Pre-processing(310), Image Classification Model(320), Object Detection Model(330) 및 Inference Result DICOM Tag Adder(340)를 포함할 수 있다.
Image Pre-processing(310)은, 이미지 콘솔 뷰어부(200)로부터 DICOM 파일 형태의 의료 영상이 수신되면, 수신된 의료 영상의 이미지 픽셀 어레이(Image Pixel Array)를 읽어, 십층 합성곱 신경망의 입력텐서(Input Tensor)의 사이즈에 맞추기 위해, 다운샘플링(Down Sampling)하고, 이미지 정규화(Normalization) 및 표준화 (standardization)처리를 수행할 수 있다.
Image Classification Model(320) 및 Object Detection Model(330)은, 기학습된 인공지능 기반의 심층 합성곱 신경망을 이용하여, DICOM 파일 형태의 의료 영상을 판독하고, 판독 결과로서 각 병변에 대한 검출확률 또는 점수(Screening Score), 히트맵(Heatmap), 윤곽선맵(Contour Map), 바운딩박스(Bounding Box)을 생성할 수 있다.
구체적으로 예를 들면, Image Classification Model(320) 및 Object Detection Model(330)은 태그 정보에 질환 및 병변 명에 대한 문자열(String)이 포함되도록 하는 경우, 문자열의 VR(Value Representation)을 LO(long String)에 적용하여 태그 정보에 포함되도록 하고, 태그 정보에 정수 및 부동소수점인 Screening Scores가 포함되도록 하는 경우, Screening Scores를 DS(Decimal String)에 적용하여 태그 정보에 포함되도록 하고, 태그 정보에 Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array가 포함되도록 하는 경우, Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array에 대한 정보를 Bytes로 변환시킨 후, 16Bit에 대한 Bytes를 OW(Other Word String)에 적용하고, 8Bit에 대한 Bytes를 OB(Other Byte String)에 적용하여 태그 정보에 포함되도록 할 수 있다.
Inference Result DICOM Tag Adder(340)(DICOM 태그 생성기)는, 의료 영상의 병변 분류 및 검출 결과를 저장하기 위해 태그 정보를 생성하고, 태그 정보에 저장하는 데이터 타입에 따라 데이터 타입을 변환하여 인코딩하고, 인코딩 결과를 저장할 수 있다.
즉, Inference Result DICOM Tag Adder(340)는, 판독 결과가 문자열(String) 또는 숫자(Number, integer or floating point)이면 그대로 저장을 하고, 판독 결과가 튜플(Tuple) 또는 리스트(List)이면, 어레이(Array)로 변환하고, 변환된 어레이를 바이트(Byte)로 변환하여 저장할 수 있다.
또한, 판독 결과 이외에 이미지 뷰어부(500)가 판독 결과에 대한 태그 정보를 정확히 해독하고 처리하여 판독 결과를 생성하는데 필요한 메타 정보를 함께 저장할 수 있다.
여기서 메타 정보에는, Image Classification Model(320) 및 Object Detection Model(330)에 대한 버전 정보를 포함하여, 판독 결과에 대한 데이터의 타입(Type), 사이즈(Size), 형태(Shape), 데이터 바이트 수 등이 포함될 수 있다.
이를 통하여, 영상 판독부(300)는, 이미지 콘솔 뷰어부(200)로부터 DICOM 파일 형태의 의료 영상을 수신하여, 수신한 의료 영상에 대한 판독 결과와 이미지 뷰어부(500)가 다이콤 태그에 포함된 판독 결과를 정확히 해독하고 판독 결과를 생성하기 위한 메타정보를 함께 저장한 의료 영상을 이미지 콘솔 뷰어부(200)로 전달할 수 있다.
도 4는, 본 발명의 일 실시예에 따른 이미지 뷰어부(500)의 설명에 제공된 도면이다.
도 4를 참조하면, 이미지 뷰어부(500)는, 영상 관리부(400)에 저장된 태그 정보가 부가된 이미지 파일을 수신하여, 해독(디코딩)하고, 해독 결과를 화면에 디스플레이하기 위해, Image Viewing Main Module(510), Private Tag Decoder(520) 및 Inference Result Constructor(530)를 포함할 수 있다.
Image Viewing Main Module(510)은, 수신된 DICOM 파일 형태의 의료 영상을 읽어, 의료 영상에 부가된 태그 정보가 Private Tag Decoder(520)를 통해, 해독되도록 하고, 해독된 태그 정보에 포함된 판독 결과 및 메타 정보를 의료 영상에 중첩시켜 화면에 함께 표시할 수 있다.
Private Tag Decoder(520)는, 태그 정보를 해독하여 해독 결과에 입각하여 판독 결과에 대한 바이트를 어레이로 변환하고 해독한 이미지형태(Image Shape), 데이터 바이수 수 등의 메타정보를 이용하여 어레이(Array)의 리사이즈(Resize)하거나 어레이(Array)를 리스트(List)와 튜플(Tuple)로 변환하여 판독 결과를 생성할 수 있다.
Inference Result Constructor(530)는, 의료 영상에 생성한 검출점수(Screening Score), 바운딩 박스, 윤곽선 맵, 히트맵 등의 판독 결과 의료 영상에 중첩하여 의료진에게 제공하여 병변의 판독을 돕는 역할을 수행할 수 있다.
도 5는, 본 발명의 일 실시예에 따른 영상 판독부(300)를 통한 판독 결과 및 메타 정보를 저장하기 위한 다이콤 태그의 주소, VR, VM, Description 및 Keyword 등이 예시된 도면이다.
도 5를 참조하면, 태그 정보의 그룹 넘버(Group Number)에 0x1001을 할당하였고, 엘레먼트 넘버(Element Number)를 0x1001에서 0x100F까지 할당하였고 판독한 의료 영상의 파일명, 이미지 형태, 병변명, 검출확률, 바운딩 박스, 윤곽선 맵의 수, 각 윤곽선 좌표 형태 및 각 윤곽선 맵의 좌표값들, 히트맵 등을 저장할 수 있는 태그 리스트이다.
여기서, 각 태그의 VR(value Representation)은 태그에 저장되는 Data Type을 나타낸다. "LO"는 long String, "OW"은 Other Word String을, "DS"는 Decimal String을 의미한다. "OB"는 Other Byte String을 나타낸다.
그리고 "OW"는 Value가 255를 초과하는 Unsigned Integer인 Image Shape, Bounding Box의 Coordinates, Contour Shape 및 Contour Coordinates를 저장하는데 사용된다.
또한, "OB"는 Heatmap를 저장하는데 사용한다. Heatmap은 0에서 1 사이의 값을 갖는 Single Channel을 저장할 때에 Data Type을 Float32로 하고 "OW" VR을 적용할 수 있다.
이 경우 DICOM Tag를 해독하여 Heatmap을 구현하는 이미지 뷰어부(500)에서 Color Heatmap을 생성하여야 한다. 본 실시예에서는 이미지 뷰어부(500)의 부담을 줄이기 위해서 Hearmap Tag 저장시, Color Heatmap을 생성하여 저장할 수 있다.
도 5b는 이미지 뷰어부(500) 또는 이미지 콘솔 뷰어부(200)에서 태그 정보를 정확히 해독하기 위한 메타 정보가 예시된 도면이다.
태그 정보를 생성한 회사명(Solution Provider)로 "래디센"이 저장되면, Bounding Box 정보의 저장 순서, 히트맵의 높이 및 폭 정보, 히트맵 데이터의 바이트 수, 병변명 리스트 및 일반 정보 등이 저장될 수 있다. 여기서, VR"UT"는 Unlimited Text를 나타낸다.
이를 통해, 메타 정보를 이용하여 이미지뷰어 소프트웨어를 개발하고 유지하는 소프트웨어 엔지니어는, 다이콤 태그 정보의 정보를 정확히 해독하고 의료 영상의 판독 결과를 생성하여 의료진에게 이미지화하여 제공할 수 있다.
도 6 내지 도 19는, 본 발명의 일 실시예에 따른 영상 판독부(300)를 통한 판독 결과 및 메타 정보에 대한 태그 정보(Private Tag) 저장 전후의 다이콤 파일을 다이콤 파일 뷰어로 읽은 이미지 파일이 예시된 도면이다.
도 6 및 도 12는 이미지 콘솔 뷰어부(200)가 생성한 DICOM 파일 형태의 의료 영상을 일반 다이콤 뷰어를 사용하여 나타낸 것이며, 의료 영상 이미지와 다이콤 태그 일부를 표현하였으며 특히 영상 판독부(300)의 판독 결과에 대한 태그 정보가 없음을 나타낸다.
도 7 및 도 13은 이미지 콘솔 뷰어부(200)가 생성한 의료 영상에 대해서 영상 판독부(300)가 판독한 결과를 태그 정보를 추가한 저장한 DICOM 파일 형태의 의료 영상을 일반 다이콤 뷰어를 사용하여 나타낸 것이다.
도 6의 의료 영상에 대한 영상 판독부(300)의 판독 결과에 대한 태그 정보가 적색의 바운딩 박스 안에 도시한 바와 같이 저장되어 있음을 나타낸 것이다.
도 8 및 도 14는 의료 영상에 대한 판독 결과로서 바운딩 박스를 이미지에 중첩하여 나타낸 것이며, 도 9 및 도 15는 윤곽선맵 (Contour Map)을 이미지에 중첩하여 나타낸 것이며, 도 8 및 도 16은 히트맵(Heat Map)을 이미지에 중첩하여 나타낸 것이며, 도 11 및 도 17은 검출점수 (Screening Score)을 이미지와 함께 나타낸 것이다.
한편, 도 18는 의료 영상에서 영상 판독부(300)가 복수개의 병변에 대해 판독한 결과의 일예를 나타낸 것이며, 이는 태그 정보(프라이빗 다이콤 태그)를 병변의 수만큼 추가로 생성하여 프라이빗 다이콤 태그에 저장할 수 있음을 나타낸 것이다.
또한, 도 19는 의료 영상에 대한 영상 판독부(300)의 복수개의 검출결과로 복수개의 바운딩 박스를 이미지에 중첩하여 나타낸 일예이다. 이 또한 바운딩 박스의 수 만큼 바운딩 박스의 좌표, 병변명 및 검출 확률 등을 태그 정보에 추가로 저장할 수 있음을 나타낸 것이다.
도 20은, 본 발명의 일 실시예에 따른 이미지 콘솔 뷰어부(200)의 동작 특성의 설명에 제공된 도면이다.
본 실시간 자동 엑스레이 영상 판독 시스템을 이용하는 실시간 자동 엑스레이 영상 판독 방법은, 엑스레이 영상 획득부(100)가, 환자로부터 엑스레이 영상을 취득하면, 이미지 콘솔 뷰어부(200)가, 엑스레이 영상 확득부로부터 원시 이미지를 수신하여, 이미지 처리를 하여 DICOM 파일과 같은 기설정된 포맷의 이미지 파일로 변환시키고, 이미지 파일로 변환된 의료 영상을 영상 판독부(300)에 전달하게 된다.
여기서, 이미지 콘솔 뷰어부(200)는 엑스레이 영상을 획득하도록 엑스레이 영상 획득부(100)를 제어하며, 엑스레이 영상 획득부(100)의 영상 획득 조건을 변경하거나 또는 엑스레이 디텍터의 교정 기능도 수행 할 수 있으며, 환자 설정, 환자 예약 및 모니터링, 사용자 설정, 이미지 향상 프로세싱. 영상 관리부(400) 통신 및 의료 영상 저장, 검색, 전달 등 다양한 기능을 수행할 수 있다.
구체적으로, 이미지 콘솔 뷰어부(200)는 통상의 시스템 초기화 동작 완료 후(S2010), 사용자로부터 요청을 대기하는 상태가 유지되며(S2020), 사용자의 요청이 발생되면, 요청 내용에 준하여 처리를 수행할 수 있다(S2040).
이미지 콘솔 뷰어부(200)는 요청사항이 이미지 획득인 경우(S2030-Yes), 엑스레이 영상 획득부(100)로부터 Raw Type의 원시파일을 읽어, 이미지 향상을 위한 이미지 프로세싱 작업을 수행할 수 있다(S2050).
그리고 이미지 콘솔 뷰어부(200)는 이미지 프로세싱을 완료하면, 의료용 디지털 통신 및 영상 표준에 맞추어 표준 다이콤 태그에 대한 정보를 추가하여, 의료 영상을 DICOM 파일로 생성할 수 있다(S2060).
또한, 이미지 콘솔 뷰어부(200)는 DICOM 파일 형태의 의료 영상의 생성 후에 바로 영상 관리부(400)에 전달하지 않고, 영상 판독부(300)에 DICOM 파일 형태의 의료 영상을 전달할 수 있다(S2070).
이때, 영상 판독부(300)는 DICOM 파일 형태의 의료 영상에 대한 판독 결과를 기반으로 태그 정보를 생성하여, DICOM 파일 형태의 의료 영상에 부가하고, 태그 정보가 부가된 의료 영상을 이미지 콘솔 뷰어부(200)로 전달할 수 있다.
이미지 콘솔 뷰어부(200)는 의료 영상의 판독 결과를 저장한 태그 정보를 가진 의료 영상을 영상 관리부(400)에 전달한다.
상기의 동작을 통하여 엑스레이 영상을 획득하자 마자 본 발명의 영상 판독부(300) 솔루션을 적용하여 바로 판독을 하여 그 결과를 다이콤 표준의 의료 영상에 판독 결과를 저장하는 동작을 수행하게 된다.
도 21 내지 도 22는, 본 발명의 일 실시예에 따른 영상 판독부(300)의 동작 특성의 설명에 제공된 도면이다.
도 21은, 영상 판독부(300)의 의료 영상 판독 및 판독 결과를 다이콤 태그 정보에 저장하여 DICOM 파일 형태의 의료 영상을 업데이트 한 후에 다시 이미지 콘솔 뷰어부(200)로 전달하는 순서도이다.
영상 판독부(300)는, 이미지 파일로 변환된 의료 영상이 수신되면, 기학습된 인공지능 기반의 심층 합성곱 신경망을 이용하여 의료 영상의 병변 분류 및 검출을 하여 판독을 하고 그 판독 결과를 포함하는 태그 정보를 생성하여, 의료 영상에 부가하고, 태그 정보가 부가된 의료 영상을 이미지 콘솔 뷰어부(200)에 전송하게 된다.
구체적으로, 영상 판독부(300)는 시스템이 초기화되면(S2110), 시스템 초기화 동안에 의료 영상 판독을 위한 심층 합성곱 신경말 모델을 메모리에 상주하여 판독을 할 수 있도록 제반 동작 및 기능을 수행하며 스탠바이 상태에서 이미지 콘솔 뷰어부(200)로부터 의료 영상이 전달되었는지를 확인할 수 있다(S2120).
그리고 영상 판독부(300)는 의료 영상이 이미지 콘솔 뷰어부(200)로부터 전달되면, 심층 합성곱 신경망을 이용하여 의료 영상에 대한 병변 유무 및 위치를 판독하여(S2130), 판독한 결과를 다이콤 태그 정보에 최적인 상태로 저장하기 위해서 판독 결과를 분류하고 변환할 수 있다(S2140).
또한, 영상 판독부(300)는 저장하고자 하는 각각의 판독 결과에 대해 태그 정보를 생성하고(S2150), 영상 판독부(300)의 판독 결과와 메타 정보를 각각의 태그에 저장할 수 있다(S2160, S2170).
영상 판독부(300)는 기존의 다이콤 의료 영상에 태그 정보를 추가하여 DICOM 파일 형태의 의료 영상을 업데이트하고(S2180), 이미지 콘솔 뷰어부(200)로 DICOM 파일 형태의 의료 영상을 전달할 수 있다(S2190).
여기서 판독 결과를 분류하고 변환하는 사유는 다음과 같다.
판독 결과는 도 6 내지 도 19에 예시된 바와 같이 다양한 형태로 나타낼 수 있다. 검출확률 또는 점수(Screening Score), 바운딩 박스의 좌표정보, 클래스명 및 분류 확률, 윤곽선 맵의 좌표 정보 및 윤곽선 맵 개수, 클래스명, 히트맵 픽셀 어레이 사이즈 정보 및 픽셀 값 등으로 표시가 된다.
그런데 이러한 다양한 판독 결과를 의료용 디지털 통신 및 영상 표준에 맞추어 다이콤 태그 정보에 바로 저장을 할 수 없으며 또한 저장된 태그 정보의 해독에 필요한 정보를 정확히 알아야만 태그 정보의 해독 및 원해의 판독 결과를 재생할 수 있기 때문이다.
전술한 다양한 판독 결과는 데이터 클래스 및 데이터 속성에 따라 문자열, 숫자, 튜플, 리스트, 어레이 등으로 분류 가능하며, 또한 데이터가 정수인지 아니면 실수인지 여부와 각각의 경우에 있어서 숫자를 표현하는데 필요한 바이트 수에 따라 분류될 수 있으며, 다이콤 표준에 맞추어 전달하기 위해서는 1차원의 데이터 형태로 변환하여 전달을 하여야 한다.
그리고 다이콤 태그 정보를 해독하고 본래의 형태로 디코딩하기 위해서는 튜플, 리스트, 어레이를 바이트로 변환하여 저장을 하여야 한다,
이는, 바이트로 변환처리하지 않고 문자열로 저장을 하는 경우에는 저장된 태그 정보로부터 본래의 튜플, 리스트 및 어레이를 복원하기가 매우 어렵기 때문에, 정확도가 상대적으로 낮아질 수 있다.
도 22는 본 발명의 태그 정보에 판독 결과를 저장하기 위한 판독 결과 분류 및 변환 방법을 설명하기 위한 동작 순서도이다.
도 22를 참조하면, 영상 판독부(300)는 의료 영상을 판독하고, 판독 결과를 기반으로 태그 정보를 생성하기 위해, 판독 결과의 데이터 클래스 및 데이터 타입(속성)을 분류한다(S2210).
영상 판독부(300)는 2차원 어레이로 표현되는 이미지 형태 또는 윤곽선 맵의 이미지 형태와 같이 데이터 클래스가 튜플(Tuple)이면(S2215-Yes), 튜플 값이 실수, 정수인지 여부와 필요한 바이트수에 입각하여 어레이로 변환을 하고(S2220), 다시 1차원의 바이트로 변환하여(S2225), 태그 정보를 생성하고 의료 영상에 부가할 수 있다.
그리고 영상 판독부(300)는 윤곽선 맵 또는 바운딩 박스의 좌표와 같이 데이터 클래스가 리스트이면(S2230-Yes), 리스트의 값이 실수, 정수인지 여부와 필요한 바이트수에 입각하여 어레이로 변환하고(S2235), 다시 1차원의 바이트로 변환(S2240)하여, 태그 정보를 생성하고 의료 영상에 부가할 수 있다.
또한, 영상 판독부(300)는 히트맵과 같이 데이터 클래스가 어레이(Array)이면(S2245-Yes), 1차원의 바이트로 변환하여(S2250), 태그 정보를 생성하고 의료 영상에 부가할 수 있다.
그리고 영상 판독부(300)는 판독 결과 병변에 해당하는 클래스명 그리고 검출 확률과 같은 데이터 클래스를 문자열 및 숫자 처리하여(S2260), 태그 정보를 생성하고 의료 영상에 부가할 수 있다.
이렇게 해서 영상 판독부(300)는 다이콤 표준에 부합하면서 도 25 내지 도 26을 참조하여 후술하는 이미지 뷰어부(500)에서 효율적이고 효과적으로 프라이빗 다이콤 태그를 해독하여 다양한 판독 결과의 데이터 클래스 및 타입(속성)으로 복원하여 판독 결과를 생성하여 이미지와 중첩하여 나타낼 수 있게 한다.
도 23 내지 도 24는, 본 발명의 일 실시예에 따른 이미지 뷰어부(500)의 동작 특성의 설명에 제공된 도면이다.
통상의 이미지 뷰어는 워크 스테이션, 랩톱, 태블릿을 위한 고성능 다중 모니터 뷰어이며 이미지 조작, 레이아웃 및 마크업을 통한 다양한 도구모음이 있고 보고서 작성기, CD/미디어 작성 및 교수형 프로토콜 등이 있으며, 통상 의료진이 환자 진료시 의료 영상을 디스플레이한 상태에서 판독을 하고 설명을 하고 진단결과를 입력하는 용도로 사용될 수 있다.
여기에서는 본 실시예와 관련하여 영상 판독부(300)가 판독한 결과를 참조하여 의사가 진단을 하는데 도움이 될 수 있도록 태그 정보를 해독하여 판독 결과를 재생하여 본래의 검출확률(Screening Score), 바운딩 박스(Bounding Box), 윤곽선 맵(Contour Map) 및 히트맵(Heat Map)을 생성하는 동작에 대해 기술하고자 한다.
이미지 콘솔 뷰어부(200)는 영상 판독부(300)으로부터 수신된 태그 정보가 저장된 의료 영상을 영상 관리부(400)에 전달하여 저장하도록 함으로써, 의료진이 이미지 뷰어부(500)를 사용하여 의료 영상을 읽어, 의료 영상의 판독 결과를 보고 판독하도록 할 수 있다.
도 23을 참조하면, 이미지 뷰어부(500)는, 시스템의 초기화에 제반 필요한 동작을 다 수행을 하고(S2310), 사용자로부터 요청을 기다리며 요청 대기 상태를 유지할 수 있으며(S2320), 사용자의 요청이 발생되면, 요청 내용에 준하여 처리를 수행할 수 있다(S2340).
그리고 이미지 뷰어부(500)는, 영상 판독부(300)의 판독 결과를 생성하라는 요청이 발생되면(S2330), 태그 정보를 해독하고(S2350), 데이터 클래스 및 타입(속성)을 디코딩하여(S2360), 판독 결과를 검출확률(Screening Score), 바운딩 박스(Bounding Box), 윤곽선 맵(Contour Map) 및 히트맵(Heat Map) 형태로 생성하여(S2370), 화면에 표시(디스플레이)하여, 의료진이 의료 영상을 판독하는데 도움이 되게 한다.
도 24는, 이미지 뷰어부(500)가 태그 정보 정보를 정확히 복원하기 위한 동작을 나타낸 순서도이다.
이미지 뷰어부(500)는 저장할 때의 순서와 정확히 역순으로 해독을 하여야 검출확률(Screening Score), 바운딩 박스(Bounding Box), 윤곽선 맵(Contour Map) 및 히트맵(Heat Map)을 정상적으로 디코딩을 수행할 수 있다.
즉, 이미지 뷰어부(500)는 판독 결과의 데이터 클래스 및 데이터 타입(속성)을 분류하고(S2410), 1차원의 바이트 코드로부터 어레이로 변환하여 튜플, 리스트 및 어레이로 변환하고 히트맵, 윤곽선맵 생성을 위해서 리사이징을 수행할 수 있다.
구체적으로, 이미지 뷰어부(500)는, 분류 결과, 바이트가 아닌 문자열 또는 숫자이면, 그대로 복원(디코딩)을 하고, 바이트인 경우(S2415-Yes), 문자열, 숫자로 변환하고(S2420), 튜플에 해당하는 바이트이면(S2425-Yes), 저장시와 동일한 실수 또는 정수 구분 및 필요한 바이트 수를 정확히 적용하여 어레이로 변환하고(S2430), 튜플로 변환하고(S2435), 리스트에 해당하는 바이트인 경우에는(S2440-Yes), 마찬가지로 저장시와 동일한 실수 또는 정수 구분 및 필요한 바이트 수를 정확히 적용하여 어레이로 변환하여(S2445), 변환된 어레이를 리스트로 변환하고(S2450), 리스트의 형태에 따라 리사이징하며(S2455), 이는 본래의 윤곽선맵을 복원하는 것과 관련이 있으며. 어레이에 해당하는 바이트인 경우에는 저장시의 정보를 이용하여 리사이징하여(S2455), 히트맵을 복원하는 것과 관련이 있다.
본 발명의 의료 영상 판독 결과를 이미지 뷰어부(500)로 처리하기 위해서는 상기에 기술한 바와 같이 복원에 필요한 정보를 활용하면 정확히 판독 결과를 태그 정보로부터 생성하는 것이 가능하고, 또한 다이콤 메타정보에 대한 Tag을 해독하여 판독 결과 생성에 필요한 정확한 정보를 얻을 수 있어, 일반 이미지 뷰어부(500)를 개발하는 소프트웨어 엔지니어는 영상 판독부(300)로 판독한 결과를 생성할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 엑스레이 영상 획득부
200 : 이미지 콘솔 뷰어부(Image Console Viewer)
210 : Image Processor
220 : X-ray Controller
230 : Image Console Main Module
240 : DICOM Handler & Private Tag Decoder
300 : 영상 판독부(AXIR, Automatic X-ray Image Reader)
310 : Image Pre-processing
320 : Image Classification Model
330 : Object Detection Model
340 : Inference Result DICOM Tag Adder
400 : 영상 관리부(PACS, Picture Archive and Communication System)
500 : 이미지 뷰어부(Image Viewer)
510 : Image Viewing Main Module
520 : Private Tag Decoder
530 : Inference Result Constructor
200 : 이미지 콘솔 뷰어부(Image Console Viewer)
210 : Image Processor
220 : X-ray Controller
230 : Image Console Main Module
240 : DICOM Handler & Private Tag Decoder
300 : 영상 판독부(AXIR, Automatic X-ray Image Reader)
310 : Image Pre-processing
320 : Image Classification Model
330 : Object Detection Model
340 : Inference Result DICOM Tag Adder
400 : 영상 관리부(PACS, Picture Archive and Communication System)
500 : 이미지 뷰어부(Image Viewer)
510 : Image Viewing Main Module
520 : Private Tag Decoder
530 : Inference Result Constructor
Claims (9)
- 환자의 엑스레이 영상을 획득하는 엑스레이 영상 획득부;
영상 획득부로부터 수신되는 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하는 이미지 콘솔 뷰어부;
이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하는 영상 판독부;
태그 정보가 부가된 이미지 파일을 저장하는 영상 관리부; 및
영상 관리부에 저장된 태그 정보가 부가된 이미지 파일을 수신하여, 화면에 표시하는 이미지 뷰어부;를 포함하고,
영상 판독부는,
엑스레이 영상을 학습 데이터로 엑스레이 영상 내 질환 및 병변의 검출을 위해 학습된 이미지 학습 모델을 이용하여, 이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 판독하고, 각 질환 및 병변에 대해 검출 점수(Screening Score), Contour Map 정보 또는 Heat Map 정보가 포함된 태그 정보를 이미지 파일에 부가하며,
영상 판독부는,
태그 정보에 질환 및 병변 명에 대한 문자열(String)이 포함되도록 하는 경우, 문자열의 VR(Value Representation)을 LO(long String)에 적용하여 태그 정보에 포함되도록 하고,
태그 정보에 정수 및 부동소수점인 Screening Scores가 포함되도록 하는 경우, Screening Scores를 DS(Decimal String)에 적용하여 태그 정보에 포함되도록 하고,
태그 정보에 Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array가 포함되도록 하는 경우, Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array에 대한 정보를 Bytes로 변환시킨 후, 16Bit에 대한 Bytes를 OW(Other Word String)에 적용하고, 8Bit에 대한 Bytes를 OB(Other Byte String)에 적용하여, 태그 정보에 포함되도록 하고,
이미지 뷰어부는,
이미지 파일 및 태그 정보 판독 시, Bytes로 저장된 Contour Maps과 Heat Maps을 각각의 Array Shape에 따라 Array로 변환시킨 후 List 및 Tuple로 변환하여 변환된 정보 기반 Contour Maps 및 Heat Maps를 생성하고,
이미지 파일에 태그 정보가 포함되는 경우, 태그 정보에 포함된 영상 판독 결과를 표시하는 아이콘 및 메뉴가 활성화되어, 이미지 파일이 표시되는 화면에 함께 표시되도록 하고,
표시된 아이콘 및 메뉴를 이용하여 영상 판독 결과의 표시를 요청하는 경우, 영상 판독 결과가 이미지 파일과 함께 표시되도록 하며,
영상 판독부는,
영상 판독 결과에 대한 필수 항목으로 각 질환 및 병변에 대한 판독결과(Positive, Negative), Screening 결과, Screening Scores, Contour Map Information 및 Heat Map information이 포함되도록 하고,
영상 판독부는,
판독 기준이 되는 Threshold Score를 Higher Sensitivity(0.3), High Sensitivity(0.4), Default Sensitivity(0.5), High Specificity(0.6), Higher Specificity(0.7)으로 구분하여 각각 태그 정보를 생성하고,
영상 판독부는,
판독 기준이 되는 Threshold Score에 따라 태그 정보에 포함되는 세부 항목 및 세부 내용에 대한 정보를 룩업테이블(Lookup Table)에 기록하고, 의료 영상의 판독 시, 룩업테이블을 기반으로, 태그 정보에 포함되어야 하는 필수 항목의 세부 항목 및 세부 내용이 결정되어, 태그 정보를 생성하며,
이미지 뷰어부는,
사용자의 입력에 따라 판독 기준이 되는 Threshold Score가 결정되면, 결정된 판독 기준이 되는 Threshold Score에 따라 화면에 표시되는 영상 판독 결과의 세부 항목 및 세부 내용이 결정되도록 하며,
영상 판독부는,
판독 기준이 되는 Threshold Score가 Default Sensitivity(0.5)를 기준으로 높을수록, 이미지 뷰어부를 통해 세부 항목 및 세부 내용이 상대적으로 간략하게 표시되어, 특이도(specificity)가 증가하되, 검출도(sensitivity)가 감소하는 방향으로 표시되도록 하고,
판독 기준이 되는 Threshold Score가 Default Sensitivity(0.5)를 기준으로 낮을수록, 이미지 뷰어부를 통해 세부 항목 및 세부 내용이 상대적으로 자세하게 표시되어, 세부 항목 및 세부 내용의 검출도가 증가하되, 특이도가 감소하는 방향으로 표시되도록 하는 것을 특징으로 하는 실시간 자동 엑스레이 영상 판독 시스템.
- 삭제
- 청구항 1에 있어서,
영상 판독부는,
영상 판독 결과가 이미지 파일과 함께 표시되는 경우, 태그 정보에 이미지, 문자 및 숫자로 구현되는 영상 판독 결과와 영상 판독 결과의 표시 위치에 대한 위치 정보를 기반으로 태그 정보를 생성하는 것을 특징으로 하는 실시간 자동 엑스레이 영상 판독 시스템.
- 청구항 3에 있어서,
이미지 뷰어부는,
이미지 파일을 화면에 표시하는 경우, 이미지 파일에 부가된 태그 정보를 해독하여, 태그 정보에 포함된 이미지, 문자 또는 숫자가 이미지 파일과 함께 표시되도록 하되, 이미지, 문자 또는 숫자의 표시 위치가, 각각의 위치 정보를 기반으로 이미지 파일 내에서 개별적으로 결정되도록 하는 것을 특징으로 하는 실시간 자동 엑스레이 영상 판독 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 실시간 자동 엑스레이 영상 판독 시스템이, 환자의 엑스레이 영상을 획득하는 제1 단계;
실시간 자동 엑스레이 영상 판독 시스템이, 엑스레이 영상을 대상으로 전처리 과정을 수행하여 기설정된 포맷의 이미지 파일로 변환하도록 하는 제2 단계;
실시간 자동 엑스레이 영상 판독 시스템이, 이미지 파일을 입력으로, 인공지능 기반의 영상 판독을 수행하고, 영상 판독 결과가 포함된 태그 정보를 생성하여, 이미지 파일에 부가하는 제3 단계;
실시간 자동 엑스레이 영상 판독 시스템이, 태그 정보가 부가된 이미지 파일을 저장하는 제4 단계; 및
실시간 자동 엑스레이 영상 판독 시스템이, 저장된 태그 정보가 부가된 이미지 파일을 화면에 표시하는 제5 단계;를 포함하고,
상기 제3 단계에서는,
엑스레이 영상을 학습 데이터로 엑스레이 영상 내 질환 및 병변의 검출을 위해 학습된 이미지 학습 모델을 이용하여, 이미지 콘솔 뷰어부로부터 수신되는 이미지 파일을 판독하고, 각 질환 및 병변에 대해 검출 점수(Screening Score), Contour Map 정보 또는 Heat Map 정보가 포함된 태그 정보를 이미지 파일에 부가하며,
태그 정보에 질환 및 병변 명에 대한 문자열(String)이 포함되도록 하는 경우, 문자열의 VR(Value Representation)을 LO(long String)에 적용하여 태그 정보에 포함되도록 하고,
태그 정보에 정수 및 부동소수점인 Screening Scores가 포함되도록 하는 경우, Screening Scores를 DS(Decimal String)에 적용하여 태그 정보에 포함되도록 하고,
태그 정보에 Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array가 포함되도록 하는 경우, Control Maps, Heat Maps 또는 Image Shape의 Tuple, List 및 Array에 대한 정보를 Bytes로 변환시킨 후, 16Bit에 대한 Bytes를 OW(Other Word String)에 적용하고, 8Bit에 대한 Bytes를 OB(Other Byte String)에 적용하여, 태그 정보에 포함되도록 하고,
상기 제5 단계에서는,
이미지 파일 및 태그 정보 판독 시, Bytes로 저장된 Contour Maps과 Heat Maps을 각각의 Array Shape에 따라 Array로 변환시킨 후 List 및 Tuple로 변환하여 변환된 정보 기반 Contour Maps 및 Heat Maps를 생성하고,
이미지 파일에 태그 정보가 포함되는 경우, 태그 정보에 포함된 영상 판독 결과를 표시하는 아이콘 및 메뉴가 활성화되어, 이미지 파일이 표시되는 화면에 함께 표시되도록 하고,
표시된 아이콘 및 메뉴를 이용하여 영상 판독 결과의 표시를 요청하는 경우, 영상 판독 결과가 이미지 파일과 함께 표시되도록 하며,
영상 판독 결과에 대한 필수 항목으로 각 질환 및 병변에 대한 판독결과(Positive, Negative), Screening 결과, Screening Scores, Contour Map Information 및 Heat Map information이 포함되도록 하고,
상기 제3 단계에서는,
판독 기준이 되는 Threshold Score를 Higher Sensitivity(0.3), High Sensitivity(0.4), Default Sensitivity(0.5), High Specificity(0.6), Higher Specificity(0.7)으로 구분하여 각각 태그 정보를 생성하고,
판독 기준이 되는 Threshold Score에 따라 태그 정보에 포함되는 세부 항목 및 세부 내용에 대한 정보를 룩업테이블(Lookup Table)에 기록하고, 의료 영상의 판독 시, 룩업테이블을 기반으로, 태그 정보에 포함되어야 하는 필수 항목의 세부 항목 및 세부 내용이 결정되어, 태그 정보를 생성하며,
상기 제5 단계에서는,
사용자의 입력에 따라 판독 기준이 되는 Threshold Score가 결정되면, 결정된 판독 기준이 되는 Threshold Score에 따라 화면에 표시되는 영상 판독 결과의 세부 항목 및 세부 내용이 결정되도록 하며,
상기 제5 단계에서는,
판독 기준이 되는 Threshold Score가 Default Sensitivity(0.5)를 기준으로 높을수록, 이미지 뷰어부를 통해 세부 항목 및 세부 내용이 상대적으로 간략하게 표시되어, 특이도(specificity)가 증가하되, 검출도(sensitivity)가 감소하는 방향으로 표시되도록 하고,
판독 기준이 되는 Threshold Score가 Default Sensitivity(0.5)를 기준으로 낮을수록, 이미지 뷰어부를 통해 세부 항목 및 세부 내용이 상대적으로 자세하게 표시되어, 세부 항목 및 세부 내용의 검출도가 증가하되, 특이도가 감소하는 방향으로 표시되도록 하는 것을 특징으로 하는 실시간 자동 엑스레이 영상 판독 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200068149A KR102405314B1 (ko) | 2020-06-05 | 2020-06-05 | 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 |
| PCT/KR2021/006852 WO2021246770A1 (ko) | 2020-06-05 | 2021-06-02 | 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200068149A KR102405314B1 (ko) | 2020-06-05 | 2020-06-05 | 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210152048A KR20210152048A (ko) | 2021-12-14 |
| KR102405314B1 true KR102405314B1 (ko) | 2022-06-07 |
Family
ID=78831163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200068149A KR102405314B1 (ko) | 2020-06-05 | 2020-06-05 | 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102405314B1 (ko) |
| WO (1) | WO2021246770A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500498B (zh) * | 2021-12-28 | 2023-12-08 | 武汉联影医疗科技有限公司 | Dicom文件传输与存储方法、系统、设备及存储介质 |
| KR102442591B1 (ko) * | 2022-01-24 | 2022-09-13 | 주식회사 에어스메디컬 | 라벨 생성 방법, 프로그램 및 장치 |
| KR102564737B1 (ko) * | 2022-05-25 | 2023-08-10 | 주식회사 래디센 | X-ray 이미지의 노이즈 제거를 위한 장치의 학습방법 및 이를 위한 컴퓨팅 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011067637A (ja) * | 2004-05-31 | 2011-04-07 | Toshiba Corp | Ｄｉｃｏｍ医用画像情報処理装置およびｄｉｃｏｍ医用画像情報処理システム |
| JP2019195627A (ja) * | 2018-05-07 | 2019-11-14 | ゼブラ メディカル ビジョン リミテッド | 解剖学的画像の解析のためのシステム及び装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101628276B1 (ko) | 2015-04-20 | 2016-06-08 | 주식회사 루닛 | 클라우드 기반 병리 분석 시스템 및 방법 |
| US10445462B2 (en) * | 2016-10-12 | 2019-10-15 | Terarecon, Inc. | System and method for medical image interpretation |
| US10452813B2 (en) * | 2016-11-17 | 2019-10-22 | Terarecon, Inc. | Medical image identification and interpretation |
| CN106951531B (zh) * | 2017-03-21 | 2020-07-10 | 东软集团股份有限公司 | 数据查询方法及装置 |
-
2020
- 2020-06-05 KR KR1020200068149A patent/KR102405314B1/ko active IP Right Grant
-
2021
- 2021-06-02 WO PCT/KR2021/006852 patent/WO2021246770A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011067637A (ja) * | 2004-05-31 | 2011-04-07 | Toshiba Corp | Ｄｉｃｏｍ医用画像情報処理装置およびｄｉｃｏｍ医用画像情報処理システム |
| JP2019195627A (ja) * | 2018-05-07 | 2019-11-14 | ゼブラ メディカル ビジョン リミテッド | 解剖学的画像の解析のためのシステム及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021246770A1 (ko) | 2021-12-09 |
| KR20210152048A (ko) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102405314B1 (ko) | 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템 | |
| US20100088346A1 (en) | Method and system for attaching objects to a data repository | |
| US11194853B2 (en) | Rapid cross-validated ground truth annotation of large image datasets for image analytics | |
| US20140006926A1 (en) | Systems and methods for natural language processing to provide smart links in radiology reports | |
| US7840041B2 (en) | Device for converting medical image data | |
| JP5390805B2 (ja) | 出力装置およびその方法、プログラム、記録媒体 | |
| US7786990B2 (en) | Cursor mode display system and method | |
| CN109460756B (zh) | 医学影像处理方法、装置、电子设备及计算机可读介质 | |
| US10290365B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
| JP5048286B2 (ja) | 画像転送方法、画像転送装置、及び画像転送プログラム | |
| US20180068066A1 (en) | Automated peer review of medical imagery | |
| US20070140538A1 (en) | Method for processing unenhanced medical images | |
| CN114864035A (zh) | 影像报告生成方法、装置、系统、设备及存储介质 | |
| JP2006301965A (ja) | 情報処理装置、画像処理装置、画像処理システム及び方法、並びに記憶媒体 | |
| US20180068436A1 (en) | Multiple algorithm lesion segmentation | |
| US20220246281A1 (en) | Methods and systems for improving radiology workflow | |
| US20230334663A1 (en) | Development of medical imaging ai analysis algorithms leveraging image segmentation | |
| US20180068068A1 (en) | Automated removal of protected health information | |
| US20220328173A1 (en) | Artificial intelligence based system and method for documenting medical procedures | |
| KR20190088371A (ko) | 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치 | |
| JP2007058628A (ja) | 医用情報処理装置、医用情報処理システム及び医用情報処理プログラム | |
| US10373345B2 (en) | Adaptive image display characteristics | |
| JP5693669B2 (ja) | 出力装置およびその方法、プログラム | |
| WO2018221302A1 (en) | Information processing apparatus and method for controlling the same | |
| US20050283381A1 (en) | System and method to manipulate identification data of medical images and data sets for quality assurance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |