KR20230105896A - 의료영상 어노테이션 방법 및 장치 - Google Patents

의료영상 어노테이션 방법 및 장치 Download PDF

Info

Publication number
KR20230105896A
KR20230105896A KR1020220001495A KR20220001495A KR20230105896A KR 20230105896 A KR20230105896 A KR 20230105896A KR 1020220001495 A KR1020220001495 A KR 1020220001495A KR 20220001495 A KR20220001495 A KR 20220001495A KR 20230105896 A KR20230105896 A KR 20230105896A
Authority
KR
South Korea
Prior art keywords
medical image
information
annotation
reference position
margin
Prior art date
Application number
KR1020220001495A
Other languages
English (en)
Inventor
조동연
신수용
최윤호
송상용
Original Assignee
에스케이텔레콤 주식회사
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사, 사회복지법인 삼성생명공익재단 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020220001495A priority Critical patent/KR20230105896A/ko
Publication of KR20230105896A publication Critical patent/KR20230105896A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Abstract

의료영상 어노테이션 방법 및 장치를 개시한다.
본 개시의 일 측면에 의하면, 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출하는 추출부; 상기 의료영상에 관한 물리적 크기정보를 획득하는 크기정보 획득부; 상기 물리적 크기정보를 이용하여, 상기 의료영상에서 상기 판독정보에 대응하는 적어도 하나의 후보영역을 검출하는 후보영역 검출부; 상기 적어도 하나의 후보영역 중에서 목표영역을 선정하는 목표영역 선정부; 및 상기 목표영역에 관한 어노테이션 데이터를 생성하는 어노테이션부를 포함하는 것을 특징으로 하는 의료영상 어노테이션 장치를 제공한다.

Description

의료영상 어노테이션 방법 및 장치{Method and Apparatus for Medical Image Annotation}
본 개시는 의료인공지능 개발을 위한 의료영상 어노테이션 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
지도학습(Supervised learning)의 방식으로 인공지능 모델을 개발하는 경우, 입력 데이터는 물론 그에 대응되는 정답 데이터의 확보가 필수적이다. 때문에 의료영상을 입력으로 다루는 인공지능 모델 또한 지도학습 방식의 개발 환경에서는 해결하고자 하는 태스크(task)에 대한 정답 데이터가 필요하다.
일 예로, 의료영상 내에서 병변을 분할(segmentation)하는 모델을 개발하는 경우, 병변의 정확한 위치가 표기된 마스크(mask) 영상을 정답 데이터로 이용할 수 있다. 다른 예로, 병변의 사이즈를 예측하는 모델을 개발하는 경우에는, 병변의 장축과 단축의 길이를 나타내는 실수 값들을 정답 데이터로 이용할 수 있다.
의료영상 검사결과는 판독의의 육안 판독을 통한 보고서 형태의 기록이 존재하며 이는 의료현장에서 절대적인 정답으로 간주되기 때문에, 인공지능 모델개발을 위한 정답 데이터의 생성은 해당 판독 보고서를 기반으로 이루어진다.
따라서, 입력된 의료영상을 이용하는 인공지능 모델개발에는 판독 보고서에 기록된 내용을 발췌하여 정답 데이터로 활용하는 것이 일반적이다.
그러나 의료영상에 있는 특정 부분을 이용해야 하는 모델의 경우, 판독 보고서에 기록된 내용을 발췌하는 것만으로는 정답 데이터를 확보하는 것이 불가능하다.
일 예로, 의료영상에서 병변이나 장기 등을 분할하는 모델을 개발하기 위해서는 바이너리 마스크(binary mask) 형태의 영상 데이터가 확보되어야 하며, 객체 탐지(object detection)를 수행하는 모델의 경우 영상에서 객체가 위치하는 실질적인 좌표값이 파악되어야 한다. 의미론적 분할(Semantic segmentation)을 수행하는 모델의 경우는 바이너리 마스크와 객체의 좌표값은 물론 각 객체의 클래스(class) 까지도 함께 정답 데이터로 확보되어야 한다. 이러한 데이터들은 판독 보고서에 직접 기재되어있거나 별도로 마련되어 있지 않다.
따라서 현재 의료영상을 대상으로 한 영상형태 또는 좌표형태의 어노테이션(annotation)은 의료진이나 별도의 인력에 의해 수작업 또는 별도의 반자동(semi-automatic) 프로그램을 통해 작성되고 있는 상황이다.
이러한 기존의 의료영상 어노테이션 방식은 인력에 의존하기 때문에 일일 라벨(label) 작성 수량에 한계가 있고, 어노테이션을 수행할 전문성을 갖추기까지 별도의 숙련기간이 요구된다. 또한, 숙련도 및 주관적 기준으로 인해 작성자 간 또는 작성자 내 어노테이션 수준에 편차가 존재한다.
본 개시의 실시예들은, 의료영상 기반 인공지능 모델의 학습 데이터 생성을 위하여, 기작성된 판독 보고서를 기반으로 의료영상에 대한 어노테이션을 수행하는 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에 의하면, 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출하는 추출부; 상기 의료영상에 관한 물리적 크기정보를 획득하는 크기정보 획득부; 상기 물리적 크기정보를 이용하여, 상기 의료영상에서 상기 판독정보에 대응하는 적어도 하나의 후보영역을 검출하는 후보영역 검출부; 상기 적어도 하나의 후보영역 중에서 목표영역을 선정하는 목표영역 선정부; 및 상기 목표영역에 관한 어노테이션 데이터를 생성하는 어노테이션부를 포함하는 것을 특징으로 하는 의료영상 어노테이션 장치를 제공한다.
본 개시의 다른 측면에 의하면, 어노테이션 장치가 의료영상에 대한 어노테이션을 수행하는 방법으로서, 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출하는 과정; 상기 의료영상에 관한 물리적 크기정보를 획득하는 과정; 상기 물리적 크기정보를 이용하여, 상기 의료영상에서 상기 판독정보에 대응하는 적어도 하나의 후보영역을 검출하는 과정; 상기 적어도 하나의 후보영역 중에서 목표영역을 선정하는 과정; 및 상기 목표영역에 관한 어노테이션 데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 의료영상 어노테이션 방법을 제공한다.
본 개시의 일 실시예에 의하면, 기작성된 판독 보고서를 기반으로 의료영상에 대한 어노테이션을 수행함으로써, 의료영상 기반 인공지능 모델의 학습 데이터를 생성할 수 있다.
본 개시의 일 실시예에 의하면, 의료영상에 대한 어노테이션 수행 과정을 자동화함으로써, 학습 데이터 확보에 소요되는 인적, 물적, 시간적 비용을 크게 절약할 수 있다는 효과가 있다.
본 개시의 일 실시예에 의하면, 객관적인 기준과 계산에 의거한 어노테이션 수행 과정을 통해, 어노테이션의 재현성이 확보되며 편차가 적은 양질의 학습 데이터 확보가 가능하다는 효과가 있다.
의료영상에 대한 어노테이션 수행 과정을 자동화함으로써, 객관적이고 정확한 학습용 정답 데이터를 적은 비용으로 획득할 수 있다는 효과가 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 의료영상 어노테이션 장치를 개략적으로 나타낸 블록구성도이다.
도 2는 본 개시의 일 실시예에 따른 탐지부를 개략적으로 나타낸 블록구성도이다.
도 3a 내지 도 3e는 본 개시의 일 실시예에 따른 탐지부의 동작을 설명하기 위한 예시도이다.
도 4는 본 개시의 일 실시예에 따른 의료영상 어노테이션 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 목표영역 탐지 방법을 나타내는 흐름도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
본 개시에서 의료영상이라는 용어는, 정지 영상(still image)과 동영상(video)을 모두 포괄하는 의미로 사용될 수 있다.
본 개시에서 의료영상에 대응하는 보고서라는 용어는, 의료영상 판독 보고서 또는 병리 보고서일 수 있으나, 이에 한정되는 것은 아니며 의료영상을 기반으로 작성된 다양한 종류의 기록물을 통칭하는 의미로 사용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 의료영상 어노테이션 장치를 개략적으로 나타낸 블록구성도이다.
도 1에 도시되듯이, 본 개시의 일 실시예에 따른 의료영상 어노테이션 장치(10)는 추출부(100), 탐지부(110) 및 어노테이션부(120)를 전부 또는 일부 포함할 수 있다. 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 의료영상 어노테이션 장치(10)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 의료영상 어노테이션 장치(10)의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 하나 이상의 프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
추출부(100)는 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출한다. 목표객체는 병변 또는 장기일 수 있으나, 이에 한정되는 것은 아니며 의료영상을 기반으로 분석 가능한 모든 대상물을 포함할 수 있다.
추출부(100)는 의료영상에 대응하는 보고서에 기재된 서술형 기록 또는 구조화된 기록으로부터, 어노테이션(annotation)에 필요한 판독정보를 추출할 수 있다.
추출부(100)는 기정의된 규칙 또는 기학습된 인공지능 모델을 이용하여 의료영상에 대응하는 보고서로부터 판독정보에 해당하는 텍스트를 추출할 수 있다.
일 예로, 추출부(100)는 보고서에 포함된 적어도 하나의 텍스트의 개체명을 인식(Named Entity Recognition)하도록 기학습된 자연어 처리 모델을 이용하여, 기설정된 판독정보에 대응하는 개체명을 갖는 텍스트를 추출하도록 구성될 수 있다.
다른 예로, 추출부(100)는 기정의된 정규표현식을 이용하여 보고서로부터 목표객체에 관한 판독정보에 해당하는 텍스트를 파싱하도록 구성될 수 있다.
판독정보는 실측정보 및/또는 비실측정보를 포함할 수 있다. 실시예들에 따라, 판독정보는 실측정보로서, 목표객체의 크기 및 검체의 경계로부터 목표객체까지의 거리인 마진(margin) 중 하나 이상을 포함할 수 있으나, 이에 한하지 않는다. 실시예들에 따라, 판독정보는 비실측정보로서, 목표객체의 개수, 목표객체의 해부학적 위치(예: 병변이 장기의 어느 벽면에 위치하는지 등), 검체의 해부학적 위치 및 검체가 획득된 절개면 중 하나 이상을 포함할 수 있으나, 이에 한하지 않는다.
표 1은 의료영상에 대응하는 보고서의 일 예를 나타내고, 표 2는 의료영상에 대응하는 보고서로부터 추출된 판독정보의 일 예를 나타낸다.
병리 번호 환자 번호 Gross 결과 내용 검사 결과 내용
XXX XXX 육안담당의: XXX
1. FS-1
Received fresh labeled "proximal margin" is a mucosal strip, measuring 3cm. Entirely embedded. (GK)
2. FS-2
Received fresh labeled "distal margin" is a mucosal strip, measuring 4cm. Entirely embedded. (GK)
3.
Received fresh is a subtotally resected stomach with the omentum in continuity. The stomach is previously opened along the greater curvature by the surgeon and measures 18 cm along the greater curvature and 9.5 cm along the lesser curvature. The serosal surface is smooth and glistening. The mucosal surface shows a depressed lesion (EGC type llc), measuring 0.9x0. 7 cm , at the anterior wall-lesser curvature of body. The lesion is located 1.8 cm apart from the proximal resection margin and 8.4 cm apart from the distal resection margin . All perigastric lymph nodes found are embedded.		 ▣ 결론 및 진단
1-3. Stomach, subtotal gastrectomy:
. Early gastric carcinoma
1. Location : lower third, Center at body and lesser curvature
2. Gross type: EGC type llc
3. Histologic type: tubular adenocarcinoma, poorly (poorly cohesive) differentiated with signet ring cell component (20%)
4. Histologic type by lauren: diffuse
5. Size: 0.9x0. 7 cm
6. Depth of invasion: invades mucosa (muscularis mucosae) (pT1a)
7. Resection margin: free from carcinoma
safety margin: proximal 1.8 cm, distal 8.4 cm
8. Lymph node metastasis: no metastasis in 21 regional lymph node (pN0)
9. Lymphatic invasion: not identified
10. Venous invasion: not identified
11. Perineural invasion: not identified
12. AJCC stage by 8th edition: pT1a N0
. No evidence of malignacy, "EEA ring"
(본 진단은 조직구축학적 검사 후 판독결과 입니다.)
Location Cancer size Proximal margin Distal margin
Anterior wall-lesser curvature 0.9x0.7 cm 1.8 cm 8.4 cm
표 1과 같이, 의료영상에 대응하는 보고서가 위암 조직에 대한 병리 육안 조직 영상(pathology gross image)에 대한 보고서인 경우, 판독정보는 실측정보로서, 구강에 가까운 쪽인 근위 마진(proximal-margin)과 대장에 가까운 쪽인 말단 마진(distal-margin)을 포함할 수 있다.
예컨대, 표 2를 참조하면, 추출부(100)는 판독정보로서, 검체가 획득된 절개면 및 병변의 해부학적 위치(표 2의 "Location" 항목), 병변의 크기(표 2의 "Cancer size" 항목), 근위 마진(표 2의 "Proximal margin" 항목) 및 말단 마진(표 2의 "Distal margin" 항목)을 각각 추출할 수 있다.
탐지부(110)는 판독정보를 이용하여, 의료영상에서 목표객체를 포함하는 목표영역을 탐지한다. 탐지부(110)는 의료영상에 관한 물리적 크기정보를 획득하고, 물리적 크기정보를 이용하여 의료영상에서 판독정보에 대응하는 적어도 하나의 후보영역을 검출하고, 적어도 하나의 후보영역 중에서 목표영역을 선정할 수 있다.
탐지부(110)에 관한 구체적인 내용은 도 2 내지 도 3e를 참조하여 후술하도록 한다.
어노테이션부(120)는 목표영역에 관한 어노테이션 데이터를 생성한다.
실시예들에 따라, 어노테이션 데이터는 목표영역에 대한 바운딩 박스(bounding box), 바운딩 박스의 좌표값, 목표영역의 마스크(mask), 픽셀 레벨(pixel level)의 마스크 영상 및/또는 클래스(class) 등을 포함할 수 있으나 이에 한정되지 않으며, 어노테이션 데이터는 목표영역과 관련된 다른 정보를 더 포함할 수 있다.
실시예들에 따라, 어노테이션부(120)는 목표영역에 관한 어노테이션 데이터를 다양한 형식의 파일 포맷으로 저장할 수 있으며, 본 개시에서는 특정한 포맷으로 한정하지 않는다.
도 2는 본 개시의 일 실시예에 따른 탐지부를 개략적으로 나타낸 블록구성도이다.
도 3a 내지 도 3e는 본 개시의 일 실시예에 따른 탐지부의 동작을 설명하기 위한 예시도이다.
도 2에 도시되듯이, 본 개시의 일 실시예에 따른 탐지부(110)는 크기정보 획득부(200), 기준위치 획득부(210), 후보영역 검출부(220) 및 목표영역 선정부(230)를 전부 또는 일부 포함할 수 있다. 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 탐지부(110)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 예컨대, 의료영상 내에 판독정보에 대응하는 후보영역이 하나만 존재하는 경우, 목표영역 선정부(230)가 생략될 수 있다.
크기정보 획득부(200)는 의료영상에 관한 물리적 크기정보를 획득한다. 의료영상에 관한 물리적 크기정보는, 의료영상을 구성하는 하나의 복셀(voxel) 또는 픽셀(pixel)이 나타내는 실제 크기를 의미할 수 있다.
크기정보 획득부(200)는 의료영상을 포함하는 파일, 의료영상 내에 포함된 객체 및/또는 판독정보를 이용하여 의료영상에 관한 물리적 크기정보를 획득할 수 있다.
일 예로, 의료영상을 포함하는 파일이 DICOM(Digital Imaging and Communications in Medicine) 및/또는 Nifty 등과 같이 별도의 의료정보가 함께 저장되는 포맷을 가지는 경우. 크기정보 획득부(200)는 해당 파일의 헤더(header)에 저장된 스페이싱(spacing) 정보를 추출함으로써, 의료영상에 관한 물리적 크기정보를 획득할 수 있다.
다른 예로, 크기정보 획득부(200)는 판독정보에서 의료영상에 관한 물리적 크기정보를 획득할 수 있다.
다른 예로, 크기정보 획득부(200)는 의료영상 내에서 물리적 크기의 산출 척도가 되는 참조객체를 추출함으로써, 의료영상에 관한 물리적 크기정보를 획득할 수 있다. 여기서 참조객체는 측정 단위가 표시된 길이 측정 도구(예: 줄자 등) 또는 그 크기를 사전에 알고 있는 소정의 물체일 수 있다.
예컨대, 도 3a을 참조하면, 크기정보 획득부(200)는 의료영상으로부터 참조객체(310)를 추출하고, 참조객체 또는 참조 객체에 표시된 하나의 측정 단위에 대응하는 픽셀 수를 카운트하여, 하나의 픽셀이 나타내는 물리적 크기를 산출할 수 있다.
이를 위해, 크기정보 획득부(200)는 임의의 의료영상으로부터 검체(300) 및 참조객체(310)를 포함하는 전경 요소(foreground element)를 분할할 수 있다. 전경 요소는 임의의 의료영상으로부터 하나 이상의 전경 요소를 분할하도록 기학습된 전경요소 분할모델을 이용하여 분할될 수 있다.
실시예들에 따라, 크기정보 획득부(200)는 검체(300)와 참조객체(310)를 각각을 전경 요소로서 분할하는 각각의 바이너리 세그멘테이션 모델(binary segmentation model) 또는 한 회의 분할로 검체(300)와 참조객체(310)를 전경 요소로서 분할하는 멀티 클래스 세그멘테이션 모델(multi-class segmentation model) 등을 이용하여 참조객체(310)를 추출할 수 있으나, 이에 한정되는 것은 아니다.
기준위치 획득부(210)는 의료영상에서 검체의 경계로부터 목표객체까지의 거리인 마진을 측정하는데 이용된 기준위치를 획득한다. 도 3b를 참조하면, 기준위치(320, 330)는 검체(300)의 경계 상에 존재하는 적어도 하나의 지점(point)일 수 있다. 즉, 기준위치 획득부(210)는 판독정보에 포함되어 있는 마진이 검체의 경계 상의 어떤 지점으로부터 측정된 거리인지를 파악할 수 있다.
기준위치 획득부(210)는 기설정된 기준위치 산출규칙에 근거하여, 의료영상으로부터 적어도 하나의 기준위치를 산출할 수 있다.
본 개시의 일 실시예에 따른 기준위치 획득부(210)는 의료영상으로부터 검체의 무게 중심을 산출하고, 무게 중심을 지나는 선분들 중에서 선택된 하나의 기준선분과 검체의 경계가 만나는 하나 이상의 접점을 기준위치로 산출할 수 있다.
예컨대, 기준위치 획득부(210)는 무게 중심을 지나는 선분들 각각에 대해 검체의 경계가 만나는 두 점을 산출하고, 두 점 간의 거리가 가장 짧은 선분을 기준선분으로 선택할 수 있다. 기준위치 획득부(210)는 기준선분과 검체의 경계가 만나는 두 점을 각각 기준위치로 산출할 수 있다.
판독정보에 복수개의 마진이 포함되어 있는 경우, 기준위치 획득부(210)는 각 마진에 대응하는 기준위치를 산출할 수 있다. 예컨대, 도 3b를 참조하면, 판독정보에 말단 마진 및 근위 마진이 포함되어 있는 경우, 기준위치 획득부(210)는 말단 마진에 대응하는 제1 기준위치(320) 및 근위 마진에 대응하는 제1 기준위치(330)를 산출할 수 있다.
기준위치 획득부(210)는 기준선분과 검체의 경계가 만나는 두 점 중 좌측 점을 제1 기준위치(320)로서 산출하고, 우측 점을 제2 기준위치(330)로서 산출할 수 있다. 예컨대, 기준위치 획득부(210)는 기준선분과 검체의 경계가 만나는 두 점 가운데, x 좌표의 값이 더 작은 점을 제1 기준위치(320)로서 산출하고, 나머지 점을 제2 기준위치(330)로서 산출할 수 있다.
한편, 기준위치는 의료기관 또는 검사자마다 상이하게 정의될 수 있으므로, 기준위치를 획득하는 방법은 전술한 예에 한정되지 않으며, 구현예에 따라 달라질 수 있다. 본 개시에서는 기준위치를 획득하는 방법에 대하여 특정한 방식으로 한정하지는 않는다. 예컨대, 다른 실시예에 따른 기준위치 획득부(210)는 기준위치 산출규칙 또는 기준위치에 대응하는 좌표값을 입력받을 수 있다. 또 다른 실시예에 따른 기준위치 획득부(210)는, 의료영상에 추가되어 있는 기하학적 형상(예컨대, 점 또는 선분 등)을 추출함으로써 기준위치를 획득할 수도 있다.
후보영역 검출부(220)는 물리적 크기정보를 이용하여, 의료영상에서 판독정보에 대응하는 적어도 하나의 후보영역을 검출한다.
본 개시의 일 실시예에 따른 후보영역 검출부(220)는 물리적 크기정보, 기준위치 및 판독정보에 포함된 실측정보를 이용하여 적어도 하나의 후보영역을 검출할 수 있다.
후보영역 검출부(220)는 크기정보 획득부(200)가 산출한 물리적 크기정보에 기초하여, 판독 정보에 포함되어 있는 실측정보를 의료영상을 구성하는 픽셀 또는 복셀 단위로 환산할 수 있다. 예컨대, 후보영역 검출부(220)는 판독정보에 포함된 말단 마진 및 근위 마진 각각을 픽셀 또는 복셀 단위로 환산할 수 있다. 이하에서는, 말단 마진 및 근위 마진 각각을 의료영상을 구성하는 픽셀 또는 복셀 단위로 환산한 값을 각각 말단 마진에 대응하는 거리 및 근위 마진에 대응하는 거리라 한다.
후보영역 검출부(220)는 기준위치로부터 판독정보에 포함된 실측정보만큼 이격된 적어도 하나의 영역을 후보영역으로 검출할 수 있다. 예컨대, 판독정보에 말단 마진 및 근위 마진이 포함되어 있는 경우, 기준위치 획득부(210)는 제1 기준위치(320)로부터 말단 마진에 대응하는 거리만큼 이격되어 있고 제2 기준위치(330)로부터 근위 마진에 대응하는 거리만큼 이격되어 있는 적어도 하나의 영역을 후보영역으로 검출할 수 있다.
도 3c를 참조하면, 후보영역 검출부(220)는 제1 기준위치(320)를 중심으로 하며 말단 마진에 대응하는 거리(M1)를 반지름으로 하는 제1 원(322)을 생성하고, 제2 기준위치(330)를 중심으로 하며 근위 마진에 대응하는 거리(M2)를 반지름으로 하는 제2 원(332)을 생성할 수 있다. 후보영역 검출부(220)는 제1 원(322) 및 제2 원(332)과 접하는 적어도 하나의 영역을 후보영역으로 검출할 수 있다. 이때, 후보영역의 크기는, 판독정보에 포함된 목표객체의 크기에 의해 결정될 수 있다.
도 3d를 참조하면, 기준위치와 판독정보에 포함된 실측정보를 이용하여 검출된 두 개의 후보영역(340 및 350)을 확인할 수 있다.
한편, 후보영역을 검출하는 방법 및 후보영역의 개수는 전술한 예에 한정되지 않으며, 구현예에 따라 달라질 수 있다. 예컨대, 본 개시에 다른 실시예에 따른 후보영역 검출부(220)는 기준위치를 기준으로, 특정 각도만큼의 영역을 조회함으로써 하나 이상의 후보영역을 검출하거나, 기설정된 후보영역 검출규칙을 근거로 하나 이상의 후보영역을 검출할 수 있다.
목표영역 선정부(230)는 적어도 하나의 후보영역 중에서 목표영역을 선정한다.
본 개시의 일 실시예에 따른 목표영역 선정부(230)는 판독정보에 포함된 비실측정보 및 기저장된 사전정보 중 적어도 하나에 기초하여, 목표영역을 선정할 수 있다.
예컨대, 도 3e를 참조하면, 판독정보에 비실측정보로서, 목표객체가 Anterior wall에 위치한다는 정보가 포함되어 있는 경우, 목표영역 선정부(230)는 Lesser curvature로 절개된 병리 육안 조직 영상의 경우 검체의 상단이 Anterior wall이라는 사전정보에 의거하여, 후보영역(340 및 350)들 중 상단에 위치한 영역을 목표영역(340)으로 선정할 수 있다.
이를 위해, 목표영역 선정부(230)는 의료영상과 비실측정보를 연관시킬 수 있는 다양한 사전정보를 저장하고 있을 수 있다.
한편, 도 3d 및 도 3e에서는 후보영역 및 목표영역이 직사각형의 형상을 갖는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 후보영역 및 목표영역은 다양한 기하학적 형상(예컨대, 다각형 및 원 등)을 가질 수 있다.
도 4는 본 개시의 일 실시예에 따른 의료영상 어노테이션 방법을 나타내는 흐름도이다.
도 4에 도시된 방법은, 전술한 의료영상 어노테이션 장치에 의해 수행될 수 있으므로, 중복되는 설명에 대해서는 생략한다.
의료영상 어노테이션 장치는 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출한다(S400). 판독정보는, 목표객체의 크기 및 검체의 경계로부터 목표객체까지의 거리인 마진(margin), 목표객체의 개수, 목표객체의 해부학적 위치(예: 병변이 장기의 어느 벽면에 위치하는지 등), 검체의 해부학적 위치 및 검체가 획득된 절개면 중 하나 이상을 포함할 수 있으나, 이에 한하지 않는다.
일 실시예에서, 의료영상 어노테이션 장치는 보고서에 포함된 적어도 하나의 텍스트의 개체명을 인식(Named Entity Recognition)하도록 기학습된 자연어 처리 모델을 이용하여, 목표객체에 관한 판독정보를 추출할 수 있다.
다른 실시예에서, 의료영상 어노테이션 장치는 기정의된 정규표현식을 이용하여 보고서로부터 목표객체에 관한 판독정보를 파싱할 수 있다.
의료영상 어노테이션 장치는 판독정보를 이용하여, 의료영상에서 목표영역을 탐지한다(S410). 여기서, 목표영역은 보고서에 기재된 목표객체를 포함하는 것으로 추정되는 영역일 수 있다. 의료영상 어노테이션 장치는 의료영상에 관한 물리적 크기정보를 획득하고, 물리적 크기정보를 이용하여 의료영상에서 판독정보에 대응하는 적어도 하나의 후보영역을 검출하여, 적어도 하나의 후보영역 중에서 목표영역을 선정할 수 있다.
의료영상 어노테이션 장치는 목표영역에 관한 어노테이션 데이터를 생성한다(S420). 어노테이션 데이터는 예컨대, 목표영역에 대한 바운딩 박스(bounding box), 바운딩 박스의 좌표값, 목표영역의 마스크(mask), 픽셀 레벨(pixel level)의 마스크 영상 및/또는 클래스(class) 등을 포함할 수 있으나 이에 한하지 않는다.
도 5는 본 개시의 일 실시예에 따른 목표영역 탐지 방법을 나타내는 흐름도이다.
도 5에 도시된 방법은, 전술한 탐지부 또는 이를 탑재한 어노테이션 장치에 의해 수행될 수 있으므로, 중복되는 설명에 대해서는 생략한다.
의료영상 어노테이션 장치는 의료영상에 관한 물리적 크기정보를 획득한다(S500). 여기서, 의료영상에 관한 물리적 크기정보는 의료영상을 구성하는 하나의 복셀(voxel) 또는 하나의 픽셀(pixel) 등이 나타내는 실제 크기를 의미할 수 있다.
일 예로, 의료영상 어노테이션 장치는 의료영상을 포함하는 파일(이하, 의료영상 파일)의 헤더(header)에 저장된 스페이싱(spacing) 정보를 추출함으로써, 의료영상에 관한 물리적 크기정보를 획득할 수 있다. 다른 예로, 의료영상 어노테이션 장치는 추출된 판독정보에서 의료영상에 관한 물리적 크기정보를 획득할 수 있다. 다른 예로, 의료영상 어노테이션 장치는 의료영상 내에서 물리적 크기의 산출 척도가 되는 참조객체를 추출함으로써, 의료영상에 관한 물리적 크기정보를 획득할 수 있다.
의료영상 파일의 포맷이 기설정된 파일 포맷과 일치하는 경우, 의료영상 어노테이션 장치는 의료영상 파일의 헤더에 스페이싱 정보가 저장되어 있는지 확인할 수 있다. 반면, 의료영상 파일의 포맷이 기설정된 파일 포맷과 상이하거나, 의료영상 파일의 헤더에 스페이싱 정보가 저장되어 있지 않은 경우, 의료영상 어노테이션 장치는 판독정보에 의료영상에 관한 물리적 크기정보가 포함되어 있는지 및/또는 의료영상에서 참조객체가 추출되는지를 확인할 수 있다.
의료영상 어노테이션 장치는 검체의 경계로부터 목표객체까지의 거리인 마진(margin)을 측정하는데 이용된 기준위치를 획득한다(S510). 의료영상 어노테이션 장치는 판독정보에 포함된 복수개의 마진에 각각 대응하는 복수개의 기준위치를 획득할 수 있다. 예컨대, 의료영상 어노테이션 장치는 제1 마진에 대응하는 제1 기준위치 및 제2 마진에 대응하는 제2 기준위치를 획득할 수 있다. 의료영상이 위암 조직에 대한 병리 육안 조직 영상인 경우, 제1 마진 및 제2 마진은 각각 근위 마진(proximal-margin) 및 말단 마진(distal-margin) 중 어느 하나일 수 있다. 한편, 마진 및 이에 대응하는 기준위치의 개수는 전술한 예시에 한정되지 않는다.
의료영상 어노테이션 장치는 의료영상에서 판독정보에 대응하는 적어도 하나의 후보영역을 검출한다(S520).
의료영상 어노테이션 장치는 기준위치와 판독정보에 포함된 실측정보를 이용하여 적어도 하나의 후보영역을 검출할 수 있다. 예컨대, 의료영상 어노테이션 장치는 제1 기준위치를 중심으로 하며 제1 마진에 대응하는 거리를 반지름으로 하는 제1 원을 생성하고, 제2 기준위치를 중심으로 하며 제2 마진에 대응하는 거리를 반지름으로 하는 제2 원을 생성하여, 제1 원 및 제2 원과 접하는 적어도 하나의 영역을 후보영역으로 검출할 수 있다. 여기서, 제1 마진에 대응하는 거리 및 제2 마진에 대응하는 거리는, 의료영상에 관한 물리적 크기정보를 기초로 판독정보에 포함된 제1 마진 및 제2 마진을 환산한 값일 수 있다.
의료영상 어노테이션 장치는 적어도 하나의 후보영역 중에서 목표영역을 선정한다(S530).
예컨대, 의료영상 어노테이션 장치는 판독정보에 포함된 비실측정보 및 기저장된 사전정보 중 적어도 하나에 기초하여, 목표영역을 선정할 수 있다. 여기서 기저장된 사전정보는 비실측정보와 의료영상 내 적어도 일부 영역 또는 의료영상 내 적어도 일부 방향을 연관시키는 정보를 포함할 수 있다.
본 발명에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 의료영상 어노테이션 장치
100: 추출부
110: 탐지부
120: 어노테이션부

Claims (10)

  1. 의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출하는 추출부;
    상기 의료영상에 관한 물리적 크기정보를 획득하는 크기정보 획득부;
    상기 물리적 크기정보를 이용하여, 상기 의료영상에서 상기 판독정보에 대응하는 적어도 하나의 후보영역을 검출하는 후보영역 검출부;
    상기 적어도 하나의 후보영역 중에서 목표영역을 선정하는 목표영역 선정부; 및
    상기 목표영역에 관한 어노테이션 데이터를 생성하는 어노테이션부
    를 포함하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  2. 제1항에 있어서,
    상기 판독정보는,
    상기 목표객체의 해부학적 위치, 상기 목표객체의 크기 및 검체의 경계로부터 상기 목표객체까지의 거리인 마진(margin) 및 상기 검체가 획득된 절개면 중 하나 이상을 포함하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  3. 제1항에 있어서,
    상기 추출부는,
    상기 보고서에 포함된 적어도 하나의 텍스트의 개체명을 인식(Named Entity Recognition)하도록 기학습된 자연어 처리 모델을 이용하여, 상기 판독정보를 추출하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  4. 제1항에 있어서,
    상기 추출부는,
    기정의된 정규표현식을 이용하여 상기 보고서로부터 상기 판독정보를 파싱하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  5. 제1항에 있어서,
    상기 크기정보 획득부는,
    상기 의료영상을 포함하는 파일의 헤더(header)에 저장된 스페이싱(spacing) 정보를 추출함으로써, 상기 물리적 크기정보를 획득하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  6. 제1항에 있어서,
    상기 크기정보 획득부는,
    상기 의료영상 내에서 상기 물리적 크기의 산출 척도가 되는 참조객체를 추출함으로써, 상기 물리적 크기정보를 획득하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  7. 제1항에 있어서,
    검체의 경계로부터 목표객체까지의 거리인 마진(margin)을 측정하는데 이용된 기준위치를 획득하는 기준위치 획득부를 더 포함하고,
    상기 후보영역 검출부는,
    상기 물리적 크기정보, 상기 기준위치 및 상기 판독정보에 포함된 실측정보를 이용하여 상기 적어도 하나의 후보영역을 검출하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  8. 제7항에 있어서,
    상기 기준위치 획득부는,
    제1 마진에 대응하는 제1 기준위치 및 제2 마진에 대응하는 제2 기준위치를 획득하고,
    상기 후보영역 검출부는,
    상기 제1 기준위치를 중심으로 하며 상기 제1 마진에 대응하는 거리를 반지름으로 하는 제1 원을 생성하고, 상기 제2 기준위치를 중심으로 하며 상기 제2 마진에 대응하는 거리를 반지름으로 하는 제2 원을 생성하여, 상기 제1 원 및 상기 제2 원과 접하는 적어도 하나의 영역을 상기 후보영역으로 검출하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  9. 제1항에 있어서,
    상기 목표영역 선정부는,
    상기 판독정보에 포함된 비실측정보 및 기저장된 사전정보 중 적어도 하나에 기초하여, 상기 목표영역을 선정하는 것을 특징으로 하는 의료영상 어노테이션 장치.
  10. 어노테이션 장치가 의료영상에 대한 어노테이션을 수행하는 방법으로서,
    의료영상에 대응하는 보고서로부터 목표객체에 관한 판독정보를 추출하는 과정;
    상기 의료영상에 관한 물리적 크기정보를 획득하는 과정;
    상기 물리적 크기정보를 이용하여, 상기 의료영상에서 상기 판독정보에 대응하는 적어도 하나의 후보영역을 검출하는 과정;
    상기 적어도 하나의 후보영역 중에서 목표영역을 선정하는 과정; 및
    상기 목표영역에 관한 어노테이션 데이터를 생성하는 과정
    을 포함하는 것을 특징으로 하는 의료영상 어노테이션 방법.
KR1020220001495A 2022-01-05 2022-01-05 의료영상 어노테이션 방법 및 장치 KR20230105896A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220001495A KR20230105896A (ko) 2022-01-05 2022-01-05 의료영상 어노테이션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001495A KR20230105896A (ko) 2022-01-05 2022-01-05 의료영상 어노테이션 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230105896A true KR20230105896A (ko) 2023-07-12

Family

ID=87163532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220001495A KR20230105896A (ko) 2022-01-05 2022-01-05 의료영상 어노테이션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230105896A (ko)

Similar Documents

Publication Publication Date Title
US10327725B2 (en) Systems and methods for emulating DEXA scores based on CT images
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN106232010B (zh) 用于检测气管的系统和方法
CN111080573B (zh) 肋骨图像检测方法、计算机设备和存储介质
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
CN111210897A (zh) 处理医学图像
CN112052896B (zh) 图像处理方法及装置，分类模型的训练方法及装置
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US10628659B2 (en) Intelligent tumor tracking system
El-Baz et al. A new CAD system for early diagnosis of detected lung nodules
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
US20210151171A1 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
JP2008212396A (ja) 画像処理装置およびそのプログラム
EP3537447A1 (en) Display of medical image data
JP2013090799A (ja) 画像処理装置および方法並びにプログラム
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
Chen et al. Endotracheal tubes positioning detection in adult portable chest radiography for intensive care unit
KR20230105896A (ko) 의료영상 어노테이션 방법 및 장치
CN113793316A (zh) 一种超声扫查区域提取方法、装置、设备和存储介质
Mourya et al. Empirical greedy machine‐based automatic liver segmentation in CT images
CN113592768A (zh) 肋骨骨折检测方法、肋骨骨折检测信息的显示方法及系统
CN111612755A (zh) 肺部病灶分析方法、装置、电子设备和存储介质
Cui et al. Cobb Angle Measurement Method of Scoliosis Based on U-net Network
Al Irr et al. Automatic volumetric localization of the liver in abdominal CT scans using low level processing and shape priors
CN115132328B (zh) 信息可视化方法、装置、设备及存储介质