KR102527376B1 - Apparatus and method for auto labeling using thresholding of medical image - Google Patents
Apparatus and method for auto labeling using thresholding of medical image Download PDFInfo
- Publication number
- KR102527376B1 KR102527376B1 KR1020220094390A KR20220094390A KR102527376B1 KR 102527376 B1 KR102527376 B1 KR 102527376B1 KR 1020220094390 A KR1020220094390 A KR 1020220094390A KR 20220094390 A KR20220094390 A KR 20220094390A KR 102527376 B1 KR102527376 B1 KR 102527376B1
- Authority
- KR
- South Korea
- Prior art keywords
- labeling
- region
- area
- image
- cross
- Prior art date
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000004913 activation Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000002059 diagnostic imaging Methods 0.000 claims description 35
- 238000001914 filtration Methods 0.000 claims description 14
- 238000002591 computed tomography Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 35
- 238000009877 rendering Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003711 image thresholding Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Pulmonology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
본 발명은 의료 영상 이미지의 임계처리를 이용한 자동 라벨링 방법 및 이를 위한 장치에 관한 것이다. 보다 구체적으로, 본 발명은 의료 영상 이미지에 대해 임계처리 및 연결된 영역 필터링을 통해 사용자의 최소한의 입력에 대해 자동 라벨링 영역을 설정가능한 방법 및 장치에 관한 것이다.The present invention relates to an automatic labeling method using threshold processing of medical imaging images and an apparatus therefor. More specifically, the present invention relates to a method and apparatus capable of setting an automatic labeling region with minimal user input through threshold processing and connected region filtering of a medical imaging image.
최근 인공 지능에 대한 활발한 연구를 통해 인공 신경망을 사용한 의료영상 처리가 학계와 기업, 연구소 등에서 관심이 커져가고 있다. 이미 딥러닝(Deep Learning)을 이용한 신경망은 의료 영상 분석 분야에 적용하여 효율성이 증명되었다. 의료 영상을 이해하는 면에서 최근의 기계 학습의 발전은 딥러닝에서 의료 영상의 패턴을 식별, 분류 및 정량화 연구에 기여하고 있다. 특히, 의료 영상 분석에 인공 신경망을 기반으로 하는 CNN(Convolutional Neural Network) 알고리즘이 본격적으로 사용되기 시작하면서 다양한 질환 분석 연구 사례가 급증하고 있다.Recently, through active research on artificial intelligence, interest in medical image processing using artificial neural networks is growing in academia, companies, and research institutes. Neural networks using deep learning have already been applied to the field of medical image analysis and their effectiveness has been proven. In terms of understanding medical images, recent advances in machine learning are contributing to the study of identifying, classifying, and quantifying patterns in medical images in deep learning. In particular, as CNN (Convolutional Neural Network) algorithms based on artificial neural networks have begun to be used in earnest for medical image analysis, cases of various disease analysis studies are rapidly increasing.
데이터 라벨링(labeling)은 원천 데이터를 컴퓨터가 이해할 수 있도록 가공하는 과정을 의미한다. 특히, 빅데이터로 구축된 영상 데이터를 기반으로 딥러닝 분석을 수행하기 위해서는 영상 데이터 내에 분석 대상이 되는 관심 영역(ROI, Region Of Interest)을 설정하여야 한다. 예를 들어, 의료 영상 데이터를 분석하여 특정 신체 부위의 종양 특성을 분석하고자 하는 경우, 의료진이 빅데이터로 구축된 의료 영상 각각에 관심 영역인 종양의 윤곽선을 직접 그리는 과정을 수행한다.Data labeling refers to the process of processing source data so that computers can understand it. In particular, in order to perform deep learning analysis based on image data built with big data, a region of interest (ROI) to be analyzed must be set in the image data. For example, when analyzing medical image data to analyze characteristics of a tumor in a specific body part, a medical staff directly draws an outline of a tumor, which is a region of interest, in each medical image constructed with big data.
그러나, 딥러닝 분석 수행을 위해 구축된 빅데이터 내에 다량의 영상 데이터가 포함되므로, 각 영상 데이터에 관심 영역을 그리는 라벨링 작업은 많은 수작업을 필요로 하고 소요되는 시간이 길어서, 데이터 구축에 있어 많은 시간과 비용을 소요하게 한다. 따라서, 빅데이터로 구축된 영상에 관심 영역을 라벨링하는데 소요되는 시간을 단축하기 위한 기술이 필요하다.However, since a large amount of image data is included in the big data built to perform deep learning analysis, the labeling task of drawing a region of interest in each image data requires a lot of manual work and takes a long time, so it takes a lot of time to build data. and costs. Therefore, a technique for reducing the time required to label a region of interest in an image built with big data is required.
또한, 인공 지능을 이용하여 이러한 라벨링 작업을 반자동으로 수행하고자 하는 기술들이 제안되었지만, 인공 지능의 정확도 성능이 부족하거나 사용자가 원하는 라벨이 생성되지 않았을 경우 여전히 사용자의 수작업이 상당히 필요한 상황이 발생하게 된다.In addition, technologies to semi-automatically perform these labeling tasks using artificial intelligence have been proposed, but if the accuracy of artificial intelligence is insufficient or the label desired by the user is not generated, a situation in which the user's manual work is still required is generated. .
또한, 종래의 반자동 라벨링 기술들의 경우 픽셀 단위의 정확한 라벨링 보다는 바운딩 박스(bounding box)와 같은 넓은 영역에 대한 라벨링만을 다루고 있어 의료 영상 내에서 특정 형상에 대해 픽셀 단위의 정확하고 빠른 라벨링이 필요한 경우 이를 사용하기 어려운 문제점이 있다.In addition, in the case of conventional semi-automatic labeling technologies, they only deal with labeling of a wide area such as a bounding box rather than precise labeling in pixel units, so if accurate and fast labeling in pixel units is required for a specific shape within a medical image, There are problems with using it.
이에 따라 최소한의 사용자 입력을 통해 관심 영역에 대해 보다 빠르고 정확하게 자동으로 라벨링할 수 있는 새로운 방법이 요구된다.Accordingly, a new method capable of more quickly and accurately automatically labeling a region of interest through a minimum user input is required.
본 발명은 의료 영상 이미지의 임계처리를 이용한 자동 라벨링 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an automatic labeling method using threshold processing of medical imaging images and an apparatus therefor.
또한, 본 발명은 사용자의 일부 영역에 대한 점 또는 면의 최소한의 영역 설정을 위한 간단한 라벨링 작업에 기초하여 화소값 차이 및 연결성 여부에 기초하여 해당 영역이 포함된 전체 관심 영역을 자동으로 간편하게 라벨링할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.In addition, the present invention can automatically and conveniently label the entire region of interest including the corresponding region based on pixel value differences and connectivity based on a simple labeling task for setting a minimum region of a point or plane for a portion of a user's region. It is an object of the present invention to provide a method and apparatus capable of
또한, 본 발명은 사용자 의도에 부합하게 보다 신속하게 의료 영상 이미지의 라벨링 작업을 완료할 수 있는 의료 영상 라벨링 툴의 UX/UI를 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a UX/UI of a medical image labeling tool capable of more quickly completing a labeling task of a medical image image in accordance with a user's intention.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Solving problems of the present invention are not limited to the contents mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에서, 의료 영상 이미지의 임계처리(thresholding)를 이용한 자동 라벨링 방법에 있어서, 이미지 수신부를 통해 의료 영상 이미지를 수신하는 단계; 화면 처리부를 통해 상기 의료 영상 이미지와 관련된 적어도 3개의 단면도를 디스플레이하는 단계; 라벨링 처리부를 통해 상기 3개의 단면도 중 어느 하나의 단면도에서 사용자 입력을 통해 결정된 제1 영역을 라벨링하여 표시하는 단계; 상기 사용자 단말을 통한 임계처리 기능의 활성화 선택에 응답하여, 상기 라벨링 처리부를 통해 설정된 상기 제1 영역과 관련된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하는 단계를 포함하고, 상기 3개의 단면도는 횡 단면도, 시상 단면도 및 관상 단면도를 포함하는 것인, 자동 라벨링 방법을 제공할 수 있다.In one embodiment of the present invention, an automatic labeling method using thresholding of a medical imaging image includes receiving a medical imaging image through an image receiving unit; displaying at least three cross-sectional views related to the medical imaging image through a screen processing unit; labeling and displaying a first area determined through a user input in any one of the three cross-sectional views through a labeling processing unit; Displaying an expanded second area including the first area based on a range of pixel values related to the first area set through the labeling processing unit in response to activation selection of the threshold processing function through the user terminal. Including, it is possible to provide an automatic labeling method, wherein the three cross-sectional views include a transverse cross-sectional view, a sagittal cross-sectional view and a coronal cross-sectional view.
여기서, 상기 의료 영상 이미지는 CT(computed tomography) 이미지를 포함하는 것일 수 있다.Here, the medical imaging image may include a computed tomography (CT) image.
또한, 상기 사용자의 입력을 통해 상기 제1 영역과 관련된 화소값의 범위를 변경하는 단계; 및 상기 변경된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하는 단계를 더 포함할 수 있다.Also, changing a range of pixel values related to the first area through the user's input; and displaying an extended second area including the first area based on the changed pixel value range.
또한, 상기 사용자의 입력을 통한 연결영역 필터링 기능의 활성화 선택에 응답하여, 상기 제2 영역 중 상기 제1 영역과 직접 연결된 제3 영역을 결정하고, 상기 제3 영역만을 활성화하여 표시하고, 상기 제2 영역 중 상기 제3 영역을 제외한 영역은 비활성화하여 제거하는 단계를 더 포함할 수 있다.In addition, in response to activation selection of the connection region filtering function through the user's input, a third region directly connected to the first region among the second regions is determined, only the third region is activated and displayed, and the third region is displayed. The method may further include inactivating and removing regions other than the third region among the two regions.
또한, 상기 제3 영역은 상기 제2 영역에 포함된 복수의 영역 중 상기 제1 영역에 속한 복수의 픽셀 중 적어도 하나의 픽셀과 끊기지 않고 3차원으로 확장하면서 서로 연결된 픽셀 집합만으로 구성될 수 있다.Also, the third area may be composed of only a set of pixels connected to each other while expanding in three dimensions without being disconnected from at least one pixel among a plurality of pixels belonging to the first area among a plurality of areas included in the second area.
또한, 상기 제3 영역에 대응되는 3차원 영역을 라벨링한 3차원 렌더링 이미지를 추가로 표시하는 단계를 더 포함할 수 있다.The method may further include additionally displaying a 3D rendered image in which a 3D area corresponding to the third area is labeled.
또한, 본 발명의 또 다른 실시예에서, 위에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In addition, in another embodiment of the present invention, a computer readable recording medium storing a program for implementing the method described above may be provided.
또한, 본 발명의 또 다른 실시예에서, 의료 영상 이미지의 임계처리(thresholding)를 이용한 자동 라벨링 장치에 있어서, 의료 영상 이미지를 수신하도록 구성된 이미지 수신부; 상기 의료 영상 이미지와 관련된 적어도 3개의 단면도를 디스플레이하도록 구성된 화면 처리부; 및 상기 3개의 단면도 중 어느 하나의 단면도에서 사용자 단말을 통한 입력을 통해 결정된 제1 영역을 라벨링하여 표시하고, 상기 사용자 단말을 통한 임계처리 기능의 활성화 선택에 응답하여, 상기 라벨링 처리부를 통해 설정된 상기 제1 영역과 관련된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하도록 구성된 라벨링 처리부를 포함하고, 상기 3개의 단면도는 횡 단면도, 시상 단면도 및 관상 단면도를 포함하는 것인, 자동 라벨링 장치를 제공할 수 있다.In addition, in another embodiment of the present invention, an automatic labeling apparatus using thresholding of a medical imaging image includes an image receiving unit configured to receive a medical imaging image; a screen processing unit configured to display at least three cross-sectional views related to the medical imaging image; and labeling and displaying a first area determined through an input through a user terminal in any one of the three cross-sectional views, and in response to activation selection of a threshold processing function through the user terminal, the set through the labeling processing unit. and a labeling processing unit configured to display an extended second area including the first area based on a range of pixel values related to the first area, wherein the three cross-sectional views include a transverse cross-sectional view, a sagittal cross-sectional view, and a coronal cross-sectional view. That is, it is possible to provide an automatic labeling device.
본 발명에 의하면, 의료 영상 이미지의 임계처리를 이용한 자동 라벨링 방법 및 이를 위한 장치를 제공할 수 있다.According to the present invention, it is possible to provide an automatic labeling method using threshold processing of a medical imaging image and an apparatus therefor.
또한, 본 발명에 의하면, 사용자의 일부 영역에 대한 점 또는 면의 최소한의 영역 설정을 위한 간단한 라벨링 작업에 기초하여 화소값 차이 및 연결성 여부에 기초하여 해당 영역이 포함된 전체 관심 영역을 자동으로 간편하게 라벨링할 수 있는 방법 및 장치를 제공할 수 있다.In addition, according to the present invention, based on a simple labeling task for setting the minimum area of a point or plane for a user's partial area, the entire area of interest including the corresponding area is automatically and conveniently based on pixel value differences and connectivity. A labeling method and apparatus may be provided.
또한, 본 발명에 의하면, 사용자 의도에 부합하게 보다 신속하게 의료 영상 이미지의 라벨링 작업을 완료할 수 있는 의료 영상 라벨링 툴의 UX/UI를 제공할 수 있다.In addition, according to the present invention, it is possible to provide a UX/UI of a medical image labeling tool capable of more quickly completing a labeling task of a medical image image in accordance with a user's intention.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the contents mentioned above, and other technical effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시예에 따른 의료 영상 이미지 자동 라벨링 장치의 구성을 설명하기 위한 블록도이다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 의료 영상 이미지의 임계처리 기능을 설명하기 위한 화면 예시도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 의료 영상 이미지의 임계처리 기능 및 연결영역 필터링 기능을 통한 자동 라벨링 방법을 설명하기 위한 화면 예시도이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 이미지의 자동 라벨링 방법을 설명하기 위한 흐름도이다.1 is a block diagram for explaining the configuration of an apparatus for automatically labeling medical imaging images according to an embodiment of the present invention.
2A to 2C are screen views illustrating a threshold processing function of a medical imaging image according to an embodiment of the present invention.
3A to 3D are screen views illustrating an automatic labeling method through a threshold processing function and a connection region filtering function of a medical imaging image according to an embodiment of the present invention.
4 is a flowchart illustrating a method of automatically labeling medical imaging images according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the embodiment of the present invention in the drawings, parts irrelevant to the description are omitted.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Terms used in this specification are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions may include plural expressions unless the context clearly dictates otherwise.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In this specification, terms such as "include", "have" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one Or it may be understood that it does not exclude in advance the possibility of the existence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components appearing in the embodiments of the present invention are shown independently to represent different characteristic functions, and it does not mean that each component is made of separate hardware or a single software component unit. That is, each component is listed and described as each component for convenience of description, and at least two components of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function. An integrated embodiment and a separate embodiment of each of these components are also included in the scope of the present invention unless departing from the essence of the present invention.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.In addition, the following embodiments are provided to more clearly explain to those with average knowledge in the art, and the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments according to the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 의료 영상 이미지 자동 라벨링 장치의 구성을 설명하기 위한 블록도이다.1 is a block diagram for explaining the configuration of an apparatus for automatically labeling medical imaging images according to an embodiment of the present invention.
본 발명에 따른 의료 영상 이미지의 임계처리(thresholding)를 이용한 자동 라벨링 장치는 이미지 수신부(110), 화면 처리부(120), 라벨링 처리부(130), 사용자 입력부(140), 및 디스플레이부(150)를 포함할 수 있으며, 이들 구성 요소 외에도 필요에 따라 소프트웨어나 하드웨어로 구성된 추가 구성 요소들을 포함할 수 있다.An automatic labeling apparatus using thresholding of medical image images according to the present invention includes an
예컨대 본 발명에 따른 의료 영상 이미지 자동 라벨링 장치는 사용자의 입출력 조작에 따라 유무선 통신망 등을 경유하여 각종 데이터 등을 수신 및 처리하고, 디스플레이할 수 있는 단말기로 구성될 수 있으며, 예컨대 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 노트북, 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 워크스테이션(workstation), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 텔레비전(television), 웨어러블 디바이스(wearable device), 음성 인식 스피커, 스마트 스피커, AI(인공지능) 스피커 중 하나일 수 있으며, 이들에 제한되지 않는다.For example, the apparatus for automatically labeling medical image images according to the present invention may be configured as a terminal capable of receiving, processing, and displaying various data via a wired/wireless communication network according to input/output operations of a user, for example, a desktop computer. , laptop computers, notebooks, smart phones, tablet computers, workstations, PDAs (Personal Digital Assistants), portable computers, wireless phones, mobile phones (mobile phone), e-book, portable multimedia player (PMP), portable game console, navigation device, black box, digital camera, television, wearable It may be one of a wearable device, a voice recognition speaker, a smart speaker, and an artificial intelligence (AI) speaker, but is not limited thereto.
또한, 본 발명에 따른 의료 영상 이미지 자동 라벨링 장치는 하나 이상의 프로세서(processor)에 의해 실행될 수 있는 프로그램 또는 프로그램 모듈을 포함할 수 있으며, 사용자 입력부(140)와 연동되어 사용자 입력을 수신할 수 있으며, 디스플레이부(150)와 연동되어 처리된 결과를 출력할 수 있다. 특히, 화면 처리부(120) 및 라벨링 처리부(130)에 포함된 프로그램 또는 프로그램 모듈들은 운영 체제(operating system), 어플리케이션 프로그램(application program) 또는 프로그램 등의 형태로 구성될 수 있으며, 널리 사용되는 다양한 종류의 저장 장치 상에 물리적으로 저장될 수 있다. 이와 같은 프로그램 또는 프로그램 모듈은 하나 이상의 루틴(routine), 서브루틴(subroutine), 프로그램(program), 오브젝트(object), 콤포넌트(component), 명령(instructions), 데이터 구조(data structure) 및 특정 작업(task)을 수행하거나 특정 데이터 유형을 실행하기 위한 다양한 형태를 포함할 수 있으며, 이들 형태로 제한되지 않는다.In addition, the apparatus for automatically labeling medical imaging images according to the present invention may include a program or program module that can be executed by one or more processors, and may receive a user input in conjunction with the
먼저, 이미지 수신부(110)는 의료 영상 이미지를 수신하도록 구성된다. 이미지 수신부(110)는 통신부를 통하여 외부 장치와 직간접적으로 통신하여 복수의 의료 영상 이미지를 수신할 수 있다. 또한, 이미지 수신부(210)에서 수신된 의료 영상 이미지는 화면 처리부(120) 및 라벨링 처리부(130)로 전달될 수 있으며, 의료 영상 이미지는 3D 이미지 및 2D 이미지 등의 흑백 이미지를 포함할 수 있다. 또한, 의료 영상 이미지는 예컨대 CT(computed tomography) 이미지를 포함할 수 있으며, 우선 CT의 픽셀 값은 각 픽셀은 0 ~ 255의 값으로 이루어진 일반 RGB 이미지와는 다르게, 하운스필드 단위(Hounsfield Unit, HU)라는 단위로 이루어져 있으며, HU란 X선이 몸을 투과할 때 감쇠되는 정도를 나타내는 단위로서, 물을 통과할 때를 0으로 두고 다른 부위의 감쇠정도를 상대적으로 표현한 값을 의미하며, 본 발명에서는 이와 같은 HU 단위에 기초하여 픽셀의 화소값을 표현할 수 있다.First, the
화면 처리부(120)는 디스플레이부(150)를 통해 의료 영상 이미지와 관련된 적어도 3개의 단면도를 디스플레이하고, 서로 대응되는 3개의 단면도를 포함하고, 여기서, 3개의 단면도는 횡 단면도, 시상 단면도, 관상 단면도를 포함할 수 있으며, 추가로 3차원 렌더링된 3D 렌더링 이미지를 더 포함할 수 있다. 또한, 화면 처리부(120)는 디스플레이부(150)를 통해 라벨링을 위한 사용자 도구(tool)을 나타내고, 예컨대 사용자 도구는 임계처리 기능의 활성화 선택 버튼 및 임계 처리 기능과 연동된 연결영역 필터링 기능의 활성화 선택 버튼 및 이들 기능들의 적용(apply) 버튼 등을 화면에 표시함으로써 사용자 입력부(140)에 따른 사용자 입력을 수신할 수 있다.The
또한, 화면 처리부(120)는 디스플레이부(150)를 통해 임계 처리 기능과 연동되어 픽셀의 화소값의 기준 범위를 최대 최소 범위를 입력하기 위한 입력창 및 기준 범위를 좌우 화살표 변경으로 쉽게 변경할 수 있는 히스토그램 그래프를 제공하도록 구성될 수 있다.In addition, the
라벨링 처리부(130)는 3개의 단면도 중 어느 하나의 단면도에서 사용자 단말을 통한 입력을 통해 결정된 제1 영역을 라벨링하여 표시하고, 사용자 단말을 통한 임계처리 기능의 활성화 선택에 응답하여, 라벨링 처리부를 통해 설정된 제1 영역과 관련된 화소값의 범위에 기초하여 제1 영역이 포함된 확장된 제2 영역을 표시하도록 구성될 수 있다. 여기서, 이미지 임계처리(thresholding)는 이미지 행렬에서 하나의 픽셀값을 사용자가 지정한 기준값(threshold)를 사용하여 이진화(binarization)하는 필터링 방법으로서, 본 발명에서는 이미지 임계처리(thresholding)를 이용하여 의료 영상 이미지 내에서 해당 픽셀의 화소값의 기준 범위(기준값)와의 비교 분석을 이용하여 영역을 자동으로 분할(segmentation)할 수 있다. 여기서 제1 영역의 라벨링 표시는 복수의 픽셀을 포함하는 특정 크기의 점 또는 특정 형태 및 크기의 면의 선택일 수 있으며, 예컨대 특정 크기의 원 영역의 위치를 선택하는 것일 수 있다.The
여기서, 라벨링 처리부(130)는 선택된 원 영역내에 포함된 픽셀들의 화소값의 범위를 분석하고, 해당 영역의 화소값의 범위를 기준 범위로 설정하여 해당 기준 범위에 속하는 화소값을 갖는 영역을 제2 영역으로 설정하고, 3개의 단면도 각각에서 제2 영역(330)으로 설정하고 이를 디스플레이부(150)를 통해 화면 상에 모두 표시할 수 있다.Here, the
또한, 사용자 입력부(140)를 통한 사용자 입력을 통해 제1 영역과 관련되어 설정된 화소값의 범위를 원하는 범위로 직접 변경할 수 있으며, 라벨링 처리부(130)는 변경된 화소값의 범위에 기초하여 제1 영역이 포함된 확장된 제2 영역을 재결정하고, 이를 디스플레이부(150)를 통해 표시하도록 구성될 수 있다.In addition, the range of pixel values set in relation to the first area may be directly changed to a desired range through a user input through the
또한, 사용자 입력부(140)를 통한 사용자 입력을 통한 연결영역 필터링 기능의 활성화 선택에 응답하여, 라벨링 처리부(130)는 확장 설정된 제2 영역 중 제1 영역과 직접 연결된 제3 영역만을 필터링하여 결정하고, 제3 영역만을 활성화하여 표시하고, 제2 영역 중 제3 영역을 제외한 영역은 비활성화하여 제거하도록 구성되고, 이를 디스플레이부(150)를 통해 표시하도록 구성될 수 있다. 여기서, 제3 영역은 제2 영역에 포함된 복수의 영역 중 제1 영역에 속한 복수의 픽셀 중 적어도 하나의 픽셀과 끊기지 않고 3차원으로 확장하면서 서로 연결된 픽셀 집합만으로 구성되는 것으로서, 사용자 입력을 통해 선택된 제1 영역과 인접하면서 끊겨 있지 않고 연속적으로 연결된 영역을 의미한다.In addition, in response to activation selection of the connection region filtering function through the user input through the
또한, 라벨링 처리부(130)는 사용자의 3D 렌더링 업데이트 입력에 응답하여, 제3 영역에 대응되는 3차원 영역을 라벨링한 3차원 렌더링 이미지를 생성할 수 있으며, 이와 같이 업데이트된 3차원 렌더링 이미지를 화면 처리부(120)를 통해 3개의 단면도와 함께 배치하여 디스플레이부(150)에 추가로 표시할 수 있다.In addition, the
사용자 입력부(140)는 사용자의 조작 및 선택을 위해 다양한 입력을 수신하기 위해, 터치 패드(touch pad), 터치 패널(touch pad), 키 패드(Key pad), 마우스, 키보드(keyboard), 돔 스위치(dome switch), 물리 버튼, 조그 셔틀(jog shuttle) 및 센서(sensor) 중 적어도 하나로 구성되는 입력부를 포함할 수 있으며, 이들에 제한되지 않는다.The
디스플레이부(150)는 사용자에게 출력 결과를 보여주는 역할을 수행하며, 디스플레이부(150)는 예컨대 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 LED, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은 디스플레이부(150)는 사용자 입력부(140)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.The
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 의료 영상 이미지의 임계처리 기능을 설명하기 위한 화면 예시도이다.2A to 2C are screen views illustrating a threshold processing function of a medical imaging image according to an embodiment of the present invention.
도 2a를 참조하면, 디스플레이부(150)를 통해 나타난 사용자 화면에는 일 예로 횡 단면도(201), 시상 단면도(202), 관상 단면도(203)로서 3개의 단면도(201, 202, 203)가 디스플레이될 수 있으며, 추가로 3차원 렌더링 이미지(204)가 포함될 수 있다.Referring to FIG. 2A , three
또한, 화면 일측에는 라벨링을 위한 사용자 도구(tool)(210)로서 펜슬(pencil)로 그리기, 채우기(fill) 기능 등이 포함되고, 특히 본 발명에 따라 사용자 도구(210)는 임계처리 기능의 활성화 선택 버튼 및 임계 처리 기능과 연동된 연결영역 필터링 기능의 활성화 선택 버튼 및 이들 기능들의 적용(apply) 버튼 등을 화면에 표시함으로써 사용자 입력부(140)에 따른 사용자 입력을 수신할 수 있다.In addition, as a
도 2b를 참조하면, 사용자 입력에 의해 사용자 도구(tool)(210) 중 임계처리 기능의 활성화 선택 버튼(211)을 선택하고, 이에 따라 나타나는 임계처리 기능 설정 항목(212)의 설정에 따라, 픽셀의 화소값의 기준 범위를 최대(max) 범위 및 최소(min) 범위를 입력하기 위한 입력창 또는 화소값의 기준 범위를 좌우 화살표 변경으로 쉽게 변경할 수 있는 히스토그램 그래프를 이용하여 설정할 수 있으며, 사용자 편의를 위해 각 조직 예컨대 뼈, 폐, 간, 피, 물, 지방 등에 각각 적합하도록 미리 설정된 화소값의 범위를 제공하는 프리셋(preset) 기능을 제공할 수 있다. 도 2b에서 픽셀의 화소값의 기준 범위를 최소 400에서 최대1,000으로 설정한 경우, 3개의 단면도(201, 202, 203) 내에서 해당 기준 범위에 속하는 영역을 자동으로 라벨링하여 표시한 모습을 확인할 수 있다.Referring to FIG. 2B , an
도 2c를 참조하면, 임계처리 기능 설정 항목(212)의 설정에 따라, 픽셀의 화소값의 기준 범위를 넓혀서 최소 300에서 최대2,000으로 설정한 경우, 3개의 단면도(201, 202, 203) 내에서 해당 기준 범위에 속하는 영역을 자동으로 라벨링하여 표시한 모습을 확인할 수 있으며, 도 2b에 비해 뼈 부위의 영역을 보다 광범위하게 포함하도록 해당 영역의 범위가 넓어졌음을 확인할 수 있다.Referring to FIG. 2C, according to the setting of the threshold processing
그러나, 이와 같이 임계처리 기능만을 사용하는 경우, 해당 조직에 대응하는 픽셀의 화소값의 기준 범위 설정에 기초하여 원하는 조직만을 자동적으로 필터링하여 라벨링가능하다는 장점이 있으나, 해당 조직 내에 보다 구체적인 위치, 예컨대 우측 폐와 좌측 폐 또는 특정 우측 관절과 특정 좌측 관절 등을 구분하여 라벨링하지 못한다는 한계가 존재한다.However, in the case of using only the threshold processing function in this way, there is an advantage in that only a desired tissue can be automatically filtered and labeled based on the reference range setting of the pixel value of a pixel corresponding to the tissue, but a more specific location within the tissue, for example, There is a limitation in that the right lung and the left lung or a specific right joint and a specific left joint cannot be labeled separately.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 의료 영상 이미지의 임계처리 기능 및 연결영역 필터링 기능을 통한 자동 라벨링 방법을 설명하기 위한 화면 예시도이다.3A to 3D are screen views illustrating an automatic labeling method through a threshold processing function and a connection region filtering function of a medical imaging image according to an embodiment of the present invention.
도 3a를 참조하면, 디스플레이부(150)를 통해 나타난 사용자 화면에는 일 예로 횡 단면도(301), 시상 단면도(302), 관상 단면도(303)로서 3개의 단면도가 디스플레이될 수 있으며, 추가로 3차원 렌더링 이미지(304)를 함께 디스플레이할 수 있다.Referring to FIG. 3A , three cross-sectional views, for example, a transverse
이때, 사용자는 3개의 단면도 중 어느 하나의 단면도에서 특정 영역 또는 위치를 선택하도록 복수의 픽셀을 포함하는 특정 크기의 점 또는 면을 이용하여, 예컨대 특정 크기의 원 영역(320), 즉 제1 영역의 위치를 선택하여 라벨링 표시하고, 선택된 원의 위치가 적어도 하나의 단면도와 3차원 렌더링 이미지(304)에 표시될 수 있다.At this time, the user uses a point or plane of a specific size including a plurality of pixels to select a specific region or position in any one of the three cross-sectional views, for example, a
도 3b를 참조하면, 사용자 입력부(140)를 통한 사용자 입력을 통해 임계처리 기능의 활성화 선택 버튼(311)을 선택하면, 사용자의 간단한 라벨링에 기초하여 선택된 원 영역(320) 내에 포함된 픽셀들의 화소값의 범위를 분석하고, 해당 영역의 화소값의 범위를 기준 범위로 설정하여 해당 기준 범위에 속하는 화소값을 갖는 영역을 3개의 단면도 각각에서 제2 영역(330)으로 설정하고 이를 화면 상에 모두 표시할 수 있다. 이때, 화소값의 범위는 사용자 입력에 의해 선택된 영역 내에 속한 픽셀들의 화소값의 범위에 기초하여 자동 설정될 수 있으나, 도 3b의 화면을 보고 화소값의 범위의 변경이 필요한 경우 사용자 입력에 의해 제1 영역과 관련된 화소값의 범위를 변경할 수 있으며, 라벨링 처리부(130)는 변경된 화소값의 범위에 기초하여 제1 영역이 포함된 확장된 제2 영역을 재설정하고, 이를 디스플레이부(150)를 통해 표시하도록 구성될 수 있다.Referring to FIG. 3B , when the
도 3c를 참조하면, 사용자 입력부(140)를 통한 사용자 입력을 통한 연결영역 필터링 기능의 활성화 선택 버튼(312)을 선택하면, 이에 응답하여 라벨링 처리부(130)는 확장 설정된 제2 영역(330) 중 제1 영역(320)과 직접 연결된 제3 영역(340)만을 필터링하여 결정하고, 제3 영역(340)만을 활성화하여 표시하고, 제2 영역(330) 중 제3 영역(340)을 제외한 영역은 비활성화하여 표시에서 제거하도록 구성되고, 이를 디스플레이부(150)를 통해 표시하도록 구성될 수 있다. 여기서, 제3 영역(340)은 제2 영역(330)에 포함된 복수의 영역 중 제1 영역(320)에 속한 복수의 픽셀 중 적어도 하나의 픽셀과 끊기지 않고 3차원으로 확장하면서 서로 연결된 픽셀 집합만으로 구성되는 것으로서, 사용자 입력을 통해 선택된 제1 영역(320)과 인접하면서 끊겨 있지 않고 연속적으로 연결된 영역을 의미한다.Referring to FIG. 3C , when an
이와 같이, 사용자의 최소한의 영역 설정을 위한 간단한 라벨링 작업에 기초하여 화소값 차이 및 연결성 여부에 기초하여 해당 영역이 포함된 전체 관심 영역을 자동으로 간편하게 라벨링함으로써 사용자 의도에 부합하게 보다 신속하게 의료 영상 이미지의 라벨링 작업을 완료할 수 있는 방법 및 장치를 제공할 수 있다.In this way, based on the user's simple labeling task for setting the minimum region, the entire region of interest including the corresponding region is automatically and conveniently labeled based on the pixel value difference and whether there is connectivity, thereby more quickly meeting the user's intention. It is possible to provide a method and apparatus capable of completing a labeling task of an image.
도 3d를 참조하면, 3차원 렌더링 이미지(304)에 표시된 렌더링 업데이트 버튼을 선택하여 제3 영역(340)에 대응되는 3차원 영역을 라벨링한 3차원 렌더링 이미지를 추가로 표시함으로써 해당 라벨링 영역을 3D 화면에서도 쉽게 확인할 수 있다.Referring to FIG. 3D , by selecting the rendering update button displayed on the
도 4는 본 발명의 일 실시예에 따른 의료 영상 이미지의 자동 라벨링 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of automatically labeling medical imaging images according to an embodiment of the present invention.
먼저, 이미지 수신부(110)를 통해 의료 영상 이미지를 수신할 수 있다.(S410) 해당 영상 이미지는 흑백 영상일 수 있으며, 예컨대 CT(computed tomography) 이미지를 포함할 수 있다.First, a medical imaging image may be received through the image receiver 110 (S410). The corresponding imaging image may be a black and white image, and may include, for example, a computed tomography (CT) image.
화면 처리부(120)는 디스플레이부(150)를 통해 의료 영상 이미지와 관련된 적어도 3개의 단면도 횡 단면도, 시상 단면도, 관상 단면도를 표시할 수 있다.(S420)The
사용자는 화면을 보고 사용자에 입력에 의해 제1 영역을 라벨링하여 표시할 수 있다.(S430) 여기서, 제1 영역의 라벨링 표시는 복수의 픽셀을 포함하는 특정 크기의 점 또는 특정 형태 및 크기의 면의 선택일 수 있으며, 예컨대 특정 크기의 원 영역의 위치를 선택하는 것일 수 있다.The user may view the screen and label and display the first area by inputting the user (S430). Here, the labeling display of the first area is a dot of a specific size including a plurality of pixels or a surface of a specific shape and size. It may be a selection of, for example, it may be to select the location of a circular area of a specific size.
사용자는 임계처리 기능의 활성화를 선택할 수 있다.(S440) 이때, 라벨링 처리부(130)는 제1 영역의 라벨링 표시 영역의 화소값의 범위를 분석하고 해당 영역의 화소값의 범위를 기준 범위로 설정하여, 이와 같은 화소값의 범위를 화면에 표시할 수 있다.The user may select activation of the threshold processing function (S440). At this time, the
라벨링 처리부(130)는 제1 영역과 관련된 화소값의 범위에 기초하여 제1 영역이 포함된 확장된 제2 영역을 표시할 수 있다.(S450) 라벨링 처리부(130)는 설정된 화소값의 범위에 기초하여 제1 영역이 포함된 확장된 제2 영역을 설정하고, 이를 디스플레이부(150)를 통해 표시하도록 구성될 수 있다.The
사용자 입력을 통해 임계처리 기능과 연동되는 연결영역 필터링 기능을 활성화할 수 있다.(S460)A connection region filtering function linked with the threshold processing function may be activated through a user input (S460).
이에 응답하여 라벨링 처리부(130)는 확장 설정된 제2 영역 중 제1 영역과 직접 연결된 제3 영역만을 필터링하여 결정하고, 제3 영역만을 활성화하여 표시하고, 제2 영역 중 제3 영역을 제외한 영역은 비활성화하여 표시에서 제거하도록 구성되고, 이를 디스플레이부(150)를 통해 표시할 수 있다.(S470)In response to this, the
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.Various embodiments described in this specification may be implemented by hardware, middleware, microcode, software, and/or combinations thereof. For example, various embodiments may include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or combinations thereof.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.Also, for example, various embodiments may be embodied or encoded in a computer-readable medium containing instructions. Instructions embodied or encoded on a computer-readable medium can cause a programmable processor or other processor to perform a method, for example when the instructions are executed. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. A storage medium may be any available medium that can be accessed by a computer. For example, such computer-readable medium may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage medium, magnetic disk storage medium or other magnetic storage device, or instructions or data accessible by a computer that contains desired program code. Any other medium that can be used to transport or store in the form of structures.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.Such hardware, software, firmware, etc. may be implemented within the same device or within separate devices to support the various operations and functions described herein. Additionally, components, units, modules, components, etc., described as "-units" in the present invention may be implemented together or separately as separate but interoperable logic devices. Depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by separate hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or integrated within common or separate hardware or software components.
또한, 본 명세서에서 특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.Also, while actions are shown in the drawings in a specific order herein, it is necessary that these actions be performed in the specific order shown, or in a sequential order, or that all depicted actions need to be performed to achieve a desired result. should not be understood as In some circumstances, multitasking and parallel processing may be advantageous. Moreover, the division of various components in the above-described embodiments should not be understood as requiring such division in all embodiments, and the described components may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it is possible
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
110: 이미지 수신부
120: 화면 처리부
130: 라벨링 처리부
140: 사용자 입력부
150: 디스플레이부110: image receiver
120: screen processing unit
130: labeling processing unit
140: user input unit
150: display unit
Claims (8)
의료 영상 이미지 자동 라벨링 장치의 이미지 수신부를 통해 의료 영상 이미지를 수신하는 단계;
상기 의료 영상 이미지 자동 라벨링 장치의 화면 처리부를 통해 상기 의료 영상 이미지와 관련된 적어도 3개의 단면도를 디스플레이하는 단계;
상기 의료 영상 이미지 자동 라벨링 장치의 라벨링 처리부를 통해 상기 3개의 단면도 중 어느 하나의 단면도에서 사용자의 입력을 통해 결정된 제1 영역을 라벨링하여 표시하는 단계; 및
상기 사용자의 입력을 통한 임계처리 기능의 활성화 선택에 응답하여, 상기 라벨링 처리부를 통해 상기 제1 영역과 관련된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하는 단계
를 포함하고, 상기 3개의 단면도는 횡 단면도, 시상 단면도 및 관상 단면도를 포함하는 것이고,
상기 사용자의 입력을 통한 연결영역 필터링 기능의 활성화 선택에 응답하여, 상기 라벨링 처리부를 통해 상기 제2 영역 중 상기 제1 영역과 직접 연결된 제3 영역을 결정하고, 상기 제3 영역만을 활성화하여 표시하고, 상기 제2 영역 중 상기 제3 영역을 제외한 영역은 비활성화하여 제거하는 단계를 더 포함하고,
상기 제3 영역은 상기 제2 영역에 포함된 복수의 영역 중 상기 제1 영역에 속한 복수의 픽셀 중 적어도 하나의 픽셀과 끊기지 않고 3차원으로 확장하면서 서로 연결된 픽셀 집합만으로 구성되는 것인, 자동 라벨링 방법.In the automatic labeling method using thresholding of medical image images,
Receiving a medical imaging image through an image receiver of an automatic medical imaging image labeling device;
displaying at least three cross-sectional views related to the medical imaging image through a screen processing unit of the automatic medical imaging image labeling apparatus;
labeling and displaying a first area determined through a user's input in any one of the three cross-sectional views through a labeling processing unit of the automatic medical image labeling apparatus; and
In response to activation selection of the threshold processing function through the user's input, displaying an expanded second area including the first area based on a range of pixel values related to the first area through the labeling processing unit.
Including, wherein the three cross-sections include a transverse cross-section, a sagittal cross-section and a coronal cross-section,
In response to activation selection of the connection region filtering function through the user's input, a third region directly connected to the first region among the second regions is determined through the labeling processor, and only the third region is activated and displayed; , deactivating and removing regions other than the third region from among the second region,
The third region is composed of only a set of pixels connected to each other while expanding in three dimensions without being disconnected from at least one pixel among a plurality of pixels belonging to the first region among a plurality of regions included in the second region. method.
상기 라벨링 처리부를 통해 상기 변경된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하는 단계
를 더 포함하는 자동 라벨링 방법.The method of claim 1 , further comprising: changing a range of pixel values associated with the first area through the user's input; and
Displaying an expanded second area including the first area based on the changed pixel value range through the labeling processing unit
Automatic labeling method further comprising a.
의료 영상 이미지를 수신하도록 구성된 이미지 수신부;
상기 의료 영상 이미지와 관련된 적어도 3개의 단면도를 디스플레이하도록 구성된 화면 처리부; 및
상기 3개의 단면도 중 어느 하나의 단면도에서 사용자 단말을 통한 입력을 통해 결정된 제1 영역을 라벨링하여 표시하고, 상기 사용자 단말을 통한 임계처리 기능의 활성화 선택에 응답하여, 상기 제1 영역과 관련된 화소값의 범위에 기초하여 상기 제1 영역이 포함된 확장된 제2 영역을 표시하도록 구성된 라벨링 처리부
를 포함하고, 상기 3개의 단면도는 횡 단면도, 시상 단면도 및 관상 단면도를 포함하는 것이고,
상기 라벨링 처리부는, 상기 사용자의 입력을 통한 연결영역 필터링 기능의 활성화 선택에 응답하여, 상기 제2 영역 중 상기 제1 영역과 직접 연결된 제3 영역을 결정하고, 상기 제3 영역만을 활성화하여 표시하고, 상기 제2 영역 중 상기 제3 영역을 제외한 영역은 비활성화하여 제거하도록 구성되고,
상기 제3 영역은 상기 제2 영역에 포함된 복수의 영역 중 상기 제1 영역에 속한 복수의 픽셀 중 적어도 하나의 픽셀과 끊기지 않고 3차원으로 확장하면서 서로 연결된 픽셀 집합만으로 구성되는 것인, 자동 라벨링 장치.
In the automatic labeling device using thresholding of medical image images,
an image receiver configured to receive a medical imaging image;
a screen processing unit configured to display at least three cross-sectional views related to the medical imaging image; and
In any one of the three cross-sectional views, a first area determined through an input through a user terminal is labeled and displayed, and a pixel value related to the first area is displayed in response to activation selection of a threshold processing function through the user terminal. A labeling processor configured to display an extended second area including the first area based on a range of
Including, wherein the three cross-sections include a transverse cross-section, a sagittal cross-section and a coronal cross-section,
The labeling processor determines a third region directly connected to the first region among the second regions in response to activation selection of the connection region filtering function through the user's input, activates and displays only the third region, and , configured to inactivate and remove regions other than the third region among the second regions,
The third region is composed of only a set of pixels connected to each other while expanding in three dimensions without being disconnected from at least one pixel among a plurality of pixels belonging to the first region among a plurality of regions included in the second region. Device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220094390A KR102527376B1 (en) | 2022-07-29 | 2022-07-29 | Apparatus and method for auto labeling using thresholding of medical image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220094390A KR102527376B1 (en) | 2022-07-29 | 2022-07-29 | Apparatus and method for auto labeling using thresholding of medical image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102527376B1 true KR102527376B1 (en) | 2023-06-14 |
Family
ID=86744681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220094390A KR102527376B1 (en) | 2022-07-29 | 2022-07-29 | Apparatus and method for auto labeling using thresholding of medical image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102527376B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210020618A (en) | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | Abnominal organ automatic segmentation based on deep learning in a medical image |
KR102251291B1 (en) * | 2021-02-25 | 2021-05-12 | 주식회사 재이랩스 | Method for pinned and guide data user interface for fast movement between medical labeling data and apparatus using the same |
KR102308381B1 (en) * | 2020-11-09 | 2021-10-06 | 인그래디언트 주식회사 | Apparatus and method for labeling medical image based on flexible superpixel |
KR20220050014A (en) * | 2020-10-15 | 2022-04-22 | 주식회사 뷰노 | User interface for video analysis |
-
2022
- 2022-07-29 KR KR1020220094390A patent/KR102527376B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210020618A (en) | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | Abnominal organ automatic segmentation based on deep learning in a medical image |
KR20220050014A (en) * | 2020-10-15 | 2022-04-22 | 주식회사 뷰노 | User interface for video analysis |
KR102308381B1 (en) * | 2020-11-09 | 2021-10-06 | 인그래디언트 주식회사 | Apparatus and method for labeling medical image based on flexible superpixel |
KR102251291B1 (en) * | 2021-02-25 | 2021-05-12 | 주식회사 재이랩스 | Method for pinned and guide data user interface for fast movement between medical labeling data and apparatus using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002131B2 (en) | Image color adjustment method and system | |
AU2014348909B2 (en) | Image based search | |
RU2673975C2 (en) | Segmentation of region of interest managed through eye tracking | |
US20200097065A1 (en) | POWER MANAGEMENT FOR GESTURE RECOGNITION IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS | |
Jackson et al. | A lightweight tangible 3D interface for interactive visualization of thin fiber structures | |
Schmidt et al. | VAICo: Visual analysis for image comparison | |
Pereira et al. | Using a multi-agent system approach for microaneurysm detection in fundus images | |
CN111754481B (en) | Fundus image recognition method, fundus image recognition device, fundus image recognition apparatus, and fundus image recognition storage medium | |
US20130070983A1 (en) | Methods, apparatuses, and computer program products for controlling luminance of non-tissue objects within an image | |
CN1830004A (en) | Segmentation and data mining for gel electrophoresis images | |
CN110175255A (en) | The method of image labeling, mark methods of exhibiting and device based on pathological image | |
CN109635669B (en) | Image classification method and device and classification model training method and device | |
Tsai et al. | Blood smear image based malaria parasite and infected-erythrocyte detection and segmentation | |
CN111860207B (en) | Multi-scale remote sensing image ground object classification method, system, device and medium | |
CN112541924B (en) | Fundus image generation method, fundus image generation device, fundus image generation apparatus, and fundus image storage medium | |
CN108921836A (en) | A kind of method and device for extracting eye fundus image mark | |
Joshi et al. | Detection of hard exudates based on morphological feature extraction | |
KR102527376B1 (en) | Apparatus and method for auto labeling using thresholding of medical image | |
CN110473176B (en) | Image processing method and device, fundus image processing method and electronic equipment | |
US20130195323A1 (en) | System for Generating Object Contours in 3D Medical Image Data | |
US9858296B2 (en) | Representative image selection for image management using face recognition | |
Chang et al. | An Exploration into Human–Computer Interaction: Hand Gesture Recognition Management in a Challenging Environment | |
KR102385689B1 (en) | Apparatus and method for 3d cropping of medical image | |
US20110103663A1 (en) | Apparatus, method and computer-readable storage mediums for detecting a region of interest in a medical image | |
CN111563453B (en) | Method, apparatus, device and medium for determining table vertices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |