WO2020204635A1 - 병리 진단 지원 장치 및 방법 - Google Patents

병리 진단 지원 장치 및 방법 Download PDF

Info

Publication number
WO2020204635A1
WO2020204635A1 PCT/KR2020/004527 KR2020004527W WO2020204635A1 WO 2020204635 A1 WO2020204635 A1 WO 2020204635A1 KR 2020004527 W KR2020004527 W KR 2020004527W WO 2020204635 A1 WO2020204635 A1 WO 2020204635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
displayed
virtual slide
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/004527
Other languages
English (en)
French (fr)
Inventor
이경분
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul National University Hospital
Original Assignee
Seoul National University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University Hospital filed Critical Seoul National University Hospital
Publication of WO2020204635A1 publication Critical patent/WO2020204635A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the annotation information may be input in the form of at least one of a text and an image on the displayed virtual slide image.
  • the annotation information includes, for example, a user's reading result of the virtual slide image displayed on the display screen (e.g., morphological information of the lesion such as the size and location of the lesion, the boundary of the lesion area, etc.), diagnostic findings ( For example, cancer cell metastasis, malignant status, etc.) may be included, but is not necessarily limited to specific information.
  • a user's reading result of the virtual slide image displayed on the display screen e.g., morphological information of the lesion such as the size and location of the lesion, the boundary of the lesion area, etc.
  • diagnostic findings For example, cancer cell metastasis, malignant status, etc.
  • the report generator 150 generates a pathology diagnosis report for the specimen based on the annotation information input by the user.
  • the report generation unit 150 may generate a pathology diagnosis report by using a pathology diagnosis report format including preset items. Specifically, the report generation unit 150 may generate a pathology diagnosis report by allowing annotation information corresponding to each item included in the pathology diagnosis report form among the annotation information input by the user to be described.
  • an apparatus 100 for supporting pathology diagnosis may further include an image reconstruction unit 160.
  • the pathology diagnosis support device 100 When specific identification information ("15" in the illustrated example) is selected from the identification information of the glass slide displayed on the specimen image 310, the pathology diagnosis support device 100 The slide image 320 is displayed on the display screen.
  • the pathology diagnosis support device 100 includes the lesion area 321 displayed on the virtual slide image 320.
  • a specimen image in which an area corresponding to the lesion region 321 is displayed may be generated.
  • the reconstructed specimen image may be a three-dimensional or two-dimensional image.
  • FIG. 4 is an exemplary view for explaining a sample image reconstruction process according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a method for supporting pathology diagnosis according to an embodiment of the present invention.
  • the pathology diagnosis support apparatus 100 includes a sample image, a section image for each of a plurality of sections cut to produce a glass slide from a sample included in the sample image, location information for each of the plurality of sections, and Identification information for each glass slide manufactured using each of the plurality of sections is stored (510).
  • the pathology diagnosis support apparatus 100 displays at least one of the specimen image and the slice image on the display screen, but displays identification information for each glass slide on the display screen based on the location information for each of the plurality of slices. At least one of the sample image and the section image is displayed (530).
  • the pathology diagnosis support apparatus 100 receives annotation information on the virtual slide image displayed on the display screen from the user (550 ).
  • the pathology diagnosis support apparatus 100 generates a pathology diagnosis report for the specimen based on the input annotation information (570).
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, or divided into detailed steps. Or, one or more steps not shown may be added and performed.
  • the communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer-readable storage medium 16.
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24.
  • the input/output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22.
  • the exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device.
  • Input devices and/or output devices such as display devices, printers, speakers, and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명의 실시예들에 따르면, 검체 이미지와 검체에 대한 가상 슬라이드 이미지가 연관되어 표시되도록 하고, 가상 슬라이드 이미지에 대한 사용자의 주석 정보 입력만으로, 진단 결과 보고서 작성과 진단 결과에 대한 데이터베이스 구축이 이루어지도록 함으로써 진단 결과 보고서 작성과 데이터베이스 구축에 소요되는 시간을 최소화할 수 있다.

Description

병리 진단 지원 장치 및 방법
가상 슬라이드 이미지에 기반한 병리 진단 지원 기술과 관련된다.
병리 진단 분야는 육안을 통해 수백 개의 슬라이드와 수백만 개의 세포를 평가하는 과정에서 판독 결과의 신뢰도 향상을 위해서는 진단 프로세스의 표준화, 정량화 및 자동화가 필수적이다.
현재 병리조직 검사에서는 검체에 대한 육안 검사 후 검체를 작은 크기의 절편으로 잘라 유리 슬라이드로 제작한 후, 유리 슬라이드에 대한 현미경 검사를 통해 수행되고 있다.
이러한, 육안 검사 및 현미경 검사를 통한 진단 결과는 의사에 의해 수기로 작성되고 있으므로, 의사에 따라 진단 결과의 기재 형식이 상이하게 되며, 이에 따라 진단 결과에 대한 데이터베이스 구축이 어렵다는 문제점이 있다.
가상 슬라이드 이미지에 기반한 병리 진단 지원 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 병리 진단 지원 장치는, 검체 이미지, 상기 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 상기 복수의 절편 각각에 대한 위치 정보 및 상기 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장하는 검체 이미지 데이터베이스; 상기 유리 슬라이드 각각에 대한 가상 슬라이드(virtual slide) 이미지를 상기 유리 슬라이드 각각에 대한 식별 정보와 매칭하여 저장하는 슬라이드 이미지 데이터베이스; 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 상기 위치 정보에 기초하여 상기 유리 슬라이드 각각에 대한 식별 정보를 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나에 표시하고, 사용자에 의해 상기 표시된 식별 정보 중 하나가 선택된 경우, 상기 가상 슬라이드 이미지 중 상기 선택된 식별 정보와 매칭된 가상 슬라이드 이미지를 상기 디스플레이 화면 상에 표시하고, 상기 사용자로부터 상기 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는 사용자 인터페이스부; 상기 주석 정보를 상기 표시된 가상 슬라이드 이미지의 식별 정보와 연관하여 저장하는 주석 정보 데이터베이스; 및 상기 주석 정보에 기초하여 병리 진단 보고서를 생성하는 보고서 생성부를 포함한다.
상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 텍스트 및 이미지 중 적어도 하나의 형태로 입력될 수 있다.
상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 표시된 병변 영역에 대한 정보를 포함할 수 있다.
상기 병리 진단 지원 장치는, 상기 표시된 가상 슬라이드 이미지에 대응되는 절편 이미지에 상기 병변 영역에 대한 정보가 표시되도록 상기 대응되는 절편 이미지를 수정하고, 상기 수정된 절편 이미지를 포함하는 상기 복수의 절편 각각에 대한 절편 이미지를 상기 위치 정보에 따라 적층하여 상기 병변 영역에 대한 정보가 표시된 3차원 이미지를 생성하는 이미지 재구축부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 병리 진단 지원 방법은, 검체 이미지, 상기 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 상기 복수의 각각에 대한 위치 정보 및 상기 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장하는 단계; 상기 유리 슬라이드 각각에 대한 가상 슬라이드(virtual slide) 이미지를 상기 유리 슬라이드 각각에 대한 식별 정보와 매칭하여 저장하는 단계; 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 상기 위치 정보에 기초하여 상기 유리 슬라이드 각각에 대한 식별 정보를 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나에 표시하는 단계; 사용자에 의해 상기 표시된 식별 정보 중 하나가 선택된 경우, 상기 가상 슬라이드 이미지 중 상기 선택된 식별 정보와 매칭된 가상 슬라이드 이미지를 상기 디스플레이 화면 상에 표시하는 단계; 상기 사용자로부터 상기 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는 단계; 상기 주석 정보를 상기 표시된 가상 슬라이드 이미지의 식별 정보와 연관하여 저장하는 단계; 및 상기 주석 정보에 기초하여 병리 진단 보고서를 생성하는 단계를 포함한다.
상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 텍스트 및 이미지 중 적어도 하나의 형태로 입력될 수 있다.
상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 표시된 병변 영역에 대한 정보를 포함할 수 있다.
상기 병리 진단 지원 방법은, 상기 표시된 가상 슬라이드 이미지에 대응되는 절편 이미지에 상기 병변 영역에 대한 정보가 표시되도록 상기 대응되는 절편 이미지를 수정하는 단계; 및 상기 수정된 절편 이미지를 포함하는 상기 복수의 절편 각각에 대한 절편 이미지를 상기 위치 정보에 따라 적층하여 상기 병변 영역에 대한 정보가 표시된 3차원 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 검체 이미지와 검체에 대한 가상 슬라이드 이미지가 연관되어 표시되도록 하고, 가상 슬라이드 이미지에 대한 사용자의 주석 정보 입력만으로, 진단 결과 보고서 작성과 진단 결과에 대한 데이터베이스 구축이 이루어지도록 함으로써 진단 결과 보고서 작성과 데이터베이스 구축에 소요되는 시간을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 병리 진단 지원 장치의 구성도이다.
도 2는 본 발명의 추가적인 실시예에 따른 병리 진단 지원 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 병리 진단 지원 장치의 동작을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 검체 이미지 재구축 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 병리 진단 지원 방법의 순서도이다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 병리 진단 지원 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 병리 진단 지원 장치(100)는 검체 이미지 데이터베이스(110), 슬라이드 이미지 데이터베이스(120), 사용자 인터페이스부(130), 주석 정보 데이터베이스(140) 및 보고서 생성부(150)를 포함한다.
검체 이미지 데이터베이스(110)는 검체 이미지, 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 복수의 절편 각각에 대한 위치 정보 및 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장한다.
이때, 검체 이미지는 검체를 복수의 절편으로 자르기 전 육안 검사 과정에서 검체를 촬영한 이미지일 수 있다.
또한, 절편 이미지는 검체로부터 잘려진 복수의 절편 각각을 육안 검사 과정에서 촬영한 이미지일 수 있다.
또한, 각 절편에 대한 위치 정보는 검체에서 각 절편에 해당하는 부위에 대한 위치 정보일 수 있으며, 각 절편을 이용하여 제작된 유리 슬라이드에 대한 식별 정보는 각 유리 슬라이드를 식별하기 위해 각 유리 슬라이드에 표기된 슬라이드 번호일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 각 절편을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보는 각 절편에 대한 위치 정보 및 절편 이미지와 매칭되어 검체 이미지 데이터베이스(110)에 저장될 수 있다.
슬라이드 이미지 데이터베이스(120)는 검체에서 잘려진 각 절편을 이용하여 제작된 유리 슬라이드 각각에 대한 가상 슬라이드(virtual slide) 이미지를 유리 슬라이드에 대한 식별 정보와 매칭하여 저장한다.
이때, 가상 슬라이드 이미지는 검체에서 잘려진 절편을 이용하여 제작된 유리 슬라이드를 예를 들어, 스캐너와 같은 장비로 스캔하여 생성된 고해상도의 디지털 이미지일 수 있다.
한편, 슬라이드 이미지 데이터베이스(120)에 저장된 각 가상 슬라이드 이미지는 예를 들어, 이미지 아이디와 같은 고유의 식별 정보를 가질 수 있다. 또한, 각 가상 슬라이드 이미지의 식별 정보는 가상 슬라이드 이미지 생성을 위해 이용된 유리 슬라이드에 대한 식별 정보(예를 들어, 슬라이드 번호)와 매칭되어 저장될 수 있다.
사용자 인터페이스부(130)는 검체 이미지 데이터베이스(110)에 저장된 검체 이미지, 절편 이미지 및 슬라이드 이미지 데이터베이스(120)에 저장된 가상 슬라이드 이미지를 디스플레이 화면 상에 표시하고, 사용자로부터 표시된 이미지에 대한 주석 정보를 입력받기 위한 그래픽 사용자 인터페이스를 제공한다.
구체적으로, 사용자 인터페이스부(130)는 검체 이미지 데이터베이스(110)에 저장된 검체 이미지 및 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 각 절편에 대한 위치 정보에 기초하여 각 절편을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 디스플레이 화면에 표시된 검체 이미지 및 절편 이미지 중 적어도 하나에 표시한다.
한편, 사용자 인터페이스부(130)는 사용자에 의해 검체 이미지 또는 절편 이미지 상에 표시된 유리 슬라이드의 식별 정보 중 하나가 선택된 경우, 슬라이드 이미지 데이터베이스(120)에 저장된 가상 슬라이드 이미지 중 사용자에 의해 선택된 유리 슬라이드의 식별 정보에 매칭된 가상 슬라이드 이미지를 디스플레이 화면 상에 표시한다.
또한, 사용자 인터페이스부(130)는 사용자로부터 디스플레이 화면 상에 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는다.
구체적으로, 본 발명의 일 실시예에 따르면, 주석 정보는 디스플레이 화면 상에 표시된 가상 슬라이드 이미지 상에 텍스트 및 이미지 중 적어도 하나의 형태로 입력될 수 있다. 이를 위해, 사용자 인터페이스부(130)는 사용자로부터 주석 정보를 입력받기 위한 그래픽 사용자 인터페이스를 사용자에게 제공할 수 있으며, 사용자는 제공된 그래픽 사용자 인터페이스를 통해 원하는 주석 정보를 입력할 수 있다.
한편, 주석 정보는 예를 들어, 디스플레이 화면 상에 표시된 가상 슬라이드 이미지에 대한 사용자의 판독 결과(예를 들어, 병변의 크기, 위치, 병변 영역의 경계 등과 같은 병변의 형태학적 정보), 진단 소견(예를 들어, 암세포 전이 여부, 악성 여부 등) 등을 포함할 수 있으나, 반드시 특정한 정보로 한정되는 것은 아니다.
주석 정보 데이터베이스(140)는 화면 상에 표시된 가상 슬라이드 이미지에 대해 사용자에 의해 입력된 주석 정보를 해당 가상 슬라이드 이미지의 식별 정보와 연관하여 저장한다.
보고서 생성부(150)는 사용자에 의해 입력된 주석 정보에 기초하여 검체에 대한 병리 진단 보고서를 생성한다.
본 발명의 일 실시예에 따르면, 보고서 생성부(150)는 미리 설정된 항목들을 포함하는 병리 진단 보고서 서식을 이용하여 병리 진단 보고서를 생성할 수 있다. 구체적으로, 보고서 생성부(150)는 사용자에 의해 입력된 주석 정보 중 병리 진단 보고서 서식에 포함된 각 항목에 해당하는 주석 정보가 기재되도록 함으로써 병리 진단 보고서를 생성할 수 있다.
도 2는 본 발명의 추가적인 실시예에 따른 병리 진단 지원 장치의 구성도이다.
도 2를 참조하면, 본 발명의 추가적인 실시예에 따른 병리 진단 지원 장치(100)는 이미지 재구축부(160)를 더 포함할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 주석 정보는 가상 슬라이드 이미지 상에 표시된 병변 영역에 대한 정보를 포함할 수 있다. 이 경우, 이미지 재구축부(160)는 가상 슬라이드 이미지에 대응되는 절편 이미지에 병변 영역에 대응되는 영역이 표시되도록 절편 이미지를 수정할 수 있다.
또한, 이미지 재구축부(160)는 절편 이미지 수정 이후, 수정된 절편 이미지를 포함하는 각 절편에 대한 절편 이미지를 이용하여 병변 영역에 대응되는 영역이 표시된 3차원 이미지를 생성할 수 있다.
구체적으로, 이미지 재구축부(160)는 각 절편의 위치 정보에 기초하여 각 절편에 대한 절편 이미지를 순차적으로 적층시킴으로써 병변 영역에 대응되는 영역이 표시된 3차원 이미지를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 병리 진단 지원 장치(100)의 동작을 설명하기 위한 예시도이다.
도 3을 참조하면, 병리 진단 지원 장치(100)는 디스플레이 화면 상에 절편 이미지(310)를 표시할 수 있다. 이때, 절편 이미지(310) 상에 표시된 숫자 1 내지 16은 검체에서 잘려진 절편을 이용하여 생성된 유리 슬라이드의 식별 정보를 나타낸다. 또한, 검체 이미지(310)에서 각 유리 슬라이드의 식별 정보가 표시된 위치는 각 유리 슬라이드 생성을 위해 이용된 절편의 위치를 나타낸다.
한편, 검체 이미지(310) 상에 표시된 유리 슬라이드의 식별 정보 중 특정한 식별 정보(도시된 예에서는 "15")가 선택된 경우, 병리 진단 지원 장치(100)는 선택된 유리 슬라이드의 식별 정보에 매칭된 가상 슬라이드 이미지(320)를 디스플레이 화면 상에 표시한다.
이후, 사용자는 도시된 예와 같이 가상 슬라이드 이미지(320) 상에 텍스트 또는 이미지 형태의 주석 정보를 입력할 수 있다. 이때, 병리 진단 지원 장치(100)는 입력된 주석 정보를 슬라이드 이미지의 식별 정보와 연관하여 주석 정보 데이터베이스(330)에 저장할 수 있다.
또한, 병리 진단 지원 장치(100)는 입력된 주석 정보에 기초하여, 기 설정된 서식에 따라 병리 진단 보고서(340)를 생성할 수 있다.
한편, 도시된 예와 같이 사용자에 의해 가상 슬라이드 이미지(320) 상에 병변 영역(321)이 표시된 경우, 병리 진단 지원 장치(100)는 가상 슬라이드 이미지(320) 상에 표시된 병변 영역(321)이 표시되도록 검체 이미지를 재구축하여 병변 영역(321)에 대응되는 영역이 표시된 검체 이미지를 생성할 수 있다. 이때, 재구축되는 검체 이미지는 3차원 또는 2차원 이미지일 수 있다.
도 4는 본 발명의 일 실시예에 따른 검체 이미지 재구축 과정을 설명하기 위한 예시도이다.
도 4를 참조하면, 사용자에 의해 특정 절편에 대한 절편 이미지(310)이 선택된 경우, 병리 진단 지원 장치(100)는 해당 절편 이미지(410)에 대응되는 슬라이드 이미지(420)를 디스플레이 화면에 표시할 수 있다.
이후, 사용자가 슬라이드 이미지(420)에서 병변 영역(421)을 표시한 경우, 병리 진단 지원 장치(100)는 슬라이드 이미지(420)에 표시된 병변 영역(421)에 대응되는 영역(431)을 포함하는 절편 이미지(430)를 생성할 수 있다.
이후, 병리 진단 지원 장치(100)는 수정된 절편 이미지를 포함하는 각 절편에 대한 절편 이미지들(440)을 절편의 위치 정보에 따라 순차적으로 적층시켜 검체에 대한 3차원 이미지(450)를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 병리 진단 지원 방법의 순서도이다.
도 5에 도시된 방법은 예를 들어, 도 1 또는 도 2에 도시된 병리 진단 지원 장치(100)에 의해 수행될 수 있다.
도 5를 참조하면, 우선, 병리 진단 지원 장치(100)는 검체 이미지, 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 복수의 절편 각각에 대한 위치 정보 및 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장한다(510).
이후, 병리 진단 지원 장치(100)는 제작된 유리 슬라이드 각각에 대한 가상 슬라이드 이미지를 유리 슬라이드 각각에 대한 식별 정보와 매칭하여 저장한다(520).
이후, 병리 진단 지원 장치(100)는 검체 이미지 및 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 복수의 절편 각각에 대한 위치 정보에 기초하여 유리 슬라이드 각각에 대한 식별 정보를 디스플레이 화면 상에 표시된 검체 이미지 및 절편 이미지 중 적어도 하나에 표시한다(530).
이후, 병리 진단 지원 장치(100)는 사용자에 의해 상기 표시된 식별 정보 중 하나의 식별 정보가 선택된 경우, 저장된 가상 슬라이드 이미지 중 선택된 식별 정보와 매칭된 가상 슬라이드 이미지를 디스플레이 화면 상에 표시한다(540).
이후, 병리 진단 지원 장치(100)는 사용자로부터 디스플레이 화면 상에 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는다(550).
이후, 병리 진단 지원 장치(100)는 입력된 주석 정보를 디스플레이 화면 상에 표시된 가상 슬라이드 이미지의 식별 정보와 연관하여 저장한다(560).
이후, 병리 진단 지원 장치(100)는 입력된 주석 정보에 기초하여 검체에 대한 병리 진단 보고서를 생성한다(570).
한편, 본 발명의 일 실시예에 따르면, 병리 진단 지원 장치(100)는 디스플레이 화면 상에 표시된 가상 슬라이드 이미지에서 병변 영역에 대한 정보가 표시된 경우, 병변 영역에 대응되는 정보가 표시되도록 대응되는 절편 이미지를 수정할 수 있다. 또한, 병리 진단 지원 장치(100)는 수정된 절편 이미지를 포함하는 복수의 절편 각각에 대한 절편 이미지를 각 절편의 위치 정보에 따라 적층하여 병변 영역에 대한 정보가 표시된 3차원 이미지를 생성할 수 있다.
한편, 도 5에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 예를 들어, 도 1 또는 도 2에 도시된 병리 진단 지원 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (8)

  1. 검체 이미지, 상기 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 상기 복수의 절편 각각에 대한 위치 정보 및 상기 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장하는 검체 이미지 데이터베이스;
    상기 유리 슬라이드 각각에 대한 가상 슬라이드(virtual slide) 이미지를 상기 유리 슬라이드 각각에 대한 식별 정보와 매칭하여 저장하는 슬라이드 이미지 데이터베이스;
    상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 상기 위치 정보에 기초하여 상기 유리 슬라이드 각각에 대한 식별 정보를 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나에 표시하고, 사용자에 의해 상기 표시된 식별 정보 중 하나가 선택된 경우, 상기 가상 슬라이드 이미지 중 상기 선택된 식별 정보와 매칭된 가상 슬라이드 이미지를 상기 디스플레이 화면 상에 표시하고, 상기 사용자로부터 상기 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는 사용자 인터페이스부;
    상기 주석 정보를 상기 표시된 가상 슬라이드 이미지의 식별 정보와 연관하여 저장하는 주석 정보 데이터베이스; 및
    상기 주석 정보에 기초하여 병리 진단 보고서를 생성하는 보고서 생성부를 포함하는 병리 진단 지원 장치.
  2. 청구항 1에 있어서,
    상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 텍스트 및 이미지 중 적어도 하나의 형태로 입력되는 병리 진단 지원 장치.
  3. 청구항 1에 있어서,
    상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 표시된 병변 영역에 대한 정보를 포함하는 병리 진단 지원 장치.
  4. 청구항 3에 있어서,
    상기 표시된 가상 슬라이드 이미지에 대응되는 절편 이미지에 상기 병변 영역에 대한 정보가 표시되도록 상기 대응되는 절편 이미지를 수정하고, 상기 수정된 절편 이미지를 포함하는 상기 복수의 절편 각각에 대한 절편 이미지를 상기 위치 정보에 따라 적층하여 상기 병변 영역에 대한 정보가 표시된 3차원 이미지를 생성하는 이미지 재구축부를 더 포함하는 병리 진단 지원 장치.
  5. 검체 이미지, 상기 검체 이미지에 포함된 검체에서 유리 슬라이드 제작을 위해 잘려진 복수의 절편 각각에 대한 절편 이미지, 상기 복수의 각각에 대한 위치 정보 및 상기 복수의 절편 각각을 이용하여 제작된 유리 슬라이드 각각에 대한 식별 정보를 저장하는 단계;
    상기 유리 슬라이드 각각에 대한 가상 슬라이드(virtual slide) 이미지를 상기 유리 슬라이드 각각에 대한 식별 정보와 매칭하여 저장하는 단계;
    상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나를 디스플레이 화면 상에 표시하되, 상기 위치 정보에 기초하여 상기 유리 슬라이드 각각에 대한 식별 정보를 상기 검체 이미지 및 상기 절편 이미지 중 적어도 하나에 표시하는 단계;
    사용자에 의해 상기 표시된 식별 정보 중 하나가 선택된 경우, 상기 가상 슬라이드 이미지 중 상기 선택된 식별 정보와 매칭된 가상 슬라이드 이미지를 상기 디스플레이 화면 상에 표시하는 단계;
    상기 사용자로부터 상기 표시된 가상 슬라이드 이미지에 대한 주석 정보를 입력받는 단계;
    상기 주석 정보를 상기 표시된 가상 슬라이드 이미지의 식별 정보와 연관하여 저장하는 단계; 및
    상기 주석 정보에 기초하여 병리 진단 보고서를 생성하는 단계를 포함하는 병리 진단 지원 방법.
  6. 청구항 5에 있어서,
    상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 텍스트 및 이미지 중 적어도 하나의 형태로 입력되는 병리 진단 지원 방법.
  7. 청구항 5에 있어서,
    상기 주석 정보는, 상기 표시된 가상 슬라이드 이미지 상에 표시된 병변 영역에 대한 정보를 포함하는 병리 진단 지원 방법.
  8. 청구항 7에 있어서,
    상기 표시된 가상 슬라이드 이미지에 대응되는 절편 이미지에 상기 병변 영역에 대한 정보가 표시되도록 상기 대응되는 절편 이미지를 수정하는 단계; 및
    상기 수정된 절편 이미지를 포함하는 상기 복수의 절편 각각에 대한 절편 이미지를 상기 위치 정보에 따라 적층하여 상기 병변 영역에 대한 정보가 표시된 3차원 이미지를 생성하는 단계를 더 포함하는 병리 진단 지원 방법.
PCT/KR2020/004527 2019-04-03 2020-04-02 병리 진단 지원 장치 및 방법 Ceased WO2020204635A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0039025 2019-04-03
KR1020190039025A KR20200117222A (ko) 2019-04-03 2019-04-03 병리 진단 지원 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020204635A1 true WO2020204635A1 (ko) 2020-10-08

Family

ID=72667600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/004527 Ceased WO2020204635A1 (ko) 2019-04-03 2020-04-02 병리 진단 지원 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20200117222A (ko)
WO (1) WO2020204635A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113866437A (zh) * 2021-09-29 2021-12-31 山东云旗信息科技有限公司 医学载玻片定位、识别、分片的方法及系统
WO2023022871A1 (en) * 2021-08-18 2023-02-23 PAIGE.AI, Inc. Systems and methods for processing electronic images with metadata integration

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220115120A (ko) * 2021-02-08 2022-08-17 주식회사 딥바이오 삼차원 전립선 병리 이미지 생성방법 및 그 시스템
KR102440919B1 (ko) * 2021-07-08 2022-09-06 가톨릭대학교 산학협력단 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011196853A (ja) * 2010-03-19 2011-10-06 Olympus Corp バーチャルスライド検査方法およびバーチャルスライド検査装置
KR101176448B1 (ko) * 2011-12-26 2012-08-30 주식회사 인피니트헬스케어 기준 좌표를 이용한 의료 영상 데이터 관리 장치 및 그 방법
KR101400829B1 (ko) * 2013-05-24 2014-05-30 서울대학교병원 (분사무소) 조직학적 구축 검사 장치 및 그 검사 방법
KR20150063953A (ko) * 2013-12-02 2015-06-10 삼성전자주식회사 이미지들을 표시하기 위한 방법 및 장치
US20170270666A1 (en) * 2014-12-03 2017-09-21 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011196853A (ja) * 2010-03-19 2011-10-06 Olympus Corp バーチャルスライド検査方法およびバーチャルスライド検査装置
KR101176448B1 (ko) * 2011-12-26 2012-08-30 주식회사 인피니트헬스케어 기준 좌표를 이용한 의료 영상 데이터 관리 장치 및 그 방법
KR101400829B1 (ko) * 2013-05-24 2014-05-30 서울대학교병원 (분사무소) 조직학적 구축 검사 장치 및 그 검사 방법
KR20150063953A (ko) * 2013-12-02 2015-06-10 삼성전자주식회사 이미지들을 표시하기 위한 방법 및 장치
US20170270666A1 (en) * 2014-12-03 2017-09-21 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022871A1 (en) * 2021-08-18 2023-02-23 PAIGE.AI, Inc. Systems and methods for processing electronic images with metadata integration
CN113866437A (zh) * 2021-09-29 2021-12-31 山东云旗信息科技有限公司 医学载玻片定位、识别、分片的方法及系统

Also Published As

Publication number Publication date
KR20200117222A (ko) 2020-10-14

Similar Documents

Publication Publication Date Title
WO2020204635A1 (ko) 병리 진단 지원 장치 및 방법
US11989882B2 (en) Histological image analysis
Jara-Lazaro et al. Digital pathology: exploring its applications in diagnostic surgical pathology practice
Thrall et al. Telecytology: clinical applications, current challenges, and future benefits
Long et al. Visualization and analysis of 3D microscopic images
JP2022546595A (ja) デジタル病理学のためのスライドの画像を処理するためのシステムおよび方法
Guerrero et al. Software tools and platforms in digital pathology: a review for clinicians and computer scientists
Khalbuss et al. Digital imaging in cytopathology
EP3732611A1 (en) Method for creating histopathological ground truth masks using slide restaining
EP3586306A1 (en) Method and apparatus for processing histological image captured by medical imaging device
WO2018004154A1 (ko) 혼합현실 디스플레이 장치
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Caputo et al. The slow-paced digital evolution of pathology: lights and shadows from a multifaceted board
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
Rashid et al. Narrative online guides for the interpretation of digital-pathology images and tissue-atlas data
Chen et al. Microscope 2.0: an augmented reality microscope with real-time artificial intelligence integration
WO2016186236A1 (ko) 3차원 오브젝트의 색상 처리 시스템 및 방법
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
WO2020204374A2 (ko) 사용자 맞춤형 템플릿 기반 수술 보고서 제공방법 및 그 장치
WO2016204535A1 (ko) 의료 검사를 위한 이미지 분석 관리 방법 및 서버
WO2023068787A1 (ko) 의료 영상 분석 방법
López-Córdova et al. Construction of a New Data Set of Pleural Fluid Cytological Images for Research.
Hu et al. A spark of 3D revisualization: new method for re-exploring segmented data
WO2020027431A1 (ko) 이미지 분석에 기반한 골수판독 지원 장치
WO2019143064A1 (ko) 병리검사의 전체 단계를 영상정보를 이용하여 통합적으로 관리하는 통합 병리영상정보관리 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782476

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20782476

Country of ref document: EP

Kind code of ref document: A1