WO2023282487A1 - 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법 - Google Patents

암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법 Download PDF

Info

Publication number
WO2023282487A1
WO2023282487A1 PCT/KR2022/008391 KR2022008391W WO2023282487A1 WO 2023282487 A1 WO2023282487 A1 WO 2023282487A1 KR 2022008391 W KR2022008391 W KR 2022008391W WO 2023282487 A1 WO2023282487 A1 WO 2023282487A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
type
cancer
image classification
Prior art date
Application number
PCT/KR2022/008391
Other languages
English (en)
French (fr)
Inventor
김태정
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Publication of WO2023282487A1 publication Critical patent/WO2023282487A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6813—Hybridisation assays
    • C12Q1/6841—In situ hybridisation
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
    • C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
    • C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2334/00—O-linked chromogens for determinations of hydrolase enzymes, e.g. glycosidases, phosphatases, esterases
    • C12Q2334/50—Indoles
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2563/00—Nucleic acid detection characterized by the use of physical, structural and functional properties
    • C12Q2563/107—Nucleic acid detection characterized by the use of physical, structural and functional properties fluorescence
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2600/00—Oligonucleotides characterized by their use
    • C12Q2600/156—Polymorphic or mutational markers

Definitions

  • the present invention relates to an image classification apparatus and an image classification method for diagnosing cancer.
  • Patent Registration No. 10-1560449 discloses “Automatic Photo Classification System and Method”.
  • An automatic photo classification method that automatically classifies and stores images captured in a photo-capable terminal in a device desired by a user via a wired or wireless network by sequentially scanning and classifying a plurality of received images in the order of shooting.
  • An object to be solved by the present invention is to provide an apparatus and method for classifying images for cancer diagnosis in an optimized way.
  • An image classification method for solving the above problems is a method performed by an image classification device, by using a cell image taken of a cell by a genetic mutation inspection unit of the image classification device. , performing a plurality of tests of different types to identify genetic mutations; acquiring a plurality of images through the plurality of examinations by a control unit of the image classification apparatus; linking, by the controller, at least one of cell location information and test type information with respect to each of the plurality of images; and classifying, by the controller, the plurality of images into a first type of image and a second type of image different from the first type.
  • the plurality of tests may include tests for identifying different types of cancer.
  • the performing of the plurality of examinations may be characterized in that a plurality of fluorescence in situ matching examinations are performed to identify different types of cancer.
  • the plurality of fluorescent in situ hybridization methods may be characterized in that probes bound to DNA of cells are different from each other in order to identify different types of cancer.
  • the linking step may further link clinical information about the patient who provided the cells with respect to each of the plurality of images.
  • the method further includes outputting a first screen configured to label the classified image, and outputting the first screen is based on inputting a preset shortcut key while the first screen is output.
  • a preset shortcut key while the first screen is output.
  • the method may further include outputting a second screen for searching for at least one of the classified images, wherein the second screen selects at least one of a patient, a cancer type of a different type, and an image type.
  • the second screen selects at least one of a patient, a cancer type of a different type, and an image type.
  • an image associated with information selected from among the plurality of classified images It may be characterized by searching for and outputting.
  • An image classification apparatus includes a genetic mutation inspection unit that performs a plurality of tests of different types to identify genetic mutations using cell images obtained by photographing cells; Memory; and acquiring a plurality of images through the plurality of examinations, associating at least one of cell location information and examination type information with respect to each of the plurality of images, and combining the plurality of images with a first type of image and the first type of image.
  • a control unit for classifying images into a second type different from the first type and storing them in the memory can include
  • the plurality of tests may include tests for identifying different types of cancer.
  • the genetic mutation inspection unit may be characterized in that it performs a plurality of fluorescent in situ matching tests to identify different types of cancer.
  • the plurality of fluorescent in situ hybridization methods may be characterized in that probes bound to DNA of cells are different from each other in order to identify different types of cancer.
  • controller may further associate clinical information on a patient who provided cells with respect to each of the plurality of images.
  • the controller may further include a display unit, and the control unit outputs a first screen formed to label the classified image to the display unit, and based on input of a preset shortcut key while the first screen is output. , It may be characterized in that the information assigned to the shortcut key input to the selected image is labeled so as to be associated with it.
  • the device may further include a display unit, and the control unit outputs a second screen to the display unit for searching for at least one of the classified images, and the second screen is a patient, a different type of cancer and an image type, wherein the control unit, when at least one of the patient, the different types of cancer, and the image type is selected, information selected from among the plurality of classified images is selected. It may be characterized in that the associated image is searched for and outputted to the display unit.
  • the time required for a user to classify images can be significantly reduced by separately classifying images for cancer diagnosis according to various examination methods and classifying the images classified according to the examination methods by type again.
  • FIG. 1 is a conceptual diagram illustrating an image classification apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an image classification method according to an embodiment of the present invention.
  • the 'image classification device' includes all various devices capable of providing results to users by performing calculation processing.
  • the image classification device is not only a desktop PC and a notebook (note book), but also a smart phone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), a synchronous / Asynchronous IMT-2000 (International Mobile Telecommunication-2000) mobile terminal, Palm PC (Palm Personal Computer), Personal Digital Assistant (PDA), etc. may be applicable.
  • the image classification device may receive a request from a client and communicate with a server that performs information processing.
  • An image classification apparatus may be implemented to include at least one of the components described in FIG. 1 .
  • FIG. 1 is a conceptual diagram illustrating an image classification apparatus according to an embodiment of the present invention.
  • the image classification apparatus 100 for diagnosing cancer of the present invention may include a genetic mutation test unit 110, a memory 120, a controller 130, and a display unit (not shown).
  • the genetic mutation inspection unit 110 may be configured to perform a plurality of tests of different types to identify genetic mutations using cell images obtained by photographing cells.
  • the genetic mutation testing unit 110 may include a camera (or image sensor) for capturing cell images, a dyeing unit for staining cells, and an inspection unit for performing different types of genetic mutation testing. .
  • the memory 120 may be configured to store data, images, various information and application programs generated/managed by the genetic mutation testing unit 110 and the control unit 130.
  • the memory 120 is electrically connected to the control unit 130 .
  • the memory 120 may store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 120 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware.
  • the memory 120 may store various data for overall operations of the image classification apparatus 100, such as programs for processing or control by the controller 130.
  • the controller 130 controls general operations of the image classification apparatus 100 in addition to operations related to application programs.
  • the control unit 130 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the components described above or by driving an application program stored in a memory.
  • the controller 130 may acquire a plurality of images through a plurality of tests, and link at least one of cell location information and test type information to each of the plurality of images.
  • controller 130 may be configured to classify a plurality of images into a first type of image and a second type of image different from the first type and store them in a memory.
  • FIG. 2 is a flowchart illustrating an image classification method according to an embodiment of the present invention
  • FIGS. 3, 4, 5, 6, 7, 8, 9, 10, 11, and 12 , 13, 14, 15 and 16 are conceptual diagrams for explaining the image classification method discussed in FIG. 2 .
  • the image classification apparatus of the present invention may perform a plurality of tests of different types to identify genetic mutations (eg, cancer) using cell images obtained by photographing cells ( S210).
  • genetic mutations eg, cancer
  • the cell image may be an H&E (hematoxylin & eosin) stained image (or H&E image, or HE image).
  • H&E hematoxylin & eosin
  • H hematoxylin
  • E eosin
  • H&E section When a pathologist performs a biopsy of tissue suspected of cancer, the tissue section is H&E stained and is called an H&E section.
  • the plurality of tests may include tests for identifying different types of cancer.
  • the plurality of tests may include a plurality of fluorescence in situ matching tests for identifying different types of cancer.
  • the plurality of fluorescent agents may have different probes that bind to cell DNA in order to identify different types of cancer.
  • the different types of cancer may include at least one of ALK (lung cancer), HER2 (breast cancer), c-MET (epithelial ovarian tumor), ROS1 (lung cancer), and 1P19Q (brain tumor).
  • the image classification device may capture/save a FISH image on which fluorescence in situ matching has been performed through a genetic mutation inspection unit.
  • the FISH image may be the same as that of FIG. 4 .
  • Fluorescence in situ hybridization is a molecular cytogenetic test technique that can be used for the purpose of identifying the presence or absence of a specific DNA sequence in a chromosome.
  • mating or hybridization refers to a test process in which a probe of a chromosome is combined, and a DNA probe that binds to a chromosome fluoresces when exposed to ultraviolet light, and the presence or absence of a corresponding DNA sequence and location will be shown.
  • the genetic mutation test unit binds a marker to the DNA probe, and then denatures the DNA probe and the DNA of the cell to be tested to form a single strand, and then reacts.
  • the DNA probe reacts with the target chromosome, and after washing, when a fluorescent substance capable of binding to the labeling material is added, fluorescence is displayed at the site where the DNA probe is spliced.
  • FISH FISH
  • a fluorescent probe that binds to a part of the chromosome is used, and a fluorescence microscope is used to find the probe that binds to the chromosome.
  • FISH is used to find DNA characteristics in medicine, genetic counseling, species identification, etc., but it can also be used to detect specific mRNA in tissue samples.
  • the genetic mutation inspection unit may capture/save the FISH image taken in the FISH inspection.
  • counterstaining may include DAPI (4'-6' diamidine-2-phenyl indole dihydrochloride) or PI.
  • the genetic mutation inspection unit may store the DAPI-stained image as a DAPI image.
  • searcher used for the plurality of tests is as follows.
  • a centromeric searcher for trajectory measurement is a searcher composed of a nucleotide sequence that binds to heterochromatin present in a centromere of a chromosome. It is used to determine the number of chromosomes and can be used for both interphase cells and cell division metaphase cells.
  • a unique sequence searcher is a gene-specific searcher and can be used to identify microdeletions or measure changes in oncogenes or suppressor genes.
  • a telomere searcher for searching for changes at the ends of chromosomes is also a kind of specific sequence searcher.
  • a chromosome painting searcher is a searcher that paints a specific staining zone or the entire chromosome.
  • Each chromosome has a base sequence that is repeated and distributed throughout the chromosome, and when a fluorescent substance is attached to the base sequence, the entire chromosome looks as if it is colored, so the name was given. It is used to identify complex chromosomal structural changes or small chromosomal structural changes detected by traditional chromosome analysis, and can be applied only to cells in the metaphase phase.
  • a locus specific or translocation searcher is a searcher constructed using a gene-specific sequence and is mainly used to search for chromosomal translocations.
  • a unique fluorescence signal is seen because the two fluorescence are generated at the same place. For example, when red and green fluorescence are combined, a yellow fluorescence signal is seen.
  • the genetic mutation inspection unit 110 included in the image classification apparatus of the present invention may perform a plurality of tests to identify different types of cancer.
  • the image classification apparatus may acquire a plurality of images through the plurality of examinations, and store at least one of cell location information and examination type information in association with each of the plurality of images (S220 and S230).
  • FIGS. 5 to 9 a plurality of images for examining different types of cancer (eg, ALK, HER2, c-MET, ROS1, and 1P19Q) are shown.
  • types of cancer eg, ALK, HER2, c-MET, ROS1, and 1P19Q
  • the controller 130 may perform a plurality of examinations to identify different types of cancer, and may include cell location information and examination type information (eg, a plurality of examination types) in at least one image generated in each examination.
  • examination type information eg, a plurality of examination types
  • the fluorescent in situ matching tests which test corresponds to (or which searcher was used for the search, etc.) can be linked and stored.
  • controller 130 may further link clinical information about the patient who provided the cells with respect to each of the plurality of images.
  • the image classification device can store cell location information and/or test type information in association with a plurality of images, respectively, and store the plurality of images in association with a first type of image and a second type different from the first type. It can be classified as an image of and stored in memory (S240).
  • the first type of image may be an H&E image in which H&E staining is performed
  • the second type of image may be a FISH image in which fluorescence in situ matching is performed.
  • the FISH image may include a DAPI image in which DAPI (4', 6-diamidino-2-phenylindol) staining was performed.
  • each examination may include a first type of image (H&E image) and a second type of image (FISH image).
  • H&E image first type of image
  • FISH image second type of image
  • the controller 130 may map and store a FISH image (or DAPI image) to an H&E image.
  • the controller 130 can determine which part of the H&E image corresponds to the FISH image used in the plurality of examinations.
  • the controller 130 may perform a plurality of tests to identify different types of cancer with respect to the first type of image (H&E image), and accordingly , It is possible to take/create a plurality of images.
  • the second type of image corresponds to a certain part of the first type of image (H&E image) as well as cell position information and test type information, as described above. Location information about what to do may be further linked.
  • the controller 130 may associate cell location information and test type information with respect to a plurality of images generated by a plurality of tests.
  • controller 130 may further associate information on the type of cancer determined by the gene mutation tester 110 with each image.
  • the genetic mutation inspection unit 110 may use a plurality of images generated through a plurality of examinations to determine which genetic mutation exists, as shown in FIGS. can be more connected.
  • the genetic mutation inspection unit 110 utilizes an algorithm learned through deep learning, inputs an image generated through a plurality of tests as an input value, and outputs at least one of the existence and type of genetic mutation as an output value. can do.
  • controller 130 may store clinical information about the patient in association with each image.
  • the controller 130 may classify and output images (images included in the image list view) associated with each patient (eg, ZM19-2926).
  • controller 130 may output the first screen formed to label the classified images to the display unit.
  • the first screen may be the same as that shown in FIG. 15 .
  • the control unit 130 is based on the input of a preset shortcut key (eg, (1), (2) shown in the label determination part) in a state where the first screen is output.
  • a preset shortcut key eg, (1), (2) shown in the label determination part
  • information related to the shortcut key input to the selected image for example, when the shortcut key (4) is selected, information related to Good Cancer linked to (4)
  • controller 130 may output a second screen (eg, FIG. 16 ) for searching for at least one of a plurality of classified images to the display unit.
  • the second screen may be configured to allow selection of at least one of a patient, different types of cancer (ALK, ROS1, etc.) and an image type.
  • the controller 130 may search for an image associated with selected information among a plurality of classified images and output the searched image to the display unit.
  • the time required for a user to classify images can be significantly reduced by separately classifying images for cancer diagnosis according to various examination methods and classifying the images classified according to the examination methods by type again.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Genetics & Genomics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Oncology (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

이미지 분류 장치 및 이미지 분류 방법이 제공된다. 상기 이미지 분류 방법은 이미지 분류 장치에 의해 수행되는 방법에 있어서, 상기 이미지 분류 장치 중 유전자 변이 검사부에 의해, 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하는 단계; 상기 이미지 분류 장치 중 제어부에 의해, 상기 복수의 검사를 통해 복수의 이미지를 획득하는 단계; 상기 제어부에 의해, 상기 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계시키는 단계; 및 상기 제어부에 의해, 상기 복수의 이미지를 제1 종류의 이미지와 상기 제1 종류와 다른 제2 종류의 이미지로 분류하는 단계; 를 포함한다.

Description

암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
본 발명은 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법에 관한 것이다.
현재 생물학, 의학, 컴퓨터 공학 등 여러 분야에서 이미지의 분류나 분석에 대한 방법론 연구가 활발히 진행되고 있다. 더불어 ImageNet Large Scale Visual Recognition Challenge나 Grand Challenge등의 이미지 분류, 분석에 대한 대회도 상당히 많이 개최되고 있으며, 이미지의 분류 문제는 상당히 중요한 문제라는 것을 알 수 있다.
현재 1개의 이미지에 1개의 class를 구분하는 single class classification이나 multi class classification에 대한 연구는 상당히 많이 진행되어 왔다. 하지만 1개의 이미지가 여러 class에 속할 수 있는 multi label classification의 문제는 여러개의 single label classification 문제로 바꾸는 방법이 일반적이다. 하지만 classifier의 개수가 많아짐에 따라 최적화를 위한 비용이 많이 들고, dataset의 성질에 따라 접근 방법이 다를 수 있다.
의과 대학에서 배우는 과목에 사용되는 의료 이미지를 과목의 대분류, 중분류, 소분류 등을 다중으로 tag 하기 위한 방법론이 필요하다.
이와 관련된 선행기술1로써, 특허등록번호 10-1560449에서는 "사진 자동 분류 시스템 및 방법"이 공개되어 있다.
사진 촬영이 가능한 촬영 단말에서 촬영된 이미지를 유, 무선 네트워크를 통해 사용자가 원하는 장치로 자동 분류되어 저장할 수 있는 사진 자동 분류 방법은, 수신되는 다수의 촬영 이미지를 촬영 순서에 따라 순차적으로 스캔하여 분류기준용 이미지를 검출하는 1단계; 분류기준용 이미지가 검출되면, 검출된 분류기준용 이미지로부터 분류기준정보를 추출하는 2단계; 추출된 분류기준정보를 폴더명으로 하는 사진 폴더를 생성하는 3단계; 및 생성된 사진 폴더에 다른 분류기준용 이미지가 검출되기 전까지의 촬영 이미지들을 저장하는 4단계; 를 포함한다.
그러나, 기존의 사진 분류 시스템은 머신 러닝의 지도 학습법(Supervised-Learning)을 사용하는 인공 지능 모듈의 기계학습된 분류기에 의해 학습된 의과대학 과목의 의료 이미지들을 분류, 태깅하는 시스템이 존재하지 않았다.
본 발명이 해결하고자 하는 과제는 최적화된 방법으로 암 진단을 위한 이미지를 분류하는 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 이미지 분류 방법은, 이미지 분류 장치에 의해 수행되는 방법에 있어서, 상기 이미지 분류 장치 중 유전자 변이 검사부에 의해, 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하는 단계; 상기 이미지 분류 장치 중 제어부에 의해, 상기 복수의 검사를 통해 복수의 이미지를 획득하는 단계; 상기 제어부에 의해, 상기 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계시키는 단계; 및 상기 제어부에 의해, 상기 복수의 이미지를 제1 종류의 이미지와 상기 제1 종류와 다른 제2 종류의 이미지로 분류하는 단계; 를 포함할 수 있다.
또한, 상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 검사를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 복수의 검사를 수행하는 단계는, 서로 다른 종류의 암을 식별하기 위한 복수의 형광제자리부합법 검사를 수행하는 것을 특징으로 할 수 있다.
또한, 상기 복수의 형광제자리부합법은, 서로 다른 종류의 암을 식별하기 위해 세포의 DNA에 결합되는 탐색자가 서로 상이한 것을 특징으로 할 수 있다.
또한, 연계시키는 단계는, 상기 복수의 이미지 각각에 대하여 세포를 제공한 환자에 대한 임상 정보를 더 연계시키는 것을 특징으로 할 수 있다.
또한, 상기 분류된 이미지를 라벨링하도록 형성된 제1 화면을 출력하는 단계를 더 포함하고, 상기 제1 화면을 출력하는 단계는, 상기 제1 화면이 출력된 상태에서, 미리 설정된 단축키가 입력되는 것에 근거하여, 선택된 이미지에 입력된 단축키에 연계된 정보가 연계되도록 라벨링하는 것을 특징으로 할 수 있다.
또한, 상기 분류된 복수의 이미지 중에서 적어도 하나를 검색하기 위한 제2 화면을 출력하는 단계를 더 포함하고, 상기 제2 화면은, 환자, 서로 다른 종류의 암 종류 및 이미지 종류 중 적어도 하나를 선택하는 것이 가능하도록 형성되며, 상기 제2 화면을 출력하는 단계는, 상기 환자, 상기 서로 다른 종류의 암 종류 및 상기 이미지 종류 중 적어도 하나가 선택되면, 상기 분류된 복수의 이미지 중 선택된 정보가 연계된 이미지를 검색하여 출력하는 것을 특징으로 할 수 있다.
본 발명의 일 면에 따른 이미지 분류 장치는, 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하는 유전자 변이 검사부; 메모리; 및 상기 복수의 검사를 통해 복수의 이미지를 획득하고, 상기 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계시키며, 상기 복수의 이미지를 제1 종류의 이미지와 상기 제1 종류와 다른 제2 종류의 이미지로 분류하여 상기 메모리에 저장하는 제어부; 를 포함할 수 있다.
또한, 상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 검사를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 유전자 변이 검사부는, 서로 다른 종류의 암을 식별하기 위한 복수의 형광제자리부합법 검사를 수행하는 것을 특징으로 할 수 있다.
또한, 상기 복수의 형광제자리부합법은, 서로 다른 종류의 암을 식별하기 위해 세포의 DNA에 결합되는 탐색자가 서로 상이한 것을 특징으로 할 수 있다.
또한, 상기 제어부는, 상기 복수의 이미지 각각에 대하여 세포를 제공한 환자에 대한 임상 정보를 더 연계시키는 것을 특징으로 할 수 있다.
또한, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 분류된 이미지를 라벨링하도록 형성된 제1 화면을 상기 디스플레이부에 출력하며, 상기 제1 화면이 출력된 상태에서, 미리 설정된 단축키가 입력되는 것에 근거하여, 선택된 이미지에 입력된 단축키에 할당된 정보가 연계되도록 라벨링하는 것을 특징으로 할 수 있다.
또한, 디스플레이부를 더 포함하고, 상기 제어부는, 상기 분류된 복수의 이미지 중에서 적어도 하나를 검색하기 위한 제2 화면을 상기 디스플레이부에 출력하며, 상기 제2 화면은, 환자, 서로 다른 종류의 암 종류 및 이미지 종류 중 적어도 하나를 선택하는 것이 가능하도록 형성되고, 상기 제어부는, 상기 환자, 상기 서로 다른 종류의 암 종류 및 상기 이미지 종류 중 적어도 하나가 선택되면, 상기 분류된 복수의 이미지 중 선택된 정보가 연계된 이미지를 검색하여 상기 디스플레이부에 출력하는 것을 특징으로 할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 암 진단을 위한 이미지들을 다양한 검사법에 따라 각각 따로 분류하고, 검사법에 따라 분류된 이미지들을 종류별로 또다시 분류함으로써, 사용자가 이미지를 분류하는데 소요되는 시간을 현저히 줄일 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분류 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 분류 방법을 설명하기 위한 흐름도이다.
도 3, 도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13, 도 14, 도 15 및 도 16은 도 2에서 살펴본 이미지 분류 방법을 설명하기 위한 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
본 명세서에서 '이미지 분류 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 이미지 분류 장치는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다.
또한, 이미지 분류 장치는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버와 통신을 수행할 수 있다.
본 발명의 일 실시 예에 따른 이미지 분류 장치는, 도 1에서 설명하는 구성요소들 중 적어도 하나를 포함하도록 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분류 장치를 설명하기 위한 개념도이다.
도 1을 살펴보면, 본 발명의 암 진단을 위한 이미지 분류 장치(100)는, 유전자 변이 검사부(110), 메모리(120), 제어부(130) 및 디스플레이부(미도시)를 포함할 수 있다.
유전자 변이 검사부(110)는, 세포를 촬영한 세포 이미지를 이용하여 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하도록 형성될 수 있다.
이를 위해, 유전자 변이 검사부(110)는, 세포 이미지를 촬영하기 위한 카메라(또는 이미지 센서), 세포를 염색하기 위한 염색부, 서로 다른 종류의 유전자 변이 검사를 수행하기 위한 검사부 등을 포함할 수 있다.
메모리(120)는, 유전자 변이 검사부(110) 및 제어부(130)에서 생성/관리된 데이터, 이미지, 각종 정보 및 응용 프로그램 등을 저장하도록 형성될 수 있다.
메모리(120)는, 제어부(130)와 전기적으로 연결된다. 메모리(120)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(120)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(120)는 제어부(130)의 처리 또는 제어를 위한 프로그램 등, 이미지 분류 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
제어부(130)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 이미지 분류 장치(100)의 전반적인 동작을 제어한다. 제어부(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
제어부(130)는, 복수의 검사를 통해 복수의 이미지를 획득하고, 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계할 수 있다.
또한, 제어부(130)는, 복수의 이미지를 제1 종류의 이미지와, 상기 제1 종류와 다른 제2 종류의 이미지로 분류하여 메모리에 저장하도록 형성될 수 있다.
이하에서는, 암 진단을 위한 이미지를 분류하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 분류 방법을 설명하기 위한 흐름도이고, 도 3, 도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13, 도 14, 도 15 및 도 16은 도 2에서 살펴본 이미지 분류 방법을 설명하기 위한 개념도이다.
도 2를 참조하면, 본 발명의 이미지 분류 장치는, 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이(예를 들어, 암)를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행할 수 있다(S210).
도 3에 도시된 것과 같이, 상기 세포 이미지는 H&E(헤마톡실린&에오신) 염색이 수행된 이미지(또는 H&E이미지, 또는 HE 이미지)일 수 있다.
H&E 염색　혹은 HE 염색에서 H는　헤마톡실린, E는　에오신을 의미한다.
조직학에서 이용되는 기본적인　염색　방법이다.　
의학 진단에서 널리 이용되며, 종종　최적 표준(gold standard)이다.　병리학자가　암으로 의심되는 조직을　생검하면 조직 절편을 H&E 염색하고, H&E 절편(H&E section)이라 한다.
상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 검사를 포함할 수 있다.
예를 들어, 상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 복수의 형광제자리부합법 검사를 포함할 수 있다.
상기 복수의 형광제자 서로 다른 종류의 암을 식별하기 위해 세포의 DNA에 결합되는 탐색자(Probe)가 서로 상이할 수 있다.
또한, 상기 서로 다른 종류의 암은, ALK(폐암), HER2(유방암), c-MET(상피성 난소 종양), ROS1(폐암), 1P19Q(뇌종양) 중 적어도 하나를 포함할 수 있다.
또한, 이미지 분류 장치는, 유전자 변이 검사부를 통해, 형광제자리부합법이 수행된 FISH이미지를 촬영/저장할 수 있다.
상기 FISH이미지는, 도 4와 같을 수 있다.
형광제자리부합법(fluorescence in situ hybridization, FISH)은 분자세포유전학(molecular cytogenetic) 검사기법으로, 염색채의 특정 DNA 염기서열의 존재 유무를 규명하기 위한 목적으로 이용할 수 있다.
이에 따라, 교합 또는 교잡반응(hybridization)이라 함은, 염색체의 탐색자(probe)를 결합시키는 검사과정을 의미하고, 염색체에 결합하는 DNA 탐색자는 자외선을 받으면 형광을 내면서 대응하는 DNA 염기서열의 유무 및 위치를 보여주게 된다.
먼저, 유전자 변이 검사부는, DNA 탐색자에 표지물질을 결합시킨 후 DNA 탐색자 및 검사하고자 하는 세포의 DNA를 변성시켜서(denaturation) 단일가닥(single strand)으로 만든 후 반응시킨다.
이 때, 표적염색체에 DNA 탐색자가 반응하고, 세척한 후 표지물질과 결합할 수 있는 형광물질을 첨가하면 DNA 탐색자가 접합된 부위에서 형광을 나타낸다.
FISH에서는 염색체 일부에 결합하는 형광 탐색자를 이용하고, 형광현미경은 염색체에 결합한 탐색자를 찾아내는데 사용한다.
또한, FISH는 의학, 유전상담, 종 확인 등에서 DNA 특징을 알아내는데 이용하지만, 조직검체 내 특이한 mRNA를 검출하는데도 이용될 수 있다.
유전자 변이 검사부는, 이와 같이, FISH 검사에서 촬영된 FISH 이미지를 촬영/저장할 수 있다.
탐색자에 사용된 형광물에 따라서 대조염색은 DAPI(4'-6' diamidine-2-phenyl indole dihydrochloride) 또는 PI를 포함할 수 있다.
유전자 변이 검사부는, DAPI 염색되어 촬영된 이미지를 DAPI이미지로 저장할 수 있다.
한편, 상기 복수의 검사에 사용되는 탐색자는 다음과 같다.
배수측정용 동원체(centromeric) 탐색자는, 염색체의 동원체에 존재하는 이형염색질(heterochromatin)에 보합하는 염기서열로 이루어진 탐색자이다. 염색체 수를 알기위해 사용하며 간기 세포 및 세포분열 중기세포 모두에 사용할 수 있다.
특이서열(unique sequence) 탐색자는 유전자 특이 탐색자로, 미세결실(microdeletion)을 확인하거나 암유전자(oncogene) 또는 암억제유전자(suppressor gene)의 변화를 측정하는데 이용할 수 있다. 염색체 말단부위의 변화를 검색하기 위한 종말체(telomere) 탐색자도 일종의 특이서열 탐색자이다.
염색체 도포(painting) 탐색자는 특정 염색대 부위 혹은 염색체 전체를 도포하는 탐색자이다. 각각 염색체에는 염색체 전체에 걸쳐 반복되어 분포하는 염기서열이 있어 그 염기서열에 형광물질을 부착하면 염색체 전체가 마치 색을 입힌 것처럼 보인다하여 붙여진 이름이다. 전통적인 염색체분석으로 검색된 복잡한 염색체의 구조변화나 작은 염색체 구조변화를 확인하는데 사용되며 분역중기 세포에만 적용될 수 있다.
위치특이(locus specific) 또는 전좌(translocation) 탐색자는 유전자 특이서열을 이용하여 제작된 탐색자로 주로 염색체 전좌를 검색하는 데 사용된다. 두 종류의 탐색자에 각각 다른 형광을 입혀 세포에 반응시키면 전좌에 의해 융합유전자(fusion gene)가 형성된 경우에는 두 형광이 같은 곳에서 발생되므로 독특한 형광시그널이 보인다. 예를 들어, 적색과 녹색 형광이 합쳐지면 황생 형광 시그널이 보이게 된다.
이와 같이, 본 발명의 이미지 분류 장치에 포함된 유전자 변이 검사부(110)는 서로 다른 종류의 암을 식별하기 위해 복수의 검사를 수행할 수 있다.
또한, 이미지 분류 장치는, 상기 복수의 검사를 통해 복수의 이미지를 획득하고, 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계하여 저장할 수 있다(S220, S230).
도 5 내지 도 9를 참조하면, 서로 다른 종류의 암(예를 들어, ALK, HER2, c-MET, ROS1 및 1P19Q)을 검사하기 위한 복수의 이미지가 도시되어 있다.
제어부(130)는, 서로 다른 종류의 암을 식별하기 위한 복수의 검사를 수행할 수 있으며, 각 검사에서 발생된 적어도 하나의 이미지에, 세포의 위치 정보 및 검사 종류 정보(예를 들어, 복수의 형광제자리부합법 검사 중 어느 검사에 해당하는지(또는 어느 탐색자를 활용한 검색인지 등)를 연계하여 저장할 수 있다.
또한, 제어부(130)는, 복수의 이미지 각각에 대하여 세포를 제공한 환자에 대한 임상 정보를 더 연계시킬 수 있다.
또한, 앞서 설명한 DAPI 염색을 통해, 도 10에 도시된 것과 같이,
또한, 이미지 분류 장치는, 세포 위치 정보 및/또는 검사 종류 정보를 복수의 이미지에 각각 연계하여 저장할 수 있을 뿐만 아니라, 복수의 이미지를 제1 종류의 이미지와, 상기 제1 종류와 다른 제2 종류의 이미지로 분류하여 메모리에 저장할 수 있다(S240).
여기서, 상기 제1 종류의 이미지는, H&E 염색이 수행된 H&E 이미지이고, 상기 제2 종류의 이미지는, 형광제자리부합법이 수행된 FISH 이미지일 수 있다.
앞서 설명한 것과 같이, 상기 FISH 이미지는 DAPI(4', 6-diamidino-2-phenylindol) 염색이 수행된 DAPI 이미지를 포함할 수 있다.
도 5 내지 도 9에 도시된 것과 같이, 각 검사에는, 제1 종류의 이미지(H&E 이미지)와 제2 종류의 이미지(FISH 이미지)가 포함될 수 있다.
또한, 도 10에 도시된 것과 같이, 제어부(130)는, FISH 이미지(또는 DAPI 이미지)를 H&E 이미지에 매핑하여 저장할 수 있다.
이에 따라, 제어부(130)는, 복수의 검사에서 사용된 FISH 이미지가, H&E 이미지의 어느 부분에 해당하는지 파악할 수 있다.
또한, 도 11 내지 도 14에 도시된 것과 같이, 제어부(130)는, 제1 종류의 이미지(H&E 이미지)에 대하여 서로 다른 종류의 암을 식별하기 위해 복수의 검사를 수행할 수 있으며, 이에 따라, 복수의 이미지를 촬영/생성할 수 있다.
또한, 제2 종류의 이미지(예를 들어, FISH 이미지 또는 DAPI 이미지)에는, 앞서 설명한 것과 같이, 세포의 위치 정보, 검사 종류 정보뿐만 아니라, 제1 종류의 이미지(H&E 이미지)에서 어느 부분에 해당하는지에 대한 위치 정보가 더 연계되어 있을 수 있다.
제어부(130)는, 도 11 내지 도 14에 도시된 것과 같이, 복수의 검사에 의해 생성된 복수의 이미지에 대하여 각각 세포의 위치 정보 및 검사 종류 정보 등을 연계시킬 수 있다.
또한, 제어부(130)는, 유전자 변이 검사부(110)에서 판단된 암의 종류에 대한 정보를 각 이미지에 더 연계시킬 수도 있다.
유전자 변이 검사부(110)는, 복수의 검사를 통해 생성된 복수의 이미지를 이용하여, 도 5 내지 도 9에 도시된 것과 같이, 어떤 유전자 변이가 존재하는지를 판단할 수 있으며, 이러한 판단 정보를 이미지에 더 연계시킬 수 있다.
일 예로, 유전자 변이 검사부(110)는, 딥러닝을 통해 학습된 알고리즘을 활용하여, 복수의 검사를 통해 생성된 이미지를 입력값으로 입력하여, 유전자 변이의 유무 및 종류 중 적어도 하나를 출력값으로 출력할 수 있다.
한편, 제어부(130)는, 각 이미지에, 환자에 대한 임상 정보를 더 연계시켜 저장할 수 있다.
이에 따라, 도 15에 도시된 것과 같이, 제어부(130)는, 환자별(예를 들어, ZM19-2926)로 연계된 이미지(이미지 목록 보기에 포함된 이미지)를 분류하여 출력할 수 있다.
또한, 제어부(130)는, 분류된 이미지를 라벨링하도록 형성된 제1 화면을 디스플레이부에 출력할 수 있다.
상기 제1 화면은, 도 15에 도시된 것과 같을 수 있다.
도 15에 도시된 것과 같이, 제어부(130)는, 제1 화면이 출력된 상태에서 미리 설정된 단축키(예를 들어, 라벨 결정 부분에 도시된(1), (2) 등)가 입력되는 것에 근거하여, 선택된 이미지에 입력된 단축키에 연계된 정보(예를 들어, 단축키 (4)가 선택되면, 상기 (4)에 연계된 Good Cancer 라는 정보)를 연계시킬 수 있다.
또한, 제어부(130)는, 분류된 복수의 이미지 중에서 적어도 하나를 검색하기 위한 제2 화면(예를 들어, 도 16)을 디스플레이부에 출력할 수 있다.
도 16을 참조하면, 상기 제2 화면은, 환자, 서로 다른 종류의 암 종류(ALK, ROS1 등) 및 이미지 종류 중 적어도 하나를 선택하는 것이 가능하도록 형성될 수 있다.
제어부(130)는, 환자, 서로 다른 종류의 암 종류 및 이미지 종류 중 적어도 하나가 선택되면, 분류된 복수의 이미지 중 선택된 정보가 연계된 이미지를 검색하여 디스플레이부에 출력할 수 있다.
본 발명에 따르면, 암 진단을 위한 이미지들을 다양한 검사법에 따라 각각 따로 분류하고, 검사법에 따라 분류된 이미지들을 종류별로 또다시 분류함으로써, 사용자가 이미지를 분류하는데 소요되는 시간을 현저히 줄일 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 이미지 분류 장치에 의해 수행되는 방법에 있어서,
    상기 이미지 분류 장치 중 유전자 변이 검사부에 의해, 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하는 단계;
    상기 이미지 분류 장치 중 제어부에 의해, 상기 복수의 검사를 통해 복수의 이미지를 획득하는 단계;
    상기 제어부에 의해, 상기 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계시키는 단계; 및
    상기 제어부에 의해, 상기 복수의 이미지를 제1 종류의 이미지와 상기 제1 종류와 다른 제2 종류의 이미지로 분류하는 단계; 를 포함하는, 이미지 분류 방법.
  2. 제1항에 있어서,
    상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 검사를 포함하는 것을 특징으로 하는, 이미지 분류 방법.
  3. 제1항에 있어서,
    상기 복수의 검사를 수행하는 단계는,
    서로 다른 종류의 암을 식별하기 위한 복수의 형광제자리부합법 검사를 수행하는 것을 특징으로 하는, 이미지 분류 방법.
  4. 제3항에 있어서,
    상기 복수의 형광제자리부합법은, 서로 다른 종류의 암을 식별하기 위해 세포의 DNA에 결합되는 탐색자가 서로 상이한 것을 특징으로 하는, 이미지 분류 방법.
  5. 제1항에 있어서,
    상기 연계시키는 단계는,
    상기 복수의 이미지 각각에 대하여 세포를 제공한 환자에 대한 임상 정보를 더 연계시키는 것을 특징으로 하는, 이미지 분류 방법.
  6. 제1항에 있어서,
    상기 분류된 이미지를 라벨링하도록 형성된 제1 화면을 출력하는 단계를 더 포함하고,
    상기 제1 화면을 출력하는 단계는,
    상기 제1 화면이 출력된 상태에서, 미리 설정된 단축키가 입력되는 것에 근거하여, 선택된 이미지에 입력된 단축키에 연계된 정보가 연계되도록 라벨링하는 것을 특징으로 하는, 이미지 분류 방법.
  7. 제1항에 있어서,
    상기 분류된 복수의 이미지 중에서 적어도 하나를 검색하기 위한 제2 화면을 출력하는 단계를 더 포함하고,
    상기 제2 화면은,
    환자, 서로 다른 종류의 암 종류 및 이미지 종류 중 적어도 하나를 선택하는 것이 가능하도록 형성되며,
    상기 제2 화면을 출력하는 단계는,
    상기 환자, 상기 서로 다른 종류의 암 종류 및 상기 이미지 종류 중 적어도 하나가 선택되면, 상기 분류된 복수의 이미지 중 선택된 정보가 연계된 이미지를 검색하여 출력하는 것을 특징으로 하는, 이미지 분류 방법.
  8. 세포를 촬영한 세포 이미지를 이용하여, 유전자 변이를 식별하기 위한 서로 다른 종류의 복수의 검사를 수행하는 유전자 변이 검사부;
    메모리; 및
    상기 복수의 검사를 통해 복수의 이미지를 획득하고, 상기 복수의 이미지 각각에 대하여, 세포의 위치 정보 및 검사 종류 정보 중 적어도 하나를 연계시키며, 상기 복수의 이미지를 제1 종류의 이미지와 상기 제1 종류와 다른 제2 종류의 이미지로 분류하여 상기 메모리에 저장하는 제어부; 를 포함하는, 이미지 분류 장치.
  9. 제8항에 있어서,
    상기 복수의 검사는, 서로 다른 종류의 암을 식별하기 위한 검사를 포함하는 것을 특징으로 하는, 이미지 분류 장치.
  10. 제8항에 있어서,
    상기 유전자 변이 검사부는,
    서로 다른 종류의 암을 식별하기 위한 복수의 형광제자리부합법 검사를 수행하는 것을 특징으로 하는, 이미지 분류 장치.
  11. 제10항에 있어서,
    상기 복수의 형광제자리부합법은, 서로 다른 종류의 암을 식별하기 위해 세포의 DNA에 결합되는 탐색자가 서로 상이한 것을 특징으로 하는, 이미지 분류 장치.
  12. 제8항에 있어서,
    상기 제어부는,
    상기 복수의 이미지 각각에 대하여 세포를 제공한 환자에 대한 임상 정보를 더 연계시키는 것을 특징으로 하는, 이미지 분류 장치.
  13. 제8항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부는,
    상기 분류된 이미지를 라벨링하도록 형성된 제1 화면을 상기 디스플레이부에 출력하며,
    상기 제1 화면이 출력된 상태에서, 미리 설정된 단축키가 입력되는 것에 근거하여, 선택된 이미지에 입력된 단축키에 할당된 정보가 연계되도록 라벨링하는 것을 특징으로 하는, 이미지 분류 장치.
  14. 제8항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부는,
    상기 분류된 복수의 이미지 중에서 적어도 하나를 검색하기 위한 제2 화면을 상기 디스플레이부에 출력하며,
    상기 제2 화면은,
    환자, 서로 다른 종류의 암 종류 및 이미지 종류 중 적어도 하나를 선택하는 것이 가능하도록 형성되고,
    상기 제어부는,
    상기 환자, 상기 서로 다른 종류의 암 종류 및 상기 이미지 종류 중 적어도 하나가 선택되면, 상기 분류된 복수의 이미지 중 선택된 정보가 연계된 이미지를 검색하여 상기 디스플레이부에 출력하는 것을 특징으로 하는, 이미지 분류 장치.
  15. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제7항 중 어느 한 항의 이미지 분류 장치에 의해 수행되는 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된, 프로그램.
PCT/KR2022/008391 2021-07-08 2022-06-14 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법 WO2023282487A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210089961A KR102441907B1 (ko) 2021-07-08 2021-07-08 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
KR10-2021-0089961 2021-07-08

Publications (1)

Publication Number Publication Date
WO2023282487A1 true WO2023282487A1 (ko) 2023-01-12

Family

ID=83279657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008391 WO2023282487A1 (ko) 2021-07-08 2022-06-14 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법

Country Status (2)

Country Link
KR (2) KR102441907B1 (ko)
WO (1) WO2023282487A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140145141A (ko) * 2012-03-30 2014-12-22 클래리언트 다이아그노스틱 서비시즈, 인크. 생물학적 샘플의 영상 생성 방법
KR20150091477A (ko) * 2012-12-04 2015-08-11 제너럴 일렉트릭 캄파니 Ish 분석 결과를 선택적으로 정제하기 위한 면역염색 마스크의 사용 시스템 및 방법
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
KR20170010088A (ko) * 2012-02-01 2017-01-25 벤타나 메디컬 시스템즈, 인코포레이티드 조직 샘플들에 있어서의 유전자들을 검출하는 시스템
WO2020100660A1 (ja) * 2018-11-12 2020-05-22 ソニー株式会社 情報処理方法および情報処理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101560449B1 (ko) 2013-08-06 2015-10-15 (주)엠팩토리 사진 자동 분류 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
KR20170010088A (ko) * 2012-02-01 2017-01-25 벤타나 메디컬 시스템즈, 인코포레이티드 조직 샘플들에 있어서의 유전자들을 검출하는 시스템
KR20140145141A (ko) * 2012-03-30 2014-12-22 클래리언트 다이아그노스틱 서비시즈, 인크. 생물학적 샘플의 영상 생성 방법
KR20150091477A (ko) * 2012-12-04 2015-08-11 제너럴 일렉트릭 캄파니 Ish 분석 결과를 선택적으로 정제하기 위한 면역염색 마스크의 사용 시스템 및 방법
WO2020100660A1 (ja) * 2018-11-12 2020-05-22 ソニー株式会社 情報処理方法および情報処理システム

Also Published As

Publication number Publication date
KR102441907B1 (ko) 2022-09-08
KR20230009331A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
US20240029409A1 (en) Tissue staining and sequential imaging of biological samples for deep learning image analysis and virtual staining
US11946866B2 (en) Fluorescence image analyzing apparatus, method of analyzing fluorescence image, and computer program
JP2018511036A (ja) メソダイセクションのためのシステムおよび方法
WO2012041333A1 (en) Automated imaging, detection and grading of objects in cytological samples
Bosisio et al. Next-generation pathology using multiplexed immunohistochemistry: mapping tissue architecture at single-cell level
WO2021071181A1 (ko) 면역항암제에 대한 저항성을 예측하는 방법 및 분석장치
CN111656393A (zh) 组织学图像分析
WO2023282487A1 (ko) 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
Bush et al. Using Cell‐ID 1.4 with R for microscope‐based cytometry
Pengo et al. A novel automated microscopy platform for multiresolution multispectral early detection of lung cancer cells in bronchoalveolar lavage samples
Barnett et al. Automated identification and quantification of signals in multichannel immunofluorescence images: the SignalFinder-IF platform
WO2023282488A1 (ko) 암 세포 판정을 위한 핵이미지 선별 장치 및 핵이미지 선별 방법
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
CN102930126B (zh) 现场物证信息勘验车的勘验方法及其装置
WO2023090709A1 (ko) 염색체 구조의 상태 정보를 이용한 세포 분석 장치 및 방법
CN110148443B (zh) 一种临床检验样本的标识方法及系统
WO2018062595A1 (ko) 세포 이미지 스티칭 중 고해상도 구현방법
Anderson Multiplex fluorescence in situ hybridization (M-FISH)
KR102681276B1 (ko) 암 세포 판정을 위한 핵이미지 선별 장치 및 핵이미지 선별 방법
US20100177942A1 (en) Method and apparatus for analyzing imagery data
WO2023113414A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
US20230368504A1 (en) Synthetic generation of immunohistochemical special stains
Li et al. Automatic DNA replication tract measurement to assess replication and repair dynamics at the single-molecule level
Smith et al. Integrating a FISH imaging system into the cytology laboratory

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE