KR20160063128A - 컴퓨터 보조 진단 장치 및 방법 - Google Patents

컴퓨터 보조 진단 장치 및 방법 Download PDF

Info

Publication number
KR20160063128A
KR20160063128A KR1020140166736A KR20140166736A KR20160063128A KR 20160063128 A KR20160063128 A KR 20160063128A KR 1020140166736 A KR1020140166736 A KR 1020140166736A KR 20140166736 A KR20140166736 A KR 20140166736A KR 20160063128 A KR20160063128 A KR 20160063128A
Authority
KR
South Korea
Prior art keywords
group
interest
rads
region
frame
Prior art date
Application number
KR1020140166736A
Other languages
English (en)
Other versions
KR102251242B1 (ko
Inventor
유승우
채승철
김중회
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140166736A priority Critical patent/KR102251242B1/ko
Priority to US14/950,543 priority patent/US10083502B2/en
Publication of KR20160063128A publication Critical patent/KR20160063128A/ko
Priority to US16/138,405 priority patent/US10332254B2/en
Priority to US16/449,943 priority patent/US10650518B2/en
Application granted granted Critical
Publication of KR102251242B1 publication Critical patent/KR102251242B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312Breast evaluation or disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12Devices for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/502Clinical applications involving diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

컴퓨터 보조 진단 장치 및 방법이 개시된다. 일 실시예에 따른 컴퓨터 보조 진단 장치는, 다수의 프레임 영상 각각에 대하여 관심 영역을 검출하는 관심 영역 검출부와, 검출 결과를 기반으로 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 그룹화부와, 그룹화된 프레임 영상에 대하여 검출된 관심 영역을 판정(classification)하는 판정부와, 판정 결과를 그룹별로 종합하여 그룹별 종합 판정 결과를 산출하는 판정 결과 종합부를 포함할 수 있다.

Description

컴퓨터 보조 진단 장치 및 방법{Apparatus and Method for Computer Aided Diagnosis}
컴퓨터 보조 진단 기술과 관련된다.
컴퓨터 보조 진단(CAD: Computer Aided Diagnosis) 시스템이란 초음파 영상과 같은 의료영상을 분석하고 그 분석 결과에 따라 의료영상에 이상 부위를 표시함으로써 의사(doctor)의 진단 업무에 도움을 주는 시스템을 말한다. 이러한 CAD 시스템은 사람의 식별능력의 한계로 인해 불가피하게 발생하던 진단의 불확실성을 줄여주고, 개별적 영상 판독에 따른 의사의 과중한 업무 역시 줄여줄 수 있는 장점이 있다.
그러나, CAD 시스템은 각 프레임 영상별로 관심 영역을 검출(detection)하여 판정(classification)하기 때문에, 동일 병변이라도 프레임 영상별로 서로 다른 판정 결과가 나올 수 있다. 따라서, 각 프레임 영상에 대한 정보를 모두 종합하여 병변별로 하나의 판정 결과를 제공하는 기술이 필요하다.
다수의 프레임 영상에 대한 판정 결과를 병변별로 종합하여 제시하는 컴퓨터 보조 진단 장치 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 컴퓨터 보조 진단 장치는, 다수의 프레임 영상 각각에 대하여 관심 영역을 검출하는 관심 영역 검출부와, 검출 결과를 기반으로 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 그룹화부와, 그룹화된 프레임 영상에 대하여 검출된 관심 영역을 판정(classification)하는 판정부와, 판정 결과를 그룹별로 종합하여 그룹별 종합 판정 결과를 산출하는 판정 결과 종합부를 포함할 수 있다.
그룹화부는, 관심 영역이 검출되지 않은 프레임 영상을 기준으로 다수의 프레임 영상을 연속된 관심 영역별로 그룹화할 수 있다.
판정부의 판정 결과는 해당 관심 영역에 대한 BI-RADS Lexicon 정보 및 BI-RADS Category 정보 중 적어도 하나를 포함할 수 있다.
판정 결과 종합부는, 판정부의 판정 결과를 기반으로 각 그룹에 대하여 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하고, 그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 그룹별 종합 판정 결과로 선택할 수 있다.
판정 결과 종합부는, 각 그룹에 대하여 프레임 영상별 가중치를 나타내는 프레임 스코어를 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목별로 합산함으로써 항목별 스코어를 산출할 수 있다.
프레임 스코어는 해당 프레임 영상에서 검출된 관심 영역의 크기 및 해당 프레임 영상의 모델 적합도를 기반으로 산출될 수 있다.
판정 결과 종합부는, 각 그룹별로 산출된 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 Lexicon 히스토그램 또는 Category 히스토그램을 생성할 수 있다.
판정 결과 종합부는, 그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 기초로 각 그룹의 관심 영역의 악성/양성 여부를 판단할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 장치는, 연속되는 프레임 영상들 중 기 설정된 조건을 만족하는 유사 영상들을 통합하고 상기 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상으로 선택하는 유사 영상 통합부를 더 포함하고, 판정 결과 종합부는 통합된 유사 영상들 중 대표 영상으로 선택된 프레임 영상만을 판정 결과 종합시 활용할 수 있다.
기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 중 적어도 하나를 포함할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 장치는, 각 그룹별로 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법을 이용하여 유사 그룹을 하나의 그룹으로 통합하는 유사 그룹 통합부를 더 포함할 수 있다.
히스토그램 클러스터링 기법은 Hierarchical Agglomerative Clustering 기법, Bhattacharyya Coefficient 기법을 포함할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 장치는, 산출된 그룹별 종합 판정 결과를 화면에 표시하는 화면 표시부를 더 포함할 수 있다.
다른 양상에 따른 컴퓨터 보조 진단 방법은, 다수의 프레임 영상 각각에 대하여 관심 영역을 검출하는 단계와, 검출 결과를 기반으로 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 단계와, 그룹화된 프레임 영상에 대하여 검출된 관심 영역을 판정(classification)하는 단계와, 판정 결과를 그룹별로 종합하여 그룹별 종합 판정 결과를 산출하는 단계를 포함할 수 있다.
그룹화하는 단계는. 관심 영역이 검출되지 않은 프레임 영상을 기준으로 다수의 프레임 영상을 연속된 관심 영역별로 그룹화할 수 있다.
판정 결과는 해당 관심 영역에 대한 BI-RADS Lexicon 정보 및 BI-RADS Category 정보 중 적어도 하나를 포함하고, 그룹별 종합 판정 결과를 산출하는 단계는, 판정 결과를 기반으로 각 그룹에 대하여 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하는 단계와, 그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 그룹별 종합 판정 결과로 선택하는 단계를 포함할 수 있다.
항목별 스코어를 산출하는 단계는, 프레임 영상에서 검출된 관심 영역의 크기 및 프레임 영상의 모델 적합도를 기반으로 프레임 영상별 가중치를 나타내는 프레임 스코어를 산출하는 단계와, 각 그룹에 대하여 프레임 스코어를 상기 BI-RADS Lexicon 또는 상기 BI-RADS Category의 각 항목별로 합산함으로써 항목별 스코어를 산출하는 단계를 포함할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 방법은, 각 그룹별로 산출된 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 각 그룹별로 Lexicon 히스토그램 또는 Category 히스토그램을 생성하는 단계를 더 포함할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 방법은, 연속되는 프레임 영상들 중 기 설정된 조건을 만족하는 유사 영상들을 통합하고 상기 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상으로 선택하는 단계를 더 포함하고, 통합된 유사 영상들 중 상기 대표 영상으로 선택된 프레임 영상만을 판정 결과 종합시 활용하되, 기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 중 적어도 하나를 포함할 수 있다.
추가적 양상에 따른 컴퓨터 보조 진단 방법은, 각 그룹별로 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법을 이용하여 유사 그룹을 하나의 그룹으로 통합하는 단계를 더 포함할 수 있다.
다수의 프레임 영상을 병변별로 그룹화하고, 각 그룹의 모든 프레임 영상에 대한 판정 결과를 병변별로 종합하여 그 결과를 사용자에게 제공함으로써, 동일 병변에 대한 모순되지 않는 하나의 판정 결과를 제공할 수 있다.
도 1은 컴퓨터 보조 진단 장치의 일 실시예를 도시한 블록도이다.
도 2는 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 블록도이다.
도 3a 및 도 3b은 컴퓨터 보조 진단 장치의 구체적인 동작을 설명하기 위한 예시도이다.
도 4는 종합 판정 결과를 화면에 표시한 예를 도시한 도면이다.
도 5는 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.
도 6은 컴퓨터 보조 진단 방법의 다른 실시예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 컴퓨터 보조 진단 장치의 일 실시예를 도시한 블록도이다.
도 1을 참조하면, 컴퓨터 보조 진단 장치(100)는 관심 영역 검출부(110), 그룹화부(120), 판정부(130) 및 판정 결과 종합부(140)를 포함할 수 있다.
관심 영역 검출부(110)는 병변 검출 알고리즘을 이용하여 다수의 프레임 영상 각각에 대하여 관심 영역을 검출할 수 있다. 여기서, 관심 영역은 악성 병변 영역뿐만 아니라 악성/양성 구분이 애매한 병변 영역 또는 특이한 특징을 가지는 영역을 포함할 수 있다. 병변 검출 알고리즘은 AdaBoost, DPM(Deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network), 및 Sparse Coding 등을 포함할 수 있다. 그러나, 이는 일 예에 불과할 뿐이므로 이에 한정되는 것은 아니다.
한편, 다수의 프레임 영상은 연속 촬영된 영상 시퀀스를 구성하며, 컴퓨터 방사선(CR: Computed Radiography) 영상, 컴퓨터 단층 촬영(CT: Computed Tomography) 영상, 초음파 영상 및 자기공명영상(MRI: Magnetic Resonance Image) 등을 포함하는 다양한 의료 영상 중 하나일 수 있다.
그룹화부(120)는 관심 영역 검출 결과를 기반으로 다수의 프레임 영상을 연속된 관심 영역 별로 그룹화할 수 있다.
일 실시예에 따르면, 그룹화부(120)는 다수의 프레임 영상에서 관심 영역이 검출되지 않은 프레임 영상을 기준으로 다수의 프레임 영상을 그룹화할 수 있다. 예를 들면, 프레임 영상 1 내지 10 중에서 프레임 영상 1 내지 4에서는 관심 영역 A가 검출되고 프레임 영상 7 내지 10에서는 관심 영역 B가 검출되었으나 프레임 영상 5 및 6에서는 관심 영역이 검출되지 않은 경우, 그룹화부(120)는 관심 영역이 검출되지 않은 프레임 영상 5 및 6을 기준으로 관심 영역 A가 연속 검출된 프레임 영상 1 내지 4를 그룹 A, 관심 영역 B가 연속 검출된 프레임 영상 7 내지 10을 그룹 B로 분류할 수 있다. 이때, 관심 영역 A 및 관심 영역 B는 서로 동일한 관심 영역일 수도 있으며, 서로 상이한 관심 영역일 수도 있다. 즉, 그룹화부(120)는 동일 관심 영역이 검출된 프레임 영상이라도 연속으로 검출되었는지 여부에 따라 다른 그룹으로 분류할 수 있다.
판정부(130)는 각 그룹의 프레임 영상 각각에 대하여 각 프레임 영상에서 검출된 관심 영역을 프레임 영상별로 판정(classification)할 수 있다. 일 실시예에 따르면, 판정부(130)는 각 프레임 영상에서 검출된 관심 영역에서 특징값을 추출하여 이를 기반으로 각 프레임 영상에 대한 판정을 수행할 수 있다. 이를 위해 판정부(130)는 특징값 추출부(131) 및 관심 영역 판정부(132)를 포함할 수 있다.
특징값 추출부(131)는 각 프레임 영상에서 검출된 관심 영역의 윤곽선, 윤곽선과 인접한 영역 또는 윤곽선의 내부 영역의 픽셀 정보 등에서 특징값을 추출할 수 있다. 여기서, 특징은 병변 영역인지 아닌지를 판단할 수 있는 특징을 의미하고, 특징값은 이러한 특징을 수치적으로 표현한 값을 의미한다. 예컨대, 특징은 BI-RADS(Breast Imaging Reporting And Data System) Lexicon 분류에 따른 병변 특징(예컨대, 모양(shape), 모서리(margin), 에코 패턴(echo pattern), 방향(orientation) 및 경계(boundary) 등)일 수 있다.
한편, 특징값 추출부(131)는 DPM(Deformable Part Model), Auto Encoder 등의 다양한 영상인식 및 기계학습 알고리즘 기술을 통해 구현될 수 있다.
관심 영역 판정부(132)는 추출된 특징값을 미리 저장된 진단 모델과 비교하여 각 프레임 영상의 관심 영역을 판정할 수 있다. 이때, 관심 영역의 판정 결과는 BI-RADS Lexicon 정보, BI-RADS Category 정보, 관심 영역의 악성/양성 여부 등을 포함할 수 있다.
진단 모델은 미리 수집된 다수의 진단 영상으로부터 추출된 특징값을 이용하여 기계 학습을 통해 생성될 수 있고, 생성된 진단 모델은 판정부(130)의 내부 또는 외부의 데이터베이스에 저장될 수 있다.
한편, 기계 학습 알고리즘은 인공 신경망(artificial neural network), 결정 트리(decision tree), 유전 알고리즘(GA: Genetic Algorithm), 유전자 프로그래밍(GP: Genetic Programming), 가우스 과정 회귀, 선형 분별 분석, K 근접 이웃(K-NN: K-Nearest Neighbor), 퍼셉트론, 방사 기저 함수 네트워크, 서포트 벡터 머신(SVM: Support Vector Machine), 딥러닝(deep-learning) 등을 포함할 수 있다.
판정 결과 종합부(140)는 각 그룹의 프레임 영상들의 판정 결과를 종합하여 그룹별 종합 판정 결과를 산출할 수 있다.
판정 결과 종합부(140)는 각 프레임 영상에서 검출된 관심 영역에 대한 BI-RADS Lexicon 정보 또는 BI-RADS Category 정보를 기반으로 각 그룹별로 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하고, 산출 결과 그룹별로 가장 높은 스코어를 갖는 항목을 그룹별 종합 판정 결과로서 선택할 수 있다.
일 실시예에 따르면, 항목별 스코어는 각 그룹에서 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목이 나타난 개수로 정의될 수 있다. 즉, 판정 결과 종합부(140)는 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목이 나타난 개수를 산출함으로써 각 그룹에 대한 항목별 스코어를 산출할 수 있다.
예컨대, 프레임 영상 1 내지 10이 그룹 A에 속하고, 프레임 영상 1 및 10은 BI-RADS Category 2, 프레임 2 및 9는 BI-RADS Category 3, 프레임 영상 3 내지 6은 BI-RADS Category 4A, 프레임 영상 7 및 8은 BI-RADS Category 4B로 판정되었다고 가정한다. 이 경우, 판정 결과 종합부(140)는 10개의 프레임 영상의 각 BI-RADS Category 항목의 개수를 항목별 스코어로 산출할 수 있다. 즉, 판정 결과 종합부(140)는 그룹 A의 관심 영역에 대하여 BI-RADS Category 2의 스코어는 2, BI-RADS Category 3의 스코어 2, BI-RADS Category 4A의 스코어 4, 및 BI-RADS Category 4B의 스코어는 2로 산출할 수 있다.
다른 실시예에 따르면, 항목별 스코어는 프레임 영상별 가중치를 나타내는 프레임 스코어를 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목별로 합산한 값으로 정의될 수 있다. 즉, 판정 결과 종합부(140)는 프레임 스코어를 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목별로 합산함으로써 각 그룹에 대한 항목별 스코어를 산출할 수 있다.
예컨대, 상기의 예에서, 프레임 영상 1, 2, 9 및 10의 프레임 스코어는 0.1이고, 프레임 영상 3 및 8의 프레임 스코어는 0.3이고, 프레임 영상 4 내지 7의 프레임 스코어는 0.5라고 가정한다. 이 경우, 판정 결과 종합부(140)는 각 프레임 영상의 프레임 스코어를 BI-RADS Category의 각 항목별로 합산하여 항목별 스코어를 산출할 수 있다. 즉, 판정 결과 종합부(140)는 그룹 A의 관심 영역에 대하여 BI-RADS Category 2의 스코어는 0.1(프레임 영상 1의 프레임 스코어)+0.1(프레임 영상 10의 프레임 스코어)=0.2, BI-RADS Category 3의 스코어는 0.1(프레임 영상 2의 프레임 스코어+0.1(프레임 영상 9의 프레임 스코어)=2, BI-RADS Category 4A의 스코어는 0.3(프레임 영상 3의 프레임 스코어)+0.5(프레임 영상 4의 프레임 스코어)+0.5(프레임 영상 5의 프레임 스코어)+0.5(프레임 영상 6의 프레임 스코어)=1.8, 및 BI-RADS Category 4B의 스코어는 0.5(프레임 영상 7의 프레임 스코어)+0.3(프레임 영상 8의 프레임 스코어)=0.8로 산출할 수 있다.
한편, 프레임 스코어는 수학식 1을 통해 산출할 수 있다.
Figure pat00001
이때, n은 프레임 영상의 번호를,
Figure pat00002
는 n번째 프레임 영상에서 검출된 관심 영역의 정규화된 크기(예컨대, 그룹 내에서 검출된 관심 영역의 최대 크기를 기준으로 한 n번째 프레임 영상의 관심 영역의 상대적 크기, normalized size of lesion)를,
Figure pat00003
는 n번째 프레임 영상의 모델 적합도를 의미한다.
여기서, 모델 적합도는 일종의 확률값을 의미한다. 예를 들어, 각 영상에서 병변의 판정 결과는 확률 분포(probability distribution)로 나타나게 되는데, 판정 결과가 BI-RADS Category 1, 2, 3, 4A, 4B, 5로 나타나는 경우 각 Category별로 확률값을 가지게 된다. 즉, 1번 프레임 영상에서 Category 1의 확률이 75%(0.75), Category 2의 확률이 25%(0.25)인 경우에는 최종값으로 Category 1만을 사용하게 되지만 프레임 스코어(FS)를 계산하기 위해서는 각 카테고리별 확률값을 곱하여 사용 가능하다.
판정 결과 종합부(140)는 각 그룹에 대한 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 그룹별 종합 판정 결과로서 그룹별 히스토그램(Lexicon 히스토그램 또는 Category 히스토그램)을 생성할 수 있다.
판정 결과 종합부(140)는 각 그룹의 프레임 영상들의 판정 결과를 종합하여 그룹별 종합 판정 결과로서 각 그룹별 관심 영역의 악성/양성 여부를 판단할 수 있다. 예컨대, 판정 결과 종합부(140)는 각 그룹별로 가장 높은 스코어를 갖는 BI-RADS Lexicon 또는 BI-RADS Category 항목을 기반으로 각 그룹별로 관심 영역의 악성/양성 여부를 판단할 수 있다.
도 2는 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 블록도이다.
도 2를 참조하면, 다른 실시예에 따른 컴퓨터 보조 진단 장치(200)는 도 1의 컴퓨터 보조 진단 장치(100)에서 유사 영상 통합부(210), 유사 그룹 통합부(220) 및 화면 표시부(230)를 선택적으로 더 포함할 수 있다.
유사 영상 통합부(210)는 연속되는 프레임 영상에서 기 설정된 조건을 만족하는 유사 영상들을 통합하고, 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상을 선택할 수 있다. 이때, 기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 등을 포함할 수 있다.
이 경우, 판정 결과 종합부(140)는 통합된 유사 영상들 중에서 대표 영상으로 선택된 프레임 영상만을 판정 결과 종합시 활용할 수 있다.
관심 영역 크기의 변화가 매우 작고 관심 영역 크기의 최대값이 매우 작은 경우는 중요하지 않는 관심 영역일 수 있다. 따라서, 이러한 중요하지 않는 관심 영역이 촬영된 프레임 영상을 통합하여 하나의 프레임 영상만을 활용함으로써 시스템의 성능을 향상 시킬 수 있다.
유사 그룹 통합부(220)는 유사 그룹을 하나의 그룹으로 통합할 수 있다. 자세하게는, 유사 그룹 통합부(220)는 각 그룹별로 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법을 이용하여 유사 그룹을 하나의 그룹으로 통합할 수 있다. 이때, 관심 영역의 특징은 관심 영역의 Lexicon 정보(예컨대, Round, Oval, Lobular, Microlobulated(irregular), Circumscribe, Indistinct, Spiculated, Fat containing, Density Low, Density Equal, Density high 등)일 수 있다.
예컨대, 유사 그룹 통합부(220)는 Hierarchical Agglomerative Clustering 기법, Bhattacharyya Coefficient 등을 이용하여 유사 그룹을 통합할 수 있다.
전술한 바와 같이, 그룹화부(120)는 동일 관심 영역이 검출된 프레임 영상이라도 연속으로 검출되었는지 여부에 따라 다른 그룹으로 분류할 수 있다. 이 경우 동일 관심 영역에 대한 판정 과정이 중복되고, 판정 결과가 모순될 수 있다. 따라서, 유사 그룹을 하나의 그룹으로 통합하는 과정을 통해 시스템의 성능을 향상시킬 수 있다.
화면 표시부(230)는 그룹별 종합 판정 결과를 화면에 표시할 수 있다. 예컨대, 화면 표시부(230)는 각 그룹별로 항목별 스코어가 가장 높은 항목에 대한 정보, 각 그룹별 Lexicon 히스토그램 또는 Category 히스토그램, 각 그룹별 관심 영역의 악성/양성 여부 판단 결과 등을 화면에 표시할 수 있다.
도 3a 및 도 3b은 컴퓨터 보조 진단 장치의 구체적인 동작을 설명하기 위한 예시도이다.
도 3a 및 도 3b을 참조하면, 사용자가 프로브(320)를 최초 오른쪽으로 이동시키고 그 후 프로브(320)의 이동 방향을 왼쪽으로 바꾸었다고 가정한다. 이 경우, 컴퓨터 보조 진단 장치(200)는 환자의 특정 신체 영역(330)에 대하여, 프로브(320)가 오른쪽으로 이동시에는 프레임 영상 1 내지 7(301 내지 307)을, 프로브(320)가 왼쪽으로 이동시에는 프레임 영상 8 내지 14(308 내지 314)를 순차적으로 획득한다.
프레임 영상 1 내지 14(301 내지 314)가 획득되면, 관심 영역 검출부(110)는 프레임 영상 1 내지 14(301 내지 314)에서 관심 영역(340)을 각각 검출할 수 있다. 도시된 예에서 프레임 영상 2 내지 7(302 내지 307), 및 프레임 영상 9 내지 14(309 내지 314)에서는 관심 영역이 검출되었으나, 프레임 영상 1 및 8에서는 관심 영역이 검출되지 않았다.
그룹화부(120)는 프레임 영상 1 내지 14(301 내지 314)에서 관심 영역이 검출되지 않은 프레임 영상 1(301) 및 8(308)을 기준으로 프레임 영상 2 내지 7(302 내지 307), 및 프레임 영상 9 내지 14(309 내지 314)를 연속된 관심 영역 별로 그룹화할 수 있다. 도시된 예에서 그룹화부(120)는 프레임 영상 2 내지 7(302 내지 307)은 그룹 A. 프레임 영상 9 내지 14(309 내지 314)는 그룹 B로 그룹화 한다.
판정부(130)는 각 그룹(그룹 A 및 그룹 B)의 프레임 영상(302 내지 307, 309 내지 314) 각각에 대하여 각 프레임 영상에서 검출된 관심 영역을 프레임 영상별로 판정(classification)할 수 있다. 도시된 예에서 판정부(130)는 프레임 영상 2(302) 및 14(314)는 BI-RADS Category 2로, 프레임 영상 7(307) 및 9(309)는 BI-RADS Category 3으로, 프레임 영상 3(303), 4(304), 6(306), 10(310) 및 13(313)은 BI-RADS Category 4A로, 프레임 영상 5(305), 11(311) 및 12(312)는 BI-RADS Category 4B로 각각 판정한다.
유사 그룹 통합부(220)는 유사 그룹인 그룹 A 및 그룹 B를 하나의 그룹으로 통합할 수 있다. 도시된 예에서, 그룹 A 및 그룹 B의 프레임 영상들(302 내지 307, 309 내지 314)은 동일한 관심 영역(340)이 촬영된 영상들이다. 따라서, 유사 그룹 통합부(220)는 그룹 A의 관심 영역 특징 및 그룹 B의 관심 영역 특징은 유사하므로 그룹 A 및 그룹 B를 하나의 통합 그룹으로 통합한다.
판정 결과 종합부(140)는 통합 그룹의 각 프레임 영상(302 내지 307, 309 내지 314)의 BI-RADS Category 정보를 기반으로 각 그룹별로 BI-RADS Category의 항목별 스코어를 산출하고 산출 결과를 기반으로 히스토그램을 생성할 수 있다. 도시된 예에서, 판정 결과 종합부(140)는 Category 2 및 3은 스코어 2, Category 4A는 스코어 5, Category 4B는 스코어 3으로 산출하고, 산출 결과를 기반으로 통합 그룹에 대한 Category 히스토그램(350)을 생성한다.
도 4는 종합 판정 결과를 화면에 표시한 예를 도시한 도면이다.
도 4를 참조하면, 화면 표시부(230)는 종합 판정 결과로서 각 그룹별 Lexicon 히스토그램(424) 및 Category 히스토그램(422), 각 그룹별 관심 영역의 악성/양성 여부 판단 결과(426)를 화면(410)에 표시할 수 있다.
한편, 화면 표시부(230)는 각 그룹별 Lexicon 히스토그램(424) 및 Category 히스토그램(422) 대신에 각 그룹별로 항목별 스코어가 가장 높은 항목에 대한 정보를 화면(410)에 표시하는 것도 가능하다.
도 5는 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 컴퓨터 보조 진단 방법(500)은 먼저, 다수의 프레임 영상 각각에 대하여 관심 영역을 검출한다(510). 예컨대, 컴퓨터 보조 진단 장치(100)는 병변 검출 알고리즘(예컨대, AdaBoost, DPM(Deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network), 및 Sparse Coding 등)을 이용하여 다수의 프레임 영상 각각에 대하여 관심 영역을 검출할 수 있다.
그 후, 관심 영역 검출 결과를 기반으로 다수의 프레임 영상을 연속된 관심 영역 별로 그룹화한다(520). 예컨대, 컴퓨터 보조 진단 장치(100)는 다수의 프레임 영상에서 관심 영역이 검출되지 않은 프레임 영상을 기준으로 다수의 프레임 영상을 그룹화할 수 있다. 이때, 동일 관심 영역이 검출된 프레임 영상이라도 연속으로 검출되었는지 여부에 따라 다른 그룹으로 분류될 수 있다.
그 후, 각 그룹의 프레임 영상 각각에 대하여 각 프레임 영상에서 검출된 관심 영역을 판정(classification)한다(530). 예컨대, 컴퓨터 보조 진단 장치(100)는 각 프레임 영상에서 검출된 관심 영역에서 특징값을 추출하여 이를 기반으로 각 프레임 영상에 대한 판정을 수행할 수 있다. 이때, 관심 영역의 판정 결과는 BI-RADS Lexicon 정보, BI-RADS Category 정보, 관심 영역의 악성/양성 여부 등을 포함할 수 있다.
그 후, 각 그룹의 프레임 영상들의 판정 결과를 종합하여 그룹별 종합 판정 결과를 산출한다(540).
예를 들면, 컴퓨터 보조 진단 장치(100)는 각 프레임 영상에서 검출된 관심 영역에 대한 BI-RADS Lexicon 정보 또는 BI-RADS Category 정보를 기반으로 각 그룹별로 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하고, 산출 결과 그룹별로 가장 높은 스코어를 갖는 항목을 그룹별 종합 판정 결과로서 선택할 수 있다. 이때, 항목별 스코어는 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목이 나타난 개수를 산출하거나 프레임 스코어를 BI-RADS Lexicon 또는 BI-RADS Category의 각 항목별로 합산함으로써 각 그룹에 대한 항목별 스코어를 산출할 수 있다. 여기서 프레임 스코어는 수학식 1을 통해 산출할 수 있다.
다른 예를 들면, 컴퓨터 보조 진단 장치(100)는 각 그룹에 대한 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 그룹별 종합 판정 결과로서 그룹별 히스토그램(Lexicon 히스토그램 또는 Category 히스토그램)을 생성할 수 있다.
또 다른 예를 들면, 컴퓨터 보조 진단 장치(100)는 각 그룹의 프레임 영상들의 판정 결과를 종합하여 그룹별 종합 판정 결과로서 각 그룹별 관심 영역의 악성/양성 여부를 판단할 수 있다.
도 6은 컴퓨터 보조 진단 방법의 다른 실시예를 도시한 흐름도이다.
도 6을 참조하면, 컴퓨터 보조 진단 방법(600)은 도 5의 컴퓨터 보조 진단 방법(500)에서 유사 영상 통합 과정(610), 유사 그룹 통합 과정(620) 및 화면 표시 과정(630)을 선택적으로 더 포함할 수 있다.
유사 영상 통합 과정(610)에서 연속되는 프레임 영상에서 기 설정된 조건을 만족하는 유사 영상들을 통합한다. 예컨대, 컴퓨터 보조 진단 장치(200)는 연속되는 프레임 영상 중에서 기 설정된 조건을 만족하는 유사 영상들을 통합하고, 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상을 선택할 수 있다. 이때, 기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 등을 포함할 수 있다.
관심 영역 크기의 변화가 매우 작고 관심 영역 크기의 최대값이 매우 작은 경우는 중요하지 않는 관심 영역일 수 있다. 따라서, 이러한 중요하지 않는 관심 영역이 촬영된 프레임 영상을 통합하여 하나의 프레임 영상만을 활용함으로써 시스템의 성능을 향상 시킬 수 있다.
유사 그룹 통합 과정(620)에서 유사 그룹을 하나의 그룹으로 통합한다. 예컨대, 컴퓨터 보조 진단 장치(200)는 각 그룹별로 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법(예컨대, Hierarchical Agglomerative Clustering 기법, Bhattacharyya Coefficient 기법 등)을 이용하여 유사 그룹을 하나의 그룹으로 통합할 수 있다. 이때, 관심 영역의 특징은 관심 영역의 Lexicon 정보(예컨대, Round, Oval, Lobular, Microlobulated(irregular), Circumscribe, Indistinct, Spiculated, Fat containing, Density Low, Density Equal, Density high 등)일 수 있다.
전술한 바와 같이, 그룹화 과정(520)에서 동일 관심 영역이 검출된 프레임 영상이라도 연속으로 검출되었는지 여부에 따라 다른 그룹으로 분류될 수 있다. 이 경우 동일 관심 영역에 대한 판정 과정이 중복되고, 판정 결과가 모순될 수 있다. 따라서, 유사 그룹을 하나의 그룹으로 통합하는 과정을 통해 시스템의 성능을 향상시킬 수 있다.
화면 표시 과정(630)에서 그룹별 종합 판정 결과를 화면에 표시할 수 있다. 예컨대, 컴퓨터 보조 진단 장치(200)는 각 그룹별로 항목별 스코어가 가장 높은 항목에 대한 정보, 각 그룹별 Lexicon 히스토그램 또는 Category 히스토그램, 각 그룹별 관심 영역의 악성/양성 여부 판단 결과 등을 화면에 표시할 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 컴퓨터 보조 진단 장치
110: 관심 영역 검출부
120: 그룹화부
130: 판정부
140: 판정 결과 종합부
131: 특징값 추출부
132: 관심 영역 판정부

Claims (20)

  1. 다수의 프레임 영상 각각에 대하여 관심 영역을 검출하는 관심 영역 검출부;
    상기 검출 결과를 기반으로 상기 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 그룹화부;
    상기 그룹화된 프레임 영상에 대하여 상기 검출된 관심 영역을 판정(classification)하는 판정부; 및
    상기 판정 결과를 그룹별로 종합하여 그룹별 종합 판정 결과를 산출하는 판정 결과 종합부; 를 포함하는 컴퓨터 보조 진단 장치.
  2. 제1항에 있어서,
    상기 그룹화부는,
    관심 영역이 검출되지 않은 프레임 영상을 기준으로 상기 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 컴퓨터 보조 진단 장치.
  3. 제1항에 있어서,
    상기 판정부의 판정 결과는 해당 관심 영역에 대한 BI-RADS Lexicon 정보 및 BI-RADS Category 정보 중 적어도 하나를 포함하는 컴퓨터 보조 진단 장치.
  4. 제3항에 있어서,
    상기 판정 결과 종합부는, 상기 판정부의 판정 결과를 기반으로 각 그룹에 대하여 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하고, 그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 그룹별 종합 판정 결과로 선택하는 컴퓨터 보조 진단 장치.
  5. 제4항에 있어서,
    상기 판정 결과 종합부는, 각 그룹에 대하여 프레임 영상별 가중치를 나타내는 프레임 스코어를 상기 BI-RADS Lexicon 또는 상기 BI-RADS Category의 각 항목별로 합산함으로써 상기 항목별 스코어를 산출하는 컴퓨터 보조 진단 장치.
  6. 제5항에 있어서,
    상기 프레임 스코어는 해당 프레임 영상에서 검출된 관심 영역의 크기 및 해당 프레임 영상의 모델 적합도를 기반으로 산출되는 컴퓨터 보조 진단 장치.
  7. 제4항에 있어서,
    상기 판정 결과 종합부는, 상기 각 그룹별로 산출된 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 Lexicon 히스토그램 또는 Category 히스토그램을 생성하는 컴퓨터 보조 진단 장치.
  8. 제4항에 있어서,
    상기 판정 결과 종합부는, 상기 그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 기초로 각 그룹의 관심 영역의 악성/양성 여부를 판단하는 컴퓨터 보조 진단 장치.
  9. 제1항에 있어서,
    연속되는 프레임 영상들 중 기 설정된 조건을 만족하는 유사 영상들을 통합하고 상기 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상으로 선택하는 유사 영상 통합부; 를 더 포함하고,
    상기 판정 결과 종합부는 상기 통합된 유사 영상들 중 상기 대표 영상으로 선택된 프레임 영상만을 판정 결과 종합시 활용하는 컴퓨터 보조 진단 장치.
  10. 제9항에 있어서,
    상기 기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 중 적어도 하나를 포함하는 컴퓨터 보조 진단 장치.
  11. 제1항에 있어서,
    각 그룹별로 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법을 이용하여 유사 그룹을 하나의 그룹으로 통합하는 유사 그룹 통합부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  12. 제11항에 있어서,
    상기 히스토그램 클러스터링 기법은 Hierarchical Agglomerative Clustering 기법, Bhattacharyya Coefficient 기법을 포함하는 컴퓨터 보조 진단 장치.
  13. 제1항에 있어서,
    상기 산출된 그룹별 종합 판정 결과를 화면에 표시하는 화면 표시부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  14. 다수의 프레임 영상 각각에 대하여 관심 영역을 검출하는 단계;
    상기 검출 결과를 기반으로 상기 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 단계;
    상기 그룹화된 프레임 영상에 대하여 상기 검출된 관심 영역을 판정(classification)하는 단계; 및
    상기 판정 결과를 그룹별로 종합하여 그룹별 종합 판정 결과를 산출하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  15. 제14항에 있어서,
    상기 그룹화하는 단계는.
    관심 영역이 검출되지 않은 프레임 영상을 기준으로 상기 다수의 프레임 영상을 연속된 관심 영역별로 그룹화하는 컴퓨터 보조 진단 방법.
  16. 제14항에 있어서,
    상기 판정 결과는 해당 관심 영역에 대한 BI-RADS Lexicon 정보 및 BI-RADS Category 정보 중 적어도 하나를 포함하고,
    상기 그룹별 종합 판정 결과를 산출하는 단계는,
    상기 판정 결과를 기반으로 각 그룹별로 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 산출하는 단계; 및
    그룹별로 가장 큰 스코어를 가지는 BI-RADS Lexicon 또는 BI-RADS Category의 항목을 그룹별 종합 판정 결과로 선택하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  17. 제16항에 있어서,
    상기 항목별 스코어를 산출하는 단계는,
    프레임 영상에서 검출된 관심 영역의 크기 및 프레임 영상의 모델 적합도를 기반으로 프레임 영상별 가중치를 나타내는 프레임 스코어를 산출하는 단계; 및
    각 그룹에 대하여 프레임 스코어를 상기 BI-RADS Lexicon 또는 상기 BI-RADS Category의 각 항목별로 합산함으로써 상기 항목별 스코어를 산출하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  18. 제16항에 있어서,
    상기 각 그룹별로 산출된 BI-RADS Lexicon 또는 BI-RADS Category의 항목별 스코어를 기반으로 각 그룹별로 Lexicon 히스토그램 또는 Category 히스토그램을 생성하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  19. 제14항에 있어서,
    연속되는 프레임 영상들 중 기 설정된 조건을 만족하는 유사 영상들을 통합하고 상기 통합된 유사 영상들 중 임의의 프레임 영상을 대표 영상으로 선택하는 단계; 를 더 포함하고,
    상기 통합된 유사 영상들 중 상기 대표 영상으로 선택된 프레임 영상만을 판정 결과 종합시 활용하되,
    상기 기 설정된 조건은 관심 영역 크기의 변화량이 기 설정된 임계값 이하일 것, 및 관심 영역 크기의 최대값이 기 설정된 임계값 이하일 것 중 적어도 하나를 포함하는 컴퓨터 보조 진단 방법.
  20. 제14항에 있어서,
    각 그룹에 대하여 관심 영역의 특징을 나타내는 히스토그램을 생성하고, 히스토그램 클러스터링 기법을 이용하여 유사 그룹을 하나의 그룹으로 통합하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
KR1020140166736A 2014-11-26 2014-11-26 컴퓨터 보조 진단 장치 및 방법 KR102251242B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140166736A KR102251242B1 (ko) 2014-11-26 2014-11-26 컴퓨터 보조 진단 장치 및 방법
US14/950,543 US10083502B2 (en) 2014-11-26 2015-11-24 Computer aided diagnosis (CAD) apparatus and method
US16/138,405 US10332254B2 (en) 2014-11-26 2018-09-21 Computer Aided Diagnosis (CAD) apparatus and method
US16/449,943 US10650518B2 (en) 2014-11-26 2019-06-24 Computer aided diagnosis (CAD) apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140166736A KR102251242B1 (ko) 2014-11-26 2014-11-26 컴퓨터 보조 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160063128A true KR20160063128A (ko) 2016-06-03
KR102251242B1 KR102251242B1 (ko) 2021-05-12

Family

ID=56010716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140166736A KR102251242B1 (ko) 2014-11-26 2014-11-26 컴퓨터 보조 진단 장치 및 방법

Country Status (2)

Country Link
US (3) US10083502B2 (ko)
KR (1) KR102251242B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093158A1 (ko) * 2016-11-16 2018-05-24 한국과학기술원 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
KR20180055629A (ko) * 2016-11-16 2018-05-25 한국과학기술원 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
KR101870121B1 (ko) * 2015-10-16 2018-06-25 재단법인 아산사회복지재단 심층신경망을 이용한 혈류상태 분석시스템, 방법 및 프로그램
WO2018236195A1 (ko) * 2017-06-23 2018-12-27 울산대학교 산학협력단 초음파 영상 처리 방법
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
KR102001790B1 (ko) * 2018-12-24 2019-07-23 (주)제이엘케이인스펙션 인공지능 기반 혈류 구간 분류 방법 및 시스템
KR102045223B1 (ko) * 2019-05-03 2019-11-19 주식회사 크레스콤 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
KR20200091145A (ko) * 2019-01-22 2020-07-30 한국과학기술원 유방 종괴 특성에 따른 시각적 증거 해석 방법 및 그 시스템
WO2020209614A1 (ko) * 2019-04-08 2020-10-15 울산대학교 산학협력단 임신 1분기 초음파 이미지 분석 방법 및 장치
WO2021091092A1 (ko) * 2019-11-08 2021-05-14 주식회사 인트로메딕 소장 정결도를 진단하는 시스템 및 방법
KR102291602B1 (ko) * 2020-03-25 2021-08-19 연세대학교 산학협력단 딥 러닝을 기반으로 하는 소아의 복부 방사선 영상 상에서 장중첩증을 탐지하기 위한 장치 및 이를 위한 방법
KR20220096453A (ko) * 2020-12-31 2022-07-07 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116863B2 (en) * 2016-06-14 2018-10-30 Goodrich Corporation Scanning with frame averaging
ES2778087T3 (es) * 2016-09-13 2020-08-07 Siemens Ag Procedimiento para determinar la causa de una falla en una red de suministro de energía eléctrica y aparato de protección para realizar un procedimiento de esa clase
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN111194185A (zh) * 2017-10-02 2020-05-22 百合医疗科技株式会社 医用图像装置
CN109117890B (zh) * 2018-08-24 2020-04-21 腾讯科技(深圳)有限公司 一种图像分类方法、装置和存储介质
CN109171807B (zh) * 2018-08-28 2021-09-28 深圳开立生物医疗科技股份有限公司 一种超声诊断设备的信号处理方法、系统和超声诊断设备
JP7224817B2 (ja) * 2018-09-06 2023-02-20 キヤノンメディカルシステムズ株式会社 信号データ処理装置
JP7140630B2 (ja) * 2018-10-19 2022-09-21 キヤノンメディカルシステムズ株式会社 画像処理装置、データ生成装置及びプログラム
WO2020105069A1 (en) 2018-11-21 2020-05-28 Datalogic Ip Tech S.R.L. Image multiprocessing method for vision systems
WO2020107167A1 (zh) * 2018-11-26 2020-06-04 深圳先进技术研究院 乳腺密度自动分级方法及装置
KR102143465B1 (ko) * 2018-11-29 2020-08-11 주식회사 휴런 Aspect 스코어 추정 시스템 및 방법
WO2020117486A1 (en) * 2018-12-05 2020-06-11 Verathon Inc. Implant assessment using ultrasound and optical imaging
US20200305819A1 (en) * 2019-03-27 2020-10-01 Shimadzu Corporation Radiation Image Processing Apparatus and Radiation Image Processing Method
CN110544279B (zh) * 2019-08-26 2023-06-23 华南理工大学 一种结合图像识别和遗传算法精配准的位姿估计方法
CN110689014B (zh) * 2019-10-14 2022-02-11 腾讯科技(深圳)有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN111127391B (zh) * 2019-10-23 2020-10-09 李胜利 一种基于甲状腺超声视频流动态识别结节良恶性的装置
JP7348845B2 (ja) 2020-01-09 2023-09-21 富士フイルムヘルスケア株式会社 超音波診断装置およびプログラム
WO2022138961A1 (ja) * 2020-12-25 2022-06-30 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
US20220335600A1 (en) * 2021-04-14 2022-10-20 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
JP2024044921A (ja) * 2022-09-21 2024-04-02 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111392A1 (en) * 2008-11-03 2010-05-06 Gerardo Hermosillo Valadez System and method for automatically classifying regions-of-interest
KR20140096704A (ko) * 2013-01-29 2014-08-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20150125436A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 관심 영역별 추가 정보 제공 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1893077A4 (en) 2005-06-02 2011-02-09 Medipattern Corp COMPUTER-ASSISTED NACHWEISS SYSTEM AND METHOD
KR100719350B1 (ko) 2005-09-08 2007-05-17 건국대학교 산학협력단 유방암 진단시스템 및 진단방법
US8014576B2 (en) 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
US8285019B2 (en) * 2006-02-10 2012-10-09 Synarc Inc. Breast tissue density measure
WO2009105530A2 (en) * 2008-02-19 2009-08-27 The Trustees Of The University Of Pennsylvania System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors
US8600133B2 (en) * 2008-10-01 2013-12-03 Koninklijke Philips N.V. Selection of snapshots of a medical image sequence
EP2323069A2 (en) * 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
KR20120072961A (ko) 2010-12-24 2012-07-04 삼성전자주식회사 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111392A1 (en) * 2008-11-03 2010-05-06 Gerardo Hermosillo Valadez System and method for automatically classifying regions-of-interest
KR20140096704A (ko) * 2013-01-29 2014-08-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20150125436A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 관심 영역별 추가 정보 제공 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
조영증강 초음파 동영상에서 병변 탐색을 위한 ROI 추출기법, 정보처리학회, 2013.11 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870121B1 (ko) * 2015-10-16 2018-06-25 재단법인 아산사회복지재단 심층신경망을 이용한 혈류상태 분석시스템, 방법 및 프로그램
KR20180055629A (ko) * 2016-11-16 2018-05-25 한국과학기술원 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
WO2018093158A1 (ko) * 2016-11-16 2018-05-24 한국과학기술원 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
WO2018236195A1 (ko) * 2017-06-23 2018-12-27 울산대학교 산학협력단 초음파 영상 처리 방법
US11017255B2 (en) 2017-09-13 2021-05-25 Crescom Co., Ltd. Apparatus, method and computer program for analyzing image
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2019054638A1 (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
US11551433B2 (en) 2017-09-13 2023-01-10 Crescom Co., Ltd. Apparatus, method and computer program for analyzing image
KR102001790B1 (ko) * 2018-12-24 2019-07-23 (주)제이엘케이인스펙션 인공지능 기반 혈류 구간 분류 방법 및 시스템
WO2020138925A1 (ko) * 2018-12-24 2020-07-02 주식회사 제이엘케이인스펙션 인공지능 기반 혈류 구간 분류 방법 및 시스템
KR20200091145A (ko) * 2019-01-22 2020-07-30 한국과학기술원 유방 종괴 특성에 따른 시각적 증거 해석 방법 및 그 시스템
WO2020209614A1 (ko) * 2019-04-08 2020-10-15 울산대학교 산학협력단 임신 1분기 초음파 이미지 분석 방법 및 장치
KR20200118926A (ko) * 2019-04-08 2020-10-19 울산대학교 산학협력단 임신 1분기 초음파 이미지 분석 방법 및 장치
KR102045223B1 (ko) * 2019-05-03 2019-11-19 주식회사 크레스콤 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
WO2021091092A1 (ko) * 2019-11-08 2021-05-14 주식회사 인트로메딕 소장 정결도를 진단하는 시스템 및 방법
KR20210055881A (ko) * 2019-11-08 2021-05-18 주식회사 인트로메딕 소장 정결도를 진단하는 시스템 및 방법
GB2604706A (en) * 2019-11-08 2022-09-14 Intromedic Co Ltd System and method for diagnosing small bowel cleanliness
GB2604706B (en) * 2019-11-08 2024-02-07 Intromedic Co Ltd System and method for diagnosing small bowel cleanliness
KR102291602B1 (ko) * 2020-03-25 2021-08-19 연세대학교 산학협력단 딥 러닝을 기반으로 하는 소아의 복부 방사선 영상 상에서 장중첩증을 탐지하기 위한 장치 및 이를 위한 방법
KR20220096453A (ko) * 2020-12-31 2022-07-07 주식회사 카이미 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
US20190311477A1 (en) 2019-10-10
US20190026892A1 (en) 2019-01-24
US10332254B2 (en) 2019-06-25
KR102251242B1 (ko) 2021-05-12
US20160148376A1 (en) 2016-05-26
US10650518B2 (en) 2020-05-12
US10083502B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
KR102251242B1 (ko) 컴퓨터 보조 진단 장치 및 방법
Ahn et al. Saliency-based lesion segmentation via background detection in dermoscopic images
Silva et al. Hybrid analysis for indicating patients with breast cancer using temperature time series
KR20160020917A (ko) 컴퓨터 보조 진단 장치 및 방법
CN113261066A (zh) 用诸如单步检测器卷积神经网络之类的一个或多个卷积神经网络对诸如肺之类的身体部位的自动超声视频解释
KR20160012758A (ko) 영상 진단 보조 장치 및 방법
Junior et al. A mass classification using spatial diversity approaches in mammography images for false positive reduction
Ashour et al. Ensemble-based bag of features for automated classification of normal and COVID-19 CXR images
US20170053172A1 (en) Image processing apparatus, and image processing method
Gopinath et al. Enhanced Lung Cancer Classification and Prediction based on Hybrid Neural Network Approach
Herwanto et al. Association technique based on classification for classifying microcalcification and mass in mammogram
Selvathi et al. Advanced computational intelligence techniques based computer aided diagnosis system for cervical cancer detection using pap smear images
Rajasenbagam et al. Semantic content-based image retrieval system using deep learning model for lung cancer CT images
Johnsirani Venkatesan et al. Lung nodule classification on CT images using deep convolutional neural network based on geometric feature extraction
Sharma et al. Lung cancer detection using convolutional neural network
Sameh et al. Performance Improvement of Breast Cancer Diagnosis Using Artificial Intelligence and Image Processing Techniques
CN110349662A (zh) 用于过滤肺部肿块误测结果的跨图像集合的离群样本发现方法和系统
Elbouknify et al. CT-xCOV: a CT-scan based Explainable Framework for COVid-19 diagnosis
Ghani On forecasting lung cancer patients’ survival rates using 3D feature engineering
Horsthemke et al. Predicting LIDC diagnostic characteristics by combining spatial and diagnostic opinions
Ganesan et al. Classification of X-rays using statistical moments and SVM
Chen et al. Classification of microcalcification clusters based on morphological topology analysis
Wan et al. Lung nodules detection in CT scans
Rao et al. Efficient tumour detection from brain MR image with morphological processing and classification using unified algorithm
EP3926540A1 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant