KR102459179B1 - 인공 신경망을 이용한 의료용 이미지의 판독 장치 - Google Patents

인공 신경망을 이용한 의료용 이미지의 판독 장치 Download PDF

Info

Publication number
KR102459179B1
KR102459179B1 KR1020200031531A KR20200031531A KR102459179B1 KR 102459179 B1 KR102459179 B1 KR 102459179B1 KR 1020200031531 A KR1020200031531 A KR 1020200031531A KR 20200031531 A KR20200031531 A KR 20200031531A KR 102459179 B1 KR102459179 B1 KR 102459179B1
Authority
KR
South Korea
Prior art keywords
neural network
network model
model
condyle
image
Prior art date
Application number
KR1020200031531A
Other languages
English (en)
Other versions
KR20210116778A (ko
Inventor
김동현
정호걸
나지연
권아영
최은혜
Original Assignee
주식회사 인비전랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인비전랩 filed Critical 주식회사 인비전랩
Priority to KR1020200031531A priority Critical patent/KR102459179B1/ko
Publication of KR20210116778A publication Critical patent/KR20210116778A/ko
Application granted granted Critical
Publication of KR102459179B1 publication Critical patent/KR102459179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

치과 엑스레이 파노라마 이미지에서 관절구 영역을 검출하는 제1 신경망 모델과, 상기 제1 신경망 모델에 의해 검출된 관절구 영역 이미지의 양부를 판단하는 제2 신경망 모델 및 상기 제2 신경망 모델에 의해 양호한 것으로 판단된 관절구 영역 이미지를 판독하여 관절구의 정상 여부를 판단하는 제3 신경망 모델을 저장하는 저장부; 및 상기 제1 신경망 모델 내지 제3 신경망 모델 내 각 레이어에서 이루어지는 연산을 수행하여 상기 의료용 이미지에 나타나는 관절구의 정상 여부를 판단하는 처리부를 포함하는 인공 신경망을 이용한 의료용 이미지의 판독 장치가 개시된다.

Description

인공 신경망을 이용한 의료용 이미지의 판독 장치{APPARATUS OF READING MEDICAL IMAGE USING NEURAL NETWORK}
본 발명은 의료용 이미지의 판독 장치에 관한 것으로, 더욱 상세하게는 치과 엑스레이 파노라마 이미지에서 관절구에 해당하는 영역을 검출하고 그 이상 여부를 판단할 수 있는 인공 신경망을 이용한 의료용 이미지의 판독 장치에 관한 것이다.
일반적으로 치과 병원에서 환자의 치아 상태를 확인하기 위해 치과 엑스레이 촬영을 먼저 한다. 치과 엑스레이 이미지는 인간의 입체적인 치아 배열을 파노라마로 표현한 것으로, 표면에 드러나는 잇몸 및 치아 외에도 치아나 잇몸 뼈 속의 부분, 전체적 치아 상태와 배열, 교합관계, 턱뼈 상태 혹은 병소를 파악하는데 도움을 주며, 의사가 좀 더 정확한 질환 진단을 하거나 혹시 있을 수 있는 질병 및 부작용 등을 파악하는데 도움을 준다.
그러나 치과 엑스레이 파노라마 이미지는 치과 의사들이 전문적으로 판독을 하기에 어려움이 많아서 일부 용도로만 활용될 뿐 전술한 것과 같은 잇몸 뼈, 교합관계, 턱뼈 상태 등을 정확하게 판단하는데 어려움이 있다.
이를 보완하기 의료용 영상을 전문적으로 판독하기 위한 영상의학과가 별도로 개설되고 있으나 일부 의사들만 영상의학 판독의가 되며 개원 의사들은 전문적인 판독 교육을 받지 않는 한 판독을 정확하게 하는 것에 어려움이 있다. 특히 턱 관절 부위의 경우 턱 관절을 전문으로 보고 치료를 하지 않는 한 구조적인 문제를 발견하기 어려운 점이 있다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
등록특허공보 10-1839789 (2018. 3. 19)
이에 본 발명은, 인공 신경망을 이용하여 치과 엑스레이 파노라마 이미지에서 관절구에 해당하는 영역을 검출하고 인공 신경망을 이용하여 검출된 관절구 이미지 자체의 양부를 판단하고 양호한 관절구 이미지에 대해 관절구의 정상 여부를 판단할 수 있는 인공 신경망을 이용한 의료용 이미지의 판독 장치를 제공하는 것을 해결하고자 하는 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,
치과 엑스레이 파노라마 이미지에서 관절구 영역을 검출하는 제1 신경망 모델과, 상기 제1 신경망 모델에 의해 검출된 관절구 영역 이미지의 양부를 판단하는 제2 신경망 모델 및 상기 제2 신경망 모델에 의해 양호한 것으로 판단된 관절구 영역 이미지를 판독하여 관절구의 정상 여부를 판단하는 제3 신경망 모델을 저장하는 저장부; 및
상기 제1 신경망 모델 내지 제3 신경망 모델 내 각 레이어에서 이루어지는 연산을 수행하여 상기 의료용 이미지에 나타나는 관절구의 정상 여부를 판단하는 처리부;
를 포함하는 인공 신경망을 이용한 의료용 이미지의 판독 장치를 제공한다.
본 발명의 일 실시형태에서, 상기 구역 기반 컨벌루션 신경망(Region based Convolution Neural Network: R-CNN) 모델, Fast R-CNN 모델, Faster R-CNN 모델, YOLO 모델 또는 RefineDet 모델로 구현될 수 있다.
본 발명의 일 실시형태에서, 상기 제2 신경망 모델 및 제3 신경망 모델은, 컨벌루션 신경망 모델 또는 컨벌루션 신경망 모델 응용 알고리즘을 적용한 신경망 모델로 구현되는 것을 특징으로 하는 인공 신경망을 이용한 의료용 이미지의 판독 장치.
본 발명의 일 실시형태에서, 상기 치과 엑스레이 파노라마 이미지의 포맷을, 의료용 이미지 전용 포맷인 DICOM 파일에서 범용 파일 포맷인 PNG 또는 JPG 파일로 변환하여 상기 제1 신경망 모델에 입력하는 전처리부를 더 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 제3 신경망 모델은, 상기 제2 신경망 모델에서 양호한 것으로 판단된 이미지 중 하나의 치과 엑스레이 파노라마 이미지에서 추출된 좌우 관절구의 크롭 이미지를 입력 받고, 입력된 좌우 관절구 크롭 이미지에서 각각 특징을 추출한 후 두 좌우 관절구 크롭 이미지의 대칭도를 판단할 수 있다.
본 발명의 일 실시형태에서, 상기 제3 신경망 모델은, 상기 좌우 관절구 크롭 이미지에서 각각 특징을 추출하기 위한 두 개의 컨벌루션 인공 신경망(CNN) 모델과, 상기 두 개의 CNN 모델에서 출력된 특징을 병합하는 병합층 및 상기 병합층에서 병합된 특징을 입력으로 하여 좌우 신경구의 대칭도를 판단하기 위한 추가의 CNN 모델을 포함할 수 있다.
상기 인공 신경망을 이용한 의료용 이미지의 판독 장치에 따르면, 치과 엑스레이 파노라마 이미지를 인공 신경망을 이용하여 판독함으로써 의료용 이미지를 전문적으로 판독하기 위한 영상의학 판독의가 직접 판독하지 않더라도 쉽게 이미지에 나타나는 관절구의 이상 유무를 판단할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 신경망 모델의 블록 구성도이다.
도 2는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제1 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 3은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제2 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 4는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제3 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 5는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제3 신경망 모델의 다른 예를 더욱 상세하게 도시한 도면이다.
도 6은 본 발명의 다른 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 신경망 모델의 블록 구성도이다.
도 7은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치를 도시한 블록 구성도이다.
이하, 첨부의 도면을 참조하여 다양한 실시 형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치를 상세하게 설명하기로 한다.
본 발명의 여러 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치는, 치과 엑스레이 파노라마 이미지에 나타나는 관절구(condyle)가 양호한 상태인지 판단하기 위한 신경망 모델을 수립하고, 수집된 치과 엑스레이 파노라마 이미지를 입력으로 하여 신경망 모델을 학습시킨 후, 학습된 신경망 모델에 판독 대상 치과 엑스레이 파노라마 이미지를 입력시켜 판독 대상 이미지에 나타나는 관절구의 상태를 판단하도록 한다.
도 1은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 신경망 모델의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용된 신경망 모델은, 치과 엑스레이 파노라마 이미지(D)를 입력 받아 관절구 영역을 검출하는 제1 신경망 모델(10)과, 제1 신경망 모델(10)에 의해 검출된 관절구 영역 이미지의 양부를 판단하는 제2 신경망 모델(20) 및 제2 신경망 모델(20)에 의해 양호한 것으로 판단된 관절구 영역 이미지를 판독하여 관절구의 정상 여부를 판단하는 제3 신경망 모델(30)을 포함하여 구성될 수 있다.
제1 신경망 모델(10)은 입력 받은 치과 엑스레이 파노라마 이미지(D)에서 관절구 영역을 검출하고 해당 관절구 영역을 크롭(crop)하여 관절구 영역에 해당하는 이미지를 생성하는 신경망 모델이다.
도 2는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제1 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 2를 참조하면, 제1 신경망 모델(10)은 치과 엑스레이 파노라마 이미지(D)를 입력 받고, 입력 받은 치과 엑스레이 파노라마 이미지(D)에서 관절구(Condyle)에 해당하는 영역을 검출하여 크롭하는 신경망 모델이다.
예를 들어, 제1 신경망 모델(10)은 도 2에 도시된 것과 같이, 이미지에서 특정 영역을 추출하는데 적합한 Faster R-CNN(Region based Convolution Neural Network) 알고리즘이 적용될 수 있으며, 다른 예로, R-CNN, Fast R-CNN, YOLO, RefineDet 등과 같이 객체 검출(Object Detection)에 사용되는 다양한 알고리즘이 적용될 수 있다.
제1 신경망 모델(10)은 레이블링된 수집 데이터, 즉 레이블링된 복수의 치과 엑스레이 파노라마 이미지를 이용하여 학습되고 테스트될 수 있으며, 학습과 테스트가 완료된 제1 신경망 모델(10)로 입력되어 판독될 수 있다. 특히, 본 발명의 일 실시형태에서, 제1 신경망 모델(10)로 입력되는 각 각의 치과 엑스레이 파노라마 이미지는 좌관절구 및 우 관절구의 두가지로 레이블링 될 수 있다.
도 3은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제2 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 3을 참조하면, 제2 신경망 모델(20)은 제1 신경망 모델(10)에서 검출된 관절구의 크롭 이미지(D')를 입력 받고 입력된 관절구 크롭 이미지(D')에서 특징을 추출하여 입력된 관절구 크롭 이미지가 관절구의 상태를 판단할 수 있는 양호한 이미지(D1)인지 그렇지 않은 이미지(D2)인지 판단할 수 있다. 즉, 제2 신경망 모델(20)은 관절구 크롭 이미지가 관절구의 상태를 진단하기에 적합한지를 기준으로 양부를 판단하는 신경망 모델이다.
예를 들어, 제2 신경망 모델(20)은 이미지에서 특징을 파악하는데 적합한 CNN 알고리즘을 적용한 신경망으로 구현될 수 있다. 다른 예로, 제2 신경망 모델(20)은 VGG16, RESNET, INCEPTION 등과 같은 CNN의 응용 알고리즘이 적용된 신경망으로 구현될 수 있다.
제2 신경망 모델(20)은, 제1 신경망 모델(10)에서 검출된 관절구 크롭 이미지의 세트를 이용하여 학습되고 테스트될 수 있다.
도 4는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제3 신경망 모델의 일례를 더욱 상세하게 도시한 도면이다.
도 4를 참조하면, 제3 신경망 모델(30)은 제2 신경망 모델(20)에서 관절구의 상태를 진단 가능한 것으로 판단된 양호한 이미지(D1)를 입력 받고 입력된 관절구 크롭 이미지(D2)에서 특징을 추출하여 이미지에 나타나는 관절구의 상태가 정상인지 여부를 판단할 수 있다.
예를 들어, 제3 신경망 모델(30)은, 제2 신경망 모델(20)과 유사하게, 이미지에서 특징을 파악하는데 적합한 CNN 알고리즘을 적용한 신경망으로 구현될 수 있다. 다른 예로, 제2 신경망 모델(30)은 VGG16, RESNET, INCEPTION 등과 같은 CNN의 응용 알고리즘이 적용된 신경망으로 구현될 수 있다.
제3 신경망 모델(30)은, 제2 신경망 모델(20)에서 양호한 것으로 판단된 검출된 관절구 크롭 이미지의 세트를 이용하여 학습되고 테스트될 수 있다.
도 5는 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 제3 신경망 모델의 다른 예를 더욱 상세하게 도시한 도면이다.
도 5를 참조하면, 제3 신경망 모델(30)은 제2 신경망 모델(20)에서 관절구의 상태를 진단 가능한 것으로 판단된 양호한 이미지(D1) 중 하나의 치과 엑스레이 파노라마 이미지에서 추출된 좌우 관절구의 크롭 이미지(D11, D12)를 입력 받고 입력된 좌우 관절구 크롭 이미지(D11, D12)에서 각각 특징을 추출한 후 두 좌우 관절구 크롭 이미지(D11, D12)의 대칭도를 판단하여 좌우 관절구의 상태가 정상인지 여부를 판단할 수 있다.
이를 위해, 도 5에 도시된 것과 같이, 제3 신경망 모델(30)은 좌우 관절구 크롭 이미지(D11, D12)에서 각각 특징을 추출하기 위한 두 개의 컨벌루션 인공 신경망(CNN) 모델(L1, L2)과, 두 CNN 모델(L1, L2)에서 출력된 특징을 병합하는 병합층(L3) 및 병합층(L3)에서 병합된 특징을 입력으로 하여 좌우 신경구의 대칭도를 판단하기 위한 또 하나의 CNN 모델(L4)를 포함하는 형태로 구현될 수 있다.
제3 신경망 모델(30)은 도 4에 도시된 것과 같은 모델과 도 5에 도시된 것과 같은 모델을 모두 포함하는 형태로 구현될 수도 있다.
도 6은 본 발명의 다른 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치에 적용되는 신경망 모델의 블록 구성도이다.
도 1에 도시된 실시형태와 비교할 때, 도 6에 도시된 실시형태에 적용된 신경망 모델은 제1 신경망 모델(10)에 입력되는 치과 엑스레이 파노라마 이미지를 전처리하는 전처리부(40)를 더 포함할 수 있다.
전처리부(40)는 치과 엑스레이 파노라마 이미지의 포맷을, 의료용 이미지 전용 포맷인 DICOM 파일(.DCM)에서 범용 파일 포맷인 PNG 또는 JPG 파일로 변환하여 후단의 신경망 모델이 쉽게 이미지 파일을 처리할 수 있도록 할 수 있다.
도 7은 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치를 도시한 블록 구성도이다.
도 7을 참조하면, 본 발명의 일 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치는 처리부(100) 및 저장부(200)를 포함할 수 있다.
처리부(100)는 전술한 것과 같은 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)을 구성하는 인공 신경망 아키텍처의 각 레이어에서 수행되는 동작을 수행할 수 있다. 예를 들어, 처리부(100)는 제1 신경망 모델(10) 내지 제3 신경망 모델(30)에 포함되는 여러 컨벌루션 레이어의 컨벌루션 연산, 풀링 레이어의 풀링 연산, 활성화 함수의 연산, 영역 검출을 위한 연산, 출력을 위한 연산 등을 수행할 수 있다. 또한, 처리부(100)는 1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)의 학습 및 테스트에 요구되는 연산을 수행할 수 있다.
저장부(200)는 전술한 것과 같은 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)을 포함할 수 있다. 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)은 처리부(100)에 의해 트레이닝 입력으로부터 트레이닝 출력이 출력되도록 트레이닝될 수 있다. 또한, 저장부(320)는 처리부(310)에 의해 생성된 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30) 내 각 레이어에 포함된 각 노드들의 연산 결과를 저장할 수 있다.
처리부(10)는 전술한 것과 같은 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)을 획득하고, 트레이닝 입력에 대한 각 신경망 모델 내 노드의 연산을 수행하고 연산 결과로부터 트레이닝 입력에 매핑된 트레이닝 출력이 산출되도록 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)을 트레이닝 시킬 수 있다.
처리부(100)는 당 기술 분야에 공지된 여러 트레이닝 기법을 이용하여 각각의 신경망 모델(10, 20, 30)을 트레이닝 하여 전술한 제1 신경망 모델(10), 제2 신경망 모델(20) 및 제3 신경망 모델(30)의 레이어 또는 노드 간의 연결 가중치, 필터의 가중치, 노드의 상태 파라미터 등을 트레이닝 시킬 수 있다.
이상에서 설명한 바와 같이, 본 발명의 여러 실시형태에 따른 인공 신경망을 이용한 의료용 이미지의 판독 장치는, 치과 엑스레이 파노라마 이미지를 인공 신경망을 이용하여 판독함으로써 의료용 이미지를 전문적으로 판독하기 위한 영상의학 판독의가 직접 판독하지 않더라도 쉽게 이미지에 나타나는 관절구의 이상 유무를 판단할 수 있다.
이상에서 본 발명의 특정한 실시형태에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 기술분야에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10: 제1 신경망 모델 20: 제2 신경망 모델
30: 제3 신경망 모델 40: 전처리부
100: 처리부 200: 저장부

Claims (6)

  1. 치과 엑스레이 파노라마 이미지에서 관절구 영역을 검출하는 제1 신경망 모델과, 상기 제1 신경망 모델에 의해 검출된 관절구 영역 이미지의 양부를 판단하는 제2 신경망 모델 및 상기 제2 신경망 모델에 의해 양호한 것으로 판단된 관절구 영역 이미지를 판독하여 관절구의 정상 여부를 판단하는 제3 신경망 모델을 저장하는 저장부; 및
    상기 제1 신경망 모델 내지 제3 신경망 모델 내 각 레이어에서 이루어지는 연산을 수행하여 상기 의료용 이미지에 나타나는 관절구의 정상 여부를 판단하는 처리부;
    를 포함하되,
    상기 제3 신경망 모델은,
    상기 제2 신경망 모델에서 양호한 것으로 판단된 이미지 중 하나의 치과 엑스레이 파노라마 이미지에서 추출된 좌우 관절구의 크롭 이미지를 입력 받고, 입력된 좌우 관절구 크롭 이미지에서 각각 특징을 추출한 후 두 좌우 관절구 크롭 이미지의 대칭도를 판단하며, 상기 좌우 관절구 크롭 이미지에서 각각 특징을 추출하기 위한 두 개의 컨벌루션 인공 신경망(CNN) 모델과, 상기 두 개의 CNN 모델에서 출력된 특징을 병합하는 병합층 및 상기 병합층에서 병합된 특징을 입력으로 하여 좌우 신경구의 대칭도를 판단하기 위한 추가의 CNN 모델을 포함하는 것을 특징으로 하는 인공 신경망을 이용한 의료용 이미지의 판독 장치.
  2. 청구항 1에 있어서, 상기 제1 신경망 모델은,
    상기 구역 기반 컨벌루션 신경망(Region based Convolution Neural Network: R-CNN) 모델, Fast R-CNN 모델, Faster R-CNN 모델, YOLO 모델 또는 RefineDet 모델로 구현되는 것을 특징으로 하는 인공 신경망을 이용한 의료용 이미지의 판독 장치.
  3. 청구항 1에 있어서, 상기 제2 신경망 모델 및 제3 신경망 모델은,
    컨벌루션 신경망 모델 또는 컨벌루션 신경망 모델 응용 알고리즘을 적용한 신경망 모델로 구현되는 것을 특징으로 하는 인공 신경망을 이용한 의료용 이미지의 판독 장치.
  4. 청구항 1에 있어서,
    상기 치과 엑스레이 파노라마 이미지의 포맷을, 의료용 이미지 전용 포맷인 DICOM 파일에서 범용 파일 포맷인 PNG 또는 JPG 파일로 변환하여 상기 제1 신경망 모델에 입력하는 전처리부를 더 포함하는 것을 특징으로 하는 인공 신경망을 이용한 의료용 이미지의 판독 장치.
  5. 삭제
  6. 삭제
KR1020200031531A 2020-03-13 2020-03-13 인공 신경망을 이용한 의료용 이미지의 판독 장치 KR102459179B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200031531A KR102459179B1 (ko) 2020-03-13 2020-03-13 인공 신경망을 이용한 의료용 이미지의 판독 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031531A KR102459179B1 (ko) 2020-03-13 2020-03-13 인공 신경망을 이용한 의료용 이미지의 판독 장치

Publications (2)

Publication Number Publication Date
KR20210116778A KR20210116778A (ko) 2021-09-28
KR102459179B1 true KR102459179B1 (ko) 2022-10-31

Family

ID=77923095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031531A KR102459179B1 (ko) 2020-03-13 2020-03-13 인공 신경망을 이용한 의료용 이미지의 판독 장치

Country Status (1)

Country Link
KR (1) KR102459179B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491837B1 (ko) * 2021-11-04 2023-01-27 주식회사 카이아이컴퍼니 치면 착색 영상 데이터를 활용한 비대면 치아우식 위험도 진단 및 구강관리 시스템과 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160097B1 (ko) * 2018-01-25 2020-09-25 (주)바텍이우홀딩스 치아영역 추출 시스템 및 방법
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Also Published As

Publication number Publication date
KR20210116778A (ko) 2021-09-28

Similar Documents

Publication Publication Date Title
Silva et al. Automatic segmenting teeth in X-ray images: Trends, a novel data set, benchmarking and future perspectives
US11398013B2 (en) Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
JP5981417B2 (ja) 膝関節病状評価および診断補助のための方法ならびにシステム
US20210104048A1 (en) Segmentation device and method of generating learning model
KR102267197B1 (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
JP6830082B2 (ja) 歯科分析システムおよび歯科分析ｘ線システム
JP5763172B2 (ja) パノラマエックス線写真を利用した診断支援システム、及びパノラマエックス線写真を利用した診断支援プログラム
US11443423B2 (en) System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
US20200411167A1 (en) Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
KR102256315B1 (ko) 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
US20200387829A1 (en) Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information
CN112037913B (zh) 一种基于卷积神经网络的牙周炎智能检测系统
US20200410649A1 (en) Inpainting Dental Images With Missing Anatomy
Lin et al. Teeth detection algorithm and teeth condition classification based on convolutional neural networks for dental panoramic radiographs
CN111798445B (zh) 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
KR102459179B1 (ko) 인공 신경망을 이용한 의료용 이미지의 판독 장치
CN116258726A (zh) 基于深度学习的颞下颌关节mri图像重要结构分割方法
Ahmed et al. Artificial intelligence in the detection and classification of dental caries
KR102392312B1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
JP2019208832A (ja) 歯科分析システムおよび歯科分析ｘ線システム
Grzegorzek et al. A multi-stage approach for 3D teeth segmentation from dentition surfaces
Bodhe et al. Design and Development of Deep Learning Approach for Dental Implant Planning
Jayasinghe et al. Effectiveness of Using Radiology Images and Mask R-CNN for Stomatology

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right