KR101839789B1

KR101839789B1 - 치과 영상의 판독 데이터 생성 시스템

Info

Publication number: KR101839789B1
Application number: KR1020170097653A
Authority: KR
Inventors: 송인석; 정규환
Original assignee: 주식회사 뷰노; 고려대학교 산학협력단
Priority date: 2017-08-01
Filing date: 2017-08-01
Publication date: 2018-03-19

Abstract

일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템은 구강의 해부학적 구조에 대한 입력 치과 영상과 상기 입력 치과 영상을 분석하기 위한 기준 치과 영상이 저장되는 저장부; 상기 기준 치과 영상에 기초하여, 상기 입력 치과 영상으로부터 병변이 있는 영역을 검출하고, 검출된 병변이 있는 영역의 위치를 인식하고, 검출된 병변이 있는 영역에 대한 진단 정보 또는 검출된 병변이 있는 영역에 대한 출력 치과 영상을 생성하는 처리부; 및 상기 진단 정보 또는 상기 출력 치과 영상을 표시하는 표시부를 포함할 수 있다.

Description

치과 영상의 판독 데이터 생성 시스템{SYSTEM FOR GENERATING INTERPRETATION DATA OF DENTAL IMAGE}

이하, 실시예들은 치과 영상의 판독 데이터 생성 시스템에 관한 것이다.

치과 영상이란 치과 분야에서 구강의 해부학적 구조인 상악골(maxilla) 및 하악골(mandibula)이 촬영된 영상을 말한다. 일반적인 의료 영상과는 달리, 치과 영상에는 다중 질환(multi-disease)이 혼재된 상태의 구강의 해부학적 구조가 촬영되어 있어 치과 의사의 복합적인 판단을 요구하는 경우가 종종 있으므로, 치과 의사의 진단을 보조하기 위하여 치과 영상으로부터 질병을 발견하여 치과 의사에게 의학적으로 의미 있는 판독 데이터를 생성하는 시스템이 개발되고 있다.

예를 들어, 한국 공개특허공보 제10-2000-0049915호는 인터넷을 통한 의료 영상 판독 시스템 및 그 방법을 개시하고 있다.

일 실시예에 따른 목적은 사용자에 의하여 판독된 치과 영상들을 포함하는 데이터들로부터 기계 학습을 통하여 일련의 판독 패턴을 학습하고, 사용자에 의하여 판독되지 않은 치과 영상을 자동으로 분석하여 진단된 질병에 대한 정보를 판독문의 형태로 생성하는 치과 영상의 판독 데이터 생성 시스템을 제공하는 것이다.

상기 처리부는, 상기 입력 치과 영상과 상기 기준 치과 영상에 기초하여 신경망을 학습시켜 상기 진단 정보 또는 상기 출력 치과 영상을 생성할 수 있다.

상기 신경망은, 상기 입력 치과 영상으로부터 판독된 출력 치과 영상을 생성하는 생성 신경망; 및 생성된 출력 치과 영상과 상기 저장부에 저장된 상기 기준 치과 영상을 비교하고, 생성된 출력 치과 영상이 상기 생성 신경망을 통하여 생성된 출력 치과 영상인지 또는 상기 저장부에 저장된 기준 치과 영상인지 여부를 판별하는 분류 신경망을 포함할 수 있다.

상기 생성 신경망은, 상기 분류 신경망이 상기 생성된 출력 치과 영상을 상기 저장부에 저장된 기준 치과 영상으로 판별하는 경우, 상기 입력 치과 영상으로부터 판독된 출력 치과 영상을 재생성할 수 있다.

상기 처리부는, 상기 기준 치과 영상에 기초하여 상기 병변이 있는 영역에 대한 병변 소견 정보를 생성하고, 상기 표시부는, 상기 출력 치과 영상과 함께 상기 병변 소견 정보를 표시할 수 있다.

상기 처리부는, 상기 병변이 있는 영역에 점, 선 또는 면을 포함하는 도형 정보를 매칭하고, 상기 표시부는, 상기 병변이 있는 영역을 매칭된 도형 정보로 표시할 수 있다.

상기 표시부는, 상기 진단 정보를 구강의 해부학적 구조에 대한 식별 번호, 병변이 있는 영역에 대한 진단명 또는 병변이 있는 영역에 대한 진단 코드로 표시할 수 있다.

상기 표시부는, 구강의 해부학적 구조에 대응되는 복수 개의 아이콘들을 더 표시하고, 상기 표시부는, 상기 복수 개의 아이콘들 중 적어도 하나 이상을 상기 병변이 있는 영역에 대한 식별 번호로 표시할 수 있다.

일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템은 치과 의사의 진단을 보조하여 치과 의사의 오진율을 감소시키고 진단 시간을 단축시킬 수 있다.

일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템을 개략적으로 나타낸 블록도이다.
도 2는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템의 치과 영상을 판독하는 방식을 학습하는 과정을 개략적으로 나타낸 순서도이다.
도 3은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템의 치과 영상을 판독하기 위한 모델을 개략적으로 나타낸 도면이다.
도 4는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 진단 정보 또는 출력 치과 영상을 생성하는 과정을 개략적으로 나타낸 순서도이다.
도 5는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 생성된 판독 데이터를 나타낸 도면이다.
도 6은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 진단 정보 또는 출력 치과 영상을 생성하는 과정을 개략적으로 나타낸 순서도이다.
도 7은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 생성된 판독 데이터를 나타낸 도면이다.

이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재한 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템을 개략적으로 나타낸 블록도이다.

도 1을 참고하면, 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템(100)은 대상체의 구강의 해부학적 구조를 촬영한 치과 영상을 자동으로 판독하여 사용자에게 판독 데이터를 제공할 수 있다. 본원에서 치과 영상의 판독 데이터 생성 시스템(100)은 고정식 단말 뿐만 아니라 이동식 단말 형태로도 구현될 수 있고, 이동식 단말의 예로 스마트폰, 랩탑 컴퓨터, PDA, 테블릿 PC 등이 있을 수 있다.

본원에서 치과 영상은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 이미지는 Xray, CT(Computed Tomography), MRI(Magnetic resonance imaging), 초음파 및 다른 의료 영상 시스템에 의하여 획득된 대상체의 의료 이미지 등을 포함할 수 있다.

본원에서 판독 데이터의 형태는 치과 영상에 후술할 도형 정보, 병변 소견 정보 등이 함께 표시된 형태이거나, 구강의 해부학적 구조에 대한 식별 번호(즉, 치식), 진단명, 진단 코드 등과 같은 의료 정보가 포함된 판독문 형태일 수 있지만, 이에 제한되지 않으며 사용자 또는 치과 환자에게 유의미한 판독 데이터를 제공할 수 있는 다양한 형태가 허용될 수 있다.

본원에서 대상체는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있고, 사용자는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치/시스템을 수리하는 기술자가 될 수 있으나 이에 제한되지 않는다.

치과 영상의 판독 데이터 생성 시스템(100)은 저장부(110), 처리부(120) 및 표시부(130)를 포함할 수 있다.

저장부(110)에는 구강의 해부학적 구조에 대한 입력 치과 영상과, 입력 치과 영상을 분석하기 위한 기준 치과 영상이 각각 저장될 수 있다. 본원에서 구강의 해부학적 구조는 인체의 상악골과 하악골이 포함된 구조를 가리킬 수 있지만 이에 제한되지 않는다.

본원에서 입력 치과 영상은 처리부(120)에 의하여 처리가 요구되는 치과 영상으로서, 처리부(120)에 의하여 판독되지 않은 치과 영상일 수 있고, 기준 치과 영상은 처리부(120)가 아닌 사용자(예를 들어, 치과 의사)에 의하여 판독이 완료된 치과 영상으로서 병변이 있는 영역에 대한 진단 정보가 표현된 치과 영상일 수 있다. 예를 들어, 기준 치과 영상에는 병변이 있는 영역이 점, 선 또는 면 등의 도형 정보로 표시되거나, 기준 치과 영상의 헤더에 병변이 있는 영역에 대한 정보들이 기재되어 있을 수 있다.

처리부(120)는 저장부(110)로부터 입력 치과 영상과 기준 치과 영상을 로드(load)하고, 입력 치과 영상을 전처리(pre-processing)할 수 있다. 예를 들어, 본원에서의 전처리는, 처리부(120)가 기준 치과 영상에 기초하여 입력 치과 영상에 대한 후처리를 하기 위하여, 입력 치과 영상의 영상 크기 등을 기준 치과 영상의 영상 크기 등에 일치시키는 과정일 수 있다.

처리부(120)는 기준 치과 영상에 기초하여 입력 치과 영상으로부터 병변이 있는 영역을 검출하고, 검출된 병변이 있는 영역의 위치를 인식할 수 있다. 예를 들어, 병변은 매복치, 치아상실, 치주염, 수직골 소실, 수평골 소실, 골절, 부정 교합, 마모 등 치과 분야의 질환을 가리킬 수 있다. 처리부(120)는 저장부(110)에 저장된 기준 치과 영상에 표현된 병변이 있는 영역에 대한 진단 정보에 기초하여 입력 치과 영상을 판독하는 방식을 학습함으로써, 학습된 판독 방식에 기초하여 입력 치과 영상으로부터 병변이 있는 영역을 검출하고, 검출된 병변이 있는 영역의 위치를 인식할 수 있다. 상세한 처리부(120)의 학습 방식에 대하여는 도 3을 참고하여 설명하기로 한다.

처리부(120)는 검출된 병변이 있는 영역에 대한 진단 정보 또는 검출된 병변이 있는 영역에 대한 출력 치과 영상을 생성할 수 있다. 처리부(120)가 검출된 병변이 있는 영역에 대한 진단 정보 또는 출력 치과 영상을 생성하기 위하여, 저장부(110)에는 구강의 해부학적 구조에 대한 식별 번호(치식), 진단명, 진단 코드 등을 포함하는 진단 기준 데이터 또는 병변이 있는 영역을 출력 치과 영상에 표시하기 위한 점, 선 또는 면을 포함하는 도형 정보 등이 저장될 수 있다. 처리부(120)는 앞서 설명한 진단 기준 데이터 또는 도형 정보를 이용하여 입력 치과 영상에서 검출된 병변이 있는 영역에 대한 진단 정보 또는 출력 치과 영상을 생성할 수 있다. 여기서, 진단 기준 데이터는 치과 영상의 판독 데이터 생성 시스템(100)의 사용자가 구강의 해부학적 구조에 관하여 진단을 하기 위하여 이용될 수 있는 정보를 의미한다.

표시부(130)는 처리부(120)에 의하여 생성된 진단 정보 또는 출력 치과 영상을 표시할 수 있다. 표시부(130)는 UI(user interface), 사용자 정보 또는 대상체 정보 등 치과 영상의 판독 데이터 생성 시스템(100)에 의하여 생성된 판독 데이터를 출력할 수 있다. 예를 들어, 표시부(130)는 CRT 디스플레이, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP 디스플레이, PFD 디스플레이, 3D 디스플레이, 투명 디스플레이 등을 포함할 수 있고, 기타 통상의 기술자에게 자명한 범위 내에서 다양한 디스플레이 장치들을 포함할 수 있다. 표시부(130)가 표시하는 다양한 형태에 관하여는 후술할 도 5 또는 도 7을 참고하여 설명하기로 한다.

도 1에는 도시되지 않았으나, 치과 영상의 판독 데이터 생성 시스템(100)은 영상 획득부(미도시) 및 통신부를 더 포함할 수 있다.

영상 획득부는 대상체의 구강의 해부학적 구조를 촬영하는 영상 촬영 장치일 수 있다. 영상 획득부는 구강의 해부학적 구조가 촬영된 치과 영상을 저장부(110)로 전송할 수 있다.

통신부는 데이터가 저장되는 서버(server)일 수 있다. 예를 들어, 서버는 의학영상정보시스템(Picture Archiving and Communication System, PACS)일 수 있다. 통신부가 서버인 경우, 통신부는 영상 획득부를 통하여 구강의 해부학적 구조에 대한 치과 영상을 디지털 상태로 획득 및 저장하여 저장부(110) 또는 처리부(120)로 전달할 수 있다.

도 2는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템의 치과 영상을 판독하는 방식을 학습하는 과정을 개략적으로 나타낸 순서도이다.

도 2를 참고하면, 먼저 치과 영상의 판독 데이터 생성 시스템은 입력 치과 영상을 로드할 수 있다(210). 예를 들어, 입력 치과 영상은 구강의 해부학적 구조가 표시된 치과 영상으로서 치과 영상의 판독 데이터 생성 시스템에 의하여 처리되지 않은 치과 영상일 수 있다. 이 과정에서, 치과 영상의 판독 데이터 생성 시스템은 입력 치과 영상을 설정된 규격에 맞게 전처리할 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 입력 치과 영상을 판독할 수 있다(220). 치과 영상의 판독 데이터 생성 시스템은 설정된 진단 기준 데이터에 기초하여 로드한 입력 치과 영상을 판독할 수 있다. 여기서, 진단 기준 데이터는 판독이 수행되기 전의 상태, 즉 초기화된 상태에서 사용자에 의하여 설정된 데이터로서, 대상체를 진단하기 위하여 필요한 정보들을 포함할 수 있다. 예를 들어, 진단 기준 데이터는 진단명, 진단 코드, 병변 등의 내용을 포함할 수 있다. 진단 기준 데이터는 치과 영상의 판독 데이터 생성 시스템의 입력 치과 영상에 대한 반복적인 처리에 따라 가변적으로 재설정될 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 판독된 출력 치과 영상을 생성할 수 있다(230). 치과 영상의 판독 데이터 생성 시스템은 진단 기준 데이터에 기초하여 판독된 출력 치과 영상을 다양한 형태로 생성할 수 있다. 예를 들어, 출력 치과 영상은 병변이 있는 영역이 존재하는 곳에 점, 선 또는 면 등의 도형 정보가 매칭되도록 생성되거나, 병변이 있는 영역이 존재하는 곳에 또는 그 주변에 병변에 대한 의학적인 소견이 매칭되도록 생성될 수 있다. 추가적으로, 치과 영상의 판독 데이터 생성 시스템은 진단 기준 데이터에 기초하여 판독된 출력 치과 영상 외에 추가적인 입력 치과 영상이 필요한 지 여부를 판별할 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 생성된 출력 치과 영상과 기준 치과 영상을 비교할 수 있다(240). 치과 영상의 판독 데이터 생성 시스템은 출력 치과 영상과 기준 치과 영상을 비교함으로써, 출력 치과 영상이 기준 치과 영상에 비하여 얼마나 유사한지 여부를 판단할 수 있다. 예를 들어, 치과 영상의 판독 데이터 생성 시스템은 기준 치과 영상의 영상 표시값과 출력 치과 영상의 영상 표시값을 상호 비교하거나, 기준 치과 영상의 헤더에 포함된 진단 정보와 출력 치과 영상의 헤더에 포함된 진단 정보를 상호 비교하여, 출력 치과 영상이 기준 치과 영상에 얼마나 근접하였는지 여부를 판단할 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 생성된 출력 치과 영상을 분류할 수 있다(250). 치과 영상의 판독 데이터 생성 시스템은 생성된 출력 치과 영상이 기준 치과 영상인지 또는 치과 영상의 판독 데이터 생성 시스템에 의하여 생성된 출력 치과 영상인지 구분하는 과정을 거칠 수 있다. 다시 말하면, 치과 영상의 판독 데이터 생성 시스템이 판독하여 생성한 출력 치과 영상은 유사도에 따라 사용자에 의하여 판독된 치과 영상으로 분류되거나 치과 영상의 판독 데이터 생성 시스템에 의하여 판독된 치과 영상으로 분류될 수 있다. 치과 영상의 판독 데이터 생성 시스템이 판독하여 생성한 출력 치과 영상이 스스로 판독하여 생성한 출력 치과 영상으로 분류된 경우, 치과 영상의 판독 데이터 생성 시스템은 다시 한 번 판독된 출력 치과 영상을 생성하는 단계(230)로 회귀할 수 있다. 이에 따라, 다시 한 번 판독된 출력 치과 영상이 생성되어 비교 단계(240)와 분류 단계(250)를 거침으로써, 사용자에 의하여 판독된 치과 영상의 품질과 동일 또는 유사하도록 출력 치과 영상이 생성됨으로써, 출력 치과 영상의 품질이 향상될 수 있다.

도 3은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템의 치과 영상을 판독하기 위한 모델을 개략적으로 나타낸 도면이다.

도 3을 참고하면, 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템(300)은 입력 치과 영상과 기준 치과 영상에 기초하여 신경망을 학습시켜 입력 치과 영상으로부터 병변이 있는 영역에 대한 진단 정보 또는 병변이 있는 영역에 대한 출력 치과 영상을 출력할 수 있다.

여기서, 신경망은 생성 신경망(310) 및 분류 신경망(320)을 포함할 수 있다.

생성 신경망(310)은 입력 치과 영상으로부터 판독된 출력 치과 영상을 생성할 수 있다. 생성 신경망(310)에는 입력 치과 영상을 판독하기 위한 진단 기준 데이터가 초기화된 상태로서 저장되는 병변 판독 모델을 포함할 수 있다. 병변 판독 모델은 진단 기준 데이터에 기초하여 입력 치과 영상을 판독하여 출력 치과 영상을 생성할 수 있다.

분류 신경망(320)은 생성된 출력 치과 영상과 기준 치과 영상을 비교하고, 생성된 출력 치과 영상이 생성 신경망을 통하여 생성된 출력 치과 영상인지 또는 생성 신경망을 통하지 않은 기준 치과 영상인지 여부를 분류할 수 있다. 분류 신경망(320)은 생성된 출력 치과 영상을 분류하기 위한 분류 기준 데이터가 저장된 분류 모델을 포함할 수 있다. 분류 모델은 분류 기준 데이터에 따라 판독된 출력 치과 영상을 병변 판독 모델이 생성한 치과 영상인지 또는 기준 치과 영상인지 여부를 판단할 수 있다.

이 과정에서, 생성 신경망(310)과 분류 신경망(320)은 상호 대립적 관계(adversarial relationship)를 이룰 수 있다. 생성 신경망(310)의 병변 판독 모델은 분류 모델로 하여금 병변 판독 모델이 생성한 판독된 출력 치과 영상과 기준 치과 영상을 구분하지 못하도록 분류 오류를 최대화하는 방향으로 출력 치과 영상을 생성할 수 있다. 한편, 분류 신경망(320)의 분류 모델은 병변 판독 모델이 생성한 출력 치과 영상과 기준 치과 영상을 구분하도록 분류 오류를 최소화하는 방향으로 출력 치과 영상을 분류할 수 있다. 이와 같이, 생성 신경망(310)과 분류 신경망(320)이 상호 대립적인 관계에서 각각 분류 오류를 최대화하거나 분류 오류를 최소화하는 방향으로 출력 치과 영상을 생성하거나 분류함으로써, 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템(300)에 의하여 생성되는 최종적인 출력 치과 영상의 품질이 마치 사용자에 의하여 판독된 출력 치과 영상의 품질과 유사하게 향상될 수 있다.

생성 신경망(310)과 분류 신경망(320)이 이루는 상호 대립적 관계로 인하여, 출력 치과 영상은 반복적으로 생성 및 분류 과정을 거칠 수 있다. 생성 신경망(310)을 통하여 생성된 출력 치과 영상이 분류 신경망(320)에 의하여 기준 치과 영상으로 판별되는 경우, 생성 신경망(310)의 병변 판독 모델은 기준 치과 영상에 포함된 진단 정보에 기초하여 진단 기준 데이터를 재설정하고, 재설정된 진단 기준 데이터에 기초하여 입력 치과 영상을 판독하여 출력 치과 영상을 생성할 수 있다. 이와 같이, 반복적으로 생성 및 분류 과정을 거친 출력 치과 영상은 분류 모델에 의하여 기준 치과 영상과 구분하지 못할 정도로 품질이 향상된 상태에서 사용자에게 표시될 수 있다.

도 4는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 진단 정보 또는 출력 치과 영상을 생성하는 과정을 개략적으로 나타낸 순서도이다.

도 4를 참고하면, 먼저 치과 영상의 판독 데이터 생성 시스템은 기준 치과 영상에 기초하여 병변이 있는 영역을 검출할 수 있다(410). 도 3을 참고하여 앞서 설명한 바와 같이 치과 영상의 판독 데이터 생성 시스템은 일련의 학습 과정을 거쳐 기준 치과 영상에 기초하여 병변이 있는 영역을 검출할 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 병변이 있는 영역에 도형 정보를 매칭할 수 있다(420). 여기서, 도형 정보는 점, 선 또는 면을 포함할 수 있지만, 이에 제한되는 것은 아니며 다향한 형태의 도형을 포함할 수 있다. 또한, 병변의 종류에 따라 점의 크기는 다양할 수 있고, 선의 종류는 파선, 실선 등 다양한 형태일 수 있으며, 면의 색깔이 달라질 수 있다.

예를 들어, 치과 영상의 구강의 해부학적 구조 중 신경은 파선의 형태로 매칭될 수 있다. 예를 들어, 치과 영상에 서로 다른 병변을 가지는 2개의 영역이 있는 경우, 치과 영상의 판독 데이터 생성 시스템은 2개의 영역을 서로 다른 병변이 있는 영역으로 인식하여 2개의 영역을 서로 다른 색깔의 면으로 매칭할 수 있다. 여기서, 면의 형상은 영역의 형상에 맞게 결정될 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 병변이 있는 영역에 대한 진단 정보를 생성할 수 있다(430). 여기서, 진단 정보는 사용자에게 의학적으로 의미 있는 정보로서, 진단명, 구강의 해부학적 구조에 대한 식별 번호(즉, 치식), 진단 코드 등일 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 병변이 있는 영역에 대한 병변 소견 정보를 생성할 수 있다(440). 여기서, 병변 소견 정보는 병변이 있는 영역에 대한 진단명에 따른 의학적인 판단 내용을 포함할 수 있다. 예를 들어, 병변 소견 정보는 문자 정보 뿐만 아니라 도형 정보로도 매칭될 수 있는데, 출력 치과 영상의 구강의 해부학적 구조 중 신경과 뼈 사이의 높이를 표현하기 위하여, 높이는 파선으로, 이에 대한 설명은 문자로 표시되도록 병변 소견 정보를 생성할 수 있다. 다시 말하면, 병변 소견 정보는 문자 정보 또는 도형 정보로 매칭되어 생성될 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 출력 치과 영상과 함께 도형 정보, 진단 정보 또는 병변 소견 정보를 표시(디스플레이)할 수 있다(450). 자세한 사항은 도 5를 참고하여 설명하기로 한다.

도 5는 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 생성된 판독 데이터를 나타낸 도면이다.

도 5를 참고하면, 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 생성된 판독 데이터가 도시된다. 여기서, 판독 데이터는 일 예로 치과 엑스레이 영상으로 도시된다. 판독 데이터는 치과 영상의 판독 데이터 생성 시스템에 의하여 병변이 있는 영역에 매칭된 도형 정보 및 병변 소견 정보와 함께 치과 영상일 수 있다.

예를 들어, 대상체의 구강의 해부학적 영역에 서로 다른 병변이 존재하는 경우, 대상체의 구강이 촬영된 치과 영상으로부터 생성된 판독 데이터에는 서로 다른 병변이 존재함을 표시하기 위하여 다른 채도의 색깔을 가진 면이 해당 영역에 표시될 수 있다. 예를 들어, 판독 데이터에는 신경이 점선의 형태로 표시될 수 있다. 예를 들어, 판독 데이터에는 병변 소견 정보가 문자로 표시되거나 해당 병변 소견 정보가 가지는 의미를 나타내는 "신경과의 거리를 고려한 뼈 높이"와 같은 정보가 파선으로 표시될 수 있다. 예를 들어, 판독 데이터에는 병변이 있는 영역의 주위에 진단명이 한글로 또는 영문으로 표시될 수 있다.

도 6은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템에 의하여 진단 정보 또는 출력 치과 영상을 생성하는 과정을 개략적으로 나타낸 순서도이다.

도 6을 참고하면, 먼저 치과 영상의 판독 데이터 생성 시스템은 기준 치과 영상에 기초하여 병변이 있는 영역을 검출할 수 있다(610). 도 3을 참고하여 앞서 설명한 바와 같이 치과 영상의 판독 데이터 생성 시스템은 일련의 학습 과정을 거쳐 기준 치과 영상에 기초하여 병변이 있는 영역을 검출할 수 있다.

이후, 치과 영상의 판독 데이터 생성 시스템은 병변이 있는 영역에 대한 진단 정보를 생성할 수 있다(620). 앞서 설명한 바와 같이, 진단 정보는 사용자에게 의학적으로 의미 있는 정보로서, 진단명, 구강의 해부학적 구조에 대한 식별 번호(즉, 치식), 진단 코드 등일 수 있다. 이 경우, 진단 정보는 사용자에게 의학적으로 의미 있는 형태로 표시되도록 판독문 형태로 생성될 수 있다. 판독문의 구체적인 형태에 관하여는 도 7을 참고하여 자세히 설명하기로 한다.

예를 들어, 진단명, 진단 코드는 한국표준질병/사인분류표에 따른 진단명/진단 코드, 국제진단기준에 따른 진단명/진단 코드 등일 수 있지만 이에 제한되지 않는다. 예를 들어, 구강의 해부학적 구조에 대한 식별 번호를 표시하는 방식은 세계 보건 기구(WHO)에서 제작된 ISO 규격(ISO 3950)에 따른 식별 번호 부여 방식, 아메리칸 시스템(American System)(또는 범용 넘버링 시스템(universal numbering system))에 따른 식별 번호 부여 방식일 수 있지만 어느 하나의 방식에 제한되지 않는다. ISO 규격에 따른 식별 번호 부여 방식의 경우, 구강의 중앙선을 기준으로 4분면으로 나뉘어 1 내지 8까지 치아 번호가 부여되는 방식이고, 아메리칸 시스템에 따른 식별 번호 부여 방식의 경우, 구강의 좌측 상단으로부터 하측 하단으로 시계 방향으로 돌아가며 치아 번호(영문 포함)가 부여되는 방식이다.

이후, 치과 영상의 판독 데이터 생성 시스템은 진단 정보를 구강의 해부학적 구조에 대한 식별 번호, 병변이 있는 영역에 대한 진단명 또는 병변이 있는 영역에 대한 진단코드로 표시(디스플레이)할 수 있다(630). 자세한 사항은 도 7을 참고하여 설명하기로 한다.

도 7은 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템(700)에 의하여 생성된 판독 데이터를 나타낸 도면이다.

도 7을 참고하면, 일 실시예에 따른 치과 영상의 판독 데이터 생성 시스템(700)에 의하여 생성된 판독 데이터가 도시된다. 여기서, 판독 데이터는 일 예로 표(table) 형상의 판독문으로 도시된다. 판독 데이터는 구강의 해부학적 구조에 대한 식별 번호(치식), 진단명(Present illness) 등으로 표시될 수 있다.

예를 들어, 구강의 해부학적 구조에 대한 식별 번호(치식)는 ISO 규격에 따른 식별 번호 부여 방식으로 표시될 수 있다. 치과 영상의 판독 데이터 생성 시스템(700)에 의하여 병변이 있는 영역에 대한 위치가 인식되면, 인식된 병변이 있는 영역에 식별 번호가 매칭될 수 있다. 매칭된 식별 번호는 4분면의 형태로 병변이 있는 영역을 나타내는 위치에 표시될 수 있다. 다만, 본원에서는 설명의 편의를 위하여 ISO 규격에 따른 식별 번호 부여 방식으로 도시하였을 뿐, ISO 규격에 반드시 따라야 한다는 의도가 아님을 밝혀 둔다. 예를 들어, 진단명은 구강의 해부학적 구조에 대한 식별 번호(치식) 옆에 함께 표시될 수 있다.

추가적으로, 도 7에는 도시되지 않았으나, 진단명 외에 진단 코드도 함께 표시될 수 있다. 진단 코드는 사용자의 판단을 보조하기 위하여 표시되는 것으로서, 진단명이 임플란트, 정상 소견 등인 경우에는 진단 코드가 존재하지 않으므로, 진단 코드가 표시되지 않을 수 있다.

치과 영상의 판독 데이터 생성 시스템(700)이 생성한 판독 데이터에는 잘못 판단된 진단명 또는 식별 번호가 표시되어 있을 수 있으므로, 이를 정정하기 위하여 사용자로 하여금 판독 데이터를 삭제 또는 수정할 수 있는 아이콘이 표시될 수 있다. 사용자가 아이콘에 대하여 입력하면 해당 판독 데이터는 수정되거나 삭제될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

구강의 해부학적 구조에 대한 입력 치과 영상과 상기 입력 치과 영상을 분석하기 위한 기준 치과 영상이 저장되는 저장부;
상기 기준 치과 영상에 기초하여, 상기 입력 치과 영상으로부터 병변이 있는 영역을 검출하고, 검출된 병변이 있는 영역의 위치를 인식하고, 검출된 병변이 있는 영역에 대한 진단 정보 또는 검출된 병변이 있는 영역에 대한 출력 치과 영상을 생성하되, 상기 입력 치과 영상과 상기 기준 치과 영상에 기초하여, 학습된 신경망을 통하여 상기 진단 정보 또는 상기 출력 치과 영상을 생성하는 처리부로서, 상기 기준 치과 영상에 기초하여 상기 병변이 있는 영역에 대한 병변 소견 정보를 생성하고, 상기 병변이 있는 영역에 점, 선 또는 면을 포함하는 도형 정보를 매칭하는 처리부; 및
상기 진단 정보 또는 상기 출력 치과 영상을 표시하는 표시부로서, 상기 출력 치과 영상과 함께 상기 병변 소견 정보를 표시하고, 상기 병변이 있는 영역을 매칭된 상기 도형 정보로 표시하는 표시부;
를 포함하고,
상기 진단 정보는 구강의 해부학적 구조에 대한 식별번호 및 상기 병변이 있는 영역에 대한 진단명 또는 진단 코드를 포함하며,
상기 신경망은,
상기 입력 치과 영상을 판독하여 출력 치과 영상을 생성하는 병변 판독 모델을 포함하는 생성 신경망을 포함하되,
상기 생성 신경망은, 상기 생성 신경망에서 생성된 출력 치과 영상이 상기 병변 판독 모델이 생성한 치과 영상인지 또는 상기 저장부에 저장된 기준 치과 영상인지 여부를 상기 출력 치과 영상과 상기 기준 치과 영상의 유사도에 따라 판단하는 분류 모델을 포함하는 분류 신경망과의 상호 대립적 관계에 의하여 학습된 것이며,
상기 학습은,
(i) 상기 생성 신경망에서 생성된 출력 치과 영상이 상기 병변 판독 모델이 생성한 치과 영상인지 여부를 상기 유사도에 기초하여 판단하는 프로세스; 및 (ii) 상기 (i) 프로세스의 수행 후, 상기 생성 신경망에서 생성된 출력 치과 영상이 상기 기준 치과 영상이 아닌 것으로 판단되면 상기 입력 치과 영상을 다시 판독함으로써 상기 생성 신경망에서 상기 출력 치과 영상을 다시 생성하여 상기 (i) 프로세스를 반복하고, 상기 생성 신경망에서 생성된 출력 치과 영상이 기준 치과 영상으로 판단되면 상기 생성 신경망에서 생성된 출력 치과 영상을 출력 치과 영상으로 설정하는 프로세스;의 수행에 의하여 이루어진 것을 특징으로 하는 치과 영상의 판독 데이터 생성 시스템.
삭제
삭제
삭제
삭제
삭제
제1항에 있어서,
상기 표시부는, 상기 진단 정보를 구강의 해부학적 구조에 대한 식별 번호, 병변이 있는 영역에 대한 진단명 또는 병변이 있는 영역에 대한 진단 코드로 표시하는 치과 영상의 판독 데이터 생성 시스템.
제1항에 있어서,
상기 표시부는, 구강의 해부학적 구조에 대응되는 복수 개의 아이콘들을 더 표시하고,
상기 표시부는, 상기 복수 개의 아이콘들 중 적어도 하나 이상을 상기 병변이 있는 영역에 대한 식별 번호로 표시하는 치과 영상의 판독 데이터 생성 시스템.