KR20190139722A - 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치 - Google Patents

진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치 Download PDF

Info

Publication number
KR20190139722A
KR20190139722A KR1020180074081A KR20180074081A KR20190139722A KR 20190139722 A KR20190139722 A KR 20190139722A KR 1020180074081 A KR1020180074081 A KR 1020180074081A KR 20180074081 A KR20180074081 A KR 20180074081A KR 20190139722 A KR20190139722 A KR 20190139722A
Authority
KR
South Korea
Prior art keywords
neural network
final diagnosis
extracting
diagnosis name
read
Prior art date
Application number
KR1020180074081A
Other languages
English (en)
Other versions
KR102060418B1 (ko
Inventor
장혁재
장영걸
전병환
홍영택
정성희
하성민
김세근
안경진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20190139722A publication Critical patent/KR20190139722A/ko
Application granted granted Critical
Publication of KR102060418B1 publication Critical patent/KR102060418B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 컴퓨터로 구현되는 의료 판독기록문에서 최종 진단명을 추출하기 위한 방법에 있어서, 환자의 진단 이력을 나타내는 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 단계; 상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 단계; 및 상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 병원마다 다른 판독기록문 데이터 형식에 모두 적용이 가능한 최종진단명 추출 솔루션을 제공한다. 이에 판독기록문 분석의 효율성이 증가할 수 있다.
본 발명의 합성곱신경망 및 재귀신경망을 결합한 최종진단명 추론 네트워크는 기존의 합성곱신경망만을 기반을 둔 텍스트 추론 네트워크가 갖는 단점인 데이터 형식과 문장 길이의 제한을 극복한 높은 성능을 가진다.

Description

진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치{Extraction of the final diagnosis from medical treatment record based on deep-learning and An Aparatus Thereof}
본 발명은 딥러닝(deep learning) 기법을 사용하여 환자의 개별 판독기록문으로부터 최종 진단명을 자동으로 추출하기 위한 방법 및 장치에 관한 것이다.
최근 인공지능 기술은 의료분야의 진단 등에 많이 사용되고 있다. 인공지능 기술은 전문적이지만 단순 작업의 성격을 가지는 의료분야에 있어서 높은 정확성 및 신속성을 동시에 만족할 수 있을 것으로 기대 되기 때문이다.
특히, 의료영상의 판독은 높은 해부학적 지식과 정확성을 필요로 한다. 자동 판독 기술을 사용 하더라도 일정 수준의 정확도를 유지하기 위해서는 시간이 소모된다. 이를 해결하기 위한 연구가 활발히 진행되고 있다.
대표적인 연구는 흉부 X선 영상 또는 심장 CT 영상을 사용하는 것이다. 장치는 입력 영상을 수십 초의 짧은 시간 안에 분석한다. 결과는 질환의 진단명과 입력된 영상에 질환의 위치를 표시해주는 것이다.
자동 판독 솔루션은 개발과 검증에 수천 건에서 수십만 건의 많은 데이터를 필요로 한다. 데이터는 영상과 그 영상에 대응하는 정확한 질환명이다. 이러한 의료정보 데이터는 전자의무기록(EMR)으로 의료기관 시스템에 저장되어 있다.
도 3은 의료기관들이 디지털화된 의료정보들이 전자의무기록 시스템 상에 저장된 판독기록문을 보여준다. 환자의 상태는 시간 경과에 따라 변하는 것이 일반적이기 때문에 전자의무기록은 영상과 그 영상의 판독기록문만 저장할 뿐 최종진단명은 저장하지 않는다.
영상 및 생체신호검사 등에 대한 판독기록문은 대부분 비정형화 텍스트(unstructured, free-text) 형식으로 저장된다. 통계나 학습을 위한 레이블링 등과 같은 분석을 위해서는 목적에 맞게 가공해야한다.
이러한 데이터의 비정형 특성은 최종진단명 레이블링(태깅)의 자동화를 어렵게 만든다. 수천에서 수십만 건이 요구되는 학습/검증 데이터 구축은 또 하나의 시간 소모적인 문제로 남겨져 자동화 기술에 대한 필요성이 증대되고 있다.
보편적으로는 자연어처리 기술인 정규 표현식(Regular expression)을 이용해 최종진단명을 추출한다. 판독기록문 형식은 병원마다 다르기 때문에 일반화 할 수 없다. 다양한 사례를 모두 포괄하는 알고리즘 개발은 많은 노동력과 시간이 드는 문제가 있다.
최근에는 텍스트 분류 문제에 딥러닝 기술을 적용하였다. 도 4는 기존의 합성곱신경망(Convolutional neural network, CNN)에 기반을 둔 텍스트 분류 모델을 보여준다. 합성곱신경망(Convolutional neural network, CNN)은 판독기록문에서 최종진단명을 추출할 수 있는 기법 중 하나이다.
이 기법은 정규 표현식을 통한 별도의 규칙 알고리즘의 개발 없이 판독기록문 문장을 입력으로 받아 최종 진단명을 분류한다. 정규 표현식을 기반으로 한 알고리즘보다 성능은 다소 앞선다.
종래에 판독기록분을 분석한 합성곱신경망은 여러 크기의 커널 사이즈와 함께한 1개의 합성곱(CNN) 은닉층(hidden layer)과 1개의 완전 연결(fully connected) 추론 은닉층으로 구성한다.
이런 단순한 구성은 합성곱신경망의 일반적인 특성으로 인하여 학습 시 정해진 고정된 크기의 이웃(인접) 단어간 의미만을 파악할 수 있어 매우 긴 문장 의미 분석 요구되는 문제의 경우 잘 작동하지 않는 문제가 있다.
본 발명은 합성곱신경망(Convolutional neural network, CNN)과 재귀신경망(Recurrent neural network, RNN)을 병렬적으로 결합하여 판독기록문에서 최종진단명을 정확하고 신속하게 추출하는 방법 및 장치를 제공한다.
본 발명은 컴퓨터로 구현되는 의료 판독기록문에서 최종 진단명을 추출하기 위한 방법에 있어서, 환자의 진단 이력을 나타내는 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 단계; 상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 단계; 및 상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 시퀀스 데이터를 생성하는 단계는 상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩(embedding) 단계를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 단계를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 단계를 더 포함할 수 있다.
또한, 본 발명은 상기 방법을 수행하도록 구성되는 판독기록문에서 최종 진단명을 추출하기 위한 장치로서 환자의 진단 이력을 나타내는 판독기록문을 수신하는 수신부; 상기 수신부에 수신된 상기 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 변환부; 상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 기계 학습부; 및 상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 추출부를 포함할 수 있다.
상기 시퀀스 데이터를 생성하는 변환부는 상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩하는 임베딩부를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 입력부를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 추론부를 더 포함할 수 있다.
본 발명은 병원마다 다른 판독기록문 데이터 형식에 모두 적용이 가능한 최종진단명 추출 솔루션을 제공한다. 이에 판독기록문 분석의 효율성이 증가할 수 있다.
본 발명의 합성곱신경망 및 재귀신경망을 결합한 최종진단명 추론 네트워크는 기존의 합성곱신경망만을 기반을 둔 텍스트 추론 네트워크가 갖는 단점인 데이터 형식과 문장 길이의 제한을 극복한 높은 성능을 가진다.
도 1은 본 발명의 일 실시예에 따른 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법(S100)의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 장치(200)의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예를 설명하기 위한 판독기록문의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 합성곱신경망(Convolutional neural network, CNN)기반 텍스트를 분류하는 모델을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법의 전체 흐름을 도시한 도면이다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 이하의 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 본 발명이 속하는 기술 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 일실시예에 따른 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법을 나타낸 순서도이다.
도 1을 참조하면, 일실시예에 따른 컴퓨터로 구현되는 의료 판독기록문에서 최종 진단명을 추출하기 위한 방법은 환자의 진단 이력을 나타내는 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 단계(S110), 상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 단계(S120) 및 상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 단계(S130)를 포함하여 구성할 수 있다.
상기 시퀀스 데이터를 생성하는 단계(S110)는 상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩(embedding) 단계를 더 포함하여 구성할 수 있다.
상기 기계 학습시키는 단계(S120)는 병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 단계를 더 포함하여 구성할 수 있다.
또한, 상기 기계 학습시키는 단계(S120)는 상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 단계를 더 포함하여 구성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법의 전체 흐름을 도시한다.
합성곱신경망(Convolutional neural network, CNN)과 재귀신경망(Recurrent neural network, RNN)은 순차적으로 연결된 것이 아니라 병렬적으로 결합한다. 합성곱신경망과 재귀신경망 각각에서 학습된 결과는 일반적인 신경망인 완전 연결 네트워크(Fully connected network)에서 최종적인 추론을 거친다.
합성곱신경망과 재귀신경망의 병렬 결합은 합성곱신경망의 장점인 인접 단어 간 의미 파악의 용이함과 재귀신경망의 장점인 긴 문장의 의미 분석을 모두 갖춘다. 따라서 다른 두 신경망으로부터 추출된 특징들은 신경망에서 재차 입력으로 사용하기 때문에 판독기록문 별로 최종진단명을 추론하는데 있어서 필요한 문장의 길이에 상관없이 높은 성능을 낼 수 있다.
판독기록문은 시퀀스 데이터 단계를 거쳐 단어 토큰(token)으로 변환된다. 각 단어 토큰들은 단어의 의미를 반영한 다차원 벡터 형태로 변환한다. 다차원 벡터로 변형된 단어는 수식관계 및 출현 빈도수 등을 고려하여 학습할 수 있다.
이러한 학습방법은 Word Embedding 이라고 한다. Skip-gram model, TF-IDF 등의 기법들이 있다. 본 발명의 일 실시예에는 구글에서 제시한 Skip-gram model을 사용한다. 이 모델은 주어진 단어 하나를 가지고 그 단어 주변에 등장할 나머지 단어들을 예측할 수 있다. 하지만 해당 기법에만 구애 받지 않고 다른 기법들도 사용이 가능하다.
판독기록문에서 최종진다명을 추출하기 위하여 판독기록문-최종진단명 페어(pair) 정답 데이터를 구축하는 것은 많은 시간이 소모된다. 대부분의 학습 환경은 적은 양의 학습 데이터만을 가지고 학습하는 것이 일반적이다.
그러나 적은 양의 데이터는 전체 네트워크(임베딩층 + 결합 추론 네트워크)를 학습할 경우 임베딩 층의 벡터 표현 성능이 좋지 못하여 전체적인 네트워크 성능이 저하될 수 있다.
본 발명의 일실시예로 사용하는 Skip-gram model의 경우 비지도 학습 방법으로 학습이 가능하기 때문에, 본 발명에서는 판독기록문-최종진단명 정답 데이터가 아닌 전체 판독기록문을 사용하여 Skip-gram model의 사전학습을 진행하고 학습된 가중치를 임베딩 층에 전이하여 전체 네트워크의 학습을 수행함으로써(전이학습, transfer learning) 벡터 표현 성능을 향상시켜 네트워크 전체 성능을 고도화하는 방법을 적용하였다.
합성곱신경망 (convolutional neural network, CNN)은 임베딩 층을 거쳐 나온 단어 벡터 시퀀스에 다양한 윈도우 사이즈의 커널 다수 개를 적용한 합성곱연산(convolution operation)을 수행하여 특징 값들을 추출하는 네트워크로, 인접 단어 간 수식관계를 고려한 단어 결합 의미 분석을 통해 최종진단명에 영향을 미치는 특정 수식어 및 특정 키워드를 학습할 수 있다.
본 발명에 사용된 합성곱신경망 구조는 기존 CNN기반 텍스트 분류 모델과 같이 윈도우 사이즈 2, 3, 4의 커널을 각각 두 개씩 총 6개의 커널을 적용한 합성곱연산(convolution operation)을 수행한 후 비선형(non-linear) 활성함수(activation function) 를 통해서 6개의 특징맵을 생성한 뒤, max-pooling을 거쳐 최종 특징맵이 추출되도록 구성되어 있다.
재귀신경망 (recurrent neural network, RNN)은 합성곱신경망과 달리 임베딩 층을 거쳐 나온 단어 벡터 시퀀스를 각 단어별로 순차적으로 네트워크의 입력으로 넣어 특징을 추출하는데, 이전 입력 시퀀스에서 추론한 상태 벡터와 함께 새로 들어온 단어를 추론하기 때문에 긴 문장의 문맥을 반영한 특징맵 추출이 가능하다.
재귀신경망에 다양한 구조들이 있지만, 본 발명에서는 시퀀스 길이가 길어도 학습이 잘 이루어 질 수 있는 LSTM(Long short term memory)과 전/후 수식을 모두 반영하기 위한 Bi-directional RNN 구조를 적용하였다.
합성곱신경망과 재귀신경망을 통해 추출된 다른 특성을 갖는 두 개의 특징맵을 연결한(concatenate) 단일 특징맵을 입력으로 하여 완전 연결 추론 네트워크(Fully connected network)를 통해 최종진단명을 추론한다. 이때, 네트워크의 출력은 정해진 개수의 추론해야 할 최종진단명들에 대한 확률 값들이고 최종진단명은 그 중 가장 확률 값이 높은 진단명으로 예측된다.
네트워크 학습은 정답 진단명의 확률을 최대화하는 방향으로 전체 네트워크(임베딩 층 + 결합 추론 네트워크)의 파라미터들을 최적화함으로써 수행된다.
CNN + RNN 결합 네트워크는 목표로 하는 문제를 해결하기 위하여 두 네트워크의 파라미터들을 동시에 학습하게 된다. 이를 통해 두 네트워크는 장점은 유지하면서 서로간 상호보완적으로 특징을 추출할 수 있도록 학습된다.
반면에, 모델 앙상블(ensemble) 방식과 동일한 독립적으로 학습된 CNN과 RNN의 개별 추론 모델의 단순결합은 이미 모델을 통해 예측된 확률 값을 평균 내는 것이므로 일반화에 있어서 조금 도움은 될 수 있으나 상호보완적 특징 추출 학습은 고려되지 않는다.
도 2는 본 발명의 일 실시예에 따른 판독기록문으로부터 최종 진단명을 추출하는 장치(200)의 개략적인 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 판독기록문으로부터 최종 진단명을 추출하는 방법을 실행하도록 구성되는 장치(200)는 환자의 진단 이력을 나타내는 판독기록문을 수신하는 수신부; 상기 수신부에 수신된 상기 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 변환부; 상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 기계 학습부; 및 상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 추출부를 포함할 수 있다.
상기 시퀀스 데이터를 생성하는 변환부는 상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩하는 임베딩부를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 입력부를 더 포함할 수 있다.
상기 기계 학습시키는 단계는 상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 추론부를 더 포함할 수 있다.
판독기록문으로부터 최종 진단명 추출하는 장치의 개별 구성들의 구체적인 기능 및 동작은 이미 상술하였으므로 본 단락에서는 이를 생략한다.
상기 장치에는 제어부(미도시)를 추가할 수 있다. 상기 제어부는 수신부(210), 변환부(220), 기계 학습부(230), 및 추출부(240)를 총괄적으로 제어할 수 있다. 예컨대, 상기 제어부는 단일의 제어기(controller)로 구현하거나, 복수의 마이크로제어기(micro-controller)로서 구현할 수 있다.
상술한 본 발명의 일 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 판독 가능한 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
210: 수신부
220: 변환부
230: 기계 학습부
240; 추출부

Claims (9)

  1. 컴퓨터로 구현되는 의료 판독기록문에서 최종 진단명을 추출하기 위한 방법에 있어서,
    환자의 진단 이력을 나타내는 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 단계;
    상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 단계; 및
    상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 단계
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 시퀀스 데이터를 생성하는 단계는,
    상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩(embedding) 단계
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 기계 학습시키는 단계는,
    병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 단계
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 기계 학습시키는 단계는,
    상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 단계
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  5. 제1항 내지 제4항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  6. 제 1 항 내지 제4 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 판독기록문에서 최종 진단명을 추출하기 위한 장치로서,
    환자의 진단 이력을 나타내는 판독기록문을 수신하는 수신부;
    상기 수신부에 수신된 상기 판독기록문을 단어 벡터 시퀀스(sequence) 형태로 표현함으로써 시퀀스 데이터를 생성하는 변환부;
    상기 시퀀스 데이터에 대해 합성곱 신경망(Convolutional neural network, CNN) 및 재귀신경망(Recurrent neural network, RNN)을 기반으로 기계 학습시키는 기계 학습부; 및
    상기 기계 학습된 데이터를 이용하여 최종진단명을 획득하는 추출부
    를 포함하는 최종 진단명 추출 장치.
  7. 제 6 항에 있어서,
    상기 시퀀스 데이터를 생성하는 변환부는,
    상기 판독기록문에 기록된 문장의 각 단어를 다차원 벡터로 변환하는 임베딩하는 임베딩부
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  8. 제 6 항에 있어서,
    상기 기계 학습시키는 단계는,
    병렬로 구성된 상기 합성곱 신경망과 상기 재귀신경망에 상기 시퀀스 데이터가 각각 입력되는 입력부
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
  9. 제 6 항에 있어서,
    상기 기계 학습시키는 단계는,
    상기 합성곱 신경망과 상기 재귀신경망에서 학습된 데이터를 완전 연결 네트워크(Fully connected network)로 학습시키는 추론부
    를 포함하는 판독기록문에서 최종 진단명을 추출하기 위한 방법.
KR1020180074081A 2018-06-08 2018-06-27 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치 KR102060418B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180066220 2018-06-08
KR1020180066220 2018-06-08

Publications (2)

Publication Number Publication Date
KR20190139722A true KR20190139722A (ko) 2019-12-18
KR102060418B1 KR102060418B1 (ko) 2019-12-30

Family

ID=69052511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180074081A KR102060418B1 (ko) 2018-06-08 2018-06-27 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102060418B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142585B1 (ko) * 2020-03-05 2020-08-07 박영훈 반려 동물 의료상담 방법 및 장치
CN111666762A (zh) * 2020-05-20 2020-09-15 东华大学 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法
CN112016295A (zh) * 2020-09-04 2020-12-01 平安科技（深圳）有限公司 症状数据处理方法、装置、计算机设备及存储介质
CN112148882A (zh) * 2020-11-27 2020-12-29 北京惠及智医科技有限公司 病历文本处理方法、装置、电子设备及存储介质
KR20230076335A (ko) * 2021-11-24 2023-05-31 한국과학기술원 의료 데이터 임베딩 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122845A (ja) * 2001-10-09 2003-04-25 Shinkichi Himeno 医療情報の検索システム及びそのシステムを実行するためのプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142585B1 (ko) * 2020-03-05 2020-08-07 박영훈 반려 동물 의료상담 방법 및 장치
CN111666762A (zh) * 2020-05-20 2020-09-15 东华大学 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法
CN111666762B (zh) * 2020-05-20 2023-06-20 东华大学 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法
CN112016295A (zh) * 2020-09-04 2020-12-01 平安科技（深圳）有限公司 症状数据处理方法、装置、计算机设备及存储介质
CN112016295B (zh) * 2020-09-04 2024-02-23 平安科技（深圳）有限公司 症状数据处理方法、装置、计算机设备及存储介质
CN112148882A (zh) * 2020-11-27 2020-12-29 北京惠及智医科技有限公司 病历文本处理方法、装置、电子设备及存储介质
CN112148882B (zh) * 2020-11-27 2021-09-10 北京惠及智医科技有限公司 病历文本处理方法、装置、电子设备及存储介质
KR20230076335A (ko) * 2021-11-24 2023-05-31 한국과학기술원 의료 데이터 임베딩 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2023096386A1 (ko) * 2021-11-24 2023-06-01 재단법인 아산사회복지재단 의료 데이터 임베딩 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR102060418B1 (ko) 2019-12-30

Similar Documents

Publication Publication Date Title
KR102060418B1 (ko) 진단명 레이블링을 위한 딥러닝을 이용한 판독기록문으로부터 최종 진단명 추출 방법 및 장치
US11645833B2 (en) Generative adversarial network medical image generation for training of a classifier
US11813113B2 (en) Automated extraction of echocardiograph measurements from medical images
US10540578B2 (en) Adapting a generative adversarial network to new data sources for image classification
US11282196B2 (en) Automated patient complexity classification for artificial intelligence tools
US10930386B2 (en) Automated normality scoring of echocardiograms
CN111316281B (zh) 基于机器学习的自然语言情境中数值数据的语义分类方法以及系统
US20190347269A1 (en) Structured report data from a medical text report
US10936628B2 (en) Automatic processing of ambiguously labeled data
US11663057B2 (en) Analytics framework for selection and execution of analytics in a distributed environment
US10892056B2 (en) Artificial intelligence based alert system
US11334806B2 (en) Registration, composition, and execution of analytics in a distributed environment
US20220188575A1 (en) Crowdsourcing to filter out unpopular potential candidate answers
US20200027530A1 (en) Simulating Patients for Developing Artificial Intelligence Based Medical Solutions
Rajesh et al. Machine learning for online automatic prediction of common disease attributes using never-ending image learner
US11809826B2 (en) Assertion detection in multi-labelled clinical text using scope localization
CN115374788B (zh) 农业病虫害文本命名实体的方法及装置
US10860637B2 (en) System and method for rapid annotation of media artifacts with relationship-level semantic content
Miller Clinical ambiguity in the intelligent machine era (treats breaks and discharges)
Lacanlale HeartSmart: A Clinical Decision Support System for Cardiomegaly Detection in Chest X-ray Images using Convolutional Neural Network
Melvin et al. Visual Question Answering System for Skeletal Images Based on Feature Extraction Using Faster RCNN and Kai-Bi-LSTM Techniques
CN118132735A (zh) 医疗规则库的生成方法和装置
CN118133971A (zh) 基于大语言模型的医疗问答方法和装置
CN115081451A (zh) 实体识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant