KR102504407B1 - 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스 - Google Patents

사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스 Download PDF

Info

Publication number
KR102504407B1
KR102504407B1 KR1020210005888A KR20210005888A KR102504407B1 KR 102504407 B1 KR102504407 B1 KR 102504407B1 KR 1020210005888 A KR1020210005888 A KR 1020210005888A KR 20210005888 A KR20210005888 A KR 20210005888A KR 102504407 B1 KR102504407 B1 KR 102504407B1
Authority
KR
South Korea
Prior art keywords
risk
death
model
data
medical image
Prior art date
Application number
KR1020210005888A
Other languages
English (en)
Other versions
KR20220103379A (ko
Inventor
신상준
이충근
임준석
백은실
최정은
강재우
김선규
최용화
Original Assignee
주식회사 온코소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온코소프트 filed Critical 주식회사 온코소프트
Priority to KR1020210005888A priority Critical patent/KR102504407B1/ko
Publication of KR20220103379A publication Critical patent/KR20220103379A/ko
Application granted granted Critical
Publication of KR102504407B1 publication Critical patent/KR102504407B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 명세서에서는, 프로세서에 의해 구현되는 사망 위험도에 대한 정보 제공 방법으로 개체에 대한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 수신하는 단계, 영상 판독문 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 개체에 대한 사망 위험도를 예측하는 단계, 및 개체에 대하여 예측된 상기 사망 위험도를 제공하는 단계를 포함하고, 개체가 암 발병된 개체인, 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 사망 위험도 예측용 디바이스가 제공된다.

Description

사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스{METHODS FOR PROVIDING INFORMATION OF MORTALITY RISK AND DEVICES FOR USING THE SAME}
본 발명은 사망 위험도에 대한 정보 제공 방법 및 디바이스에 관한 것이다.
의료 서비스를 이용하는 많은 환자들은 치명적인 질환에 쉽게 노출되기 쉽고 경우에 따라 지속적인 건강상태의 체크와 이에 따른 조치를 필요로 한다. 특히, 암 환자와 같은 요주의 환자들은 환자의 상태에 대한 지속적인 관찰이 보다 중요할 수 있다.
보다 구체적으로, 다양한 치료 방법을 병행하는 암 치료는 여러 가지 부작용을 포함하고 있어, 암 환자의 경우, 다른 질환에 비해 재발 가능성이 높기 때문에 여러 가지 기타 위험 요인들을 고려한 예후 모니터링이 필요하다.
한편, 암 환자의 증가에 따라, 암 관련 합병증 또는 치료 후 나타나는 부작용으로 인한, 입실 치료 또한 증가하고 있는 실정이다. 그러나, 암 환자의 입실의 경우, 좋은 치료 예후를 기대하기 어렵거나, 다른 위험 요인에 노출될 수 있다.
즉, 암 환자를 입실시킬 것인지를 결정하고, 나아가, 암 환자들의 생명 유지를 위한 치료의 잠재성을 예측하는 의사 결정은, 매우 중요하고도 어려운 일일 수 있다. 특히, 회복 전망을 가진 환자에 대한, 중환자실 내에서의 집중 치료의 기회를 보장하고, 회복 가능성이 낮은 환자의 경우, 환자뿐만 아니라 가족이 불 필요한 고통을 받지 않기 위해서, 정확한 예후 예측이 매우 중요할 수 있다.
한편, 의사 결정 기준에 중점을 둔 여러 출판물들이 공개되었지만, 제안된 의사 결정 기준은 상대적으로 많은 위험 요인들을 갖는 암 환자에 대하여 명확하지 않을 수 있다. 이에, 암 환자의 경우, 여전히 입실 및/또는 계속 치료를 해야 할지에 대한 불확실성이 남아있다.
따라서, 의사, 환자 및 가족이 치료 목표를 결정하고, 정확하게 의사 결정을 하는 것에 있어서, 치료 예후, 나아가 사망 위험도에 대한 정보를 제공할 수 있는 시스템의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 본 발명의 발명자들은, 임상적으로 사망과 같은 응급 상황이 발생하기 이전에 다양한 EMR (electronic medical records) 데이터의 변화가 선행 할 것이라는 점에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은 EMR 데이터 중, 의료 영상 판독문 데이터의 변화가, 사망, 낮은 회복 가능성과 같은 안 좋은 예후와 연관성을 가질 수 있음에 주목하였다.
결과적으로, 본 발명의 발명자들은, 의료 영상 판독문 데이터가 환자, 특히 암 환자에 대한 사망 위험도를 예측하는 것에 이용될 수 있음을 인지할 수 있었다.
한편, 본 발명의 발명자들은, 사망 위험도의 예측과 관련하여, 환자의 외래 진료 대화 데이터가 사망 위험도와 연관이 있음에 더욱 주목하였다.
결과적으로, 본 발명의 발명자들은 진료 음성 기록 데이터를 사망 위험도의 예측에 더욱 고려하고자 하였다.
그 결과, 본 발명의 발명자들은 개체로부터 획득한 의료 영상 판독문 데이터와 같은 EMR 데이터 및/또는 진료 음성 기록 데이터에 기초한 사망 위험도 예측 시스템을 개발하기에 이르렀다.
한편, 본 발명의 발명자들은, 새로운 사망 위험도 예측 시스템에 대하여, 의료 영상 판독문 데이터의 EMR 데이터 및/또는 진료 음성 기록 데이터를 기초로 사망 위험도를 예측하도록 학습된 예측 모델을 적용할 수 있었다.
특히, 본 발명의 발명자들은, 언어 모델을 이용하여 의료 영상 판독문 데이터로부터 사망 위험도와 연관된 특징을 추출하고, 진료 음성 기록 데이터를 텍스트화하고 이를 생존 예측에 적용하고자 하였다.
그 결과, 본 발명의 발명자들은 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 입력으로 하여 특징을 추출하는 언어 모델과 이들 특징을 학습하여 사망 위험도를 출력하는 예측 모델을 사망 위험도 예측 시스템에 적용할 수 있었다. 이를 통해, 본 발명의 발명자들은 예측 모델의 사망 위험도의 예측 능력 향상을 기대할 수 있었다.
이때, 본 발명의 발명자들은 예측 모델의 성능 향상을 위해, 학습에 있어서 동일한 환자에 대한 복수 회 진찰에 따른 시계열의 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 적용하였고, 예측 결과에 기초하여 예측 모델을 업데이트하고자 하였다.
결과적으로, 예측 모델에 기초한 새로운 사망 위험도 예측 시스템은, 개체, 특히 복수 회 진료가 수행된 단일 개체에 대하여 정확도 및 신뢰도 높은 예측 정보를 제공할 수 있었다.
본 발명의 발명자들은 이러한 사망 위험도 예측 시스템 개발을 통해, 특히 암 환자에 대한 입실 여부를 결정하는 의사 결정을 위한 정보를 제공할 수 있음을 기대할 수 있었다.
나아가, 본 발명의 발명자들은 상기와 같은 사망 위험도 예측 시스템이 환자의 상태에 대하여 빠르게 감지하고 사망과 같은 응급 상황을 미리 인지하여, 환자에 대한 처치 시점을 앞당겨 치료 성과를 높일 수 있음을 기대할 수 있었다. 이에, 본 발명의 발명자들은, 무분별한 치료 비용의 감소와 함께, 암 환자의 생존률 증가에 기여할 수 있음을 더욱 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 수신된 개체에 대한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 기초로, 사망 위험도를 예측하도록 학습된 예측 모델을 이용하여, 개체에 대한 사망 위험도를 예측하도록 구성된 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법이 제공된다. 이때, 본 발명의 사망 위험도에 대한 정보 제공 방법은, 프로세서에 의해 구현되는 방법으로, 개체에 대한 의료 영상 판독문 데이터를 수신하는 단계, 영상 판독문 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 개체에 대한 사망 위험도를 예측하는 단계, 및 개체에 대하여 예측된 사망 위험도를 제공하는 단계를 포함한다. 이때, 개체는, 암 발병된 개체이다.
본 발명의 특징에 따르면, 상기 방법은, 수신하는 단계 이전에, 기수신된 의료 영상 판독문 데이터에 기초하여 예측 모델을 업데이트하는 단계를 더 포함할 수 있다. 이때, 사망 위험도를 예측하는 단계는, 업데이트된 예측 모델을 이용하여 개체에 대한 사망 위험도를 예측하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 기수신된 의료 영상 판독문 데이터는, 동일 개체에 대한 복수 회의 예측에 따른 시계열 의료 영상 판독문 데이터를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 영상 판독문을 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도를 예측하는 단계는, 언어 모델을 이용하여, 영상 판독문에 기초하여 임베딩 백터를 결정하는 단계, 임베딩 백터에 기초하여 단일 특징 백터를 결정하는 단계, 및 사망 위험도 예측 모델을 이용하여, 특징 백터에 기초하여 사망 위험도를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 언어 모델은, BERT (Bidirectional Encoder Representation from Transformers) 모델, GPT (Generation Pre-trained Transformer) 모델, 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도 예측 모델은, 콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗 (multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 수신하는 단계는, 개체에 대한 진료 음성 기록 데이터를 수신하는 단계를 더 포함하고, 예측 모델은, 영상 판독문 데이터 및 음성 기록 데이터를 기초로, 사망 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 수신하는 단계는, 성별, 연령, 및 종양표지자 수치 중 적어도 하나의 임상 데이터를 수신하는 단계를 더 포함하고, 예측 모델은, 영상 판독문 데이터 및 임상 데이터를 기초로, 사망 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상 판독문을 입력으로 하여 전체 생존 기간 (Overall Survival) 을 출력하도록 구성되고, 사망 위험도를 예측하는 단계는, 예측 모델을 이용하여, 개체에 대한 전체 생존 기간을 예측하는 단계를 포함할 수 있다. 이때, 제공하는 단계는, 전체 생존 기간을 제공하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도를 제공하는 단계는, 기저장된 개체와 상이한 개체에 대한 사망 위험도 및 개체의 사망 위험도에 기초하여, 사망 위험도 분포도를 제공하는 단계를 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위해, 본 발명의 다른 실시예에 따른 사망 위험도에 대한 정보 제공용 디바이스가 제공된다. 이때, 상기 디바이스는 개체에 대한 의료 영상 판독문 데이터를 수신하도록 구성된 통신부, 및 통신부와 통신하도록 연결된 프로세서를 포함한다. 프로세서는 영상 판독문 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 개체에 대한 사망 위험도를 예측하고, 개체에 대하여 예측된 사망 위험도를 제공하도록 구성되고, 개체는, 암 발병된 개체이다.
본 발명의 특징에 따르면, 프로세서는, 기수신된 의료 영상 판독문 데이터에 기초하여 예측 모델을 업데이트하고, 업데이트된 예측 모델을 이용하여 개체에 대한 사망 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 기수신된 의료 영상 판독문 데이터는, 동일 개체에 대한 복수 회의 예측에 따른 시계열 의료 영상 판독문 데이터를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 영상 판독문을 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 언어 모델을 이용하여, 영상 판독문에 기초하여 임베딩 백터를 결정하고, 임베딩 백터에 기초하여 단일 특징 백터를 결정하고, 사망 위험도 예측 모델를 이용하여, 특징 백터에 기초하여 사망 위험도를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 언어 모델은, BERT (Bidirectional Encoder Representation from Transformers) 모델, GPT (Generation Pre-trained Transformer) 모델, 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도 예측 모델은, 콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗(multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 통신부는, 개체에 대한 진료 음성 기록 데이터를 수신하도록 더 구성될 수 있다. 이때, 예측 모델은, 영상 판독문 데이터 및 음성 기록 데이터를 기초로, 사망 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 통신부는, 성별, 연령, 및 종양표지자 수치 중 적어도 하나의 임상 데이터를 수신하도록 더 구성되고, 예측 모델은, 영상 판독문 데이터 및 임상 데이터를 기초로, 사망 위험도를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상 판독문을 입력으로 하여 전체 생존기간 (Overall Survival) 을 출력하도록 구성되고, 프로세서는, 예측 모델을 이용하여, 개체에 대한 전체 생존 기간을 예측하고, 전체 생존 기간을 제공하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 기저장된 개체와 상이한 개체에 대한 사망 위험도 및 개체의 사망 위험도에 기초하여, 사망 위험도 분포도를 제공하도록 더 구성될 수 있다.
이하, 실시예를 통하여 본 발명을 보다 상세히 설명한다. 다만, 이들 실시예는 본 발명을 예시적으로 설명하기 위한 것에 불과하므로 본 발명의 범위가 이들 실시예에 의해 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 개체에 대하여 다양한 EMR 데이터, 나아가 진료 음성 기록 데이터를 수신하고, 수신된 데이터 기반의 사망 위험도 예측 시스템을 제공함으로써, 개체의 사망 위험과 같은 예후와 연관된 정보를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은 개체로부터 획득한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터에 기초한 사망 위험도 예측 시스템을 제공함으로써, 개체의 사망 위험도와 연관된 정보를 제공할 수 있다.
특히, 본 발명은, 복수 회 진찰이 수행된 개체의 예측 결과에 기초하여 업데이트된 예측 모델을 이용함에 따라, 높은 정밀도 및 정확도로 사망 위험도를 제공할 수 있다.
이에, 본 발명은, 암 환자의 의사 결정에 있어서, 기준이 될 수 있는 정보를 제공할 수 있는 효과가 있다.
나아가, 본 발명은, 의사 결정 기준이 상대적으로 많은 위험 요인들을 갖는 암 환자에 대하여 명확하지 않고, 암 환자의 경우, 입실 및/또는 계속 치료를 해야 할지에 대한 불확실성을 갖는 종래의 의사 결정 기준 방법이 갖는 한계를 극복할 수 있는 효과가 있다.
따라서, 본 발명은, 의사 결정에 고려 될 수 있는, 사망 위험도와 연관된 정보를 제공함으로써, 회복 전망을 가진 환자에 대한, 집중 치료의 기회를 보장하고, 회복 가능성이 낮은 환자의 경우, 환자뿐만 아니라 가족이 불 필요한 고통을 받지 않게 하는 것에 기여할 수 있는 효과가 있다.
또한, 본 발명은, 사망 발생이 예측되는 고위험군에 대하여 의료적 처치 시점을 앞당겨 좋은 예후를 제공할 수 있고, 생존률 증가, 합병증 예방, 및 치료 비용 감소에 기인할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법 및 디바이스에 기초한 사망 위험도 예측 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 실시예에 따른 사망 위험도에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.
도 1c는 본 발명의 실시예에 따른 사망 위험도에 대한 정보 제공용 디바이스로부터 정보를 제공받는 의료진 디바이스를 설명하기 위한 개략도이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법에 따라 예측 모델을 업데이트하는 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 5a 내지 5c는 본 발명의 다양한 실시예에 이용되는 예측 모델에 대한 예측 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 사망 발생의 위험도를 예측하고자 하는 대상을 의미할 수 있다. 한편, 본원 명세서 내에서 개체는, 암 발병 개체, 바람직하게 직장 암 발병 개체일 수 있다. 그러나, 이에 제한되지 않고, 본원 명세서 내에서의 개체는 사망 발생의 위험도를 예측하고자 하는 모든 대상을 포함할 수 있다. 나아가, 본원 명세서 내에서 개체는, 환자와 동일한 의미로 해석될 수 있다.
본 명세서에서 사용되는 용어, "의료 영상 판독문 데이터"는 개체의 병변 부위에 대한 의료 영상에 대한 의료진의 소견이 담긴 판독지 데이터일 수 있다.
예를 들어, 본원 명세서 내에 개시된 의료 영상 판독문 데이터는, 개체의 병변 부위에 대한 자기 공명 영상, x-레이 영상, 컴퓨터 단층 촬영 영상, 또는 초음파 영상의 판독지일 수 있다.
본 발명의 특징에 따르면, 의료 영상 판독문 데이터는, 자기 공명 영상 방사선학 판독지 (radiologic report) 일 수 있으나 이에 제한되는 것은 아니다.
본 발명의 다른 특징에 따르면, 의료 영상 판독문 데이터는, 복수 회 의료 영상 촬영에 따른 복수의 데이터 (또는, 시계열 데이터) 일 수 있다.
본 명세서에서 사용되는 용어, "진료 음성 기록 데이터"는 개체에 대한 외래 진료 시 발화 데이터, 특히 의료진의 소견이 담긴 음성 데이터일 수 있다. 그러나, 이에 제한되는 것은 아니다. 예를 들어, 진료 음성 기록 데이터를 대신하여, 음성 기록 데이터에 대한 텍스트 데이터가 이용될 수 있다.
본 명세서에서 사용되는 용어, "사망 위험도"는 개체에 대한 사망 발생의 위험도를 의미할 수 있다. 이때, 사망 위험도는, 개체에 대한 미리 결정된 시간 이내의 사망률, 또는 생존률을 포함할 수 있다.
바람직하게, 사망 위험도는, 개체에 대한 단기 사망률, 예를 들어 192 시간 이내의 사망률일 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 사망 위험도는, 전체 생존기간 (Overall Survival) 또는 예측 생존 기간 분포도를 포함할 수 있다.
본 명세서에서 사용되는 용어, "예측 모델"은 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터 의 개체 데이터를 기초로 사망 발생의 위험도를 예측하도록 학습된 모델일 수 있다.
본 발명의 특징에 따르면, 예측 모델은 판독문 및/또는 진료 음성 기록 데이터를 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델로 이루어질 수 있다.
이때, "언어 모델"은 인공 신경망을 기반의 자연어 처리 (NLP, Natural language processing) 모델일 수 있다.
본 발명의 특징에 따르면, 언어 모델은, BERT (Bidirectional Encoder Representation from Transformers) 모델, 또는 GPT (Generation Pre-trained Transformer) 모델일 수 있다. 그러나 이에 제한되는 것은 아니며, 언어 모델은 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나일 수 있다.
본 발명의 다른 특징에 따르면, 언어 모델은 선행 학습된 딥-러닝 기반 언어 모델로서, 확장된 BERT, 예를 들어, BioBERT, CliniclalBERT일 수 있다.
이때, 언어 모델은, 전처리 없이 의료 영상 판독문 (또는, 판독문 내의 단어) 및/또는 진료 음성 기록 데이터 (또는, 진료 음성 기록의 텍스트 데이터의 단어) 를 임베딩 백터로 전환하도록 구성될 수 있다.
한편, 임베딩 백터는 통합 (aggregation) 절차를 통해 단일 특징 백터로 전환될 수 있고, 특징 백터는 사망 위험도의 예측에 이용될 수 있다.
언어 모델은, 사망 위험도 예측 모델에 대하여 자연어뿐만 아니라 판독문 데이터 및 진료 음성 기록 데이터 상의 임상 용어에 대한 이해를 높일 수 있다.
"사망 위험도 예측 모델"은 특징 (또는, 특징 백터) 에 기초하여 사망 위험도 (또는, 생존 위험도 (survival risk)) 를 예측하도록 구성된 통계 모델 또는 딥 러닝 모델일 수 있다.
이때, 사망 위험도 예측 모델은, 콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗(multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나일 수 있다. 바람직하게, 사망 위험도 예측 모델은 콕스 비례 위험 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 사망 위험도 예측 모델은, XGBoost 알고리즘 (Extreme Gradient Boosting algorithm), RF (Random Forest), glmnet, cforest, CART (Classification and Regression Trees for Machine Learning), treebag, kNN (K-Nearest Neighbors), nnet (neural network), SVM-radial (Support Vector Machine radial), SVM-linear (Support Vector Machine linear), NB (Naive Bayes), 또는 mlp (multilayer perception) 의 알고리즘을 기반의 모델일 수도 있다.
본 발명의 특징에 따르면, 예측 모델은, 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터뿐만 아니라, 성별, 연령, 및 종양표지자 수치 (예를 들어, CEA (Carcinoembryonic antigen)) 중 적어도 하나의 임상 데이터를 더 이용하여 개체의 사망 위험도를 예측할 수 있다.
이하에서는, 도 1a 내지 1c를 참조하여, 본 발명의 다양한 실시예에 따른 사망 위험도에 대한 정보 제공용 디바이스를 상세히 설명한다.
도 1a은 본 발명의 실시예에 따른 의료 영상 판독문 데이터를 이용한 사망 위험도에 대한 정보 제공 시스템을 설명하기 위한 개략도이다.
먼저, 도 1a을 참조하면, 정보 제공 시스템 (1000) 은, 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 기초로 사망 위험도와 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 사망 위험도에 대한 정보 제공 시스템 (1000) 은, 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터, 나아가 성별, 연령, 특히, 개체가 암 환자일 경우 종양표지자 (예를 들어, CEA (Carcinoembryonic antigen)) 수치와 같은 개체에 대한 임상 데이터에 기초하여 사망 위험도를 결정하도록 구성된 사망 위험도에 대한 정보 제공용 디바이스 (100), 의료진 디바이스 (200), 및 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터, 나아가 성별, 연령, 종양표지자 수치와 같은 개체에 대한 임상 데이터를 제공하는 EMR 데이터베이스 제공 서버 (300) 로 구성될 수 있다.
먼저, 사망 위험도에 대한 정보 제공용 디바이스 (100) 는 EMR 데이터베이스 제공 서버 (300) 로부터 제공된 개체의 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 기초로 사망 위험도를 예측하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. 이때, 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터는 의료진 디바이스 (200) 로부터 획득될 수도 있다.
한편, 사망 위험도에 대한 정보 제공용 디바이스 (100) 는 EMR 데이터베이스 제공 서버 (300) 로부터 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 수신하고, 수신된 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터로부터 특징 백터를 추출하여 사망 위험도를 결정하도록 구성될 수 있다. 사망 위험도에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 사망 발생 시점을 예측하여 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 사망 위험도에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 사망 발생에 대한 정보 제공을 요청하고 분석 결과 데이터를 나타내기 위한 개체 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 사망 위험도에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 사망 발생에 관한 분석 결과를 수신하고, 수신된 결과는 표시부를 통해 표시될 수 있다. 여기서, 분석 결과는, 사망 위험도 (예를 들어, 사망 위험도 상, 중 또는 하), 사망 발생 확률, 전체 생존 기간, 사망 발생 시점, 생존 기간 분포 등을 포함할 수 있다.
다음으로, 도 1b를 참조하여, 본 발명의 사망 위험도에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b는 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.
도 1b를 참조하면, 사망 위험도에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 사망 위험도를 예측을 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 사망 위험도에 대한 정보 제공용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200) 나아가 EMR 데이터베이스 제공 서버 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 EMR 데이터베이스 제공 서버 (300) 로부터 개체의 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터, 나아가 성별, 연령 및 종양표지자 수치의 개체 임상 데이터를 수신할 수도 있다. 이때, 개체의 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터, 나아가 성별, 연령 및 종양표지자 수치의 개체 임상 데이터는 개체에 대한 복수 회 진찰에 따른 시계열 데이터일 수 있다. 통신부 (120) 는 의료진 디바이스 (200) 로 생존 예측 분석 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 EMR 데이터베이스 제공 서버 (300) 로부터 개체의 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 수신하고, 개체에 대한 사망 위험도를 예측할 수 있다.
한편, 프로세서 (130) 는 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터에 기초하여 사망 위험도를 예측하도록 구성된 예측 모델에 기초할 수 있다.
보다 구체적으로 프로세서 (130) 는, 판독문 및/또는 진료 음성 기록 데이터를 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델에 기초할 수 있다.
따라서, 의료진은, 의료진 디바이스 (200) 를 통해, 개체에 대한 사망 위험도와 연관된 정보를 용이하게 획득할 수 있다.
이와 같이 본 발명은 사망 위험도를 높은 정확도로 예측하여 이에 대한 정보를 제공함에 따라, 특히, 암 환자에 대한 사망 위험도의 예측 및 좋은 치료 예후에 기여할 수 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 사망 위험도에 대한 정보 제공용 디바이스 (100) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (210) 는 사망 위험도에 대한 정보 제공용 디바이스 (100) 로부터 개체의 사망 위험도와 연관된 분석 결과를 수신할 수 있다.
표시부 (220) 는 개체의 사망 위험도와 연관된 분석 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 개체의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 사망 위험도 예측 데이터를 나타내기 위한 개체 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 사망 위험도 예측 데이터 결과 데이터를 나타내기 위한 개체 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는 도 2a 내지 2c를 참조하여, 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2a 내지 2c는 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
먼저 도 2a를 참조하면, 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법은, 개체에 대한 의료 영상 판독문 데이터를 수신하고 (S210), 개체 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 개체에 대한 사망 위험도를 예측한다 (S220). 최종적으로 개체에 대하여 예측된 사망 위험도를 제공한다 (S230).
보다 구체적으로, 개체의 의료 영상 판독문 데이터를 수신하는 단계 (S210) 에서는, 개체에 대한 의료 영상 판독문 데이터가 수신될 수 있다.
본 발명의 특징에 따르면, 개체의 의료 영상 판독문 데이터를 수신하는 단계 (S210) 에서 수신된 의료 영상 판독문 데이터는, 개체의 병변 부위에 대한 자기 공명 영상, x-레이 영상, 컴퓨터 단층 촬영 영상, 또는 초음파 영상의 판독지 데이터 중 적어도 하나일 수 있다.
본 발명의 다른 특징에 따르면, 개체의 의료 영상 판독문 데이터를 수신하는 단계 (S210) 에서, 수신된 의료 영상 판독문 데이터는, 복수 회 의료 영상 촬영에 따른 복수의 데이터 (또는, 시계열 데이터) 일 수 있다.
본 발명의 또 다른 특징에 따르면, 개체의 의료 영상 판독문 데이터를 수신하는 단계 (S210) 와 동시에, 개체에 대한 진료 음성 기록 데이터를 수신하는 단계가 수행될 수 있다. 예를 들어, 개체에 대한 외래 진료 시 발화 데이터, 특히 의료진의 소견이 담긴 음성 데이터가 수신될 수 있다.
본 발명의 또 다른 특징에 따르면, 개체의 의료 영상 판독문 데이터를 수신하는 단계 (S210) 와 동시에, 개체에 대한 임상 데이터 (EMR 데이터) 를 수신하는 단계가 수행될 수 있다. 예를 들어, 개체의 성별, 연령, 및 종양표지자 수치 중 적어도 하나의 데이터가 수신될 수 있다.
다음으로, 사망 위험도가 예측되는 단계 (S220) 에서, 예측 모델에 의해 개체에 대한 사망 위험도가 예측될 수 있다.
본 발명의 특징에 따르면, 사망 위험도가 예측되는 단계 (S220) 에서, 예측 모델에 의해 영상 판독 데이터 및 음성 기록 데이터에 기초하여 사망 위험도가 결정될 수 있다.
본 발명의 다른 특징에 따르면, 사망 위험도가 예측되는 단계 (S220) 에서, 예측 모델에 의해 개채에 대한 영상 판독 데이터 및 개채의 성별, 연령, 및 종양표지자 수치 중 적어도 하나의 임상 데이터에 기초하여 사망 위험도가 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도가 예측되는 단계 (S220) 에서, 의료 영상 판독문을 입력으로 하여 전체 생존기간 (Overall Survival) 을 출력하도록 구성된 예측 모델에 의해 상기 개체에 대한 전체 생존 기간이 예측될 수 있다.
본 발명의 특징에 따르면, 예측 모델은, 영상 판독문을 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델로 이루어질 수 있다.
본 발명의 또 다른 특징에 따르면, 사망 위험도가 예측되는 단계 (S220) 에서, 언어 모델에 의해 영상 판독문에 기초하여 임베딩 백터가 결정되고, 임베딩 백터에 기초하여 단일 특징 백터가 결정되고, 사망 위험도 예측 모델에 의해 특징 백터에 기초하여 사망 위험도가 결정된다.
이때, 언어 모델은, BERT (Bidirectional Encoder Representation from Transformers) 모델, 또는 GPT (Generation Pre-trained Transformer) 모델일 수 있다. 그러나 이에 제한되는 것은 아니며, 언어 모델은 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 언어 모델은, 전처리 없이 의료 영상 판독문 (또는, 판독문 내의 단어) 를 임베딩 백터로 전환하도록 구성될 수 있다.
나아가, 사망 위험도 예측 모델은, 콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗(multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나일 수 있다. 바람직하게, 사망 위험도 예측 모델은 콕스 비례 위험 모델일 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 도 2b를 참조하면, 사망 위험도가 예측되는 단계 (S220) 에서, 수신된 진료 음성 기록 데이터 (412) 및/또는 자기 공명 영상 방사선학 판독지 (radiologic report) 데이터 (414) 가 언어 모델 (420) 에 입력된다. 이때, 언어 모델 (420) 은 방사선학 판독지 데이터를 복수의 임베딩 백터로 전환시킬 수 있다. 그 다음, 임베딩 백터로부터 특징 값 (422) 이 추출되는데, 이때, 특징 값 (422) 은 단일의 특징 백터에 대응할 수 있다. 그 다음, 특징 값 (422) 이 다시 사망 위험도 예측 모델 (430) 에 입력되고, 결과적으로 전체 생존 기간 (Overall Survival) 이 출력되고, 사망 위험도 (432) 가 '중'으로 출력될 수 있다.
즉, 예측 모델에 의해, 일상적 대화 수준의 자연어에 기초하여 개체의 생존 예측 분석이 가능할 수 있다.
다시, 도 2a를 함께 참조하면, 사망 위험도가 제공되는 단계 (S230) 에서, 사망 위험도 예측 모델 (430) 에 의해 예측된 사망 위험도 (432) 가 의료진 디바이스에 제공될 수 있다.
본 발명의 특징에 따르면, 사망 위험도가 제공되는 단계 (S230) 에서, 전체 생존 기간이 의료진 디바이스에 송신될 수 있다.
본 발명의 다른 특징에 따르면, 사망 위험도가 제공되는 단계 (S230) 에서, 기저장된, 개체와 상이한 표본 개체들에 대한 사망 위험도 및 개체의 사망 위험도에 기초하여, 사망 위험도 분포도가 제공될 수 있다.
예를 들어 도 2c의 (a) 및 (b)를 참조하면, 사망 위험도가 제공되는 단계 (S230) 에서, 표본 개체들의 사망 위험도 분포 내의, 예측된 개체의 사망 위험도가 표시되어 제공될 수 있다. 나아가, 표본 개체들의 생존 기간 (달) 분포와 함께, 예측된 개체의 사망 위험도가 표시되어 제공될 수 있다.
이에, 의료진은 개체에 대한 사망 위험도를 용이하게 인지하고, 적절한 의사 결정을 진행할 수 있다.
한편, 본 발명의 다양한 실시예에 따른 예측 모델은 동일 개체에 대하여 기저장된 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터에 의해 업데이트된 예측 모델일 수 있다.
이하에서는, 도 3을 참조하여 예측 모델의 업데이트 절차에 대하여 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 사망 위험도에 대한 정보 제공 방법에 따라 예측 모델을 업데이트하는 절차를 예시적으로 도시한 것이다.
먼저, 개체에 대한 영상 판독문 데이터가 수신된다 (S310). 그 다음, 예측 모델에 의해 사망 위험도가 예측되고 (S320), 예측 결과에 기초하여 예측 모델이 업데이트된다 (S330).
본 발명의 특징에 따르면, 영상 판독문 데이터가 수신되는 단계 (S310) 에서 동일 개체에 대한 복수 회의 평가에 따른 시계열 의료 영상 판독문 데이터가 수신된다.
그 다음, 사망 위험도가 예측되는 단계 (S320) 에서, 예측 모델, 즉 언어 모델 및 사망 위험도 예측 모델에 의해, 시계열 의료 영상 판독문 데이터에 대한 사망 위험도가 예측된다.
즉, 사망 위험도가 예측되는 단계 (S320) 에서, 동일 개체에 대한 치료 경과에 따른 예후 예측이 진행될 수도 있다.
그 다음, 예측 모델이 업데이트되는 단계 (S330) 에서, 예측 모델은 동일 개체에 대한 예측 결과를 학습하여, 업데이트될 수 있다. 다시 말해, 예측 모델이 업데이트되는 단계 (S330) 에서, 전이 학습 (transfer learning) 이 수행될 수 있다.
따라서, 개체에 대한 시계열 데이터의 분선 결과에 의해 업데이트가 진행됨에 따라, 예측 모델은, 임상 평가가 수행될 수록 개체에 대한 생존 예측 성능이 향상될 수 있다.
이하에서는, 도 4를 참조하여 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조에 대하여 설명한다. 도 4는 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
본 발명의 다양한 실시예에 따르면, 본 발명의 다양한 실시예에 이용되는 예측 모델은, 언어 모델 (520) 및 사망 위험도 예측 모델 (530) 로 이루어질 수 있다. 이때, 언어 모델 (520) 로서 임상 (Clinical) BERT 언어 모델이 예시적으로 이용되고, 사망 위험도 예측 모델로서 콕스 비례 위험 (Cox proportional hazards) 모델이 예시적으로 이용되었으나, 이에 제한되는 것은 아니다.
보다 구체적으로, 자기 공명 영상 방사선학 판독지 데이터 (512) 및/또는 진료 음성 기록 데이터 (514) (또는, 진료 음성 기록에 대한 텍스트 데이터) 는 복수의 단어 (516a, 516b, 516c 및 516d) 단위로 언어 모델 (520) 에 입력된다. 그 결과, 복수의 임베딩 백터 (522a, 522b, 522c 및 522d) 가 결정 (전환) 되고, 단일 통합 (single aggregation) 을 통해, 단일의 특징 백터 (524) 가 생성된다. 이때, 단일 통합 단계에서, 어텐션 기법 (attention technique) 에 의해 주요 단어에 대한 가중치가 자동으로 적용되어, 특징 백터 (524) 가 생성될 수 있다. 다음으로, 특징 백터 (524) 가 콕스 비례 위험 모델에 입력되고, 최종적으로 사망 위험도 (532) 가 예측되어 출력될 수 있다.
즉, 본 발명은 두 개의 모델로 이루어진 예측 모델을 이용함에 따라, 개체의 사망 위험도에 대한 신뢰도 높은 정보를 제공할 수 있다.
평가: 본 발명의 다양한 실시예에 따른 사망 위험도 예측 모델의 평가
이하에서는 5a 내지 5c를 참조하여 본 발명의 다양한 실시예에서 이용되는 사망 위험도 예측 모델의 평가 결과에 대하여 구체적으로 설명한다. 도 5a 내지 5c는 본 발명의 다양한 실시예에 이용되는 예측 모델에 대한 예측 결과를 도시한 것이다.
먼저, 도 5a를 참조하면, 본 발명의 예측 모델의 학습을 위해, 4579 개의 직장암 사망 표본 개체에 대한 자기 공명 영상 판독문 데이터 및 874 개의 직장암 생존 표본 개체에 대한 자기 공명 영상 판독문 데이터가 이용되었다. 평가를 위해, 1146 개의 직장암 사망 표본 개체에 대한 자기 공명 영상 판독문 데이터 및 218 개의 직장암 생존 표본 개체에 대한 자기 공명 영상 판독문 데이터가 이용되었다.
이때 예측 모델은, BERT 언어 모델 및 콕스 비례 위험 모델 조합의 BERT Cox, BioBERT 언어 모델 및 콕스 비례 위험 모델 조합의 BioBERTCox, 및 ClinicalBERT 언어 모델 및 콕스 비례 위험 모델 조합의 ClinicalBERTCox의 세 개의 모델이 이용되었다.
본 평가는, 미리 라벨링된 사망 위험도 상 (high risk), 중 (intermediate risk) 및 하 (low risk) 군의 평가 데이터에 대한 예측 모델의 예측 결과에 기초하여 수행되었다.
도 5b를 참조하면, 세 개의 모델 중, ClinicalBERT 언어 모델 및 콕스 비례 위험 모델 조합의 ClinicalBERTCox의 사망 위험도 예측 성능이 우수한 것으로 나타난다.
이에, 예측 모델은, ClinicalBERT 언어 모델 및 콕스 비례 위험 모델로 이루어질 수 있으나, 이에 제한되는 것은 아니다.
도 5c를 참조하면, 의료 영상 판독문 데이터 내에서, 사망 고위험군 (사망 위험도 상) 및 사망 저위험군 (사망 위험도 하) 에 따른 부각되는 용어가 도시된다.
보다 구체적으로, 사망 고위험군에서 항문피부선 (anal verge), - 직장 (-rectum; Rb-), M-직장, 직장 (Rab-), 현저한 LNEs, 비정상적으로 확장된 (abnormally enlarged) 의 용어가 두드러지게 나타날 수 있다. 나아가, 사망 저위험군에서 직장 주위 지방 (perirectal fat), 직장암 (rectal cancer), L-직장 (L-rectum), 양측 골반 측벽 (both pelvic side wall) 및 상대를 따라 (along the superior) 의 용어가 두드러지게 나타날 수 있다.
즉, 사망 위험도 예측에 있어서, 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터 내의 상기 용어들에 대하여 가중치가 적용될 수 있다.
이상의 평가 결과에 따르면, 본 발명은, 개체의 사망 위험도를 예측하는 것에 있어서 우수한 성능을 갖는 예측 모델 기반 정보 제공 시스템을 제공함에 따라, 신뢰도 높은 정보를 제공할 수 있다.
이에 본 발명은, 사망 발생이 예측되는 고위험군에 대하여 의료적 처치 시점을 앞당겨 좋은 예후를 제공할 수 있고, 생존률 증가, 합병증 예방, 및 치료 비용 감소에 기인할 수 있는 효과가 있다.
특히, 본 발명은, 암 환자의 의사 결정에 있어서, 기준이 될 수 있는 정보를 제공할 수 있는 효과가 있다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실 시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명 의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 사망 위험도 예측용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: EMR 데이터베이스 제공 서버
1000: 사망 위험도 예측 시스템

Claims (22)

  1. 프로세서에 의해 구현되는 사망 위험도에 대한 정보 제공 방법에 있어서,
    개체에 대한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 수신하는 단계;
    상기 의료 영상 판독문 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 상기 개체에 대한 사망 위험도를 예측하는 단계, 및
    상기 개체에 대하여 예측된 상기 사망 위험도를 제공하는 단계를 포함하고,
    상기 개체는, 암 발병된 개체이고,
    상기 사망 위험도를 제공하는 단계는,
    기저장된 상기 개체와 상이한 개체에 대한 사망 위험도 및 상기 개체의 사망 위험도에 기초하여,
    사망 위험도 분포도를 제공하는 단계를 포함하는, 사망 위험도에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 수신하는 단계 이전에,
    기수신된 의료 영상 판독문 데이터에 기초하여 상기 예측 모델을 업데이트하는 단계를 더 포함하고,
    상기 사망 위험도를 예측하는 단계는,
    업데이트된 예측 모델을 이용하여 상기 개체에 대한 사망 위험도를 예측하는 단계를 포함하는, 사망 위험도에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 기수신된 의료 영상 판독문 데이터는,
    동일 개체에 대한 복수 회의 예측에 따른 시계열 의료 영상 판독문 데이터를 포함하는, 사망 위험도에 대한 정보 제공 방법.
  4. 제1항에 있어서,
    상기 예측 모델은,
    상기 의료 영상 판독문을 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및
    상기 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델을 포함하는, 사망 위험도에 대한 정보 제공 방법.
  5. 제4항에 있어서,
    상기 사망 위험도를 예측하는 단계는,
    상기 언어 모델을 이용하여, 상기 의료 영상 판독문에 기초하여 임베딩 백터를 결정하는 단계;
    상기 임베딩 백터에 기초하여 단일 특징 백터를 결정하는 단계, 및
    상기 사망 위험도 예측 모델을 이용하여, 상기 특징 백터에 기초하여 사망 위험도를 결정하는 단계를 포함하는, 사망 위험도에 대한 정보 제공 방법.
  6. 제4항에 있어서,
    상기 언어 모델은,
    BERT (Bidirectional Encoder Representation from Transformers) 모델, GPT (Generation Pre-trained Transformer) 모델, 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나인, 사망 위험도에 대한 정보 제공 방법.
  7. 제4항에 있어서,
    상기 사망 위험도 예측 모델은,
    콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗(multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나인, 사망 위험도에 대한 정보 제공 방법.
  8. 제1항에 있어서,
    상기 수신하는 단계는,
    상기 개체에 대한 진료 음성 기록 데이터를 수신하는 단계를 더 포함하고,
    상기 예측 모델은,
    상기 의료 영상 판독문 데이터 및 상기 음성 기록 데이터를 기초로, 사망 위험도를 예측하도록 더 구성된, 사망 위험도에 대한 정보 제공 방법.
  9. 제1항에 있어서,
    상기 수신하는 단계는,
    성별, 연령, 및 종양표지자 수치 중 적어도 하나의 임상 데이터를 수신하는 단계를 더 포함하고,
    상기 예측 모델은,
    상기 의료 영상 판독문 데이터 및 상기 임상 데이터를 기초로, 사망 위험도를 예측하도록 더 구성된, 사망 위험도에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 예측 모델은,
    상기 의료 영상 판독문을 입력으로 하여 전체 생존기간 (Overall Survival) 을 출력하도록 구성되고,
    상기 사망 위험도를 예측하는 단계는,
    상기 예측 모델을 이용하여, 상기 개체에 대한 전체 생존 기간을 예측하는 단계를 포함하고,
    제공하는 단계는,
    상기 전체 생존 기간을 제공하는 단계를 포함하는, 사망 위험도에 대한 정보 제공 방법.
  11. 삭제
  12. 개체에 대한 의료 영상 판독문 데이터 및/또는 진료 음성 기록 데이터를 수신하도록 구성된 통신부, 및
    상기 통신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 의료 영상 판독문 데이터를 기초로, 사망 위험도를 예측하도록 구성된 예측 모델을 이용하여, 상기 개체에 대한 사망 위험도를 예측하고,
    상기 개체에 대하여 예측된 상기 사망 위험도를 제공하도록 구성되고,
    상기 개체는, 암 발병된 개체이고,
    상기 프로세서는,
    기저장된 상기 개체와 상이한 개체에 대한 사망 위험도 및 상기 개체의 사망 위험도에 기초하여,
    사망 위험도 분포도를 제공하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 프로세서는,
    기수신된 의료 영상 판독문 데이터에 기초하여 상기 예측 모델을 업데이트하고,
    업데이트된 예측 모델을 이용하여 상기 개체에 대한 사망 위험도를 예측하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  14. 제13항에 있어서,
    상기 기수신된 의료 영상 판독문 데이터는,
    동일 개체에 대한 복수 회의 예측에 따른 시계열 의료 영상 판독문 데이터를 포함하는, 사망 위험도에 대한 정보 제공용 디바이스.
  15. 제12항에 있어서,
    상기 예측 모델은,
    상기 의료 영상 판독문을 입력으로 하여 특징을 출력하도록 구성된 언어 모델, 및
    상기 특징을 입력으로 하여 사망 위험도를 출력하도록 구성된 사망 위험도 예측 모델을 포함하는, 사망 위험도에 대한 정보 제공용 디바이스.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 언어 모델을 이용하여, 상기 의료 영상 판독문에 기초하여 임베딩 백터를 결정하고,
    상기 임베딩 백터에 기초하여 단일 특징 백터를 결정하고,
    상기 사망 위험도 예측 모델를 이용하여, 상기 특징 백터에 기초하여 사망 위험도를 결정하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  17. 제15항에 있어서,
    상기 언어 모델은,
    BERT (Bidirectional Encoder Representation from Transformers) 모델, GPT (Generation Pre-trained Transformer) 모델, 셀프-어텐션 (Self-Attention) 모델, 멀티-헤드 셀프 어텐션 (Multi-head Self Attention) 모델, 및 트렌스포머 (Transformer) 모델 중 적어도 하나인, 사망 위험도에 대한 정보 제공용 디바이스.
  18. 제15항에 있어서,
    상기 사망 위험도 예측 모델은,
    콕스 비례 위험 (Cox proportional hazards) 모델, 로지트 (logit) 모델, 다항 프로빗(multinomial probit) 모델, 다항 로지트 모델, 정렬 (ordered) 프로빗 모델, 정렬 로지트 모델, 와이블 (Weibull) 모델, 지수 (exponential) 모델, 로그-로지스틱 (log-logistic) 모델, 로그노말 (lognormal) 모델, 및 카플란-마이어 (Kaplan-Meier) 모델 중 적어도 하나인, 사망 위험도에 대한 정보 제공용 디바이스.
  19. 제12항에 있어서,
    상기 통신부는,
    상기 개체에 대한 진료 음성 기록 데이터를 수신하도록 더 구성되고,
    상기 예측 모델은,
    상기 의료 영상 판독문 데이터 및 상기 음성 기록 데이터를 기초로, 사망 위험도를 예측하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  20. 제12항에 있어서,
    상기 통신부는,
    성별, 연령, 및 종양표지자 수치 중 적어도 하나의 임상 데이터를 수신하도록 더 구성되고,
    상기 예측 모델은,
    상기 의료 영상 판독문 데이터 및 상기 임상 데이터를 기초로, 사망 위험도를 예측하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  21. 제12항에 있어서,
    상기 예측 모델은,
    상기 의료 영상 판독문을 입력으로 하여 전체 생존기간 (Overall Survival) 을 출력하도록 구성되고,
    상기 프로세서는,
    상기 예측 모델을 이용하여, 상기 개체에 대한 전체 생존 기간을 예측하고,
    상기 전체 생존 기간을 제공하도록 더 구성된, 사망 위험도에 대한 정보 제공용 디바이스.
  22. 삭제
KR1020210005888A 2021-01-15 2021-01-15 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스 KR102504407B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210005888A KR102504407B1 (ko) 2021-01-15 2021-01-15 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005888A KR102504407B1 (ko) 2021-01-15 2021-01-15 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스

Publications (2)

Publication Number Publication Date
KR20220103379A KR20220103379A (ko) 2022-07-22
KR102504407B1 true KR102504407B1 (ko) 2023-02-28

Family

ID=82605838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005888A KR102504407B1 (ko) 2021-01-15 2021-01-15 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스

Country Status (1)

Country Link
KR (1) KR102504407B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881862B1 (ko) * 2017-02-10 2018-07-25 한국외국어대학교 연구산학협력단 의료 영상 판독문 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410756B2 (en) * 2017-07-28 2022-08-09 Google Llc System and method for predicting and summarizing medical events from electronic health records
KR102446376B1 (ko) * 2018-10-10 2022-09-22 연세대학교 산학협력단 사망 또는 패혈증 위험도 예측 방법 및 이를 이용한 사망 또는 패혈증 위험도 예측용 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881862B1 (ko) * 2017-02-10 2018-07-25 한국외국어대학교 연구산학협력단 의료 영상 판독문 생성 장치 및 방법

Also Published As

Publication number Publication date
KR20220103379A (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110459287B (zh) 来自医学文本报告的结构化报告数据
CN112992317B (zh) 一种医学数据处理方法、系统、设备及介质
US20190074082A1 (en) Quantitative medical imaging reporting
US11651252B2 (en) Prognostic score based on health information
Ningrum et al. Deep learning classifier with patient’s metadata of dermoscopic images in malignant melanoma detection
US20220059200A1 (en) Deep-learning systems and methods for medical report generation and anomaly detection
US20140095204A1 (en) Automated medical cohort determination
WO2016006042A1 (ja) データ分析装置、データ分析装置の制御方法、およびデータ分析装置の制御プログラム
Gao et al. Dr. Agent: Clinical predictive model via mimicked second opinions
Roski et al. How artificial intelligence is changing health and healthcare
Jeon et al. Identification of individuals at increased risk for pancreatic cancer in a community-based cohort of patients with suspected chronic pancreatitis
Xie et al. Extracting and analyzing ejection fraction values from electronic echocardiography reports in a large health maintenance organization
Ahmad Reviewing the relationship between machines and radiology: the application of artificial intelligence
Lau et al. Extraction and analysis of clinically important follow-up recommendations in a large radiology dataset
Kumar et al. Deep-learning-enabled multimodal data fusion for lung disease classification
Dinh et al. New technologies to improve healthcare in low-and middle-income countries: global grand challenges satellite event, Oxford University clinical research unit, Ho Chi Minh City, 17th-18th September 2019
Ahmed et al. Identification of kidney stones in KUB X-ray images using VGG16 empowered with explainable artificial intelligence
Adams et al. Artificial intelligence and machine learning in axial spondyloarthritis
US20240006039A1 (en) Medical structured reporting workflow assisted by natural language processing techniques
KR102504407B1 (ko) 사망 위험도에 대한 정보 제공 방법 및 이를 이용한 디바이스
Sharma et al. The future of quality improvement in breast cancer: patient-reported outcomes
He et al. A smartphone app framework for segmented cancer care coordination
RU2740219C2 (ru) Движок для контекстно-зависимых медицинских рекомендаций
Rusinovich et al. Classification of anatomic patterns of peripheral artery disease with automated machine learning (AutoML)
Baskaran et al. Using facial landmark detection on thermal images as a novel prognostic tool for emergency departments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant