KR20210065296A - 의료 영상에 대한 의사 소견 자동추천장치 - Google Patents

Abstract

본 발명은 의료 영상에 대한 의사 소견 자동추천장치에 관한 것으로서, 더욱 상세하게는 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 하는 의료 영상에 대한 의사 소견 자동추천장치에 관한 것이다.
본 발명에 의하면, 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견 내용을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 함으로써, 의료진 소견의 통일화, 의료 영상에 대한 자동 소견 제시에 따른 소견 작성에 따른 비효율적 시간 소요 방지 등의 효과를 발휘한다.

Description

의료 영상에 대한 의사 소견 자동추천장치{Medical image automatic doctor's recommendation device}

본 발명은 의료 영상에 대한 의사 소견 자동추천장치에 관한 것으로서, 더욱 상세하게는 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 하는 의료 영상에 대한 의사 소견 자동추천장치에 관한 것이다.

최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.

또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.

그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.

일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다.

또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.

한편, 본 발명과 관련있는 의사 소견서는 일반적으로 환자의 챠트 상에 환자의 현재 상태를 기재하는 것이다.

즉, 의사들끼리 소견 내용을 공유하지 못하고 있기 때문에 일일히 의사가 환자 상태를 적기 때문에 참고할만한 자료가 없으면 어떠한 내용으로 적어야 할지 상당한 고민과 시간이 소요되기 마련이다.

따라서, 어느 특정 의료 영상이 입력될 경우에 그에 합당한 최적의 소견 내용을 추천할 수 있는 시스템 개발이 시급하다 할 수 있다.

따라서, 본 발명에서는 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견을 의사들에게 제공하고자 한다.

대한민국공개특허공보 제10-2017-0122146호(2017.11.03)

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견 내용을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 하는데 있다.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치는,

의료 영상 이미지를 입력받기 위한 의료영상이미지입력부(100)와,

사전에 의사가 작성한 다수개의 소견서 상에 소견 내용과 이미지를 획득하여 인공지능 학습을 진행하며, 의료 영상과 소견에 대하여 서로 비교하여 확률을 계산하고, 계산된 확률이 설정 확률을 초과할 경우에 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부로 제공하기 위한 인공지능의사소견학습부(200)와,

상기 의료영상이미지입력부로부터 어느 한 의료 영상을 입력받아 상기 인공지능의사소견학습부로부터 제공된 의사 소견 학습 모델에 입력시켜 의료 영상을 분석하고 분석 결과에 맞는 소견을 제시하기 위한 의사소견모델기반소견제시부(300)를 포함한다.

본 발명에 따른 의료 영상에 대한 의사 소견 자동추천장치는,

의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견 내용을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 함으로써, 의료진 소견의 통일화, 의료 영상에 대한 자동 소견 제시에 따른 소견 작성에 따른 비효율적 시간 소요 방지 등의 효과를 발휘한다.

또한, Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행함으로써, 새로운 의료 영상 이미지들을 재학습할 수 있기 때문에 의료 영상에 대한 적합한 소견 내용 추천 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 의사 소견 추천 정확성을 지속적으로 향상시키는 효과를 발휘한다.

도 1은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 구성도.
도 2는 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치에서 활용하는 특정 피부 영상 이미지를 입력받을 경우에 해당 소견서 내용을 의사가 기재한 예시도.
도 3은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 인공지능의사소견학습부(200) 블록도.
도 4는 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치에 적용되는 Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘을 나타낸 예시도.
도 5는 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치에 적용되는 Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘에 의해 출력되는 결과 영상 예시도.
도 6은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 의사소견모델기반소견제시부(300) 블록도.
도 7은 특정 의료 영상에 대하여 의사마다 다른 소견을 제시한 결과값과 본 발명의 의사 소견 자동추천장치에 의한 소견을 제시한 결과값을 나타낸 예시도.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치는,

의료 영상 이미지를 입력받기 위한 의료영상이미지입력부(100)와,

사전에 의사가 작성한 다수개의 소견서 상에 소견 내용과 이미지를 획득하여 인공지능 학습을 진행하며, 의료 영상과 소견에 대하여 서로 비교하여 확률을 계산하고, 계산된 확률이 설정 확률을 초과할 경우에 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부로 제공하기 위한 인공지능의사소견학습부(200)와,

상기 의료영상이미지입력부로부터 어느 한 의료 영상을 입력받아 상기 인공지능의사소견학습부로부터 제공된 의사 소견 학습 모델에 입력시켜 의료 영상을 분석하고 분석 결과에 맞는 소견을 제시하기 위한 의사소견모델기반소견제시부(300)를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 인공지능의사소견학습부(200)는,

다수의 소견서 상의 소견 내용과 이미지를 제공받아 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행하기 위한 Multi-Modal학습모듈(210);

상기 Multi-Modal학습모듈을 통해 딥러닝 학습된 모델의 결과값과 설정된 정확도 결과값을 비교하여 학습된 모델의 제시된 소견들의 결과값이 설정된 정확도 결과값을 초과할 경우에 학습된 의사 소견 학습 모델에서 제시된 소견들을 의사소견모델기반소견제시부(300)로 제공하기 위한 의사소견학습모델선정모듈(220);을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 의사소견모델기반소견제시부(300)는,

추출된 소견 내용을 키워드로 추출하기 위한 키워드추출모듈(310);

추출된 소견 내용을 문장으로 추출하기 위한 문장추출모듈(320);

소견 내용을 수정할 수 있도록 수정 레이어를 소견정보출력모듈로 제공하기 위한 수정레이어제공모듈(330);

상기 추출된 키워드 및 문장 정보와 수정 레이어를 매칭시켜 의사단말기의 화면으로 출력시키기 위한 소견정보출력모듈(340);

의사단말기로부터 선택된 키워드 혹은 문장 정보 혹은 수정 내용을 포함한 소견서 정보를 획득하여 환자 신상 정보와 상기 소견서 정보를 게더링하여 환자 의료 챠트 상의 설정된 레이어 상에 맵핑시키는 소견정보맵핑모듈(350);을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 Multi-Modal학습모듈(210)은,

Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘을 이용하는 것으로서, Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘은,

2개의 임베딩 레이어, 반복 레이어, 멀티모달 레이어, 소프트맥스 레이어를 포함하며,

2개의 임베딩 레이어를 이용하여 단어의 의미를 판단하여 영상과 맞는 단어인지 확인하고, 반복 레이어를 이용하여 동일한 요소를 시간 프레임 이전 값과 이후 값에 반복적으로 적용하고, 멀티모달 레이어를 이용하여 단어와 영상 데이터를 연결하고, 소프트맥스 레이어를 이용하여 확률을 계산하는 것을 특징으로 한다.

이때, 상기 의료 영상 자동 의사 소견 추천장치는,

의료 영상 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.

또한, 상기 의료 영상 이미지는,

피부질환 영상 이미지인 것을 특징으로 한다.

이하, 본 발명에 의한 의료 영상에 대한 의사 소견 자동추천장치의 실시예를 통해 상세히 설명하도록 한다.

도 1은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 구성도이다.

도 1에 도시한 바와 같이, 본 발명인 의료 영상에 대한 의사 소견 자동추천장치(1000)는 의료영상이미지입력부(100), 인공지능의사소견학습부(200), 의사소견모델기반소견제시부(300)를 포함하여 구성하게 된다.

상기와 같이, 구성하게 되면 본 발명의 의사 소견 자동추천장치는 의사 소견 학습 모델을 이용하여 종래의 일반적인 방식인 의사들이 일일히 의료 영상을 확인하면서 소견 내용을 작성할 필요없이, 의료 영상의 입력만으로도 가장 최적의 의사 소견 내용을 의사에게 제공할 수 있는 장점을 제공하게 된다.

구체적으로 설명하면, 상기 의료영상이미지입력부(100)는 의료 영상 이미지를 입력받기 위한 기능을 수행하게 되는데, 의료 영상이란, 병원이나 의료원 등에서 촬영한 영상 이미지를 의미할 수 있으며, 바람직하게는 피부질환 영상 이미지인 것을 특징으로 한다.

상기 인공지능의사소견학습부(200)는 사전에 의사가 작성한 다수개의 소견서 상에 소견 내용(키워드 : 피부암, 선 3개, 각 3개 예를 들어, 해당 이미지는 선 3개, 각 3개인 피부암일 확률이 높은데?))과 이미지를 획득하여 인공지능 학습을 진행하며, 의료 영상과 소견에 대하여 서로 비교하여 확률을 계산하고, 계산된 확률이 설정 확률을 초과할 경우에 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부로 제공하기 위한 기능을 수행하게 된다.

예를 들어, 도 2와 같이, 특정 피부 영상 이미지를 입력받을 경우에 해당 소견서 내용을 의사가 기재하게 된다.

이때, 인공지능의사소견학습부(200)는 사전에 의사가 작성한 다수개의 소견서 상에 소견 내용들(예를 들어, 키워드는 피부암, 선 3개, 각 3개이고, 소견 내용은 해당 이미지는 선 3개, 각 3개인 피부암일 확률이 높은 것으로 사료됨.)과 이미지를 획득하여 인공지능 학습을 진행하게 된다.

또한, 의료 영상과 소견에 대하여 서로 비교하여 확률을 계산하고, 계산된 확률이 설정 확률을 초과할 경우에 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부로 제공하게 되는 것이다.

도 3은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 인공지능의사소견학습부(200) 블록도이다.

도 3에 도시한 바와 같이, 상기 인공지능의사소견학습부(200)는,

다수의 소견서 상의 소견 내용과 이미지를 제공받아 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행하기 위한 Multi-Modal학습모듈(210);

Multi-Modal학습모듈을 통해 딥러닝 학습된 모델의 결과값과 설정된 정확도 결과값을 비교하여 학습된 모델의 제시된 소견들의 결과값이 설정된 정확도 결과값을 초과할 경우에 학습된 의사 소견 학습 모델에서 제시된 소견들을 의사소견모델기반소견제시부(300)로 제공하기 위한 의사소견학습모델선정모듈(220);을 포함하여 구성되게 된다.

본 발명에서는 입력되는 의료 영상에 대해서 인공지능이 의료 영상을 분석하고 분석된 결과에 맞는 소견을 제시한다.

그러나, 일반적인 의료 영상 분석을 위한 인공지능 방식은 CNN방식을 주로 사용한다.

상기한 CNN방식은 Uni-Modal로서, 영상, 소리, 텍스트 등 하나의 데이터를 중심으로 다양한 변수를 만들어서 학습하고 결과를 출력하는 방식이다.

이때, 의료 영상의 데이터만 사용하기 때문에 영상을 통해서 알 수 없는 성별, 나이 등의 정보들은 직접 입력을 해줘야하기 때문에 본 발명에서 적용하기에는 불가능하다.

하지만, 본 발명에서 개시한 인공지능 방식은 Multi-Modal 방식으로서, 인간과 더욱 유사하게 영상, 소리, 텍스트 등 여러 개의 데이터를 서로 다른 변수로 설정해서 학습한 인공지능 알고리즘이다.

구체적으로 설명하면, 상기 Multi-Modal학습모듈(210)은 다수의 소견서 상의 소견 내용과 이미지를 제공받아 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행하기 위한 기능을 수행하게 된다.

즉, 도 2와 같이, 어느 특정 의료 영상에 대하여 다양한 수많은 소견 내용을 추출하고, 추출된 의료 영상 이미지와 소견 내용을 제공받아 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행하는 것이다.

우선적으로 Multi-Modal학습모듈(210)은 의료 영상과 소견에 대해서 개인정보가 될 수 있는 모든 부분은 제거하고 영상과 관련 소견 데이터만 가지고 학습을 진행한다.

학습 알고리즘은 다음과 같다.

학습 데이터를 기반으로 해서 입력되는 영상에 대해서 학습을 진행하여 의료 영상 분석을 진행한다.

그리고 분석된 결과에 맞는 소견에 대해서 학습을 진행한다.

이때, 도 4에 도시한 바와 같이, 상기 Multi-Modal학습모듈(210)은 Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘을 이용하는 것으로서, Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘은,

2개의 임베딩 레이어, 반복 레이어, 멀티모달 레이어, 소프트맥스 레이어를 포함하며,

2개의 임베딩 레이어를 이용하여 단어의 의미를 판단하여 영상과 맞는 단어인지 확인하고, 반복 레이어를 이용하여 동일한 요소를 시간 프레임 이전 값과 이후 값에 반복적으로 적용하고, 멀티모달 레이어를 이용하여 단어와 영상 데이터를 연결하고, 소프트맥스 레이어를 이용하여 확률을 계산하는 것이다.

상기한 m-RNN 방식은 영상을 분석해서 설명해주는 텍스트를 출력해주는 많이 사용되는 구조이다.

예를 들어, 도 5에 도시한 바와 같이, 그릇 위에 빵이 있는 영상을 분석해서 텍스트 설명을 붙여주는 인공지능 구조이다.

즉, 1. a piece of cake on a plate on a table, 2. a piece of cake on a white table, 3. a piece of cake sitting on top of a white plate, 4. a piece of cake sitting on top of a plate, ... 10. a slice of cake on a plate with a fork 등과 같이, 다양하게 해석된 텍스트 설명을 이미지에 붙여주는 인공지능 구조인 것이다.

이후, 의사소견학습모델선정모듈(220)은 상기 Multi-Modal학습모듈을 통해 딥러닝 학습된 모델의 결과값과 설정된 정확도 결과값을 비교하여 학습된 모델의 제시된 소견들의 결과값이 설정된 정확도 결과값을 초과할 경우에 학습된 의사 소견 학습 모델에서 제시된 소견들을 의사소견모델기반소견제시부(300)로 제공하기 위한 기능을 수행하게 된다.

즉, 결과값이 확률값을 설정된 정확도 확률값과 비교하여 정확도 확률값을 초과할 경우에 이는 올바르게 학습한 것으로 판단하는 것이다.

예를 들어, 학습된 모델의 정확도 결과값이 85%이고, 설정된 정확도 결과값이 80%일 경우에 의사 소견 학습 모델의 정확도 결과값이 설정된 정확도 결과값을 초과하기 때문에 해당 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부(300)로 제공하게 되는 것이다.

도 6은 본 발명의 일실시예에 따른 의료 영상에 대한 의사 소견 자동추천장치의 의사소견모델기반소견제시부(300) 블록도이다.

도 6에 도시한 바와 같이, 상기 의사소견모델기반소견제시부(300)은 상기 의료영상이미지입력부로부터 어느 한 의료 영상을 입력받아 상기 인공지능의사소견학습부로부터 제공된 의사 소견 학습 모델에 입력시켜 의료 영상을 분석하고 분석 결과에 맞는 소견을 제시하기 위한 기능을 수행하게 된다.

즉, 도 2와 같은 피부질환 영상 이미지를 획득하게 되면, 의사 소견 학습 모델에 입력시키게 된다.

이때, 의료 영상을 분석하고, 분석 결과에 맞는 소견을 제시하게 되는데, 바람직하게는 상기 의사소견모델기반소견제시부(300)는,

추출된 소견 내용을 키워드로 추출하기 위한 키워드추출모듈(310);

추출된 소견 내용을 문장으로 추출하기 위한 문장추출모듈(320);

소견 내용을 수정할 수 있도록 수정 레이어를 소견정보출력모듈로 제공하기 위한 수정레이어제공모듈(330);

상기 추출된 키워드 및 문장 정보와 수정 레이어를 매칭시켜 의사단말기의 화면으로 출력시키기 위한 소견정보출력모듈(340);

의사단말기로부터 선택된 키워드 혹은 문장 정보 혹은 수정 내용을 포함한 소견서 정보를 획득하여 환자 신상 정보와 상기 소견서 정보를 게더링하여 환자 의료 챠트 상의 설정된 레이어 상에 맵핑시키는 소견정보맵핑모듈(350);을 포함하여 구성하게 된다.

구체적으로 설명하면, 키워드추출모듈(310)은 해당 피부 영상과 매칭되어 있는 소견 내용을 추출하게 되는데, 예를 들어, '피부 영상을 보면, 선이 3개, 각이 3개 이므로 피부암일 확률이 높은 것으로 사료됨. 따라서, 정밀 검사를 요함.'이라는 소견 1, '선이 3개, 각이 3개 이므로 피부암임. 따라서, 정밀 검사를 시행 후, 제거 수술을 요함.' 이라는 소견 2를 가지고, 키워드인 '선 3개, 각 3개, 피부암'이라는 키워드를 추출하게 된다.

그리고, 문장추출모듈(320)은 추출된 소견 내용을 문장으로 추출하게 된다.

예를 들어, 선이 3개, 각이 3개이므로 피부암일 확률이 높은 것으로 사료되므로 정밀 검사를 요합니다.'이라는 소견 문장 1, '선이 3개, 각이 3개이므로 피부암이므로 정밀 검사를 시행 후, 제거 수술을 요합니다.' 이라는 소견 문장 2를 추출하게 되는 것이다.

그리고, 수정아이콘제공모듈(330)은 소견 내용을 수정할 수 있도록 수정 아이콘을 소견정보출력모듈로 제공하기 위한 기능을 수행하게 된다.

예를 들어, 수정아이콘, 이미지추가아이콘 등을 제공하여 추천된 키워드와 문장을 선택한 후, 수정아이콘을 선택하게 되면 해당 키워드와 문장을 수정할 수가 있게 되는 것이다.

이때, 상기 소견정보출력모듈(340)은 상기 추출된 키워드 및 문장 정보와 수정 아이콘을 매칭시켜 의사단말기의 화면으로 출력시키게 된다.

이후, 의사단말기가 추천된 키워드 혹은 문장 정보 등을 확인한 후, 수정하게 되면 소견정보맵핑모듈(350)은 해당 의사단말기로부터 선택된 키워드 혹은 문장 정보 혹은 수정 내용을 포함한 소견서 정보를 획득하여 환자 신상 정보와 상기 소견서 정보를 게더링하여 환자 의료 챠트 상의 설정된 레이어 상에 맵핑시키게 되는 것이다.

예를 들어, 키워드-선3개, 각3개, 피부암, 문장-선이 3개, 각이 3개이므로 피부암이므로 정밀 검사를 시행 후, 제거 수술을 요합니다.라는 소견서 정보를 획득하여 환자 신상 정보인 ID-1234:홍길동와 함께 환자 의료 챠트 상의 설정된 레이어 상에 맵칭시켜 갱신 처리하게 되는 것이다.

그리고, 본 발명은 의료 영상과 다양한 의료진들의 소견을 같이 학습에 진행하여 인공지능을 통해서 단순 의료 영상 분석이 아닌 보다 전문화된 의견을 제시해 줄 수 있거나, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수도 있다.

예를 들어, 도 7에 도시한 바와 같이, 의료 영상1에 대해서 의료진 α가 A : 종양, B : 악성, C : 폐암이라는 소견을 작성하였다.

다른 의료진 β는 1번 의료 영상을 보여줬을 때 A : 종양, B : 악성, D : 골절이라는 소견을 제시할 수 있다.

서로 공통적인 소견(A,B)이 나올 수도 있지만, 서로 다른 소견이 나올 수도 있다(C,D).

현재 이러한 소견에 대해서 정리되거나 체계적으로 관리되는 것이 없어서 의료진에 따라 소견은 매우 다양하고 환자의 경우 소견에 대해서 이해도가 떨어질 수 있다.

그러나, 본 발명의 의료 영상에 대한 의사 소견 자동추천장치는 이러한 다양한 소견까지 의료 영상과 같이 학습하여 정리되고 편리한 소견이 작성할 수 있도록 의견을 추천할 수 있게 된다.

예를 들어, A : 종양, B : 악성, C : 폐암(분석 결과 D : 골절보다 C : 폐암의 확률이 더 높습니다.)

한편, 부가적인 양태에 따라, 상기 의료 영상 자동 의사 소견 추천장치는,

의료 영상 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.

즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 각종 영상 이미지를 획득할 수 있게 된다.

한편, 본 발명의 의료 영상 자동 의사 소견 추천장치는 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행함으로써, 새로운 의료 영상 이미지들을 재학습할 수 있게 되어 의료 영상에 대한 적합한 소견 내용 추천 성능을 더욱 더 향상시키는 것을 특징으로 한다.

예를 들어, 도 7과 같이, 판단 결과값인 A,B,C와 의료 영상 정보를 맵핑시켜 Multi-Modal학습모듈(210)에 제공함으로써, 재학습을 수행하게 된다.

따라서, 추후 도 7과 유사한 의료 영상 이미지를 입력받게 되면 A,B,D가 아닌 A,B,C로 소견 내용을 추천하게 되는 것이다.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 의사 소견 추천 정확성을 지속적으로 향상시키는 효과를 발휘한다.

본 발명에 의하면, 의료 영상과 다양한 의료진들의 소견 내용들을 인공지능 학습하여 단순한 의료 영상 분석이 아닌 전문화된 의견 내용을 의사들에게 제공하며, 의료진이 서로 생각하지 못한 다른 소견을 제시할 수 있도록 함으로써, 의료진 소견의 통일화, 의료 영상에 대한 자동 소견 제시에 따른 소견 작성에 따른 비효율적 시간 소요 방지 등의 효과를 발휘한다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 의료영상이미지입력부
200 : 인공지능의사소견학습부
300 : 의사소견모델기반소견제시부
1000 : 의사 소견 자동추천장치

Claims (6)

1. 의료 영상에 대한 의사 소견 자동추천장치에 있어서,
   의료 영상 이미지를 입력받기 위한 의료영상이미지입력부(100)와,
   사전에 의사가 작성한 다수개의 소견서 상에 소견 내용과 이미지를 획득하여 인공지능 학습을 진행하며, 의료 영상과 소견에 대하여 서로 비교하여 확률을 계산하고, 계산된 확률이 설정 확률을 초과할 경우에 학습된 의사 소견 학습 모델을 의사소견모델기반소견제시부로 제공하기 위한 인공지능의사소견학습부(200)와,
   상기 의료영상이미지입력부로부터 어느 한 의료 영상을 입력받아 상기 인공지능의사소견학습부로부터 제공된 의사 소견 학습 모델에 입력시켜 의료 영상을 분석하고 분석 결과에 맞는 소견을 제시하기 위한 의사소견모델기반소견제시부(300)를 포함하여 구성되는 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
2. 제 1항에 있어서,
   상기 인공지능의사소견학습부(200)는,
   다수의 소견서 상의 소견 내용과 이미지를 제공받아 Multi-Modal 알고리즘을 이용하여 인공지능 학습을 수행하기 위한 Multi-Modal학습모듈(210);을 포함하여 구성되는 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
3. 제 2항에 있어서,
   상기 인공지능의사소견학습부(200)는,
   Multi-Modal학습모듈을 통해 딥러닝 학습된 모델의 결과값과 설정된 정확도 결과값을 비교하여 학습된 모델의 제시된 소견들의 결과값이 설정된 정확도 결과값을 초과할 경우에 학습된 의사 소견 학습 모델에서 제시된 소견들을 의사소견모델기반소견제시부(300)로 제공하기 위한 의사소견학습모델선정모듈(220);을 더 포함하여 구성되는 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
4. 제 1항에 있어서,
   상기 의사소견모델기반소견제시부(300)는,
   추출된 소견 내용을 키워드로 추출하기 위한 키워드추출모듈(310);
   추출된 소견 내용을 문장으로 추출하기 위한 문장추출모듈(320);
   상기 추출된 키워드 및 문장 정보를 매칭시켜 의사단말기의 화면으로 출력시키기 위한 소견정보출력모듈(340);을 포함하여 구성되는 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
5. 제 2항에 있어서,
   상기 Multi-Modal학습모듈(210)은,
   Multi-Modal Recurrent Neural Network(m-RNN) 알고리즘을 이용하는 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
6. 제 1항에 있어서,
   상기 의료 영상 이미지는,
   피부질환 영상 이미지인 것을 특징으로 하는 의료 영상에 대한 의사 소견 자동추천장치.
   
   

Images