KR102298330B1 - 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템 - Google Patents

음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템 Download PDF

Info

Publication number
KR102298330B1
KR102298330B1 KR1020210011679A KR20210011679A KR102298330B1 KR 102298330 B1 KR102298330 B1 KR 102298330B1 KR 1020210011679 A KR1020210011679 A KR 1020210011679A KR 20210011679 A KR20210011679 A KR 20210011679A KR 102298330 B1 KR102298330 B1 KR 102298330B1
Authority
KR
South Korea
Prior art keywords
sentences
sentence
medical consultation
electronic device
ranking
Prior art date
Application number
KR1020210011679A
Other languages
English (en)
Inventor
이은정
손소열
손현곤
Original Assignee
주식회사 두유비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 두유비 filed Critical 주식회사 두유비
Priority to KR1020210011679A priority Critical patent/KR102298330B1/ko
Application granted granted Critical
Publication of KR102298330B1 publication Critical patent/KR102298330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전자 장치의 의료 상담 요약 방법이 개시된다. 본 방법은, 환자의 의료 상담에 대응되는 오디오 신호를 인식하여 텍스트를 획득하는 단계, 획득된 텍스트를 복수의 문장으로 구분하는 단계, 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출하는 단계, 산출된 중요도를 기반으로, 복수의 문장에 순위를 매기는 단계, 순위를 기반으로, 복수의 문장 중 기설정된 요약율에 대응되는 문장들을 선택하는, 1차 요약 단계, 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계를 포함한다.

Description

음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템 { SYSTEM FOR GENERATING MEDICAL CONSULTATION SUMMARY AND ELECTRONIC MEDICAL RECORD BASED ON SPEECH RECOGNITION AND NATURAL LANGUAGE PROCESSING ALGORITHM }
본 개시는 요약 기능을 제공하는 전자 장치에 관한 것으로, 보다 상세하게는 음성 인식 및 텍스트 분석을 기반으로 의료 상담을 요약하여 제공하는 전자 장치 또는 서버에 관한 것이다.
현재 의료 현장은 전자의무기록(EMR. Electronic Medical Record), 전자건강기록(HER. Electronic Health Record) 등의 의료 기록을 전산화하여 저장하고 관리하는 시스템이 의무적으로 적용되거나 전체 의료 현장의 70%를 넘을 만큼 보급화 되어 환자 개개인의 과거 의료 기록을 향후 추가적인 의료 행위에 활용하고 있다.
그러나 일반적인 의료 문진 및 상담 간 발생하는 의료진과 환자 간의 대화는 별도로 기록되거나 저장되지 않고 있다. 이로 인해 문진간 획득 가능한 추가적인 환자의 식생활 습관 또는 건강 상태, 과거 기록이 존재하지 않는 병력 사항 등에 대한 주요 정보는 효율적으로 활용되지 못하고 있다.
이에 따라, 의료 문진 현장에서 발생하는 의료진과 환자와의 대화를 저장하고 이를 텍스트 데이터로 변환하여 해당 문진 내용 내 주요한 내용만 자동으로 추출, 요약하여 지식화 할 수 있는 방안에 대한 연구가 필요한 실정이다.
공개 특허 공보 제10-2021-0000103호(건강기록 시스템)
본 개시는, 의료 현장에서 발생하는 의료진과 환자 간의 문진 또는 상담 음성 기록을 텍스트로 변환하고, 변환된 텍스트 중 의료 현장에서 중요하게 취급되는 주요 문장만 정밀하게 추출하는 전자 장치의 의료 상담 요약 방법을 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 전자 장치의 의료 상담 요약 방법은, 환자의 의료 상담에 대응되는 오디오 신호를 인식하여 텍스트를 획득하는 단계, 상기 획득된 텍스트를 복수의 문장으로 구분하는 단계, 상기 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출하는 단계, 상기 산출된 중요도를 기반으로, 상기 복수의 문장에 순위를 매기는 단계, 상기 순위를 기반으로, 상기 복수의 문장 중 기설정된 요약율에 대응되는 문장들을 선택하는, 1차 요약 단계, 상기 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계를 포함한다.
상기 중요도를 산출하는 단계는, 상기 복수의 키워드 중 기저장된 의료 상담 용어에 매칭되는 키워드의 중요도에 대하여 추가적인 가중치를 부여할 수 있다.
상기 복수의 문장에 순위를 매기는 단계는, 상기 복수의 문장 각각에 포함된 적어도 하나의 키워드의 중요도를 합산하여 상기 복수의 문장 각각의 스코어를 획득하고, 상기 획득된 스코어를 기반으로, 상기 복수의 문장에 순위를 매길 수 있다.
또한, 상기 복수의 문장에 순위를 매기는 단계는, 상기 복수의 문장 중 의미가 서로 중복되는 문장들을 식별하고, 상기 식별된 문장들 중 적어도 하나의 문장의 스코어를 차감할 수 있다.
한편, 상기 1차 요약 단계는, 상기 복수의 문장을 문장 간의 질의-응답 관계를 식별하도록 훈련된 인공지능 모델에 입력하여, 상기 복수의 문장 중 서로 질의-응답 관계인 문장들을 식별하고, 상기 식별된 문장들 중 상기 스코어가 가장 높은 문장이 상기 기설정된 요약율에 따라 선택되는지 여부에 따라, 상기 식별된 문장들 전체의 선택 여부를 결정할 수도 있다.
상기 복수의 문장으로 구분하는 단계는, 상기 복수의 문장을, 문맥 정보를 판단하도록 훈련된 인공지능 모델에 순차적으로 입력하여, 상기 복수의 문장 중 상기 의료 상담의 문맥에 맞지 않는 적어도 하나의 문장을 판단하는 단계, 상기 복수의 문장 중 상기 판단된 문장 이전의 적어도 하나의 문장이 상기 인공지능 모델에 입력된 상태에서, 상기 판단된 문장에 포함된 키워드들을 상기 인공지능 모델에 순차적으로 입력하여, 상기 판단된 문장에 포함된 키워드들 중 상기 의료 상담의 문맥에 맞지 않는 적어도 하나의 키워드를 판단하는 단계, 상기 판단된 키워드를 상기 의료 상담의 문맥에 맞는 키워드로 대체하여, 상기 판단된 문장을 보정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따라 의료 상담을 요약하여 제공하는 서버의 제어 방법은, 마이크를 포함하는 적어도 하나의 단말 장치로부터 환자의 의료 상담에 대응되는 오디오 신호를 수신하는 단계, 오디오 신호를 인식하여 텍스트를 획득하는 단계, 상기 획득된 텍스트를 복수의 문장으로 구분하는 단계, 상기 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출하는 단계, 상기 산출된 중요도를 기반으로, 상기 복수의 문장에 순위를 매기는 단계, 상기 순위를 기반으로, 상기 복수의 문장 중 기설정된 요약율에 대응되는 비율만큼의 문장들을 선택하는, 1차 요약 단계, 상기 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계, 상기 2차 요약 단계가 수행된 요약문을 상기 환자의 의료 상담 이력으로 등록하는 단계를 포함한다.
상기 서버의 제어 방법은, 상기 요약문 외에 상기 텍스트를 상기 환자의 의료 상담 이력으로 등록하는 단계를 더 포함할 수 있다. 이 경우, 상기 등록된 텍스트는, 상기 등록된 시점으로부터 제1 기간이 지난 시점에 삭제되고, 상기 등록된 요약문은, 상기 등록된 시점으로부터 상기 제1 기간보다 긴 제2 기간이 지난 시점에 삭제될 수 있다.
한편, 상기 서버의 제어 방법은, 상기 환자의 의료 상담 이력에 대한 적어도 하나의 외부 장치의 요청이 수신되는 경우, 상기 요약문을 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
본 개시에 따른 서버의 요약 방법은, 기존에 활용되지 않던 의료 상담 기반의 환자 건강 정보, 생활정보 데이터를 체계적으로 관리하여 의료 건강 기록의 보조 자료로써 활용성을 높여 의료 서비스 품질을 향상시키는 효과가 있다.
또한, 누적된 의료 상담 분석 결과를 통해 향후 질병 발생과 환자의 생활 패턴과의 연관 관계 분석, 환자 개인의 생활 정보 검색을 통한 기존 문진 사례 검색 등 추가적인 데이터 분석을 통하여 의료 현장에서의 IT 기술을 통한 질병 진단의 보조 자료로서 활용 가치가 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따라 의료 상담을 요약하는 전자 장치의 동작을 설명하기 위한 흐름도,
도 3a 내지 도 3c는 본 개시의 일 실시 예에 따라 의료 상담 내용을 복수의 문장으로 구분하여 요약하는 전자 장치의 동작을 설명하기 위한 도면들, 그리고
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
전자 장치(100)는 하나 이상의 컴퓨터를 포함하는 서버로 구현될 수 있다. 또한, 전자 장치(100)는 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북 PC 등 다양한 단말 기기로 구현될 수도 있다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
메모리(110)는 적어도 한 명의 환자에 대한 정보를 포함할 수 있다. 환자에 대한 정보는, 화자의 이름, 나이, 병력, 성별, 문진 일자, 담당 의사 등에 대한 정보를 포함할 수 있다.
또한, 메모리(110)는 의사 및 환자 간에 수행된 의료 상담(문진)이 녹취된 오디오 신호 또는 해당 오디오 신호가 인식된 텍스트를 포함할 수 있다.
프로세서(120)는 전자 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(120)는 하나 이상의 프로세서로 구성될 수 있다. 이때, 하나 이상의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다.
전자 장치(100)가 서버인 경우, 프로세서(120)는 적어도 하나의 단말 장치로부터 의료 상담 내용에 대한 오디오 신호를 수신할 수 있다.
이를 위해, 전자 장치(100)는 유선 통신 및/또는 무선 통신을 통해 구현된 네트워크를 기반으로, 적어도 하나의 외부 장치와 연결될 수 있다. 네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다. 무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등의 통신 방식 중 적어도 하나를 포함할 수 있다. 유선 통신은 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 통신 방식 중 적어도 하나를 포함할 수 있다. 여기서, 전자 장치(100)는 상술한 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다. 한편, 통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.
구체적인 예로, 프로세서(120)는 적어도 하나의 애플리케이션 또는 웹 페이지를 통해 단말 장치와 연동될 수 있으며, 단말 장치를 통해 상담 내용이 녹취되면, 녹취에 따라 획득된 오디오 신호가 전자 장치(100)로 전송될 수 있다.
단말 장치는, 마이크 장치, 헤드폰, 스마트폰, 이어폰 등 마이크를 포함하는 다양한 장치에 해당할 수 있다.
또는, 서로 통신 가능한 복수의 단말 장치를 통해 의사-환자 간 원격 진료(상담) 서비스가 제공되는 경우, 서버인 전자 장치(100)가 복수의 단말 장치로부터 상담 내용에 대한 오디오 신호를 실시간으로 수신할 수도 있다.
다른 예로, 전자 장치(100)가 스마트폰 등의 단말 장치인 경우, 프로세서(120)는 전자 장치(100)에 포함된 마이크를 통해 상담 내용에 대한 오디오 신호를 획득할 수도 있다.
그리고, 이하 도면들을 통해, 전자 장치(100)가 (상담 내용의) 오디오 신호를 이용하여 수행하는 의료 상담 요약 방법의 다양한 실시 예를 설명한다.
도 2는 본 개시의 일 실시 예에 따라 의료 상담을 요약하는 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 전자 장치(100)는 환자의 의료 상담에 대응되는 오디오 신호를 인식하여 텍스트를 획득할 수 있다(S210).
여기서, 전자 장치(100)는 음향 모델(Acoustic Model) 및 언어 모델(Language Model)을 이용하여 오디오 신호를 텍스트로 변환할 수 있다.
음향 모델은 오디오 신호의 특징 정보에 대한 적어도 하나의 음소 또는 그에 준하는 소리 단위의 관계를 포함하는 데이터 모델을 의미하고, 언어 모델은 복수의 음소 또는 음절에 따라 조합될 수 있는 단어 또는 문장에 대한 확률 분포를 포함하는 데이터 모델을 의미한다.
구체적으로, 전자 장치(100)는 음향 모델을 이용하여 오디오 신호(상담 내용)로부터 (시간 별로) 복수의 음소를 획득할 수 있다.
그리고, 전자 장치(100)는 획득된 복수의 음소를 언어 모델과 비교하여 복수의 음소로 구성된 하나 이상의 단어 내지는 문장을 순차적으로 조합할 수 있다.
여기서, 전자 장치(100)는 조합된 각 단어를 기저장된 발음 사전 내 단어들과 비교하여, 적어도 하나의 단어를 확정 또는 변경할 수 있다.
발음 사전은, 의료 상담에 사용될 수 있는 많은 수의 단어들을 포함하는 데이터에 해당한다. 즉, 발음 사전에 포함된 단어 중, 언어 모델을 통해 조합된 단어와 가장 매칭률이 높은 단어가 선택될 수 있다.
다만, 전자 장치(100)의 음성 인식은 상술한 실시 예에만 한정되는 것은 아니고, 이 밖에도 다양한 방식이 가능하다.
전자 장치(100)는 음성 인식에 따라 획득된 텍스트를 복수의 문장을 구분할 수 있다(S220). 구체적으로, 전자 장치(100)는 종결 어미 분석에 따라 텍스트를 문장 단위로 분리할 수 있다.
이때, 전자 장치(100)는 문맥에 따라 적어도 하나의 문장을 보정할 수도 있다.
구체적으로, 전자 장치(100)는 구분된 복수의 문장을, 문맥 정보를 판단하도록 훈련된 인공지능 모델에 순차적으로 입력하여, 복수의 문장 중 의료 상담의 문맥에 맞지 않는 적어도 하나의 문장을 판단할 수 있다.
본 인공지능 모델은, RNN(Recurrent Neural Network) 기반으로 훈련되어, 순차적으로 이어지는 문장들(단어들) 간의 문맥 정보(연관성, 관련성)를 판단하도록 훈련될 수 있다. 본 인공지능 모델은, 순차적으로 이어지는 각 문장에 따른 문맥이 적절한지 여부를 수치적으로 출력할 수 있으나, 이에 한정되지 않는다.
이 경우, 전자 장치(100)는 문맥에 맞지 않는 것으로 판단된 문장 내에서 어떤 단어가 문맥에 맞지 않는지 판단할 수 있다.
구체적으로, 전자 장치(100)는, 복수의 문장 중 판단된 문장 이전의 적어도 하나의 문장이 상술한 인공지능 모델에 입력된 상태에서, 판단된 문장에 포함된 키워드들을 인공지능 모델에 순차적으로 입력하여, 판단된 문장에 포함된 키워드들 중 의료 상담의 문맥에 맞지 않는 적어도 하나의 키워드를 판단할 수 있다.
여기서, 전자 장치(100)는 판단된 키워드를 의료 상담의 문맥에 맞는 키워드로 대체하여, 판단된 문장을 보정할 수 있다.
이 경우, 전자 장치(100)는 이전 문장 및/또는 이전 단어의 문맥 정보에 맞게 이어질 적어도 하나의 단어 또는 문장을 출력하도록 훈련된 (대화 생성을 위한) 인공지능 모델을 이용하여, 대체할 키워드를 획득할 수 있다.
이와 같이 문맥상 어색한 적어도 하나의 문장이 보정됨에 따라, 앞서 수행된 음성 인식의 오류가 보완될 수 있다.
한편, 전자 장치(100)는 구분된 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출할 수 있다(S230).
구체적으로, 전자 장치(100)는 각 문장에 대한 형태소 분석을 수행하여 각 형태소에 해당하는 키워드들을 추출할 수 있다.
여기서, 전자 장치(100)는 기저장된 키워드 DB를 이용하여 TF-IDF(Term Frequency-Inverse Document Frequency)에 따라 각 키워드의 중요도를 산출할 수 있다. 이 경우, TF-IDF는 복수의 의료상담에 대한 복수의 텍스트에 대한 통계적 수치에 기반한 것일 수 있다.
이때, 전자 장치(100)는 기저장된 의료 상담 용어에 매칭되는 키워드의 중요도에 대하여 추가적인 가중치를 부여할 수 있다.
일 예로, 메모리(110)에 복수의 의료 상담 용어가 포함된 의료 상담 용어 사전이 저장된 경우, 전자 장치(100)는 복수의 문장으로부터 추출된 키워드들 중 의료 상담 용어 사전에 포함된 키워드에 대해서는 중요도에 가중치를 부여할 수 있다.
여기서, 메모리(110)에 저장된 복수의 의료 상담 용어는, 병명에 따라 구분되어 저장되어 있을 수 있다. 예를 들어, 폐 관련 질환에 대해서는 흡연, 호흡, 혈압 등의 용어가 저장될 수 있고, 정신 관련 질환에 대해서는 우울, 흡연, 술, 수면, 약 등의 용어가 저장될 수 있다.
이 경우, 전자 장치(100)는 상담 내용에 포함된 키워드들 중 병명에 해당하는 키워드를 식별하고, 식별된 병명 키워드와 연관되어 주장된 용어들과 매칭되는 키워드에 대해서만 중요도에 가중치를 부여할 수도 있다.
예를 들어, 상담 내용에 “우울증”이라는 병명이 포함되고, 그 밖에 앉다, 흡연, 술, 수면, 차분, 힘내다 등의 키워드가 포함된 경우를 가정한다. 이 경우, 전자 장치(100)는 “우울증”과 연관되어 저장되어 있던 키워드들(흡연, 술, 수면 등)에 대해서는 중요도에 가중치를 부여할 수 있다.
문장들 내 키워드들 각각에 대한 중요도가 산출되면, 전자 장치(100)는 산출된 중요도에 기초하여 복수의 문장에 순위를 매길 수 있다(S240).
이 경우, 전자 장치(100)는 복수의 문장 각각에 포함된 적어도 하나의 키워드의 중요도를 합산하여 복수의 문장 각각의 스코어를 획득할 수 있다.
여기서, 획득된 스코어를 기반으로, 전자 장치(100)는 복수의 문장에 순위(랭킹)를 매길 수 있다. 구체적인 예로, 스코어가 클수록 문장의 순위가 높아질 수(앞설 수) 있다.
한편, 전자 장치(100)는 복수의 문장 중 의미가 서로 중복되는 문장들을 식별하고, 식별된 문장들 중 적어도 하나의 문장의 스코어를 일정 수치만큼 차감할 수도 있다.
여기서, 전자 장치(100)는, 자연어 이해 모듈 등을 이용하여 복수의 문장 각각의 의미를 수치적으로 정의(ex. 다차원 벡터 변환)할 수 있으며, 정의된 수치를 비교하여 의미가 실질 동일한(중복되는) 문장들을 식별할 수 있다.
구체적으로, 전자 장치(100)는 복수의 문장 중 동일한 키워드를 둘 이상 포함하는 문장들을 식별할 수 있다. 여기서, 전자 장치(100)는 중요도가 일정 수치 이상인 키워드를 둘 이상 공통으로 포함하는 문장들을 식별할 수도 있다.
그리고, 전자 장치(100)는 식별된 문장들을 적어도 하나의 인공지능 모델에 입력하여, 해당 문장들 간의 의미 중복 여부를 판단할 수 있다.
본 인공지능 모델은, 두 개의 문장이 입력되면 각 문장의 의미가 중복되는지 여부를 출력하도록 훈련된 모델일 수 있으며, 의미가 중복되는 문장들로 구성된 훈련 데이터 셋 및 의미가 서로 중복되지 않는 문장들로 구성된 훈련 데이터 셋을 통해 딥 러닝 기반 훈련된 모델일 수 있다.
여기서, 본 인공지능 모델은, 두 개 이상의 동일한 키워드를 공통으로 포함하면서도 의미는 서로 중복되지 않는 문장들로 구성된 훈련 데이터 셋을 통해 훈련될 수도 있다.
상술한 과정에 따라 서로 중복되는 문장들이 식별되면, 전자 장치(100)는 중복되는 문장들 중 일 문장의 스코어를 차감할 수 있다. 그 결과, 후술할 S250 단계에서 의미가 중복되는 문장들이 함께 선택될 가능성이 줄어들 수 있다. 즉, 요약문 내 중복 문장의 포함 가능성이 줄어들 수 있다.
상술한 실시 예들에 따라 복수의 문장의 순위가 매겨지면, 전자 장치(100)는 복수의 문장 중 기설정된 요약율에 대응되는 문장들을 선택할 수 있다(S250. 1차 요약).
구체적인 예로, 전자 장치(100)는 복수의 문장 중 특정 요약율(ex. 50%)에 해당하는 수의 문장들을 선택하거나, 또는 특정 요약율에 해당하는 데이터 용량만큼의 문장들을 선택할 수 있다.
이때, 전자 장치(100)는 앞서 산출된 순위가 더 높은 문장을 우선적으로 선택할 수 있다. 예를 들어, 문장의 수가 총 10개이고 요약율이 50%인 경우, 전자 장치(100)는 순위가 가장 높은 5개의 문장들을 선택할 수 있다.
기설정된 요약율은, 애플리케이션 또는 하드웨어의 개발자에 의해 기설정된 값이거나 또는 사용자 입력에 따라 설정된 값일 수 있다.
기설정된 요약율은, 텍스트 내 복수의 문장에 포함된 키워드들의 수 및/또는 중요도에 따라 산정될 수도 있다.
이 경우, 전자 장치(100)는 복수의 문장에 포함된 키워드들(중복 키워드 제외)의 수에 따라 요약율을 산정할 수 있다. 구체적으로, 전자 장치(100)는 복수의 문장에 포함된 전체 키워드의 수를 복수의 문장의 (문장) 수로 나눈 값에 따라 요약율을 산정할 수 있다. 여기서, 문장의 수에 비해 키워드의 수가 많을수록 요약율이 커질 수 있다.
또한, 전자 장치(100)는 복수의 문장에 포함된 전체 키워드 중 중요도가 일정치 이상인 키워드의 수를 복수의 문장의 수로 나눈 값에 비례하도록 요약율을 산정할 수도 있다. 여기서, 전체 문장의 수에 비해, 중요도가 일정치 이상인 키워드의 수가 많을수록 요약율이 커질 수 있다.
또한, 전자 장치(100)는 복수의 문장에 포함된 키워드들의 중요도의 평균에 따라 요약율을 산정할 수도 있다. 즉, 키워드들의 중요도의 평균이 클수록, 요약율이 커질 수 있다.
구체적인 예로, 이하 수학식을 통해 요약율이 산정될 수 있으나, 이에 한정되지 않는다(R: 요약율, N(k): 키워드 수, N(s): 문장 수, N(k'): 중요도가 일정치 이상인 키워드 수, E(ik): 키워드들의 중요도 평균, α/β/γ: 기설정된 상수들).
Figure 112021011014004-pat00001
한편, 전자 장치(100)는 서로 질의-응답 관계에 있는 문장들에 대해서는, 모두 선택하거나 또는 모두 선택하지 않을 수 있다.
구체적으로, 전자 장치(100)는 복수의 문장을 문장 간의 질의-응답 관계를 식별하도록 훈련된 인공지능 모델에 입력하여, 복수의 문장 중 서로 질의-응답 관계인 문장들을 식별할 수 있다.
여기서, 질의-응답 관계를 식별하도록 훈련된 인공지능 모델은, RNN(Recurrent Neural Network) 기반으로 훈련되어, 문장 간의 질의-응답 관계 여부를 식별하도록 훈련될 수 있다. 여기서, 텍스트 내 문장들에 포함되는 단어 및 문장 부호 각각이 다차원의 벡터로 변환되는 한편 순차적으로 이어지는 단어/문장 부호로 구성되는 문장들 간의 관계가 (문맥에 맞는) 질의-응답 관계인지 여부가 판단될 수 있다.
상술한 과정에 따라 서로 질의-응답 관계인 문장들이 식별되면, 전자 장치(100)는 식별된 문장들 중 스코어가 가장 높은 문장이 기설정된 요약율에 따라 선택되는지 여부에 따라, 식별된 문장들 전체의 선택 여부를 결정할 수 있다.
예를 들어, 텍스트 내 복수의 문장의 수가 10개이고, 요약율이 40퍼센트이며, 복수의 문장 중 서로 질의-응답 관계인 문장들(문장 A, 문장 B)의 순위가 각각 2순위 및 5순위인 경우를 가정한다.
이 경우, 2순위인 문장 A가 요약율에 따라 선택되는 문장에 해당하므로, 전자 장치(100)는 비록 5순위이지만 문장 A(질의)에 대한 응답인 문장 B 역시 선택하여 요약문에 포함시킬 수 있다. 그 결과, 기존에 4순위였던 문장은 요약문에 포함되지 않을 수도 있다.
상술한 다양한 실시 예들에 따라 요약율에 대응되는 문장들이 선택되면, 전자 장치(100)는 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계를 수행할 수 있다(S260).
구체적으로, 전자 장치(100)는 명사, 부사, 동사, 형용사에 해당하는 키워드만 추출하되, 명사에 주격 및 목적격 조사가 함께 붙어있을 경우에는 해당 조사도 유지하는 방식으로 각 문장을 추가 요약할 수 있다.
도 3a 내지 도 3c는 본 개시의 일 실시 예에 따라 의료 상담 내용을 복수의 문장으로 구분하여 요약하는 전자 장치의 동작을 설명하기 위한 도면들이다.
도 3a는, 의사와 환자 간에 수행된 의료 상담의 내용을 도시한 것이다. 전자 장치(100)는 상술한 S210 과정에 따라 도 3a와 같은 텍스트를 획득할 수 있다.
이때, 전자 장치(100)는 음성 인식의 대상이 되는 오디오 신호를 분석하여 텍스트 내 각 부분의 화자를 구분할 수 있다.
또는, 전자 장치(100)는 인식된 텍스트를 문장 단위로 분석한 뒤, 각 문장의 내용을 분석하여 각 문장의 화자가 의사인지 환자인지 식별할 수도 있다. 이 경우, 전자 장치(100)는 의료 상담 내 텍스트의 화자를 판단하기 위한 적어도 하나의 템플릿 또는 적어도 하나의 인공지능 모델을 이용할 수 있다. 본 인공지능 모델은, 다양한 의료 상담 텍스트 내 문장들을 기반으로, 각 문장을 발화한 화자(의사, 환자, 또는 보호자)를 선택하도록 훈련될 수 있다.
도 3b는 전자 장치(100)가 구분된 복수의 문장에 대해 순위를 부여하고, 순위에 따라 1차 요약을 수행하는 예를 설명하기 위한 도면이다.
도 3b의 좌측 표는, 전자 장치(100)가 형태소 분석을 기반으로 도 3a의 텍스트를 복수의 문장으로 구분한 것이다.
도 3b의 좌측 표를 참조하면, 전자 장치(100)는 각 문장에 포함된 키워드들(형태소)의 중요도에 따라 각 문장의 스코어를 산출하고, 산출된 스코어에 따라 각 문장의 순위를 설정할 수 있다.
여기서, 기설정된 요약율이 50%인 경우, 좌측 표의 문장들 중 8순위의 문장들까지 선택될 수 있다.
그리고, 전자 장치(100)는, 도 3b의 우측 표와 같이, 선택된 8개의 문장들에 해당하는 원본 문장들을 포함하는 1차 요약문을 획득할 수 있다.
도 3c는 2차 요약의 일 예를 설명하기 위한 도면이다.
도 3c를 참조하면, 전자 장치(100)는 도 3b의 우측 표에 해당하는 1차 요약문에 대해 2차 요약을 수행하여, 최종 요약문을 완성할 수 있다.
구체적으로, 전자 장치(100)는, 원본 문장 내에서, 요약율에 따라 선택되지 않았던 문장 부분(ex. 그저께 그렇다)을 제외할 수 있다. 또한, 전자 장치(100)는 원 본 문장 내에서 서술어를 원형 내지는 형태소로 변형할 수 있다(ex. 힘듭니다 -> 힘들다, 됩니다 -> 되다). 또한, 전자 장치(100)는 주격 및 목적격 조사를 제외한 적어도 하나의 조사를 제거할 수 있다(ex. 등이랑 -> 등, 평소에 -> 평소)
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 4를 참조하면, 전자 장치(100)는 입력부(410), 음성 인식부(420), 텍스트 분석부(430), 저장부(440), 조회부(450) 등을 포함할 수 있다. 본 구성들은 각각 소프트웨어 및/또는 하드웨어로 구성될 수 있으며, 이 중 적어도 하나의 구성(ex. 입력부, 저장부, 조회부)은 전자 장치(100)와 적어도 하나의 외부 장치(ex. 사용자 단말, 외부 서버 등)를 포함하는 시스템을 통해 구현될 수도 있다.
입력부(410)는 의료 상담이 녹취된 오디오 신호를 입력 받기 위한 구성이다.
입력부(410)는 오디오 신호를 메모리(110) 또는 프로세서(120) 상에 업로드하기 위한 음성 업로드 모듈(411)을 포함할 수 있다.
입력부(410)는 전자 장치(100)에 포함된 마이크를 통해 입력된 오디오 신호(의료 상담) 또는 외부 단말 장치의 마이크를 통해 입력되어 전자 장치(100)로 수신된 오디오 신호(의료 상담)을 기반으로 음성을 업로드할 수 있다.
음성 인식부(420)는 의료 상담이 녹취된 오디오 신호를 인식하여 텍스트로 변환하기 위한 구성이다.
음성 인식부(420)는 음향 모델 기반 인식 모듈(421), 음절 추출 모듈(422), 언어 모델 기반 인식 모듈(423), 텍스트 생성 모듈(424) 등을 포함할 수 있다.
음향 모델 기반 인식 모듈(421)은, 음향 모델을 통해 오디오 신호를 분석하여 적어도 하나의 음소 내지는 특정 단위에 해당하는 소리를 추출하기 위한 모듈이다.
음절 추출 모듈(422)은 음향 모델 기반 인식 모듈(421)을 통해 추출된 적어도 하나의 음소를 이용하여 음절을 추출할 수 있다.
언어 모델 기반 인식 모듈(421)은 언어 모델을 통해 음소 또는 음절을 확률적으로 조합하여 적어도 하나의 단어 내지는 문장을 생성하기 위한 모듈이다.
텍스트 생성 모듈(424)은 상술한 모듈들(421, 422, 423)을 통해 수행된 분석 결과에 따라 오디오 신호에 매칭되는 전체 텍스트를 획득할 수 있다.
한편, 음성 인식부(420)는 의료 용어를 인식하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수도 있다. 음향 모델 기반 인식 모듈(421) 및/또는 언어 모델 기반 인식 모듈(423)은 본 인공지능 모델을 이용할 수 있으며, 본 인공지능 모델은 전자 장치(100) 또는 외부 장치 내에서 훈련될 수 있다(인공지능 음성 인식 학습 엔진).
텍스트 분석부(430)는 인식된 텍스트를 분석하여 요약하기 위한 구성이다.
텍스트 분석부(430)는 문장 구분 모듈(431), 형태소 분석 모듈(432), 키워드 중요도 산출 모듈(433), 문장 랭킹 산출 모듈(434), 1차/2차 요약 모듈(435) 등을 포함할 수 있다.
문장 구분 모듈(431)은 텍스트에 포함된 문장 부호 내지는 어미를 식별하여 텍스트를 복수의 문장으로 구분할 수 있다.
형태소 분석 모듈(432)은 구분된 복수의 문장 각각에 포함된 키워드들을 형태소 단위로 추출할 수 있다.
키워드 중요도 산출 모듈(433)은 추출된 각 키워드의 중요도를 산출할 수 있다.
이때, 키워드 중요도 산출 모듈(433)은 각 키워드의 출현 빈도(ex. 다양한 의료 상담 내용)를 통해 각 키워드의 중요도를 산출할 수 있다.
또한, 키워드 중요도 산출 모듈(433)은 의료 상담 용어 사전에 포함된 단어와 매칭되는 키워드에 대해서는 중요도에 가중치를 부여할 수도 있다.
문장 랭킹 산출 모듈(434)은 키워드 별 중요도를 이용하여 각 문장에 순위를 매길 수 있다.
구체적으로, 문장 랭킹 산출 모듈(434)은 각 문장에 포함된 키워드들의 중요도를 합산하여 각 문장의 스코어를 산출할 수 있다. 그리고, 문장 랭킹 산출 모듈(434)은 스코어가 높을수록 순위가 높아지도록 각 문장의 순위를 매길 수 있다.
1차/2차 요약 모듈(435)은 상술한 복수의 문장 중 적어도 일부를 이용하여 요약을 수행하기 위한 모듈이다.
구체적으로, 1차/2차 요약 모듈(435)은 복수의 문장 중 기설정된 요약율에 대응되는 수만큼의 문장들을 선택할 수 있으며, 선택된 문장들 내에서 주격/목적격 조사를 제외한 조사를 제외할 수 있다.
저장부(440)는 요약된 텍스트(요약문)를 저장 및 관리하기 위한 모듈이다.
저장부(440)는 상담 이력 관리 모듈(441)을 포함할 수 있다. 상담 이력 관리 모듈(441)은 특정 환자에 대해 수행된 복수의 의료 상담을 기반으로 각각 획득된 복수의 요약문을 환자에 대한 상담 이력으로 저장할 수 있다.
또한, 상담 이력 관리 모듈(441)은 새롭게 수행된 의료 상담에 따라 획득된 요약문을 추가하여 환자의 상담 이력을 업데이트할 수 있다.
상담 이력 관리 모듈(441)은 의료 상담 전체가 담긴 원문 텍스트 및 요약문을 각각 상담 이력으로 등록할 수도 있다.
이 경우, 상담 이력 관리 모듈(441)은 원문 텍스트가 등록된 시점으로부터 제1 기간이 지난 시점에 원문 텍스트를 삭제하고, 요약문이 등록된 시점으로부터 제2 기간이 지난 시점에 요약문을 삭제할 수 있다. 여기서, 제2 기간은 제1 기간보다 길 수 있다. 즉, 원문 텍스트가 아닌 요약문이 장기 보관됨으로써, 서버 등으로 구현된 전자 장치(100) 내 메모리 용량이 효율적으로 이용될 수 있다.
또는, 상담 이력 관리 모듈(441)은 요약문은 시간이 지나도 삭제하지 않되, 등록된 원문 텍스트만 기설정된 기간 이후에 삭제할 수도 있다.
조회부(450)는 환자의 상담 이력을 조회하기 위한 구성이다.
조회부(450)는 상담 이력 제공 모듈(451)을 포함할 수 있다. 상담 이력 제공 모듈(451)은 환자 별 상담 이력을 제공할 수 있으며, 상담 이력은 상술한 과정들을 통해 획득된 요약문을 포함할 수 있다.
일 실시 예로, 상담 이력 제공 모듈(451)은 환자의 의료 상담 이력에 대한 적어도 하나의 외부 장치의 요청이 수신되는 경우, 요약문을 외부 장치로 전송할 수 있다.
여기서, 외부 장치는, 스마트폰, 데스크탑 PC, 노트북 PC 등 사용자 단말일 수 있으며, 구체적으로는 해당 환자와의 의료 상담을 앞둔 의사의 사용자 단말일 수도 있다.
또는, 외부 장치는, 사용자 단말을 통해 의료 관련 서비스를 제공하는 적어도 하나의 외부 서버일 수도 있다.
외부 장치의 요청은, 환자명/병명/생활 등과 관련된 검색어에 따른 검색 명령, 상담 이력 조회 요청 등일 수 있다.
구체적인 예로, 상담 이력 제공 모듈(451)은 환자의 이름이 입력되면 해당 환자에 대한 상담 이력에 포함된 하나 이상의 요약문(상담 내용)을 제공할 수 있다.
또한, 상담 이력 제공 모듈(451)은 입력된 키워드에 따라 요약문을 검색하여 제공할 수도 있다. 예를 들어, 식사 빈도, 흡연 빈도와 같은 키워드에 따라 검색이 수행되는 경우, 상담 이력 제공 모듈(451)은 해당 키워드와 관련된 생활 정보가 담긴 요약문을 제공할 수 있다. 이러한 요약문은, 향후 수행되는 해당 환자의 의료 상담 내지는 의료 분석에 유의미하게 활용될 수 있다.
관련하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는, 상술한 실시 예들을 통해 요약된 의료 상담의 최종 요약문을 이용하여, 환자의 생활 패턴, 병력 등을 분석할 수 있다. 그리고, 전자 장치(100)는 환자의 생활 패턴 및 병력을 이용하여 환자에 대하여 예측되는 적어도 하나의 질병을 판단하고, 판단된 질병에 대한 정보(ex. 질병 종류, 예방 수칙, 진단 주기 등)를 제공할 수도 있다.
이를 위해, 전자 장치(100)는 생활 패턴 및 과거 병력에 대한 정보가 입력되면 향후 예측되는 질병에 대한 정보를 출력하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는, 상술한 실시 예들을 통해 요약된 의료 상담의 최종 요약문을 이용하여, 의료 상담을 수행하기 위한 적어도 하나의 인공지능 모델을 훈련시킬 수도 있다. 본 인공지능 모델은, 환자를 상대로 의료 상담에 해당하는 대화 내용을 생성하도록 훈련된 인공지능 모델일 수 있다.
즉, 전자 장치(100)는 실제 의사와 환자 간의 대화를 상술한 도 2의 과정을 거쳐 요약하여 요약문을 획득한 뒤, 획득된 요약문을 의료 상담용 인공지능 모델의 훈련 데이터로 이용할 수 있다.
이 경우, 인공지능 모델은, 상담의 어조/말투/상황 등과 무관하게 의료 상담 내 객관적 정보를 포함하는 주요 문장만을 기반으로 빠르게 훈련될 수 있으며, 결과적으로는, 의료 상담을 빠르게 수행하여 객관적인 의료 정보만을 기계적으로 제공하도록 훈련될 수 있다. 이러한 훈련 방식은, 실제 의사처럼 인간적 면모를 보이거나 종합적인 외부 상황을 고려하지는 못하지만, 객관적/기계적 진단만을 수행하는 인공지능 모델의 역할을 명확히 할 수 있으며, 사전 상담, 간이 진료 등에 해당하는 간편 의료 서비스 등을 위한 인공지능 모델의 훈련에 적합할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되지 않는 한 둘 이상이 서로 결합되어 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서

Claims (10)

  1. 전자 장치의 의료 상담 요약 방법에 있어서,
    환자의 의료 상담에 대응되는 오디오 신호를 인식하여 텍스트를 획득하는 단계;
    상기 획득된 텍스트를 복수의 문장으로 구분하는 단계;
    상기 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출하는 단계;
    상기 산출된 중요도를 기반으로, 상기 복수의 문장에 순위를 매기는 단계;
    상기 순위를 기반으로, 상기 복수의 문장 중 기설정된 요약율에 대응되는 문장들을 선택하는, 1차 요약 단계; 및
    상기 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계;를 포함하고,
    상기 복수의 문장에 순위를 매기는 단계는,
    상기 복수의 문장 각각에 포함된 적어도 하나의 키워드의 중요도를 합산하여 상기 복수의 문장 각각의 스코어를 획득하고,
    상기 획득된 스코어를 기반으로 상기 복수의 문장에 순위를 매기고,
    상기 복수의 문장에 순위를 매기는 단계는,
    상기 복수의 문장 중 의미가 서로 중복되는 문장들을 식별하고,
    상기 식별된 문장들 중 적어도 하나의 문장의 스코어를 차감하고,
    상기 1차 요약 단계는,
    상기 복수의 문장을 문장 간의 질의-응답 관계를 식별하도록 훈련된 인공지능 모델에 입력하여, 상기 복수의 문장 중 서로 질의-응답 관계인 문장들을 식별하고,
    상기 식별된 문장들 중 상기 스코어가 가장 높은 문장이 상기 기설정된 요약율에 따라 선택되면, 상기 식별된 문장들 전체를 선택하고,
    상기 식별된 문장들 중 상기 스코어가 가장 높은 문장이 상기 기설정된 요약율에 따라 선택되지 않으면, 상기 식별된 문장들 전체를 선택하지 않는, 전자 장치의 의료 상담 요약 방법.
  2. 제1항에 있어서,
    상기 중요도를 산출하는 단계는,
    상기 복수의 키워드 중 기저장된 의료 상담 용어에 매칭되는 키워드의 중요도에 대하여 추가적인 가중치를 부여하는, 전자 장치의 의료 상담 요약 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 복수의 문장으로 구분하는 단계는,
    상기 복수의 문장을, 문맥 정보를 판단하도록 훈련된 인공지능 모델에 순차적으로 입력하여, 상기 복수의 문장 중 상기 의료 상담의 문맥에 맞지 않는 적어도 하나의 문장을 판단하는 단계;
    상기 복수의 문장 중 상기 판단된 문장 이전의 적어도 하나의 문장이 상기 인공지능 모델에 입력된 상태에서, 상기 판단된 문장에 포함된 키워드들을 상기 인공지능 모델에 순차적으로 입력하여, 상기 판단된 문장에 포함된 키워드들 중 상기 의료 상담의 문맥에 맞지 않는 적어도 하나의 키워드를 판단하는 단계; 및
    상기 판단된 키워드를 상기 의료 상담의 문맥에 맞는 키워드로 대체하여, 상기 판단된 문장을 보정하는 단계;를 더 포함하는, 전자 장치의 의료 상담 요약 방법.
  7. 의료 상담을 요약하여 제공하는 서버의 제어 방법에 있어서,
    마이크를 포함하는 적어도 하나의 단말 장치로부터 환자의 의료 상담에 대응되는 오디오 신호를 수신하는 단계;
    오디오 신호를 인식하여 텍스트를 획득하는 단계;
    상기 획득된 텍스트를 복수의 문장으로 구분하는 단계;
    상기 복수의 문장에 포함된 복수의 키워드 각각의 중요도를 산출하는 단계;
    상기 산출된 중요도를 기반으로, 상기 복수의 문장에 순위를 매기는 단계;
    상기 순위를 기반으로, 상기 복수의 문장 중 기설정된 요약율에 대응되는 비율만큼의 문장들을 선택하는, 1차 요약 단계;
    상기 선택된 문장들 각각에 대하여, 키워드들을 제외한 적어도 일부를 제거하는, 2차 요약 단계; 및
    상기 2차 요약 단계가 수행된 요약문을 상기 환자의 의료 상담 이력으로 등록하는 단계;를 포함하고,
    상기 복수의 문장에 순위를 매기는 단계는,
    상기 복수의 문장 각각에 포함된 적어도 하나의 키워드의 중요도를 합산하여 상기 복수의 문장 각각의 스코어를 획득하고,
    상기 획득된 스코어를 기반으로 상기 복수의 문장에 순위를 매기고,
    상기 복수의 문장에 순위를 매기는 단계는,
    상기 복수의 문장 중 의미가 서로 중복되는 문장들을 식별하고,
    상기 식별된 문장들 중 적어도 하나의 문장의 스코어를 차감하고,
    상기 1차 요약 단계는,
    상기 복수의 문장을 문장 간의 질의-응답 관계를 식별하도록 훈련된 인공지능 모델에 입력하여, 상기 복수의 문장 중 서로 질의-응답 관계인 문장들을 식별하고,
    상기 식별된 문장들 중 상기 스코어가 가장 높은 문장이 상기 기설정된 요약율에 따라 선택되면, 상기 식별된 문장들 전체를 선택하고,
    상기 식별된 문장들 중 상기 스코어가 가장 높은 문장이 상기 기설정된 요약율에 따라 선택되지 않으면, 상기 식별된 문장들 전체를 선택하지 않는, 서버의 제어 방법.
  8. 제7항에 있어서,
    상기 서버의 제어 방법은,
    상기 텍스트를 상기 환자의 의료 상담 이력으로 등록하는 단계;를 더 포함하고,
    상기 등록된 텍스트는, 상기 등록된 시점으로부터 제1 기간이 지난 시점에 삭제되고,
    상기 등록된 요약문은, 상기 등록된 시점으로부터 상기 제1 기간보다 긴 제2 기간이 지난 시점에 삭제되는, 서버의 제어 방법.
  9. 제7항에 있어서,
    상기 서버의 제어 방법은,
    상기 환자의 의료 상담 이력에 대한 적어도 하나의 외부 장치의 요청이 수신되는 경우, 상기 요약문을 상기 외부 장치로 전송하는 단계;를 더 포함하는, 서버의 제어 방법.
  10. 컴퓨터 판독 가능 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
    전자 장치의 프로세서에 의해 실행되어 상기 전자 장치로 하여금 제1항의 의료 상담 요약 방법을 수행하도록 하는, 컴퓨터 판독 가능 기록 매체에 저장된 컴퓨터 프로그램.
KR1020210011679A 2021-01-27 2021-01-27 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템 KR102298330B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210011679A KR102298330B1 (ko) 2021-01-27 2021-01-27 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210011679A KR102298330B1 (ko) 2021-01-27 2021-01-27 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템

Publications (1)

Publication Number Publication Date
KR102298330B1 true KR102298330B1 (ko) 2021-09-06

Family

ID=77782290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210011679A KR102298330B1 (ko) 2021-01-27 2021-01-27 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템

Country Status (1)

Country Link
KR (1) KR102298330B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102537168B1 (ko) * 2022-04-28 2023-05-26 주식회사 애자일소다 불완전판매 모니터링 장치 및 방법
KR102570594B1 (ko) * 2022-07-29 2023-08-25 솔닥 주식회사 인공지능 기반의 비대면 진료 영상 처리 장치, 방법 및 프로그램
KR20230143355A (ko) 2022-04-05 2023-10-12 성균관대학교산학협력단 온라인 의학 상담 데이터 분석을 통한 현대인의 감성분석 방법
KR20230158887A (ko) 2022-05-12 2023-11-21 주식회사 부뜰정보시스템 상품명 발음 음가의 변환 규칙 및 변환 규칙 적용을 통한 음성인식 시스템 및 동작 방법
KR102627819B1 (ko) * 2023-03-09 2024-01-23 주식회사 스파이스웨어 인공지능을 이용한 문맥 내 개인정보 판단 장치, 방법 및 컴퓨터 프로그램
KR102627463B1 (ko) * 2022-12-19 2024-01-23 주식회사 비플러스헬스케어 인공지능 문진 및 의료기록 생성 시스템 및 그 방법
CN118072901A (zh) * 2024-04-18 2024-05-24 中国人民解放军海军青岛特勤疗养中心 一种基于语音识别的门诊电子病历生成方法及系统
US12033659B1 (en) 2023-01-03 2024-07-09 Actionpower Corp. Method for determining and linking important parts among STT result and reference data
KR102692604B1 (ko) * 2023-09-11 2024-08-07 주식회사 그리너랩 식물 진단 차트 서포터 및 이를 이용한 차트 작성 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160060335A (ko) * 2014-11-20 2016-05-30 에스케이텔레콤 주식회사 대화 분리 장치 및 이에서의 대화 분리 방법
KR20190096304A (ko) * 2019-07-29 2019-08-19 엘지전자 주식회사 대화 내용에 대한 요약문 생성 장치 및 방법
KR20210000103A (ko) 2019-06-24 2021-01-04 (주)비주얼터미놀로지 건강기록 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160060335A (ko) * 2014-11-20 2016-05-30 에스케이텔레콤 주식회사 대화 분리 장치 및 이에서의 대화 분리 방법
KR20210000103A (ko) 2019-06-24 2021-01-04 (주)비주얼터미놀로지 건강기록 시스템
KR20190096304A (ko) * 2019-07-29 2019-08-19 엘지전자 주식회사 대화 내용에 대한 요약문 생성 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230143355A (ko) 2022-04-05 2023-10-12 성균관대학교산학협력단 온라인 의학 상담 데이터 분석을 통한 현대인의 감성분석 방법
KR102537168B1 (ko) * 2022-04-28 2023-05-26 주식회사 애자일소다 불완전판매 모니터링 장치 및 방법
KR20230158887A (ko) 2022-05-12 2023-11-21 주식회사 부뜰정보시스템 상품명 발음 음가의 변환 규칙 및 변환 규칙 적용을 통한 음성인식 시스템 및 동작 방법
KR102570594B1 (ko) * 2022-07-29 2023-08-25 솔닥 주식회사 인공지능 기반의 비대면 진료 영상 처리 장치, 방법 및 프로그램
KR102627463B1 (ko) * 2022-12-19 2024-01-23 주식회사 비플러스헬스케어 인공지능 문진 및 의료기록 생성 시스템 및 그 방법
US12033659B1 (en) 2023-01-03 2024-07-09 Actionpower Corp. Method for determining and linking important parts among STT result and reference data
KR102627819B1 (ko) * 2023-03-09 2024-01-23 주식회사 스파이스웨어 인공지능을 이용한 문맥 내 개인정보 판단 장치, 방법 및 컴퓨터 프로그램
KR102692604B1 (ko) * 2023-09-11 2024-08-07 주식회사 그리너랩 식물 진단 차트 서포터 및 이를 이용한 차트 작성 방법
CN118072901A (zh) * 2024-04-18 2024-05-24 中国人民解放军海军青岛特勤疗养中心 一种基于语音识别的门诊电子病历生成方法及系统

Similar Documents

Publication Publication Date Title
KR102298330B1 (ko) 음성인식과 자연어 처리 알고리즘을 통해 의료 상담 요약문과 전자 의무 기록을 생성하는 시스템
US11120895B2 (en) Systems and methods for mental health assessment
US11545173B2 (en) Automatic speech-based longitudinal emotion and mood recognition for mental health treatment
US10748644B2 (en) Systems and methods for mental health assessment
Nye et al. Behavioral stuttering interventions for children and adolescents: A systematic review and meta-analysis
WO2020135337A1 (zh) 实体语义关系分类
Hasan et al. A study of the effectiveness of machine learning methods for classification of clinical interview fragments into a large number of categories
CN112183026B (zh) Icd编码方法、装置、电子设备和存储介质
CN109804437B (zh) 以患者为中心的临床知识发现系统
KR102424085B1 (ko) 기계-보조 대화 시스템 및 의학적 상태 문의 장치 및 방법
Syed et al. Automated recognition of alzheimer’s dementia using bag-of-deep-features and model ensembling
EP4064072A1 (en) Query device and method, apparatus, and storage medium
CN115472252A (zh) 基于对话的电子病历生成方法、装置、设备和存储介质
Maas et al. The Care2Report System: Automated Medical Reporting as an Integrated Solution to Reduce Administrative Burden in Healthcare.
Goss et al. Incidence of speech recognition errors in the emergency department
WO2023124837A1 (zh) 问诊处理方法、装置、设备及存储介质
CN112037904A (zh) 在线诊疗数据处理方法、装置、计算机设备和存储介质
CN114360678A (zh) 信息处理方法、装置、设备和存储介质
CN117877660A (zh) 基于语音识别的医学报告获取方法及系统
Hou et al. Code-switching automatic speech recognition for nursing record documentation: system development and evaluation
CN113761899A (zh) 一种医疗文本生成方法、装置、设备及存储介质
KR20230093754A (ko) 전자 의무 기록을 구성하는 텍스트의 분석과 관련된 전처리를 수행하는 전자 장치
CN113314236A (zh) 一种面向高血压的智能问答系统
CN114341867A (zh) 翻译方法、装置、客户端、服务器和存储介质
CN116779137B (zh) 一种基于医疗知识图谱的数据处理方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant