KR101955225B1 - 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치 - Google Patents

전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR101955225B1
KR101955225B1 KR1020170146008A KR20170146008A KR101955225B1 KR 101955225 B1 KR101955225 B1 KR 101955225B1 KR 1020170146008 A KR1020170146008 A KR 1020170146008A KR 20170146008 A KR20170146008 A KR 20170146008A KR 101955225 B1 KR101955225 B1 KR 101955225B1
Authority
KR
South Korea
Prior art keywords
information
text data
interface
transcriber
quot
Prior art date
Application number
KR1020170146008A
Other languages
English (en)
Inventor
이원우
김경선
김아름
장명근
김정훈
Original Assignee
주식회사 셀바스에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀바스에이아이 filed Critical 주식회사 셀바스에이아이
Priority to KR1020170146008A priority Critical patent/KR101955225B1/ko
Application granted granted Critical
Publication of KR101955225B1 publication Critical patent/KR101955225B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction

Abstract

본 발명의 일 실시예에 따르면, 장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법이 개시된다. 상기 방법은, 제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계; 상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계; 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계; 및 상기 생성된 제 1 텍스트 데이터를 전사자가 수정 가능하도록 제 2 사용자 단말기에 전사자 인터페이스를 제공하는 단계;를 포함할 수 있다.

Description

전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING EDITING INTERFACE OF ELECTRONIC MEDICAL RECORD SERVICE}
본 발명은 장치가 전자의무기록 서비스를 제공하는 방법에 관한 것으로서, 보다 상세하게는, 장치가 전사자(기록사)에게 전자의무기록 서비스의 편집 인터페이스를 제공하여 의무기록에 대한 편집을 빠르고 효율적으로 진행하기 위한 방법에 관한 것이다.
종래의 전자의무기록(Electronic Medical Record, EMR)은 의료 종사자가 직접 수기로 환자의 진료에 관한 정보를 입력하거나, 진료에 관한 음성 기록을 녹음하면, 전사자(기록사)가 해당 음성 기록 음원들을 청취하여 텍스트 파일로 작성 및 저장(등록)하는 방식으로 관리되어왔다.
하지만, 이러한 전자의무기록 방식은 의료 종사자가 직접 진료에 관한 모든 정보를 입력해야 하므로, 작성 속도가 발화되는 속도를 따라가기 힘들다. 그리고, 녹음 후-전사 방식을 이용한 전자의무기록은, 전사자가 진료 기록 음원의 처음부터 끝까지 청취하면서 전사(transcription)해야 하므로, 많은 시간과 인력이 필요하다는 단점이 있다.
추가적으로, 음성 인식을 이용한 전자의무기록 방식을 사용하는 경우, 오인식(misrecognized)되어 잘못 기록된 텍스트에 대해서, 전사자가 빠르고 간편하게 수정할 수 있는 인터페이스가 전무하다.
따라서, 전자의무기록 서비스를 제공하는 데에 있어서, 의료 종사자는 음성 인식을 통해 환자의 진료에 관한 정보를 빠르게 입력하고, 전사자는 오인식되어 기록된 텍스트에 대해서 편리하고 정확하게 수정할 수 있는 방법이 필요하다.
대한민국 등록특허: 제 10-0766058호
본 발명은 전술한 배경 기술에 대응하여 안출된 것으로, 장치가 전자의무기록 서비스를 제공하는 방법에 있어서, 상기 방법은 전사자(기록사)가 잘못 음성 인식된 의무기록에 대한 편집을 빠르고 효율적으로 진행할 수 있도록 편집 인터페이스를 제공하기 위함이다.
전술한 바와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따르면, 장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법이 개시된다. 상기 방법은, 제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계; 상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계; 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계; 및 상기 생성된 제 1 텍스트 데이터를 전사자가 수정 가능하도록 제 2 사용자 단말기에 전사자 인터페이스를 제공하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 장치가 전사자(기록사)에게 전자의무기록 서비스의 편집 인터페이스를 제공함으로써 전사자(기록사)는 잘못 음성 인식된 의무기록을 편리하고, 효율적으로 편집할 수 있다.
다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 발명의 일 실시예에 따른 장치가 사용자(의료진, 전사자)에게 전자의무기록 서비스를 제공하는 방법을 개시하는 개략도이다.
도 2는 본 발명의 일 실시예에 따른 장치가 전자의무기록 서비스를 제공하는 방법을 도시한다.
도 3은 본 발명의 일 실시예에 따른 장치가 전자의무기록 서비스를 제공하는 방법을 설명하기 위한 순서도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 의료진 인터페이스를 도시한다.
도 5는 본 발명의 일 실시예에 따른 전사자 인터페이스를 도시한다.
도 6는 본 발명의 일 실시예에 따른 녹음 전/후의 의료진 인터페이스의 음성 정보 재생 제어 영역 및 텍스트 데이터 편집 영역을 도시한다.
도 7는 본 발명의 일 실시예에 따른 장치가 환자 정보를 획득하는 단계를 도시한다.
도 8은 본 발명의 일 실시예에 따른 장치가 환자 정보를 음성 정보를 통해 획득하는 방법의 실시예를 도시한다.
도 9은 본 발명의 일 실시예에 따른 장치가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계를 도시한다.
도 10는 본 발명의 일 실시예에 따른 사용자 인터페이스(의료진 인터페이스 및 전사자 인터페이스)에서 수정된 텍스트와 수정되지 않은 텍스트가 상이한 색상으로 표시되는 실시예를 도시한다.
도 11은 본 발명의 일 실시예에 따라 인식률이 낮은 단어에 대해서 전사자 인터페이스에 유사 단어 리스트가 표시되는 실시예를 도시한다.
도 12은 본 발명의 일 실시예에 따라 음성 정보의 평균 인식률에 기초해 전사자 인터페이스에 표시되는 음성 정보의 적어도 일부가 상이한 색상으로 표시되는 실시예를 도시한다.
도 13는 본 발명의 일 실시예에 따라 인식률이 낮은 단어에 대해서 전사자 인터페이스에서 다른 단어들과 상이한 색상으로 표시되는 실시예를 도시한다.
도 14은 본 발명의 일 실시예에 따라 하나의 음성 정보에 대해서 전사자 인터페이스에서 화자별로 상이한 색상으로 표시되는 실시예를 도시한다.
도 15는 본 발명의 일 실시예에 따른 전사자 인터페이스의 텍스트 데이터 편집 영역에서 텍스트를 선택하면 음성 정보 재생 제어 영역에 표시된 재생 시점이 이동하는 실시예를 도시한다.
도 16는 본 발명의 일 실시예에 따른 음성 정보 재생 제어 영역에서 음성 정보의 재생 시점이 이동하는 실시예를 도시한다.
도 17은 본 발명의 일 실시예에 따른 전사자 인터페이스에서 음성 정보의 무음 구간을 제외시키는 실시예를 도시한다.
도 18은 본 발명의 일 실시예에 따른 전사자 인터페이스에서 텍스트를 선택했을 시 표시될 수 있는 기능들을 설명하기 위한 도면이다. 도 19은 본 발명의 일 실시예에 따른 전사자 인터페이스에서 텍스트 수정 시 동일한 텍스트에 대해서 한 번에 수정하는 기능을 설명하기 위한 도면이다.
도 20는 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보 및 전사자 특성 정보를 생성하는 단계를 도시한다.
도 21은 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보 및 전사자 특성 정보에 기초하여 텍스트 데이터에서 수정이 예상되는 부분을 검출 및 표시하고, 전사자 인터페이스를 제공하는 단계를 도시한다.
도 22은 본 발명의 일 실시예에 따른 장치가 텍스트 데이터에서 발화자 특성 정보에 기초해 사전 결정된 횟수 이상 수정된 단어를 검출하는 단계를 도시한다.
도 23는 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보에 기초해 텍스트 데이터에서 간투사를 검출하는 단계를 도시한다.
도 24은 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보에 기초해 특정 단어를 검출하는 단계를 도시한다.
도 25는 본 발명의 일 실시예에 따른 전자의무기록 서비스 장치의 내부구성도를 도시한다.
다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 하나 이상의 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 단말들, 서버들, 디바이스들, 컴포넌트들, 모듈들 등의 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 이는 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어를 의미할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
본 명세서에서의 컴퓨터-판독가능 매체는 컴퓨터 시스템에 의해서 판독될 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장 매체를 포함할 수 있다. 본 개시내용에서의 컴퓨터-판독가능 매체는, 컴퓨터-판독가능 저장 매체 및 컴퓨터-판독가능 전송 매체를 포함할 수 있다. 본 발명의 일 양상에 따르면, 컴퓨터-판독가능 저장 매체는: ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등을 포함할 수 있다. 또한, 컴퓨터-판독가능 전송 매체는 캐리어 웨이브(예컨대, 인터넷을 통한 전송)의 형태로 구현되는 임의의 전송 가능한 형태의 매체를 포함할 수 있다. 추가적으로, 이러한 컴퓨터-판독가능 매체는 네트워크로 연결된 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독가능한 코드들 및/또는 명령들을 저장할 수도 있다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다. 또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 장치는 서버를 포함할 수 있으며, 서버는 애플리케이션 서버, 웹서버, 컴퓨팅 서버, 클라우드 서버, 데이터베이스 서버, 프록시 서버 등을 포함할 수 있다.
본 명세서에서 전자의무기록(Electronic Medical Record, EMR) 서비스는 기존에 종이차트에 기록했던 인적사항, 병력, 건강상태, 진찰, 입/퇴원기록 등 환자의 모든 정보를 전산화한 것으로서, 의료 종사자가 컴퓨터에 환자의 임상진료에 관한 모든 정보를 입력하면, 이 자료를 모두 데이터베이스로 처리하고, 새로운 정보의 생성도 가능한 의료 정보 시스템을 의미한다.
본 명세서에서 제 1 사용자 단말기와 제 2 사용자 단말기는 각각 의료 종사자와 전사자가 사용하는 단말기를 의미하지만, 본 발명의 다른 실시예에 따르면, 제 1 사용자 단말기와 제 2 사용자 단말기는 동일한 단말기일 수 있으며, 본 발명은 이에 한정되지 않는다.
본 명세서의 전사자는 의료진이 녹음한 진료 기록 음원을 청취하여 글(텍스트)로 옮겨 적는 사용자를 의미하지만, 본 발명의 전사자는 음성 정보를 인식하여 기록된 텍스트를 편집하는 사용자까지도 포함할 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 장치가 사용자(의료진, 전사자)에게 전자의무기록 서비스를 제공하는 방법을 개시하는 개략도이다.
본 발명의 일 실시예에 따르면, 전자의무기록 서비스를 제공하는 장치(3000, 이하, 장치로 기재함)는 제 1 사용자 단말기(1000)에 의료진 인터페이스(400)를 제공할 수 있다. 여기서, 의료진 인터페이스(400)는 음성 정보의 재생을 제어할 수 있는 영역, 음성 정보를 인식해 텍스트로 표시하는 영역, 환자 정보를 표시하는 영역, 환자 추가 버튼, 환경설정 버튼 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 의료진 인터페이스(400)를 통해 입력된 음성 정보를 획득할 수 있다. 여기서, 장치(3000)가 획득한 음성 정보는 의료진이 의료진 인터페이스(400)를 통해 녹음한 음성 신호를 포함할 수 있으며, 이에 한정되지 않는다.
본 발명의 일 실시예에 따르면, 장치(3000)는 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성할 수 있다. 장치(3000)가 제 1 텍스트 데이터를 생성하는 것은 장치(3000)가 음성 정보를 한국어로 인식하여 텍스트로 전사(transcription)하는 것을 포함할 수 있다. 장치(3000)는 음성 정보를 텍스트로 전사하는 단계에서 의료용 영어단어는 영문자 텍스트로 전사할 수 있다. 이 경우, 장치(3000)는 의료용 STT(Speech To Text) 알고리즘을 이용하여, 사용자(의료진)의 음성 정보를 인식하고 텍스트로 전사할 수 있고, 상기 STT 알고리즘의 성능은 누적된 편집정보를 활용함으로써 점차적으로 개선될 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 상기 생성한 제 1 텍스트 데이터 및 음성 정보 중 적어도 하나를 전사자 인터페이스(500)를 통해 제 2 사용자 단말기(2000)에 제공할 수 있다. 여기서, 전사자 인터페이스(500)는 음성 정보의 재생을 제어할 수 있는 영역, 음성 정보를 인식해 텍스트로 표시하는 영역, 환자 정보를 표시하는 영역, 환자 추가 버튼, 환경설정 버튼 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 2 사용자 단말기(2000)에 제공된 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 획득할 수 있다. 그리고, 상기 제 1 텍스트 데이터에 상기 제 1 편집 정보를 반영하여 제 2 텍스트 데이터를 생성할 수 있다. 여기서, 제 2 텍스트 데이터는 전사자에 의해 수정된 제 1 텍스트 데이터를 포함할 수 있다. 제 1 텍스트 데이터가 수정되지 않은 경우, 제 1 텍스트 데이터와 제 2 텍스트 데이터는 서로 동일한 텍스트 데이터일 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 의료진 인터페이스(400)를 통해 제 2 텍스트 데이터를 제 1 사용자 단말기(1000)에 제공할 수 있다. 그리고, 제 1 사용자 단말기(1000)로부터 의료진 인터페이스(400)를 통해 검토 완료 정보 및 제 2 편집 정보 중 적어도 하나를 획득할 수 있다.
장치(3000)가 제 1 사용자 단말기(1000)로부터 검토 완료 정보를 획득한 경우, 장치(3000)는 제 2 텍스트 데이터를 저장할 수 있다.
장치(3000)가 제 1 사용자 단말기로부터 제 2 편집 정보를 획득한 경우, 장치(3000)는 제 2 텍스트 데이터에 제 2 편집 정보를 반영함으로써, 제 3 텍스트 데이터를 생성할 수 있다. 그리고, 장치(3000)는 제 3 텍스트 데이터를 저장할 수 있다.
여기서, 장치(3000)가 수신하는 편집 정보는 제 1 편집 정보 및 제 2 편집 정보에 한정되지 않는다. 예를 들어, 장치(3000)는 제 3 텍스트 데이터를 전사자 인터페이스(500)를 통해 제 2 사용자 단말기(2000)에 다시 제공할 수 있으며, 제 2 사용자 단말기(2000)로부터 제 3 편집 정보를 획득할 수 있다. 그리고, 장치(3000)는 제 3 편집 정보가 반영된 제 4 텍스트 데이터를 제 1 사용자 단말기(1000)로 다시 제공하여 검토 완료 정보 및 제 4 편집 정보 중 적어도 하나를 획득할 수 있다. 전술한 편집 단계는 본 발명의 실시예일 뿐, 이에 한정되지 않는다.
본 발명의 일 실시예에 따르면, 장치(3000)는 환자 정보를 획득할 수 있다. 이 경우, 장치(3000)는 음성 정보에 포함된 환자 항목 정보를 인식하고, 환자 항목 정보가 인식된 이후 가장 근접한 시간 안에 인식되는 단어 정보를 획득할 수 있다. 그리고, 상기 환자 항목 정보와 단어 정보를 매칭시킴으로써 환자 정보를 획득할 수 있다.
예를 들어, 사용자(의료진)가 환자 정보를 입력하는 환자 추가 인터페이스에서 환자 항목 정보 “환자 이름”을 발화한 경우, 장치(3000)는 발화된 “환자 이름”을 인식할 수 있다. 그리고, 이후 단어 정보 “김셀바”가 발화되면 해당 환자 항목 정보와 단어 정보가 매칭되어 환자 정보 “환자 이름: 김셀바”가 입력, 생성될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 장치(3000)의 환자 추가 인터페이스에는 환자 항목 정보에 대한 단어 정보의 입력 순서가 사전에 결정되어 있을 수 있다. 이 경우, 사용자가 환자 항목 정보에 해당하는 단어 정보를 발화하고 특정 단어를 발화하면 한 개의 환자 항목 정보와 단어 정보가 매칭되어 환자 정보가 생성되고, 다음 환자 항목 정보의 입력 순서로 넘어갈 수 있다.
예를 들어, 환자 추가 인터페이스에는 세 개의 환자 항목 정보 “환자 ID”, “고유 번호”, “환자 이름”이 기재된 순서대로 입력되도록 구성되어 있고, 사용자가 “ABC 입력 끝”, “DEF 입력 끝”, “김셀바 입력 끝”를 발화하면, “환자 ID: ABC”, “고유 번호”: DEF”, “환자 이름: 김셀바”와 같은 환자 정보가 음성을 통해 입력될 수 있다. 이 경우, 단어 정보 발화의 끝을 나타내는 특정 단어는 “입력 끝”이 될 수 있다. 장치(3000)는 사용자의 음성 중에서 “입력 끝”을 인식하여 단어 정보가 모두 발화되었음을 판단할 수 있다. 장치(3000)가 단어 정보 발화의 끝을 판단하는 특정 단어는 전술한 실시예에 한정되지 않는다.
본 발명의 다른 실시예에 따르면, 장치(3000)는 외부의 장치(미도시)로부터 환자 정보를 획득할 수 있다. 이 경우, 장치(3000)에는 사전에 환자 정보가 입력되고 저장되어 있을 수 있다.
장치(3000)가 환자 정보를 획득하는 방법은 전술한 실시예에 한정되지 않는다.
도 1에서 설명한 장치(3000)의 개략적인 기능들은 본 발명의 실시예일 뿐, 본 발명은 이에 한정되지 않는다.
도 2는 본 발명의 일 실시예에 따른 장치가 전자의무기록 서비스를 제공하는 방법을 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계(S2100), 상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계(S2200), 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300), 전사자 인터페이스를 통해 상기 생성된 제 1 텍스트 데이터를 제 2 사용자 단말기에 제공하는 단계(S2400), 상기 제공된 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 상기 제 1 텍스트 데이터에 반영하여 생성된 제 2 텍스트 데이터를 획득하는 단계(S2500), 상기 의료진 인터페이스를 통해 상기 제 2 텍스트 데이터를 상기 제 1 사용자 단말기에 제공하는 단계(S2600) 및 상기 제 1 사용자 단말기로부터 수신하는 검토 완료 정보 및 제 2 편집 정보 중 하나에 기초하여 텍스트 데이터를 저장하는 단계(S2700)를 수행할 수 있다.
단계 (S2100)에서, 장치(3000)는 제 1 사용자 단말기(1000)에 의료진 인터페이스(400)를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 의료진 인터페이스(400)는 녹음된 음성을 재생할 수 있는 음성 정보 재생 제어 영역(420), 음성 정보를 인식해 텍스트로 표시되고 사용자가 해당 텍스트를 수정할 수 있는 텍스트 데이터 편집 영역(430), 환자 정보를 표시하는 환자 정보 표시 영역(410), 환자 추가 버튼(440) 및 환경설정 버튼(450) 중 적어도 하나를 포함할 수 있다.
장치(3000)가 제 1 사용자 단말기(1000)에 의료진 인터페이스(400)를 제공함으로써, 사용자(의료진)는 진료에 대한 기록을 녹음하여 음성 정보를 생성할 수 있다. 그리고, 장치(3000)가 제 2 사용자 단말기(2000)에 전사자 인터페이스(500)를 제공함으로써, 사용자(전사자)는 음성 정보에 기초하여 전사된 텍스트 데이터를 수정할 수 있다. 또한, 사용자(의료진 및 전사자)는 각각 환경설정 버튼 및 환경설정 버튼을 선택해 의료진 인터페이스(400) 및 전사자 인터페이스(500)의 사용에 대한 설정을 변경할 수 있다.
단계 (S2200)에서, 장치(3000)는 의료진 인터페이스(400)를 통해 입력된 음성 정보를 획득할 수 있다. 여기서, 음성 정보는 사용자가 의료진 인터페이스(400)를 통해 녹음한 음성 신호를 포함할 수 있다. 예를 들어, 사용자(의료진)가 의료진 인터페이스(400)의 음성 정보 재생 제어 영역의 녹음 버튼을 선택하고, 음성을 녹음하면 장치(3000)는 상기 음성 정보를 획득할 수 있다.
단계 (S2300)에서, 장치(3000)는 음성 정보에 기초하여 제 1 텍스트 데이터를 생성할 수 있다. 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 것은 장치(3000)가 음성 정보를 한국어로 인식하여 텍스트로 전사(transcription)하는 것을 포함할 수 있다. 장치(3000)는 음성 정보를 텍스트로 전사하는 단계에서 의료용 영어단어는 영문자 텍스트로 전사할 수 있다.
이 경우, 장치(3000)는 STT(Speech to text) 알고리즘을 활용하여 제 1 텍스트 데이터를 생성할 수 있다. 또한, 장치(3000)는 이후에 입력되는 편집 정보를 STT 알고리즘에 반영함으로써, STT 알고리즘의 성능을 증진시킬 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 사용자(의료진)가 녹음한 음성 정보를 한국어로 인식할 수 있다. 그리고, 장치(3000)는 한국어로 인식된 음성 중에서 의료용 영어단어를 검출할 수 있다.
예를 들어, 장치(3000)는 장치(3000)에 사전 저장되어 있는 의료용 영어단어의 한국어 발음 정보와 한국어로 인식된 음성 정보를 비교할 수 있다. 그리고, 장치(3000)는 상기 비교 과정에서 사전에 저장되어 있는 의료용 영어단어의 한국어 발음 정보와 일치하는 한국어 음성을 검출함으로써 의료용 영어단어를 검출할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 상기 검출 결과에 기초하여 의료용 영어단어는 영문 텍스트로, 그리고, 나머지 한국어는 한글 텍스트로 각각 전사(transcription)할 수 있다.
예를 들어, “페인 버스터는 제거하였다”와 같은 한국어로 인식된 음성 정보가 있을 경우, 장치(3000)는 상기 음성 정보에서 사전 저장되어 있는 의료용 영어단어인 “페인 버스터”를 검출하여 “pain buster는 제거하였다”와 같은 텍스트 데이터로 전사할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 상기 전사된 텍스트에 기초하여 제 1 텍스트 데이터를 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)에서, 장치(3000)는 음성 정보에 포함된 명령어를 인식할 수 있다. 그리고, 장치(3000)는 인식된 명령어에 기초하여 텍스트 데이터에 사전 결정된 동작을 수행할 수 있다. 이 경우, 장치(3000)에는 명령어 및 사전 결정된 동작이 서로 매칭되어 사전에 저장되어 있을 수 있다.
장치(3000)에 저장되어 있는 명령어는 “줄 바꿈”,”줄 바꿔서”, “줄 바꿔주시고” 사용자별로 상이하게 표현될 수 있는 명령어 등을 포함할 수 있으며, 사전 결정된 동작은 “텍스트 줄 바꿈(\n) 기능”을 포함하는 서식 작업 등을 포함할 수 있다.
예를 들어, 사용자(의료진)가 녹음한 음성 정보에 “줄 바꿈”과 같은 명령어가 포함되어 있는 경우, 장치(3000)는 상기 음성 정보에서 명령어를 인식할 수 있다. 그리고, 장치(3000)는 상기 명령어와 매칭되어 있는 사전 결정된 동작 “줄 바꿈 기능(\n)”을 텍스트 데이터에 적용할 수 있다. 이 경우, 사용자(의료진)가 음성 정보 “페인 버스터는 줄 바꿈 제거하였다”를 녹음하면, 장치(3000)는 텍스트 “페인 버스터는”을 전사한 뒤 텍스트의 줄을 바꾸고, 텍스트 “제거하였다”를 전사할 수 있다.
장치(3000)에 저장되는 명령어, 사전 결정된 동작은 전술한 실시예에 한정되지 않는다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)에서, 장치(3000)는 음성 정보로부터 전사 단어 그룹에 포함된 단어를 인식할 수 있다. 그리고, 장치(3000)는 상기 인식된 단어와 매칭된 단어를 텍스트 데이터에 포함시킬 수 있다. 이 경우, 장치(3000)에는 전사 단어 그룹의 단어들과 이와 매칭된 단어들이 사전에 저장되어 있을 수 있다.
전사 단어 그룹의 단어는 “결론”, “Conclusion”, “LN”, “L.N.” 등과 같이 사용자(의료진)가 속해 있는 전문과, 병원, 직급에 따라 상이하게 표현될 수 있는 단어를 포함할 수 있으며, 전사 단어 그룹의 단어들과 매칭된 단어들은 “Conclusion: ”, “Lymph Node” 등과 같은 전자의무기록(EMR)에서 공용되는 특정 텍스트를 포함할 수 있다.
예를 들어, 사용자(의료진)가 녹음한 음성 정보가 “결론 페인 버스터는 제거하였다”일 경우, 장치(3000)는 전사 단어 그룹의 단어 “결론”을 인식하여 이와 매칭된 텍스트 “Conclusion: ”을 전사한 뒤 “페인 버스터는 제거하였다”를 전사할 수 있다. 그 결과, “Conclusion: 페인 버스터는 제거하였다”가 전사될 수 있다.
사용자(의료진)가 속해 있는 전문과, 병원, 직급에 따라 상이한 경우, 장치(3000)에 저장된 전사 단어 그룹의 단어가 상이하면서 이와 매칭된 단어가 동일할 수 있다. 예를 들어, 특정 병원내에서 공용되는 공용 단어 “C”에 대한 순환기 내과의 전사 단어 그룹의 단어는 “A”일 수 있으며, 호흡기 내과의 전사 단어 그룹의 단어는 “B”일 수 있다.
사용자(의료진)가 속해 있는 전문과, 병원, 직급이 상이한 경우, 장치(3000)에 저장된 전사 단어 그룹의 단어가 동일하면서 이와 매칭된 단어가 상이할 수 있다. 예를 들어, 특정 병원내의 순환기 내과 및 호흡기 내과의 전사 단어 그룹의 단어가 “A”로 동일한 경우, 전사 단어 그룹의 단어가 동일해도 각 전문과 별로 전사 단어 그룹의 단어와 매칭된 단어가 “G”, “H”로 상이할 수 있다.
사용자(의료진)가 속해 있는 전문과, 병원, 직급이 상이한 경우, 장치(3000)에 저장된 전사 단어 그룹의 단어가 상이하면서 이와 매칭된 단어도 상이할 수 있다.
장치(3000)에 저장되는 전사 단어 그룹의 단어 및 이와 매칭되는 단어는 전술한 실시예에 한정되지 않는다.
장치(3000)가 음성 정보에 기초해 제 1 텍스트 데이터를 생성하는 방법은 전술한 실시예에 한정되지 않는다.
단계(S2400)에서, 장치(3000)는 전사자 인터페이스(500)를 통해 제 1 텍스트 데이터 및 음성 정보 중 적어도 하나를 제 2 사용자 단말기(2000)에 제공할 수 있다.
본 발명의 일 실시예에 따르면, 전사자 인터페이스(500)는 녹음된 음성을 재생할 수 있는 음성 정보 재생 제어 영역(520), 음성 정보를 인식해 텍스트로 표시되고 사용자가 해당 텍스트를 수정할 수 있는 텍스트 데이터 편집 영역(530), 환자 정보를 표시하는 환자 정보 표시 영역(510), 환자 추가 버튼(540), 환경설정 버튼(550) 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 의료진 인터페이스(400)와 전사자 인터페이스(500)는 동일할 수 있다.
장치(3000)는 제 2 사용자 단말기(2000)에 전사자 인터페이스(500)를 제공함으로써 사용자(전사자)가 음성 정보에 기초하여 전사된 텍스트를 수정할 수 있다. 그리고, 장치(3000)는 사용자(전사자)가 복수의 음성 정보에 해당하는 환자 정보를 확인할 수 있으며, 환자 정보를 추가할 수 있도록 환자 추가 인터페이스를 제공할 수 있다. 사용자는 환자 정보 표시 영역(510)에 표시된 환자 정보를 선택하여 상기 환자 정보에 해당하는 의료진이 녹음한 음성 정보 및 상기 음성 정보에 기초하여 전사된 텍스트 데이터 중 적어도 하나를 확인할 수 있다. 또한, 사용자(전사자)는 환경설정 버튼(550)을 선택해 전사자 인터페이스(500)의 사용에 대한 설정을 변경할 수 있다.
단계 (S2500)에서, 장치(3000)는 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 획득하고, 제 1 편집 정보를 제 1 텍스트 데이터에 반영하여 제 2 텍스트 데이터를 획득할 수 있다. 이 경우, 제 2 텍스트 데이터는 수정이 완료된 제 1 텍스트 데이터를 포함할 수 있다.
단계 (S2600)에서, 장치(3000)는 의료진 인터페이스(400)를 통해 제 2 텍스트 데이터를 제 1 사용자 단말기(1000)에 제공할 수 있다.
본 발명의 일 실시예에 따르면, 단계 (S2600)에서 제공되는 의료진 인터페이스(400)의 텍스트 데이터 편집 영역(430)에는 제 2 텍스트 데이터가 표시될 수 있다. 그리고, 장치(3000)는 제 2 텍스트 데이터에서 제 1 텍스트 데이터로부터 수정된 부분이 수정되지 않은 부분과 상이한 색상으로 표시되도록 의료진 인터페이스(400)를 제공할 수 있다.
단계 (S2700)에서, 장치(3000)는 제 1 사용자 단말기(1000)로부터 수신하는 검토 완료 정보 및 제 2 편집 정보 중 하나에 기초하여 텍스트 데이터를 저장할 수 있다.
장치(3000)가 제 1 사용자 단말기(1000)로부터 검토 완료 정보를 획득하는 경우, 장치(3000)는 제 2 텍스트 데이터를 저장할 수 있다.
장치(3000)가 제 1 사용자 단말기(1000)로부터 제 2 편집 정보를 획득하는 경우, 장치(3000)는 제 2 텍스트 데이터에 제 2 편집 정보를 반영하여 제 3 텍스트 데이터를 생성하고, 제 3 텍스트 데이터를 저장할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)에는 장치(3000)가 음성 정보와 화자별로 사전 저장된 발화 습관 정보를 비교하는 과정과, 비교 결과에 기초하여 화자를 결정하는 과정이 더 포함될 수 있다. 여기서, 사전 저장된 발화 습관 정보는 발화 높낮이 정보, 음성 신호 파형 정보, 발화 속도 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보, 습관적인 간투사 사용 정보 중 적어도 하나를 포함할 수 있다.
단계 (S2300)에서 장치(3000)가 음성 정보와 화자별로 사전 저장된 발화 습관 정보를 비교하는 과정과, 비교 결과에 기초하여 화자를 결정하는 과정이 더 포함됨으로써, 장치(3000)는 발화자가 누구인지 결정하고, 발화자의 발화 습관 정보에 기초하여 음성 정보를 텍스트 데이터로 전사할 수 있다.
예를 들어, 발화자 “이파이”의 사전 저장된 발화 습관 정보가 “특정 단어에 대한 특정 발음 정보: 멀리그넌트(단어) - 맬러그넌트(발음)”, “발화 높낮이 정보: C3” 인 경우, 장치(3000)는 음성 정보와 사전 저장된 발화 습관 정보를 비교하여 발화자가 “이파이”임을 결정하고, “이파이”의 사전 저장된 발화 습관 정보에 기초하여 “이파이”가 발화한 음성 정보 “맬러그넌트”를 “멀리그넌트”로 인식할 수 있다.
화자별 발화 습관 정보는 장치(3000)에 사전 저장되어 있을 수 있다.
장치(3000)가 발화 습관 정보에 기초하여 발화자를 결정하고, 해당 발화자의 음성 정보를 인식하는 방법은 전술한 실시예에 한정되지 않는다.
도 2에서 전술한 단계들은, 본 발명을 설명하기 위한 실시예일 뿐, 본 발명은 이에 한정되지 않는다. 또한, 상기 단계 중 적어도 하나는 반복, 제외되거나 추가될 수 있다.
도 3은 본 발명의 일 실시예에 따른 장치가 전자의무기록 서비스를 제공하는 방법을 설명하기 위한 순서도를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 사용자 단말기(1000) 및 제 2 사용자 단말기(2000)와 전자의무기록 서비스를 제공하는 데에 필요한 정보를 송수신할 수 있다.
단계 (S3100)에서, 장치(3000)는 의료진 인터페이스(400)를 제 1 사용자 단말기(1000)에 제공함으로써, 사용자가 상기 의료진 인터페이스(400)를 통해 음성 정보를 입력할 수 있도록 할 수 있다.
단계 (S3200)에서, 장치(3000)는 제 1 사용자 단말기(1000)로부터 사용자(의료진)가 입력한 음성 정보를 획득할 수 있다.
단계 (S3300)에서, 장치(3000)는 제 1 사용자 단말기(1000)로부터 획득한 음성 정보를 인식, 분석하여 제 1 텍스트 데이터를 생성할 수 있다.
단계 (S3400)에서, 장치(3000)는 상기 생성된 제 1 텍스트 데이터를 전사자 인터페이스(500)를 통해 제 2 사용자 단말기(2000)에 제공할 수 있다. 장치(3000)가 제 2 사용자 단말기(2000)에 전사자 인터페이스(500)를 통해 제 1 텍스트 데이터를 제공함으로써, 사용자(전사자)는 음성 정보와 음성 정보에 기초해 전사된 텍스트 데이터를 확인할 수 있으며, 제공받은 음성 정보를 청취하면서 텍스트 데이터를 수정할 수 있다.
단계 (S3500)에서, 장치(3000)는 제 2 사용자 단말기(2000)에 입력된 제 1 편집 정보를 획득할 수 있다.
단계 (S3600)에서, 장치(3000)는 획득한 제 1 편집 정보를 제 1 텍스트 데이터에 반영하여 제 2 텍스트 데이터를 생성할 수 있다.
단계 (S3700)에서, 장치(3000)는 의료진 인터페이스(400)를 통해 제 1 사용자 단말기(1000)에 제 2 텍스트 데이터를 제공할 수 있다. 장치(3000)가 의료진 인터페이스(400)를 제공함으로써, 사용자(의료진)는 수정된 텍스트 데이터를 검토할 수 있다.
단계 (S3800)에서, 장치(3000)는 사용자(의료진)가 의료진 인터페이스(400)를 통해 입력한 검토 완료 정보 또는 제 2 편집 정보를 획득할 수 있다.
단계 (S3900)에서, 장치(3000)는 제 1 사용자 단말기(1000)로부터 획득한 정보에 기초하여 제 2 텍스트 데이터를 저장하거나, 제 3 텍스트 데이터를 생성, 저장할 수 있다.
예를 들어, 장치(3000)가 검토 완료 정보를 획득하는 경우, 장치(3000)는 제 2 텍스트 데이터를 저장할 수 있으며, 장치(3000)가 제 2 편집 정보를 획득하는 경우, 제 2 텍스트 데이터에 제 2 편집 정보를 반영하고, 제 3 텍스트 데이터를 생성해 저장할 수 있다.
도 3에 도시된 장치(3000)가 전자의무기록 서비스를 제공하는 순서도는 전술한 실시예에 한정되지 않는다.
도 4는 본 발명의 일 실시예에 따른 의료진 인터페이스를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 의료진 인터페이스(400)를 제 1 사용자 단말기(1000)에 제공할 수 있다.
본 발명의 일 실시예에 따르면, 의료진 인터페이스(400)는 환자 정보 표시 영역(410), 음성 정보 재생 제어 영역(420), 텍스트 데이터 편집 영역(430), 환자 추가 버튼(440), 환경설정 버튼(450) 중 적어도 하나를 포함할 수 있다.
환자 정보 표시 영역(410)에는 환자 정보가 데이터 상태에 따라 정렬되어 표시될 수 있다. 여기서, 데이터 상태는 텍스트 데이터의 처리 상태에 따라 접수, 전사대기, 검토중, 검토완료 중 적어도 하나를 포함할 수 있다.
데이터 상태는 사용자(의료진)가 음성 정보 및 텍스트 데이터 중 적어도 하나에 대한 작업을 마침에 따라 변경될 수 있다. 예를 들어, 사용자(의료진)가 제 1 사용자 단말기에서 환자 정보를 새로 추가하면 데이터 상태는 “접수”로 표시되고, 이후, 사용자(의료진)가 입력한 음성 정보가 저장되면 데이터 상태는 “접수”에서 “전사대기”로 변경될 수 있다. 사용자(의료진)는 의료진 인터페이스에 포함된 저장 버튼을 선택함으로써 작업을 마칠 수 있다.
환자 정보는 환자 ID, 고유번호, 환자이름, 생년월일, 성별, 진료과, 처방의 중 적어도 하나를 포함할 수 있으며, 환자 정보는 이에 한정되지 않는다.
사용자(의료진)가 환자 정보 표시 영역(410)에 표시되어 있는 복수의 환자 정보 중 적어도 하나를 선택하는 경우, 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)에는 해당 환자 정보에 대한 데이터가 적어도 일부 표시될 수 있다. 예를 들어, 사용자(의료진)가 “환자이름: c4517f16”인 환자 정보를 선택하는 경우, 해당 환자에 대해 녹음된 음성 정보 및 상기 음성 정보에 기초하여 전사된 텍스트 데이터가 각각 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430) 각각에 표시될 수 있다.
음성 정보 재생 제어 영역(420)에는 환자 정보의 적어도 일부가 표시될 수 있다. 그리고, 음성 정보 재생 제어 영역(420)에는 음성 정보의 파형과 재생 시간이 표시되어 음성 정보가 재생되는 경우에 재생 시간에 따라 음성 파형과 재생 시간을 표시하는 부분이 변화될 수 있다.
음성 정보 재생 제어 영역(420)에는 음성 정보의 재생 시점과 총 재생 시간이 표시될 수 있으며, 되돌리기 버튼, 녹음 버튼, 재생 버튼, 정지 버튼, 빨리감기 버튼 및 저장 버튼 등이 표시될 수 있다.
사용자(의료진)에게 저장 버튼이 선택된 경우, 해당 음성 정보의 데이터 상태가 변경될 수 있다. 예를 들어, 데이터 상태가 “접수”인 음성 정보에 대해서 사용자(의료진)가 저장 버튼을 선택한 경우, 데이터 상태가 “전사대기”로 변경될 수 있다. 그리고, 데이터 상태가 “전사대기”인 음성 정보에 대해서 사용자(의료진)가 저장 버튼을 선택한 경우, 데이터 상태가 “검토중”으로 변경될 수 있다. 본 발명에서 데이터 상태가 변경되는 방법은 이에 한정되지 않는다.
텍스트 데이터 편집 영역(430)에는 음성 정보에 기초하여 전사된 텍스트 데이터가 표시될 수 있다. 그리고, 텍스트 데이터 편집 영역(430)에는 읽기 전용/편집 가능 버튼이 포함되어, 사용자(의료진)가 상기 버튼을 선택함으로써 텍스트 데이터를 편집이 불가능/가능하도록 설정할 수 있다. 예를 들어, 사용자(의료진)가 편집 가능 버튼을 선택한 경우, 텍스트 데이터의 내용을 수정하는 것이 허용되지만, 사용자(의료진)가 읽기 전용 버튼을 선택한 경우에는 텍스트 데이터의 내용을 수정하는 것이 허용되지 않을 수 있다.
사용자(의료진)에 의해 환자 추가 버튼(440)이 선택되는 경우, 장치(3000)는 환자 추가 인터페이스를 추가로 제공할 수 있다. 환자 추가 인터페이스는 환자 정보가 입력될 수 있는 영역이 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 제공하는 의료진 인터페이스(400)와 전사자 인터페이스(500)는 서로 동일할 수 있다.
도 4에서 전술한 의료진 인터페이스(400)는 본 발명의 일 실시예일 뿐, 의료진 인터페이스(400)에 포함되는 다양한 영역의 위치, 형태 및 기능은 전술한 실시예에 한정되지 않는다.
도 5는 본 발명의 일 실시예에 따른 전사자 인터페이스를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 전사자 인터페이스(500)를 제 2 사용자 단말기(2000)에 제공할 수 있다.
본 발명의 일 실시예에 따르면, 전사자 인터페이스(500)는 환자 정보 표시 영역(510), 음성 정보 재생 제어 영역(520), 텍스트 데이터 편집 영역(530), 환경설정 버튼(550) 중 적어도 하나를 포함할 수 있다.
환자 정보 표시 영역(510)에는 환자 정보가 데이터 상태에 따라 정렬되어 표시될 수 있다. 여기서, 데이터 상태는 텍스트 데이터의 처리 상태에 따라 접수, 전사대기, 검토중, 검토완료 중 적어도 하나를 포함할 수 있다.
데이터 상태는 사용자(전사자)가 음성 정보 및 텍스트 데이터 중 적어도 하나에 대한 작업을 마침에 따라 변경될 수 있다. 예를 들어, 사용자(전사자)가 제 2 사용자 단말기에서 제 1 편집 정보를 입력하기 전의 데이터 상태는 “전사대기”로 표시되고, 이후, 사용자(전사자)가 입력한 제 1 편집 정보가 저장되면 데이터 상태는 “전사대기”에서 “검토중”으로 변경될 수 있다. 사용자(전사자)는 전사자 인터페이스에 포함된 저장 버튼을 선택함으로써 작업을 마칠 수 있다.
환자 정보는 환자 ID, 고유번호, 환자이름, 생년월일, 성별, 진료과, 처방의 중 적어도 하나를 포함할 수 있으며, 환자 정보는 이에 한정되지 않는다.
사용자(전사자)가 환자 정보 표시 영역(510)에 표시되어 있는 복수의 환자 정보 중 적어도 하나를 선택하는 경우, 음성 정보 재생 제어 영역(520) 및 텍스트 데이터 편집 영역(530)에는 해당 환자 정보에 대한 데이터가 적어도 일부 표시될 수 있다. 예를 들어, 사용자(전사자)가 “환자이름: c4517f16”인 환자 정보를 선택하는 경우, 해당 환자에 대해 녹음된 음성 정보 및 상기 음성 정보에 기초하여 전사된 텍스트 데이터가 각각 음성 정보 재생 제어 영역(520) 및 텍스트 데이터 편집 영역(530) 각각에 표시될 수 있다.
음성 정보 재생 제어 영역(520)에는 환자 정보의 적어도 일부가 표시될 수 있다. 그리고, 음성 정보 재생 제어 영역(520)에는 음성 정보의 파형과 재생 시간이 표시되어 음성 정보가 재생되는 경우에 재생 시간에 따라 음성 파형과 재생 시간을 표시하는 부분이 변화될 수 있다.
음성 정보 재생 제어 영역(520)에는 음성 정보의 재생 시점과 총 재생 시간이 표시될 수 있으며, 되돌리기 버튼, 녹음 버튼, 재생 버튼, 정지 버튼, 빨리감기 버튼 및 저장 버튼 등이 표시될 수 있다.
사용자(전사자)에게 저장 버튼이 선택된 경우, 해당 음성 정보의 데이터 상태가 변경될 수 있다. 예를 들어, 데이터 상태가 “접수”인 음성 정보에 대해서 사용자(전사자)가 저장 버튼을 선택한 경우, 데이터 상태가 “전사대기”로 변경될 수 있다. 그리고, 데이터 상태가 “전사대기”인 음성 정보에 대해서 사용자(전사자)가 저장 버튼을 선택한 경우, 데이터 상태가 “검토중”으로 변경될 수 있다. 본 발명에서 데이터 상태가 변경되는 방법은 이에 한정되지 않는다.
텍스트 데이터 편집 영역(530)에는 음성 정보에 기초하여 전사된 텍스트 데이터가 표시될 수 있다. 그리고, 텍스트 데이터 편집 영역(530)에는 읽기 전용/편집 가능 버튼이 포함되어, 사용자(전사자)가 상기 버튼을 선택함으로써 텍스트 데이터를 편집이 불가능/가능하도록 설정할 수 있다. 예를 들어, 사용자(전사자)가 편집 가능 버튼을 선택한 경우, 텍스트 데이터의 내용을 수정하는 것이 허용되지만, 사용자(전사자)가 읽기 전용 버튼을 선택한 경우에는 텍스트 데이터의 내용을 수정하는 것이 허용되지 않을 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 제공하는 의료진 인터페이스(400)와 전사자 인터페이스(500)는 서로 동일할 수 있다.
도 5에서 전술한 전사자 인터페이스(500)는 본 발명의 일 실시예일 뿐, 전사자 인터페이스(500)에 포함되는 다양한 영역의 위치, 형태 및 기능은 전술한 실시예에 한정되지 않는다.
도 6는 본 발명의 일 실시예에 따른 녹음 전/후의 의료진 인터페이스의 음성 정보 재생 제어 영역 및 텍스트 데이터 편집 영역을 도시한다.
도 6의 (a)에는 녹음 전의 의료진 인터페이스의 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)을 도시하고, (b)에는 녹음 후의 의료진 인터페이스의 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)을 도시한다.
본 발명의 일 실시예에 따르면, 사용자(의료진)가 의료진 인터페이스(400)를 통해 음성 정보를 입력하는 경우, 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)에는 해당 음성 정보와 관련된 데이터들이 표시될 수 있다. 예를 들어, 음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)에는 음성 정보와 매칭되어 있는 환자 정보, 음성 정보의 파형, 재생 시간, 음성 정보에 기초하여 전사된 텍스트 데이터 중 적어도 하나가 표시될 수 있다.
음성 정보 재생 제어 영역(420)의 (421)부분에는 환자 정보의 적어도 일부가 표시될 수 있으며, (422)부분에는 음성 정보의 파형이 표시될 수 있다. 그리고 (423)부분에는 음성 정보의 재생을 제어하는 버튼들이 표시될 수 있다.
사용자(의료진)가 음성 정보 재생 제어 영역(420)의 녹음 버튼을 선택하고 음성 정보를 입력하는 경우, (422)부분에는 음성 정보의 파형과 재생 시간이 표시될 수 있다. 그리고, 사용자(의료진)가 저장 버튼을 선택하는 경우, 녹음 버튼은 재생 버튼으로 변경될 수 있다.
텍스트 데이터 편집 영역(430)에는 음성 정보에 기초하여 전사된 텍스트 데이터가 표시될 수 있다. 사용자(의료진)는 텍스트 데이터 편집 영역(430)에 표시된 텍스트 데이터를 수정할 수 있다.
음성 정보 재생 제어 영역(420) 및 텍스트 데이터 편집 영역(430)의 위치 및 형태는 도 6에서 전술한 실시예에 한정되지 않는다.
도 7는 본 발명의 일 실시예에 따른 장치가 환자 정보를 획득하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 전자의무기록 서비스를 제공하는 단계에서 환자 정보를 획득하는 단계(S600)를 더 수행할 수 있다. 사용자(의료진)가 환자 추가 인터페이스에서 환자 정보를 입력함으로써 장치(3000)는 환자 정보를 획득하는 단계(S600)를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 음성 정보에 포함된 환자 항목 정보를 인식하는 단계(S610), 환자 항목 정보가 인식된 이후, 가장 근접한 시간 안에 인식되는 단어 정보를 획득하는 단계(S620), 단어 정보를 환자 항목 정보와 매칭시키는 단계(S630)를 수행하면서 환자 정보를 획득하는 단계(S600)를 수행할 수 있다.
단계 (S610)에서, 장치(3000)는 사용자(의료진)가 입력한 음성 정보에서 환자 항목 정보를 인식할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)에는 환자 항목 정보에 해당하는 음성 정보가 사전에 저장되어 있을 수 있다. 그리고, 장치(3000)는 사용자가 입력한 음성 정보와 사전 저장되어 있는 환자 항목 정보에 해당하는 음성 정보를 비교함으로써, 사용자가 입력한 음성 정보에서 환자 항목 정보를 인식할 수 있다.
예를 들어, 장치(3000)에는 “환자이름”이라는 환자 항목 정보에 해당하는 음성 정보가 저장되어 있을 수 있다. 여기서, 사용자(의료진)가 “환자 정보를 기록합니다. 환자이름 김셀바”를 발화하면, 장치(3000)는 음성 정보에서 환자 항목 정보와 일치하는 음성 정보 “환자이름”을 인식하고, 해당 환자 항목 정보와 매칭할 단어 정보를 인식하기 위해 대기할 수 있다.
장치(3000)가 음성 정보에 포함된 환자 항목 정보를 인식하는 방법은 전술한 실시예에 한정되지 않는다.
단계 (S620)에서, 장치(3000)는 환자 항목 정보가 인식된 이후, 가장 근접한 시간 안에 인식되는 단어 정보를 획득할 수 있다.
예를 들어, 환자 항목 정보 “환자이름”이 인식된 이후, “김셀바”, “상기 환자는” 순으로 단어 정보가 발화되고, “김셀바”가 가장 근접한 시간 안에 발화된 경우, 장치(3000)는 “김셀바”를 환자 항목 정보 “환자이름”의 단어 정보로 인식할 수 있다. 본 발명은 전술한 실시예에 한정되지 않는다.
단계 (S630)에서, 장치(3000)는 단어 정보를 환자 항목 정보와 매칭시킬 수 있다.
예를 들어, 장치(3000)는 환자 항목 정보 “환자이름”을 인식하고, “김셀바”를 단어 정보로 인식한 뒤, 상기 환자 항목 정보와 상기 단어 정보를 매칭시켜 “환자이름: 김셀바”의 환자 정보를 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 환자 항목 정보에 대한 단어 정보를 획득하는 순서가 사전에 결정되어 있을 수 있다.
예를 들어, 환자 추가 인터페이스에는 환자 항목 정보 “환자이름”, “생년월일”, “성별”이 기재된 순서대로 입력되도록 결정되어 있을 수 있다. 이 경우, 사용자(의료진)가 “김셀바”, “19990301”, ”여자”의 단어 정보를 발화하면 장치(3000)는 상기 단어 정보를 인식하고 환자 항목 정보와 매칭시킴으로써 장치(3000)는 환자 정보 “환자이름: 김셀바”, “생년월일: 19990301”, “성별: 여자”를 획득할 수 있다.
장치(3000)는 사용자(의료진)가 단어 정보를 발화하면서 사전 결정된 시간만큼 침묵하게 되면, 이를 인식하여 해당 단어 정보의 발화가 끝났음을 판단할 수 있다. 장치(3000)는 이를 통해 복수의 단어 정보가 발화되어도 각각 한 개씩의 단어 정보로 구분할 수 있다.
예를 들어, 사용자(의료진)가 단어 정보 “김셀바 (3초 동안 침묵) 19990301 (3초 동안 침묵) 여자 (3초 동안 침묵)”을 발화하면, 장치(3000)는 “김셀바”, ”19990301”, ”여자”와 같이 단어 정보를 나누어서 인식할 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)는 사용자(의료진)가 단어 정보를 발화할 때 특정 단어를 사용하면 단어 정보 발화가 끝난 것으로 인식할 수 있다.
예를 들어, 장치(3000)에는 음성 “입력 끝”이 단어 정보 발화의 끝을 의미하도록 사전에 설정되어 있을 수 있다. 이 경우, 사용자(의료진)가 “김셀바 입력 끝”을 발화하면, 장치(3000)는 “김셀바”를 단어 정보로 인식하고, 특정 단어 “입력 끝”을 인식하여 단어 정보의 발화가 끝났음을 판단할 수 있다.
장치(3000)가 환자 정보를 획득하는 방법은 이에 한정되지 않는다.
도 8은 본 발명의 일 실시예에 따른 장치가 환자 정보를 음성 정보를 통해 획득하는 방법의 실시예를 도시한다.
도 8의 (a)는 환자 정보가 입력되기 전의 환자 추가 인터페이스를 도시하고, (b)는 환자 정보가 입력된 환자 추가 인터페이스를 도시한다.
도 8에 도시된 바와 같이, 환자 추가 인터페이스에서 사용자(의료진)가 환자 항목 정보와 단어 정보를 발화하면, 장치(3000)는 이를 인식하여 환자 정보를 입력, 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 환자 정보가 잘못 생성된 경우, 장치(3000)는 사용자(의료진)가 단어 정보를 발화할 때 특정 단어를 사용하면 단어 정보가 잘못 입력된 것으로 인식하여 단어 정보를 새로 입력할 수 있도록 단어 정보를 삭제할 수 있다.
예를 들어, 장치(3000)에 음성 “입력 취소”가 단어 정보의 재입력을 의미하도록 사전에 설정되어 있을 수 있다. 이 경우, 사용자(의료진)가 “입력 취소”를 발화하면, 장치(3000)는 이를 인식하여 “입력 취소”가 발화되기 이전에 가장 근접하게 인식된 단어 정보를 삭제할 수 있다.
본 발명의 다른 실시예에 따르면, 환자 정보가 잘못 생성된 경우, 장치(3000)는 사용자(의료진)가 사전 결정된 유사도 이상의 단어 정보를 두 번 발화하면, 첫 번째 단어 정보가 잘못 입력된 것으로 인식하여, 첫 번째 단어 정보를 삭제하고, 두 번째 단어 정보를 입력할 수 있다.
예를 들어, 사용자(의료진)가 환자 항목 정보 “환자 ID”에 대해서 단어 정보 “SELVASAI”를 발화한 뒤, “SELVASAI2”를 발화하면, 장치(3000)는 사전 결정된 유사도(85%)에 기초하여 첫 번째 발화된 “SELVASAI”가 잘못 발화된 것으로 인식할 수 있다. 이후, 장치(3000)는 단어 정보 “SELVASAI”를 삭제하고, “SELVASAI2”를 단어 정보로 입력할 수 있다.
본 발명에서 장치(3000)가 음성 정보를 통해 환자 정보를 입력하는 방법은 이에 한정되지 않는다.
도 9는 본 발명의 일 실시예에 따른 장치가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 음성 정보를 한국어로 인식하는 단계(S2310), 한국어로 인식된 음성 중 의료용 영어단어를 검출하는 단계(S2320), 검출 결과에 기초하여 의료용 영어단어는 영문 텍스트로, 나머지 한국어는 한글 텍스트로 각각 전사하는 단계(S2330) 및 전사 결과에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2340)를 수행하면서, 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)를 수행할 수 있다.
단계 (S2310)에서, 장치(3000)는 사용자(의료진)가 입력한 음성 정보를 한국어로 인식할 수 있다.
예를 들어, 장치(3000)는 음성 정보(소리) “복강내 seeding”를 한국어(언어) “복강내 시딩”으로 인식할 수 있다.
단계 (S2320)에서, 장치(3000)는 한국어로 인식된 음성 중에서 의료용 영어단어를 검출할 수 있다.
장치(3000)는 사전에 저장되어 있는 의료용 영어단어의 한국어 발음 정보와 한국어로 인식된 음성 정보를 비교할 수 있다. 그리고, 장치(3000)는 상기 비교 과정에서 사전에 저장되어 있는 의료용 영어단어의 한국어 발음 정보와 일치하는 한국어 음성 정보를 검출할 수 있다.
예를 들어, 장치(3000)에는 한국어 발음 정보 “시딩 = seeding”이 의료용 영어단어로 사전 저장되어 있을 수 있다. 그리고, 사용자(의료진)가 “복강내 seeding”을 발화하게 되면, 장치(3000)는 이를 한국어 “복강내 시딩”으로 인식하고, 사전 저장되어 있는 의료용 영어단어의 한국어 발음 정보 “시딩 = seeding”과 비교할 수 있다. 이 경우, 장치(3000)는 사용자(의료진)가 발화한 음성 정보에서 “시딩”이 의료용 영어단어 임을 판단, 검출할 수 있다.
단계 (S2330)에서, 장치(3000)는 검출 결과에 기초하여 의료용 영어단어는 영문 텍스트로, 그리고, 나머지 한국어는 한글 텍스트로 각각 전사(transcription)할 수 있다.
예를 들어, “페인 버스터는 제거하였다”와 같은 한국어로 인식된 음성 정보가 입력될 경우, 장치(3000)는 상기 음성 정보에서 사전에 저장되어 있는 의료용 영어단어인 “페인 버스터 = pain buster”를 검출하여 “pain buster는 제거하였다”와 같은 텍스트로 전사할 수 있다.
단계 (S2340)에서, 장치(3000)는 상기 전사된 텍스트에 기초하여 제 1 텍스트 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)에는 음성 정보의 평균 인식률을 산출하는 과정과 음성 정보로부터 인식된 복수의 단어들 각각의 누적된 인식률을 획득하는 과정이 포함될 수 있다. 이 경우, 장치(3000)는 복수의 음성 정보 각각의 평균 인식률을 산출할 수 있으며, 하나의 음성 정보에 포함된 복수의 단어들 각각의 인식률을 산출할 수 있다.
예를 들어, 장치(3000)는 음성 정보 “pain buster는 제거하였다”의 평균 인식률을 산출하여 90%로 결정할 수 있으며, 복수의 단어들 “pain”, “buster는”, “제거하였다” 각각의 인식률을 산출하여 95%, 70%, 100%로 결정할 수 있다.
장치(3000)가 음성 정보에 기초해 제 1 텍스트 데이터를 생성하는 방법은 전술한 실시예에 한정되지 않는다.
도 10은 본 발명의 일 실시예에 따른 사용자 인터페이스(의료진 인터페이스 및 전사자 인터페이스)에서 수정된 텍스트와 수정되지 않은 텍스트가 상이한 색상으로 표시되는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 도 10에 도시된 바와 같이, 의료진 인터페이스(400)의 텍스트 데이터 편집 영역(430)에는 사용자(전사자)에 의해 수정된 텍스트 데이터와 수정되지 않은 텍스트 데이터가 상이한 색상으로 표시될 수 있다. 이 경우, 사용자(의료진 및 전사자)는 수정된 텍스트 데이터를 쉽게 구분할 수 있다. 전사자 인터페이스(500)의 텍스트 데이터 편집 영역(530)에도 사용자(전사자)에 의해 수정된 텍스트 데이터와 수정되지 않은 텍스트 데이터가 상이한 색상으로 표시될 수 있다.
도 10에 도시된 바와 같이 수정된 텍스트 데이터의 색상과 수정되지 않은 텍스트 데이터의 색상은 본 발명의 실시예일 뿐, 이에 한정되지 않는다.
도 11은 본 발명의 일 실시예에 따라 인식률이 낮은 단어에 대해서 전사자 인터페이스에 유사 단어 리스트가 표시되는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에서 한국어로 인식하는 과정에서 인식률이 낮은 단어에 대해서는 전사자 인터페이스(500)의 적어도 일부에 유사 단어 리스트가 표시될 수 있다. 여기서, 유사 단어 리스트에는 상기 인식률이 낮은 단어를 분석하여 한국어 발음이 유사한 단어들이 표시될 수 있다.
사용자(전사자)는 상기 유사 단어 리스트에 표시된 단어를 선택하여 텍스트 데이터를 수정할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 유사 단어 리스트에는 사용자(전사자)가 자주 수정했던 단어들이 표시될 수 있다. 예를 들어, 사용자(전사자)가 “소견”이라는 단어를 “속연”으로, 사전 결정된 횟수 이상(3번 이상) 수정한 경우, 유사 단어 리스트에는 한국어 발음이 유사한 단어들과 더불어, 사용자(전사자)가 자주 수정했던 단어 “속연”이 표시될 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계(S2100), 상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계(S2200), 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300), 전사자 인터페이스를 통해 상기 생성된 제 1 텍스트 데이터를 제 2 사용자 단말기에 제공하는 단계(S2400), 상기 제공된 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 상기 제 1 텍스트 데이터에 반영하여 제 2 텍스트 데이터를 획득하는 단계(S2500) 및 상기 의료진 인터페이스를 통해 상기 제 2 텍스트 데이터를 상기 제 1 사용자 단말기에 제공하는 단계(S2600)를 반복적으로 수행하며, 제 1 편집 정보를 누적시킬 수 있다. 그리고, 장치(3000)는 상기 누적된 제 1 편집 정보에 기초하여 발화자별 발화자 특성 정보, 전사자별 전사자 특성 정보를 생성할 수 있다.
장치(3000)는 상기 발화자 특성 정보, 전사자 특성 정보에 기초하여 발화자별로, 그리고, 전사자별로 사전 결정된 횟수 이상 수정된/수정한 단어를 검출할 수 있다.
예를 들어, 장치(3000)가 발화자 “이파이”가 녹음한 음성 정보의 제 1 편집 정보를 누적시키면, 장치(3000)는 발화자 “이파이”의 음성 정보 중 특정 단어가 사전 결정된 횟수 이상 수정되었음을 판단할 수 있다. 이를 통해 장치(3000)는 상기 사전 결정된 횟수 이상 수정된 특정 단어를 발화자 “이파이”의 발화자 특성 정보의 사전 결정된 횟수 이상 수정된 단어 정보에 포함시킬 수 있다.
도 11에 도시된 유사 단어 리스트가 표시되는 방법, 형태 및 위치는 전술한 실시예에 한정되지 않는다.
도 12는 본 발명의 일 실시예에 따라 음성 정보의 평균 인식률에 기초해 전사자 인터페이스에 표시되는 음성 정보의 적어도 일부가 상이한 색상으로 표시되는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 적어도 하나의 음성 정보 각각에 대해 평균 인식률을 산출할 수 있다. 이 경우, 장치(3000)는 전사자 인터페이스(500)에서 음성 정보가 표시되는 적어도 일부분에 평균 인식률과 각각 매칭되어 있는 상이한 색상을 표시할 수 있다.
예를 들어, 장치(3000)에 평균 인식률 90%는 주황색과 매칭되고, 평균 인식률 50%는 빨간색과 매칭되어 있을 수 있다. 그리고, 도 12에 도시된 바와 같이, 장치(3000)는 환자 ID가 “c4517f16”인 음성 정보와 환자 ID가 “9ee60698”인 음성 정보에 대해서 평균 인식률을 산출하여, 환자 정보 표시 영역(510)에서 평균 인식률이 90%인 환자 ID가 “c4517f16”인 음성 정보의 적어도 일부는 주황색으로, 평균 인식률이 50%인 환자 ID가 “9ee60698”인 음성 정보의 적어도 일부는 빨간색으로 표시되도록 전사자 인터페이스(500)를 제공할 수 있다.
장치(3000)가 전사자 인터페이스(500)에 표시되는 음성 정보의 적어도 일부를 평균 인식률에 따라 상이한 색상으로 표시하는 방법은 전술한 실시예에 한정되지 않는다.
도 13은 본 발명의 일 실시예에 따라 인식률이 낮은 단어에 대해서 전사자 인터페이스에서 다른 단어들과 상이한 색상으로 표시되는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 음성 정보에 포함되는 복수의 단어들 각각에 대해 누적된 인식률을 산출할 수 있다. 이 경우, 전사자 인터페이스(500)에는 복수의 단어들 각각에 대한 인식률에 따라 복수의 단어들이 상이한 색상으로 표시될 수 있다.
예를 들어, 장치(3000)에 단어 인식률 90%는 주황색과 매칭되고, 단어 인식률 50%는 빨간색과 매칭되어 있을 수 있다. 그리고, 도 12에 도시된 바와 같이, 장치(3000)는 단어 각각의 인식률을 산출하여 인식률이 90%인 “유착여부”는 주황색으로, 인식률이 50%인 “소견”은 빨간색으로 표시되도록 전사자 인터페이스(500)를 제공할 수 있다. 장치(3000)는 인식률이 사전 결정된 확률(55%) 미만인 단어에 대해서는 유사 단어 리스트를 함께 제공할 수 있다.
장치(3000)가 복수의 단어들 각각에 대한 인식률에 따라 복수의 단어들을 상이한 색상으로 표시하는 방법은 전술한 실시예에 한정되지 않는다.
도 14는 본 발명의 일 실시예에 따라 하나의 음성 정보에 대해서 전사자 인터페이스에서 화자별로 상이한 색상으로 표시되는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)는, 음성 정보와 화자별로 사전 저장된 발화 습관 정보를 비교하는 과정과 상기 비교 결과에 기초하여 적어도 하나의 화자를 결정하는 과정을 더 포함할 수 있다. 여기서, 화자별로 사전 저장된 발화 습관 정보는 발화 높낮이 정보, 발화 속도 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보, 습관적인 간투사 사용 정보 중 적어도 하나를 포함할 수 있다.
도 14에 도시된 바와 같이, 장치(3000)는 음성 정보와 화자별로 사전 저장된 발화 습관 정보를 비교하여 하나의 음성 정보에 포함된 적어도 하나의 화자를 결정하고, 화자별로 텍스트 데이터를 상이한 색상으로 표시할 수 있다.
도 15는 본 발명의 일 실시예에 따른 전사자 인터페이스에서 텍스트 데이터 편집 영역에서 텍스트를 선택하면 음성 정보 재생 제어 영역에 표시된 재생 시점이 이동하는 실시예를 도시한다.
도 15의 (a)에는 사용자(전사자)가 텍스트 데이터 편집 영역(530)의 단어를 선택하기 전의 전사자 인터페이스(500)를 도시하고, (b)에는 사용자(전사자)가 텍스트 데이터 편집 영역(530)의 단어를 선택한 후의 전사자 인터페이스(500)를 도시한다.
본 발명의 일 실시예에 따르면, 사용자(전사자)가 텍스트 데이터 편집 영역(530)에 표시된 텍스트 데이터의 단어를 선택하면, 음성 정보 재생 제어 영역(520)에 표시된 음성 정보의 재생시점이 상기 선택된 단어와 매칭되어 있는 재생 시점으로 이동할 수 있다.
도 16는 본 발명의 일 실시예에 따른 음성 정보 재생 제어 영역에서 음성 정보의 재생 시점이 이동하는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)는 인식된 음성 정보를 사전 결정된 단위로 나누는 과정을 더 포함할 수 있다. 여기서, 사전 결정된 단위는 발화 시간, 데이터 크기 및 단어의 개수 중 적어도 하나를 포함할 수 있다. 사전 결정된 단위는 전술한 실시예에 한정되지 않는다.
예를 들어, 인식된 음성 정보가 단어의 개수(2개) 단위로 나뉘어진 경우, 사용자(전사자)가 음성 정보 재생 제어 영역(520)의 뒤로감기 버튼, 빨리감기 버튼 중 적어도 하나를 선택하면 음성 정보의 재생 시점이 2개의 단어를 단위로 이동될 수 있다.
다른 예를 들면, 인식된 음성 정보가 발화 시간(2초) 단위로 나뉘어진 경우, 사용자(전사자)가 음성 정보 재생 제어 영역(520)의 뒤로감기 버튼, 빨리감기 버튼 중 적어도 하나를 선택하면 음성 정보의 재생 시점이 2초를 단위로 이동될 수 있다.
또 다른 예를 들면, 인식된 음성 정보가 데이터 크기(200Byte) 단위로 나뉘어지는 경우, 사용자(전사자)가 음성 정보 재생 제어 영역(520)의 뒤로감기 버튼, 빨리감기 버튼 중 적어도 하나를 선택하면 음성 정보의 재생 시점이 200Byte를 단위로 이동될 수 있다.
도 17은 본 발명의 일 실시예에 따른 전사자 인터페이스에서 음성 정보의 무음 구간을 제외시키는 실시예를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300)는 음성 정보에서 무음 구간을 판단하는 과정을 더 포함할 수 있다. 여기서, 무음 구간은 음성 정보의 전체 재생 시간 중에서 사전 결정된 음량 미만인 시간 구간을 포함할 수 있다. 그리고, 장치(3000)는 제 2 사용자 단말기(2000)에 무음 구간을 제외시킬지 여부를 묻는 인터페이스를 제공할 수 있다.
도 17에 도시된 바와 같이, 사용자(전사자)가 무음 구간을 제외시킬지 여부를 묻는 인터페이스에서 수락을 선택하는 경우, 음성 정보 재생 제어 영역(520)에 표시되는 음성 파형에서 사전 결정된 음량 미만인 시간 구간이 제외될 수 있다. 이 경우, 사용자(전사자)가 음성 정보를 청취하는 시간이 감소될 수 있다.
또한, 음성 정보 재생 제어 영역(520)에 표시되는 음성 파형에서 사전 결정된 음량 미만인 시간 구간이 제외된 경우, 장치(3000)는 제 2 사용자 단말기(2000)에 무음 구간을 복구할 것인지 여부를 묻는 인터페이스를 제공할 수 있다. 여기서, 사용자(전사자)가 무음 구간 복구를 선택하면, 음성 정보 재생 제어 영역(520)에 표시되는 음성 파형은 무음 구간을 제외하기 전으로 복구될 수 있다.
도 18은 본 발명의 일 실시예에 따른 전사자 인터페이스에서 텍스트를 선택했을 시 표시될 수 있는 기능들을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 사용자(전사자)가 텍스트 데이터 편집 영역(530)에 표시된 단어를 선택하는 경우, 장치(3000)는 한번 더 듣기, 느리게 재생, 반복 재생 버튼을 포함하는 인터페이스를 제 2 사용자 단말기(2000)에 제공할 수 있다.
사용자(전사자)에게 반복 재생 버튼이 선택된 경우, 음성 정보의 전체 재생 구간에서 사용자(전사자)에게 선택된 단어가 해당하는 구간이 반복적으로 재생될 수 있다.
예를 들면, 사용자(전사자)가 “관찰되지” 단어를 선택한 경우, “관찰되지” 단어와 매칭된 음성 정보 구간이 사용자(전사자)가 정지 버튼을 선택하기 전까지 반복적으로 재생될 수 있다.
도 19는 본 발명의 일 실시예에 따른 전사자 인터페이스에서 텍스트 수정 시 동일한 텍스트에 대해서 한 번에 수정하는 기능을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 텍스트 데이터 편집 영역(530)에 표시된 제 1 텍스트 데이터 중 하나의 단어가 수정된 경우, 장치(3000)는 제 2 사용자 단말기(2000)에 상기 수정된 단어와 동일 복수의 단어들을 동시에 수정할 것인지 여부를 묻는 인터페이스를 제공할 수 있다. 그리고, 사용자(전사자)가 이 수정에 대해서 수락 버튼을 선택하면 텍스트 데이터 편집 영역(530)에서 사용자(전사자)가 수정한 동일한 단어들이 한 번에 수정될 수 있다.
예를 들어, 도 19에 도시된 바와 같이 사용자(전사자)가 텍스트 데이터 편집 영역(530)에서 “속연”이라는 단어를 “소견”으로 수정할 경우, 제 2 사용자 단말기(2000)에는 “속연” 단어를 한 번에 수정할 것인지 묻는 인터페이스가 제공될 수 있다. 여기서, 사용자(전사자)가 수정에 대한 수락 버튼을 선택하면, 텍스트 데이터 편집 영역(530)에 표시된 복수의 “속연” 단어가 한 번에 “소견”으로 수정될 수 있다.
도 20은 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보 및 전사자 특성 정보를 생성하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계(S2100), 상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계(S2200), 상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계(S2300), 전사자 인터페이스를 통해 상기 생성된 제 1 텍스트 데이터를 제 2 사용자 단말기에 제공하는 단계(S2400), 상기 제공된 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 상기 제 1 텍스트 데이터에 반영하여 생성된 제 2 텍스트 데이터를 획득하는 단계(S2500), 상기 의료진 인터페이스를 통해 상기 제 2 텍스트 데이터를 상기 제 1 사용자 단말기에 제공하는 단계(S2600)를 반복 수행하며 누적된 제 1 편집 정보를 획득하고, 상기 누적된 제 1 편집 정보를 이용하여 발화자 특성 정보 및 전사자 특성 정보를 생성할 수 있다.
여기서, 발화자 특성 정보는 발화 크기 정보, 사전 결정된 횟수 이상 수정된 단어 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보, 습관적인 간투사 사용 정보 중 적어도 하나를 포함할 수 있다.
또한, 전사자 특성 정보는 사전 결정된 횟수 이상 수정한 단어 정보, 청취 속도 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 단계 (S2300)에서 생성되는 제 1 텍스트 데이터는, 발화자 특성 정보 및 전사자 특성 정보가 반영되어 생성될 수 있다.
예를 들어, 사용자(의료진) A와 사용자(의료진) B의 발화자 특성 정보가 상이할 경우, 장치(3000)가 사용자(의료진) A 및 B로부터 동일한 음성 정보 “ABC”를 입력 받아도, 장치(3000)는 사용자(의료진) A에 대한 제 1 텍스트 데이터는 “BCD”로, 사용자(의료진) B에 대한 제 1 텍스트 데이터는 “CDF”로 생성할 수 있다.
발화자 특성 정보 및 전사자 특성 정보에 포함되는 정보들은 전술한 실시예에 한정되지 않는다.
도 21은 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보 및 전사자 특성 정보에 기초하여 텍스트 데이터에서 수정이 예상되는 부분을 검출 및 표시하고, 전사자 인터페이스를 제공하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 전사자 인터페이스(500)를 통해 제 1 텍스트 데이터를 제 2 사용자 단말기(2000)에 제공하는 단계(S2400)는, 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출하는 단계(S2410), 상기 전사자 인터페이스에서 상기 제 1 텍스트 데이터의 상기 검출된 수정 예상 부분을 다른 부분과 상이한 색상으로 표시하는 단계(S2420), 상기 전사자 인터페이스를 제 2 사용자 단말기에 제공하는 단계(S2430)를 포함할 수 있다.
단계 (S2410)에서, 장치(3000)는 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나를 제 1 텍스트 데이터와 비교할 수 있다. 그리고, 수정이 예상되는 부분을 검출할 수 있다.
예를 들어, 장치(3000)는 제 1 텍스트 데이터에서 발화자 특성 정보의 습관적인 간투사 사용 정보에 기초하여 간투사를 검출할 수 있다. 여기서, 간투사는 발화자가 발화 중 내용과 관련없이 습관적으로 소리내는 “어”, “음”, “그” 중 적어도 하나를 포함할 수 있다. 본 발명의 간투사는 전술한 실시예에 한정되지 않는다.
단계 (S2420)에서, 전사자 인터페이스(500)에서 제 1 텍스트 데이터의 수정 예상 부분은 다른 부분들과 상이한 색상으로 표시될 수 있다.
예를 들어, 발화자 특성 정보에 기초하여 전사자 인터페이스(500)에는 제 1 텍스트 데이터에서 검출한 간투사 단어가 빨간색으로 표시되고, 간투사 단어를 제외한 나머지 단어가 검은색으로 표시될 수 있다.
단계 (S2430)에서, 장치(3000)는 제 1 텍스트 데이터에서 수정 예상 부분이 다른 부분과 상이한 색상으로 표시된 전사자 인터페이스(500)를 제 2 사용자 단말기(2000)에 제공할 수 있다.
본 발명의 다른 실시예에 따르면, 장치(3000)가 전사자 인터페이스(500)를 통해 제 1 텍스트 데이터를 제 2 사용자 단말기(2000)에 제공하는 단계(S2400)는, 장치(3000)가 제 1 텍스트 데이터의 수정 예상 부분에 대해서 추천 단어 리스트를 제공하는 단계를 더 포함할 수 있다. 여기서, 추천 단어 리스트에는 발화자 특성 정보의 사전 결정된 횟수 이상 수정된 단어 정보에 기초하여, 수정 후 단어가 표시될 수 있다.
예를 들어, 제 1 텍스트 데이터에서 수정이 예상되는 부분이 “위취”이고, 발화자 특성 정보의 사전 결정된 횟수(5번) 이상 수정된 단어 정보가 “위취 - 위치”인 경우, 전사자 인터페이스(500)에 제공되는 추천 단어 리스트에는 “위치”가 표시될 수 있다.
도 22는 본 발명의 일 실시예에 따른 장치가 텍스트 데이터에서 발화자 특성 정보에 기초해 사전 결정된 횟수 이상 수정된 단어를 검출하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)가 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출하는 단계(S2410)는, 제 1 텍스트 데이터를 복수의 단어로 구분하는 단계(S2411), 사전 결정된 횟수 이상 수정된 단어 정보와 상기 제 1 텍스트 데이터의 복수의 단어를 비교하는 단계(S2412), 수정이 예상되는 단어를 검출하는 단계(S2413)를 포함할 수 있다.
단계 (S2411)에서, 장치(3000)는 제 1 텍스트 데이터를 복수의 단어로 구분할 수 있다.
예를 들어, 제 1 텍스트 데이터가 “복강내 소장의 유착여부”일 경우, 장치(3000)는 제 1 텍스트 데이터를 “복강내”, “소장의”, “유착여부”로 구분할 수 있다.
단계 (S2412)에서, 장치(3000)는 사전 결정된 횟수 이상 수정된 단어 정보와 상기 제 1 텍스트 데이터의 복수의 단어를 비교할 수 있다.
예를 들어, 장치(3000)에 사전 결정된 횟수 이상 수정된 단어 정보가 “5회, 소장의”일 경우, 장치(3000)는 상기 사전 결정된 횟수 이상 수정된 단어 정보와 복수의 단어로 구분된 제 1 텍스트 데이터 “복강내”, “소장의”, “유착여부”를 비교할 수 있다.
단계 (S2413)에서, 장치(3000)는 상기 비교 결과에 기초하여 제 1 텍스트 데이터에서 수정이 예상되는 단어를 검출할 수 있다.
예를 들어, 장치(3000)에서 사전 결정된 횟수 이상 수정된 단어 정보가 “5회, 소장의”일 경우, 장치(3000)는 상기 사전 결정된 횟수 이상 수정된 단어 정보와, 복수의 단어로 구분된 제 1 텍스트 데이터 “복강내”, “소장의”, “유착여부”를 비교하여, “소장의” 단어를 수정이 예상되는 단어라고 판단할 수 있다.
장치(3000)가 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출하는 방법은 전술한 실시예에 한정되지 않는다.
도 23은 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보에 기초해 텍스트 데이터에서 간투사를 검출하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 텍스트 데이터를 복수의 단어로 구분하는 단계(S710), 발화자 특성 정보의 습관적인 간투사 사용 정보와 상기 제 1 텍스트 데이터의 복수의 단어를 비교하는 단계(S720) 및 상기 제 1 텍스트 데이터의 복수의 단어에서 간투사를 검출하는 단계(S730)를 수행하며 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출하는 단계(S2410)를 수행할 수 있다.
단계 (S2414)에서, 장치(3000)는 제 1 텍스트 데이터를 복수의 단어로 구분할 수 있다.
예를 들어, 제 1 텍스트 데이터가 “어 복강내 소장의 유착여부”일 경우, 장치(3000)는 제 1 텍스트 데이터를 “어”, “복강내”, “소장의”, “유착여부”로 구분할 수 있다.
단계 (S2415)에서, 장치(3000)는 발화자 특성 정보의 습관적인 간투사 사용 정보와 상기 제 1 텍스트 데이터의 복수의 단어를 비교할 수 있다.
예를 들어, 장치(3000)에 사전에 저장되어 있는 습관적인 간투사 사용 정보가 “어”일 경우, 장치(3000)는 단계 (S2414)에서 구분된 복수의 단어 “어”, “복강내”, “소장의”, “유착여부”와 습관적인 간투사 사용 정보 “어”를 비교할 수 있다.
단계 (S2416)에서, 장치(3000)는 상기 제 1 텍스트 데이터의 복수의 단어에서 간투사를 검출할 수 있다.
예를 들어, 장치(3000)는 단계 (S2414)에서 구분된 복수의 단어 “어”, “복강내”, “소장의”, “유착여부”와 습관적인 간투사 사용 정보 “어”를 비교하여, 복수의 단어 중 “어”가 발화자의 습관적인 간투사임을 검출, 판단할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 텍스트 데이터에서 간투사에 해당하는 부분에 대해서, 제 2 사용자 단말기(2000)에 간투사 제외 여부를 묻는 인터페이스를 제공할 수 있다. 여기서 사용자(전사자)가 상기 간투사 제외 인터페이스에서 수락을 선택하는 경우, 전사자 인터페이스(500)에 표시되는 제 1 텍스트 데이터에서 복수의 간투사가 제외될 수 있다.
장치(3000)가 제 1 텍스트 데이터에서 습관적인 간투사 사용을 검출하는 방법은 전술한 실시예에 한정되지 않는다.
도 24는 본 발명의 일 실시예에 따른 장치가 발화자 특성 정보에 기초해 특정 단어를 검출하는 단계를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 텍스트 데이터를 복수의 단어로 구분하는 단계(S2417), 발화자 특성 정보의 특정 단어에 대한 특정 발음 정보와 상기 제 1 텍스트 데이터의 복수의 단어를 비교하는 단계(S2418) 및 상기 제 1 텍스트 데이터의 복수의 단어에서 특정 단어를 검출하는 단계(S2419)를 수행하며, 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출하는 단계(S2410)를 수행할 수 있다.
단계 (S2417)에서, 장치(3000)는 제 1 텍스트 데이터를 복수의 단어로 구분할 수 있다.
예를 들어, 제 1 텍스트 데이터가 “복간내 소장의 유착여부”일 경우, 장치(3000)는 제 1 텍스트 데이터를 “복간내”, “소장의”, “유착여부”로 구분할 수 있다.
단계 (S2418)에서, 장치(3000)는 발화자 특성 정보의 특정 단어에 대한 특정 발음 정보와, 단계 (S2417)에서 구분된 복수의 단어를 비교할 수 있다.
예를 들어, 장치(3000)에 사전 저장된 특정 단어에 대한 특정 발음 정보가 “복강내(단어) - 복간내(발음)”일 경우, 장치(3000)는 상기 특정 단어에 대한 특정 발음 정보 “복강내(단어) - 복간내(발음)”와 제 1 텍스트 데이터에서 복수의 단어로 구분된 “복간내”, “소장의”, “유착여부”를 비교할 수 있다.
단계 (S2419)에서, 장치(3000)는 상기 제 1 텍스트 데이터의 복수의 단어에서 특정 단어를 검출할 수 있다.
예를 들어, 장치(3000)는 상기 특정 단어에 대한 특정 발음 정보 “복강내(단어) - 복간내(발음)”와 제 1 텍스트 데이터에서 복수의 단어로 구분된 “복간내”, “소장의”, “유착여부”를 비교함으로써, 제 1 텍스트 데이터의 단어 “복간내”가 수정이 예상된다고 판단, 검출할 수 있다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제 1 텍스트 데이터에서 특정 단어에 대한 특정 발음 정보에 기초한 특정 단어 부분에 대해서, 제 2 사용자 단말기(2000)에 수정 여부를 묻는 인터페이스를 제공할 수 있다.
장치(3000)가 제 1 텍스트 데이터에서 특정 단어에 대한 특정 발음 정보를 기초로 수정이 예상되는 특정 단어를 검출하는 방법은 전술한 실시예에 한정되지 않는다.
도 25는 본 발명의 일 실시예에 따른 전자의무기록 서비스 장치의 내부구성도를 도시한다.
본 발명의 일 실시예에 따르면, 장치(3000)는 제어부(100), 저장부(200) 및 송수신부(300)를 포함할 수 있다. 그리고, 상기 제어부(100)는 인터페이스 제공부(110), 텍스트 데이터 생성부(120), 환자 정보 획득부(130), 수정 데이터 검출부(140)를 포함할 수 있다.
제어부(100)의 인터페이스 제공부(110)는 제 1 사용자 단말기(1000)에 의료진 인터페이스(400), 환자 추가 인터페이스 중 적어도 하나를 제공할 수 있으며, 제 2 사용자 단말기(2000)에는 전사자 인터페이스(500), 복수의 단어들을 한 번에 수정할지 여부를 묻는 인터페이스, 텍스트 데이터 편집 영역(430, 530)의 단어를 선택했을 시 표시되는 인터페이스, 무음 구간을 제외시킬지 여부를 묻는 인터페이스 중 적어도 하나를 제공할 수 있다.
인터페이스 제공부(110)가 제공하는 인터페이스의 종류는 전술한 실시예에 한정되지 않는다.
본 발명의 다른 실시예에 따르면, 인터페이스 제공부(110)는 제 1 사용자 단말기(1000)와 제 2 사용자 단말기(2000)를 구분하지 않고 장치(3000)가 제공할 수 있는 모든 종류의 인터페이스를 각각 제공할 수 있다.
의료진 인터페이스(400) 및 전사자 인터페이스(500)에서 표시되고 제공되는 기능과 관련된 내용은 도 4 내지 도 6, 도 8, 도 10 내지 도 19에서 전술하였다.
본 발명의 일 실시예에 따르면, 인터페이스 제공부(110)는 제 1 사용자 단말기(1000)에 의료진 인터페이스(400)를, 제 2 사용자 단말기(2000)에 전사자 인터페이스(500)를 제공하도록 되어 있지만, 의료진 인터페이스(400)와 전사자 인터페이스(500)는 동일할 수 있으며, 제 1 사용자 단말기(1000)와 제 2 사용자 단말기(2000) 또한, 동일하여 하나의 사용자 단말기를 의미할 수 있다.
제어부(100)의 텍스트 데이터 생성부(120)는 의료진 인터페이스(400)를 통해 입력된 음성 정보에 기초해 제 1 텍스트 데이터를 생성할 수 있다. 그리고, 제 1 편집 정보를 획득하여 제 1 텍스트 데이터에 반영하고, 제 2 텍스트 데이터를 생성할 수 있다.
장치(3000)의 텍스트 데이터의 생성과 관련된 내용은 도 9에서 전술하였다. 텍스트 데이터 생성부(120)는 도 9에서 전술한 단계들을 수행할 수 있다.
제어부(100)의 환자 정보 획득부(130)는 음성 정보에 포함된 환자 항목 정보를 인식하고, 상기 환자 항목 정보가 인식된 이후, 가장 근접한 시간 안에 인식되는 단어 정보를 획득하여 상기 단어 정보를 상기 환자 항목 정보와 매칭시킴으로써 환자 정보를 획득할 수 있다.
장치(3000)의 환자 정보 획득과 관련된 내용은 도 7에서 전술하였다. 환자 정보 획득부(130)는 도 7에서 전술한 단계들을 수행할 수 있다.
제어부(100)의 수정 데이터 검출부(140)는 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정이 예상되는 부분을 검출할 수 있다.
장치(3000)가 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초해 수정 예상 부분을 검출하는 내용은 도 22 내지 도 24에서 전술하였다. 수정 데이터 검출부(140)는 도 22 내지 도 24에서 전술한 단계들을 수행할 수 있다.
제어부(100)는 적어도 하나 이상의 프로세서로 구현될 수 있다.
본 발명의 일 실시예에 따르면, 저장부(200)에는 장치(3000)에서 입출력되는 모든 정보들이 저장될 수 있다. 예를 들어, 저장부(200)에는 누적된 제 1 편집 정보에 기초해 생성된 발화자별 발화자 특성 정보 및 전사자별 전사자 특성 정보가 저장될 수 있으며, 제 1 사용자 단말기(1000) 및 제 2 사용자 단말기(2000)로부터 입력된 음성 정보, 제 2 사용자 단말기(2000)로부터 획득한 제 1 편집 정보, 제 1 사용자 단말기(1000)로부터 획득한 제 2 편집 정보, 검토 완료 정보, 환자 추가 인터페이스로부터 획득한 환자 정보, 의료진 인터페이스(400)의 환경설정 정보, 데이터 상태 정보, 인식률과 매칭된 색상 정보 등이 저장될 수 있다. 저장부(200)에 저장되는 정보들은 전술한 실시예에 한정되지 않는다.
저장부(200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 장치(3000)는 인터넷(internet) 상에서 저장부(200)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
송수신부(300)는 제 1 사용자 단말기(1000), 제 2 사용자 단말기(2000) 및 외부의 장치(미도시)로부터 장치(3000)가 서비스를 제공하기 위해 필요한 정보들을 수신하고, 다시 제 1 사용자 단말기(1000), 제 2 사용자 단말기(2000) 및 외부의 장치(미도시)로 송신할 수 있다.
도 25에서 도시된 장치(3000)의 내부 구성요소들은 전술한 실시예에 한정되지 않는다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명에서 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학장들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 여기서 매체는 컴퓨터-판독가능 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터-판독가능 저장 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (10)

  1. 장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법에 있어서,
    제 1 사용자 단말기에 의료진 인터페이스를 제공하는 단계;
    상기 의료진 인터페이스를 통해 입력된 음성 정보를 획득하는 단계;
    상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계; 및
    상기 생성된 제 1 텍스트 데이터를 전사자가 수정 가능하도록 제 2 사용자 단말기에 전사자 인터페이스를 제공하는 단계;
    를 포함하고,
    상기 생성된 제 1 텍스트 데이터를 전사자가 수정 가능하도록 제 2 사용자 단말기에 전사자 인터페이스를 제공하는 단계는,
    발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정 예상 부분을 검출하는 단계; 및
    상기 전사자 인터페이스에서 상기 제 1 텍스트 데이터의 상기 검출된 수정 예상 부분을 다른 부분과 상이한 색상으로 표시하는 단계;
    를 포함하고,
    상기 발화자 특성 정보는, 발화 높낮이 정보, 발화 속도 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보 및 습관적인 간투사 사용 정보를 포함하고,
    상기 전사자 특성 정보는, 사전 결정된 횟수 이상 수정한 단어 정보 및 청취 속도 정보를 포함하는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 제공된 제 1 텍스트 데이터에 응답하여 입력된 제 1 편집 정보를 상기 제 1 텍스트 데이터에 반영하여 생성된, 제 2 텍스트 데이터를 획득하는 단계;
    를 더 포함하고,
    상기 전사자 인터페이스의 적어도 일부에,
    상기 제 2 텍스트 데이터에서 상기 제 1 편집 정보의 반영에 의해 수정된 부분은 수정되지 않은 부분과 상이한 색상으로 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  3. 제 2 항에 있어서,
    상기 의료진 인터페이스를 통해 상기 제 2 텍스트 데이터를 상기 제 1 사용자 단말기에 제공하는 단계;
    를 더 포함하고,
    상기 의료진 인터페이스의 적어도 일부에,
    상기 제 2 텍스트 데이터에서 상기 제 1 편집 정보의 반영에 의해 수정된 부분은 수정되지 않은 부분과 상이한 색상으로 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  4. 제 1 항에 있어서,
    상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계는,
    음성 정보를 한국어로 인식하는 단계;
    상기 한국어로 인식된 음성 중 의료용 영어단어를 검출하는 단계;
    상기 검출 결과에 기초하여 상기 의료용 영어단어는 영문 텍스트로, 그리고, 나머지 한국어는 한글 텍스트로 각각 전사(transcription)하는 단계; 및
    상기 전사 결과에 기초하여 제 1 텍스트 데이터를 생성하는 단계;
    를 포함하는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  5. 제 4 항에 있어서,
    상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계는,
    음성 정보의 평균 인식률을 산출하는 단계;
    를 더 포함하고,
    상기 음성 정보의 평균 인식률이 소정의 확률 미만인 경우,
    상기 전사자 인터페이스의 적어도 일부에 상기 평균 인식률이 낮은 음성 정보는 소정의 색상으로 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  6. 제 5 항에 있어서,
    상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계는,
    음성 정보로부터 인식된 복수의 단어들 각각의 누적된 인식률을 획득하는 단계;
    를 더 포함하고,
    상기 복수의 단어들 중 누적된 인식률이 소정의 확률 미만인 적어도 하나의 단어는,
    상기 전사자 인터페이스의 적어도 일부에 다른 단어들과 상이한 색상으로 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  7. 제 6 항에 있어서,
    상기 복수의 단어들 중 누적된 인식률이 소정의 확률 미만인 적어도 하나의 단어는,
    상기 전사자 인터페이스의 적어도 일부에 각각 유사 단어 리스트가 함께 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  8. 제 4 항에 있어서,
    상기 음성 정보에 기초하여 제 1 텍스트 데이터를 생성하는 단계는,
    음성 정보와 화자별로 사전 저장된 발화 습관 정보를 비교하는 단계;
    상기 비교 결과에 기초하여 적어도 하나의 화자를 결정하는 단계;
    를 더 포함하고,
    상기 전사자 인터페이스의 적어도 일부에 상기 제 1 텍스트 데이터는 화자별로 상이한 색상으로 표시되는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  9. 제 8 항에 있어서,
    상기 발화 습관 정보는 발화 높낮이 정보, 발화 속도 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보, 습관적인 간투사 사용 정보 중 적어도 하나를 포함하는,
    장치가 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법.
  10. 전자의무기록 서비스의 편집 인터페이스를 제공하는 장치에 있어서,
    제 1 사용자 단말기에 의료진 인터페이스를 제공하고, 제 2 사용자 단말기에 전사자 인터페이스를 제공하는 인터페이스 제공부; 및
    제 1 텍스트 데이터 및 제 2 텍스트 데이터를 생성하는 텍스트 데이터 생성부;
    를 포함하고,
    상기 텍스트 데이터 생성부는,
    상기 의료진 인터페이스를 통해 입력된 음성 정보에 기초하여 상기 제 1 텍스트 데이터를 생성하고,
    상기 인터페이스 제공부는,
    상기 생성된 제 1 텍스트 데이터를 전사자가 수정 가능하도록 상기 제 2 사용자 단말기에 상기 전사자 인터페이스를 제공하고, 발화자 특성 정보 및 전사자 특성 정보 중 적어도 하나에 기초하여 제 1 텍스트 데이터에서 수정 예상 부분을 검출하고, 상기 전사자 인터페이스에서 상기 제 1 텍스트 데이터의 상기 검출된 수정 예상 부분을 다른 부분과 상이한 색상으로 표시하고,
    상기 발화자 특성 정보는, 발화 높낮이 정보, 발화 속도 정보, 특정 단어에 대한 특정 발음 정보, 말더듬 정보 및 습관적인 간투사 사용 정보를 포함하고,
    상기 전사자 특성 정보는, 사전 결정된 횟수 이상 수정한 단어 정보 및 청취 속도 정보를 포함하는,
    전자의무기록 서비스의 편집 인터페이스를 제공하는 장치.
KR1020170146008A 2017-11-03 2017-11-03 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치 KR101955225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170146008A KR101955225B1 (ko) 2017-11-03 2017-11-03 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146008A KR101955225B1 (ko) 2017-11-03 2017-11-03 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101955225B1 true KR101955225B1 (ko) 2019-03-08

Family

ID=65801515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146008A KR101955225B1 (ko) 2017-11-03 2017-11-03 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101955225B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153668B1 (ko) * 2019-10-29 2020-09-09 주식회사 퍼즐에이아이 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법
CN113378579A (zh) * 2021-05-31 2021-09-10 五八到家有限公司 一种语音录入结构化数据的方法、系统及电子设备
WO2022039474A1 (ko) * 2020-08-18 2022-02-24 서울대학교병원 프로그래밍이 가능한 전자의무기록 시스템
KR102370167B1 (ko) * 2021-10-25 2022-03-04 주식회사 파인트리시스템 인공지능 기반 초음파 병변 진단 보조시스템
KR20220095581A (ko) * 2020-12-30 2022-07-07 고려대학교 산학협력단 음성 인식을 이용한 치과 전자 차트 생성 방법 및 장치
US11977812B2 (en) 2019-10-29 2024-05-07 Puzzle Ai Co., Ltd. Automatic speech recognizer and speech recognition method using keyboard macro function

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150703A (ja) * 2001-11-09 2003-05-23 Sanyo Electric Co Ltd 医療事務装置
JP2005284834A (ja) * 2004-03-30 2005-10-13 Toshiba Corp 文書入力装置、文書入力プログラム、文書入力プログラムを記録した記録媒体、及び文書入力方法
JP2006189626A (ja) * 2005-01-06 2006-07-20 Fuji Photo Film Co Ltd 記録装置及び音声記録プログラム
KR100766058B1 (ko) 2005-12-08 2007-10-11 한국전자통신연구원 대화형 음성 인터페이스 시스템에서의 예외 상황 처리 방법및 장치
KR20090130350A (ko) * 2008-06-09 2009-12-23 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150703A (ja) * 2001-11-09 2003-05-23 Sanyo Electric Co Ltd 医療事務装置
JP2005284834A (ja) * 2004-03-30 2005-10-13 Toshiba Corp 文書入力装置、文書入力プログラム、文書入力プログラムを記録した記録媒体、及び文書入力方法
JP2006189626A (ja) * 2005-01-06 2006-07-20 Fuji Photo Film Co Ltd 記録装置及び音声記録プログラム
KR100766058B1 (ko) 2005-12-08 2007-10-11 한국전자통신연구원 대화형 음성 인터페이스 시스템에서의 예외 상황 처리 방법및 장치
KR20090130350A (ko) * 2008-06-09 2009-12-23 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153668B1 (ko) * 2019-10-29 2020-09-09 주식회사 퍼즐에이아이 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법
WO2021085811A1 (ko) * 2019-10-29 2021-05-06 주식회사 퍼즐에이아이 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법
US11977812B2 (en) 2019-10-29 2024-05-07 Puzzle Ai Co., Ltd. Automatic speech recognizer and speech recognition method using keyboard macro function
WO2022039474A1 (ko) * 2020-08-18 2022-02-24 서울대학교병원 프로그래밍이 가능한 전자의무기록 시스템
KR20220022140A (ko) * 2020-08-18 2022-02-25 서울대학교병원 프로그래밍이 가능한 전자의무기록 시스템
KR102371037B1 (ko) 2020-08-18 2022-03-07 서울대학교병원 프로그래밍이 가능한 전자의무기록 시스템
KR20220095581A (ko) * 2020-12-30 2022-07-07 고려대학교 산학협력단 음성 인식을 이용한 치과 전자 차트 생성 방법 및 장치
KR102623753B1 (ko) * 2020-12-30 2024-01-11 고려대학교 산학협력단 음성 인식을 이용한 치과 전자 차트 생성 방법 및 장치
CN113378579A (zh) * 2021-05-31 2021-09-10 五八到家有限公司 一种语音录入结构化数据的方法、系统及电子设备
KR102370167B1 (ko) * 2021-10-25 2022-03-04 주식회사 파인트리시스템 인공지능 기반 초음파 병변 진단 보조시스템

Similar Documents

Publication Publication Date Title
KR101955225B1 (ko) 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치
US10977299B2 (en) Systems and methods for consolidating recorded content
CN106024009B (zh) 音频处理方法及装置
KR101689290B1 (ko) 대화에서 정보를 추출하는 장치
JP2005070645A (ja) テキスト音声同期装置およびテキスト音声同期処理プログラム
US8942982B2 (en) Semiconductor integrated circuit device and electronic instrument
WO2019096056A1 (zh) 语音识别方法、装置及系统
US10409547B2 (en) Apparatus for recording audio information and method for controlling same
CN107909995B (zh) 语音交互方法和装置
US11527251B1 (en) Voice message capturing system
KR101952106B1 (ko) 전자의무기록 서비스를 제공하는 방법 및 장치
JP6430137B2 (ja) 音声書起支援システム、サーバ、装置、方法及びプログラム
JP6716300B2 (ja) 議事録生成装置、及び議事録生成プログラム
US9472186B1 (en) Automated training of a user audio profile using transcribed medical record recordings
CN107025913A (zh) 一种录音方法及终端
JP2004101901A (ja) 音声対話装置及び音声対話プログラム
JP2014222290A (ja) 議事録記録装置、議事録記録方法及びプログラム
US20020049600A1 (en) Speech processor apparatus and system
KR101965575B1 (ko) 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치
JP2019050482A (ja) 情報取得機器、表示方法およびプログラム
CN106782625A (zh) 音频处理方法和装置
KR101946270B1 (ko) 전자의무기록 서비스에서 사용자 특성 정보를 이용하는 방법 및 장치
Alapetite Impact of noise and other factors on speech recognition in anaesthesia
KR101877559B1 (ko) 모바일 단말기를 이용한 언어 자가학습 서비스 제공방법, 이를 실행하는 모바일 단말기 및 이를 실행하기 위한 애플리케이션을 저장하는 기록매체
KR20150024484A (ko) 데이터 처리 방법 및 그 전자 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant