KR102209692B1 - Method And System for Providing Cardiac Diary by Using Converting Voice to Text - Google Patents

Method And System for Providing Cardiac Diary by Using Converting Voice to Text Download PDF

Info

Publication number
KR102209692B1
KR102209692B1 KR1020190133545A KR20190133545A KR102209692B1 KR 102209692 B1 KR102209692 B1 KR 102209692B1 KR 1020190133545 A KR1020190133545 A KR 1020190133545A KR 20190133545 A KR20190133545 A KR 20190133545A KR 102209692 B1 KR102209692 B1 KR 102209692B1
Authority
KR
South Korea
Prior art keywords
data
electrocardiogram
ecg
diary
voice
Prior art date
Application number
KR1020190133545A
Other languages
Korean (ko)
Inventor
이영신
송희석
Original Assignee
(주)씨어스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨어스테크놀로지 filed Critical (주)씨어스테크놀로지
Priority to KR1020190133545A priority Critical patent/KR102209692B1/en
Application granted granted Critical
Publication of KR102209692B1 publication Critical patent/KR102209692B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/333—Recording apparatus specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Abstract

Disclosed are a method and a system for providing an electrocardiogram diary using voice-to-text conversion. According to an embodiment of the present invention, while a user monitors electrocardiogram, the user transfers, to a medical staff, the electrocardiogram diary in which what the user (patient) says is recorded by using voice-to-text conversion technology with regard to activities and symptoms of the user (patient) together with electrocardiogram data, and while a medical staff analyzes the electrocardiogram data, the medical staff is allowed to understand context of a specific electrocardiogram by referring to contents of the electrocardiogram diary, thereby providing convenience to the user (patient) and increasing compliance with electrocardiogram diary writing.

Description

음성 텍스트 변환을 이용한 심전도 일기 제공 방법 및 시스템{Method And System for Providing Cardiac Diary by Using Converting Voice to Text} Method And System for Providing Cardiac Diary by Using Converting Voice to Text}

본 실시예는 음성 텍스트 변환을 이용한 심전도 일기 제공 방법 및 시스템에 관한 것이다. The present embodiment relates to a method and system for providing an electrocardiogram diary using voice-to-text conversion.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

심장/심혈관 질환은 악성신생물(암) 다음의 사망원인으로 정확한 조기진단과 예후관리해야 건강한 삶을 유지할 수 있는 만성질환이다. Heart/cardiovascular disease is the next cause of death following malignant neoplasms (cancer), and is a chronic disease that can maintain a healthy life only through accurate early diagnosis and prognosis.

심장/심혈관 질환의 정확한 진단과 관리를 위해서 외래환자에 대한 24시간 연속적인 심전도 모니터링(Holter Monitoring), 모바일 심장 모니터링(MCT, Mobile Cardiac Telemetry) 등의 서비스가 제공되고 있다.For the accurate diagnosis and management of heart/cardiovascular diseases, services such as 24-hour continuous electrocardiogram monitoring (Holter Monitoring) and mobile cardiac telemetry (MCT) are provided for outpatients.

일반적인 심전도 일기장이란 사용자가 펜으로 일기장에 직접 수기로 작성하는 방식을 의미한다. 따라서, 사용자가 심전도 일기를 기록하기 위해서는 일상생활 중에 항상 펜과 일기장을 소지하고 다녀야 하는 불편함 때문에 주기적으로 정확한 장을 기대하기 어려운 문제가 있다. A general electrocardiogram diary refers to a method in which a user writes directly into the diary with a pen. Therefore, in order for a user to record an electrocardiogram diary, there is a problem in that it is difficult to periodically expect an accurate chapter because of the inconvenience of having to carry a pen and diary at all times during daily life.

최근 스마트폰에 애플리케이션을 설치하는 방식의 전자 심전도 일기장이 심전도 기기와 함께 제공되고 있다. 하지만, 전자 심전도 일기장과 심전도 기기도 특정 활동이나 증상 발생시에 스마트폰을 꺼내고 해당 애플리케이션을 실행시킨 후 심전도 정보를 기록해야 하므로 불편함이 존재하여 노인과 장애인이 사용하기에는 어려운 문제가 있다.Recently, an electronic electrocardiogram diary in which an application is installed on a smartphone is provided along with an electrocardiogram device. However, the electronic electrocardiogram diary and the electrocardiogram device have a problem that is difficult for the elderly and the disabled to use because they have to take out the smartphone and record the electrocardiogram information after executing the corresponding application when a specific activity or symptom occurs.

전술한 심전도 기록 방식은 모두 이미 증상이 발생한 후에 별도의 동작을 수행해야 작성 가능한 방식이므로, 증상 발생시의 정확한 시점을 특정하지 못하는 문제와 작성하기 어려울 정도의 심각한 증상이 발생한 경우에는 기록 자체가 불가능하다는 문제가 있다.All of the above-described ECG recording methods are methods that can be created only when a separate operation is performed after symptoms have already occurred.Therefore, recording itself is not possible if there is a problem of not specifying the exact time point at which symptoms occur and serious symptoms that are difficult to write. there is a problem.

본 실시예는 심전도 모니터링을 하면서 사용자(환자)가 자신의 활동과 증상에 대해서 음성-문자 변환 기술을 이용하여 사용자(환자)가 말하는 내용을 심전도 일기장에 기록하는 심전도 일기장을 심전도 데이터와 함께 의료진에게 전달하여, 의료진으로 하여금 심전도 데이터를 분석하면서 심전도 일기장의 내용을 참고하여 특정 심전도에 대한 전후 관계(Context)를 파악하도록 하여, 사용자(환자)에게 편의를 제공하고 심전도 일기장 작성 순응도를 높일 수 있는 음성 텍스트 변환을 이용한 심전도 일기 제공 방법 및 시스템을 제공하는 데 목적이 있다.In this embodiment, an electrocardiogram diary in which the user (patient) records the contents of the user (patient) in the electrocardiogram diary using voice-to-text conversion technology for his/her activities and symptoms while monitoring the electrocardiogram, together with the electrocardiogram data Voice that provides convenience to users (patients) and increases compliance with ECG diary by allowing medical staff to understand the context of a specific ECG by referring to the contents of the ECG diary while analyzing the ECG data. An object of the present invention is to provide a method and system for providing an ECG diary using text conversion.

본 실시예의 일 측면에 의하면, 착용된 사용자의 심전도를 측정한 심전도 데이터를 생성하고, 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환하며, 상기 심전도 데이터, 상기 텍스트 데이터, 상기 심전도 데이터의 측정 날짜 및 측정 시간을 전송하는 심전도 측정장치; 상기 심전도 데이터, 상기 텍스트 데이터, 상기 측정 날짜 및 상기 측정 시간을 중계하는 게이트웨이; 및 상기 측정 날짜별로 상기 심전도 데이터를 분류한 후 동일한 상기 측정 날짜 내에서 상기 측정 시간 별로 상기 심전도 데이터를 분류하며, 상기 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 상기 심전도 데이터에 매칭한 심전도 일기 데이터를 생성하여 출력하는 심전도 일기 제공 서버를 포함하는 것을 특징으로 하는 심전도 일기 제공 시스템을 제공한다.According to an aspect of the present embodiment, electrocardiogram data obtained by measuring an electrocardiogram of a worn user is generated, the input voice data is recognized and converted into text data, the electrocardiogram data, the text data, the measurement date of the electrocardiogram data, and An electrocardiogram measuring device for transmitting the measurement time; A gateway for relaying the ECG data, the text data, the measurement date and the measurement time; And electrocardiogram diary data in which the electrocardiogram data is classified by the measurement date and then the electrocardiogram data is classified by the measurement time within the same measurement date, and the symptom keyword and activity keyword recognized from the text data are matched with the electrocardiogram data. It provides an electrocardiogram diary providing system comprising a server for generating and outputting an electrocardiogram diary providing server.

본 실시예의 다른 측면에 의하면, 심전도 측정장치에서 착용된 사용자의 심전도를 측정한 심전도 데이터를 생성하는 과정; 상기 심전도 측정장치에서 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환하는 과정; 상기 심전도 측정장치에서 상기 심전도 데이터, 상기 텍스트 데이터, 상기 심전도 데이터의 측정 날짜 및 측정 시간을 전송하는 과정; 게이트웨이에서 상기 심전도 데이터, 상기 텍스트 데이터, 상기 측정 날짜 및 상기 측정 시간을 중계하는 과정; 심전도 일기 제공 서버에서 상기 측정 날짜별로 상기 심전도 데이터를 분류하는 과정; 상기 심전도 일기 제공 서버에서 동일한 상기 측정 날짜 내에서 상기 측정 시간 별로 상기 심전도 데이터를 분류하는 과정; 및 상기 심전도 일기 제공 서버에서 상기 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 상기 심전도 데이터에 매칭한 심전도 일기 데이터를 생성하여 출력하는 과정;을 포함하는 것을 특징으로 하는 심전도 일기를 제공하는 방법을 제공한다.According to another aspect of the present embodiment, the process of generating electrocardiogram data obtained by measuring an electrocardiogram of a user worn by an electrocardiogram measuring device; Recognizing voice data input by the electrocardiogram measuring device and converting it into text data; Transmitting the ECG data, the text data, and the measurement date and measurement time of the ECG data by the ECG measuring device; Relaying the ECG data, the text data, the measurement date and the measurement time at a gateway; Classifying the electrocardiogram data by the measurement date in an electrocardiogram diary providing server; Classifying the ECG data by the measurement time within the same measurement date in the ECG diary providing server; And generating and outputting electrocardiogram diary data in which the symptom keyword and the activity keyword recognized from the text data are matched to the electrocardiogram data by the electrocardiogram diary providing server. The method of providing an electrocardiogram diary comprising: do.

이상에서 설명한 바와 같이 본 실시예에 의하면, 심전도 모니터링을 하면서 사용자(환자)가 자신의 활동과 증상에 대해서 음성-문자 변환 기술을 이용해서 사용자(환자)가 말하는 내용을 심전도 일기장에 기록하는 심전도 일기장을 심전도 데이터와 함께 의료진에게 전달하여, 의료진으로 하여금 심전도 데이터를 분석하면서 심전도 일기장의 내용을 참고하여 특정 심전도에 대한 전후 관계(Context)를 파악하도록 하여, 사용자(환자)에게 편의를 제공하고 심전도 일기장 작성 순응도를 높일 수 있는 효과가 있다.As described above, according to the present embodiment, the user (patient) records his/her activities and symptoms in the electrocardiogram diary using voice-to-text conversion technology while monitoring the electrocardiogram. Is delivered to the medical staff along with the ECG data, allowing the medical staff to understand the context of a specific ECG while analyzing the ECG data and by referring to the contents of the ECG diary, providing convenience to the user (patient) and providing convenience to the ECG diary. There is an effect that can increase writing compliance.

도 1은 본 실시예에 따른 음성 텍스트 변환을 이용한 심전도 일기 제공 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 음성 텍스트 변환을 이용하기 위한 키워드를 나타낸 도면이다.
도 3은 본 실시예에 따른 심전도 일기장을 나타낸 도면이다.
도 4는 본 실시예에 따른 심전도 일기 제공 시스템이 적용 가능한 예시를 나타낸 도면이다.
도 5는 본 실시예에 따른 음성 텍스트 변환을 이용한 심전도 일기 제공 방법을 설명하기 위한 순서도이다.1 is a block diagram schematically showing a system for providing an electrocardiogram diary using voice-to-text conversion according to the present embodiment.
2 is a diagram showing keywords for using voice-to-text conversion according to the present embodiment.
3 is a view showing an electrocardiogram diary according to the present embodiment.
4 is a diagram illustrating an example to which the system for providing an electrocardiogram diary according to the present embodiment is applicable.
5 is a flowchart illustrating a method of providing an electrocardiogram diary using voice-to-text conversion according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 음성 텍스트 변환을 이용한 심전도 일기 제공 시스템을 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically illustrating a system for providing an electrocardiogram diary using voice-to-text conversion according to the present embodiment.

본 실시예에 따른 심전도 일기 제공 시스템(100)은 심전도 센서(110), 음성 텍스트 변환 장치(120), 데이터 취합부(130), 게이트웨이(140), 심전도 일기 제공 서버(150)를 포함한다. 심전도 일기 제공 시스템(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The electrocardiogram diary providing system 100 according to the present embodiment includes an electrocardiogram sensor 110, a voice-to-text conversion device 120, a data collection unit 130, a gateway 140, and an electrocardiogram diary providing server 150. Components included in the electrocardiogram diary providing system 100 are not necessarily limited thereto.

심전도 센서(110)는 착용된 사용자(환자)의 심전도를 측정한 심전도 데이터를 생성한다.The electrocardiogram sensor 110 generates electrocardiogram data obtained by measuring the electrocardiogram of a user (patient) that is worn.

음성 텍스트 변환 장치(120)는 구비된 마이크를 이용하여 사용자가 입력한 음성 데이터를 입력받는다. 음성 텍스트 변환 장치(120)는 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환한다. 음성 텍스트 변환 장치(120)는 입력된 음성 데이터와 변환된 텍스트 데이터를 저장한다.The voice-to-text conversion device 120 receives voice data input by a user using an equipped microphone. The voice-to-text conversion device 120 recognizes the input voice data and converts it into text data. The voice-to-text conversion device 120 stores input voice data and converted text data.

데이터 취합부(130)는 심전도 센서(110)로부터 수신한 심전도 데이터를 취합하여 저장한다. 데이터 취합부(130)는 심전도 센서(110)로부터 심전도 데이터를 수신한 시간, 날짜를 심전도 데이터와 함께 저장한다. 데이터 취합부(130)는 심전도 데이터를 수신한 시간에 따라 기 정의된 형식(템플릿)에 따라 화면에 표시한다.The data collection unit 130 collects and stores the electrocardiogram data received from the electrocardiogram sensor 110. The data collection unit 130 stores the time and date of receiving the ECG data from the ECG sensor 110 together with the ECG data. The data collection unit 130 displays the electrocardiogram data on the screen according to a predefined format (template) according to the time at which the ECG data is received.

데이터 취합부(130)는 음성 텍스트 변환 장치(120)로부터 수신한 텍스트 데이터를 취합하여 저장한다. 데이터 취합부(130)는 음성 텍스트 변환 장치(120)로부터 텍스트 데이터를 수신한 시간, 날짜를 텍스트 데이터와 함께 저장한다. 데이터 취합부(130)는 텍스트 데이터를 수신한 시간에 따라 기 정의된 형식(템플릿)에 따라 화면에 표시한다. 데이터 취합부(130)는 심전도 데이터, 심전도 데이터를 수신한 시간, 날짜, 텍스트 데이터, 텍스트 데이터를 수신한 시간, 날짜를 게이트웨이(140)로 전송한다.The data collection unit 130 collects and stores text data received from the speech-to-text conversion device 120. The data collection unit 130 stores the time and date of receiving text data from the voice-to-text conversion device 120 together with the text data. The data collection unit 130 displays the text data on the screen according to a predefined format (template) according to the time at which the text data is received. The data collection unit 130 transmits the ECG data, the time when the ECG data is received, the date, text data, and the time and date when the text data is received to the gateway 140.

게이트웨이(140)는 데이터 취합부(130)로부터 수신한 심전도 데이터, 심전도 데이터를 수신한 시간, 날짜, 텍스트 데이터, 텍스트 데이터를 수신한 시간, 날짜를 심전도 일기 제공 서버(150)로 전송한다.The gateway 140 transmits the ECG data received from the data collection unit 130, the time, the date, the text data, and the time and date of the text data received from the ECG diary providing server 150.

심전도 일기 제공 서버(150)는 날짜 및 시간에 따른 심전도 데이터 및 텍스트 데이터를 매칭하여 저장한 심전도 일기 데이터를 생성한다. 심전도 일기 제공 서버(150)는 심전도 일기 데이터를 활동 키워드 별로 분석한 활동 분석 데이터를 생성한다.The ECG diary providing server 150 generates ECG diary data stored by matching ECG data and text data according to a date and time. The ECG diary providing server 150 generates activity analysis data obtained by analyzing the ECG diary data for each activity keyword.

심전도 일기 제공 서버(150)는 심전도 일기 데이터를 증상 키워드 별로 분석한 증상 분석 데이터를 생성한다. 심전도 일기 제공 서버(150)는 텍스트 데이터를 분석하여 증상 키워드와 활동 키워드를 인지한다. The ECG diary providing server 150 generates symptom analysis data by analyzing the ECG diary data for each symptom keyword. The ECG diary providing server 150 recognizes symptom keywords and activity keywords by analyzing text data.

심전도 일기 제공 서버(150)는 날짜별로 심전도 데이터를 매칭하여 저장한 심전도 일기 데이터를 생성한다. 이후 심전도 일기 제공 서버(150)는 날짜별로 소팅된 심전도 데이터를 시간별로 구분한 심전도 일기 데이터를 생성한다. 이후 심전도 일기 제공 서버(150)는 날짜 및 시간별로 구분된 심전도 데이터에 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 매칭하여 저장한 심전도 일기 데이터를 생성한다.The electrocardiogram diary providing server 150 generates electrocardiogram diary data that is stored by matching electrocardiogram data by date. Thereafter, the ECG diary providing server 150 generates ECG diary data by dividing the ECG data sorted by date by time. Thereafter, the ECG diary providing server 150 generates ECG diary data by matching the symptom keyword recognized from the text data and the activity keyword with the electrocardiogram data divided by date and time.

심전도 일기 제공 서버(150)는 심전도 일기 데이터에 포함된 심전도 데이터의 심전도 간격을 식별하고, 식별된 심전도 간격이 기 설정된 임계치 이내로 판별되면 해당 간격에 위험 여부를 나타내는 위험 신호를 마크한다.The ECG diary providing server 150 identifies the ECG interval of the ECG data included in the ECG diary data, and when the identified ECG interval is determined to be within a preset threshold, marks a danger signal indicating whether there is danger at the corresponding interval.

심전도 일기 제공 서버(150)는 위험 신호가 마크된 심전도 간격에 해당하는 증상 키워드와 활동 키워드를 추출한다. 심전도 일기 제공 서버(150)는 위험 신호가 마크된 증상 키워드 별로 위험 신호의 개수를 카운트하여 내림차순 또는 오름차순으로 소팅한 결과를 제공한다. 심전도 일기 제공 서버(150)는 위험 신호가 마크된 활동 키워드 별로 위험 신호의 개수를 카운트하여 내림차순 또는 오름차순으로 소팅한 결과를 제공한다. 심전도 일기 제공 서버(150)는 위험 신호가 마크된 증상 키워드와 활동 키워드를 조합한 결과를 제공한다.The ECG diary providing server 150 extracts a symptom keyword and an activity keyword corresponding to the ECG interval in which the danger signal is marked. The ECG diary providing server 150 counts the number of danger signals for each symptom keyword marked with the danger signal, and provides the result of sorting in descending or ascending order. The ECG diary providing server 150 counts the number of danger signals for each activity keyword marked with the danger signal and provides the result of sorting in descending or ascending order. The electrocardiogram diary providing server 150 provides a result of combining the symptom keyword marked with the danger signal and the activity keyword.

심전도 일기 제공 서버(150)는 심전도 일기 데이터, 활동 분석 데이터, 증상 분석 데이터 중 의료기관에 제출하기 위한 일부 데이터만을 추출한 의료 기관 제출용 데이터를 생성한다. 심전도 일기 제공 서버(150)는 의료 기관 제출용 데이터를 의료기관 서버(430)로 전송한다.The electrocardiogram diary providing server 150 generates data for submission to a medical institution by extracting only partial data for submission to a medical institution among electrocardiogram diary data, activity analysis data, and symptom analysis data. The ECG diary providing server 150 transmits data for submission to a medical institution to the medical institution server 430.

심전도 일기 제공 서버(150)는 심전도 일기 데이터, 활동 분석 데이터, 증상 분석 데이터 중 사용자가 소지한 단말기(412)로 제출하기 위한 일부 데이터만을 추출한 환자용 데이터를 생성한다. 심전도 일기 제공 서버(150)는 환자용 데이터를 사용자가 소지한 단말기(412)로 전송한다.The ECG diary providing server 150 generates patient data obtained by extracting only partial data for submission to the terminal 412 possessed by the user from among the ECG diary data, activity analysis data, and symptom analysis data. The ECG diary providing server 150 transmits patient data to the terminal 412 held by the user.

도 2는 본 실시예에 따른 음성 텍스트 변환을 이용하기 위한 키워드를 나타낸 도면이다.2 is a diagram showing keywords for using voice-to-text conversion according to the present embodiment.

심전도 센서(110), 음성 텍스트 변환 장치(120), 데이터 취합부(130)는 하나의 장치로 구현 가능하다. 심전도 센서(110), 음성 텍스트 변환 장치(120), 데이터 취합부(130)는 바람직하게는 스마트 폰, 웨어러블 장치, 디지털 카메라, 디지털 캠코더, 디지털 녹음기 등에 통합되는 형태로 구현 가능하다.The electrocardiogram sensor 110, the voice-to-text conversion device 120, and the data collection unit 130 may be implemented as one device. The electrocardiogram sensor 110, the voice-to-text conversion device 120, and the data collection unit 130 may preferably be implemented in a form integrated with a smart phone, a wearable device, a digital camera, a digital camcorder, a digital recorder, and the like.

심전도 센서(110), 음성 텍스트 변환 장치(120), 데이터 취합부(130)를 하나의 장치로 통한한 심전도 측정장치(410)는 사용자(환자)의 음성 데이터를 받아들일 수 있도록 트리거(Trigger) 하는 방법은 다음과 같다.The ECG sensor 110, the voice-to-text conversion device 120, and the data collection unit 130 are used as one device, and the ECG measuring device 410 is a trigger to receive the voice data of the user (patient). Here's how to do it.

심전도 측정장치(410)는 구비된 물리적인 버튼(트리거 버튼) 또는 애플리케이션 상의 소프트웨어 버튼에 사용자 입력 또는 명령이 존재하는 지의 여부를 판단한다.The electrocardiogram measuring apparatus 410 determines whether a user input or command exists in a physical button (trigger button) or a software button on an application.

심전도 측정장치(410)는 구비된 물리적인 버튼(트리거 버튼) 또는 애플리케이션 상의 소프트웨어 버튼에 사용자 입력 또는 명령이 존재하는 경우, 구비된 심전도 센서(110)를 동작하여 사용자의 심전도 신호를 센싱한다.When there is a user input or command to a physical button (trigger button) provided or a software button on an application, the electrocardiogram measuring apparatus 410 operates the provided electrocardiogram sensor 110 to sense the user's electrocardiogram signal.

심전도 측정장치(410)는 심전도 신호를 센싱할 때 사용자의 의지와 무관하게 자동으로 심전도 센서(110)를 구동하며, 심전도 센서(110)를 구동할 때 사용자의 음성 데이터가 입력되면, 음성 텍스트 변환 장치(120)를 이용하여 음성 데이터를 저장한다. 심전도 측정장치(410)는 음성 텍스트 변환 장치(120)를 이용하여 음성 데이터를 텍스트 데이터로 변환하여 저장한다.The electrocardiogram measuring device 410 automatically drives the electrocardiogram sensor 110 irrespective of the user's will when sensing the electrocardiogram signal, and when the user's voice data is input when the electrocardiogram sensor 110 is driven, voice-to-text conversion The device 120 is used to store voice data. The electrocardiogram measuring device 410 converts and stores the voice data into text data using the voice-to-text conversion device 120.

심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 사용자의 음성 데이터가 미입력되면, 별도로 음성 데이터를 저장하지 않는다. 심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 사용자가 의식적으로 이미 지정한 음성 키워드를 말했을 경우, 사용자가 의식적으로 말한 음성 데이터를 인식하여 텍스트 데이터로 변환한다. 심전도 측정장치(410)는 텍스트 데이터를 활동 키워드 또는 증상 키워드 중 어느 하나로 분류하여 저장한다.When the user's voice data is not input when the ECG sensor 110 is driven, the electrocardiogram measuring apparatus 410 does not separately store the voice data. When the user consciously speaks a previously designated voice keyword when driving the electrocardiogram sensor 110, the electrocardiogram measuring apparatus 410 recognizes the voice data consciously spoken by the user and converts it into text data. The electrocardiogram measuring device 410 classifies and stores text data as either an activity keyword or a symptom keyword.

심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 사용자가 무의식적으로 이미 지정한 음성 키워드(증상에 대한)를 말했을 경우, 사용자가 무의식적으로 말한 음성 데이터를 인식하여 텍스트 데이터로 변환한다. 심전도 측정장치(410)는 텍스트 데이터를 활동 키워드 또는 증상 키워드 중 어느 하나로 분류하여 저장한다.When the user unconsciously speaks a previously designated voice keyword (for symptoms) when driving the electrocardiogram sensor 110, the electrocardiogram measuring apparatus 410 recognizes the voice data spoken by the user unconsciously and converts it into text data. The electrocardiogram measuring device 410 classifies and stores text data as either an activity keyword or a symptom keyword.

사용자(환자)의 음성데이터로부터 이미 약속된(저장된) 주요한 단어(키워드)를 인식하며, 키워드의 예는 도 2에 도시된 바와 같다.An already promised (stored) main word (keyword) is recognized from the voice data of the user (patient), and an example of the keyword is as shown in FIG. 2.

도 3은 본 실시예에 따른 심전도 일기장을 나타낸 도면이다.3 is a view showing an electrocardiogram diary according to the present embodiment.

심전도 측정장치(410)는 연속적인 심전도 데이터를 모니터링하고 저장한다. 심전도 측정장치(410)는 특정 상황에서 입력된 음성 데이터의 인식이 시작되고 사용자(환자)의 음성데이터를 저장한다. 심전도 측정장치(410)는 사용자로부터 입력된 음성 데이터를 텍스트 데이터로 변환한다.The electrocardiogram measuring device 410 monitors and stores continuous electrocardiogram data. The electrocardiogram measuring apparatus 410 starts to recognize the input voice data in a specific situation and stores the voice data of the user (patient). The electrocardiogram measuring apparatus 410 converts voice data input from a user into text data.

심전도 측정장치(410)는 음성 데이터를 텍스트 데이터로 변환할 때, 모든 음성데이터를 텍스트로 변환하여 저장하는 것을 기본으로 하며, 심전도와 관련된 특정 키워드만을 검출해서 저장할 수도 있다.When converting voice data into text data, the electrocardiogram measuring apparatus 410 basically converts and stores all voice data into text, and may detect and store only specific keywords related to the electrocardiogram.

심전도 측정장치(410)는 심전도 데이터, 음성 데이터, 텍스트 데이터를 모두 발생시간과 함께 저장한다. 심전도 측정장치(410)는 저장된 심전도 데이터, 음성 데이터, 텍스트 데이터를 게이트웨이(140)를 경유하여 심전도 일기 제공 서버(150)로 전송하며, 사용자(환자, 의료진)에 자동 심전도일기장 서비스를 제공한다. 자동 심전도일기장 서비스는 게이트웨이 애플리케이션, 웹서비스 등을 활용하여 제공 가능한 서비스이다.The electrocardiogram measuring device 410 stores all of the electrocardiogram data, voice data, and text data along with the occurrence time. The electrocardiogram measuring apparatus 410 transmits the stored electrocardiogram data, voice data, and text data to the electrocardiogram diary providing server 150 via the gateway 140, and provides an automatic electrocardiogram diary service to a user (patient, medical staff). The automatic ECG diary service is a service that can be provided using gateway applications and web services.

심전도 일기 제공 서버(150)는 심전도 측정장치(410)로부터 심전도 데이터, 텍스트 데이터, 측정 시간, 측정 날짜를 수신한다. 심전도 일기 제공 서버(150)는 텍스트 데이터를 분석하여 증상 키워드와 활동 키워드를 인지한다. The ECG diary providing server 150 receives ECG data, text data, measurement time, and measurement date from the electrocardiogram measuring device 410. The ECG diary providing server 150 recognizes symptom keywords and activity keywords by analyzing text data.

심전도 일기 제공 서버(150)는 날짜별로 심전도 데이터를 소팅한 후 심전도 일기 데이터를 출력 가능하다. 이후 심전도 일기 제공 서버(150)는 날짜별로 소팅된 상태에서 동일한 날짜 내에서 시간 별로 심전도 데이터를 소팅한 후 심전도 일기 데이터를 출력 가능하다.The ECG diary providing server 150 may sort the ECG data by date and then output the ECG diary data. Thereafter, the ECG diary providing server 150 may sort the ECG data by time within the same date in a state sorted by date, and then output the ECG diary data.

심전도 일기 제공 서버(150)는 도 3에 도시된 바와 같이 날짜 및 시간별로 소팅된 심전도 데이터에 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 매칭하여 심전도 일기 데이터로서 출력 가능하다.As shown in FIG. 3, the ECG diary providing server 150 may match the symptom keyword recognized from the text data with the ECG data sorted by date and time and output the ECG diary data.

심전도 일기 제공 서버(150)는 심전도 일기 데이터에서 의료기관에 제출하기 위한 일부 데이터만을 추출 또는 가공하여 의료기관 서버(430)로 전송한다. 심전도 일기 제공 서버(150)는 심전도 일기 데이터에서 사용자가 소지한 단말기(412)로 제공하기 위한 일부 데이터만을 추출 또는 가공하여 사용자가 소지한 단말기(412)로 전송한다.The ECG diary providing server 150 extracts or processes only some data for submission to the medical institution from the ECG diary data and transmits the extracted or processed data to the medical institution server 430. The ECG diary providing server 150 extracts or processes only some data for providing to the terminal 412 possessed by the user from the electrocardiogram diary data and transmits it to the terminal 412 possessed by the user.

도 4는 본 실시예에 따른 심전도 일기 제공 시스템이 적용 가능한 예시를 나타낸 도면이다.4 is a diagram illustrating an example to which the system for providing an electrocardiogram diary according to the present embodiment is applicable.

심전도 측정장치(410)는 스마트 폰, 웨어러블 장치, 디지털 카메라, 디지털 캠코더, 디지털 녹음기 이외에 생체신호를 측정하는 의료기기, 웰니스/피트니스 기기에 모두 적용이 가능하다.The electrocardiogram measuring device 410 can be applied to both a smart phone, a wearable device, a digital camera, a digital camcorder, and a digital recorder, as well as medical devices and wellness/fitness devices that measure biological signals.

심전도 측정장치(410)가 디지털 카메라, 비디오카메라 등과 같이 사용자가 컨텐츠를 직접 작성하는 기기에 적용된 경우, 사용자는 손쉽게 메타데이터를 생성할 수 있다. 예컨대, 디지털 카메라, 비디오카메라에서는 음성이 출력되는 이미지에 메타데이터에 포함시킬 수 있다. When the electrocardiogram measuring apparatus 410 is applied to a device for which a user creates content, such as a digital camera or a video camera, the user can easily generate metadata. For example, in digital cameras and video cameras, audio may be included in metadata in an output image.

심전도 일기 제공 서버(150)는 자동 심전도일기장 기능을 이용하여 심전도 관리가 필요한 사용자가 소지한 단말기(412)로 편의성 제공할 수 있다. 사용자 입장에서 최소한의 노력으로 사용자의 심전도일기장 작성에 대한 순응도를 높일 수 있다. 심전도 일기 제공 서버(150)는 심전도 데이터와 함께 관련 상황에 대한 정보를 함께 의료기관 또는 사용자에게 제공함으로써 심전도 분석 및 해당 질환에 대한 진단 정확성을 높일 수 있다.The ECG diary providing server 150 may provide convenience to a terminal 412 held by a user who needs ECG management by using an automatic ECG diary function. From the user's point of view, it is possible to increase the user's compliance with the creation of an ECG diary with minimal effort. The ECG diary providing server 150 may improve ECG analysis and diagnosis accuracy for a corresponding disease by providing information on a related situation together with ECG data to a medical institution or a user.

도 5는 본 실시예에 따른 음성 텍스트 변환을 이용한 심전도 일기 제공 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a method of providing an electrocardiogram diary using voice-to-text conversion according to the present embodiment.

심전도 측정장치(410)는 착용된 사용자의 심전도를 측정한 심전도 데이터를 생성한다(S510). 단계 S510에서, 심전도 측정장치(410)는 구비된 심전도 센서(110)를 이용하여 착용된 사용자의 심전도를 측정하여 심전도 데이터를 생성한다. 심전도 측정장치(410)는 구비된 물리적인 버튼(트리거 버튼) 또는 애플리케이션 상의 소프트웨어 버튼에 사용자 입력 또는 명령이 존재하는 경우, 구비된 심전도 센서(110)를 동작하여 심전도 신호를 센싱한다.The electrocardiogram measuring apparatus 410 generates electrocardiogram data obtained by measuring the electrocardiogram of the user who is worn (S510). In step S510, the electrocardiogram measuring apparatus 410 measures the electrocardiogram of the user wearing the electrocardiogram sensor 110 and generates electrocardiogram data. When there is a user input or command to a physical button (trigger button) or a software button on an application, the electrocardiogram measuring apparatus 410 operates the electrocardiogram sensor 110 to sense an electrocardiogram signal.

심전도 측정장치(410)는 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환한다(S520). 단계 S520에서, 심전도 측정장치(410)는 구비된 음성 텍스트 변환 장치(120)를 이용하여 사용자가 입력한 음성 데이터를 입력받고, 음성 데이터를 인식하여 텍스트 데이터로 변환한다.The electrocardiogram measuring apparatus 410 recognizes the input voice data and converts it into text data (S520). In step S520, the electrocardiogram measuring apparatus 410 receives the voice data input by the user using the voice-to-text conversion device 120 provided, and recognizes the voice data and converts it into text data.

심전도 측정장치(410)는 심전도 신호를 센싱할 때, 사용자의 의지와 무관하게 자동으로 심전도 센서(110)를 구동한다. 심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 음성 데이터가 입력되면, 음성 데이터를 인식하여 텍스트 데이터로 변환하여 저장한다. 심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 음성 데이터가 미입력되면, 별도로 음성 데이터를 미저장한다.When sensing the ECG signal, the electrocardiogram measuring device 410 automatically drives the electrocardiogram sensor 110 regardless of the user's will. When voice data is input when driving the electrocardiogram sensor 110, the electrocardiogram measuring apparatus 410 recognizes the voice data, converts it into text data, and stores it. When the voice data is not input when the ECG sensor 110 is driven, the electrocardiogram measuring apparatus 410 separately stores the voice data.

심전도 측정장치(410)는 심전도 센서(110)를 구동할 때 사용자가 의식적 또는 무의식적으로 기 지정한 음성 키워드를 말했을 경우, 사용자의 음성 중 기 지정한 음성 키워드만을 인식하여 텍스트 데이터로 변환한 후 활동 키워드 또는 증상 키워드 중 어느 하나로 분류하여 저장한다.When the user consciously or unconsciously speaks a pre-designated voice keyword when driving the electrocardiogram sensor 110, the electrocardiogram measuring device 410 recognizes only the pre-designated voice keyword among the user's voices, converts it into text data, and then converts it into text data. Or, it is classified as one of the symptom keywords and stored.

심전도 측정장치(410)는 사용자의 음성 중 기 지정한 음성 키워드가 포함되어 있지 않은 경우, 모든 음성데이터를 인식하여 텍스트 데이터로 변환하여 저장하는 것을 기본으로 한다.The electrocardiogram measuring apparatus 410 basically recognizes all voice data, converts it into text data, and stores it when the previously designated voice keyword is not included in the user's voice.

심전도 측정장치(410)는 사용자의 음성 중 기 지정한 음성 키워드가 포함되어 있지 않더라도 기 설정된 특정 키워드가 존재하는 경우, 사용자의 음성 중 기 지정한 특정 키워드만을 인식하여 텍스트 데이터로 변환한 후 활동 키워드 또는 증상 키워드 중 어느 하나로 분류하여 저장한다.The electrocardiogram measuring device 410 recognizes only the specified keyword in the user's voice and converts it into text data when a preset specific keyword exists even if the user's voice keyword is not included. Classify and store by any of the keywords.

심전도 측정장치(410)는 심전도 데이터, 텍스트 데이터, 심전도 데이터의 측정 날짜 및 측정 시간을 게이트웨이(140)로 전송한다(S530). 단계 S530에서, 심전도 측정장치(410)는 구비된 데이터 취합부(130)를 이용하여 측정 날짜 또는 측정 시간을 기준으로 심전도 데이터, 텍스트 데이터를 매칭하여 취합한다. The ECG measuring apparatus 410 transmits the ECG data, text data, and the measurement date and measurement time of the ECG data to the gateway 140 (S530). In step S530, the electrocardiogram measurement apparatus 410 matches and collects the electrocardiogram data and text data based on the measurement date or measurement time using the provided data collection unit 130.

심전도 측정장치(410)는 구비된 데이터 취합부(130)를 이용하여 심전도 데이터 또는 텍스트 데이터를 수신한 시간에 따라 기 정의된 형식(템플릿)에 맞춰서 화면 상에 출력한다.The electrocardiogram measuring apparatus 410 outputs the electrocardiogram data or text data on the screen in accordance with a predefined format (template) according to the time at which the electrocardiogram data or text data is received using the provided data collection unit 130.

게이트웨이(140)는 심전도 데이터, 텍스트 데이터, 측정 날짜 및 측정 시간을 중계한다(S540). 심전도 일기 제공 서버(150)는 측정 날짜별로 심전도 데이터를 분류한다(S550). 심전도 일기 제공 서버(150)는 동일한 측정 날짜 내에서 측정 시간 별로 심전도 데이터를 분류한다(S560).The gateway 140 relays ECG data, text data, and measurement date and measurement time (S540). The ECG diary providing server 150 classifies the ECG data by measurement date (S550). The ECG diary providing server 150 classifies the ECG data by measurement time within the same measurement date (S560).

심전도 일기 제공 서버(150)는 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 심전도 데이터에 매칭한 심전도 일기 데이터를 생성하여 출력한다(S570). 단계 S570에서, 심전도 일기 제공 서버(150)는 심전도 일기 데이터를 활동 키워드 별로 소팅한 활동 분석 데이터를 생성하거나 심전도 일기 데이터를 증상 키워드 별로 소팅한 증상 분석 데이터를 생성한다.The ECG diary providing server 150 generates and outputs ECG diary data in which the symptom keyword and activity keyword recognized from the text data are matched with the ECG data (S570). In step S570, the ECG diary providing server 150 generates activity analysis data by sorting the ECG diary data by activity keyword or generates symptom analysis data by sorting the ECG diary data by symptom keywords.

심전도 일기 제공 서버(150)는 심전도 일기 데이터를 사용자 단말기(412) 또는 의료기관 서버(430)로 전송한다(S580). 단계 S580에서, 심전도 일기 제공 서버(150)는 심전도 일기 데이터 중 의료기관 서버(430)로부터 요청받은 일부 데이터만을 추출한 의료 기관 제출용 데이터를 생성한 후 의료기관 서버(430)로 전송한다. 심전도 일기 제공 서버(150)는 심전도 일기 데이터 중 사용자 단말기(412)로부터 요청받은 일부 데이터만을 추출한 환자용 데이터를 생성한 후 사용자 단말기(412)로 전송한다.The ECG diary providing server 150 transmits the ECG diary data to the user terminal 412 or the medical institution server 430 (S580). In step S580, the ECG diary providing server 150 generates data for submission to a medical institution by extracting only some of the data requested from the medical institution server 430 among the ECG diary data, and then transmits the data to the medical institution server 430. The ECG diary providing server 150 generates patient data obtained by extracting only partial data requested from the user terminal 412 among the ECG diary data, and transmits the generated patient data to the user terminal 412.

심전도 일기 제공 서버(150)는 심전도 일기 데이터에 포함된 심전도 간격을 식별하여 위험 신호를 마크하여 사용자 단말기(412) 또는 의료기관 서버(430)로 전송한다(S590). 단계 S590에서, 심전도 일기 제공 서버(150)는 심전도 일기 데이터에 포함된 심전도 데이터의 심전도 간격을 식별한다. 심전도 일기 제공 서버(150)는 식별된 심전도 간격이 기 설정된 임계치 이내로 판별되면 해당 간격에 위험 여부를 나타내는 위험 신호를 마크한다.The ECG diary providing server 150 identifies the ECG interval included in the ECG diary data, marks a danger signal, and transmits it to the user terminal 412 or the medical institution server 430 (S590). In step S590, the ECG diary providing server 150 identifies an ECG interval of ECG data included in the ECG diary data. When the identified ECG interval is determined to be within a preset threshold, the ECG diary providing server 150 marks a danger signal indicating whether there is danger in the corresponding interval.

심전도 일기 제공 서버(150)는 위험 신호가 마크된 구간에 해당하는 증상 키워드를 추출한다. 심전도 일기 제공 서버(150)는 위험 신호가 마크된 구간에 해당하는 증상 키워드 별로 위험 신호의 개수를 카운트하여 내림차순 또는 오름차순으로 소팅한 결과를 사용자 단말기(412) 또는 의료기관 서버(430)로 출력한다.The ECG diary providing server 150 extracts symptom keywords corresponding to the section marked with the danger signal. The ECG diary providing server 150 counts the number of danger signals for each symptom keyword corresponding to the section in which the danger signals are marked, and outputs the result of sorting in descending or ascending order to the user terminal 412 or the medical institution server 430.

심전도 일기 제공 서버(150)는 위험 신호가 마크된 구간에 해당하는 활동 키워드를 추출한다. 심전도 일기 제공 서버(150)는 위험 신호가 마크된 구간에 해당하는 활동 키워드 별로 위험 신호의 개수를 카운트하여 내림차순 또는 오름차순으로 소팅한 결과를 사용자 단말기(412) 또는 의료기관 서버(430)로 출력한다.The ECG diary providing server 150 extracts an activity keyword corresponding to the section in which the danger signal is marked. The ECG diary providing server 150 counts the number of danger signals for each activity keyword corresponding to the section where the danger signal is marked, and outputs the result of sorting in descending or ascending order to the user terminal 412 or the medical institution server 430.

심전도 일기 제공 서버(150)는 위험 신호가 마크된 구간에 해당하는 증상 키워드와 활동 키워드를 모두 선별하여 사용자 단말기(412) 또는 의료기관 서버(430)로 출력한다.The ECG diary providing server 150 selects both symptom keywords and activity keywords corresponding to the section marked with the danger signal and outputs them to the user terminal 412 or the medical institution server 430.

도 5에서는 단계 S510 내지 단계 S590을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, it is described that steps S510 to S590 are sequentially executed, but are not limited thereto. In other words, since the steps described in FIG. 5 may be changed and executed or one or more steps may be executed in parallel, FIG. 5 is not limited to a time series order.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment belongs will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain the technical idea, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

100: 심전도 일기 제공 시스템
110: 심전도 센서 120: 음성 텍스트 변환 장치
130: 데이터 취합부
140: 게이트웨이 150: 심전도 일기 제공 서버
410: 심전도 측정장치 412: 단말기
420: 네트워크 430: 의료기관서버100: ECG diary providing system
110: electrocardiogram sensor 120: speech-to-text converter
130: data collection unit
140: gateway 150: ECG diary providing server
410: electrocardiogram measuring device 412: terminal
420: network 430: medical institution server

Claims (16)

착용된 사용자의 심전도를 측정한 심전도 데이터를 생성하고, 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환하며, 상기 심전도 데이터, 상기 텍스트 데이터, 상기 심전도 데이터의 측정 날짜 및 측정 시간을 전송하는 심전도 측정장치;
상기 심전도 데이터, 상기 텍스트 데이터, 상기 측정 날짜 및 상기 측정 시간을 중계하는 게이트웨이; 및
상기 측정 날짜별로 상기 심전도 데이터를 분류한 후 동일한 상기 측정 날짜 내에서 상기 측정 시간별로 상기 심전도 데이터를 분류하며, 상기 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 상기 심전도 데이터에 매칭한 심전도 일기 데이터를 생성하여 출력하는 심전도 일기 제공 서버를 포함하고,
상기 심전도 일기 제공 서버는,
상기 심전도 일기 데이터에 포함된 심전도 데이터의 심전도 간격을 식별하고, 식별된 상기 심전도 간격이 기 설정된 임계치 이내로 판별되면 해당 간격에 위험 여부를 나타내는 위험 신호를 마크하고,
상기 위험 신호가 마크된 심전도 간격에 해당하는 증상 키워드와 활동 키워드를 추출하고, 상기 추출된 증상 키워드 및 활동 키워드 별로 위험 신호의 개수를 카운트하여 소팅한 결과를 생성하고, 상기 위험 신호가 마크된 증상 키워드와 활동 키워드를 조합한 결과를 생성하고,
상기 심전도 일기 데이터, 상기 위험 신호가 마크된 증상 키워드와 활동 키워드를 조합하여 생성된 활동 분석 데이터 및 증상 분석 데이터를 기반으로 의료기관에 제출하기 위한 일부 데이터만을 추출한 의료 기관 제출용 데이터를 생성하여 의료기관 서버로 전송하고, 사용자 단말기로 제출하기 위한 일부 데이터만을 추출한 환자용 데이터를 생성하여 상기 사용자 단말기로 전송하는 것을 특징으로 하는 심전도 일기 제공 시스템.An electrocardiogram measuring device that generates electrocardiogram data measuring the electrocardiogram of a user who is worn, converts the input voice data into text data, and transmits the measurement date and time of the electrocardiogram data, the text data, and the electrocardiogram data ;
A gateway for relaying the ECG data, the text data, the measurement date and the measurement time; And
After classifying the electrocardiogram data by measurement date, the electrocardiogram data is classified by the measurement time within the same measurement date, and electrocardiogram diary data in which symptom keywords and activity keywords recognized from the text data are matched with the electrocardiogram data. Including an ECG diary providing server that generates and outputs,
The ECG diary providing server,
Identify an electrocardiogram interval of the electrocardiogram data included in the electrocardiogram diary data, and if the identified electrocardiogram interval is determined to be within a preset threshold, mark a danger signal indicating whether there is danger at the interval
A symptom keyword and an activity keyword corresponding to the ECG interval in which the danger signal is marked are extracted, the number of danger signals is counted and sorted for each of the extracted symptom keywords and activity keywords, and the symptom of the danger signal is marked Generates a result of combining keywords and activity keywords,
Based on the ECG diary data, the activity analysis data generated by combining the symptom keyword and the activity keyword marked with the danger signal, and the symptom analysis data, the medical institution server generates data for submission to a medical institution by extracting only partial data for submission to a medical institution. And generating patient data from which only partial data for submission to the user terminal is extracted and transmitted to the user terminal. 제1항에 있어서,
상기 심전도 측정장치는
착용된 사용자의 심전도를 측정하여 상기 심전도 데이터를 생성하는 심전도 측정 센서;
구비된 마이크를 이용하여 사용자가 입력한 음성 데이터를 입력받고, 상기 음성 데이터를 인식하여 상기 텍스트 데이터로 변환하는 음성 텍스트 변환 장치; 및
상기 측정 날짜 또는 상기 측정 시간을 기준으로 상기 심전도 데이터, 상기 텍스트 데이터를 매칭하여 취합하는 데이터 취합부
를 포함하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 1,
The ECG measuring device
An electrocardiogram sensor for generating the electrocardiogram data by measuring the electrocardiogram of the user who is worn;
A voice-to-text conversion device for receiving voice data input by a user using an equipped microphone, recognizing the voice data, and converting the voice data into the text data; And
A data collection unit for matching and collecting the ECG data and the text data based on the measurement date or the measurement time
Electrocardiogram diary providing system comprising a. 제2항에 있어서,
상기 데이터 취합부는,
상기 심전도 데이터 또는 상기 텍스트 데이터를 수신한 시간에 따라 기 정의된 템플릿에 맞춰서 화면 상에 출력하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 2,
The data collection unit,
An electrocardiogram diary providing system, characterized in that outputting the electrocardiogram data or the text data on a screen according to a predefined template according to a time of receiving the electrocardiogram data or the text data. 제2항에 있어서,
상기 심전도 측정장치는,
구비된 물리적인 버튼 또는 애플리케이션 상의 소프트웨어 버튼에 사용자 입력 또는 명령이 존재하는 경우, 구비된 상기 심전도 측정 센서를 동작하여 상기 심전도 데이터를 센싱하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 2,
The electrocardiogram measuring device,
An electrocardiogram diary providing system, characterized in that when there is a user input or command to a physical button provided or a software button on an application, the provided electrocardiogram sensor is operated to sense the electrocardiogram data. 제2항에 있어서,
상기 심전도 측정장치는,
상기 심전도 데이터를 센싱할 때 사용자의 의지와 무관하게 자동으로 상기 심전도 측정 센서를 구동하며, 상기 심전도 측정 센서를 구동할 때 상기 음성 데이터가 입력되면, 상기 음성 데이터를 인식하여 상기 텍스트 데이터로 변환하여 저장하며, 상기 심전도 측정 센서를 구동할 때 상기 음성 데이터가 미입력되면, 별도로 상기 음성 데이터를 미저장하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 2,
The electrocardiogram measuring device,
When sensing the ECG data, the ECG sensor is automatically driven regardless of the user's will, and when the voice data is input when the ECG sensor is driven, the voice data is recognized and converted into the text data. And if the voice data is not input when the electrocardiogram sensor is driven, the voice data is not separately stored. 제5항에 있어서,
상기 심전도 측정장치는,
상기 심전도 측정 센서를 구동할 때 사용자가 의식적 또는 무의식적으로 기 지정한 음성 키워드를 말했을 경우, 사용자의 음성 중 상기 기 지정한 음성 키워드만을 인식하여 상기 텍스트 데이터로 변환한 후 상기 활동 키워드 또는 상기 증상 키워드 중 어느 하나로 분류하여 저장하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 5,
The electrocardiogram measuring device,
When the user consciously or unconsciously speaks a pre-designated voice keyword when driving the ECG sensor, only the pre-designated voice keyword is recognized among the user's voice and converted into the text data, and then one of the activity keywords or symptom keywords. An electrocardiogram diary providing system, characterized in that classified and stored in any one. 제6항에 있어서,
상기 심전도 측정장치는,
사용자의 음성 중 상기 기 지정한 음성 키워드가 포함되어 있지 않은 경우, 모든 음성데이터를 인식하여 상기 텍스트 데이터로 변환하여 저장하는 것을 기본으로 하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 6,
The electrocardiogram measuring device,
When the pre-designated voice keyword is not included in the user's voice, all voice data is recognized, converted into the text data, and stored. 제6항에 있어서,
상기 심전도 측정장치는,
사용자의 음성 중 상기 기 지정한 음성 키워드가 포함되어 있지 않더라도 기 설정된 특정 키워드가 존재하는 경우, 사용자의 음성 중 상기 기 설정된 특정 키워드만을 인식하여 상기 텍스트 데이터로 변환한 후 상기 활동 키워드 또는 상기 증상 키워드 중 어느 하나로 분류하여 저장하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 6,
The electrocardiogram measuring device,
If a preset specific keyword exists in the user's voice even if the preset voice keyword is not included, only the preset specific keyword is recognized in the user's voice, converted into the text data, and then among the activity keyword or the symptom keyword An electrocardiogram diary providing system, characterized in that classified and stored in any one. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 심전도 일기 제공 서버는,
상기 심전도 일기 데이터를 활동 키워드 별로 소팅한 활동 분석 데이터를 생성하거나 상기 심전도 일기 데이터를 상기 증상 키워드 별로 소팅한 증상 분석 데이터를 생성하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 1,
The ECG diary providing server,
And generating activity analysis data by sorting the electrocardiogram diary data by activity keyword or generating symptom analysis data by sorting the electrocardiogram diary data by symptom keyword. 제1항에 있어서,
상기 심전도 일기 데이터를 수신하여 전용 애플리케이션 상에 출력하는 사용자 단말기;
상기 심전도 일기 데이터를 수신하여 의료용 데이터로 이용하는 의료기관 서버
를 추가로 포함하는 것을 특징으로 하는 심전도 일기 제공 시스템.The method of claim 1,
A user terminal receiving the ECG diary data and outputting it to a dedicated application;
Medical institution server receiving the ECG diary data and using it as medical data
An electrocardiogram diary providing system, characterized in that it further comprises. 심전도 측정장치에서 착용된 사용자의 심전도를 측정한 심전도 데이터를 생성하는 과정;
상기 심전도 측정장치에서 입력된 음성 데이터를 인식하여 텍스트 데이터로 변환하는 과정;
상기 심전도 측정장치에서 상기 심전도 데이터, 상기 텍스트 데이터, 상기 심전도 데이터의 측정 날짜 및 측정 시간을 전송하는 과정;
게이트웨이에서 상기 심전도 데이터, 상기 텍스트 데이터, 상기 측정 날짜 및 상기 측정 시간을 중계하는 과정;
심전도 일기 제공 서버에서 상기 측정 날짜별로 상기 심전도 데이터를 분류하는 과정;
상기 심전도 일기 제공 서버에서 동일한 상기 측정 날짜 내에서 상기 측정 시간 별로 상기 심전도 데이터를 분류하는 과정
상기 심전도 일기 제공 서버에서 상기 텍스트 데이터로부터 인식된 증상 키워드와 활동 키워드를 상기 심전도 데이터에 매칭한 심전도 일기 데이터를 생성하여 출력하는 과정; 및
상기 심전도 일기 데이터에 포함된 심전도 데이터의 심전도 간격을 식별하고, 식별된 상기 심전도 간격이 기 설정된 임계치 이내로 판별되면 해당 간격에 위험 여부를 나타내는 위험 신호를 마크하는 과정;
상기 위험 신호가 마크된 심전도 간격에 해당하는 증상 키워드와 활동 키워드를 추출하고, 상기 추출된 증상 키워드 및 활동 키워드 별로 위험 신호의 개수를 카운트하여 소팅한 결과를 생성하고, 상기 위험 신호가 마크된 증상 키워드와 활동 키워드를 조합한 결과를 생성하는 과정; 및
상기 심전도 일기 데이터, 상기 위험 신호가 마크된 증상 키워드와 활동 키워드를 조합하여 생성된 활동 분석 데이터 및 증상 분석 데이터를 기반으로 의료기관에 제출하기 위한 일부 데이터만을 추출한 의료 기관 제출용 데이터를 생성하여 의료기관 서버로 전송하고, 사용자 단말기로 제출하기 위한 일부 데이터만을 추출한 환자용 데이터를 생성하여 상기 사용자 단말기로 전송하는 과정을 포함하는 것을 특징으로 하는 심전도 일기를 제공하는 방법.Generating electrocardiogram data obtained by measuring an electrocardiogram of a user worn by an electrocardiogram measuring device;
Recognizing voice data input by the electrocardiogram measuring device and converting it into text data;
Transmitting the ECG data, the text data, and the measurement date and measurement time of the ECG data by the ECG measuring device;
Relaying the ECG data, the text data, the measurement date and the measurement time at a gateway;
Classifying the electrocardiogram data by the measurement date in an electrocardiogram diary providing server;
The process of classifying the ECG data for each measurement time within the same measurement date in the ECG diary providing server
Generating and outputting electrocardiogram diary data in which the symptom keyword and activity keyword recognized from the text data are matched with the electrocardiogram data by the electrocardiogram diary providing server; And
Identifying an electrocardiogram interval of electrocardiogram data included in the electrocardiogram diary data, and if the identified electrocardiogram interval is determined to be within a preset threshold, marking a danger signal indicating whether there is a danger at the corresponding interval;
A symptom keyword and an activity keyword corresponding to the ECG interval in which the danger signal is marked are extracted, the number of danger signals is counted and sorted for each of the extracted symptom keywords and activity keywords, and the symptom of the danger signal is marked Generating a result of combining keywords and activity keywords; And
Based on the ECG diary data, the activity analysis data generated by combining the symptom keyword and the activity keyword marked with the danger signal, and the symptom analysis data, the medical institution server generates data for submission to a medical institution by extracting only partial data for submission to a medical institution. And generating patient data obtained by extracting only partial data for submission to the user terminal and transmitting the data to the user terminal, and transmitting the data to the user terminal.
KR1020190133545A 2019-10-25 2019-10-25 Method And System for Providing Cardiac Diary by Using Converting Voice to Text KR102209692B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190133545A KR102209692B1 (en) 2019-10-25 2019-10-25 Method And System for Providing Cardiac Diary by Using Converting Voice to Text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190133545A KR102209692B1 (en) 2019-10-25 2019-10-25 Method And System for Providing Cardiac Diary by Using Converting Voice to Text

Publications (1)

Publication Number Publication Date
KR102209692B1 true KR102209692B1 (en) 2021-01-29

Family

ID=74236611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190133545A KR102209692B1 (en) 2019-10-25 2019-10-25 Method And System for Providing Cardiac Diary by Using Converting Voice to Text

Country Status (1)

Country Link
KR (1) KR102209692B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070064A (en) * 2008-12-17 2010-06-25 충북대학교 산학협력단 Method for bio-signals monitoring system
JP2011206342A (en) * 2010-03-30 2011-10-20 Yuuki Kitaoka Health management system
KR101299879B1 (en) * 2012-07-03 2013-08-23 (주)유엔씨 Electrocardiogram measurment instrument having a function of electric memo and electrocardiogram measurment method using thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070064A (en) * 2008-12-17 2010-06-25 충북대학교 산학협력단 Method for bio-signals monitoring system
JP2011206342A (en) * 2010-03-30 2011-10-20 Yuuki Kitaoka Health management system
KR101299879B1 (en) * 2012-07-03 2013-08-23 (주)유엔씨 Electrocardiogram measurment instrument having a function of electric memo and electrocardiogram measurment method using thereof

Similar Documents

Publication Publication Date Title
US10706329B2 (en) Methods for explainability of deep-learning models
US20200388287A1 (en) Intelligent health monitoring
CN109460752B (en) Emotion analysis method and device, electronic equipment and storage medium
JP4285012B2 (en) Learning situation judgment program and user situation judgment system
EP3776586A1 (en) Managing respiratory conditions based on sounds of the respiratory system
US11948690B2 (en) Pulmonary function estimation
Feng et al. Tiles audio recorder: an unobtrusive wearable solution to track audio activity
US20180301061A1 (en) Gesture recognition and communication
CN110367934B (en) Health monitoring method and system based on non-voice body sounds
CN112016367A (en) Emotion recognition system and method and electronic equipment
US20200237290A1 (en) System and method for detection of cognitive and speech impairment based on temporal visual facial feature
CN112768070A (en) Mental health evaluation method and system based on dialogue communication
Nemati et al. Coughbuddy: Multi-modal cough event detection using earbuds platform
US20060058591A1 (en) First-response portable recorder and automated report generator
KR102209692B1 (en) Method And System for Providing Cardiac Diary by Using Converting Voice to Text
CN112672120B (en) Projector with voice analysis function and personal health data generation method
JP7021488B2 (en) Information processing equipment and programs
EP4170522A1 (en) Lifelog device utilizing audio recognition, and method therefor
US11730408B2 (en) Systems and methods for human-machine partnered PTSD prediction
CN113764099A (en) Psychological state analysis method, device, equipment and medium based on artificial intelligence
KR102588194B1 (en) Server and method for modeling emotion-dietary pattern using on-body sensor
KR20230028370A (en) A method for counting coughs by analyzing acoustic signals, a server performing the same, and a non-temporary computer readable recording medium
Toles et al. Acoustic and physiologic correlates of vocal effort in individuals with and without primary muscle tension dysphonia
Leamy et al. Re-annotation of cough events in the AMI corpus
WO2023037708A1 (en) A system, computer program and method

Legal Events

Date Code Title Description
GRNT Written decision to grant