KR20100137175A - 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법 - Google Patents

자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법 Download PDF

Info

Publication number
KR20100137175A
KR20100137175A KR1020090055467A KR20090055467A KR20100137175A KR 20100137175 A KR20100137175 A KR 20100137175A KR 1020090055467 A KR1020090055467 A KR 1020090055467A KR 20090055467 A KR20090055467 A KR 20090055467A KR 20100137175 A KR20100137175 A KR 20100137175A
Authority
KR
South Korea
Prior art keywords
user
intention
emotion
information
biometric information
Prior art date
Application number
KR1020090055467A
Other languages
English (en)
Inventor
이호섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090055467A priority Critical patent/KR20100137175A/ko
Priority to US12/710,785 priority patent/US20100325078A1/en
Publication of KR20100137175A publication Critical patent/KR20100137175A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Cardiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Emergency Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

사용자 의도 인식 장치가 제공된다. 사용자 의도 인식 장치는 장애인 또는 환자 등과 같이 감정 및 의도를 제대로 표현할 수 없는 사람들을 위해 사용될 수 있다. 사용자 의도 인식 장치는 사용자의 비언어적 표현 정보를 기초로 사용자의 감정을 판단할 뿐만 아니라, 사용자의 감정 및 생체 정보를 기초로 사용자의 의도를 판단할 수 있다. 그리고, 사용자 의도 인식 장치는 판단된 사용자의 의도에 대응하는 적절한 출력을 제공함으로써, 장애인 또는 환자를 간호하는 데에 도움을 줄 수 있다.
Figure P1020090055467
의도, 감정, 환자, 생체 정보, 비언어적 표현, 인식

Description

자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법{DEVICE AND METHOD OF AUTOMATICALLY RECOGNIZING EMOTION AND INTENTION OF USER}
아래의 실시예들은 장애인 또는 환자 등과 같이 감정 및 의도를 제대로 표현할 수 없는 사람들을 위한 기술에 관한 것이다.
의학 기술의 발전으로 인해 사람들의 평균 나이는 크게 높아지고 있다. 그리고, 치매(dementia), 중풍(palsy)과 같은 노인성 질병에 걸린 환자들이 크게 증가하고 있다.
치매, 중풍과 같은 노인성 질병을 갖는 환자들은 보호자들에게도 큰 부담을 준다. 특히, 치매, 중풍 등과 같은 노인성 질병을 갖는 환자들은 매우 낮은 인지 기능을 갖고 있어서, 낮은 기억력, 판단력, 사고력, 언어 능력을 갖는다. 언어 능력이 낮아진 경우, 환자들은 그들의 의학적 의도를 표현하는 데에 어려움을 겪는다. 예를 들어, 환자들은 '소변을 보고 싶음', '머리가 아픔', '배가 고픔' 등과 같은 의도를 제대로 표현하지 못한다.
다만, 보호자는 환자와 오랜 시간 동안 함께 생활하였으므로, 환자의 성격 또는 습관 등을 알 수 있고, 이러한 것들을 통하여 환자의 의도를 추측할 수 있다. 다만, 보호자의 의학적 전문 지식은 충분하지 않으며, 의사들은 충분한 의학적 전문 지식을 갖고 있음에도 불구하고, 환자의 성격 또는 습관 등을 알지 못해서, 환자의 의도를 제대로 판단하지 못하는 어려움이 있다.
따라서, 보호자의 부담을 줄이면서도 환자의 의도를 정확하게 파악할 수 있는 기술이 필요하다.
본 발명의 일실시예에 따른 사용자 의도 인식 장치는 적어도 하나의 비언어적 표현(nonverbal communication) 수단에 따른 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보(biometric information)를 수집하는 데이터 수집부; 상기 사용자의 비언어적 표현 정보를 기초로 상기 사용자의 감정(emotion)을 판단하는 감정 판단부; 및 상기 사용자의 감정 및 상기 생체 정보를 기초로 상기 사용자의 의도(intention)를 판단하는 의도 판단부를 포함한다.
이 때, 상기 의도 판단부는 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스에 미리 저장된 규칙들을 이용하여 상기 사용자의 감정 및 상기 생체 정보에 대응하는 상기 사용자의 의도를 판단할 수 있다. 여기서, 상기 규칙-기반 전문가 시스템에 따른 상기 규칙 데이터베이스는 의학 지식과 관련된 규칙들을 저장할 수 있다.
이 때, 상기 감정 판단부는 상기 사용자의 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하고, 패턴 인식(pattern recognition)에 따라 상기 특징 패턴을 기초로 상기 사용자의 감정을 판단할 수 있다. 그리고, 상기 감정 판단부는 사전에 축적된 데이터 또는 통계 정보와 상기 특징 패턴을 비교함으로써 상기 사용자의 감정을 판단할 수 있다. 여기서, 상기 사전에 축적된 데이터 또는 통계 정보는 감정 데이터베이스에 저장되고, 상기 감정 데이터베이스는 업데이트 가능할 수 있다.
또한, 상기 사용자 의도 인식 장치는 모바일 디바이스에 설치되고, 상기 데이터 수집부는 상기 모바일 디바이스와 분리되거나 상기 모바일 디바이스에 부착된 적어도 하나의 센싱 모듈부터 상기 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보를 수집할 수 있다.
또한, 사용자 의도 인식 장치는 상기 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보를 수집하기 위한 적어도 하나의 센싱 모듈을 더 포함할 수 있다.
또한, 상기 적어도 하나의 비언어적 표현 수단은 상기 사용자의 표정, 시선, 자세, 동작 또는 음성 중 적어도 하나를 포함하고, 상기 생체 정보는 상기 사용자의 체온, 혈압, 맥박 또는 혈당 중 적어도 하나를 포함할 수 있다.
또한, 사용자 의도 인식 장치는 상기 사용자의 의도와 관련된 정보를 외부로 송신하거나, 외부로부터 특정 정보를 수신하기 위한 통신 인터페이스를 더 포함할 수 있다.
또한, 오디오, 비디오 또는 문서 중 적어도 하나의 형태로 상기 사용자의 의도를 출력하는 출력부를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 의도 인식 방법은 적어도 하나의 센싱 모듈을 이용하여 적어도 하나의 비언어적 표현(nonverbal communication) 수단에 따른 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보(biometric information)를 수집하는 단계; 상기 사용자의 비언어적 표현 정보를 기초로 상기 사용자의 감정(emotion)을 판단하는 단계; 및 상기 사용자의 감정 및 상기 생체 정 보를 기초로 상기 사용자의 의도(intention)를 판단하는 단계를 포함한다.
이 때, 상기 사용자의 의도를 판단하는 단계는 상기 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스에 미리 저장된 규칙들을 이용하여 상기 사용자의 감정 및 상기 생체 정보에 대응하는 상기 사용자의 의도를 판단하는 단계일 수 있다.
이 때, 상기 사용자의 감정을 판단하는 단계는 상기 사용자의 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하는 단계; 및 패턴 인식(pattern recognition)에 따라 상기 특징 패턴을 기초로 상기 사용자의 감정을 판단하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따른 사용자 의도 인식 장치 및 방법은 의도를 제대로 전달할 수 없는 환자들을 위하여 비언어적 표현 정보 및 생체 정보를 종합적으로 고려하여 환자들의 의도를 정확히 인식할 수 있다. 따라서, 보호자들은 보다 적은 부담으로 환자들을 간호할 수 있다.
또한, 본 발명의 실시예들에 따른 사용자 의도 인식 장치 및 방법은 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스를 사용함으로써, 의학적으로 신뢰할 수 있는 기술을 제공한다.
또한, 본 발명의 실시예들에 따른 사용자 의도 인식 장치 및 방법은 패턴 인식을 사용함으로써, 환자들의 감정을 보다 정확히 판단할 수 있다.
또한, 본 발명의 실시예들에 따른 사용자 의도 인식 장치 및 방법은 환자들 의 고유한 특성을 고려하여 보호자에 의해 또는 의사들에 의해 업데이트 가능한 감정 데이터 베이스 또는 규칙 데이터베이스를 사용할 수 있다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 환자 및 의사 사이의 의사 소통의 예를 도시한 도면이다.
도 1을 참조하면, 일반적으로 환자(110)는 본인의 상태나 감정을 언어적으로 표현하고, 의사(120)는 환자(110)의 표현과 환자(110)의 생체 정보를 기초로 환자(110)의 의도를 파악한 이후에, 적절한 의학적 조치를 취한다.
여기서, 노인성 질병에 걸린 사람, 정신 지체를 겪고 있는 사람 등과 같이 본인의 상태 및 감정을 제대로 표현할 수 없는 환자(110)를 가정하자. 환자(110)의 보호자는 환자(110)가 갖고 있는 고유의 특성(습관, 성격) 등을 알고 있으므로, 환자(110)의 의도를 어느 정도 추측할 수 있다. 다만, 보호자는 의학적 전문 지식을 갖고 있지 않으므로 환자(110)에게 조치를 취하기 전에 의사(120)에게 환자(110)를 데려가거나, 의사(120)에게 자문을 얻어야 한다. 이러한 것은 보호자가 환자(110)를 간호하는 것을 어렵게 할 수 있다.
뿐만 아니라, 의사(120)는 환자(110)가 갖고 있는 고유의 특성을 모르므로, 의사(120) 단독으로는 단지 환자(110)의 생체 정보만을 기초로 의학적 조치를 취할 수 밖에 없다. 따라서, 보호자는 의사(120)를 돕기 위하여 항상 환자(110) 옆에 있어야 하는데 이러한 것은 보호자의 부담을 가중시킨다.
도 2는 본 발명의 일실시예에 따른 사용자 의도 인식 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 사용자 의도 인식 장치(200)는 센싱 모듈(211), 데이터 수집부(220), 감정 판단부(230), 감정 데이터베이스(240), 의도 판단부(250), 규칙 데이터 베이스(260), 출력부(270), 사용자 상태 데이터베이스(280) 및 통신 인터페이스(290)를 포함한다. 그리고, 센싱 모듈들(212, 213)은 사용자 의도 인식 장치(200)와 물리적으로 분리될 수 있다.
센싱 모듈들(212, 212, 213)은 사용자(특히, 환자)의 비언어적 표현 수단에 따른 비언어적 표현 정보 및 사용자의 생체 정보를 수집한다. 여기서, 비언어적 표현 수단이란 사용자의 감정을 표현할 수 있는 언어 이외의 수단을 말하며, 사용자의 표정, 시선, 자세, 동작 또는 음성을 포함할 수 있다. 그리고, 생체 정보는 사용자의 체온, 혈압, 맥박 또는 혈당 등을 포함할 수 있다. 이 때, 도 2에 도시된 바와 같이, 센싱 모듈은 사용자 의도 인식 장치에 통합되거나, 사용자 의도 인식 장치로부터 물리적으로 떨어져서 설치될 수 있다.
사용자가 언어적 표현 수단을 이용하여 자신의 감정을 제대로 전달할 수 없는 경우, 사용자는 비언어적 표현 수단을 사용할 수 있다. 예를 들어, 사용자는 그의 감정에 따라 표정, 시선, 자세, 동작을 바꾸거나, 소리를 냄으로써 그의 감정을 표현할 수 있다.
이 때, 센싱 모듈들(211, 212, 213)은 사용자의 표정, 시선, 자세, 동작을 추적하기 위하여 카메라 및 다양한 센서들을 포함할 수 있으며, 사용자의 음성을 인지하기 위하여 마이크 등을 포함할 수 있다. 그리고, 센싱 모듈들(211, 212, 213)은 바이오 센서를 이용하여 사용자의 체온, 혈압, 맥박 또는 혈당 등을 측정할 수 있다.
또한, 데이터 수집부(220)는 센싱 모듈들(211, 212, 213)에 의해 측정된 사용자의 비언어적 표현 정보 및 생체 정보를 수집한다. 이 때, 데이터 수집부(220)는 특정 시간 동안 누적적으로 비언어적 표현 정보 및 생체 정보를 수집할 수 있다.
또한, 감정 판단부(230)는 데이터 수집부(220)에 의해 수집된 비언어적 표현 정보를 기초로 사용자의 감정을 판단한다. 여기서, 사용자의 감정은 다양하게 분류될 수 있으며, 예를 들어, 희(喜), 로(怒), 애(哀), 락(樂) 등으로 분류될 수 있다.
보다 구체적으로, 감정 판단부(230)는 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하고, 패턴 인식(pattern recognition)에 따라 특징 패턴을 기초로 사용자의 감정을 판단할 수 있다. 여기서, 패턴 인식은 기계 학습(Machine Learning)의 한 분야로서, 물리적 객체 혹은 사건을 미리 정해진 여러 카테코리들 중 적어도 하나로 할당하는 기술로 정의될 수 있다.
즉, 감정 판단부(230)은 사전에 축적된 데이터 또는 통계 정보를 저장하는 감정 데이터베이스(240)를 이용하여 패턴 인식을 수행함으로써, 비언어적 표현 정보를 기초로 사용자의 감정을 판단할 수 있다. 예를 들어, 희(喜), 로(怒), 애(哀), 락(樂) 등과 같은 감정들 각각은 고유의 패턴을 가지고 있으며, 감정 판단 부(230)는 사용자의 비언어적 표현 정보로부터 추출되는 특징 패턴이 희(喜), 로(怒), 애(哀), 락(樂) 등과 같은 감정들 중 어느 것에 대응되는지를 판단함으로써, 사용자의 감정을 판단할 수 있다.
예를 들어, 사용자의 표정으로부터 추출되는 특징 패턴에 대응하는 값이 4.5보다 크고, 음성으로부터 추출되는 특정 패턴에 대응하는 값이 3.0보다 크다면, 사용자의 감정은 '락(樂)'으로 판단될 수 있다.
여기서, 도 2에 도시된 것과 달리, 감정 데이터베이스(240)는 사용자 의도 인식 장치(200)의 외부에 설치될 수도 있으며, 이러한 경우, 사용자 의도 인식 장치(200)는 다양한 통신 수단들을 이용하여 감정 데이터베이스(240)로부터 필요한 정보를 다운로드할 수 있다.
또한, 의도 판단부(250)는 감정 판단부(230)에 의해 판단된 사용자의 감정 및 데이터 수집부(220)에 의해 수집된 사용자의 생체 정보를 기초로 사용자의 의도를 판단한다. 사용자의 의도는 '소변을 보고 싶음', '머리가 아픔', '배가 고픔', '춥다' 등과 같이 다양할 수 있다.
이 때, 의도 판단부(250)는 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스(260)를 사용함으로써, 높은 정확도로 사용자의 의도를 판단할 수 있다. 즉, 의도 판단부(250)는 규칙 데이터베이스(260)를 이용하여 사용자의 감정 및 생체 정보를 기초로 적절히 사용자의 의도를 판단한다.
전문가 시스템은 전문가들이 가지고 있는 지식을 인위적으로 컴퓨터에게 부여하여, 해당 기술 분야에서 비전문가들도 전문 지식을 사용할 수 있도록 하는 자 문형 컴퓨터 시스템이다. 이 때, 규칙-기반 전문가 시스템(Rule-based Expert System)은 미리 정의된 복수의 규칙들을 기초로 추론을 수행한다.
규칙 데이터베이스(260)는 의학 전문가들이 가지고 있는 의학 지식들을 기반으로 정의된 복수의 규칙들을 저장한다. 복수의 규칙들은 다양하게 정의될 수 있다. 특히, 복수의 규칙들은 사용자의 다양한 감정들 및 생체 정보에 따라 다르게 정의될 수 있다.
예를 들어, 체온이 섭씨 38도 이상이고, 혈압이 140mmHg이상이고, 사용자의 감정이 애(哀)인 경우, 사용자의 의도는 '소변을 보고 싶음'으로 판단될 수 있다. 뿐만 아니라, 치매 환자의 감정이 짧은 시간 동안 급격히 변화하고, 혈압이 130mmHg이상이고, 맥박이 점점 빨라지는 경우, 치매 환자는 '섬망(delirium)' 증세를 겪고 있는 것으로 판단될 수 있다. 또한, 치매 환자에게 '섬망' 증세에 대응하는 규칙은 의료진을 호출하고, 혼자 두지 않는 것, 치매 환자를 부드럽게 다루는 것 등에 관한 정보를 포함할 수 있다.
감정 데이터베이스(240) 및 규칙 데이터베이스(260)는 보호자 및 의학 전문가들에 의해 업데이트될 수 있으며, 특히 보호자는 환자의 고유한 특성 등을 고려하여 관련 데이터를 업데이트할 수 있다.
또한, 출력부(270)는 판단된 사용자의 의도를 출력한다. 이 때, 출력부(270)는 오디오, 비디오 또는 문서 등 다양한 형태로 사용자의 의도를 출력할 수 있다. 또한, 판단된 사용자의 감정 및 수집된 사용자의 생체 정보에 대응하는 사용자의 의도는 사용자 상태 데이터베이스(280)에 누적적으로 저장된다.
또한, 통신 인터페이스(290)는 사용자 상태 데이터베이스(280)에 저장된 데이터를 외부로 송신하거나, 외부로부터 특정 데이터를 수신한다. 특히, 통신 인터페이스(290)는 사용자의 의도를 보호자 또는 의사에게 전달할 수 있다.
여기서, 도 2에 도시된 것과 달리, 규칙 데이터베이스(260) 및 사용자 상태 데이터베이스(280)는 사용자 의도 인식 장치(200)의 외부에 설치될 수도 있으며, 이러한 경우, 사용자 의도 인식 장치(200)는 다양한 통신 수단들을 이용하여 규칙 데이터베이스(260) 및 사용자 상태 데이터베이스(280)에 억세스할 수 있다.
도 3은 사용자 의도 인식 장치의 구체적인 구현 예를 나타낸다.
도 3을 참조하면, 사용자 의도 인식 장치(320)는 이마를 둘러싸는 밴드와 연결되어 사용자(310)에게 부착된다. 또한, 사용자 의도 인식 장치(320)는 모바일 디바이스의 형태로 제작될 수 있다.
사용자(310)의 표정, 시선 등은 카메라(330)를 통하여 추적되며, 사용자(310)의 음성은 마이크(340)를 통해 인식된다. 또한, 사용자(310)의 생체 정보는 사용자 의도 인식 장치(320)의 내부에 포함된 센싱 모듈을 통하여 측정된다.
다만, 도 3에 도시된 바와 달리, 사용자 의도 인식 장치(320)는 모바일 디바이스의 형태가 아니라, 고정된 채로 사용되는 디바이스의 형태로 제작될 수도 있다. 예를 들어, 사용자 의도 인식 장치(320)는 침대 또는 의자 등에 부착된 형태로 제작될 수도 있다.
도 4는 본 발명의 일실시예에 따른 사용자 의도 인식 방법을 나타낸 동작 흐름도이다.
도 4를 참조하면, 사용자(환자)는 사용자 의도 인식 장치가 설치된 모바일 디바이스를 머리, 손목 등에 부착한다(410). 이 때, 사용자 의도 인식 장치를 위한 센싱 모듈들은 모바일 디바이스와 연결되어 있을 수도 있고, 분리되어 있을 수도 있다.
또한, 센싱 모듈들은 사용자의 비언어적 표현 정보 및 생체 정보를 측정한다(420).
또한, 사용자 의도 인식 장치는 센싱 모듈들을 통해 측정된 사용자의 비언어적 표현 정보 및 생체 정보를 수집한다(430).
또한, 사용자 의도 인식 장치는 사용자의 비언어적 표현 정보를 기초로 패턴 인식에 따라 사용자의 감정을 판단한다(440). 즉, 사용자 의도 인식 장치는 사용자의 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하고, 패턴 인식(pattern recognition)에 따라 상기 특징 패턴을 기초로 사용자의 감정을 판단할 수 있다.
또한, 사용자 의도 인식 장치는 사용자의 감정 및 생체 정보를 기초로 사용자의 의도를 판단한다(450). 이 때, 사용자 의도 인식 장치는 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스에 미리 저장된 규칙들을 이용하여 사용자의 감정 및 생체 정보에 대응하는 사용자의 의도를 판단할 수 있다. 여기서, 규칙-기반 전문가 시스템에 따른 규칙 데이터베이스는 의학 지식과 관련된 규칙들을 저장한다.
또한, 사용자 의도 인식 장치는 판단된 사용자의 의도를 다양한 형태로 출력 하거나, 보호자 또는 의사에게 사용자의 의도와 관련된 정보를 전송한다(460).
도 5는 사용자 의도 인식 장치를 포함하는 모바일 디바이스를 사용하는 구체적인 예를 나타낸 도면이다.
도 5를 참조하면, 사용자(환자)의 단말기(510), 보호자의 단말기(520) 및 의사의 단말기(530)는 네트워크(540)를 통해 서로 연결된다.
사용자의 단말기(510)에는 본 발명의 실시예들에 따른 사용자 의도 인식 장치가 설치되며, 사용자 의도 인식 장치에 의해 인식된 사용자의 의도에 관한 정보는 사용자의 단말기(510)에 표시되거나, 네트워크(540)를 통해 보호자의 단말기(520) 또는 의사의 단말기(530)로 전송된다.
또한, 사용자의 단말기(510)는 사용자의 감정, 의도, 생체 정보, 비언어적 표현 정보를 의료 정보 시스템(550)으로 전송하며, 의료 정보 시스템(550)은 사용자의 감정, 의도, 생체 정보, 비언어적 표현 정보를 누적적으로 저장한다. 또한, 의료 정보 시스템(550)은 사용자의 감정, 의도, 생체 정보, 비언어적 표현 정보를 네트워크(540)를 통해 보호자의 단말기(520) 또는 의사의 단말기(530)로 전송할 수 있다.
본 발명의 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 환자 및 의사 사이의 의사 소통의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 의도 인식 장치를 나타낸 블록도이다.
도 3은 사용자 의도 인식 장치의 구체적인 구현 예를 나타낸다.
도 4는 본 발명의 일실시예에 따른 사용자 의도 인식 방법을 나타낸 동작 흐름도이다.
도 5는 사용자 의도 인식 장치를 포함하는 모바일 디바이스를 사용하는 구체적인 예를 나타낸 도면이다.

Claims (15)

  1. 적어도 하나의 비언어적 표현(nonverbal communication) 수단에 따른 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보(biometric information)를 수집하는 데이터 수집부;
    상기 사용자의 비언어적 표현 정보를 기초로 상기 사용자의 감정(emotion)을 판단하는 감정 판단부; 및
    상기 사용자의 감정 및 상기 생체 정보를 기초로 상기 사용자의 의도(intention)를 판단하는 의도 판단부
    를 포함하는 사용자 의도 인식 장치.
  2. 제1항에 있어서,
    상기 의도 판단부는
    상기 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스에 미리 저장된 규칙들을 이용하여 상기 사용자의 감정 및 상기 생체 정보에 대응하는 상기 사용자의 의도를 판단하는 사용자 의도 인식 장치.
  3. 제2항에 있어서,
    상기 규칙-기반 전문가 시스템에 따른 상기 규칙 데이터베이스는 의학 지식과 관련된 규칙들을 저장하는 사용자 의도 인식 장치.
  4. 제1항에 있어서,
    상기 감정 판단부는
    상기 사용자의 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하고, 패턴 인식(pattern recognition)에 따라 상기 특징 패턴을 기초로 상기 사용자의 감정을 판단하는 사용자 의도 인식 장치.
  5. 제4항에 있어서,
    상기 감정 판단부는
    사전에 축적된 데이터 또는 통계 정보와 상기 특징 패턴을 비교함으로써 상기 사용자의 감정을 판단하는 사용자 의도 인식 장치.
  6. 제5항에 있어서,
    상기 사전에 축적된 데이터 또는 통계 정보는 감정 데이터베이스에 저장되고, 상기 감정 데이터베이스는 업데이트 가능한 사용자 의도 인식 장치.
  7. 제1항에 있어서,
    상기 사용자 의도 인식 장치는 모바일 디바이스에 설치되고,
    상기 데이터 수집부는
    상기 모바일 디바이스와 분리되거나 상기 모바일 디바이스에 부착된 적어도 하나의 센싱 모듈부터 상기 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보를 수집하는 사용자 의도 인식 장치.
  8. 제1항에 있어서,
    상기 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보를 수집하기 위한 적어도 하나의 센싱 모듈
    을 더 포함하는 사용자 의도 인식 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 비언어적 표현 수단은
    상기 사용자의 표정, 시선, 자세, 동작 또는 음성 중 적어도 하나를 포함하고,
    상기 생체 정보는
    상기 사용자의 체온, 혈압, 맥박 또는 혈당 중 적어도 하나를 포함하는 사용자 의도 인식 장치.
  10. 제1항에 있어서,
    상기 사용자의 의도와 관련된 정보를 외부로 송신하거나, 외부로부터 특정 정보를 수신하기 위한 통신 인터페이스
    를 더 포함하는 사용자 의도 인식 장치.
  11. 제1항에 있어서,
    오디오, 비디오 또는 문서 중 적어도 하나의 형태로 상기 사용자의 의도를 출력하는 출력부
    를 더 포함하는 사용자 의도 인식 장치.
  12. 적어도 하나의 센싱 모듈을 이용하여 적어도 하나의 비언어적 표현(nonverbal communication) 수단에 따른 사용자의 비언어적 표현 정보 및 상기 사용자의 생체 정보(biometric information)를 수집하는 단계;
    상기 사용자의 비언어적 표현 정보를 기초로 상기 사용자의 감정(emotion)을 판단하는 단계; 및
    상기 사용자의 감정 및 상기 생체 정보를 기초로 상기 사용자의 의도(intention)를 판단하는 단계
    를 포함하는 사용자 의도 인식 방법.
  13. 제12항에 있어서,
    상기 사용자의 의도를 판단하는 단계는
    상기 규칙-기반 전문가 시스템(Rule-based Expert System)에 따른 규칙 데이터베이스에 미리 저장된 규칙들을 이용하여 상기 사용자의 감정 및 상기 생체 정보에 대응하는 상기 사용자의 의도를 판단하는 단계인 사용자 의도 인식 장치.
  14. 제12항에 있어서,
    상기 사용자의 감정을 판단하는 단계는
    상기 사용자의 비언어적 표현 정보의 특징 패턴(feature pattern)을 추출하는 단계; 및
    패턴 인식(pattern recognition)에 따라 상기 특징 패턴을 기초로 상기 사용자의 감정을 판단하는 단계
    를 포함하는 사용자 의도 인식 장치.
  15. 제12항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020090055467A 2009-06-22 2009-06-22 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법 KR20100137175A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090055467A KR20100137175A (ko) 2009-06-22 2009-06-22 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법
US12/710,785 US20100325078A1 (en) 2009-06-22 2010-02-23 Device and method for recognizing emotion and intention of a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090055467A KR20100137175A (ko) 2009-06-22 2009-06-22 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100137175A true KR20100137175A (ko) 2010-12-30

Family

ID=43355144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090055467A KR20100137175A (ko) 2009-06-22 2009-06-22 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20100325078A1 (ko)
KR (1) KR20100137175A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015175552A1 (en) * 2014-05-12 2015-11-19 Intelligent Digital Avatars, Inc. Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics
KR101689021B1 (ko) * 2015-09-16 2016-12-23 주식회사 인포쉐어 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법
WO2017014541A1 (ko) * 2015-07-22 2017-01-26 (주) 퓨처로봇 베드-사이드 간호 로봇
WO2020235770A1 (ko) * 2019-05-17 2020-11-26 주식회사 룩시드랩스 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101262922B1 (ko) * 2009-12-10 2013-05-09 한국전자통신연구원 감성 변화에 따른 감성지수 결정 장치 및 그 방법
BR112013030406A2 (pt) * 2011-06-01 2016-12-13 Koninkl Philips Nv método e sistema para assistir pacientes
US9762719B2 (en) 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
CN111145871A (zh) * 2018-11-02 2020-05-12 京东方科技集团股份有限公司 情绪干预方法、装置和系统，以及计算机可读存储介质
CN109460749A (zh) * 2018-12-18 2019-03-12 深圳壹账通智能科技有限公司 患者监护方法、装置、计算机设备和存储介质
CN109543659B (zh) * 2018-12-25 2020-03-31 北京心法科技有限公司 适于老年用户的风险行为监测预警方法及系统
CN111210906A (zh) * 2020-02-25 2020-05-29 四川大学华西医院 一种icu病人的非语言沟通系统
CN111401268B (zh) * 2020-03-19 2022-11-15 内蒙古工业大学 一种面向开放环境的多模态情感识别方法及装置
CN115082986A (zh) * 2022-06-14 2022-09-20 上海弗莱特智能医疗科技有限公司 重症获得性患者床旁意图识别系统及其控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100662335B1 (ko) * 2004-06-18 2007-01-02 엘지전자 주식회사 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템
US20070191691A1 (en) * 2005-05-19 2007-08-16 Martin Polanco Identification of guilty knowledge and malicious intent
EP2115737B1 (en) * 2007-01-31 2017-11-01 Telecom Italia S.p.A. Method and system to improve automated emotional recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015175552A1 (en) * 2014-05-12 2015-11-19 Intelligent Digital Avatars, Inc. Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics
WO2017014541A1 (ko) * 2015-07-22 2017-01-26 (주) 퓨처로봇 베드-사이드 간호 로봇
KR101689021B1 (ko) * 2015-09-16 2016-12-23 주식회사 인포쉐어 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법
WO2020235770A1 (ko) * 2019-05-17 2020-11-26 주식회사 룩시드랩스 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스

Also Published As

Publication number Publication date
US20100325078A1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
KR20100137175A (ko) 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법
US20200388287A1 (en) Intelligent health monitoring
US11055575B2 (en) Intelligent health monitoring
Ahamed et al. Applying internet of things and machine-learning for personalized healthcare: Issues and challenges
US9814425B2 (en) Health monitoring appliance
CN107209807B (zh) 疼痛管理可穿戴设备
KR101307248B1 (ko) 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
US20140194702A1 (en) Health monitoring appliance
US20070265533A1 (en) Cuffless blood pressure monitoring appliance
Saraswathy et al. Automatic classification of infant cry: A review
WO2012025622A2 (en) Monitoring method and system for assessment of prediction of mood trends
KR101880500B1 (ko) 개인특성을 고려한 치매환자 케어 시스템 및 이를 이용한 치매환자 케어방법
WO2022115701A1 (en) Method and system for detecting mood
Camcı et al. Abnormal respiratory event detection in sleep: A prescreening system with smart wearables
CN112437629A (zh) 确定被监测对象的生命体征的可靠性
US11594328B2 (en) Systems and methods for SeVa: senior's virtual assistant
JP7265313B2 (ja) 療養支援システム
CN111568445A (zh) 一种基于谵妄动态预测模型的谵妄风险监测方法及系统
Ktistakis et al. Applications of ai in healthcare and assistive technologies
Celani et al. Improving quality of life: home care for chronically ill and elderly people
KR102604559B1 (ko) 약물 부작용에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
US20220215932A1 (en) Server for providing psychological stability service, user device, and method of analyzing multimodal user experience data for the same
Abhishek et al. Internet of things enabled health monitoring system for smart cities
Kaushalya et al. Stress Level Prediction and Management Using Machine Learning Techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application