KR20200101479A - Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 - Google Patents
Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 Download PDFInfo
- Publication number
- KR20200101479A KR20200101479A KR1020190010330A KR20190010330A KR20200101479A KR 20200101479 A KR20200101479 A KR 20200101479A KR 1020190010330 A KR1020190010330 A KR 1020190010330A KR 20190010330 A KR20190010330 A KR 20190010330A KR 20200101479 A KR20200101479 A KR 20200101479A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- information
- conversation
- user
- voice
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008921 facial expression Effects 0.000 claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000010365 information processing Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 239000000779 smoke Substances 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 5
- 230000001939 inductive effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0484—Arrangements monitoring consumption of a utility or use of an appliance which consumes a utility to detect unsafe condition, e.g. metering of water, gas or electricity, use of taps, toilet flush, gas stove or electric kettle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Psychology (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Strategic Management (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Emergency Management (AREA)
- General Engineering & Computer Science (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 사용자의 음성을 획득하여 전기적 신호로 출력하는 마이크로폰; 사용자의 이미지를 획득하도록 하는 카메라; 오디오를 출력하도록 하는 스피커; 데이터나 콘텐츠를 외부로 디스플레이하도록 하는 디스플레이부; 외부 시스템이나 단말기와의 통신을 수행하도록 하는 통신모듈; 상기 마이크로폰으로부터 출력되는 신호로부터 음성을 인식하는 음성인식부; 상기 음성인식부로부터 인식되는 음성검색을 요구하는 대상에 대해서, 상기 통신모듈을 통해 정보제공시스템으로부터 검색하여 정보를 획득하고, 획득한 정보를 상기 스피커를 통해서 제공하는 정보검색부; 상기 정보검색부에 의해 검색된 정보를 정해진 방식에 따라 가공하여 상기 디스플레이부를 통해서 디스플레이되도록 하는 정보가공부; 상기 카메라로부터 획득되는 이미지로부터 사용자의 표정을 인식하고, 인식된 표정을 감정으로서 추출하는 표정인식부; 상기 표정인식부에 의해 추출된 감정에 따라, 상기 음성인식부에 의해 인식되는 음성을 통해 사용자와 대화를 수행하도록 하는 대화수행부; 상기 대화수행부에 의해 사용자와 대화를 수행하면서 정해진 질문에 대해 오답시 또는 무응답시, 상기 통신모듈을 통해 정해진 단말기나 시스템에 응급메시지를 전송하도록 하는 응급관리부; 및 상기 음성의 인식, 상기 정보의 검색, 상기 표정의 인식, 상기 대화의 수행 및 상기 질문에 필요한 데이터를 저장하는 메모리부;를 포함한다.
Description
본 발명은 홈 케어 관리 시스템에 관한 것으로서, 보다 상세하게는 대화형 인식뿐만 아니라, 나아가서, 표정 인식을 통해서 독거노인의 외적 상태는 물론 내적 상태를 정확하게 파악할 수 있도록 하고, 지속적인 대화를 통한 혼자가 아님을 인지하도록 유도함으로써, 독거노인에 대한 심리적인 안정을 제공하도록 하는 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에 관한 것이다.
일반적으로, 국민 복지에 대한 관심이 증가하면서, 독거노인 등의 안전 및 관리를 위하여 원격 보호 관찰 시스템이 개발되고 있는데, 이러한 원격 보호 관찰 시스템은 대부분 독거노인 댁내에 움직임 센서, 출입문 센서 등과 같은 각종 센서 등이 설치되고, 설치된 각종 센서 등을 통해 독거노인의 취침, 외출 등에 따라 이상 징후 여부를 판단하며, 판단 결과에 연계된 알림 서비스를 제공하는 것이다.
이러한 원격 보호 관찰 시스템은 독거노인 댁내에 각종 센서들을 설치해야만 모니터링을 할 수 있으므로, 각종 센서들의 연결 및 설치에 따른 어려움이 따른다는 단점이 있다.
이러한 단점을 해소하기 위한 종래 기술로서, 한국공개특허 제10-2015-0064289호의 "영상기반 홈 케어 모니터링 장치 및 방법"이 제시된 바 있는데, 이는 입력된 객체 영상을 토대로 객체 움직임을 감지하고, 감지된 정보를 전달하는 인식부; 및 기설정된 서비스에 따라 동작 모드를 판단하며, 판단된 동작 모드에 따라 상기 인식부로부터 전달된 감지 정보를 토대로 데이터를 출력하여 상기 기설정된 서비스를 제공하는 판단부를 포함하고, 상기 판단부는, 상기 인식부에 의해 전달된 감지 정보를 토대로 데이터를 송출하여 침입이나 화제의 예방, 사후조치에 활용될 수 있는 방범/방제 서비스를 제공하는 방범/방제 판단부; 상기 인식부에 의해 전달된 감지 정보를 토대로 데이터를 송출하여 원격지의 사용자에게 스마트폰 및 PC 중 적어도 하나를 통해 알람 서비스를 제공하거나, 모니터링을 할 수 있는 원격 감시 서비스를 제공하는 영상장치 제어부; 및 상기 인식부로부터 전달된 감지 정보를 토대로 데이터를 송출하여 육아 및 노인을 돌보는 케어 서비스를 제공하는 케어 판단부를 포함한다.
그러나, 이러한 종래 기술은 영상을 통해 감지하는 점에서 기존의 동작 센싱과 크게 차이가 없으며, 여전히 독거노인의 외적 상태는 물론 내적 상태를 정확하게 파악하지 못할 뿐만 아니라, 독거노인이 혼자가 아님을 인지하도록 유도하지 못하여 심리적으로 안정을 제공하지 못하는 문제점을 가지고 있었다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 대화형 인식뿐만 아니라, 나아가서, 표정 인식을 통해서 독거노인의 외적 상태는 물론 내적 상태를 정확하게 파악할 수 있도록 하고, 지속적인 대화를 통해 혼자가 아님을 인지하도록 유도함으로써, 독거노인에 대한 심리적인 안정을 제공하도록 하며, 음성 대화 내용을 근거로 독거노인의 상태 관련 모니터링 정보 확보와 함께 이의 활용 및 공유를 통한 독거노인 케어 서비스의 질을 높이도록 하는데 목적이 있다.
본 발명의 다른 목적들은 이하의 실시례에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 사용자의 음성을 획득하여 전기적 신호로 출력하는 마이크로폰; 사용자의 이미지를 획득하도록 하는 카메라; 오디오를 출력하도록 하는 스피커; 데이터나 콘텐츠를 외부로 디스플레이하도록 하는 디스플레이부; 외부 시스템이나 단말기와의 통신을 수행하도록 하는 통신모듈; 상기 마이크로폰으로부터 출력되는 신호로부터 음성을 인식하는 음성인식부; 상기 음성인식부로부터 인식되는 음성검색을 요구하는 대상에 대해서, 상기 통신모듈을 통해 정보제공시스템으로부터 검색하여 정보를 획득하는 정보검색부; 상기 정보검색부에 의해 검색된 정보를 정해진 방식에 따라 가공하여 상기 스피커 또는 상기 디스플레이부를 통해서 출력하도록 하는 정보가공부; 상기 카메라로부터 획득되는 이미지로부터 사용자의 표정을 인식하고, 인식된 표정을 감정으로서 추출하는 표정인식부; 상기 표정인식부에 의해 추출된 감정에 따라, 상기 음성인식부에 의해 인식되는 음성을 통해 사용자와 대화를 수행하도록 하는 대화수행부; 상기 대화수행부에 의해 사용자와 대화를 수행하면서 정해진 질문에 대해 오답시 또는 무응답시, 상기 통신모듈을 통해 정해진 단말기나 시스템에 응급메시지를 전송하도록 하는 응급관리부; 및 상기 음성의 인식, 상기 정보의 검색, 상기 표정의 인식, 상기 대화의 수행 및 상기 질문에 필요한 데이터를 저장하는 메모리부;를 포함하는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템이 제공된다.
실내 환경의 요소를 감지하여 IOT에 의해 감지신호로서 제공하는 감지부; 및 상기 감지부로부터 제공되는 감지신호에 따라 실내 환경을 파악하여, 상기 통신모듈을 통해 정해진 단말기나 시스템에 제공하도록 하는 주변환경측정부;를 더 포함할 수 있다.
상기 감지부는, 가스센서, 연기센서, 진동센서, 인체감지센서, 온도센서 및 습도센서 중에서 일부 또는 전부가 IOT 기반으로 이루어질 수 있다.
상기 음성의 인식, 상기 정보의 검색, 상기 표정의 인식, 상기 대화의 수행에 필요한 제어를 수행하고, 상기 조작부의 입력 정보나 상기 음성인식부에 의해 인식되는 음성으로부터 사용자에 대한 인적 정보 및 건강 정보를 상기 메모리부에 저장하여 등록하며, 상기 인적 정보 및 상기 건강 정보에 대한 변동 사항을 상기 메모리부에 업데이트하고, 상기 건강 정보로부터 미리 등록된 유의미한 정보와 매칭되는 정보에 대해서 상기 통신모듈을 통해 정해진 단말기나 시스템에 제공하며, 정해진 시간마다 상기 대화수행부에 의해 기상 상태 및 알림에 대해서 대화를 수행하도록 제어하는 마이컴을 더 포함할 수 있다.
상기 마이컴은, 사용자가 조작부의 조작에 의해 다수의 가족구성원 중 어느 하나를 선택하면, 선택된 가족구성원에 해당하는 역할로서 상기 기상상태 안내 및 상기 알림에 대해서 상기 대화수행부에 의해 대화를 수행하도록 제어하고, 정해진 시간 동안 상기 대화수행부에 의해 수행되는 사용자의 대화로부터 음절 길이에 대한 평균치를 산출하며, 평균치를 산출한 이후 사용자의 대화에서 음절 길이가 상기 평균치를 벗어나는 빈도가 설정된 범위 내인 경우, 사용자의 상태를 직접 통화를 통해서 확인하도록 요청하는 메시지를 정해진 단말기나 시스템에 제공할 수 있다.
본 발명에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에 의하면, 대화형 인식 뿐만 아니라, 나아가서, 표정 인식을 통해서 독거노인의 외적 상태는 물론 내적 상태를 정확하게 파악할 수 있도록 하고, 지속적인 대화를 통한 혼자가 아님을 인지하도록 유도함으로써, 독거노인에 대한 심리적인 안정을 제공할 수 있으며, 음성 대화 내용을 근거로 독거노인의 상태 관련 모니터링 정보 확보와 함께, 이의 활용 및 공유를 통한 독거노인 케어 서비스의 질을 높일 수 있다.
도 1은 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템을 도시한 사시도이다.
도 2는 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템을 도시한 구성도이다.
도 3은 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에서, IOT 및 음성인식 제어 및 로그 처리 프로세스를 나타낸 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에서, 음성인식 처리 프로세스를 나타낸 흐름도이다.
도 2는 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템을 도시한 구성도이다.
도 3은 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에서, IOT 및 음성인식 제어 및 로그 처리 프로세스를 나타낸 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에서, 음성인식 처리 프로세스를 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고, 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니고, 본 발명의 기술 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 식으로 이해되어야 하고, 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시례에 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 상세히 설명하며, 도면 부호에 관계없이 동일하거나 대응하는 구성요소에 대해서는 동일한 참조 번호를 부여하고, 이에 대해 중복되는 설명을 생략하기로 한다.
도 1은 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템을 도시한 사시도이고, 도 2는 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템을 도시한 구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템(100)은 마이크로폰(11), 카메라(12), 스피커(13), 디스플레이부(18), 통신모듈(14), 음성인식부(15), 정보검색부(16), 정보가공부(17), 표정인식부(19), 대화수행부(21), 응급관리부(22) 및 메모리부(23)를 포함할 수 있으며, 이들 구성은 전면에 미러디스플레이부(29)를 구비한 본체(28)에 설치될 수 있다. 여기서 미러디스플레이부(29)는 광투과성의 미러를 가진 디스플레이장치로서 동작하지 않은 상태에서 미러로서 역할을 하지만, 동작할 경우 디스플레이되는 내용을 전면에서 육안으로 볼 수 있도록 한다.
마이크로폰(11)은 사용자의 음성을 획득하여 전기적 신호로 출력하도록 하는데, 일례로 본체(28)에 외측을 향하여 오디오를 수집하도록 설치될 수 있다.
카메라(12)는 사용자의 이미지를 획득하도록 하는데, 일례로 본체(28)의 전면에 설치되어 전방을 촬영하도록 할 수 있다.
스피커(13)는 사용자와의 대화를 위한 음성을 비롯한 오디오를 출력하도록 하는데, 이를 위해 일례로 본체(28)에서 전면 또는 그 밖의 다양한 위치에 설치될 수 있다.
디스플레이부(18)는 데이터나 콘텐츠를 외부로 디스플레이하도록 하는데, 일례로 본체(28)의 전면에 마련되는 미러디스플레이부(29)로서 구현될 수 있다.
통신모듈(14)은 외부의 단말기(1)나 외부의 시스템(2,3,4)과의 통신을 수행하도록 하는데, 예컨대 문자 메시지 전송이나 데이터 통신 등을 수행할 수 있도록 하고, Wi-Fi, 3G, 4G, 5G를 비롯하여, 다양한 방식의 통신을 수행하도록 할 수 있다.
음성인식부(15)는 마이크로폰(11)으로부터 출력되는 신호로부터 음성을 인식하도록 한다. 음성인식부(15)는 다양한 방식의 음성 인식 방법이 사용될 수 있고, 일례로, 마이크로폰(11)에 의해 음성을 입력받아 음가마다 고유한 특성을 추출하여, 발성문법과 음향모델에 의해 디코딩을 수행할 수 있고, 디코딩된 데이터로부터 언어적인 특성과 발성 시점의 명확성을 고려하여 후처리를 수행한 인식 결과를 출력할 수 있다.
정보검색부(16)는 음성인식부(15)로부터 인식되는 음성검색을 요구하는 대상에 대해서, 통신모듈(14)을 통해 정보제공시스템(2)으로부터 검색하여 정보를 획득하도록 한다. 여기서, 음성검색을 요구하는 대상이란, 예컨대 사용자가 "오늘 날씨를 알려줘"라고 했을 때, 다양한 구문 및 단어 데이터와의 매칭에 의해 목적어와 명령어를 판별 및 추출하고, 목적어에 대해서 명령어를 수행함에 따라 오늘 날씨에 대한 데이터를 웹검색으로 획득하도록 한다.
정보가공부(17)는 정보검색부(16)에 의해 검색된 정보를 정해진 방식에 따라 가공하여 스피커(13) 또는 디스플레이부(18)를 통해서 출력하도록 한다. 정보가공부(17)는 스피커(13)를 통해서 정보를 출력시, 문자음성 자동변환(TTS) 기술을 사용할 수 있다.
표정인식부(19)는 카메라(12)로부터 획득되는 이미지로부터 사용자의 표정을 인식하고, 인식된 표정을 감정으로서 추출하도록 할 수 있다. 표정인식부(19)는 예컨대 영상처리장치로서, 얼굴의 형태에 따른 감정을 분석하기 위하여, 여러 가지 영상 처리 기법이 사용될 수 있고, 일례로 카메라(12)를 통해 획득된 영상에 포함된 복수의 대상 중 객체의 얼굴을 인식하여, 대응되는 정보를 수집한 다음, 이렇게 획득된 얼굴의 표정 변화를 인식하기 위해, 얼굴에 포함된 소정의 요소, 즉 얼굴에서 감정이 표현되는 특정부위의 변화에 대한 요소를 추출하고, 이렇게 획득된 요소를 이용하여 사용자의 감정을 최종적으로 결정하여 이를 데이터로서 출력할 수 있다. 한편 표정인식부(19)는 얼굴의 표정을 감정과의 매칭을 위해 다양한 공지된 기술이 적용될 수 있음은 물론이다.
대화수행부(21)는 표정인식부(19)에 의해 인식된 감정에 따라, 음성인식부(15)에 의해 인식되는 음성을 통해 사용자와 대화를 수행하도록 한다. 대화수행부(21)는 메모리부(23)에 저장된 다양한 감정에 따라 긍정적으로 기분을 전환시키거나, 긍정적인 기분을 유지하도록 하는 다양한 대화 패턴 중에서 인식된 감정에 해당하는 패턴의 대화를 수행하되, 사용자의 대화 내용에 따른 다양한 경우를 고려한 대화를 나눔으로써, 연속적인 대화를 수행할 수 있다. 이러한 대화수행부(21)는 사용자의 감정과는 무관하게, 정보검색부(16)에 의해 검색된 내용이나, 랜덤한 임의의 대화를 수행할 수도 있는데, 이를 위해 검색 내용별로 또는 특정 화제별로 미리 저장된 대화 패턴을 이용할 수 있다. 여기서, 화재는 일기, 기사, 취미, 상식 등으로 정해질 수 있다.
응급관리부(22)는 대화수행부(21)에 의해 사용자와 대화를 수행하면서 정해진 질문에 대해 오답시 또는 무응답시, 통신모듈(14)을 통해 정해진 단말기나 시스템에 응급메시지를 전송하도록 한다. 여기서 정해진 질문은 현재 사용자의 상태를 판별하는데 도움이 되는 본인에 대한 정보나 간단한 산수나 상식 문제 또는 그 밖에 노인의 상태를 파악하기에 적합한 다양한 내용이 해당될 수 있다. 또한 이러한 질문에 제대로 대답하지 못하는 경우, 즉 오답이나 무응답시, 사용자인 노인의 상태가 현저하게 좋지 않은 것으로 판단하여, 미린 정해진 응급 관리자의 단말기(1)나 응급기관시스템(3)에 이러한 사실을 메시지로서 제공할 수 있다.
메모리부(23)는 음성의 인식, 정보의 검색, 표정의 인식, 대화의 수행 및 질문 등에 필요한 데이터를 저장하고, 이 밖에도 동작에 필요한 각종 데이터 및 프로그램 등을 저장할 수 있으며, 나아가서, 사용자에 대한 각종 정보를 저장할 수 있다.
본 발명의 일 실시례에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템(10)은 감지부(24)와 주변환경측정부(25), 그리고 마이컴(26)을 더 포함할 수 있다.
감지부(24)는 실내 환경의 요소를 감지하여 IOT에 의해 감지신호로서 제공하도록 한다. 여기서, 감지부(24)는 가스센서, 연기센서, 진동센서, 인체감지센서, 온도센서 및 습도센서 중에서 일부 또는 전부가 IOT 기반으로 이루어질 수 있고, 본체(28)에 내장되거나, 본체(28)에 노출 내지 돌출되도록 설치될 수 있다.
주변환경측정부(25)는 감지부(24)로부터 제공되는 감지신호에 따라 실내 환경을 파악하여, 통신모듈(14)을 통해 정해진 단말기나 시스템에 제공하도록 한다. 여기서, 단말기나 시스템은 사용자 주변의 환경 관측을 통해 사용자의 환경을 관리하는 관리자의 단말기(1)나 관리시스템(4) 등이 해당될 수 있다.
마이컴(26)은 음성의 인식, 정보의 검색, 표정의 인식, 대화의 수행에 필요한 제어를 수행하고, 조작부(27)의 입력 정보나 스피커(13)를 통해 입력되어 음성인식부(15)에 의해 인식되는 음성으로부터 사용자에 대한 인적 정보 및 건강 정보를 메모리부(23)에 저장하여 등록하며, 인적 정보 및 건강 정보에 대한 변동 사항을 메모리부(23)에 업데이트하고, 건강 정보로부터 미리 등록된 유의미한 정보와 매칭되는 정보에 대해서 통신모듈(14)을 통해 정해진 단말기나 시스템에 제공하며, 정해진 시간마다 대화수행부(21)에 의해 기상 상태 및 알림에 대해서 대화를 수행하도록 제어할 수 있다. 여기서 유의미한 정보란, 사용자가 조작부(27)의 조작이나 음성으로 입력하는 내용 중에서, 특정 질환이나 질병으로 인하여 검진을 필요로 하는 증상을 나타내는 정보일 수 있다. 또한, 단말기나 시스템은 사용자의 건강에 대해서 관리나 응급 조치가 필요한 관리자의 단말기(1)나 응급기관시스템(3) 또는 관리시스템(4)이 해당될 수 있다.
마이컴(26)은 사용자가 조작부(27)의 조작에 의해 다수의 가족구성원 중 어느 하나를 선택하면, 선택된 가족구성원에 해당하는 역할로서 기상상태 안내 및 알림에 대해서 대화수행부(21)에 의해 대화를 수행하도록 제어할 수 있다. 예컨대, 사용자가 조작부(27)의 조작에 의해 "딸"을 선택하는 경우, 마이컴(26)은 사용자를 "엄마"로서 가정한 대화를 수행하도록 대화수행부(21)를 제어할 수 있다. 대화수행부(21)는 설정된 관계에 해당하는 대화패턴을 메모리부(23)로부터 선택하여 해당 역할에 적합한 대화를 수행하도록 한다.
마이컴(26)은 정해진 시간 동안 대화수행부(21)에 의해 수행되는 사용자의 대화로부터 음절 길이에 대한 평균치를 산출하며, 평균치를 산출한 이후 사용자의 대화에서 음절 길이가 평균치를 벗어나는 빈도가 설정된 범위 내인 경우, 사용자의 상태를 직접 통화를 통해서 확인하도록 요청하는 메시지를 정해진 단말기나 시스템에 제공할 수 있다. 여기서 정해진 시간은 사용자가 정상적인 상태일 것으로 확인이 가능한 시간으로서, 사용자에 대한 모니터링 기간에 따라 다양하게 정해질 수 있는데, 가능한 음절 길이의 평균치에 대한 신뢰도 및 모니터링으로 인한 불편을 최소화하기 위하여, 대화 시간이 1 ~ 3 시간 정도임이 바람직하다. 또한, 음절 길이가 평균치를 벗어나는 빈도는 모든 대화에서 50~100%로 설정될 수 있는데, 이는 사용자의 상태가 좋지 않아 대화시 다급함에 의해 음절 길이가 현저하게 짧아지거나, 대화 수행의 어려움으로 인해 음절 길이가 과도하게 길어지는 경우를 고려하여 정해질 수 있다. 따라서, 이러한 경우는 관리자의 단말기(1)나 응급기관시스템(3)이나 관리시스템(4)에 사용자의 통화를 요청하는 메시지를 제공함으로써, 이들이 사용자와의 통화를 통해 사용자의 현재 상태를 판단하여 적절한 조치를 취할 수 있도록 할 수 있다.
도 3을 참조하면, 음성인식 홈케어를 수행하면(S11), 음성인식부(15)는 메모리부(23)의 음성 인식 정보를 통해서 사용자의 음성 인식 정보를 해석하여(S12), 음성 인식을 분석한 다음(S13), 디스플레이부(18)에 모니터링 화면으로서 디스플레이하고(S14), 마이컴(26)에 의해 돌봄 이력으로서 관리를 수행하도록 하며(S15), 관리 이력 분석(S16) 및 관리 이력 분석 내역(S17)으로서 메모리부(23)에 저장한다. 그리고, 사용자가 조작부(27), 예컨대 키보드를 이용한 대화의 수행(S18)과 음성 인식에 의한 음성대화를 요청하면(S19), 음성인식부(15)에 의해 홈 케어를 위한 음성 인식(S20)과 함께 음성 인식 정보를 전달하고(S21), 이를 통해 음성 인식 분석(S22)을 수행하게 된다.
도 4를 참조하면, 음성 인식 프로세스를 알아보면, 음성인식부(15)에 의해 음성 인식을 수행하게 되면(S31), 음성 인식 정보를 수행하고(S32), 응답 조건을 구분한 다음(S33), 정보검색부(16)에 의해 이러한 구분에 의한 정보를 검색하도록 하고(S34), 검색된 정보를 정보가공부(17)에 의해 가공하여, 디스플레이부(18)를 통해 디스플레이되도록 하거나(S35), 스피커(13)를 통해서 음성으로 출력하도록 하고(S36), 이러한 과정들을 디스플레이부(18)를 통해 디스플레이되도록 한다(S37). 한편, 음성 인식 정보를 인식한 후(S32), 이러한 음성 정보를 암호화모듈에 의해 암호화한 후(S38), 음성 정보를 외부 기기에 전송하여(S39), 이를 외부 기기에서 수신 후(S40), 음성 정보의 복호화 과정(S41,S42)과 음성 정보 로그 저장(S43)을 거쳐서 음성 정보를 디스플레이하도록 한다(S44).
도 5를 참조하면, 모니터링 조건 및 기본 정보 관리가 수행되면(S51), 음성 인식 로그를 분석하고(S52), 사용자의 지도 모니터링 표시(S53) 및 1:1 대화가 가능해진다(S54). 그런 다음, 음성정보 암호화모듈에 의해 음성 정보 암호화를 수행하여(S55), 전송하면(S56), 이를 마이컴(26)이 음성 정보 수신(S57)과 함께, 음성정보 복호화 모듈에 의해 음성 정보 복호화(S58,S59)를 수행하고, 응답 조건을 구분하며(S60,61), 해당 정보를 디스플레이하고(S62), 음성으로 출력한 다음(S63), 이에 대한 과정을 디스플레이부(18)를 통해서 디스플레이한다(S64). 한편, 사용자에 대한 돌봄 이력 관리(S65), 로그 및 관리 이력 분석(S66) 및 로그 분석 정보 모니터링(S67)을 수행하게 된다.
이와 같은 본 발명에 따른 IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템에 따르면, 대화형 인식 뿐만 아니라, 나아가서, 표정 인식을 통해서 독거노인의 외적 상태는 물론 내적 상태를 정확하게 파악할 수 있도록 한다.
또한 본 발명에 따르면, 지속적인 대화를 통한 혼자가 아님을 인지하도록 유도함으로써, 독거노인에 대한 심리적인 안정을 제공할 수 있으며, 음성 대화 내용을 근거로 독거노인의 상태 관련 모니터링 정보 확보와 함께, 이의 활용 및 공유를 통한 독거노인의 케어 서비스의 질을 높일 수 있다.
이와 같이 본 발명에 대해서 첨부된 도면을 참조하여 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시례에 한정되어서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1 : 단말기 2 : 정보제공시스템
3 : 응급기관시스템 4 : 관리시스템
11 : 마이크로폰 12 : 카메라
13 : 스피커 14 : 통신모듈
15 : 음성인식부 16 : 정보검색부
17 : 정보가공부 18 : 디스플레이부
19 : 표정인식부 21 : 대화수행부
22 : 응급관리부 23 : 메모리부
24 : 감지부 25 : 주변환경측정부
26 : 마이컴 27 : 조작부
28 : 본체 29 : 미러디스플레이부
3 : 응급기관시스템 4 : 관리시스템
11 : 마이크로폰 12 : 카메라
13 : 스피커 14 : 통신모듈
15 : 음성인식부 16 : 정보검색부
17 : 정보가공부 18 : 디스플레이부
19 : 표정인식부 21 : 대화수행부
22 : 응급관리부 23 : 메모리부
24 : 감지부 25 : 주변환경측정부
26 : 마이컴 27 : 조작부
28 : 본체 29 : 미러디스플레이부
Claims (5)
- 사용자의 음성을 획득하여 전기적 신호로 출력하는 마이크로폰;
사용자의 이미지를 획득하도록 하는 카메라;
오디오를 출력하도록 하는 스피커;
데이터나 콘텐츠를 외부로 디스플레이하도록 하는 디스플레이부;
외부 시스템이나 단말기와의 통신을 수행하도록 하는 통신모듈;
상기 마이크로폰으로부터 출력되는 신호로부터 음성을 인식하는 음성인식부;
상기 음성인식부로부터 인식되는 음성검색을 요구하는 대상에 대해서, 상기 통신모듈을 통해 정보제공시스템으로부터 검색하여 정보를 획득하는 정보검색부;
상기 정보검색부에 의해 검색된 정보를 정해진 방식에 따라 가공하여 상기 스피커 또는 상기 디스플레이부를 통해서 출력하도록 하는 정보가공부;
상기 카메라로부터 획득되는 이미지로부터 사용자의 표정을 인식하고, 인식된 표정을 감정으로서 추출하는 표정인식부;
상기 표정인식부에 의해 추출된 감정에 따라, 상기 음성인식부에 의해 인식되는 음성을 통해 사용자와 대화를 수행하도록 하는 대화수행부;
상기 대화수행부에 의해 사용자와 대화를 수행하면서 정해진 질문에 대해 오답시 또는 무응답시, 상기 통신모듈을 통해 정해진 단말기나 시스템에 응급메시지를 전송하도록 하는 응급관리부; 및
상기 음성의 인식, 상기 정보의 검색, 상기 표정의 인식, 상기 대화의 수행 및 상기 질문에 필요한 데이터를 저장하는 메모리부;
를 포함하는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템. - 청구항 1에 있어서,
실내 환경의 요소를 감지하여 IOT에 의해 감지신호로서 제공하는 감지부; 및
상기 감지부로부터 제공되는 감지신호에 따라 실내 환경을 파악하여, 상기 통신모듈을 통해 정해진 단말기나 시스템에 제공하도록 하는 주변환경측정부;
를 더 포함하는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템. - 청구항 2에 있어서,
상기 감지부는,
가스센서, 연기센서, 진동센서, 인체감지센서, 온도센서 및 습도센서 중에서 일부 또는 전부가 IOT 기반으로 이루어지는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템. - 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 음성의 인식, 상기 정보의 검색, 상기 표정의 인식, 상기 대화의 수행에 필요한 제어를 수행하고, 상기 조작부의 입력 정보나 상기 음성인식부에 의해 인식되는 음성으로부터 사용자에 대한 인적 정보 및 건강 정보를 상기 메모리부에 저장하여 등록하며, 상기 인적 정보 및 상기 건강 정보에 대한 변동 사항을 상기 메모리부에 업데이트하고, 상기 건강 정보로부터 미리 등록된 유의미한 정보와 매칭되는 정보에 대해서 상기 통신모듈을 통해 정해진 단말기나 시스템에 제공하며, 정해진 시간마다 상기 대화수행부에 의해 기상 상태 및 알림에 대해서 대화를 수행하도록 제어하는 마이컴을 더 포함하는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템. - 청구항 4에 있어서,
상기 마이컴은,
사용자가 조작부의 조작에 의해 다수의 가족구성원 중 어느 하나를 선택하면, 선택된 가족구성원에 해당하는 역할로서 상기 기상상태 안내 및 상기 알림에 대해서 상기 대화수행부에 의해 대화를 수행하도록 제어하고, 정해진 시간 동안 상기 대화수행부에 의해 수행되는 사용자의 대화로부터 음절 길이에 대한 평균치를 산출하며, 평균치를 산출한 이후 사용자의 대화에서 음절 길이가 상기 평균치를 벗어나는 빈도가 설정된 범위 내인 경우, 사용자의 상태를 직접 통화를 통해서 확인하도록 요청하는 메시지를 정해진 단말기나 시스템에 제공하는, IOT 및 음성인식 기능을 활용한 홈 케어 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190010330A KR20200101479A (ko) | 2019-01-28 | 2019-01-28 | Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190010330A KR20200101479A (ko) | 2019-01-28 | 2019-01-28 | Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200101479A true KR20200101479A (ko) | 2020-08-28 |
Family
ID=72265953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190010330A KR20200101479A (ko) | 2019-01-28 | 2019-01-28 | Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200101479A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017403A (zh) * | 2020-09-15 | 2020-12-01 | 青岛联合创智科技有限公司 | 一种社区-居家一体化的智能服务电子牌 |
| CN117135266A (zh) * | 2023-10-25 | 2023-11-28 | Tcl通讯科技（成都）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN117226866A (zh) * | 2023-09-19 | 2023-12-15 | 重庆宗灿科技发展有限公司 | 一种智能养老陪护机器人 |
-
2019
- 2019-01-28 KR KR1020190010330A patent/KR20200101479A/ko not_active Application Discontinuation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017403A (zh) * | 2020-09-15 | 2020-12-01 | 青岛联合创智科技有限公司 | 一种社区-居家一体化的智能服务电子牌 |
| CN117226866A (zh) * | 2023-09-19 | 2023-12-15 | 重庆宗灿科技发展有限公司 | 一种智能养老陪护机器人 |
| CN117135266A (zh) * | 2023-10-25 | 2023-11-28 | Tcl通讯科技（成都）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN117135266B (zh) * | 2023-10-25 | 2024-03-22 | Tcl通讯科技（成都）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3583485B1 (en) | Computationally-efficient human-identifying smart assistant computer | |
| US10832672B2 (en) | Smart speaker system with cognitive sound analysis and response | |
| KR101998881B1 (ko) | 노인 치매 예방 및 안전 관리 시스템 | |
| JP4627152B2 (ja) | 危機監視システム | |
| KR102202262B1 (ko) | 치매 증상 인지 및 치매 환자 관리 서비스 제공 장치 및 방법 | |
| KR20200101479A (ko) | Ｉｏｔ 및 음성인식 기능을 활용한 홈 케어 관리 시스템 | |
| KR20190096618A (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
| US20150194034A1 (en) | Systems and methods for detecting and/or responding to incapacitated person using video motion analytics | |
| CN110719553B (zh) | 具有认知声音分析和响应的智能扬声器系统 | |
| KR20190024254A (ko) | 도어벨 장치 | |
| JP4631464B2 (ja) | 体調判定装置およびそのプログラム | |
| KR102488741B1 (ko) | 현장 상황 식별성이 향상된 비상벨 시스템 | |
| KR20210001170A (ko) | IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템 | |
| CN110689896A (zh) | 追溯性声音识别系统 | |
| CN112262432A (zh) | 语音处理装置、语音处理方法以及记录介质 | |
| US20210224828A1 (en) | Real-time dynamic monitoring of sentiment trends and mitigation of the same in a live setting | |
| US20220060473A1 (en) | Security system | |
| JP2018147452A (ja) | ドアシステム、およびドアシステムを用いた監視方法 | |
| US11978124B1 (en) | Method and system for automatically detecting use of an alarm system | |
| KR20200047083A (ko) | 음성인식을 통한 노약자 위급 상황 관리시스템 | |
| US20210375278A1 (en) | System and method for providing a health care related service | |
| US20230228832A1 (en) | Digital Monitoring Badge System | |
| KR101893945B1 (ko) | 생체 및 음성정보를 이용한 안전관리 시스템 | |
| US20190371146A1 (en) | Burglary deterrent solution | |
| CN112464080A (zh) | 监护内容的制定方法和装置、智能安全陪护系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |