KR20130107690A - 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 - Google Patents
일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 Download PDFInfo
- Publication number
- KR20130107690A KR20130107690A KR1020120029662A KR20120029662A KR20130107690A KR 20130107690 A KR20130107690 A KR 20130107690A KR 1020120029662 A KR1020120029662 A KR 1020120029662A KR 20120029662 A KR20120029662 A KR 20120029662A KR 20130107690 A KR20130107690 A KR 20130107690A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- behavior
- data
- health information
- behavior pattern
- Prior art date
Links
- 230000036541 health Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012986 modification Methods 0.000 claims abstract description 20
- 230000004048 modification Effects 0.000 claims abstract description 20
- 230000002354 daily effect Effects 0.000 claims description 110
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000012790 confirmation Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 20
- 230000036760 body temperature Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000001931 thermography Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000003203 everyday effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 claims 24
- 230000003542 behavioural effect Effects 0.000 claims 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 365
- 238000010586 diagram Methods 0.000 description 26
- 238000003287 bathing Methods 0.000 description 7
- 235000019577 caloric intake Nutrition 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 7
- 230000009194 climbing Effects 0.000 description 6
- 238000010409 ironing Methods 0.000 description 6
- 238000005406 washing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004851 dishwashing Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Nutrition Science (AREA)
- Bioethics (AREA)
- Accounting & Taxation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Telephonic Communication Services (AREA)
Abstract
일상 건강 정보 제공 시스템은 일상 건강 정보 측정 장치, 이동 단말기들 및 클라우드 서버를 포함한다. 일상 건강 정보 측정 장치는 복수의 사용자들이 생활하는 공간에 설치되고, 복수의 사용자들의 일상 행동을 모니터링하여 영상 데이터 및 소리 데이터를 생성하고, 영상 데이터 및 소리 데이터를 분석하여 복수의 사용자들 각각의 사용자 ID, 복수의 사용자들 각각의 동작에 상응하는 행동 패턴, 행동 패턴에 상응하는 동작의 시작 시각 및 종료 시각을 포함하는 행동 데이터를 생성하여 전송한다. 이동 단말기들은 복수의 사용자들이 소지하고 각각이 상응하는 사용자의 사용자 ID를 저장한다. 클라우드 서버는 일상 건강 정보 측정 장치로부터 수신되는 행동 데이터를 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 전송하고, 이동 단말기로부터 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하며, 조회 사용자 ID 및 조회 기간을 수신하고 행동 데이터 및 수정 행동 데이터에 기초하여 조회 사용자 ID에 상응하는 조회 사용자가 조회 기간 동안 소모한 총 칼로리양을 계산하여 출력한다. 일상 건강 정보 제공 시스템은 복수의 사용자들의 일상 행동에 따른 칼로리 소모량을 효과적으로 측정하여 제공할 수 있다.
Description
본 발명은 사용자들의 건강 정보를 측정하여 제공하는 시스템에 관한 것으로, 보다 상세하게는 사용자들의 일상생활을 모니터링하여 상기 사용자들의 건강 정보를 효과적으로 측정 및 제공할 수 있는 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법에 관한 것이다.
개인의 생활방식을 기록하는 것은 개인에 대한 최적의 건강관리에 필수적이다. 이것은 당뇨, 신장, 심장 질환 등 만성질환을 가진 사람들에게는 더욱 중요하다. 개인의 건강 정보가 일정 시간 쌓이면 개인의 현 건강 상태를 효율적으로 파악할 수 있다. 특히, 개인의 건강 상태가 호전되는지 악화되는지를 알 수 있고, 현재의 건강 습관을 지속할 것인지 새로운 조치를 취해야 할 것인지 등 가장 적절한 방안을 택할 수 있게 한다.
이를 위해, 종래에는 매일의 활동량 등과 같은 건강 정보를 측정할 수 있는 착용 가능한 센서 기기들이 사용되었다.
그러나 이러한 종류의 센서 기기들은 사용자가 항상 착용하고 있어야만 건강 정보를 측정할 수 있고, 샤워를 하는 등의 특정 상황에서는 상기 센서 기기를 착용할 수 없게 되며, 주기적으로 배터리를 충전해야 하는 문제점이 있다.
이에 따라, 본 발명의 일 목적은 사용자의 신체에 부착되는 센서를 사용하지 않고 사용자의 일상 행동에 따른 건강 정보를 효과적으로 측정하여 제공할 수 있는 일상 건강 정보 제공 시스템을 제공하는데 있다.
본 발명의 다른 목적은 사용자의 신체에 부착되는 센서를 사용하지 않고 사용자의 일상 행동에 따른 건강 정보를 효과적으로 측정하여 제공할 수 있는 일상 건강 정보 제공 방법을 제공하는데 있다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 일상 건강 정보 제공 시스템은 일상 건강 정보 측정 장치, 이동 단말기들 및 클라우드 서버를 포함한다. 상기 일상 건강 정보 측정 장치는 복수의 사용자들이 생활하는 공간에 설치되고, 상기 복수의 사용자들의 일상 행동을 모니터링하여 영상 데이터 및 소리 데이터를 생성하고, 상기 영상 데이터 및 상기 소리 데이터를 분석하여 상기 복수의 사용자들 각각의 사용자 ID, 상기 복수의 사용자들 각각의 동작에 상응하는 행동 패턴, 상기 행동 패턴에 상응하는 동작의 시작 시각 및 종료 시각을 포함하는 행동 데이터를 생성하여 전송한다. 상기 이동 단말기들은 상기 복수의 사용자들이 소지하고 각각이 상응하는 사용자의 사용자 ID를 저장한다. 상기 클라우드 서버는 상기 일상 건강 정보 측정 장치로부터 수신되는 상기 행동 데이터를 상기 행동 데이터에 포함되는 상기 사용자 ID에 상응하는 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하며, 조회 사용자 ID 및 조회 기간을 수신하고 상기 행동 데이터 및 상기 수정 행동 데이터에 기초하여 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 출력한다.
일 실시예에 있어서, 상기 클라우드 서버는, 제1 건강 정보 데이터베이스 및 제2 건강 정보 데이터베이스, 상기 일상 건강 정보 측정 장치로부터 상기 행동 데이터를 수신하여 상기 행동 데이터를 상기 제1 건강 정보 데이터베이스에 저장하는 수신부, 상기 제1 건강 정보 데이터베이스에 저장된 상기 행동 데이터를 독출하고, 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 상기 행동 데이터를 전송하고, 상기 이동 단말기로부터 상기 승인 신호를 수신하는 경우 상기 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하고, 상기 이동 단말기로부터 상기 수정 행동 데이터를 수신하는 경우 상기 수정 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하는 확인부, 및 상기 조회 사용자 ID 및 상기 조회 기간을 수신하여 상기 제2 건강 정보 데이터베이스로부터 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 상기 조회 사용자의 행동 패턴들 및 상기 행동 패턴들의 지속 시간들을 검색하고, 상기 검색된 행동 패턴들 및 지속 시간들에 기초하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 출력하는 조회부를 포함할 수 있다.
상기 확인부는 상기 이동 단말기로부터 사용자 ID를 포함하는 데이터 요청 신호를 수신하는 경우 상기 제1 건강 정보 데이터베이스로부터 상기 데이터 요청 신호에 포함되는 사용자 ID를 포함하는 행동 데이터들을 독출하여 상기 이동 단말기에 전송할 수 있다.
상기 확인부는 주기적으로 상기 제1 건강 정보 데이터베이스에 저장된 행동 데이터들을 독출하고 상기 독출된 행동 데이터들 각각에 포함되는 사용자 ID에 상응하는 이동 단말기에 상기 독출된 행동 데이터들을 전송할 수 있다.
상기 이동 단말기들 각각은 상기 확인부로부터 상기 행동 데이터를 수신하는 경우 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 디스플레이하고, 사용자의 승인 명령에 응답하여 상기 승인 신호를 상기 확인부에 제공하고, 사용자의 수정 명령에 응답하여 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각 중의 적어도 하나를 수정하여 상기 수정 행동 데이터를 생성하여 상기 확인부에 제공할 수 있다.
상기 이동 단말기들 각각은 상기 확인부로부터 상기 행동 데이터를 수신하는 경우 캐릭터로 형상화된 아바타(avatar)를 표시하고 상기 아바타를 통해 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 음성으로 출력하고, 상기 아바타와 대화를 수행하는 사용자의 음성을 분석하여 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각에 대한 상기 승인 명령 및 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각 중의 적어도 하나에 대한 상기 수정 명령을 중의 하나를 생성할 수 있다.
상기 조회부는, 복수의 행동 패턴들 각각에 대한 단위 시간당 소모 칼로리양을 저장하는 칼로리 데이터베이스, 외부 장치로부터 상기 조회 사용자 ID 및 상기 조회 기간을 수신하여 상기 제2 건강 정보 데이터베이스로부터 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 상기 조회 사용자의 행동 패턴들 및 상기 행동 패턴들의 시작 시각과 종료 시각을 검색하고, 상기 검색된 시작 시각 및 종료 시각을 사용하여 상기 행동 패턴들의 지속 시간들을 생성하여 상기 행동 패턴들 및 상기 지속 시간들을 출력하는 검색 회로, 및 상기 검색된 행동 패턴들, 상기 지속 시간들 및 상기 칼로리 데이터베이스로부터 독출되는 상기 검색된 행동 패턴들 각각에 대한 단위 시간당 소모 칼로리양을 사용하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 상기 외부 장치에 제공하는 계산 회로를 포함할 수 있다.
일 실시예에 있어서, 상기 이동 단말기들 각각은 상기 조회 사용자 ID 및 상기 조회 기간을 상기 일상 건강 정보 측정 장치에 제공하고 상기 일상 건강 정보 측정 장치로부터 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 수신할 수 있다.
일 실시예에 있어서, 의료 기관 서버는 상기 조회 사용자 ID 및 상기 조회 기간을 상기 일상 건강 정보 측정 장치에 제공하고 상기 일상 건강 정보 측정 장치로부터 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 수신할 수 있다.
일 실시예에 있어서, 상기 일상 건강 정보 측정 장치는, 상기 복수의 사용자들이 생활하는 공간에 분산되어 설치되고 각각이 상기 영상 데이터를 제공하는 복수의 카메라들, 상기 복수의 카메라들과 인접하여 설치되고 각각이 상기 소리 데이터를 제공하는 복수의 마이크로폰들, 서로 인접하여 설치되는 카메라 및 마이크로폰으로부터 각각 수신되는 상기 영상 데이터 및 상기 소리 데이터에 기초하여 상기 복수의 사용자들을 식별하여 상기 사용자 ID를 생성하고, 상기 식별된 사용자의 동작을 분석하여 상기 행동 패턴을 생성하고, 상기 행동 패턴에 상응하는 동작의 시작 시각 및 종료 시각을 생성하는 분석부, 및 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 생성하여 상기 클라우드 서버에 전송하는 통신부를 포함할 수 있다.
상기 분석부는, 상기 영상 데이터를 분석하여 상기 복수의 사용자들을 식별하여 제1 사용자 ID 및 제1 사용자 매칭율을 생성하고 상기 식별된 사용자의 동작을 분석하여 제1 행동 패턴 및 제1 행동 패턴 매칭율을 생성하는 영상 데이터 분석부, 상기 소리 데이터를 분석하여 상기 복수의 사용자들을 식별하여 제2 사용자 ID 및 제2 사용자 매칭율을 생성하고 상기 식별된 사용자의 행동을 유추하여 제2 행동 패턴 및 제2 행동 패턴 매칭율을 생성하는 소리 데이터 분석부, 및 상기 제1 사용자 매칭율 및 상기 제2 사용자 매칭율에 기초하여 상기 제1 사용자 ID 및 상기 제2 사용자 ID 중의 하나를 선택하여 상기 사용자 ID를 생성하고, 상기 제1 행동 패턴 매칭율 및 상기 제2 행동 패턴 매칭율에 기초하여 상기 제1 행동 패턴 및 상기 제2 행동 패턴 중의 하나를 선택하여 상기 행동 패턴을 생성하고, 상기 사용자 ID에 대해 상기 행동 패턴이 최초로 생성된 상기 시작 시각 및 상기 행동 패턴이 상이한 패턴으로 변경되는 상기 종료 시각을 생성하는 판단부를 포함할 수 있다.
상기 영상 데이터 분석부는, 상기 복수의 사용자들 각각의 신체 이미지를 저장하는 제1 사용자 데이터베이스, 상기 영상 데이터에 포함되는 신체의 이미지를 상기 제1 사용자 데이터베이스에 저장된 상기 복수의 사용자들의 신체 이미지와 비교하여 가장 매칭율이 높은 신체 이미지에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 상기 제1 사용자 ID 및 상기 제1 사용자 매칭율로서 출력하는 제1 사용자 식별 회로, 복수의 행동 패턴들 각각에 상응하는 기준 영상을 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 영상 데이터베이스, 및 상기 영상 데이터에 포함되는 신체의 동작을 상기 기준 영상 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 영상들과 비교하여 가장 매칭율이 높은 기준 영상에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 상기 제1 행동 패턴 및 상기 제1 행동 패턴 매칭율로서 출력하는 제1 행동 패턴 분석 회로를 포함할 수 있다.
상기 소리 데이터 분석부는, 상기 소리 데이터를 사람의 음성 데이터 및 배경 소리 데이터로 분리하는 소리 분리 회로, 상기 복수의 사용자들 각각의 음성 샘플을 저장하는 제2 사용자 데이터베이스, 상기 음성 데이터를 상기 제2 사용자 데이터베이스에 저장된 상기 복수의 사용자들의 음성 샘플과 비교하여 가장 매칭율이 높은 음성 샘플에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 상기 제2 사용자 ID 및 상기 제2 사용자 매칭율로서 출력하는 제2 사용자 식별 회로, 복수의 행동 패턴들 각각에 상응하는 기준 배경 소리를 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 소리 데이터베이스, 및 상기 배경 소리 데이터를 상기 기준 소리 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 배경 소리들과 비교하여 가장 매칭율이 높은 기준 배경 소리에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 상기 제2 행동 패턴 및 상기 제2 행동 패턴 매칭율로서 출력하는 제2 행동 패턴 분석 회로를 포함할 수 있다.
상기 소리 데이터 분석부는, 복수의 행동 패턴들 각각과 관련되는 기준 단어들에 대한 음성 샘플들을 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 단어 데이터베이스, 및 상기 음성 데이터를 상기 기준 단어 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각과 관련되는 기준 단어들에 대한 음성 샘플들과 비교하여 매칭되는 기준 단어들과 가장 많이 관련되는 행동 패턴을 제3 행동 패턴으로서 출력하고, 상기 제3 행동 패턴과 연관되는 전체 기준 단어들 중에서 매칭되는 단어들이 차지하는 비율을 제3 행동 패턴 매칭율로서 출력하는 제3 행동 패턴 분석 회로를 더 포함할 수 있다.
상기 판단부는, 상기 제1 사용자 매칭율이 상기 제2 사용자 매칭율보다 큰 경우 상기 제1 사용자 ID를 상기 사용자 ID로서 출력하고, 상기 제2 사용자 매칭율이 상기 제1 사용자 매칭율보다 큰 경우 상기 제2 사용자 ID를 상기 사용자 ID로서 출력하는 사용자 판단 회로, 상기 제1 행동 패턴 매칭율이 상기 제2 행동 패턴 매칭율보다 큰 경우 상기 제1 행동 패턴을 상기 행동 패턴으로 출력하고, 상기 제2 행동 패턴 매칭율이 상기 제1 행동 패턴 매칭율보다 큰 경우 상기 제2 행동 패턴을 상기 행동 패턴으로 출력하는 행동 패턴 판단 회로, 및 상기 사용자 ID 및 상기 행동 패턴을 수신하고, 상기 사용자 ID에 대해 상기 행동 패턴이 최초로 생성된 시각을 상기 시작 시각으로서 출력하고, 상기 사용자 ID에 대해 상기 행동 패턴이 상이한 패턴으로 변경되는 시각을 상기 종료 시각으로서 출력하는 시간 생성 회로를 포함할 수 있다.
상기 일상 건강 정보 측정 장치는 상기 복수의 사용자들이 생활하는 공간에 설치되고 각각이 열화상 데이터를 상기 분석부에 제공하는 복수의 열화상 카메라들을 더 포함하고, 상기 일상 건강 정보 측정 장치는 상기 카메라 및 상기 마이크로폰과 인접하여 설치되는 열화상 카메라로부터 수신되는 상기 열화상 데이터에 기초하여 상기 식별된 사용자의 체온을 측정하고 상기 측정된 체온, 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 상기 클라우드 서버에 전송하고, 상기 클라우드 서버는 상기 행동 데이터에 기초하여 상기 조회 기간 동안 상기 조회 사용자의 체온 변화를 제공할 수 있다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 일상 건강 정보 제공 방법에서, 복수의 사용자들이 생활하는 공간을 촬영하여 영상 데이터를 생성하고, 상기 복수의 사용자들이 생활하는 공간에서 발생하는 소리를 탐지하여 소리 데이터를 생성하고, 일상 건강 정보 측정 장치가 상기 영상 데이터 및 상기 소리 데이터에 기초하여 상기 복수의 사용자들을 식별하여 상기 사용자 ID를 생성하고, 상기 식별된 사용자의 동작에 상응하는 상기 행동 패턴을 생성하고, 상기 행동 패턴에 상응하는 동작의 상기 시작 시각 및 상기 종료 시각을 생성하고, 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 클라우드 서버로 전송하고, 상기 클라우드 서버가 상기 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하고, 상기 클라우드 서버가 상기 행동 데이터 및 상기 수정 행동 데이터에 기초하여 조회 사용자 ID에 상응하는 조회 사용자가 조회 기간 동안 소모한 총 칼로리양을 계산하여 제공할 수 있다.
일 실시예에서, 상기 클라우드 서버가 상기 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계는, 상기 클라우드 서버가 상기 일상 건강 정보 측정 장치로부터 상기 행동 데이터를 수신하여 상기 행동 데이터를 제1 건강 정보 데이터베이스에 저장하는 단계, 상기 제1 건강 정보 데이터베이스에 저장된 상기 행동 데이터를 독출하고, 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 상기 행동 데이터를 전송하는 단계, 상기 이동 단말기로부터 상기 승인 신호를 수신하는 경우 상기 행동 데이터를 제2 건강 정보 데이터베이스에 저장하는 단계, 및 상기 이동 단말기로부터 상기 수정 행동 데이터를 수신하는 경우 상기 수정 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하는 단계를 포함할 수 있다.
상기 이동 단말기는 상기 클라우드 서버로부터 상기 행동 데이터를 수신하는 경우 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 디스플레이하고, 사용자의 승인 명령에 응답하여 상기 승인 신호를 상기 확인부에 제공하고, 사용자의 수정 명령에 응답하여 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각 중의 적어도 하나를 수정하여 상기 수정 행동 데이터를 생성하여 상기 클라우드 서버에 제공할 수 있다.
상기 이동 단말기는 상기 클라우드 서버로부터 상기 행동 데이터를 수신하는 경우 캐릭터로 형상화된 아바타(avatar)를 표시하고 상기 아바타를 통해 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 음성으로 출력하고, 상기 아바타와 대화를 수행하는 사용자의 음성을 분석하여 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각에 대한 상기 승인 명령 및 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각 중의 적어도 하나에 대한 상기 수정 명령을 중의 하나를 생성할 수 있다.
본 발명의 실시예들에 따른 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법은 신체에 부착되는 센서를 사용하지 않고도 복수의 사용자들의 일상 행동에 따른 칼로리 소모량을 효과적으로 측정하여 제공할 수 있다. 따라서 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 자신의 건강 정보를 쉽게 파악할 수 있다.
도 1은 본 발명의 일 실시예에 따른 일상 건강 정보 제공 시스템을 나타내는 블록도이다.
도 2는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 일 예를 나타내는 블록도이다.
도 3은 도 2의 일상 건강 정보 측정 장치가 적용되는 일 예를 나타내는 도면이다.
도 4는 도 2의 일상 건강 정보 측정 장치에 포함되는 분석부의 일 예를 나타내는 블록도이다.
도 5는 도 4의 분석부에 포함되는 영상 데이터 분석부의 일 예를 나타내는 블록도이다.
도 6은 도 4의 분석부에 포함되는 소리 데이터 분석부의 일 예를 나타내는 블록도이다.
도 7은 도 4의 분석부에 포함되는 소리 데이터 분석부의 다른 예를 나타내는 블록도이다.
도 8은 도 4의 분석부에 포함되는 판단부의 일 예를 나타내는 블록도이다.
도 9는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 일 예를 나타내는 블록도이다.
도 10 및 11은 도 1의 일상 건강 정보 제공 시스템에 포함되는 이동 단말기의 동작의 예들을 설명하기 위한 도면들이다.
도 12는 도 9의 클라우드 서버에 포함되는 조회부의 일 예를 나타내는 블록도이다.
도 13은 도 12의 조회부에 포함되는 칼로리 데이터베이스의 일 예를 나타내는 도면이다.
도 14는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 다른 예를 나타내는 블록도이다.
도 15는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 다른 예를 나타내는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 일상 건강 정보 제공 방법을 나타내는 흐름도이다.
도 17은 도 16의 클라우드 서버가 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계를 상세히 나타내는 흐름도이다.
도 2는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 일 예를 나타내는 블록도이다.
도 3은 도 2의 일상 건강 정보 측정 장치가 적용되는 일 예를 나타내는 도면이다.
도 4는 도 2의 일상 건강 정보 측정 장치에 포함되는 분석부의 일 예를 나타내는 블록도이다.
도 5는 도 4의 분석부에 포함되는 영상 데이터 분석부의 일 예를 나타내는 블록도이다.
도 6은 도 4의 분석부에 포함되는 소리 데이터 분석부의 일 예를 나타내는 블록도이다.
도 7은 도 4의 분석부에 포함되는 소리 데이터 분석부의 다른 예를 나타내는 블록도이다.
도 8은 도 4의 분석부에 포함되는 판단부의 일 예를 나타내는 블록도이다.
도 9는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 일 예를 나타내는 블록도이다.
도 10 및 11은 도 1의 일상 건강 정보 제공 시스템에 포함되는 이동 단말기의 동작의 예들을 설명하기 위한 도면들이다.
도 12는 도 9의 클라우드 서버에 포함되는 조회부의 일 예를 나타내는 블록도이다.
도 13은 도 12의 조회부에 포함되는 칼로리 데이터베이스의 일 예를 나타내는 도면이다.
도 14는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 다른 예를 나타내는 블록도이다.
도 15는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 다른 예를 나타내는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 일상 건강 정보 제공 방법을 나타내는 흐름도이다.
도 17은 도 16의 클라우드 서버가 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계를 상세히 나타내는 흐름도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 일상 건강 정보 제공 시스템을 나타내는 블록도이다.
도 1을 참조하면, 일상 건강 정보 제공 시스템(10000)은 일상 건강 정보 측정 장치(DAILY LIFE HEALTH INFORMATION MEASURING APPARATUS)(10), 클라우드 서버(CLOUD SERVER)(20) 및 복수의 이동 단말기들(30)을 포함한다.
일상 건강 정보 측정 장치(10)는 복수의 사용자들이 생활하는 실내 공간에 설치된다. 상기 복수의 사용자들 각각에는 고유의 사용자 ID가 부여되고, 상기 복수의 사용자들 각각에 부여된 사용자 ID는 일상 건강 정보 측정 장치(10)에 미리 저장된다.
일상 건강 정보 측정 장치(10)는 상기 복수의 사용자들의 일상 행동을 모니터링하여 영상 데이터(MD) 및 소리 데이터(SD)를 생성하고, 영상 데이터(MD) 및 소리 데이터(SD)를 분석하여 상기 복수의 사용자들을 식별하여 상기 식별된 사용자를 나타내는 사용자 ID(UID)를 생성하고, 상기 식별된 사용자의 동작에 상응하는 행동 패턴(APTN)을 생성하고, 행동 패턴(APTN)에 상응하는 동작의 시작 시각(ST) 및 종료 시각(FT)을 생성한다. 이후, 일상 건강 정보 측정 장치(10)는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 포함하는 행동 데이터(AD)를 생성하여 클라우드 서버(20)에 전송한다.
복수의 이동 단말기들(30)은 상기 복수의 사용자들에 의해 소지된다. 복수의 이동 단말기들(30) 각각은 상응하는 사용자의 사용자 ID를 저장한다.
클라우드 서버(20)는 일상 건강 정보 측정 장치(10)로부터 행동 데이터(AD)를 수신하고, 행동 데이터(AD)에 포함되는 사용자 ID(UID)에 상응하는 사용자의 이동 단말기(30)에 행동 데이터(AD)를 전송한다.
복수의 이동 단말기들(30) 각각은 클라우드 서버(20)로부터 행동 데이터(AD)를 수신하는 경우, 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 디스플레이하고, 사용자의 명령에 기초하여 행동 데이터(AD)에 대한 승인 신호(CS)를 클라우드 서버(20)에 전송하거나 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나를 수정하여 수정 행동 데이터(CAD)를 생성하여 클라우드 서버(20)에 전송한다.
클라우드 서버(20)는 외부 장치로부터 조회 사용자 ID(S_UID) 및 조회 기간(S_DR)을 수신하고, 일상 건강 정보 측정 장치(10)로부터 수신되는 행동 데이터(AD) 및 복수의 이동 단말기들(30)로부터 수신되는 수정 행동 데이터(CAD)에 기초하여 조회 사용자 ID(S_UID)에 상응하는 조회 사용자가 조회 기간(S_DR) 동안 소모한 총 칼로리양(C_CAL)을 계산하여 상기 외부 장치에 출력한다.
일 실시예에 있어서, 도 1에 도시된 바와 같이, 상기 외부 장치는 병원, 약국 등과 같은 의료 기관에 설치되는 의료 기관 서버(40)일 수 있다.
다른 실시예에 있어서, 도 1에 도시되지는 않았지만, 상기 외부 장치는 상기 복수의 사용자들이 소지하는 이동 단말기들(30)일 수 있다.
도 2는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 일 예를 나타내는 블록도이다.
도 2를 참조하면, 일상 건강 정보 측정 장치(10)는 사용자 서버(1000), 복수의 카메라들(2000) 및 복수의 마이크로폰들(3000)을 포함할 수 있다.
복수의 카메라들(2000)은 상기 복수의 사용자들이 생활하는 실내 공간에 분산되어 설치되고 상기 실내 공간을 촬영한 영상 데이터(MD)를 생성하여 사용자 서버(1000)에 제공할 수 있다.
복수의 마이크로폰들(3000) 각각은 복수의 카메라들(2000) 각각과 인접하여 설치되고 상기 실내 공간에서 탐지된 음향에 상응하는 소리 데이터(SD)를 생성하여 사용자 서버(1000)에 제공할 수 있다.
사용자 서버(1000)는 서로 인접하여 설치되는 카메라(2000) 및 마이크로폰(3000)으로부터 각각 제공되는 영상 데이터(MD) 및 소리 데이터(SD)를 분석하여 상기 복수의 사용자들을 식별하고 상기 식별된 사용자를 나타내는 사용자 ID(UID), 상기 식별된 사용자의 동작에 상응하는 행동 패턴(APTN), 행동 패턴(APTN)에 상응하는 동작의 시작 시각(ST) 및 종료 시각(FT)을 포함하는 행동 데이터(AD)를 생성하여 클라우드 서버(20)에 전송할 수 있다.
도 3은 도 2의 일상 건강 정보 측정 장치가 적용되는 일 예를 나타내는 도면이다.
도 3은 도 2의 일상 건강 정보 측정 장치가 일반 가정의 실내 공간에 설치된 경우를 나타낸다.
도 3에 도시된 바와 같이, 일반 가정의 실내 공간은 두 개의 방들(ROOM1, ROOM2), 욕실(BATHROOM), 부엌(KITCHEN) 및 거실(LIVING ROOM)을 포함하는 복수의 공간들로 구성될 수 있다.
복수의 카메라들(2000)은 상기 복수의 공간들 각각에 설치되어 상기 실내 공간의 모든 영역을 촬영한 영상 데이터(MD)를 생성하여 사용자 서버(1000)에 제공할 수 있다.
복수의 마이크로폰들(3000) 각각은 복수의 카메라들(2000) 각각과 인접하여 설치되어 상기 실내 공간의 모든 영역에서 탐지된 음향에 상응하는 소리 데이터(SD)를 생성하여 사용자 서버(1000)에 제공할 수 있다.
실시예에 따라서 사용자 서버(1000)는 상기 실내 공간 내부에 설치될 수도 있고 상기 실내 공간 외부에 설치될 수도 있다. 사용자 서버(1000)는 유무선 통신을 통해 복수의 카메라들(2000) 및 복수의 마이크로폰들(3000)로부터 영상 데이터(MD) 및 음성 데이터(SD)를 각각 수신할 수 있다.
다시 도 2를 참조하면, 사용자 서버(1000)는 통신부(COMMUNICATION UNIT)(1100) 및 분석부(ANALYSIS UNIT)(1200)를 포함할 수 있다.
일상 건강 정보 측정 장치(10)가 설치되는 실내 공간에서 생활하는 상기 복수의 사용자들 각각에는 고유의 사용자 ID가 부여되고, 상기 복수의 사용자들 각각에 부여된 사용자 ID는 분석부(1200)에 저장된다.
분석부(1200)는 서로 인접하여 설치되는 카메라(2000) 및 마이크로폰(3000)으로부터 각각 수신되는 영상 데이터(MD) 및 소리 데이터(SD)에 기초하여 상기 복수의 사용자들을 식별하여 상기 식별된 사용자를 나타내는 사용자 ID(UID)를 생성할 수 있다.
분석부(1200)는 서로 인접하여 설치되는 카메라(2000) 및 마이크로폰(3000)으로부터 각각 수신되는 영상 데이터(MD) 및 소리 데이터(SD)에 기초하여 상기 식별된 사용자의 동작에 상응하는 행동 패턴(APTN)을 생성할 수 있다. 예를 들어, 분석부(1200)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동들을 복수의 행동 패턴들로서 미리 정의하고, 상기 식별된 사용자의 동작을 분석하여 상기 정형화된 행동들 중의 하나를 선택하여 행동 패턴(APTN)으로서 출력할 수 있다.
분석부(1200)는 상기 행동 패턴(APTN)에 상응하는 동작이 시작되는 시작 시각(ST) 및 상기 행동 패턴(APTN)에 상응하는 동작이 종료되는 종료 시각(FT)을 생성할 수 있다.
분석부(1200)는 상기 생성된 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 통신부(1100)에 제공할 수 있다.
통신부(1100)는 유무선 통신을 사용하여 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 포함하는 행동 데이터(AD)를 생성하여 클라우드 서버(20)에 전송할 수 있다.
도 4는 도 2의 일상 건강 정보 측정 장치에 포함되는 분석부의 일 예를 나타내는 블록도이다.
도 4를 참조하면, 분석부(1200)는 영상 데이터 분석부(MOVIE DATA ANALYSIS UNIT)(1210), 소리 데이터 분석부(SOUND DATA ANALYSIS UNIT)(1220) 및 판단부(DETERMINATION UNIT)(1230)를 포함할 수 있다.
영상 데이터 분석부(1210)는 영상 데이터(MD)를 분석하여 상기 복수의 사용자들을 식별하고 상기 식별된 사용자를 나타내는 제1 사용자 ID(UID1) 및 영상 데이터(MD)에 촬영된 사용자가 제1 사용자 ID(UID1)에 상응하는 사용자와 일치할 확률을 나타내는 제1 사용자 매칭율(UID_MR1)을 생성할 수 있다.
또한, 영상 데이터 분석부(1210)는 상기 식별된 사용자의 동작을 분석하여 상기 식별된 사용자의 동작을 나타내는 제1 행동 패턴(APTN1) 및 영상 데이터(MD)에 촬영된 사용자의 동작이 제1 행동 패턴(APTN1)과 일치할 확률을 나타내는 제1 행동 패턴 매칭율(APTN_MR1)을 생성할 수 있다.
도 5는 도 4의 분석부에 포함되는 영상 데이터 분석부의 일 예를 나타내는 블록도이다.
도 5를 참조하면, 영상 데이터 분석부(1210)는 제1 사용자 식별 회로(USER IDENTIFICATION CIRCUIT 1)(1212), 제1 사용자 데이터베이스(USER DB1)(1213), 제1 행동 패턴 분석 회로(ACTIVITY PATTERN ANALYSIS CIRCUIT 1)(1214) 및 기준 영상 데이터베이스(REFERENCE MOVIE DB)(1215)를 포함할 수 있다.
제1 사용자 데이터베이스(1213)는 상기 복수의 사용자들 각각의 신체 이미지를 저장할 수 있다. 예를 들어, 제1 사용자 데이터베이스(1213)는 상기 복수의 사용자들 각각의 얼굴 이미지, 전신 형상 이미지 등을 포함할 수 있다.
제1 사용자 식별 회로(1212)는 영상 데이터(MD)에 포함되는 신체의 이미지를 제1 사용자 데이터베이스(1213)에 저장된 상기 복수의 사용자들의 신체 이미지들과 비교하여 가장 매칭율이 높은 신체 이미지에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 제1 사용자 ID(UID1) 및 제1 사용자 매칭율(UID_MR1)로서 출력할 수 있다.
기준 영상 데이터베이스(1215)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동들을 복수의 행동 패턴들로서 미리 정의하고 상기 복수의 행동 패턴들 각각에 상응하는 기준 영상을 상기 복수의 행동 패턴들 각각과 연관시켜 저장할 수 있다. 예를 들어, 기준 영상 데이터베이스(1215)는 상기 정형화된 행동을 촬영한 동영상을 상기 기준 영상으로서 저장할 수 있다.
제1 행동 패턴 분석 회로(1214)는 영상 데이터(MD)에 포함되는 신체의 동작을 기준 영상 데이터베이스(1215)에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 영상과 비교하여 가장 매칭율이 높은 기준 영상에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 제1 행동 패턴(APTN1) 및 제1 행동 패턴 매칭율(APTN_MR1)로서 출력할 수 있다.
다시 도 4를 참조하면, 소리 데이터 분석부(1220)는 소리 데이터(SD)를 분석하여 상기 복수의 사용자들을 식별하고 상기 식별된 사용자를 나타내는 제2 사용자 ID(UID2) 및 소리 데이터(SD)에 포함되는 사용자의 음성이 제2 사용자 ID(UID2)에 상응하는 사용자의 음성과 일치할 확률을 나타내는 제2 사용자 매칭율(UID_MR2)을 생성할 수 있다.
또한, 소리 데이터 분석부(1220)는 소리 데이터(SD)로부터 상기 식별된 사용자의 행동을 유추하여 제2 행동 패턴(APTN2) 및 상기 유추의 정확성을 나타내는 제2 행동 패턴 매칭율(APTN_MR2)을 생성할 수 있다.
도 6은 도 4의 분석부에 포함되는 소리 데이터 분석부의 일 예를 나타내는 블록도이다.
도 6을 참조하면, 소리 데이터 분석부(1220)는 소리 분리 회로(SOUND SEPARATION CIRCUIT)(1221), 제2 사용자 식별 회로(USER IDENTIFICATION CIRCUIT 2)(1222), 제2 사용자 데이터베이스(USER DB2)(1223), 제2 행동 패턴 분석 회로(ACTIVITY PATTERN ANALYSIS CIRCUIT 2)(1224) 및 기준 소리 데이터베이스(REFERENCE SOUND DB)(1225)를 포함할 수 있다.
소리 분리 회로(1221)는 소리 데이터(SD)를 사람의 음성 데이터(VSD) 및 배경 소리 데이터(BSD)로 분리할 수 있다.
제2 사용자 데이터베이스(1223)는 상기 복수의 사용자들 각각의 음성 샘플을 저장할 수 있다.
제2 사용자 식별 회로(1222)는 음성 데이터(VSD)를 제2 사용자 데이터베이스(1223)에 저장된 상기 복수의 사용자들의 음성 샘플들과 비교하여 가장 매칭율이 높은 음성 샘플에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 제2 사용자 ID(UID2) 및 제2 사용자 매칭율(UID_MR2)로서 출력할 수 있다.
기준 소리 데이터베이스(1225)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동들을 복수의 행동 패턴들로서 미리 정의하고 상기 복수의 행동 패턴들 각각에 수반되는 기준 배경 소리를 상기 복수의 행동 패턴들 각각과 연관시켜 저장할 수 있다. 예를 들어, 기준 소리 데이터베이스(1225)는 상기 정형화된 행동 과정에서 발생하는 배경 소리들을 녹음한 음원을 상기 기준 배경 소리로서 저장할 수 있다. 일 예로, 목욕을 하는 과정에서 발생하는 물소리는 목욕에 상응하는 행동 패턴과 연관되고, 진공 청소기에서 발생하는 소리는 청소에 상응하는 행동 패턴과 연관되어 기준 소리 데이터베이스(1225)에 기준 배경 소리로서 저장될 수 있다.
제2 행동 패턴 분석 회로(1224)는 배경 소리 데이터(BSD)를 기준 소리 데이터베이스(1225)에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 배경 소리들과 비교하여 가장 매칭율이 높은 기준 배경 소리에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 제2 행동 패턴(APTN2) 및 제2 행동 패턴 매칭율(APTN_MR2)로서 출력할 수 있다.
도 7은 도 4의 분석부에 포함되는 소리 데이터 분석부의 다른 예를 나타내는 블록도이다.
도 7을 참조하면, 소리 데이터 분석부(1220-1)는 소리 분리 회로(SOUND SEPARATION CIRCUIT)(1221), 제2 사용자 식별 회로(USER IDENTIFICATION CIRCUIT 2)(1222), 제2 사용자 데이터베이스(USER DB2)(1223), 제2 행동 패턴 분석 회로(ACTIVITY PATTERN ANALYSIS CIRCUIT 2)(1224), 기준 소리 데이터베이스(REFERENCE SOUND DB)(1225), 제3 행동 패턴 분석 회로(ACTIVITY PATTERN ANALYSIS CIRCUIT 3)(1226) 및 기준 단어 데이터베이스(REFERENCE WORD DB)(1227)를 포함할 수 있다.
도 7의 소리 데이터 분석부(1220-1)와 도 6의 소리 데이터 분석부(1220)를 비교하면, 도 7의 소리 데이터 분석부(1220-1)는 제3 행동 패턴 분석 회로(1226) 및 기준 단어 데이터베이스(1227)를 더 포함한다는 사항을 제외하고는 도 6의 소리 데이터 분석부(1220)와 동일하다. 따라서 제3 행동 패턴 분석 회로(1226) 및 기준 단어 데이터베이스(1227)를 제외한 도 6의 소리 데이터 분석부(1220)와 중복되는 설명은 생략한다.
기준 단어 데이터베이스(1227)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동을 복수의 행동 패턴들로서 미리 정의하고 상기 복수의 행동 패턴들 각각과 관련되는 기준 단어들에 대한 음성 샘플들을 상기 복수의 행동 패턴들 각각과 연관시켜 저장할 수 있다. 예를 들어, 기준 단어 데이터베이스(1227)는 상기 정형화된 행동 과정에서 말할 수 있는 단어들을 녹음한 음원을 상기 기준 단어들에 대한 음원 샘플들로서 저장할 수 있다. 일 예로, 목욕을 하는 과정에서 말할 수 있는 비누, 샴푸, 따뜻해, 시원해 등의 단어들에 대한 음원 샘플들은 목욕에 상응하는 행동 패턴과 연관되고, 숟가락, 젓가락, 그릇, 냄비, 수세미 등의 단어들에 대한 음원 샘플들은 설거지에 상응하는 행동 패턴과 연관되어 기준 단어 데이터베이스(1227)에 저장될 수 있다.
제3 행동 패턴 분석 회로(1226)는 음성 데이터(VSD)를 기준 단어 데이터베이스(1227)에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 단어들에 대한 음성 샘플들과 비교하여 매칭되는 기준 단어들과 가장 많이 관련되는 행동 패턴을 제3 행동 패턴(APTN3)으로서 출력하고, 제3 행동 패턴(APTN3)과 연관되는 전체 기준 단어들 중에서 매칭되는 단어들이 차지하는 비율을 제3 행동 패턴 매칭율(APTN_MR3)로서 출력할 수 있다.
다시 도 4를 참조하면, 판단부(1230)는 제1 사용자 매칭율(UID_MR1) 및 제2 사용자 매칭율(UID_MR2)에 기초하여 제1 사용자 ID(UID1) 및 제2 사용자 ID(UID2) 중의 하나를 선택하여 사용자 ID(UID)를 생성할 수 있다.
판단부(1230)는 제1 행동 패턴 매칭율(APTN_MR1) 및 제2 행동 패턴 매칭율(APTN_MR2)에 기초하여 제1 행동 패턴(APTN1) 및 제2 행동 패턴(APTN2) 중의 하나를 선택하여 행동 패턴(APTN)을 생성할 수 있다.
판단부(1230)는 사용자 ID(UID)에 대해 행동 패턴(APTN)이 최초로 생성된 시작 시각(ST) 및 사용자 ID(UID)에 상응하는 행동 패턴(APTN)이 상이한 패턴으로 변경되는 종료 시각(FT)을 생성할 수 있다.
도 8은 도 4의 분석부에 포함되는 판단부의 일 예를 나타내는 블록도이다.
도 8을 참조하면, 판단부(1230)는 사용자 판단 회로(1231), 행동 패턴 판단 회로(1232) 및 시간 생성 회로(1233)를 포함할 수 있다.
사용자 판단 회로(1231)는 제1 사용자 매칭율(UID_MR1) 및 제2 사용자 매칭율(UID_MR2)을 제어 신호로서 수신하고, 제1 사용자 ID(UID1) 및 제2 사용자 ID(UID2)를 입력 신호로서 수신할 수 있다. 사용자 판단 회로(1231)는 제1 사용자 매칭율(UID_MR1)이 제2 사용자 매칭율(UID_MR2)보다 큰 경우 제1 사용자 ID(UID1)를 사용자 ID(UID)로서 출력하고, 제2 사용자 매칭율(UID_MR2)이 제1 사용자 매칭율(UID_MR1)보다 큰 경우 제2 사용자 ID(UID2)를 사용자 ID(UID)로서 출력할 수 있다. 한편, 제1 사용자 매칭율(UID_MR1)과 제2 사용자 매칭율(UID_MR2)이 동일한 경우, 사용자 판단 회로(1231)는 제1 사용자 ID(UID1) 및 제2 사용자 ID(UID2) 중의 임의의 하나를 사용자 ID(UID)로서 출력할 수 있다.
이와 같이, 분석부(1200)는 영상 데이터(MD)를 분석하여 식별한 제1 사용자 ID(UID1) 및 소리 데이터(SD)를 분석하여 식별한 제2 사용자 ID(UID2) 중에서 보다 매칭율이 높은 사용자 ID를 출력함으로써 상기 복수의 사용자들에 대한 식별율을 향상시킬 수 있다.
행동 패턴 판단 회로(1232)는 제1 행동 패턴 매칭율(APTN_MR1) 및 제2 행동 패턴 매칭율(APTN_MR2)을 제어 신호로서 수신하고, 제1 행동 패턴(APTN1) 및 제2 행동 패턴(APTN2)을 입력 신호로서 수신할 수 있다. 행동 패턴 판단 회로(1232)는 제1 행동 패턴 매칭율(APTN_MR1)이 제2 행동 패턴 매칭율(APTN_MR2)보다 큰 경우 제1 행동 패턴(APTN1)을 행동 패턴(APTN)으로서 출력하고, 제2 행동 패턴 매칭율(APTN_MR2)이 제1 행동 패턴 매칭율(APTN_MR1)보다 큰 경우 제2 행동 패턴(APTN2)을 행동 패턴(APTN)으로서 출력할 수 있다. 한편, 제1 행동 패턴 매칭율(APTN_MR1)과 제2 행동 패턴 매칭율(APTN_MR2)이 동일한 경우, 행동 패턴 판단 회로(1232)는 제1 행동 패턴(APTN1) 및 제2 행동 패턴(APTN2) 중의 임의의 하나를 행동 패턴(APTN)으로서 출력할 수 있다.
이와 같이, 분석부(1200)는 영상 데이터(MD)를 분석하여 판단한 제1 행동 패턴(APTN1) 및 소리 데이터(SD)를 분석하여 판단한 제2 행동 패턴(APTN2) 중에서 보다 매칭율이 높은 행동 패턴을 출력함으로써 상기 복수의 사용자들의 행동을 보다 정확하게 판별할 수 있다.
한편, 분석부(1200)가 도 7에 도시된 소리 데이터 분석부(1220-1)를 포함하여 구현되는 경우, 행동 패턴 판단 회로(1232)는 제1 행동 패턴 매칭율(APTN_MR1), 제2 행동 패턴 매칭율(APTN_MR2) 및 제3 행동 패턴 매칭율(APTN_MR3)을 제어 신호로서 수신하고, 제1 행동 패턴(APTN1), 제2 행동 패턴(APTN2) 및 제3 행동 패턴(APTN3)을 입력 신호로서 수신할 수 있다. 이 경우, 행동 패턴 판단 회로(1232)는 제1 행동 패턴 매칭율(APTN_MR1)이 제2 행동 패턴 매칭율(APTN_MR2) 및 제3 행동 패턴 매칭율(APTN_MR3)보다 큰 경우 제1 행동 패턴(APTN1)을 행동 패턴(APTN)으로서 출력하고, 제2 행동 패턴 매칭율(APTN_MR2)이 제1 행동 패턴 매칭율(APTN_MR1) 및 제3 행동 패턴 매칭율(APTN_MR3)보다 큰 경우 제2 행동 패턴(APTN2)을 행동 패턴(APTN)으로서 출력하고, 제3 행동 패턴 매칭율(APTN_MR3)이 제1 행동 패턴 매칭율(APTN_MR1) 및 제2 행동 패턴 매칭율(APTN_MR2)보다 큰 경우 제3 행동 패턴(APTN3)을 행동 패턴(APTN)으로서 출력할 수 있다.
이와 같이, 분석부(1200)는 영상 데이터(MD)를 분석하여 판단한 제1 행동 패턴(APTN1), 배경 소리 데이터(BSD)를 분석하여 판단한 제2 행동 패턴(APTN2) 및 음성 데이터(VSD)를 분석하여 판단한 제3 행동 패턴(APTN3) 중에서 보다 매칭율이 높은 행동 패턴을 출력함으로써 상기 복수의 사용자들의 행동을 보다 정확하게 판별할 수 있다.
시간 생성 회로(1233)는 사용자 ID(UID) 및 행동 패턴(APTN)을 수신하고, 사용자 ID(UID)에 대해 행동 패턴(APTN)이 최초로 생성된 시각을 시작 시각(ST)으로서 출력하고, 사용자 ID(UID)에 상응하는 행동 패턴(APTN)이 상이한 패턴으로 변경되는 시각을 종료 시각(FT)으로서 출력할 수 있다.
상술한 바와 같이, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)에 포함되는 일상 건강 정보 측정 장치(10)는 신체에 부착되는 센서를 사용하지 않고 복수의 카메라들(2000) 및 복수의 마이크로폰들(3000)만을 사용하여 복수의 사용자들의 일상 행동에 따른 행동 패턴을 파악하여 클라우드 서버(20)에 제공할 수 있다. 따라서 일상 건강 정보 제공 시스템(10000)을 사용하는 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 자신의 일상 행동에 따른 행동 패턴을 쉽게 파악하여 클라우드 서버(20)에 제공할 수 있다.
도 9는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 일 예를 나타내는 블록도이다.
도 9를 참조하면, 클라우드 서버(20)는 수신부(RECEIVING UNIT)(5100), 제1 건강 정보 데이터베이스(HEALTH INFORMATION DB1)(5200), 확인부(VERIFICATION UNIT)(5300), 제2 건강 정보 데이터베이스(HEALTH INFORMATION DB2)(5400) 및 조회부(INQUIRY UNIT)(5500)를 포함할 수 있다.
수신부(5100)는 일상 건강 정보 측정 장치(10)로부터 행동 데이터(AD)를 수신하여 제1 건강 정보 데이터베이스(5200)에 저장할 수 있다. 즉, 수신부(5100)는 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 서로 연관시켜 제1 건강 정보 데이터베이스(5200)에 저장할 수 있다. 따라서 제1 건강 정보 데이터베이스(5200)에는 일상 건강 정보 측정 장치(10)로부터 제공되는 상기 복수의 사용자들의 일상 행동들을 나타내는 행동 데이터(AD)들이 누적되어 저장될 수 있다.
확인부(5300)는 제1 건강 정보 데이터베이스(5200)에 저장된 행동 데이터(AD)들을 독출하고, 독출된 행동 데이터(AD)들 각각에 포함되는 사용자 ID(UID)에 상응하는 사용자의 이동 단말기(30)에 독출된 행동 데이터(AD)들을 전송할 수 있다.
일 실시예에 있어서, 상기 복수의 사용자들의 이동 단말기들(30) 각각은 상응하는 사용자의 사용자 ID를 포함하는 데이터 요청 신호(REQ)를 확인부(5300)에 전송하고, 확인부(5300)는 데이터 요청 신호(REQ)에 응답하여 제1 건강 정보 데이터베이스(5200)로부터 데이터 요청 신호(REQ)에 포함되는 사용자 ID를 포함하는 행동 데이터(AD)들을 독출하여 데이터 요청 신호(REQ)를 전송한 이동 단말기(30)에 전송할 수 있다.
다른 실시예에 있어서, 확인부(5300)는 주기적으로 제1 건강 정보 데이터베이스(5200)에 저장된 행동 데이터(AD)들을 독출하고 상기 독출된 행동 데이터(AD)들 각각에 포함되는 사용자 ID에 상응하는 이동 단말기(30)에 상기 독출된 행동 데이터(AD)들을 전송할 수 있다.
이동 단말기들(30) 각각은 확인부(5300)로부터 행동 데이터(AD)를 수신하는 경우 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 사용자에게 제공하고, 이에 응답하여 사용자로부터 행동 데이터(AD)에 대한 승인 명령을 수신하는 경우 승인 신호(CS)를 확인부(5300)에 전송하고, 사용자로부터 행동 데이터(AD)에 대한 수정 명령을 수신하는 경우 상기 수정 명령에 기초하여 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나를 수정하여 수정 행동 데이터(CAD)를 생성하여 확인부(5300)에 전송할 수 있다.
도 10은 도 1의 일상 건강 정보 제공 시스템에 포함되는 이동 단말기의 동작의 일 예를 설명하기 위한 도면들이다.
도 10에 도시된 바와 같이, 이동 단말기들(30) 각각은 확인부(5300)로부터 행동 데이터(AD)를 수신하는 경우 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 화면상에 디스플레이할 수 있다.
이동 단말기(30)의 사용자는 화면상에 디스플레이된 행동 데이터(AD)의 내용을 확인하고, 행동 데이터(AD)의 내용이 실제 자신의 과거 행동과 일치하는 경우 승인 버튼(31)을 선택할 수 있다. 이동 단말기(30)는 이에 응답하여 상기 승인 명령을 생성할 수 있다. 반면에, 행동 데이터(AD)의 내용이 실제 자신의 과거 행동과 일치하지 않는 경우 이동 단말기(30)의 사용자는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나를 수정하고 수정 버튼(32)을 선택할 수 있다. 이동 단말기(30)는 이에 응답하여 상기 수정 명령을 생성할 수 있다.
이동 단말기(30)는 상기 승인 명령이 생성되는 경우 행동 데이터(AD)에 대한승인 신호(CS)를 확인부(5300)에 전송할 수 있다. 반면에, 이동 단말기(30)는 상기 수정 명령이 생성되는 경우 사용자의 입력에 기초하여 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나가 수정된 수정 행동 데이터(CAD)를 생성하여 확인부(5300)에 전송할 수 있다.
도 11은 도 1의 일상 건강 정보 제공 시스템에 포함되는 이동 단말기의 동작의 다른 예를 설명하기 위한 도면이다.
도 11에 도시된 바와 같이, 이동 단말기들(30) 각각은 확인부(5300)로부터 행동 데이터(AD)를 수신하는 경우 캐릭터로 형상화된 아바타(avatar)(33)를 화면상에 디스플레이하고 아바타(33)를 통해 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)을 음성으로 출력할 수 있다.
이동 단말기(30)의 사용자는 아바타(33)가 말하는 행동 데이터(AD)의 내용이 실제 자신의 과거 행동과 일치하는 경우 아바타(33)에게 대화 형식으로 행동 데이터(AD)에 대해 승인한다는 의사를 표현하고, 아바타(33)가 말하는 행동 데이터(AD)의 내용이 실제 자신의 과거 행동과 일치하지 않는 경우 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나에 대한 수정 사항을 대화 형식으로 표현할 수 있다.
이동 단말기(30)는 아바타(33)와 대화를 수행하는 사용자의 음성을 분석하여 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)에 대한 상기 승인 명령 또는 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나에 대한 상기 수정 명령을 생성할 수 있다.
이동 단말기(30)는 상기 승인 명령이 생성되는 경우 행동 데이터(AD)에 대한승인 신호(CS)를 확인부(5300)에 전송할 수 있다. 반면에, 이동 단말기(30)는 상기 수정 명령이 생성되는 경우 사용자의 대화 내용에 기초하여 행동 데이터(AD)에 포함되는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT) 중의 적어도 하나가 수정된 수정 행동 데이터(CAD)를 생성하여 확인부(5300)에 전송할 수 있다.
다시 도 9를 참조하면, 확인부(5300)는 이동 단말기(30)로부터 행동 데이터(AD)에 대한 승인 신호(CS)를 수신하는 경우 행동 데이터(AD)를 제2 건강 정보 데이터베이스(5400)에 저장할 수 있다. 반면에, 확인부(5300)는 이동 단말기(30)로부터 수정 행동 데이터(CAD)를 수신하는 경우 수정 행동 데이터(CAD)를 제2 건강 정보 데이터베이스(5400)에 저장할 수 있다. 이후, 확인부(5300)는 이동 단말기(30)에 전송한 행동 데이터(AD)들을 제1 건강 정보 데이터베이스(5200)에서 삭제할 수 있다.
상술한 바와 같이, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)에 포함되는 일상 건강 정보 측정 장치(10)는 복수의 카메라들(2000) 및 복수의 마이크로폰들(3000)만을 사용하여 복수의 사용자들의 일상 행동에 따른 행동 패턴을 파악하여 행동 데이터(AD)를 클라우드 서버(20)에 제공한다. 따라서 일상 건강 정보 측정 장치(10)가 생성한 행동 데이터(AD)는 사용자를 잘못 인식하거나 사용자의 실제 행동과 일치하지 않을 수도 있다. 그러나, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)에 포함되는 클라우드 서버(20)는 일상 건강 정보 측정 장치(10)로부터 수신되는 상기 복수의 사용자들의 일상 행동들을 나타내는 행동 데이터(AD)들을 제1 건강 정보 데이터베이스(5200)에 누적하여 저장하고, 제1 건강 정보 데이터베이스(5200)에 저장된 행동 데이터(AD)들을 상응하는 사용자의 이동 단말기(30)에 전송하여 사용자의 승인 또는 수정 과정을 거치고 승인된 행동 데이터(AD) 또는 수정된 수정 행동 데이터(CAD)를 제2 건강 정보 데이터베이스(5400)에 누적하여 저장한다. 이와 같이 일상 건강 정보 측정 장치(10)가 생성한 행동 데이터(AD)에 대해 사용자의 승인 및 수정 과정을 거침으로써, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)은 상기 복수의 사용자들의 일상행동을 보다 정확하게 파악할 수 있다.
다시 도 9를 참조하면, 조회부(5500)는 외부 장치로부터 조회 사용자 ID(S_UID) 및 조회 기간(S_DR)을 수신한다. 조회 기간(S_DR)은 조회 시작 시각 및 조회 종료 시각을 포함할 수 있다. 조회부(5500)는 제2 건강 정보 데이터베이스(5400)로부터 조회 기간(S_DR) 동안 조회 사용자 ID(S_UID)에 상응하는 조회 사용자의 행동 패턴들(APTNs) 및 행동 패턴들(APTNs)의 지속 시간들(TMs)을 검색하고, 상기 검색된 행동 패턴들(APTNs) 및 지속 시간들(TMs)에 기초하여 상기 조회 사용자가 조회 기간(S_DR) 동안 소모한 총 칼로리양(C_CAL)을 계산하여 상기 외부 장치에 제공할 수 있다.
도 12는 도 9의 클라우드 서버에 포함되는 조회부의 일 예를 나타내는 블록도이다.
도 12를 참조하면, 조회부(5500)는 검색 회로(SEARCH CIRCUIT)(5510), 계산 회로(CALCULATION CIRCUIT)(5520) 및 칼로리 데이터베이스(CALORY DB)(5530)를 포함할 수 있다.
칼로리 데이터베이스(5530)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동들을 복수의 행동 패턴들로서 미리 정의하고 상기 복수의 행동 패턴들 각각에 대한 단위 시간당 소모 칼로리양을 저장할 수 있다.
도 13은 도 12의 조회부에 포함되는 칼로리 데이터베이스의 일 예를 나타내는 도면이다.
도 13을 참조하면, 칼로리 데이터베이스(5530)는 행동 패턴 필드(APTN_F) 및 칼로리 필드(CAL_F)를 포함할 수 있다.
행동 패턴 필드(APTN_F)는 목욕, TV 시청, 빨래, 다림질, 청소, 계단 오르내리기, 걷기, 설거지 등을 포함하는 정형화된 행동들을 나타내는 복수의 행동 패턴들을 저장하고, 칼로리 필드(CAL_F)는 상응하는 행동 패턴(APTN)을 수행하는 경우 단위 시간(예를 들면, 1분) 동안 평균적으로 소모되는 칼로리의 양을 저장할 수 있다.
다시 도 12를 참조하면, 검색 회로(5510)는 상기 외부 장치로부터 조회 사용자 ID(S_UID) 및 조회 기간(S_DR)을 수신하고, 제2 건강 정보 데이터베이스(5400)로부터 조회 기간(S_DR) 동안 조회 사용자 ID(S_UID)에 상응하는 조회 사용자의 행동 패턴들(APTNs) 및 행동 패턴들(APTNs)의 시작 시각(ST)과 종료 시각(FT)을 검색하고, 검색된 시작 시각(ST) 및 종료 시각(FT)을 사용하여 행동 패턴들(APTNs) 각각의 지속 시간들(TMs)을 생성할 수 있다.
계산 회로(5520)는 검색 회로(5510)로부터 수신되는 행동 패턴들(APTNs) 각각에 대한 단위 시간당 소모 칼로리양을 칼로리 데이터베이스(5530)로부터 독출하고, 행동 패턴들(APTNs), 행동 패턴들(APTNs) 각각의 지속 시간들(TMs) 및 행동 패턴들(APTNs) 각각에 대한 단위 시간당 소모 칼로리양을 사용하여 조회 사용자 ID(S_UID)에 상응하는 조회 사용자가 조회 기간(S_DR) 동안 소모한 총 칼로리양(C_CAL)을 계산하여 상기 외부 장치에 제공할 수 있다.
일 실시예에 있어서, 도 1에 도시된 바와 같이, 상기 외부 장치는 병원, 약국 등과 같은 의료 기관에 설치되는 의료 기관 서버(40)일 수 있다. 이 경우, 의료 기관 서버(40)는 조회하고자 하는 환자의 사용자 ID(S_UID) 및 조회하고자 하는 기간(S_DR)을 클라우드 서버(20)에 전송하고 클라우드 서버(20)로부터 조회하고자 하는 환자가 조회 기간(S_DR) 동안 소모한 총 칼로리양(C_CAL)을 전송받을 수 있다. 이와 같이, 의료 기관은 본 발명에 따른 일상 건강 정보 제공 시스템(10000)을 사용하여 일정 기간 동안 환자가 일상생활 동안 소모한 총 칼로리양(C_CAL)을 효과적으로 제공받을 수 있으므로 환자의 건강 상태를 쉽게 체크할 수 있고, 환자에 대한 처방의 내용을 결정하는 데에 활용할 수 있다.
다른 실시예에 있어서, 도 1에 도시되지는 않았지만, 상기 외부 장치는 상기 복수의 사용자들이 소지하는 이동 단말기들(30)일 수 있다. 이 경우, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)을 사용하는 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 언제 어디에서나 자신의 이동 단말기를 통해 자신의 건강 정보를 쉽게 파악할 수 있다.
상술한 바와 같이, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)은 신체에 부착되는 센서를 사용하지 않고 복수의 카메라들(2000) 및 복수의 마이크로폰들(3000)만을 사용하여 복수의 사용자들의 일상 행동에 따른 칼로리 소모량을 효과적으로 측정하여 제공할 수 있다. 따라서 본 발명에 따른 일상 건강 정보 제공시스템(10000)을 사용하는 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 언제 어디에서나 자신의 건강 정보를 쉽게 파악할 수 있다.
도 14는 도 1의 일상 건강 정보 제공 시스템에 포함되는 일상 건강 정보 측정 장치의 다른 예를 나타내는 블록도이고, 도 15는 도 1의 일상 건강 정보 제공 시스템에 포함되는 클라우드 서버의 다른 예를 나타내는 블록도이다.
도 14를 참조하면, 일상 건강 정보 측정 장치(10-1)는 사용자 서버(1000-1), 복수의 카메라들(2000), 복수의 마이크로폰들(3000) 및 복수의 열화상 카메라들(4000)을 포함할 수 있다. 사용자 서버(1000-1)는 통신부(COMMUNICATION UNIT)(1100-1) 및 분석부(ANALYSIS UNIT)(1200-1)를 포함할 수 있다.
도 14의 일상 건강 정보 측정 장치(10-1)와 도 2의 일상 건강 정보 측정 장치(10)를 비교하면, 도 14의 일상 건강 정보 측정 장치(10-1)는 복수의 열화상 카메라들(4000)을 더 포함하고, 사용자 서버(1000-1)는 복수의 열화상 카메라들(4000)로부터 제공되는 열화상 데이터(TMD)를 처리하는 기능을 추가적으로 수행한다는 사항을 제외하고는 도 2의 일상 건강 정보 측정 장치(10)와 동일하다. 따라서 복수의 열화상 카메라들(4000)과 관련되는 사항을 제외한 도 2의 일상 건강 정보 측정 장치(10)와 중복되는 설명은 생략한다.
또한, 도 15의 클라우드 서버(20-1)와 도 9의 클라우드 서버(20)를 비교하면, 도 15의 클라우드 서버(20-1)는 도 14의 일상 건강 정보 측정 장치(10-1)로부터 수신되는 열화상 데이터(TMD)를 처리하는 기능을 추가적으로 수행한다는 사항을 제외하고는 도 9의 클라우드 서버(20)와 동일하다. 따라서 열화상 데이터(TMD)의 처리와 관련되는 사항을 제외한 도 9의 클라우드 서버(20)와 중복되는 설명은 생략한다.
복수의 열화상 카메라들(4000) 각각은 복수의 카메라들(2000) 각각과 인접하여 설치되고 상기 실내 공간에 대해 적외선 촬영을 하여 열화상 데이터(TMD)를 생성하여 분석부(1200-1)에 제공한다.
분석부(1200-1)는 서로 인접하여 설치되는 카메라(2000), 마이크로폰(3000) 및 열화상 카메라(4000)로부터 각각 영상 데이터(MD), 소리 데이터(SD) 및 열화상 데이터(TMD)를 수신한다. 분석부(1200-1)는 영상 데이터(MD) 및 소리 데이터(SD)를 분석하여 상기 복수의 사용자들 중에서 식별된 사용자를 나타내는 사용자 ID(UID), 상기 식별된 사용자의 행동 패턴(APTN), 행동 패턴(APTN)의 시작 시각(ST) 및 종료 시각(FT)을 생성한다. 또한, 분석부(1200-1)는 열화상 데이터(TMD)에 기초하여 상기 식별된 사용자의 체온을 측정하고 상기 측정된 체온(TEMP)을 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)과 함께 통신부(1100-1)에 제공한다.
통신부(1100-1)는 유무선 통신을 사용하여 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST), 종료 시각(FT) 및 체온(TEMP)을 포함하는 행동 데이터(AD)를 생성하여 클라우드 서버(20)에 전송할 수 있다.
상술한 바와 같이, 일상 건강 정보 측정 장치(10-1)로부터 수신되는 행동 데이터(AD)는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST) 및 종료 시각(FT)과 함께 사용자 ID(UID)에 상응하는 사용자의 체온(TEMP)도 포함된다. 또한, 클라우드 서버(20-1) 및 이동 단말기(30)는 도 9 내지 13을 참조하여 설명한 바와 같은 동작을 수행하므로 제2 건강 정보 데이터베이스(5400)에는 사용자 ID(UID), 행동 패턴(APTN), 시작 시각(ST), 종료 시각(FT) 및 체온(TEMP)이 누적되어 저장된다.
도 15를 참조하면, 조회부(5500-1)는 외부 장치로부터 조회 사용자 ID(S_UID) 및 조회 기간(S_DR)을 수신한다. 조회 기간(S_DR)은 조회 시작 시각 및 조회 종료 시각을 포함할 수 있다. 조회부(5500-1)는 제2 건강 정보 데이터베이스(5400)로부터 조회 기간(S_DR) 동안 조회 사용자 ID(S_UID)에 상응하는 조회 사용자의 행동 패턴들(APTNs), 행동 패턴들(APTNs)의 시작 시각(ST)과 종료 시각(FT) 및 체온(TEMP)을 검색하고, 검색된 시작 시각(ST) 및 종료 시각(FT)을 사용하여 행동 패턴들(APTNs) 각각의 지속 시간들(TMs)을 생성할 수 있다. 조회부(5500-1)는 상기 검색된 행동 패턴들(APTNs) 및 지속 시간들(TMs)에 기초하여 상기 조회 사용자가 조회 기간(S_DR) 동안 소모한 총 칼로리양(C_CAL)을 계산하여 상기 외부 장치에 제공하고, 상기 검색된 체온(TEMP)에 기초하여 조회 기간(S_DR) 동안 상기 조회 사용자의 체온의 변화(TEMP_VA)를 그래프 형태로 상기 외부 장치에 제공할 수 있다.
상술한 바와 같이, 본 발명에 따른 일상 건강 정보 제공 시스템(10000)은 신체에 부착되는 센서를 사용하지 않고 복수의 카메라들(2000), 복수의 마이크로폰들(3000) 및 복수의 열화상 카메라들(4000)만을 사용하여 복수의 사용자들의 일상 행동에 따른 칼로리 소모량 및 체온 변화를 효과적으로 측정하여 제공할 수 있다. 따라서 본 발명에 따른 일상 건강 정보 제공시스템(10000)을 사용하는 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 언제 어디에서나 자신의 건강 정보를 쉽게 파악할 수 있다.
도 16은 본 발명의 일 실시예에 따른 일상 건강 정보 제공 방법을 나타내는 흐름도이다.
도 16을 참조하면, 복수의 사용자들이 생활하는 실내 공간에 분산되어 설치되는 복수의 카메라들을 통해 상기 실내 공간에 대한 영상 데이터를 생성한다(단계 S100). 또한, 상기 복수의 카메라들과 인접하여 설치되는 복수의 마이크로폰들을 통해 상기 실내 공간에서 발생하는 소리를 탐지하여 소리 데이터를 생성한다(단계 S200). 상기 영상 데이터를 생성하는 단계(S100) 및 상기 소리 데이터를 생성하는 단계(S200)는 동시에 수행된다.
일상 건강 정보 측정 장치는 서로 인접하여 설치되는 카메라 및 마이크로폰으로부터 각각 수신되는 상기 영상 데이터 및 상기 소리 데이터에 기초하여 상기 복수의 사용자들을 식별하여 상기 식별된 사용자를 나타내는 사용자 ID를 생성하고, 상기 식별된 사용자의 동작에 상응하는 행동 패턴을 생성하고, 상기 행동 패턴에 상응하는 동작이 시작되는 시작 시각 및 상기 행동 패턴에 상응하는 동작이 종료되는 종료 시각을 생성하여, 상기 생성된 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 포함하는 행동 데이터를 클라우드 서버에 전송한다(단계 S300).
상기 클라우드 서버가 상기 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신한다(단계 S400).
상기 클라우드 서버가 외부 장치로부터 조회 사용자 ID 및 조회 기간을 수신하고, 상기 행동 데이터 및 상기 수정 행동 데이터에 기초하여 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 조회 사용자의 행동 패턴들 및 상기 행동 패턴들 각각의 지속 시간들을 검색하고, 상기 검색된 행동 패턴들 및 상기 지속 시간들에 기초하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 상기 외부 장치에 제공한다(단계 S500).
도 17은 도 16의 클라우드 서버가 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계를 상세히 나타내는 흐름도이다.
도 17을 참조하면, 상기 클라우드 서버가 상기 일상 건강 정보 측정 장치로부터 상기 행동 데이터를 수신하여 상기 행동 데이터를 제1 건강 정보 데이터베이스에 저장하고(단계 S410), 상기 제1 건강 정보 데이터베이스에 누적하여 저장된 상기 행동 데이터를 독출하고, 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 상기 행동 데이터를 전송할 수 있다(단계 S420).
상기 클라우드 서버는 상기 이동 단말기로부터 상기 승인 신호를 수신하는 경우 상기 행동 데이터를 제2 건강 정보 데이터베이스에 저장하고(단계 S430), 상기 이동 단말기로부터 상기 수정 행동 데이터를 수신하는 경우 상기 수정 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장할 수 있다(단계 S440).
이후, 상기 클라우드 서버는 상기 외부 장치로부터 조회 사용자 ID 및 조회 기간을 수신하고, 상기 제2 건강 정보 데이터베이스로부터 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 조회 사용자의 행동 패턴들 및 행동 패턴들의 지속 시간들을 검색하고, 상기 검색된 행동 패턴들 및 지속 시간들에 기초하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 상기 외부 장치에 제공할 수 있다.
도 16의 일상 건강 정보 제공 방법은 도 1의 일상 건강 정보 제공 시스템(10000)에 의해 수행될 수 있다. 도 1에 도시된 일상 건강 정보 제공 시스템(10000)의 구성 및 동작에 대해서는 도 1 내지 15를 참조하여 상세히 설명하였으므로, 도 16의 일상 건강 정보 제공 방법에 포함되는 각 단계들에 대한 상세한 설명은 생략한다.
상술한 바와 같이, 본 발명에 따른 일상 건강 정보 제공 방법은 신체에 부착되는 센서를 사용하지 않고 복수의 카메라들 및 복수의 마이크로폰들만을 사용하여 복수의 사용자들의 일상 행동에 따른 칼로리 소모량을 효과적으로 측정하여 제공할 수 있다. 따라서 본 발명에 따른 일상 건강 정보 측정 방법을 통해 사용자는 자신의 건강 정보를 측정하기 위해 센서 장치를 신체에 부착한 상태로 생활하거나 특정 활동에 대한 데이터를 측정 장치에 입력하는 등의 직접적인 행동을 하지 않고도 언제 어디에서나 자신의 건강 정보를 쉽게 파악할 수 있다.
본 발명의 실시예들에 따른 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법은 복수의 사용자들이 생활하는 특정 공간에 적용되어 상기 복수의 사용자들의 일상생활 습관과 관련되는 건강 정보를 효과적으로 측정하여 제공하는 데에 유용하게 사용될 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (20)
- 복수의 사용자들이 생활하는 공간에 설치되고, 상기 복수의 사용자들의 일상 행동을 모니터링하여 영상 데이터 및 소리 데이터를 생성하고, 상기 영상 데이터 및 상기 소리 데이터를 분석하여 상기 복수의 사용자들 각각의 사용자 ID, 상기 복수의 사용자들 각각의 동작에 상응하는 행동 패턴, 상기 행동 패턴에 상응하는 동작의 시작 시각 및 종료 시각을 포함하는 행동 데이터를 생성하여 전송하는 일상 건강 정보 측정 장치;
상기 복수의 사용자들이 소지하고 각각이 상응하는 사용자의 사용자 ID를 저장하는 이동 단말기들; 및
상기 일상 건강 정보 측정 장치로부터 수신되는 상기 행동 데이터를 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하며, 조회 사용자 ID 및 조회 기간을 수신하고 상기 행동 데이터 및 상기 수정 행동 데이터에 기초하여 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 출력하는 클라우드 서버를 포함하는 일상 건강 정보 제공 시스템. - 제1 항에 있어서, 상기 클라우드 서버는,
제1 건강 정보 데이터베이스 및 제2 건강 정보 데이터베이스;
상기 일상 건강 정보 측정 장치로부터 상기 행동 데이터를 수신하여 상기 행동 데이터를 상기 제1 건강 정보 데이터베이스에 저장하는 수신부;
상기 제1 건강 정보 데이터베이스에 저장된 상기 행동 데이터를 독출하고, 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 상기 행동 데이터를 전송하고, 상기 이동 단말기로부터 상기 승인 신호를 수신하는 경우 상기 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하고, 상기 이동 단말기로부터 상기 수정 행동 데이터를 수신하는 경우 상기 수정 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하는 확인부; 및
상기 조회 사용자 ID 및 상기 조회 기간을 수신하여 상기 제2 건강 정보 데이터베이스로부터 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 상기 조회 사용자의 행동 패턴들 및 상기 행동 패턴들의 지속 시간들을 검색하고, 상기 검색된 행동 패턴들 및 지속 시간들에 기초하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 출력하는 조회부를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제2 항에 있어서, 상기 확인부는 상기 이동 단말기로부터 사용자 ID를 포함하는 데이터 요청 신호를 수신하는 경우 상기 제1 건강 정보 데이터베이스로부터 상기 데이터 요청 신호에 포함되는 사용자 ID를 포함하는 행동 데이터들을 독출하여 상기 이동 단말기에 전송하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제2 항에 있어서, 상기 확인부는 주기적으로 상기 제1 건강 정보 데이터베이스에 저장된 행동 데이터들을 독출하고 상기 독출된 행동 데이터들 각각에 포함되는 사용자 ID에 상응하는 이동 단말기에 상기 독출된 행동 데이터들을 전송하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제2 항에 있어서, 상기 이동 단말기들 각각은 상기 확인부로부터 상기 행동 데이터를 수신하는 경우 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 디스플레이하고, 사용자의 승인 명령에 응답하여 상기 승인 신호를 상기 확인부에 제공하고, 사용자의 수정 명령에 응답하여 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각 중의 적어도 하나를 수정하여 상기 수정 행동 데이터를 생성하여 상기 확인부에 제공하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제5 항에 있어서, 상기 이동 단말기들 각각은 상기 확인부로부터 상기 행동 데이터를 수신하는 경우 캐릭터로 형상화된 아바타(avatar)를 표시하고 상기 아바타를 통해 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 음성으로 출력하고, 상기 아바타와 대화를 수행하는 사용자의 음성을 분석하여 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각에 대한 상기 승인 명령 및 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각 중의 적어도 하나에 대한 상기 수정 명령을 중의 하나를 생성하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제2 항에 있어서, 상기 조회부는,
복수의 행동 패턴들 각각에 대한 단위 시간당 소모 칼로리양을 저장하는 칼로리 데이터베이스;
외부 장치로부터 상기 조회 사용자 ID 및 상기 조회 기간을 수신하여 상기 제2 건강 정보 데이터베이스로부터 상기 조회 기간 동안 상기 조회 사용자 ID에 상응하는 상기 조회 사용자의 행동 패턴들 및 상기 행동 패턴들의 시작 시각과 종료 시각을 검색하고, 상기 검색된 시작 시각 및 종료 시각을 사용하여 상기 행동 패턴들의 지속 시간들을 생성하여 상기 행동 패턴들 및 상기 지속 시간들을 출력하는 검색 회로; 및
상기 검색된 행동 패턴들, 상기 지속 시간들 및 상기 칼로리 데이터베이스로부터 독출되는 상기 검색된 행동 패턴들 각각에 대한 단위 시간당 소모 칼로리양을 사용하여 상기 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 계산하여 상기 외부 장치에 제공하는 계산 회로를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제1 항에 있어서, 상기 이동 단말기들 각각은 상기 조회 사용자 ID 및 상기 조회 기간을 상기 일상 건강 정보 측정 장치에 제공하고 상기 일상 건강 정보 측정 장치로부터 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 수신하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제1 항에 있어서, 의료 기관 서버는 상기 조회 사용자 ID 및 상기 조회 기간을 상기 일상 건강 정보 측정 장치에 제공하고 상기 일상 건강 정보 측정 장치로부터 상기 조회 사용자 ID에 상응하는 조회 사용자가 상기 조회 기간 동안 소모한 총 칼로리양을 수신하는 것을 특징으로 하는 일상 건강 정보 제공 시스템.
- 제1 항에 있어서, 상기 일상 건강 정보 측정 장치는,
상기 복수의 사용자들이 생활하는 공간에 분산되어 설치되고 각각이 상기 영상 데이터를 제공하는 복수의 카메라들;
상기 복수의 카메라들과 인접하여 설치되고 각각이 상기 소리 데이터를 제공하는 복수의 마이크로폰들;
서로 인접하여 설치되는 카메라 및 마이크로폰으로부터 각각 수신되는 상기 영상 데이터 및 상기 소리 데이터에 기초하여 상기 복수의 사용자들을 식별하여 상기 사용자 ID를 생성하고, 상기 식별된 사용자의 동작을 분석하여 상기 행동 패턴을 생성하고, 상기 행동 패턴에 상응하는 동작의 시작 시각 및 종료 시각을 생성하는 분석부; 및
상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 생성하여 상기 클라우드 서버에 전송하는 통신부를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제10 항에 있어서, 상기 분석부는,
상기 영상 데이터를 분석하여 상기 복수의 사용자들을 식별하여 제1 사용자 ID 및 제1 사용자 매칭율을 생성하고 상기 식별된 사용자의 동작을 분석하여 제1 행동 패턴 및 제1 행동 패턴 매칭율을 생성하는 영상 데이터 분석부;
상기 소리 데이터를 분석하여 상기 복수의 사용자들을 식별하여 제2 사용자 ID 및 제2 사용자 매칭율을 생성하고 상기 식별된 사용자의 행동을 유추하여 제2 행동 패턴 및 제2 행동 패턴 매칭율을 생성하는 소리 데이터 분석부; 및
상기 제1 사용자 매칭율 및 상기 제2 사용자 매칭율에 기초하여 상기 제1 사용자 ID 및 상기 제2 사용자 ID 중의 하나를 선택하여 상기 사용자 ID를 생성하고, 상기 제1 행동 패턴 매칭율 및 상기 제2 행동 패턴 매칭율에 기초하여 상기 제1 행동 패턴 및 상기 제2 행동 패턴 중의 하나를 선택하여 상기 행동 패턴을 생성하고, 상기 사용자 ID에 대해 상기 행동 패턴이 최초로 생성된 상기 시작 시각 및 상기 행동 패턴이 상이한 패턴으로 변경되는 상기 종료 시각을 생성하는 판단부를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제11 항에 있어서, 상기 영상 데이터 분석부는,
상기 복수의 사용자들 각각의 신체 이미지를 저장하는 제1 사용자 데이터베이스;
상기 영상 데이터에 포함되는 신체의 이미지를 상기 제1 사용자 데이터베이스에 저장된 상기 복수의 사용자들의 신체 이미지와 비교하여 가장 매칭율이 높은 신체 이미지에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 상기 제1 사용자 ID 및 상기 제1 사용자 매칭율로서 출력하는 제1 사용자 식별 회로;
복수의 행동 패턴들 각각에 상응하는 기준 영상을 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 영상 데이터베이스; 및
상기 영상 데이터에 포함되는 신체의 동작을 상기 기준 영상 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 영상들과 비교하여 가장 매칭율이 높은 기준 영상에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 상기 제1 행동 패턴 및 상기 제1 행동 패턴 매칭율로서 출력하는 제1 행동 패턴 분석 회로를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제11 항에 있어서, 상기 소리 데이터 분석부는,
상기 소리 데이터를 사람의 음성 데이터 및 배경 소리 데이터로 분리하는 소리 분리 회로;
상기 복수의 사용자들 각각의 음성 샘플을 저장하는 제2 사용자 데이터베이스;
상기 음성 데이터를 상기 제2 사용자 데이터베이스에 저장된 상기 복수의 사용자들의 음성 샘플과 비교하여 가장 매칭율이 높은 음성 샘플에 상응하는 사용자의 ID 및 상기 가장 높은 매칭율을 각각 상기 제2 사용자 ID 및 상기 제2 사용자 매칭율로서 출력하는 제2 사용자 식별 회로;
복수의 행동 패턴들 각각에 상응하는 기준 배경 소리를 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 소리 데이터베이스; 및
상기 배경 소리 데이터를 상기 기준 소리 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각에 상응하는 기준 배경 소리들과 비교하여 가장 매칭율이 높은 기준 배경 소리에 상응하는 행동 패턴 및 상기 가장 높은 매칭율을 각각 상기 제2 행동 패턴 및 상기 제2 행동 패턴 매칭율로서 출력하는 제2 행동 패턴 분석 회로를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제13 항에 있어서, 상기 소리 데이터 분석부는,
복수의 행동 패턴들 각각과 관련되는 기준 단어들에 대한 음성 샘플들을 상기 복수의 행동 패턴들 각각과 연관시켜 저장하는 기준 단어 데이터베이스; 및
상기 음성 데이터를 상기 기준 단어 데이터베이스에 저장된 상기 복수의 행동 패턴들 각각과 관련되는 기준 단어들에 대한 음성 샘플들과 비교하여 매칭되는 기준 단어들과 가장 많이 관련되는 행동 패턴을 제3 행동 패턴으로서 출력하고, 상기 제3 행동 패턴과 연관되는 전체 기준 단어들 중에서 매칭되는 단어들이 차지하는 비율을 제3 행동 패턴 매칭율로서 출력하는 제3 행동 패턴 분석 회로를 더 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제11 항에 있어서, 상기 판단부는,
상기 제1 사용자 매칭율이 상기 제2 사용자 매칭율보다 큰 경우 상기 제1 사용자 ID를 상기 사용자 ID로서 출력하고, 상기 제2 사용자 매칭율이 상기 제1 사용자 매칭율보다 큰 경우 상기 제2 사용자 ID를 상기 사용자 ID로서 출력하는 사용자 판단 회로;
상기 제1 행동 패턴 매칭율이 상기 제2 행동 패턴 매칭율보다 큰 경우 상기 제1 행동 패턴을 상기 행동 패턴으로 출력하고, 상기 제2 행동 패턴 매칭율이 상기 제1 행동 패턴 매칭율보다 큰 경우 상기 제2 행동 패턴을 상기 행동 패턴으로 출력하는 행동 패턴 판단 회로; 및
상기 사용자 ID 및 상기 행동 패턴을 수신하고, 상기 사용자 ID에 대해 상기 행동 패턴이 최초로 생성된 시각을 상기 시작 시각으로서 출력하고, 상기 사용자 ID에 대해 상기 행동 패턴이 상이한 패턴으로 변경되는 시각을 상기 종료 시각으로서 출력하는 시간 생성 회로를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 제10 항에 있어서, 상기 일상 건강 정보 측정 장치는 상기 복수의 사용자들이 생활하는 공간에 설치되고 각각이 열화상 데이터를 상기 분석부에 제공하는 복수의 열화상 카메라들을 더 포함하고,
상기 일상 건강 정보 측정 장치는 상기 카메라 및 상기 마이크로폰과 인접하여 설치되는 열화상 카메라로부터 수신되는 상기 열화상 데이터에 기초하여 상기 식별된 사용자의 체온을 측정하고 상기 측정된 체온, 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 상기 클라우드 서버에 전송하고,
상기 클라우드 서버는 상기 행동 데이터에 기초하여 상기 조회 기간 동안 상기 조회 사용자의 체온 변화를 제공하는 것을 특징으로 하는 일상 건강 정보 제공 시스템. - 복수의 사용자들이 생활하는 공간을 촬영하여 영상 데이터를 생성하는 단계;
상기 복수의 사용자들이 생활하는 공간에서 발생하는 소리를 탐지하여 소리 데이터를 생성하는 단계;
일상 건강 정보 측정 장치가 상기 영상 데이터 및 상기 소리 데이터에 기초하여 상기 복수의 사용자들을 식별하여 상기 사용자 ID를 생성하고, 상기 식별된 사용자의 동작에 상응하는 상기 행동 패턴을 생성하고, 상기 행동 패턴에 상응하는 동작의 상기 시작 시각 및 상기 종료 시각을 생성하고, 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각을 포함하는 상기 행동 데이터를 클라우드 서버로 전송하는 단계;
상기 클라우드 서버가 상기 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계; 및
상기 클라우드 서버가 상기 행동 데이터 및 상기 수정 행동 데이터에 기초하여 조회 사용자 ID에 상응하는 조회 사용자가 조회 기간 동안 소모한 총 칼로리양을 계산하여 제공하는 단계를 포함하는 일상 건강 정보 제공 방법. - 제17 항에 있어서, 상기 클라우드 서버가 상기 행동 데이터를 사용자의 이동 단말기에 전송하고, 상기 이동 단말기로부터 상기 행동 데이터가 일부 수정된 수정 행동 데이터 및 승인 신호 중의 하나를 수신하는 단계는,
상기 클라우드 서버가 상기 일상 건강 정보 측정 장치로부터 상기 행동 데이터를 수신하여 상기 행동 데이터를 제1 건강 정보 데이터베이스에 저장하는 단계;
상기 제1 건강 정보 데이터베이스에 저장된 상기 행동 데이터를 독출하고, 상기 행동 데이터에 포함되는 사용자 ID에 상응하는 사용자의 이동 단말기에 상기 행동 데이터를 전송하는 단계;
상기 이동 단말기로부터 상기 승인 신호를 수신하는 경우 상기 행동 데이터를 제2 건강 정보 데이터베이스에 저장하는 단계; 및
상기 이동 단말기로부터 상기 수정 행동 데이터를 수신하는 경우 상기 수정 행동 데이터를 상기 제2 건강 정보 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 일상 건강 정보 제공 방법. - 제18 항에 있어서, 상기 이동 단말기는 상기 클라우드 서버로부터 상기 행동 데이터를 수신하는 경우 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 디스플레이하고, 사용자의 승인 명령에 응답하여 상기 승인 신호를 상기 확인부에 제공하고, 사용자의 수정 명령에 응답하여 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각 중의 적어도 하나를 수정하여 상기 수정 행동 데이터를 생성하여 상기 클라우드 서버에 제공하는 것을 특징으로 하는 일상 건강 정보 제공 방법.
- 제19 항에 있어서, 상기 이동 단말기는 상기 클라우드 서버로부터 상기 행동 데이터를 수신하는 경우 캐릭터로 형상화된 아바타(avatar)를 표시하고 상기 아바타를 통해 상기 행동 데이터에 포함되는 사용자 ID, 행동 패턴, 시작 시각 및 종료 시각을 음성으로 출력하고, 상기 아바타와 대화를 수행하는 사용자의 음성을 분석하여 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각에 대한 상기 승인 명령 및 상기 사용자 ID, 상기 행동 패턴, 상기 시작 시각 및 상기 종료 시각 중의 적어도 하나에 대한 상기 수정 명령을 중의 하나를 생성하는 것을 특징으로 하는 일상 건강 정보 제공 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120029662A KR101434899B1 (ko) | 2012-03-23 | 2012-03-23 | 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 |
| PCT/KR2013/002426 WO2013141667A1 (ko) | 2012-03-23 | 2013-03-22 | 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120029662A KR101434899B1 (ko) | 2012-03-23 | 2012-03-23 | 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130107690A true KR20130107690A (ko) | 2013-10-02 |
| KR101434899B1 KR101434899B1 (ko) | 2014-08-27 |
Family
ID=49223026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120029662A KR101434899B1 (ko) | 2012-03-23 | 2012-03-23 | 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101434899B1 (ko) |
| WO (1) | WO2013141667A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10369928B2 (en) | 2017-03-27 | 2019-08-06 | Ford Global Technologies, Llc | Environment-dependent interface |
| KR102077632B1 (ko) * | 2018-10-10 | 2020-04-07 | (주)비바 | 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102337217B1 (ko) * | 2016-12-26 | 2021-12-09 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| CN106599302A (zh) * | 2016-12-29 | 2017-04-26 | 江西博瑞彤芸科技有限公司 | 会员用户体征数据的查询展示方法 |
| CN107066804A (zh) * | 2017-02-13 | 2017-08-18 | 上海斐讯数据通信技术有限公司 | 一种智能健康监控扶手及健康监控方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001275997A (ja) * | 2000-03-29 | 2001-10-09 | Ntt Me Corp | 健康管理情報システム |
| KR100963570B1 (ko) * | 2008-06-04 | 2010-06-15 | 브이앤아이 주식회사 | 응급상황 감지 시스템 및 이를 이용한 모니터링 방법 |
| KR20100025769A (ko) * | 2008-08-28 | 2010-03-10 | 건양대학교산학협력단 | 원격 건강 모니터링 시스템 |
| JP5246432B2 (ja) * | 2009-09-17 | 2013-07-24 | 株式会社日立製作所 | 健康管理システム、計算機及び情報管理方法 |
| KR20120013530A (ko) * | 2010-08-05 | 2012-02-15 | 주식회사 매경헬스 | 캐릭터를 이용한 건강관리 방법 및 시스템 |
-
2012
- 2012-03-23 KR KR1020120029662A patent/KR101434899B1/ko active IP Right Grant
-
2013
- 2013-03-22 WO PCT/KR2013/002426 patent/WO2013141667A1/ko active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10369928B2 (en) | 2017-03-27 | 2019-08-06 | Ford Global Technologies, Llc | Environment-dependent interface |
| KR102077632B1 (ko) * | 2018-10-10 | 2020-04-07 | (주)비바 | 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013141667A1 (ko) | 2013-09-26 |
| KR101434899B1 (ko) | 2014-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gokalp et al. | Monitoring activities of daily living of the elderly and the potential for its use in telecare and telehealth: a review | |
| CN103561652B (zh) | 用于辅助患者的方法和系统 | |
| JP5250827B2 (ja) | 行動履歴の生成方法及び行動履歴の生成システム | |
| US10062163B2 (en) | Health information service system | |
| US9357921B2 (en) | Wearable health monitoring system | |
| KR101434899B1 (ko) | 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법 | |
| WO2019017508A1 (ko) | 건강 컨설팅의 성공 예측 방법 | |
| Parra et al. | Multimedia sensors embedded in smartphones for ambient assisted living and e-health | |
| WO2014208070A1 (ja) | コミュニケーション管理システム | |
| JP7009342B2 (ja) | 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法 | |
| JP6244292B2 (ja) | 咀嚼検知システム、方法およびプログラム | |
| JP2013078567A (ja) | 遠隔健康監視データを提供するための方法および関連するシステム | |
| EP3084655A1 (en) | Scheduling device for scheduling patient monitoring by patient-accessible devices | |
| KR20200095457A (ko) | 비외과적 음용 검출을 위한 시스템 및 디바이스 | |
| EP3160328B1 (en) | Device, system and computer program for detecting a health condition of a subject | |
| US10777323B2 (en) | Device, system and method for assessing the ability of a person to carry out one or more activities | |
| JP2003102692A (ja) | 生体情報計測装置および健康管理システムおよび健康管理方法 | |
| JP2019058227A (ja) | ＩｏＴ計測器、健康ＳＮＳプラットフォーム、および、健康サービスシステム | |
| KR101927373B1 (ko) | 거주자 모니터링 방법, 장치 및 시스템 | |
| Augustyniak et al. | Turning domestic appliances into a sensor network for monitoring of activities of daily living | |
| Nugent et al. | Managing sensor data in ambient assisted living | |
| KR101226188B1 (ko) | 센서 노드와 임베디드 기기에 기반한 원격 환자 모니터링 시스템 | |
| JP2004255029A (ja) | 携帯端末、健康管理支援システム | |
| TWM565858U (zh) | 智能健康管理系統 | |
| KR101348108B1 (ko) | 일상 건강 정보 측정 장치 및 일상 건강 정보 측정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170821 Year of fee payment: 4 |