KR102197660B1 - 고령자 생활 패턴 인지 시스템 및 방법 - Google Patents
고령자 생활 패턴 인지 시스템 및 방법 Download PDFInfo
- Publication number
- KR102197660B1 KR102197660B1 KR1020190132444A KR20190132444A KR102197660B1 KR 102197660 B1 KR102197660 B1 KR 102197660B1 KR 1020190132444 A KR1020190132444 A KR 1020190132444A KR 20190132444 A KR20190132444 A KR 20190132444A KR 102197660 B1 KR102197660 B1 KR 102197660B1
- Authority
- KR
- South Korea
- Prior art keywords
- intention
- behavior
- action
- inferred
- posture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003909 pattern recognition Methods 0.000 title claims description 5
- 230000009471 action Effects 0.000 claims abstract description 149
- 230000006399 behavior Effects 0.000 claims abstract description 138
- 230000008447 perception Effects 0.000 claims abstract description 18
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000003542 behavioural effect Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 claims 1
- 230000036544 posture Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 14
- 235000012054 meals Nutrition 0.000 description 14
- 230000002354 daily effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000020595 eating behavior Effects 0.000 description 2
- 235000021205 intention to eat Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G06K9/00624—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Psychiatry (AREA)
- Emergency Management (AREA)
- Child & Adolescent Psychology (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
고령자 생활 패턴 인지 시스템 및 방법을 개시한다. 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 시스템은 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 적어도 하나의 행동 및 자세를 포함하는 지각 정보를 생성하는 지각 정보 수집부, 미리 정의된 온톨로지 및 추론 규칙을 기반으로 지각 정보를 전처리하여 행동 및 자세에 대응하는 의도 플루언트로 변환시키고, 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론하고, 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단하여 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 의도 추론부, 행위 의도를 학습하여 생활 패턴 모델을 생성하는 생활 패턴 학습부, 및 생활 패턴 모델을 화면에 표시하는 생활 패턴 표시부를 포함한다.
Description
본 발명은 고령자 생활 패턴 인지 시스템 및 방법에 관한 것으로, 특히 고령자의 일상적인 행위를 기반으로 하는 지각 정보를 이용하여 이벤트 연산 추론을 수행함으로써 고령자의 생활 패턴을 인지할 수 있는 고령자 생활 패턴 인지 시스템 및 방법에 관한 것이다.
다양한 요인으로 인해 인구 고령화 현상이 심화됨에 따라 고령화 문제를 해결하기 위한 연구들이 주목받고 있다. 특히, 주거 공간에서 발생하는 고령자의 일상 행동 및 자세 정보는 고령자의 생활 패턴을 인지하기 위한 행위 의도를 추론할 수 있는 중요한 근거가 되며, 개인의 생활 패턴에 따라 적합한 서비스를 제공할 수 있는 자료가 될 수 있다.
추론된 행위 의도로부터 생활 패턴을 인지하기 위해서는 시각적으로 분석된 결과를 표현하기 위한 분석 도구가 필요하다. 현재 빅데이터를 이용한 다양한 어플리케이션 및 분석 도구가 제공되고 있으며, 개인적, 관계적 측면 등의 다차원적 측면에서 측정을 시도하고 있으나, 측정을 위한 도구가 미비하여 제한점을 가진다.
또한, 실제 고령자의 주거 공간에서 발생하는 일상 행위 의도는 복합적으로 발생한다. 예를 들어, 식사와 같은 의도의 경우 특정 시점에서 단일 의도로 존재하지 않고, TV를 시청하면서 식사 행위가 복합적으로 발생할 수 있기 때문에 단일 의도 예측으로 얻는 정보는 불충분하고, 행위 의도가 부정확하게 인식될 수 있다.
상술한 문제점을 해결하기 위해 본 발명은 고령자의 일상적인 행위를 기반으로 하는 지각 정보를 이용하여 이벤트 연산 추론을 수행함으로써 고령자의 생활 패턴을 인지할 수 있는 고령자 생활 패턴 인지 시스템 및 방법을 제공하고자 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 시스템은 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 적어도 하나의 행동 및 자세를 포함하는 지각 정보를 생성하는 지각 정보 수집부; 미리 정의된 온톨로지 및 추론 규칙을 기반으로 상기 지각 정보를 전처리하여 상기 행동 및 자세에 대응하는 의도 플루언트로 변환시키고, 상기 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론하고, 상기 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단하여 상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 의도 추론부; 상기 행위 의도를 학습하여 생활 패턴 모델을 생성하는 생활 패턴 학습부; 및 상기 생활 패턴 모델을 화면에 표시하는 생활 패턴 표시부를 포함한다.
본 발명의 일 실시예에 있어서, 상기 지각 정보 수집부는 상기 사용자의 행위를 촬영하여 일상 행동 영상을 생성하는 센서부; 및 상기 일상 행동 영상으로부터 상기 행위에 대응하는 상기 사용자, 상기 행동 및 자세를 식별하여 상기 지각 정보를 생성하는 데이터 처리부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 의도 추론부는 상기 지각 정보가 입력될 때마다 상기 지각 정보를 이벤트로 변환시키고, 상기 이벤트를 상기 현재 시점에 대한 플루언트로 변환시키는 데이터 변환부; 상기 플루언트가 논리적으로 참인지 거짓인지를 판단하여 상기 행위 의도를 추론하는 이벤트 연산부; 상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인지 여부를 판단하고, 상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인 경우 상기 현재 시점에 추론된 행위 의도를 유지시키고, 상기 복합 행위 의도가 아닌 경우 상기 현재 시점에 추론된 행위 의도를 상기 적전 시점에 추론된 행위 의도로 교정시키는 복합 의도 식별부; 및 상기 추론된 행위 의도를 저장하는 저장부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 이벤트 및 플루언트는 상기 이벤트 연산의 술어 형식으로 표현되는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 이벤트는 상기 사용자의 행동을 나타내는 행동 이벤트 및 상기 사용자의 자세를 나타내는 자세 이벤트를 포함하고, 상기 플루언트는 상기 행동의 변화를 나타내는 행동 플루언트, 상기 자세의 변화를 나타내는 자세 플루언트, 상기 행동 및 자세의 변화에 대응하는 상기 행위 의도의 변화를 나타내는 상기 의도 플루언트를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 복합 의도 식별부는 아래의 [수학식 1]에 정의된 함수 값이 미리 설정된 임계 값보다 작은 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 교정하는 것을 특징으로 한다.
[수학식 1]
(여기에서, 상기 t는 상기 현재 시점, 상기 n은 교정 구간, 상기 i는 추론된 행위 의도임)
본 발명의 일 실시예에 있어서, 상기 온톨로지는 상기 행위 의도, 상기 행동 및 상기 자세를 술어 형식으로 정의하고, 상기 행위 의도에 대응하는 상기 행동 및 자세 간의 관계를 정의한 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 온톨로지는 상기 행위 의도에 대응하는 의도 클래스; 및 상기 의도 클래스에 종속되고, 상기 행동에 대응하는 적어도 하나의 객체를 포함하는 행동 클래스 및 상기 자세에 대응하는 적어도 하나의 객체를 포함하는 자세 클래스를 포함하고, 상기 행동 클래스 및 자세 클래스 각각의 객체는 상기 행위 의도에 대응하는 행동 및 자세를 나타내는 속성 값을 가지고, 상기 행동 클래스 및 자세 클래스 각각의 객체는 상호 연관 관계를 갖는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 생활 패턴 학습부는 상기 추론된 행위 의도의 빈도 수 및 패턴을 분석하여 상기 생활 패턴 모델을 생성하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 방법은 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 적어도 하나의 행동 및 자세를 포함하는 지각 정보를 생성하는 단계; 미리 정의된 온톨로지 및 추론 규칙을 기반으로 상기 지각 정보를 전처리하여 상기 행동 및 자세에 대응하는 의도 플루언트로 변환시키는 단계; 상기 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론하는 단계; 상기 추론된 행위 의도를 학습하여 생활 패턴 모델을 생성하는 단계; 및 상기 생활 패턴 모델을 화면에 표시하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 의도 플루언트로 변환시키는 단계는 상기 지각 정보가 입력될 때마다 상기 지각 정보를 상기 행동을 나타내는 행동 이벤트 및 상기 자세를 나타내는 자세 이벤트로 변환시키는 단계; 및 상기 현재 시점에 발생한 상기 행동 및 자세 이벤트 각각을 행동 및 자세 플루언트로 변환시키는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 행위 의도를 추론하는 단계는 상기 의도 플루언트가 논리적으로 참인지 거짓인지를 판단하는 단계; 및 상기 판단 결과 상기 의도 플루언트가 논리적으로 참인 경우 상기 의도 플루언트에 대응하는 상기 행위 의도를 상기 현재 시점부터 유지시키는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단하여 상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 단계는 상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인 경우 상기 현재 시점에 추론된 행위 의도를 유지시키는 단계; 및 상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도가 아닌 경우 상기 현재 시점에 추론된 행위 의도를 상기 적전 시점에 추론된 행위 의도로 교정시키는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 있어서, 상기 현재 시점에 추론된 행위 의도를 교정하는 단계는 아래의 [수학식 1]에 정의된 함수 값을 연산하는 단계; 및 상기 연산된 함수 값이 미리 설정된 임계 값보다 작은 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 변경하는 단계를 포함하는 것을 특징으로 한다.
[수학식 1]
(여기에서, 상기 t는 상기 현재 시점, 상기 n은 교정 구간, 상기 i는 추론된 행위 의도임)
본 발명의 일 실시예에 있어서, 상기 생활 패턴 모델을 생성하는 단계는 상기 추론된 행위 의도의 빈도 수 및 패턴을 분석하여 생활 패턴을 구성하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 고령자의 일상적인 행위를 기반으로 하는 지각 정보를 이용하여 이벤트 연산 추론을 수행함으로써 고령자의 생활 패턴을 인지할 수 있는 효과가 있다.
또한, 본 발명은 복합 행위 의도를 식별하여 정확하게 행위 의도를 인지할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 지각 정보 수집부의 상세 구성을 도시한 도면이다.
도 3은 도 2에 도시된 지각 정보 수집부에서 수행되는 지각 정보 수집 방법을 도시한 예시도이다.
도 4는 도 1에 도시된 의도 추론부의 상세 구성을 도시한 도면이다.
도 5는 도 4에 도시된 이벤트 연산 정의부를 통해 정의된 온톨로지를 구조를 설명하는 예시도이다.
도 6은 비정상적인 지각 정보로 인한 부정확한 추론 결과를 설명하는 예시도이다.
도 7 및 도 8은 도 1에 도시된 생활 패턴 학습부를 통해 학습된 생활 패턴 학습 모델을 시각적으로 설명하기 위해 도시한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 방법을 도시한 순서도이다.
도 2는 도 1에 도시된 지각 정보 수집부의 상세 구성을 도시한 도면이다.
도 3은 도 2에 도시된 지각 정보 수집부에서 수행되는 지각 정보 수집 방법을 도시한 예시도이다.
도 4는 도 1에 도시된 의도 추론부의 상세 구성을 도시한 도면이다.
도 5는 도 4에 도시된 이벤트 연산 정의부를 통해 정의된 온톨로지를 구조를 설명하는 예시도이다.
도 6은 비정상적인 지각 정보로 인한 부정확한 추론 결과를 설명하는 예시도이다.
도 7 및 도 8은 도 1에 도시된 생활 패턴 학습부를 통해 학습된 생활 패턴 학습 모델을 시각적으로 설명하기 위해 도시한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 시스템(100)은 지각 정보 수집부(110), 의도 추론부(120), 생활 패턴 학습부(130) 및 생활 패턴 표시부(140)를 포함한다. 지각 정보 수집부(110)는 일정 기간 동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 시간의 순서에 따라 순차적으로 수집하여 지각 정보(percept)를 생성한다.
여기에서, 사용자는 일정 연령 이상의 고령자이며, 미리 설정된 공간은 사용자의 주거 생활 공간일 수 있다. 지각 정보는 행위를 수행한 사용자(u)를 대응하는 키워드로 식별한 사용자 정보, 행위에 대응하는 행동(a)을 대응하는 키워드로 식별한 행동 정보 및 자세(p)를 대응하는 키워드로 식별한 자세 정보를 포함한다. 지각 정보는 아래와 같이 표현될 수 있다.
<지각 정보>
percept∈{u, a, p}
a∈{a1, a2, …, a55}
p∈{p1, p2, …, p10}
본 발명의 일 실시예는 고령자의 주거 생활 공간에서 발생할 수 있는 행위를 55종의 행동으로 정의하고, 자세를 10종의 자세로 정의한 경우를 예를 들어 설명한다. 즉, 지각 정보는 사용자, 55종의 행동 및 10종의 자세를 포함한다.
의도 추론부(120)는 지각 정보 수집부(110)로부터 지각 정보를 순차적으로 입력 받고, 미리 정의된 온톨로지 및 추론 규칙을 기반으로 지각 정보를 전처리하여 의도 플루언트로 변환시키고, 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론한다.
이벤트 연산은 시간에 따른 변화를 추론하는 방법으로서, 특정 사건을 이벤트로 정의하고, 시간에 따라 변화는 상황을 플루언트로 표현함으로써 순차적으로 변하는 시간의 흐름에 따라 발생한 이벤트들로 인해 발생 가능한 영향들을 표현하고 추론하는 방법이다.
본 발명의 일 실시예는 이벤트 연산 중 시간을 이산적으로 표현하는 DEC(Discrete Event Calculus) 방법을 사용한다. DEC 방식은 변화를 일으키는 사건이 발생하기 전까지 이전의 상태를 유지하는 관성의 법칙(Commonsense Law of Inertia)을 적용한다. 예를 들어, 책상 위에 책을 놓아둔 후 화장실을 다녀온 경우 상식적으로 책은 책상 위에 놓은 상태를 유지해야한다. 만약 책상 위에 책이 없는 경우 화장실에 다녀오는 동안 다른 이벤트가 발생한 것으로 추론할 수 있다.
그러나, 실제로 발생하는 일상 행위 의도는 복합적으로 발생하며, 복합적으로 발생하는 행위 의도를 인지하기 어렵기 때문에 생활 패턴 인지에 한계가 있다. 이에, 본 발명의 일 실시예에 따른 의도 추론부(120)는 현재 시점에 추론된 행위 의도가 복합 행위 의도인지 여부를 식별한다.
의도 추론부(120)는 현재 시점에 추론된 행위 의도가 직전 시점에 추론되어 유지된 행위 의도와 공존 가능한지 여부에 따라 현재 추론된 행위 의도를 선택적으로 유지하거나 종료시킬 수 있다.
구체적으로, 의도 추론부(120)는 현재 시점에 추론된 행위 의도가 직전 시점에 추론되어 유지된 행위 의도와 공존이 가능한 경우 현재 추론된 행위 의도를 복합 행위 의도로 판단하고, 현재 추론된 행위 의도를 유지 및 저장한다. 의도 추론부(120)는 공존이 불가능한 경우 현재 추론된 행위 의도를 종료시키고, 미리 설정된 임계 값에 따라 현재 추론된 행위 의도를 직전 시점에 추론되어 유지된 행위 의도로 교정한다.
생활 패턴 학습부(130)는 의도 추론부(120)를 통해 추론된 행위 의도를 학습하여 생활 패턴 모델을 생성한다. 생활 패턴 학습부(130)는 추론된 행위 의도를 기반으로 시간 별, 행위 의도 별 빈도 및 패턴을 확률 파라미터로 계산하여 생활 패턴 모델을 생성할 수 있다.
생활 패턴 표시부(140)는 생활 패턴 모델을 기반으로 사용자의 생활 패턴을 화면에 표시한다. 생활 패턴 표시부(140)는 그래프나 표 등을 이용하여 화면에 표시할 수 있다.
도 2는 도 1에 도시된 지각 정보 수집부의 상세 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 지각 정보 수집부(110)는 센서부(210), 데이터 처리부(220) 및 데이터 저장부(230)를 포함한다. 여기에서, 센서부(210)는 적어도 하나의 사용자의 행위를 촬영하여 일상 행동 영상을 생성한다. 센서부(210)는 열화상 카메라를 포함할 수 있다. 센서부(210)는 미리 설정된 공간 내에 고정되어 설치되거나, 이동하는 로봇 등에 설치될 수 있다.
데이터 처리부(220)는 일상 행동 영상을 전처리하여 지각 정보를 생성한다. 데이터 처리부(220)는 일상 행동 영상으로부터 사용자, 행동 및 자세를 대응하는 키워드로 태깅(tagging)하여 지각 정보를 생성할 수 있다. 데이터 처리부(220)는 지각 정보를 데이터 저장부(230)에 저장하고, 의도 추론부(120)에 전달할 수 있다.
도 3은 도 2에 도시된 지각 정보 수집부에서 수행되는 지각 정보 수집 방법을 도시한 예시도이다.
도 3에서, 먼저 센서부(210)는 미리 설정된 공간(310) 내에 설치된다. 여기에서, 미리 설정된 공간(310)은 특정 고령자의 주거 생활 공간일 수 있다. 센서부(210)는 복수 개 구비되어 고령자의 주거 생활 공간의 분리된 영역 각각에 배치될 수 있다. 센서부(210)는 미리 설정된 공간(310) 내에 존재하는 사용자를 촬영하여 시계열적으로 일상 행동 영상(320)을 생성한다.
데이터 처리부(220)는 일상 행동 영상(320)으로부터 적어도 하나의 사용자를 대응하는 키워드로 분류(330)하고, 해당 사용자의 행위에 대한 자세 및 행동을 대응하는 키워드로 분류(340)하여 지각 정보를 생성한다.
도 4는 도 1에 도시된 의도 추론부의 상세 구성을 도시한 도면이고, 도 5는 도 4에 도시된 이벤트 연산 정의부를 통해 정의된 온톨로지를 구조를 설명하는 예시도이고, 도 6은 비정상적인 지각 정보로 인한 부정확한 추론 결과를 설명하는 예시도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 의도 추론부(120)는 데이터 변환부(410), 이벤트 연산부(420), 복합의도 식별부(430) 및 저장부(440)를 포함한다.
여기에서, 데이터 변환부(410)는 지각 정보가 입력될 때마다 온톨로지를 기반으로 지각 정보를 이벤트로 변환시키고, 이벤트를 지각 정보가 입력된 시점에 대한 플루언트로 변환시킨다.
본 발명의 일 실시예에 따른 온톨로지는 행위 의도(intention), 행동(action) 및 자세(pose)를 정의하고, 행위 의도에 대응하는 행동 및 자세 간의 관계를 정의한다. 구체적으로, 온톨로지는 도 5에 도시된 바와 같이, 상위 클래스 및 상위 클래스에 종속되는 하위 클래스로 구성된 계층 구조를 갖는다. 상위 클래스는 의도 클래스이고, 하위 클래스는 행동 및 자세 클래스이다.
행동 클래스는 55종의 객체(instance)로 구성되고, 자세 클래스는 10종의 객체로 구성된다. 행동 및 자세 클래스 각각에 소속된 객체(instance)는 행동 및 자세 클래스의 객체(instance)와 속성(property) 관계를 통해 특정 행위 의도를 유발하는 행동 및 자세를 표현한다.
여기에서, 사용자마다 동일한 행위 의도를 서로 상이한 행동 및 자세로 유발시킬 수 있다. 따라서, 본 발명의 일 실시예는 특정 행위 의도를 의미하는 의도 클래스의 하위 클래스는 행동 및 자세 클래스의 서로 다른 객체와 관계를 맺는 객체로 표현할 수 있다.
예를 들어, 식사 행위 의도와 관련된 온톨로지 표현을 이벤트 연산에 용이하게 적용하기 위해 아래의 [표 1]과 같이 술어 형식으로 표현할 수 있다.
| TBox | ABox |
| Class(Intention), Class(Meal) |
Meal(mealFluent01) |
| Class(Action) | Action(pickup_spoon), Action(drink_liquid), |
| Class(Pose) | Pose(sitOnChair),Pose(stand) |
| subClassOf(Meal, Intention) | Intention(mealFluent01),Meal(mealFluent01) |
| Property(composedAcion) Property(composedPose) |
composedAction(mealFluent01, pickup_spoon), composedPose(mealFluent01, sitOnChair) |
여기에서, 클래스와 객체는 단항 술어(Unary Predicate) 형태로 표현되고, 클래스의 계층 관계와 객체 간의 속성 관계는 이항 술어(Binary Predicate) 형태로 표현된다. 예를 들어, 식사 클래스는 'Class(Meal)'로 표현되고, 식사 클래스의 객체인 'mealFluent01'은 'Meal(mealFluent01)'과 같이 표현될 수 있다.
본 발명의 일 실시예에서는 아래의 [표 2]와 같이 플루언트를 3가지로 분류하고, 이벤트를 2가지로 분류한다.
| 구분 | 예시 |
| 행위 의도 플루언트(intention fluent) | intention(u, i) |
| 행동 플루언트(action fluent) | action(u, a) |
| 자세 플루언트(pose fluent) | pose(u, p) |
| 행동 이벤트(action event) | called_action(u) |
| 자세 이벤트(pose event) | called_pose(u) |
여기에서, u는 사용자 ID(user_ID), i는 의도 ID(intention_ID), p는 자세 ID(pose_ID), a는 행동 ID(action_ID)이다. 즉, 본 발명의 일 실시예에 따른 플루언트(fluent)는 행동 및 자세의 변화에 대응하는 행위 의도 변화를 표현하는 행위 의도(intention) 플루언트, 행동 변화를 표현하는 행동 플루언트 및 자세 변화를 표현하는 자세 플루언트를 포함한다. 여기에서, 플루언트는 시간에 따라 값이 변화하는 술어로 표현될 수 있다.
예를 들어, 행위 의도 플루언트는 사용자 'park'이 식사(meal) 행위 의도를 갖는 경우 'intention(park, mealFluent01)'과 같이 표현할 수 있다. 행동 플루언트는 'kim이 숟가락을 집었다'와 같은 행동 변화를 'action(kim, pickup_spoon)'으로 표현할 수 있다. 자세 플루언트는 'kim이 서있다'와 같은 자세 변화를 'pose(kim, stand)'로 표현할 수 있다.
또한, 이벤트는 입력된 지각 정보를 기반으로 현재 시점에 발생한 행동을 표현하는 행동 이벤트(action event) 및 자세를 표현하는 자세 이벤트(pose event)를 포함한다.
예를 들어, 사용자 'kim'이 숟가락을 집는 행동에 대한 행동 이벤트는 'pickup_spoon(kim)'과 같은 형식으로 표현할 수 있고, 행동 이벤트에 사용되는 'called_action'에는 미리 정의된 55종의 행동을 이용하여 표현할 수 있다.
또한, 사용자 'kim'이 의자에 앉아있는 자세에 대한 자세 이벤트는 'sitOnChair(kim)'과 같은 형식으로 표현할 수 있고, 자세 이벤트에 사용되는 'called_pose'에는 미리 정의된 10종의 자세를 이용하여 표현할 수 있다.
데이터 변환부(410)는 이벤트 연산을 수행하기 위해 지각 정보를 이벤트 연산의 술어(Predicate) 형식의 이벤트로 자동 변환한다. 예를 들어, 데이터 변환부(410)는 t1 시점에 {kim, picup_spoon, sitOnchair}로 표현된 지각 정보가 입력된 경우 해당 지각 정보를 행동 이벤트 'pickup_spoon(kim)' 및 자세 이벤트 'sitOnChair(kim)'의 형식으로 변환시킨다.
데이터 변환부(410)는 변환된 행동 및 자세 이벤트를 t1 시점을 기준으로 이벤트 연산의 'Happens(e, t)' 형식의 술어로 변환시킨다. 여기에서, e는 이벤트이고, t는 시간이다. 즉, 'Happens(pickup_spoon(kim), t1'과 같은 형식의 술어로 변환된다.
데이터 변환부(410)는 온톨로지에 포함된 내용 중 행위 의도 추론에 필요한 내용을 추출하여 플루언트로 변환시킨다. 여기에서, 사용자 ID는 행위 의도 인지를 위해 실시간으로 입력된 지각 정보의 중심이 되는 인물을 기준으로 나타내기 위해 변수(?)로 나타낸다. 예를 들어, 식사 의도 클래스 'Class(Meal)'의 술어는 임의의 사용자인 '?u'가 식사 의도를 갖는다는 'intention(?u, mealFluent01)'로 변환될 수 있다.
이벤트 연산부(420)는 행위 의도를 미리 정의한 추론 규칙을 기반으로 의도 플루언트가 행위 시점에서 논리적으로 참/거짓(true/false)이 되는 것을 추론하여 행위 의도를 판단한다. 여기에서, 이벤트 연산부(420)는 추론 규칙을 적용하기 전에 행동 이벤트 및 자세 이벤트가 발생하면, 이에 대응하는 행동 플루언트 및 자세 플루언트는 참 값이 되어 이벤트가 시작되도록 추론된다. 추론 규칙은 아래의 [표 3]과 같이 이벤트 연산의 술어를 이용하여 정의된다.
| ID | 추론 규칙 예시 |
| IR0 | Happens(e, t)::Happens(ep(u),t) |
| IR1 | Initiates(e, f, t)::Initiates(ep(u),action(u,eid),t), ep=eid |
| Initiates(ep(u),pose(u,eid),t), ep=eid | |
| IR2 | HoldsAt(f1,t)∧HoldsAt(f2,t)∧HoldsAt(f3,t) Initiates(e, f1, t) |
| IR3 | HoldsAt(f1,t)∧HoldsAt(f2,t)∧HoldsAt(f3,t) Terminates(e, f1, t) |
여기에서, ep는 이벤트 술어이고, eid는 이벤트 ID이다. 추론 규칙은 4가지 추론 규칙(IR0~IR3)을 포함한다. 제1 추론 규칙(IR0)을 구성하는 'Happens(e, t)'은 지각 정보가 입력될 때마다 생성된다. 제2 및 제3 추론 규칙(IR1, IR2)을 구성하는 Initiates(e, f, t)는 온톨로지에 정의된 내용을 플루언트로 표현할 때, 의도 클래스 객체와 composedAction 및 composedPose의 속성 관계를 참조하여 동시에 자동으로 생성된다. 여기서, e는 이벤트 술어로서, 55종의 행동 이벤트 및 10종의 자세 이벤트로 표현되고, f는 플루언트로서, 행동 플루언트 및 자세 플루언트로 표현된다.
예를 들어, t1 시점에 'kim'이 숟가락을 집어든 행동의 지각 정보가 입력되면 이벤트 연산부(420)는 제1 추론 규칙(IR0)에 따라 'action(kim, pickup_spoon)'과 같은 형식의 행동 플루언트와 'pickup_spoon(kim)'과 같은 형식의 행동 이벤트를 생성한다. 그 다음, 이벤트 연산부(420)는 제2 추론 규칙(IR1)을 적용하여 'initiates(pickup_spoon(kim), action(kim, pickup_spoon), t1'과 같은 형식으로 변환시킨다. 여기에서, 이벤트 연산부(420)는 동일한 행위 의도일 경우에도 서로 상이한 행동 및 자세로 유발될 수 있으므로, 행동 이벤트와 행동 플루언트의 행동이 동일한지 여부를 검사하여 제2 추론 규칙(IR1)을 생성할 수 있다.
제3 추론 규칙(IR2)의 실행을 통해 시작(initiate)된 의도 플루언트는 해당 시점 이후 해당 행위 의도가 유지됨을 의미하고, 변화된 행위 의도는 시간 순서로 기록된다.
일반적으로 행위 의도는 사람의 생활 양식에 따라 복합적으로 발생할 수 있다. 예를 들어, 신문을 읽으면서 밥을 먹거나, 휴대폰으로 대화를 하면서 진공 청소기를 작동시키는 경우 행위 의도가 복합적으로 표현된다. 또한, 동일한 행위 시점에 공존할 수 없는 행위 의도도 존재한다.
예를 들어, 비정상적인 지각 정보가 수집되는 경우 도 6에 도시된 바와 같이, 부정확한 추론 결과를 볼 수 있다. (a)는 단일 의도 추론 과정에서의 부정확한 추론 결과를 나타내고, (b)는 복합 의도 추론 과정에서의 부정확한 추론 결과를 나타낸다. 즉, 부정확하거나 불완전한 지각 정보로 추론된 행위 의도는 잘못 종료되거나 불필요한 복합 의도를 유발할 수 있다.
따라서, 본 발명의 일 실시예에 따른 복합 의도 식별부(430)는 상기한 [표 3]에 예시된 제4 추론 규칙(IR3)을 기반으로 직전 시점까지 유지된 행위 의도와 현재 시점에 추론된 행위 의도 간의 공존 여부를 결정한다.
복합 의도 식별부(430)는 현재 시점에 추론된 행위 의도가 직전 시점까지 유지된 행위 의도와 공존이 가능한 경우 현재 시점에 추론된 행위 의도를 복합 행위 의도로 분류하여 유지시키고, 공존이 불가능한 경우 현재 시점에 추론된 행위 의도를 종료(Terminate)시킨다.
복합 의도 식별부(430)는 현재 수집되는 지각 정보를 이용하여 행위 의도 간의 충돌 의도(conflictIntention) 관계를 기반으로 공존 가능 여부를 판단하여 현재 행위 의도의 종료 여부를 결정한다. 여기에서, 복합 의도 식별부(430)는 모든 객체에 충돌(conflict) 관계를 표현하는 대신에 각 클래스의 대표 객체를 생성하여 충돌 관계를 연관시킨다.
이를 위해, 복합 의도 식별부(430)는 의도 클래스마다 대표 객체를 'representative+intention_name'와 같은 형태로 표현하며, 온톨로지를 이용하여 대표 객체 간의 충돌 관계를 'conflictIntention(representativeMeal, representative Cleaning)'와 같이 표현할 수 있다. 즉, 식사 의도와 청소 의도는 공존이 불가능한 의도임을 표현한다.
복합 의도 식별부(430)는 대표 객체의 공존 불가능한 관계와 행동 및 자세와의 composedAction 및 composedPose 관계는 특정 의도 플루언트를 종료시키는 제4 추론 규칙(IR3)으로 자동 변환시키고, 제4 추론 규칙(IR3)을 실행시켜 공존이 불가능한 행위 의도를 결정한다.
복합 의도 식별부(430)는 특정 행위 의도가 제4 추론 규칙(IR3)에 의해 종료되지 않은 상태에서 새로운 행위 의도가 시작되면 이전 행위 의도와 새로운 행위 의도는 복합 행위 의도로 판단하여 기록한다. 즉, 동일한 행위 시간에 2개 이상의 종료되지 않고 유지되는 행위 의도는 복합 행위 의도로 판단한다.
복합 의도 식별부(430)는 현재 시점에 추론된 행위 의도가 직전 시점에 추론되어 유지된 행위 의도와 공존이 불가능한 경우 아래의 [수학식 1]과 같이 정의된 불확실성 무게 함수(uncertainty weight function)를 이용하여 현재 시점에 추론된 행위 의도를 직전 시점에 추론되어 유지된 행위 의도로 교정한다.
여기에서, t는 현재 시점, n은 윈도우 크기(교정 기간), i는 각 시점에서 추론된 행위 의도이다. 불확실성 무게 함수는 현재의 추론 시점(t)를 중심으로 앞, 뒤 크기가 n인 윈도우를 설정하여 특정 행위 의도가 t 시점부터 t-n 시점까지 유지되거나 변경될 확률 파라미터
과 t 시점부터 t+n 시점까지 유지되거나 변경될 확률 파라미터 
로 구성된다.
n의 값이 큰 경우 행위 의도가 추론되는 시간이 연장될 수 있으나, 본 발명의 일 실시예는 10초 단위로 지각 정보를 입력 받고, n의 값을 적당한 크기로 설정하여 추론 시간을 최적화시킬 수 있다. 따라서, 적정한 추론 시간과 정확한 추론 결과를 얻을 수 있다.
복합 의도 식별부(430)는 현재 추론된 행위 의도에 대한 함수 값이 미리 설정된 임계값보다 작으면 현재 추론된 행위 의도를 이전 시점에 추론된 행위 의도로 교정한다. 즉, 복합 의도 식별부(430)는 부정확한 추론 결과를 정확한 추론 결과로 교정할 수 있다. 여기에서, 복합 의도 식별부(430)는 행위 의도가 기록된 순차적 지각 정보를 이용하여 확률 파라미터를 학습시킬 수 있다.
저장부(440)에는 온톨로지 및 추론 규칙이 저장된다. 또한, 저장부(440)에는 지각 정보가 입력될 때마다 추론된 행위 의도가 저장될 수 있다.
도 7 및 도 8은 도 1에 도시된 생활 패턴 학습부를 통해 학습된 생활 패턴 학습 모델을 시각적으로 설명하기 위해 도시한 예시도이다.
도 7에서, 생활 패턴 학습부(130)는 사용자의 지각 정보에 따라 추론된 행위 의도를 학습하여 빈도 수가 높은 행위 의도(710)를 분석하고, 3가지 성향의 생활 패턴(720)으로 분류한다. 예를 들어, 해당 사용자는 식사 준비와 소통 활동에 높은 빈도 수를 보이며, 사교적 성향, TV 애청자 및 소통적 성향을 갖는 것을 알 수 있다.
도 8에서, 생활 패턴 학습부(130)는 추론된 행위 의도를 시간 및 빈도에 따라 분류할 수 있고, 일정 패턴으로 발생한 행위 의도를 생활 패턴으로 구성할 수 있고, 일정 패턴 없이 많은 빈도수를 갖는 행위 의도는 사용자의 성향 판단을 할 수 있는 근거로 이용하여 사용자의 성향을 분석할 수 있다.
도 9는 본 발명의 일 실시예에 따른 고령자 생활 패턴 인지 방법을 도시한 순서도이다.
도 9에서, 먼저 지각 정보 수집부(110)는 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 지각 정보를 생성한다(단계 S910).
그 다음, 의도 추론부(120)는 미리 정의된 온톨로지 및 추론 규칙을 기반으로 지각 정보를 전처리하여 의도 플루언트로 변환(단계 S920)시키고, 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론한다(단계 S930).
이를 위해, 의도 추론부(120)는 지각 정보가 입력될 때마다 지각 정보를 행동 이벤트 및 자세 이벤트로 변환시키고, 현재 시점에 발생한 행동 및 자세 이벤트 각각을 행동 및 자세 플루언트로 변환시킨다. 그리고, 행동 및 자세 이벤트에 대응하는 의도 플루언트를 생성할 수 있다.
의도 추론부(120)는 의도 플루언트가 논리적으로 참인지 거짓인지를 판단하고, 의도 플루언트가 참인 경우 해당 의도 플루언트에 대응하는 행위 의도를 현재 시점부터 유지시킨다.
이때, 의도 추론부(120)는 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단한다. 판단 결과, 의도 추론부(120)는 현재 시점에 추론된 행위 의도가 복합 행위 의도인 경우 현재 시점에 추론된 행위 의도를 유지시키고, 복합 행위 의도가 아닌 경우 현재 시점에 추론된 행위 의도를 종료시키고, 직전 시점에 추론된 행위 의도로 교정한다.
그 다음, 생활 패턴 학습부(130)는 추론된 행위 의도를 학습하여 생활 패턴 모델을 생성하고, 생활 패턴 표시부(140)는 생활 패턴 모델을 화면에 표시한다(단계 S940).
따라서, 본 발명의 일 실시예는 고령자의 생활 환경으로부터 수집된 지각 정보를 이용하여 고령자의 행위 의도를 인지하고, 인지된 행위 의도를 분석하여 생활 패턴을 분석할 수 있다. 이에 따라, 고령화 사회에서 고령자의 생활 패턴을 이해하고, 고령자 개인 별로 맞춤 서비스 제공이 가능하며, 헬스 케어 및 고령자에 대한 개인적, 관계적인 분석으로 확장이 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 고령자 생활 패턴 인지 시스템
110: 지각 정보 수집부
120: 의도 추론부
130: 생활 패턴 학습부
140: 생활 패턴 표시부
110: 지각 정보 수집부
120: 의도 추론부
130: 생활 패턴 학습부
140: 생활 패턴 표시부
Claims (16)
- 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 적어도 하나의 행동 및 자세를 포함하는 지각 정보를 생성하는 지각 정보 수집부;
미리 정의된 온톨로지 및 추론 규칙을 기반으로 상기 지각 정보를 전처리하여 상기 행동 및 자세에 대응하는 의도 플루언트로 변환시키고, 상기 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론하고, 상기 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단하여 상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 의도 추론부;
상기 행위 의도를 학습하여 생활 패턴 모델을 생성하는 생활 패턴 학습부; 및
상기 생활 패턴 모델을 화면에 표시하는 생활 패턴 표시부를 포함하고,
상기 생활 패턴 학습부는 상기 추론된 행위 의도를 시간 및 빈도에 따라 분석하여 일정 패턴으로 발생한 행위 의도를 생활 패턴으로 구성하는 고령자 생활 패턴 인지 시스템. - 제1항에 있어서,
상기 지각 정보 수집부는
상기 사용자의 행위를 촬영하여 일상 행동 영상을 생성하는 센서부; 및
상기 일상 행동 영상으로부터 상기 행위에 대응하는 상기 사용자, 상기 행동 및 자세를 식별하여 상기 지각 정보를 생성하는 데이터 처리부를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 제1항에 있어서,
상기 의도 추론부는
상기 지각 정보가 입력될 때마다 상기 지각 정보를 이벤트로 변환시키고, 상기 이벤트를 상기 현재 시점에 대한 플루언트로 변환시키는 데이터 변환부;
상기 플루언트가 논리적으로 참인지 거짓인지를 판단하여 상기 행위 의도를 추론하는 이벤트 연산부;
상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인지 여부를 판단하고, 상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인 경우 상기 현재 시점에 추론된 행위 의도를 유지시키고, 상기 복합 행위 의도가 아닌 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 교정시키는 복합 의도 식별부; 및
상기 추론된 행위 의도를 저장하는 저장부를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 제3항에 있어서,
상기 이벤트 및 플루언트는 상기 이벤트 연산의 술어 형식으로 표현되는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 제4항에 있어서,
상기 이벤트는 상기 사용자의 행동을 나타내는 행동 이벤트 및 상기 사용자의 자세를 나타내는 자세 이벤트를 포함하고, 상기 플루언트는 상기 행동의 변화를 나타내는 행동 플루언트, 상기 자세의 변화를 나타내는 자세 플루언트, 상기 행동 및 자세의 변화에 대응하는 상기 행위 의도의 변화를 나타내는 상기 의도 플루언트를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 제3항에 있어서,
상기 복합 의도 식별부는 아래의 [수학식 1]에 정의된 함수 값이 미리 설정된 임계 값보다 작은 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 교정하는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템.
[수학식 1]
(여기에서, 상기 t는 상기 현재 시점, 상기 n은 교정 구간, 상기 i는 추론된 행위 의도임) - 제1항에 있어서,
상기 온톨로지는 상기 행위 의도, 상기 행동 및 상기 자세를 술어 형식으로 정의하고, 상기 행위 의도에 대응하는 상기 행동 및 자세 간의 관계를 정의한 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 제7항에 있어서,
상기 온톨로지는
상기 행위 의도에 대응하는 의도 클래스; 및
상기 의도 클래스에 종속되고, 상기 행동에 대응하는 적어도 하나의 객체를 포함하는 행동 클래스 및 상기 자세에 대응하는 적어도 하나의 객체를 포함하는 자세 클래스를 포함하고,
상기 행동 클래스 및 자세 클래스 각각의 객체는 상기 행위 의도에 대응하는 행동 및 자세를 나타내는 속성 값을 가지고, 상기 행동 클래스 및 자세 클래스 각각의 객체는 상호 연관 관계를 갖는 것을 특징으로 하는 고령자 생활 패턴 인지 시스템. - 삭제
- 일정 기간동안 미리 설정된 공간 내에 존재하는 적어도 하나의 사용자의 행위를 순차적으로 수집하여 적어도 하나의 행동 및 자세를 포함하는 지각 정보를 생성하는 단계;
미리 정의된 온톨로지 및 추론 규칙을 기반으로 상기 지각 정보를 전처리하여 상기 행동 및 자세에 대응하는 의도 플루언트로 변환시키는 단계;
상기 의도 플루언트에 대한 이벤트 연산을 수행하여 현재 시점의 행위 의도를 추론하는 단계;
상기 추론된 행위 의도를 학습하여 생활 패턴 모델을 생성하는 단계; 및
상기 생활 패턴 모델을 화면에 표시하는 단계를 포함하고,
상기 생활 패턴 모델을 생성하는 단계는 상기 추론된 행위 의도를 시간 및 빈도에 따라 분석하여 일정 패턴으로 발생한 행위 의도를 생활 패턴으로 구성하는 고령자 생활 패턴 인지 방법. - 제10항에 있어서,
상기 의도 플루언트로 변환시키는 단계는
상기 지각 정보가 입력될 때마다 상기 지각 정보를 상기 행동을 나타내는 행동 이벤트 및 상기 자세를 나타내는 자세 이벤트로 변환시키는 단계; 및
상기 현재 시점에 발생한 상기 행동 및 자세 이벤트 각각을 행동 및 자세 플루언트로 변환시키는 단계를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 방법. - 제10항에 있어서,
상기 행위 의도를 추론하는 단계는
상기 의도 플루언트가 논리적으로 참인지 거짓인지를 판단하는 단계; 및
상기 판단 결과 상기 의도 플루언트가 논리적으로 참인 경우 상기 의도 플루언트에 대응하는 상기 행위 의도를 상기 현재 시점부터 유지시키는 단계를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 방법. - 제10항에 있어서,
상기 현재 시점에 추론된 행위 의도가 직전 시점에 추론된 행위 의도와 공존 가능한 복합 행위 의도인지 여부를 판단하여 상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 단계를 더 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 방법. - 제13항에 있어서,
상기 현재 시점에 추론된 행위 의도를 선택적으로 유지시키는 단계는
상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도인 경우 상기 현재 시점에 추론된 행위 의도를 유지시키는 단계; 및
상기 현재 시점에 추론된 행위 의도가 상기 복합 행위 의도가 아닌 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 교정시키는 단계를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 방법. - 제14항에 있어서,
상기 현재 시점에 추론된 행위 의도를 교정하는 단계는
아래의 [수학식 1]에 정의된 함수 값을 연산하는 단계; 및
상기 연산된 함수 값이 미리 설정된 임계 값보다 작은 경우 상기 현재 시점에 추론된 행위 의도를 상기 직전 시점에 추론된 행위 의도로 변경하는 단계를 포함하는 것을 특징으로 하는 고령자 생활 패턴 인지 방법.
[수학식 1]
(여기에서, 상기 t는 상기 현재 시점, 상기 n은 교정 구간, 상기 i는 추론된 행위 의도임) - 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190132444A KR102197660B1 (ko) | 2019-10-23 | 2019-10-23 | 고령자 생활 패턴 인지 시스템 및 방법 |
| PCT/KR2019/015624 WO2021080073A1 (ko) | 2019-10-23 | 2019-11-15 | 고령자 생활 패턴 인지 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190132444A KR102197660B1 (ko) | 2019-10-23 | 2019-10-23 | 고령자 생활 패턴 인지 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102197660B1 true KR102197660B1 (ko) | 2021-01-04 |
Family
ID=74127402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190132444A KR102197660B1 (ko) | 2019-10-23 | 2019-10-23 | 고령자 생활 패턴 인지 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102197660B1 (ko) |
| WO (1) | WO2021080073A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220150553A (ko) | 2021-05-04 | 2022-11-11 | 숭실대학교산학협력단 | 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치 |
| WO2023017930A1 (ko) * | 2021-08-13 | 2023-02-16 | 숭실대학교산학협력단 | 사용자 피드백 기반 행위 의도 추론 방법 및 장치 |
| KR20240057777A (ko) | 2022-10-25 | 2024-05-03 | 한국전자통신연구원 | 생활 패턴 판단 장치 및 방법 |
| KR102720760B1 (ko) * | 2021-08-13 | 2024-10-22 | 숭실대학교산학협력단 | 사용자 피드백 기반 행위 의도 추론 방법 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090070010A (ko) * | 2007-12-26 | 2009-07-01 | 연세대학교 산학협력단 | 특이성 상황정보 추출 장치 및 그 방법 |
| JP2013131170A (ja) * | 2011-12-22 | 2013-07-04 | Hitachi Ltd | 行動属性分析方法および装置 |
| KR20160041203A (ko) * | 2014-10-07 | 2016-04-18 | 주식회사 제너럴유스 | 온톨로지를 이용한 독거노인 케어 시스템 |
| KR101766583B1 (ko) | 2016-04-27 | 2017-08-09 | 숭실대학교산학협력단 | 전문가의 지식을 이용한 온톨로지 기반의 추론 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195678A (ja) * | 2000-01-07 | 2001-07-19 | Karudeia:Kk | 高齢者・障害者等生活管理支援システム |
-
2019
- 2019-10-23 KR KR1020190132444A patent/KR102197660B1/ko active IP Right Grant
- 2019-11-15 WO PCT/KR2019/015624 patent/WO2021080073A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090070010A (ko) * | 2007-12-26 | 2009-07-01 | 연세대학교 산학협력단 | 특이성 상황정보 추출 장치 및 그 방법 |
| JP2013131170A (ja) * | 2011-12-22 | 2013-07-04 | Hitachi Ltd | 行動属性分析方法および装置 |
| KR20160041203A (ko) * | 2014-10-07 | 2016-04-18 | 주식회사 제너럴유스 | 온톨로지를 이용한 독거노인 케어 시스템 |
| KR101766583B1 (ko) | 2016-04-27 | 2017-08-09 | 숭실대학교산학협력단 | 전문가의 지식을 이용한 온톨로지 기반의 추론 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 배석현 외 5인 ‘생활 패턴 인지를 위한 이벤트 연산 기반 예측 모델 학습 기법’ (2015.08.13.)* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220150553A (ko) | 2021-05-04 | 2022-11-11 | 숭실대학교산학협력단 | 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치 |
| KR102544825B1 (ko) * | 2021-05-04 | 2023-06-16 | 숭실대학교산학협력단 | 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치 |
| WO2023017930A1 (ko) * | 2021-08-13 | 2023-02-16 | 숭실대학교산학협력단 | 사용자 피드백 기반 행위 의도 추론 방법 및 장치 |
| KR102720760B1 (ko) * | 2021-08-13 | 2024-10-22 | 숭실대학교산학협력단 | 사용자 피드백 기반 행위 의도 추론 방법 및 장치 |
| KR20240057777A (ko) | 2022-10-25 | 2024-05-03 | 한국전자통신연구원 | 생활 패턴 판단 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021080073A1 (ko) | 2021-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102197660B1 (ko) | 고령자 생활 패턴 인지 시스템 및 방법 | |
| CN109074117B (zh) | 提供基于情绪的认知助理系统、方法及计算器可读取媒体 | |
| EP2713881B1 (en) | Method and system for assisting patients | |
| US9244888B2 (en) | Inferring placement of mobile electronic devices | |
| KR101574884B1 (ko) | 표정 추정 장치, 제어 방법, 제어 프로그램, 및 기록 매체 | |
| JP7285589B2 (ja) | 対話型健康状態評価方法およびそのシステム | |
| US20220157058A1 (en) | Methods and apparatus for displaying, compressing and/or indexing information relating to a meeting | |
| CN111061831A (zh) | 机器客服向人工客服切换方法、装置及电子设备 | |
| JP6002796B1 (ja) | 感性評価装置、感性評価方法、およびプログラム | |
| KR102466438B1 (ko) | 인지 기능 평가 시스템 및 인지 기능 평가 방법 | |
| JP6941800B2 (ja) | 感情推定装置、感情推定方法及びプログラム | |
| WO2011104677A1 (en) | Method and apparatus for computer relevancy | |
| CN110737687A (zh) | 数据查询方法、装置、设备及存储介质 | |
| US11928163B2 (en) | Apparatus, method and computer program for creating digital memories for a particular person | |
| CN117668763B (zh) | 基于多模态的数字人一体机及其多模态感知识别方法 | |
| CN109129467B (zh) | 一种基于认知的机器人交互方法及系统 | |
| KR102577604B1 (ko) | 인공지능에 기반한 일식 주점 메뉴 추천 시스템 | |
| KR20100137963A (ko) | 점증적 통계기법을 이용한 행동패턴 추출 및 의도추론에 대한 장치 및 방법 | |
| Clear et al. | Situvis: A sensor data analysis and abstraction tool for pervasive computing systems | |
| US20230162494A1 (en) | System and method for ontology guided indoor scene understanding for cognitive robotic tasks | |
| JP2020021226A (ja) | Ｑｏｌ解析装置及びプログラム | |
| KR100982164B1 (ko) | 행동이론 기반의 행동인지 방법 및 장치 | |
| KR20210028375A (ko) | 로봇의 사용자 적응형 행동 인식 방법 및 이를 위한 장치 | |
| EP4378638A2 (fr) | Procédé de commande d'une pluralité d'effecteurs d'un robot | |
| GB2578878A (en) | System and method for digital hippocampal simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |