KR20190090738A - 사용자 행동 예측 방법 및 사용자 행동 예측 장치 - Google Patents

사용자 행동 예측 방법 및 사용자 행동 예측 장치 Download PDF

Info

Publication number
KR20190090738A
KR20190090738A KR1020190078648A KR20190078648A KR20190090738A KR 20190090738 A KR20190090738 A KR 20190090738A KR 1020190078648 A KR1020190078648 A KR 1020190078648A KR 20190078648 A KR20190078648 A KR 20190078648A KR 20190090738 A KR20190090738 A KR 20190090738A
Authority
KR
South Korea
Prior art keywords
user
time
user behavior
place
information
Prior art date
Application number
KR1020190078648A
Other languages
English (en)
Inventor
김남준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190078648A priority Critical patent/KR20190090738A/ko
Publication of KR20190090738A publication Critical patent/KR20190090738A/ko
Priority to US16/697,977 priority patent/US20210004705A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 사용자의 행동을 기록하고, 기록된 사용자 행동을 통해 사용자 행동을 예측한 뒤, 5G 통신 환경에서 다른 전자 기기들 및 외부 서버와 통신하여 예측된 사용자 행동과 연관되는 동작이 외부 기기에서 실행되도록 하는 사용자 행동 예측 방법 및 사용자 행동 예측 장치가 개시된다. 본 발명에 의하여 사용자의 행동 패턴이 예측되면 사용자가 사용하는 외부 기기를 직접 조작하거나 설정할 필요 없이 외부 기기를 제어하여 상황에 맞게 외부 기기를 통해 사용자의 다음 행동이 이루어질 수 있다.

Description

사용자 행동 예측 방법 및 사용자 행동 예측 장치{METHOD AND APPARATUS FOR PREDICTING USER BEHAVIOR}
본 발명은 사용자 행동을 예측하여 예측된 사용자 행동에 연관된 동작을 실행할 수 있는 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자 기기 또는 사용자 기기와 연결된 외부 기기에서 임의의 시점에서부터 일정 시간 이후의 사용자 행동을 시간에 따라 사용자의 이동, 액션, 장소에 따른 데이터 사이의 상관 관계에 기초하여 사용자 행동을 예측한 뒤, 예측된 사용자 행동에 연관되는 동작이 외부 기기에서 실행되도록 하는 사용자 행동 예측 방법 및 사용자 행동 예측 장치에 관한 것이다.
최근 들어 운전자에게 차량 정보를 효율적이고 효과적으로 제공하기 위한 사용자 중심의 차량용 UI(User Interface), UX(User Experience) 등에 대한 개발이 활발히 진행되고 있다.
이러한 개발의 예로서 음성인식 시스템 등을 들 수 있고, 웹을 기반으로 하는 음성인식 시스템은 이들은 단순 서비스뿐만 아니라 사용자 맞춤형 정보까지 제공할 수 있다.
또한, 스마트폰 기술이 차량 플랫폼 기술에 지원되면서 스마트폰 정보를 기반으로 하는 상황 판단 시스템이 차량에 탑재되는 추세이며, 스마트폰 정보를 기반으로 하는 차량용 특화 서비스도 방대하게 제공되고 있다.
특히, 운전자의 취미, 특성 등의 기존 정보 또는 반복되는 정보를 분석하고 분석된 정 보를 토대로 주행 중 운전자의 상태를 인식하여 적절한 정보를 제공할 수 있는 기술이 선행기술 1 및 선행기술 2에 의해 개시되어 있다.
선행기술 1에는 차량 특성과 운전자 특성에 대한 실시간 분석 및 학습데이터 업데이트를 통한 운전자 UX, 차량의 주행 상황, 차량의 주변 상황 등 차량 주행 중 발생할 수 있는 모든 데이터를 분석하여 정답 데이터를 제공하고, 발생할 수 있는 문제를 실시간으로 추적할 수 있는 기술이 개시되어 있으나, 운전자가 소지한 휴대 단말에서 수집한 운전자의 활동을 예측하여 예측된 운전자 활동에 연관된 동작을 실행할 수 있는 기술을 제시하는데 한계가 있다.
선행기술 2에는 스마트폰을 통해 사용자의 라이프 로그를 수집하고, 수집된 라이프 로그를 통해 사용자의 다음 행위를 과거 이력으로부터 예측할 수 있는 기술이 기재되어 있으나, 예측된 사용자의 다음 행위 정보가 스마트폰과 연결된 외부 기기를 제어할 수 있는 기술을 제시하는 데에는 한계가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
[선행기술문헌]
[특허문헌]
선행기술 1: 한국 등록특허 제10-1807514호 (2017.12.05. 등록)
선행기술 2: 한국 등록특허 제10-1702502호 (2017.01.26. 등록)
본 발명의 일 과제는, 사용자의 행동 패턴이 예측되면 사용자가 사용하는 외부 기기를 직접 조작하거나 설정할 필요 없이 외부 기기를 제어하여 상황에 맞게 외부 기기를 통해 사용자의 다음 행위가 이루어지도록 하는데 있다.
본 발명의 일 과제는, 시간에 따라 사용자의 이동, 액션, 장소에 대한 데이터의 상관 관계에 따라 사용자의 다음 행위를 예측하여 사용자 기기 또는 사용자 기기와 연결된 외부 기기가 동작할 수 있도록 하는데 있다.
본 발명의 일 과제는, 사용자가 사용자 정보를 사용자 기기와 연결된 외부기기에 전송하지 않아도, 사용자 기기에 수집된 정보를 기초로 예측된 다음 행위에 따라 외부 기기의 프로세서를 제어할 수 있도록 함으로써 사용자 기기에 수집된 정보가 외부로 누출되는 것을 방지할 수 있는데 있다.
본 발명의 일 과제는, 사용자 기기에 수집된 정보를 기초로 사용자 기기와 연결된 외부 기기가 사용자가 요구하는 최적화된 상태에서 동작할 수 있도록 하는데 있다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 실시예에 따른 사용자 행동 예측 방법은, 사용자 기기를 통해서 사용자 행동을 예측하기 위한 방법이다. 이를 위해, 사용자 기기의 센서, 외부 신호 수신부, 및 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 통해 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록하는 단계와, 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습하여 사용자 행동 예측 모델을 생성하는 단계와, 센서, 외부 신호 수신부, 및 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 기초로 사용자 행동이 감지되면, 사용자 행동 예측 모델을 기초로 사용자 기기가 사용자 행동을 예측하고, 예측된 사용자 행동에 연관되는 동작을 실행하는 단계를 포함한다.
즉, 본 발명의 실시예에 따른 사용자 행동 예측 방법에 의하여 사용자 기기 또는 사용자 기기와 연결된 외부 기기에서 임의의 시점에서부터 일정 시간 이후의 사용자 행동을 시간에 따라 사용자의 행동 패턴을 예측하고, 예측된 사용자 행동에 연관되는 동작을 외부 기기에서 실행하게 된다. 이때, 외부 기기를 사용자가 직접 조작하거나 설정하지 않고 예측된 사용자의 행동에 연관되는 동작을 실행함으로써, 외부 기기를 이용하는 사용자가 요구하는 최적화된 서비스를 개인의 실정에 맞게 제공받을 수 있게 된다.
본 발명의 기록하는 단계는, 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 제2 장소에 일정 시간 이상 머무르는 경우, 제1 장소에서 제2 장소로의 이동을 나타내는 M(t)을 기록하는 단계 와, 사용자 기기의 인터페이스를 통해 입력되는 신호 또는 외부 기기로부터 수신되는 정보로부터 파악되는 사용자 행동을 나타내는 A(t)를 기록하는 단계 및 외부 기기 또는 사용자 기기로 파악되는 위치 정보에 기초하여 사용자가 있는 장소를 나타내는 S(t)를 기록하는 단계를 포함할 수 있다.
본 발명의 사용자 행동 예측 방법에 의하여 외부 기기를 통해 실행 예정인 사용자 행동을 실행하기 위해 사용자 정보를 사용자 기기와 연결된 외부 기기에 전송하지 않고, 사용자 기기가 외부 기기를 제어하기 위한 정보를 보유한 허브(hub) 역할을 하게 될 수 있다. 이로 인해, 외부 기기에 직접 사용자 정보를 입력하지 않고도, 외부 기기의 프로세서를 제어할 수 있도록 함으로써 사용자 기기에 수집된 개인 정보가 외부로 누출되는 것을 방지할 수 있다.
이때, M(t)를 기록하는 단계에서 사용자가 제1 장소에서 벗어나 제2 장소로 이동하는 시점 또는, 사용자가 제2 장소로 도착한 시점 중 적어도 어느 하나의 시점에 기록할 수 있다.
본 실시예의 M(t)를 기록하는 단계에 의하여 다양한 조건에 따른 사용자의 이동 정보를 수집할 수 있으므로 보다 정확한 사용자의 이동 정보에 따른 사용자의 행동 패턴을 예측할 수 있게 된다.
또한, A(t)를 기록하는 단계에서 A(t)는, 외부로부터 수신된 결제 정보로부터 파악되는 사용자가 임의의 물건을 구매한 구매 정보, 애플리케이션 실행부로부터 파악되는 사용자 기기에서 실행되는 애플리케이션에 대한 정보 또는 외부 기기로부터 수신되는 신호로부터 파악되는 외부 기기에서 실행된 동작 중 적어도 어느 하나일 수 있다.
구체적으로 외부 기기의 인터페이스를 통해 입력되는 외부 기기의 설정 명령의 경우, 차량의 공조기를 셋팅하는 정보이거나, 차량 네비게이션을 이용하여 목적지를 설정하는 정보 등이 될 수 있다.
본 실시예의 A(t)를 기록하는 단계에 의하여 다양한 조건에서의 사용자의 행동 정보를 수집하여 사용자가 다음에 실행할 행위를 보다 정확하게 예측할 수 있게 된다.
한편, 사용자 행동 예측 모델을 생성하는 단계에서 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계는, 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+ t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률과, 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+ t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률 및 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+ t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 포함할 수 있다.
본 실시예에 따른 확률 상관 관계를 통해 사용자의 생활 습관에 따른 사용자의 행동 패턴을 예측할 수 있다. 즉, 사용자가 실행할 다음 행동을 확률적으로 예측함으로써, 사용자가 실행하고자 하는 동작과 연관되어 실행되는 외부 기기 동작의 일치도가 향상될 수 있다.
한편, 사용자 행동 예측 모델을 생성하는 단계는, 임의의 시점(t₁)의 S(t₁)에서 일정 시간 이후의 시점(t₁+△t)의 S(t₁+△t)로 사용자가 이동하는 방법, S(t₁)에서 S(t₁+△t)를 이동하는 동안의 외부 온도 중 어느 하나를 기초로 사용자 행동 예측 모델을 생성하는 단계를 포함할 수 있다.
본 실시예에 따른 사용자 행동 예측 모델을 생성하는 단계를 통하여, 여러 상황에 따라 사용자 행동 패턴을 결정하는 상황을 구체화할 수 있게 된다.
또한, 사용자 행동 예측 모델을 생성하는 단계는, 임의의 시점(t₁)에서 일정 시간 이후(t₁+△t) 동안 사용자 기기 및 카메라가 장착된 인공지능 가전 기기에서 수집된 사용자 행동 정보를 기초로 일정 시간 이후(t₁+△t) 예측 가능한 사용자 행동 예측 모델을 생성할 수 있다.
본 실시예에 따른 사용자 행동 예측 모델을 생성하는 단계를 통하여, 사용자 기기를 사용하는 사용자가 특정 공간에 있으며 다양한 가전 기기 및 인공지능 기기들과 연결될 수 있으며, 다양한 가전 기기, 인공지능 기기 및 사용자 기기의 사용 패턴들을 통해 보다 정확하게 사용자의 행동 패턴을 학습할 수 있게 된다.
또한, 사용자 행동을 예측하고, 예측된 사용자 행동과 연관되는 동작을 수행하는 단계는, 예측된 사용자 행동 예측 모델에 기초하여 사용자 기기의 인터페이스 또는 외부 기기를 통해 사용자 기기에 지시될 것으로 예상되는 동작을 먼저 실행하도록 할 수 있다.
본 실시예에 따른 사용자 행동을 예측하고, 예측된 사용자 행동과 연관되는 동작을 수행하는 단계를 통해 사용자의 행동 패턴이 예측되면 사용자가 직접 외부 기기를 조작하거나 설정할 필요 없이 개인별, 상황별로, 최적화된 서비스를 제공받을 수 있게 된다.
본 발명의 실시예에 따른 사용자 행동 예측 장치는, 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록 가능한 정보 기록부와, 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습하는 학습부와, 학습된 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계에 기초하여 사용자 행동 예측 모델을 생성하는 활동 예측부 및 사용자 행동이 감지되면, 사용자 행동 예측 모델에 기초하여 예측된 사용자 행동에 연관되는 동작을 사용자 기기에서 수행하도록 제어하는 기기 제어부를 포함할 수 있다.
본 실시예에 따른 사용자 행동을 예측하는 장치를 통해 사용자의 행동 패턴을 예측하고, 예측된 사용자 행동에 연관되는 동작을 외부 기기에서 실행하게 된다. 이때, 외부 기기를 사용자가 직접 조작하거나 설정하지 않고 예측된 사용자의 행동에 연관되는 동작을 실행함으로써, 외부 기기를 이용하는 사용자가 요구하는 최적화된 서비스를 개인의 실정에 맞게 제공받을 수 있게 된다.
본 발명의 실시예에 따른 사용자 행동 예측 장치의 정보 기록부는, 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 제2 장소에 일정 시간 이상 머무르는 경우, 제1 장소에서 제2 장소로의 이동을 나타내는 M(t)를 기록하는 이동데이터 기록부와, 사용자 기기의 인터페이스를 통해 입력되는 신호 또는 외부 기기로부터 수신되는 정보로부터 파악되는 사용자 행동을 나타내는 A(t)를 기록하는 액션데이터 기록부 및 외부 기기 또는 사용자 기기로 파악되는 위치 정보에 기초하여 파악되는 사용자가 있는 장소를 나타내는 S(t)를 기록하는 장소데이터 기록부를 포함할 수 있다.
본 실시예에 따른 정보 기록부를 통하여 사용자의 활동 패턴을 사용자의 이동, 액션, 장소에 따라 예측할 수 있으므로, 다양한 조건에서 사용자의 활동을 예측할 수 있다.
본 발명의 실시예에 따른 사용자 행동 예측 장치의 이동데이터 기록부는, 사용자가 제1 장소에서 벗어나 제2 장소로 이동하는 시점 또는, 사용자가 제2 장소로 도착한 시점 중 적어도 어느 하나의 시점의 이동데이터를 기록할 수 있다.
본 실시예에 따른 이동데이터 기록부를 통하여, 사용자의 이동 변화 양상을 정확하게 분석하고, 보다 정확한 이동데이터(M(t))의 정보를 수집할 수 있게 된다.
또한, 본 발명의 실시예에 따른 사용자 행동 예측 장치의 액션데이터 기록부는, 외부로부터 수신된 결제 정보로부터 파악되는 사용자가 임의의 물건을 구매한 구매 정보, 애플리케이션 실행부로부터 파악되는 사용자 기기에서 실행되는 애플리케이션에 대한 정보 또는 외부 기기로부터 수신되는 신호로부터 파악되는 외부 기기에서 실행된 동작 중 적어도 어느 하나를 기록할 수 있다.
본 실시예에 따른 액션데이터 수신부는 구체적으로, 외부 기기의 인터페이스를 통해 입력되는 외부 기기의 설정 명령의 경우, 차량의 공조기를 셋팅하는 정보이거나, 차량 네비게이션을 이용하여 목적지를 설정하는 정보 등을 수신할 수 있다.
본 발명의 실시예에 따른 사용자 행동 예측 장치의 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계는, 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률과, 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률 및 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 포함할 수 있다.
본 실시예에 따른 학습부를 통하여, 사용자의 생활 습관에 따라 사용자의 행동 패턴을 예측할 수 있다. 따라서, 사용자가 실행할 다음 행동을 확률적으로 예측함으로써, 사용자가 실행하고자 하는 동작과 연관되어 실행되는 외부 기기 동작의 일치도가 향상될 수 있다.
본 발명의 실시예에 따른 사용자 행동 예측 장치의 기기 제어부는, 예측된 사용자 행동 예측 모델에 기초하여 사용자 기기의 인터페이스 또는 사용자 기기와 연결된 외부 기기를 통해 사용자 기기에 지시될 것으로 예측되는 동작을 먼저 실행할 수 있다.
본 실시예에 따른 기기 제어부를 통해, 사용자 기기를 사용하는 사용자가 특정 공간에 있으며 다양한 가전 기기 및 인공지능 기기들과 연결될 수 있으며, 다양한 가전 기기, 인공지능 기기 및 사용자 기기의 사용 패턴들을 통해 보다 정확하게 사용자의 행동 패턴을 학습할 수 있게 된다.
또한, 사용자 행동을 예측하고, 예측된 사용자 행동과 연관되는 동작을 수행하고, 예측된 사용자 행동 예측 모델에 기초하여 사용자 기기의 인터페이스 또는 외부 기기를 통해 사용자 기기에 지시될 것으로 예상되는 동작을 먼저 실행할 수 있게 된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 사용자 기기 또는 프로세서로 수집된 시간에 따른 사용자의 활동 정보에서 사용자가 다음에 실행한 동작을 예측할 수 있다. 예측된 사용자의 동작 정보를 사용자 기기와 연결된 외부 기기가 수집하고, 수집된 예측된 사용자의 동작 정보에 연관된 동작을 외부 기기에서 실행하도록 한다. 이로써, 외부 기기를 이용하는 사용자가 직접 외부 기기를 조작하거나 설정하지 않고 예측된 서비스를 제공받게 되어 사용자의 편의성이 향상될 수 있다.
또한, 외부 기기를 통해 실행 예정인 사용자 행동을 실행하기 위해 사용자 정보를 사용자 기기와 연결된 외부 기기에 전송하지 않고, 사용자 기기가 외부 기기를 제어하기 위한 정보를 보유한 허브(hub) 역할을 하도록 할 수 있다. 즉, 사용자 기기는 사용자 행동 패턴 정보를 보유하되 외부 기기에 사용자 행동 패턴 정보를 입력 또는 전송하지 않은 상태에서, 외부 기기로 사용자 행동 예측 모델을 입력하고, 외부 기기는, 사용자 행동 예측 모델을 통해 예측된 사용자 행동과 연관되는 동작을 실행하도록 한다. 이때, 외부 기기와 사용자 기기의 연결이 해제되면 입력된 사용자 행동 예측 모델 정보가 삭제되도록 하여 실제 사용자 행동 정보는 외부 기기에 저장되지 않은 상태에서 외부 기기의 프로세서를 제어할 수 있다. 따라서, 사용자 기기에 수집된 개인 정보가 외부로 노출되는 것을 방지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 사용자의 행동을 예측하기 위해 사용자 기기와 연결된 다수의 디바이스 및 이들을 서로 연결하는 네트워크를 포함하는 사용자 행동을 수집하기 위한 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 사용자 행동을 예측하기 위한 장치의 개략적인 블록도이다.
도 3은 도 2의 사용자 행동을 예측하기 위한 장치 중 정보 기록부와 학습부의 개략적인 블록도이다.
도 4는 사용자 행동을 예측하기 위한 장치에서 시간정보와 함께 획득한 사용자의 이동데이터, 액션데이터 및 장소데이터를 기초로 사용자의 행동 패턴 예측 학습 및 추론의 예시를 도시한 도면이다.
도 5는 시간에 따른 사용자의 행동 변화에 대응하여 도 5의 사용자 행동 패턴 예측을 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 사용자 행동 학습 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 사용자의 행동을 예측하기 위해 사용자 기기와 연결된 다수의 디바이스 및 이들을 서로 연결하는 네트워크를 포함하는 사용자 행동을 수집하기 위한 환경의 예시도이다.
도 1을 참조하면, 사용자 기기(예: 휴대 가능한 스마트폰_100)와 차량(C), 차량에 설치되는 다양한 디바이스(예: 블랙박스(B), 네비게이션(N), 차량의 사이드 미러(Sm) 등) 및 가정 또는 사무실에서 사용되는 다양한 가전 기기(이하 외부 기기(도 2의 20)로 명명)는 네트워크(20)에 의해 서로 통신 연결되어 있는 상태가 묘사되어 있다.
사용자 기기(100)는 통신부(도 2의 110)를 포함하고 있어서, 유선 또는 무선 네트워크(20)을 통해 데이터를 송신 및 수신할 수 있다.
또한, 사용자 기기(100), 외부 기기(30)는 5G 통신 환경에서 서로 연결될 수 있다. 또한, 도 1에 도시된 기기들 이외에 가정 또는 사무실에서 사용되는 다양한 가전 기기들과 사물 인터넷 환경 하에서 서로 연결되어 동작할 수 있다.
사용자 기기(100)는 사용자의 사용에 따른 개인 데이터를 저장할 수 있다. 이러한 사용자 기기(100)에 저장된 개인 데이터를 바탕으로 개인 데이터를 수집할 수 없는 외부 기기(30)를 제어하는 허브 역할을 할 수 있다.
구체적으로, 개인 데이터는 SNS, 개인 일정, 특정 물품 구매에 따른 사용 내역서 등을 포함할 수 있다. 구체적으로 개인 데이터는 사용자 기기(100)를 통해 송수신되는 문자 서비스, 사용자 기기(100)에 저장된 사용자의 개인 스케줄, 사용자 기기(100)의 GPS 기능을 이용하여 저장된 사용자의 이동 경로 정보 등이 될 수 있다. 이러한 개인 데이터는 사용자 기기(100) 사용에 따라 지속적으로 저장 및 업데이트될 수 있으며, 후술하는 메모리(도 2의 160)에 저장될 수 있다.
또한, 개인 데이터는 사용자 기기(100)에 저장된 상태에서 사용자 기기(100)와 외부 기기(30)가 연결되면 사용자 기기(100)에 저장된 개인 데이터를 이용하여 외부 기기(30)의 동작을 실행할 수 있는 명령어가 될 수 있다.
예를 들어, 사용자 기기에 평일 오전에는 차량을 이용하여 출근하는 사용자의 이동 경로 정보가 저장되고, 주말에는 차량을 이용하여 교회를 가는 사용자의 이동 경로 정보가 저장된다고 가정할 경우, 사용자 기기는 이러한 사용자의 이동 경로 패턴을 저장 및 학습할 수 있다. 사용자의 이동 경로 패턴이 저장 및 학습된 상태에서 사용자 기기의 날짜 정보를 기초로 사용자가 평일에 사용자 기기를 사용하는 경우, 출근하는 사용자 이동 경로 정보를 기초로 출근을 위해 차량으로 이동하는 동안 출근에 따른 길 안내가 되도록 차량의 네비게이션이 자동 설정될 수 있다.
이와 유사하게, 사용자가 운동을 하고 차량에 탑승하는 경우, 차량 내 카메라, 영상센서 등을 이용하여 사용자의 상태를 확인할 수 있다. 예를 들어 사용자의 얼굴, 복장 등을 확인하는 것이다. 확인된 사용자의 상태에 따라 자동으로 차량 공조 시스템을 조정하여 사용자가 보다 편안한 차량 환경을 이용할 수 있도록 할 수 있다.
더불어, 사용자 기기를 통해 측정된 외부 온도, 사용자 기기의 GPS를 통해 사용자가 외부에서 머무른 시간 등을 차량의 제어 시스템으로 입력되면, 차량의 공조 시스템을 먼저 실행시켜 사용자가 차량에 탑승하는 경우 보다 쾌적한 환경에서 차량을 이용할 수 있도록 할 수 있다.
즉, 본 발명의 실시예는 사용자가 사용자 기기(100)를 사용하는 시간, 장소, 사용자의 움직임에 따른 정보 등으로 저장하고, 저장된 사용자 기기(100)에 저장된 개인 데이터를 기초로 사용자가 다음으로 실행할 동작을 예측하는 것이다. 이렇게 예측된 사용자의 행동을 사용자가 실행하기 전에 차량 등의 외부 기기(30)에서 실행할 수 있도록 한다.
한편, 사용자 기기(100)는 컴퓨팅 장치(미도시)의 기능을 수행할 수 있는 통신 단말기를 포함할 수 있으며, 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어 등의 모바일 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 기기(100)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 이러한 사용자 기기(100)는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
네트워크(20)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅데이터 및 음성 인식에 관한 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 네트워크(20)는 사용자 기기(100)에 설치된 애플리케이션 또는 웹 브라우저를 이용하여 사용자 기기(100)를 원격에서 제어할 수 있도록 하는 웹 서버 또는 애플리케이션 서버를 포함할 수도 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
또한, 네트워크(20)는 사용자 기기(100)와 외부 기기(30)를 연결하는 역할을 수행할 수도 있다. 이러한 네트워크(20)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
더불어 네트워크(20)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(20)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(20)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(20)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(20)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
도 2는 본 발명의 실시예에 따른 사용자 행동을 예측하기 위한 장치의 개략적인 블록도이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2를 참조하면, 사용자 기기(100)는 통신부(110), 활동 예측부(150), 센서부(130), 정보 기록부(120), 학습부(140), 메모리(160), 기기 제어부(170) 및 제어부(180)를 포함할 수 있다.
통신부(110)는 네트워크(20)와 연동하여 사용자 기기(100) 사용 시 발생한 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다.
나아가, 통신부(110)는 외부 기기(30) 및 사용자 기기(100)로부터 소정의 정보 요청 신호를 수신하는 역할을 할 수 있고, 사용자 기기(100)가 처리한 정보를 외부 기기(30) 및 사용자 기기(100)로 전송하는 역할을 수행할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
본 실시예에서 외부 기기(30)라 함은, 차량(C), 차량(C)에 설치된 블랙박스(B), 네비게이션(N), 차량의 사이드 미러(Sm) 등의 디바이스, 가정 또는 사무실에서 사용되는 다양한 가전 기기 예를 들어, 에어컨, 냉장고, 세탁기 등을 포함할 수 있다.
정보 기록부(120)는 사용자 기기(100)를 통해 저장되는 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록할 수 있다. 이러한 정보 기록부(120)는 M(t), A(t) 및 S(t)의 정보를 수신할 수 있는 이동데이터 기록부(120-1), 액션데이터 수신부(120-2), 장소데이터 기록부(120-3)를 포함할 수 있다.
이동데이터 기록부(120-1)는, 사용자의 이동 정보를 수신할 수 있다. 예컨대, 이동데이터 기록부(120-1)는, 시간 t에 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 제2 장소에 일정 시간 이상 머무르는 경우, 제1 장소에서 제2 장소로의 이동을 나타내는 정보를 수신할 수 있다.
예를 들어, 사용자가 집안 내에서 특정 시간에 기상하는 경우, 기상하는 침실을 제1 장소라고 가정할 수 있다. 이동데이터(A(t))는, 기상 후, 사용자가 규칙적으로 주방에서 물을 섭취하기 위해 소정의 시간 동안 주방에 머무르는 경우, 주방을 제2 장소라고 가정할 수 있다.
액션데이터 수신부(120-2)는, 시간 t에 사용자 기기(100)의 인터페이스를 통해 입력되는 신호 또는 외부 기기(30)로부터 수신되는 정보로부터 파악되는 사용자 행동 정보를 수신할 수 있다.
앞서 설명된 실시예를 참조로, 사용자가 기상한 후 제1 장소인 침실에서 이동하여 제2 장소인 주방에서 물을 섭취하기 위해 머무르는 경우 물을 섭취하는 사용자의 행동을 액션데이터 수신부(120-2)에서 수신하는 것이다.
장소데이터 기록부(120-3)는, 외부 기기(20) 또는 사용자 기기(100)로 파악되는 위치 정보에 기초하여 사용자가 있는 장소를 기록할 수 있다. 이렇게 기록된 사용자의 위치는 사용자의 다음 행동을 예측하기 위한 데이터로 사용될 수 있다.
또한, 앞서 설명된 실시예를 참조로 장소데이터 기록부(120-3)는 침실인 제1 장소와 침실에서 주방으로 이동한 제2 장소의 정보를 기록하는 것이다. 기록한 장소데이터는 사용자가 규칙적으로 기상 후 주방에서 물을 섭취하기 위해 제1 장소(침실)에서 제2 장소(주방)으로 이동하는 학습할 수 있는 데이터가 될 수 있다. 학습한 데이터는 후술할 기기 제어부(170)에서 물을 섭취하기 위한 외부 기기인 정수기, 냉장고 등을 제어할 수 있는 정보 또는 명령어가 될 수 있다. 예컨대, 학습한 데이터를 기초로 정수기의 물 배출구와 인접하게 컵이 놓인 것을 판단한 후 기기 제어부(170)는 물을 배출하거나, 물통이 수납된 냉장고의 홈바를 오픈하는 등의 기기 제어가 가능하도록 한다.
센서부(130)는 사용자 기기(100)의 주변 상황을 센싱하는 근접센서, 온도센서 및 영상센서 등을 포함할 수 있다. 예컨대, 센서부(130)는 사용자가 기상한 후, 외부로 나가면 온도센서를 이용하여 외부 온도를 측정할 수 있으며, 사용자가 차량에 탑승하면 영상센서를 이용하여 사용자의 상태를 확인할 수 있다. 이러한 센서부(130)는 사용자 기기에 설치됨은 물론이지만, 사용자 기기 이외에도 차량 내 룸미러, 계기판 등에도 설치될 수 있음은 물론이다.
본 실시예에서 센서부(130)를 근접센서, 온도센서 및 영상센서로 한정하고 있으나, 이에 국한되지 않고, 사용자 기기(100)의 주변 상황을 감지할 수 있는 센서 예를 들어, 습도 센서, 진동 센서 등 각종 센서를 구비할 수 있으며, 센서부(130)가 감지한 정보는 메모리(160)에 저장될 수 있다.
학습부(140)는 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습할 수 있다. 이러한 학습부(140)는 제1 학습부(142), 제2 학습부(144) 및 분석부(146)를 포함할 수 있다.
제1 학습부(142)는 시간 변화에 따른(t₁-> t₁+△t) 사용자의 액션데이터(A(t))를 학습할 수 있고, 제2 학습부(144)는 위치 변화에 따른 사용자의 위치데이터(S(t))를 학습할 수 있다.
앞서 설명된 실시예를 참조로, 제1 학습부(142)는 사용자가 집안의 침실(제1 장소)에서 기상하는 시간을 t₁라고 할 수 있으며, 침실(제1 장소)에서 주방(제2 장소)로 이동하는 시간 또는 주방(제2 장소)에 도착한 시간을 t₁+△t의 정보를 학습하는 것이다.
즉, 제1 학습부(142)는 기상한 시간(t₁)에서 주방으로 이동하거나, 주방에 도착한 시간(t₁+△t) 동안 사용자의 행동을 학습할 수 있다. 실시예를 참조하면 제1 학습부(142)는 사용자가 물을 섭취하는 행동을 학습하는 것이다.
이를 기초로 제2 학습부(144)는 기상한 시간(t₁)에서 주방으로 이동하거나, 주방에 도착한 시간(t₁+△t) 동안의 이동 경로를 학습할 수 있다. 실시예를 참고하면 제2 학습부(144)는 사용자가 침실(제1 장소)에서 주방(제2 장소)로 이동하는 경로를 학습할 수 있다.
한편, 제1 학습부(142) 및 제2 학습부(144)를 통해 사용자 행동을 학습하면, 분석부(146)에 의해 제1 학습부(142)와 제2 학습부(144)에서 발생한 확률을 분석할 수 있다.
즉, 분석부(146)는 예를 들어, 사용자가 기상하여(t₁)하여 침실(제1 장소)에서 주방(제2 장소)로 이동하고(t₁+△t) 물을 마시는 행동이 일어나는 확률을 분석할 수 있다.
또한, 분석부(146)는 예를 들어 사용자가 특정 시간(t₁)에서 기상하면(도 5의 액션 A1) 출근 또는/및 외출 준비를 하고 일정 시간이 지난 후(t₁+△t) 외부로 나가는 행동(도 5 액션 A1 및 이동 M1)이 일어나는 확률을 분석할 수 있다.
활동 예측부(150)는 사용자가 사용자 기기(100)를 사용하여 발생한 개인 데이터를 기초로 사용자가 다음으로 실행할 동작을 예측할 수 있다. 본 실시예의 활동 예측부(150)는 사용자 기기(100)를 사용한 정보를 학습하는 임의의 시점(t₁)에서의 일정 시간 이후(t₁+△t) 동안 사용자 기기 및 카메라가 장착된 인공지능 가전 기기에서 수집된 사용자 행동 정보를 기초로 일정 시간 이후(t₁+△t)의 예측 가능한 사용자 행동 예측 모델을 생성할 수 있다.
구체적으로 활동 예측부(150)는, 임의의 시점(t₁)의 M(t₁)에서 일정 시간 이후의 시점(t₁+)의 M(t₁+△t)로 사용자가 이동하는 방법, M(t₁)에서 M(t₁+△t)를 이동하는 동안의 외부 온도 등 어느 하나의 정보를 기초로 사용자 행동 예측 모델을 생성할 수 있다.
또한, 사용자는 사용자 기기(100)의 알람에 의해 기상한 후(도 5의 A1), 외부로 나가 차량까지 이동할 수 있다(도 5의 M1 및 M2). 이때, 정보 기록부(120)를 통해 외부로 나가 차량까지 이동하는 방법이 걷거나, 버스 등의 어느 조건으로 이동하는지에 대한 정보를 수신하거나, 사용자가 사용자 기기(100)의 알람에 의해 기상한 후(도 5의 A1), 외부로 나가 차량까지 이동하는 동안의 외부 온도를 수신할 수 있다. 이렇게 정보 기록부(120)에서 수신한 사용자의 활동 정보는 사용자의 다음 활동을 예측할 수 있는 데이터가 될 수 있다.
예컨대, 사용자가 차량까지 뛰어서 이동하는 확률이 높고, 측정한 외부 온도가 25도~27도라고 가정하면 활동 예측부(150)는 "차량에 탑승하는 사용자의 체온이 올라갔을 것"으로 판단하고, 사용자가 차량에 탑승하면 에어컨(공조 시스템)을 작동할 것이다" 라는 사용자 행동 예측 모델을 생성하는 것이다.
또한, 활동 예측부(150)는 임의의 시점(t₁)에서 일정 시간 이후(t₁+△t) 동안 사용자 기기(100) 및 카메라가 장착된 인공지능 가전 기기에서 수집된 사용자 행동 정보를 기초로 일정 시간 이후(t₁+△t) 예측 가능한 사용자 행동 예측 모델을 생성할 수 있다.
앞선 실시예를 참고하면, 분석부(146)에서 사용자가 기상하여(t₁)하여 침실(제1 장소)에서 주방(제2 장소)로 이동하고(t₁+△t) 물을 마시는 행동이 일어나는 확률이 큰 것으로 분석할 수 있다. 이러한 분석을 기초로 "기상 후 사용자가 물을 섭취하러 이동할 것이다" 라는 사용자 행동 예측 모델을 생성할 수 있다.
또한, 사용자 데이터에 의해 기상 후(도 5의 A1), 외부 나갈 확률이 높다고 분석될 수 있다(도 5의 A2). 이때, 외부로 나가는 사용자가 외부 또는 외부로 나가기 전에 외부 온도를 측정하는 행동이 이루어진다고 가정하고, 사용자 기기(100)에서 일정 시간이 되거나 사용자 기기(100)의 GPS에 의해 사용자가 집안에서 외부로 나간 것으로 확인되면 "외부 온도를 측정"하는 사용자 행동 예측 모델을 생성할 수 있다.
메모리(160)는 사용자 기기(100)의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 제어부(190)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(hard disk drive), SSD(solid state disk), SDD(silicon disk drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 본 실시예에서 메모리(160)에 저장되는 정보는 문맥에 맞게 상황 별로 기재하기로 한다.
메모리(160)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(160)에는 사용자 기기(100)의 정보 기록부(120)를 통해 수신된 개인 데이터가 저장될 수 있으며, 정보 기록부(120)를 통해 수신된 정보를 학습한 학습 데이터가 저장될 수도 있다.
제어부(190)는 학습된 정보를 따라 생성된 사용자 행동 모델을 기초로 외부 기기를 제어할 수 있는 처리 결과를 출력할 수 있다. 처리 결과는 예컨대, 사용자 행동이 감지되면, 기기 제어부(170)에서 예측된 사용자 행동에 연관되는 동작을 사용자 기기와 연결된 외부 기기를 통해 사용자 기기에 지시될 것으로 예측되는 동작을 먼저 실행하도록 하는 데이터이다.
구체적으로 앞선 실시예를 참고하여 사용자가 기상하여(t₁)하여 침실(제1 장소)에서 주방(제2 장소)로 이동하고(t₁+△t) 물을 마시는 행동이 일어나는 확률이 큰 것으로 분석할 수 있다. 이러한 분석을 기초로 "사용자가 물을 섭취하러 이동할 것이다" 라는 사용자 행동 예측 모델을 생성할 수 있었다.
이러한 예측 결과를 기초로 기기 제어부(170)는 정수기의 물 배출구와 인접하게 컵이 놓인 것을 판단한 후 정수기의 물 배출구에서 물을 배출하거나, 물통이 수납된 냉장고의 홈바를 오픈하는 등의 기능이 수행되도록 외부 기기(30)를 제어하는 것이다.
또한, 사용자가 차량까지 뛰어서 이동하는 확률이 높고, 측정한 외부 온도가 25도~27도라고 가정하면 활동 예측부(150)는 "차량에 탑승하는 사용자의 체온이 올라갔을 것"으로 판단하고, 사용자가 차량에 탑승하면 에어컨(공조 시스템)을 작동할 것이다" 라는 사용자 행동 예측 모델을 생성할 수 있었다.
이러한 예측 결과를 외부 기기(30)로 전송하면 기기 제어부(170)에서 사용자가 차량에 탑승하기 전에 외부 기기(30)인 차량의 공조 시스템을 작동시키는 것이다. 이로 인하여 차량에 탑승한 사용자가 보다 쾌적한 환경에서 차량에 탑승할 수 있게 된다.
또한, "외부 온도를 측정"하는 사용자 행동 예측 모델을 생성하는 경우, 기기 제어부(170)는 사용자가 외부 온도를 확인하기 전에 사용자 기기(100)를 통해 외부 온도를 알리도록 사용자 기기(100)를 제어할 수 있다. 이로 인해, 사용자의 편의를 증가될 수 있다.
이러한 제어부(190)는 일종의 중앙처리장치로서 메모리(160)에 탑재된 제어 소프트웨어를 구동하고, 외부 기기(30)를 제어할 수 있는 처리 결과를 출력하는 등의 다양한 기능을 제공할 수 있다. 여기서, 제어부(190)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시예에서 사용자 기기(100)는 수신하는 사용자의 발화 음성 신호에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(160)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아 올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
한편, 사용자 기기(100)에는 인공신경망(artificial neural network)이 탑재될 수 있고, 수신되는 음성 입력 신호를 입력 데이터로 하는 머신 러닝 기반의 사용자의 활동 인식을 수행할 수도 있다.
제어부(190)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(190)는 설정에 따라 학습 후 사용자의 활동 정보에 따라 사용자 행동에 연관되는 동작을 외부 기기(30)가 실행하도록 사용자 행동 정보를 업데이트시키도록 제어할 수 있다.
도 3은 도 2의 사용자 행동을 예측하기 위한 장치 중 정보 기록부와 학습부의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참고하면, 사용자 기기(100)를 통해 저장되는 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록하는 정보 기록부(120)는 이동데이터 기록부(120-1), 액션데이터 수신부(120-2), 장소데이터 기록부(120-3)를 포함할 수 있다.
이동데이터 기록부(120-1)는, 사용자의 이동 정보를 수신할 수 있다. 예컨대, 이동데이터 기록부(120-1)는, 시간 t에 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 제2 장소에 일정 시간 이상 머무르는 경우, 제1 장소에서 제2 장소로 이동한 여부의 정보를 수신할 수 있다.
구체적으로, 사용자가 제1 장소에서 제2 장소로 이동하면 사용자 기기(100)의 GPS가 이를 감지하고 사용자의 이동 정보를 저장할 수 있다. 이러한 사용자의 이동 정보를 이동데이터 기록부(120-1)에서 수신하게 되는 것이다.
이때, 이동데이터 기록부(120-1)는 사용자가 제1 장소에서 벗어나 제2 장소로 이동하는 시점을 수신하거나, 사용자가 제2 장소로 도착한 시점 중 어느 하나의 정보를 수신할 수 있다.
앞서 설명한 예시에 따르면, 이동데이터 기록부(120-1)는 사용자가 침실(제1 장소)에서 기상하여 기상한 시점(t₁)에서 주방(제2 장소)으로 이동하는 시점을 수신하거나, 사용자가 침실(제1 장소)에서 기상하여 기상한 시점(t₁)에서 주방(제2 장소)으로 이동한 시점을 수신하는 것이다.
이와 같이 이동데이터 기록부(120-1)에서 수신한 정보를 이용하여 사용자의 이동 정보를 파악할 수 있으며, 파악한 사용자의 이동 정보를 학습한 결과로 사용자가 다음으로 실행할 행동을 외부 기기(30)가 미리 실행하도록 할 수 있다.
액션데이터 수신부(120-2)는, 시간 t에 사용자 기기(100)의 인터페이스를 통해 입력되는 신호 또는 외부 기기(30)로부터 수신되는 정보로부터 파악되는 사용자 행동 정보를 수신할 수 있다.
구체적으로 외부로부터 수신된 결제 정보로부터 파악되는 사용자가 임의의 물건을 구매한 구매 정보, 애플리케이션 실행부로부터 파악되는 사용자 기기에서 실행되는 애플리케이션에 대한 정보 또는 외부 기기(20)로부터 수신되는 신호로부터 파악되는 외부 기기(20)에서 실행된 동작 중 적어도 어느 하나를 기록하는 것이다.
예컨대, 액션 데이터는 사용자가 기상하기 위해 설정한 사용자 기기(100)의 알람음이 울리는 시간정보가 될 수 있다(도 5의 “폰 알람 기상 (A1)”). 또한, 액션 데이터는 사용자가 출근 또는/및 외출 준비를 마치고 외부로 나가면 사용자 기기(100)에서 측정할 수 있는 외부 온도의 정보가 될 수 있다(도 5의 “외부온도 확인 (A2)”). 또한, 액션 데이터는 사용자가 차량을 탑승한 후의, 사용자의 상태(도 5의 “운전자 상태 체크 (A3)”)에 대한 정보, 사용자가 설정하는 차량의 공조 시스템의 정보(도 5의 “공조 시스템 (A4)”), 사용자가 설정하는 길안내 정보(도 5의 “네비 목적지 (A5)”)등이 될 수 있다.
이렇게 수신되는 액션데이터 정보는 사용자의 활동을 예측할 수 있는 학습 데이터가 될 수 있다. 즉, 사용자가 앞서 실행한 액션 (A1) 내지 (A5)의 행동이 반복적으로 일어나는 것으로 학습되면, 사용자 기기(100)에서 액션(A1) 정보를 수신하면, 외부 온도를 확인하는 액션(A2)를 실행하고, 차량 구동을 위한 액션(A3) 내지 액션(A5)를 실행할 수 있다. 이로 인하여, 액션데이터 정보를 기초로 사용자의 활동을 예측한 뒤, 다음에 실행할 사용자의 행동과 연계된 행동을 외부 기기(30)를 통해 미리 실행하도록 하여 외부 기기(30)를 사용자가 직접 조작하거나 설정하지 않고 예측된 서비스를 제공받게 될 수 있다.
장소데이터 기록부(120-3)는, 사용자의 위치에 대한 정보를 수신할 수 있다. 수신된 사용자의 위치는 사용자의 다음 행동을 예측하기 위한 데이터로 사용될 수 있다.
정보 기록부(120)에서 시간에 따른 사용자의 이동, 액션, 위치의 정보를 수신하면 학습부(140)를 통해 이를 학습할 수 있다. 이를 위해 학습부(140)는, 제1 학습부(142), 제2 학습부(144) 및 분석부(146)를 포함할 수 있다.
제1 학습부(142)는 임의의 시점(t₁)의 A(t₁)에서 일정 시간 이후의 시점(t₁+)의 A(t₁+△t) 동안 사용자 기기(100)와 외부 기기(30)로부터 수신되는 정보가 발생할 확률을 학습할 수 있다. 즉, 제1 학습부(142)는 시간 변화에 따른(t₁-> t₁+△t) 사용자의 액션데이터를 학습할 수 있다.
제2 학습부(144)는 임의의 시점(t₁)의 S(t₁)에서 일정 시간 이후의 시점(t₁+)의 S(t₁+△t) 동안 사용자 기기(100)로 파악되는 위치 정보 및 외부 기기(30)로부터 파악되는 위치 정보에 기초하여 사용자의 위치 정보가 발생할 확률을 학습할 수 있다. 즉 제2 학습부(144)는 위치 변화에 따른 사용자의 위치데이터를 학습하는 것이다.
제2 학습부(144)는 임의의 시점(t₁)의 S(t₁)에서 일정 시간 이후의 시점(t₁+)의 S(t₁+△t) 동안 사용자 기기(100)로 파악되는 위치 정보 및 외부 기기(30)로부터 파악되는 위치 정보에 기초하여 사용자의 위치 정보가 발생할 확률을 학습할 수 있다. 즉 제2 학습부(144)는 위치 변화에 따른 사용자의 위치데이터를 학습하는 것이다.
분석부(146)는, 제1 학습부(142)와 제2 학습부(144)에서 발생한 확률을 분석하여 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 분석할 수 있다.
즉, 분석부(146)는 사용자가 특정 시간(t₁)에서 기상하면(도 5의 액션 A1) 출근 또는/및 외출 준비를 하고 일정 시간이 지난 후(t₁+△t) 외부로 나가는 행동(액션 A1 및 이동 M1)이 이루어지고, 외부 온도를 측정하는(도 5의 액션 A2) 관계를 확률적으로 분석할 수 있다.
이때, 분석부(146)에서 사용자의 행동을 분석하기 위해서는 사용자 기기(100)에 저장된 개인 데이터를 일상, 주말 또는 월마다 수집하고, 학습부(140)는 “자주 일어나는” 행동을 학습해야 “자주 일어나는” 행동을 분석할 수 있을 것이다. 예를 들어, 상술한 내용으로부터 정보 기록부(120)는 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))를 수신할 수 있다.
수신된 정보를 통해 분석부(146)에서 사용자가 사용자 기기에 의해 기상하고(액션 A1), 외부로 나갈(이동 M1) 확률이 외부로 나가지 않을 확률보다 높은지를 분석할 수 있다.
이와 유사하게, 분석부(146)는 사용자가 외부 나간 후, 사용자 기기(100)에 의하여 외부 온도를 확인하고(액션 A2), 차량에 탑승하기 위해 차량까지 이동한 방법(이동 M2)이 걷는 방법(확률 30%), 뛰는 방법(확률 60%), 버스와 같은 대중교통을 이용하는 방법(확률 10%)에 따라 차량에 탑승한 사용자의 상태(액션 A3) 및/또는 차량 공조시스템의 작동 여부(액션 A4) 등의 관계를 분석할 수 있다.
정리하면, 정보 기록부(120)를 통해 수신된 사용자의 행동을 학습부(140)에서 학습하여 각각의 행동의 연관성을 확률적으로 분석할 수 있다. 이렇게 분석된 확률 상관 관계를 통해 사용자 행동 예측 모델을 생성하여 사용자가 행동을 예측하고, 예측된 사용자의 행동과 연관되는 행동을 외부 기기(예: 차량 공조 시스템)에서 수행될 수 있도록 하는 것이다.
도 4는 사용자 행동을 예측하기 위한 장치에서 시간정보와 함께 획득한 사용자의 이동데이터, 액션데이터 및 장소데이터를 기초로 사용자의 행동 패턴 예측 학습 및 추론의 예시를 도시한 도면이고, 도 5는 시간에 따른 사용자의 행동 변화에 대응하여 도 5의 사용자 행동 패턴 예측을 설명하는 예시도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 4를 참고하면, 임의의 시점(t)에 사용자의 행동인 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))가 정보 기록부(120)를 통해 수신될 수 있다.
이때, 시점 (t)에서 각 데이터의 확률 상관 관계인 M(t)와 S(t) 사이의 확률(Pt(M|S) 및 Pt(S|M)), A(t)와 S(t) 사이의 확률(Pt(A|S) 및 Pt(S|A)), M(t)와 A(t) 사이의 확률(Pt(M|A) 및 Pt(A|M))를 추출하는 예를 도시하고 있다.
구체적으로, 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계는, 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률의 상관관계를 추출할 수 있다.
또한, 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 추출할 수 있다.
더불어, 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 추출할 수 있다.
도 4에 도시된 M(t), A(t), S(t)는 임의의 시점(t)에서 사용자의 행동 패턴일 수 있으며, 상술한 실시예에 및 도 5을 참고하면, M(t), A(t), S(t) 집안에서(도 5 S1) 사용자 기기(100)에 저장된 알람 시간에 의해 사용자가 기상한 상황(도 5의 A1)일 수 있다.
이후, 일정 시점이 지난 시점(t+t)에서 M(t+t), A(t+t), S(t+t) 가 정보 기록부(120)를 통해 수신될 수 있다.
이때, 시점 (t+t)에서 각 데이터의 확률 상관 관계인 M(t+t)와 S(t+t) 사이의 확률(Pt(M|S) 및 Pt(S|M)), A(t+t)와 S(t+t) 사이의 확률(Pt(A|S) 및 Pt(S|A)), M(t+t)와 A(t+t) 사이의 확률(Pt(M|A) 및 Pt(A|M))를 추출하는 예를 도시하고 있다.
또한, 일정 시점(t)와 일정 시점이 지난 시점(t+t)의 A(t) 및 A(t+t)의 확률인 확률(Pt(A|A)), M(t) 및 M(t+t)의 확률인 확률(Pt(M|M)), S(t) 및 S(t+t)의 확률인 확률(Pt(S|S))를 추출하는 예를 도시하고 있다.
도 4에 도시된 M(t+t), A(t+t), S(t)는 임의의 시점(t)에서 사용자의 행동 패턴일 수 있으며, 상술한 실시예에 및 도 5을 참고하면, M(t), A(t), S(t)는 집안에서(도 5 S1) 사용자 기기(100)에 저장된 알람 시간에 의해 사용자가 기상한 상황(도 5의 A1)일 수 있다.
임의의 시점(t)에서 일정 시점이 지난 후(t+t)의 M(t+t)는 집안에서 외부로 이동하는 움직임(도 5의 M1)이라 할 수 있으며, A(t+t) 및 S(t+t)는 외부에서(도 5의 S2) 사용자 기기(100)를 이용하여 외부 온도를 확인하는 상황(도 5의 A2)일 수 있다.
이후, 일정 시점이 지난 후(t+t)의 M(t+t)는 외부에서 차량으로 이동하는 움직임(도 5의 M2)이라고 할 수 있으며, A(t+t) 및 S(t+t)는 차량에 탑승한 운전자를 체크하는 상황(도 5의 A3), 차량에 탑승하기 전에 확인한 외부 온도에 따라 차량의 공조 시스템을 제어하는 상황(도 5의 A4) 및 이전의 일정에 기초하여 차량의 네비게이션의 길찾기가 설정된 상황(도 5의 A5)일 수 있다.
이러한 일정 시점에서 일정 시간이 지난 후의 이동데이터, 액션데이터, 위치데이터를 수집하고, 각각의 데이터의 확률값을 추출할 수 있다. 이전 실시예에 의하면, 평일 오전에 집안(S1)에서 사용자 기기(100)의 알람이 발생(A1)할 확률을 추출하는 것이다. 이와 유사하게, 평일 오전에 알람이 발생(A1)하고 사용자가 집 밖을 나가(M1), 사용자 기기(100)를 통해 외부 온도를 확인(A2)할 확률을 추출할 수 있다. 이와 같이 추출한 확률값을 통해 평일 오전에 평일 오전에 집안에서 사용자 기기(100)의 알람이 발생하면 집에서 차량으로 이동할 확률이 높다는 것을 추출하게 되는 것이다.
이러한 예측에 의하여 평일 오전 출근 및/또는 시간에 외부 온도가 확인되면 차량의 공조 시스템 및 사용자의 목적지에 따른 네비게이션을 미리 구동시킬 수 있는 것이다. 이와 같이 사용자의 행동을 예측하고, 예측된 사용자의 행동에 연관되는 동작을 외부기기(예: 차량 공조 시스템 및 네비게이션 구동)의 실행이 이루어지게 함으로써, 외부기기를 사용하는 사용자의 편의성을 향상시킬 수 있게 된다.
한편 평일 오전이지만, 사용자의 출근이 이루어지지 않을 수 있다. 이 경우, 사용자가 직접 외부 기기(30)의 구동을 제어하거나, 사용자 기기(100)와 연결된 외부 기기 구동 제어 알고리즘으로 실행을 중지시킬 수 있다.
또한, 본 발명의 실시예는 사용자가 출근을 위해 기상해서 차량을 탑승하는 과정을 예를 들어 설명하지만, 이외에도 다양한 실시예가 실행될 수 있다.
예를 들어, 차량 주행 정보를 수집하고, 수집된 정보를 기초로 사용자가 선호하는 도로의 정보를 학습 및 추출할 수 있다. 추출된 정보를 기초로 사용자가 주행하는 과정이고, 선호하는 도로를 지나는 주행 중이라 판단되면, 사용자가 선호하는 길로 주행할 것이라 예측하여 선호하는 길로 주행하도록 네비게이션을 실행할 수 있다.
또한, 사용자의 행동을 예측하기 위해 사용자의 행동 정보를 수집하는 기간을 자주 수신되는 문자 정보를 이용할 수도 있다. 예를 들어, 사용자 기기로 수신되는 문자 정보를 통해 지인과의 약속 내용이나 경조사 내용이 일정 기간 반복되는 것으로 확인될 수 있다. 이 경우, 네비게이션은 사용자 기기의 문자 정보를 수집, 학습할 수 있다. 학습된 문자 정보를 기초로 약속 일자에 사용자의 이동 루트를 예측할 수 있다. 즉, 약속 일자가 되면 사용자가 약속 장소로 이동할 것을 예측하여 자동으로 차량의 네비게이션의 길안내 정보를 약속 장소로 설정하는 것이다. 이로 인해, 사용자가 직접 네비게이션을 조작하지 않아도 약속 장소로 이동할 수 있도록 할 수 있다.
도 6은 본 발명의 실시예에 따른 사용자 행동 학습 방법의 흐름도이다. 이하의 설명에서 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 6을 참조하면, S110단계에서, 사용자 기기(100)의 센서, 외부 신호 수신부, 및 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 통해 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록한다.
사용자 기기(100)는 사용자의 이동 정보를 수신할 수 있다. 예를 들어, 시간 t에 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 제2 장소에 일정 시간 이상 머무르는 경우, 제1 장소에서 제2 장소로 이동한 여부의 정보를 기록할 수 있다.
또한, 사용자 기기(100)는 시간 t에 사용자 기기(100)의 인터페이스를 통해 입력되는 신호 또는 외부 기기(30)로부터 수신되는 정보로부터 파악되는 사용자 행동 정보를 수신, 기록할 수 있다.
또한, 사용자 기기(100)는 외부 기기 또는 사용자 기기로 파악되는 위치 정보에 기초하여 사용자가 있는 장소를 기록할 수 있다.
예시적으로, 사용자 기기(100)는 사용자가 집안 내에서 기상하는 침실(제1 장소)에서 기상 후, 사용자가 규칙적으로 주방(제2 장소)에서 물을 섭취하기 위해 소정의 시간 동안 주방(제2 장소)에 머무르는 M(t) 정보를 기록할 수 있다.
이때, M(t) 정보는 사용자가 제1 장소에서 벗어나 제2 장소로 이동하는 시점이거나 사용자가 제2 장소에 도착한 시점 중 어느 하나가 될 수 있다. 본 실시예에서는 사용자가 침실(제1 장소)에서 주방(제2 장소)로 이동하는 시점 또는 사용자가 주방(제2 장소)으로 도착한 시점 중 하나를 기록하는 것이다.
또한, 사용자 기기(100)는 사용자가 기상한 후 제1 장소인 침실에서 이동하여 제2 장소인 주방에서 물을 섭취하기 위해 머무르는 경우 물을 섭취하는 사용자의 행동 정보인 A(t)를 기록할 수 있다.
또한, 사용자 기기(100)는 침실인 제1 장소와 침실에서 주방으로 이동한 제2 장소의 정보에 대한 S(t)를 기록할 수 있다.
사용자 행동을 기록하면, S120단계에서, 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습할 수 있다.
구체적으로, 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률, 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률, 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 학습할 수 있다.
앞서 설명된 실시예를 참조로, 기상한 시간(t₁)에서 주방으로 이동하거나, 주방에 도착한 시간(t₁+△t) 동안 사용자의 행동을 학습하고, 기상한 시간(t₁)에서 주방으로 이동하거나, 주방에 도착한 시간(t₁+△t) 동안의 이동 경로를 학습할 수 있다.
이후, S130단계에서, 학습된 확률 상관 관계에 의하여 사용자 행동 예측 모델을 생성할 수 있다. 구체적으로, 사용자가 사용자 기기(100)를 사용하여 발생한 개인 데이터를 기초로 사용자가 다음으로 실행할 동작을 예측할 수 있다.
예를 들어, 사용자가 기상하여(t₁)하여 침실(제1 장소)에서 주방(제2 장소)로 이동하고(t₁+△t) 물을 마시는 행동이 일어나는 확률이 큰 것으로 추론되면, "기상 후 사용자가 물을 섭취하러 이동할 것이다" 라는 사용자 행동 예측 모델을 생성할 수 잇는 것이다.
이후, S140단계에서, 센서, 외부 신호 수신부, 및 상기 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 기초로 사용자 행동을 예측할 수 있다.
즉, 임의의 시점(t₁)의 S(t₁)에서 일정 시간 이후의 S(t₁+△t)로 상기 사용자가 이동하는 방법이나 S(t₁)에서 S(t₁+△t)를 이동하는 동안의 외부 온도 중 어느 하나를 기초로 사용자 행동을 예측할 수 있다.
구체적으로 "기상 후 사용자가 물을 섭취하러 이동할 것이다"라는 사용자 활동 예측 모델이 생성되면 사용자가 기상 후 물을 섭취하기 위해 침실(제1 장소)에서 주방(제2 장소)로 이동할 것으로 예측할 수 있다.
이때, 사용자 행동 예측 시, 임의의 시점(t₁)에서 일정 시간 지난 후(t₁+△t)동안 사용자 기기나 카메라가 장착된 인공지능 가전 기기에서 수집된 사용자 행동 정보를 기초로 사용자 행동을 예측하게 된다.
S150 단계에서, 예측된 사용자 행동에 연관되는 동작을 사용자 기기(100)와 연결된 외부 기기(30)에서 실행할 수 있다.
앞선 실시예를 참고하면, 사용자가 기상 후 물을 섭취하기 위해 침실(제1 장소)에서 주방(제2 장소)로 이동할 것으로 예측하였으므로, 정수기의 물 배출구와 인접하게 컵이 놓인 것을 판단한 후 정수기의 물 배출구에서 물을 배출하거나, 물통이 수납된 냉장고의 홈바를 오픈하는 등의 기능이 수행되도록 외부 기기(30)를 제어할 수 있다.
즉, 사용자 행동 예측 모델에 기초하여 사용자 기기의 인터페이스 또는 외부 기기를 통해 사용자 기기(100)에 지시될 것으로 예상되는 동작을 먼저 실행하는 것이다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 따른 방법들에 포함된 단계들은 프로세서 또는 해당 단계의 기능을 수행하기 위한 모듈들을 통해서 수행될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 사용자 기기를 통해 사용자 행동을 예측하는 방법으로서,
    사용자 기기의 센서, 외부 신호 수신부, 및 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 통해 사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록하는 단계;
    임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습하여 사용자 행동 예측 모델을 생성하는 단계;
    상기 센서, 외부 신호 수신부, 및 상기 애플리케이션 실행부 중 적어도 하나로부터 수신되는 정보를 기초로 상기 사용자 행동이 감지되면, 상기 사용자 행동 예측 모델을 기초로 상기 사용자 기기가 상기 사용자 행동을 예측하고, 예측된 상기 사용자 행동에 연관되는 동작을 실행하는 단계를 포함하는,
    사용자 행동 예측 방법.
  2. 제1항에 있어서,
    상기 기록하는 단계는,
    상기 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 상기 제2 장소에 일정 시간 이상 머무르는 경우, 상기 제1 장소에서 상기 제2 장소로의 이동을 나타내는 상기 M(t)을 기록하는 단계;
    상기 사용자 기기의 인터페이스를 통해 입력되는 신호 또는 외부 기기로부터 수신되는 정보로부터 파악되는 상기 사용자 행동을 나타내는 상기 A(t)를 기록하는 단계; 및
    상기 외부 기기 또는 상기 사용자 기기로 파악되는 위치 정보에 기초하여 상기 사용자가 있는 장소를 나타내는 상기 S(t)를 기록하는 단계를 포함하는,
    사용자 행동 예측 방법.
  3. 제2항에 있어서,
    상기 M(t)를 기록하는 단계에서,
    상기 M(t)는, 상기 사용자가 상기 제1 장소에서 벗어나 상기 제2 장소로 이동하는 시점 또는, 상기 사용자가 상기 제2 장소로 도착한 시점 중 적어도 어느 하나의 시점에 기록되는,
    사용자 행동 예측 방법.
  4. 제2항에 있어서,
    상기 A(t)를 기록하는 단계에서,
    상기 A(t)는, 외부로부터 수신된 결제 정보로부터 파악되는 상기 사용자가 임의의 물건을 구매한 구매 정보, 상기 애플리케이션 실행부로부터 파악되는 상기 사용자 기기에서 실행되는 애플리케이션에 대한 정보 또는 상기 외부 기기로부터 수신되는 신호로부터 파악되는 상기 외부 기기에서 실행된 동작 중 적어도 어느 하나인,
    사용자 행동 예측 방법.
  5. 제1항에 있어서,
    상기 사용자 행동 예측 모델을 생성하는 단계에서 상기 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계는,
    상기 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률,
    상기 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률, 및
    상기 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 포함하는,
    사용자 행동 예측 방법.
  6. 제1항에 있어서,
    상기 사용자 행동 예측 모델을 생성하는 단계는,
    상기 임의의 시점(t₁)의 상기 S(t₁)에서 상기 일정 시간 이후의 시점(t₁+△t)의 상기 S(t₁+△t)로 상기 사용자가 이동하는 방법, 상기 S(t₁)에서 상기 S(t₁+△t)를 이동하는 동안의 외부 온도 중 어느 하나를 기초로 상기 사용자 행동 예측 모델을 생성하는 단계를 포함하는,
    사용자 행동 예측 방법.
  7. 제1항에 있어서,
    상기 사용자 행동 예측 모델을 생성하는 단계는,
    상기 임의의 시점(t₁)에서 상기 일정 시간 이후(t₁+△t) 동안 상기 사용자 기기 및 카메라가 장착된 인공지능 가전 기기에서 수집된 상기 사용자 행동 정보를 기초로 상기 일정 시간 이후(t₁+△t) 예측 가능한 상기 사용자 행동 예측 모델을 생성하는,
    사용자 행동 예측 방법.
  8. 제1항에 있어서,
    상기 사용자 행동을 예측하고, 예측된 상기 사용자 행동과 연관되는 동작을 수행하는 단계는,
    예측된 상기 사용자 행동 예측 모델에 기초하여 상기 사용자 기기의 인터페이스 또는 상기 외부 기기를 통해 상기 사용자 기기에 지시될 것으로 예상되는 동작을 먼저 실행하는,
    사용자 행동 예측 방법.
  9. 사용자 행동을 예측하는 장치로서,
    사용자 행동을 시간정보(t)와 함께 이동데이터(M(t)), 액션데이터(A(t)) 및 장소데이터(S(t))로 기록 가능한 정보 기록부;
    임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계를 학습하는 학습부;
    학습된 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후(t₁+△t)의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계에 기초하여 사용자 행동 예측 모델을 생성하는 활동 예측부; 및
    사용자 행동이 감지되면, 상기 사용자 행동 예측 모델에 기초하여 예측된 상기 사용자 행동에 연관되는 동작을 상기 사용자 기기에서 수행하도록 제어하는 기기 제어부를 포함하는,
    사용자 행동을 예측하는 장치.
  10. 제9항에 있어서,
    상기 정보 기록부는,
    상기 사용자가 제1 장소에서 일정 시간 이상 머문 후 제2 장소로 이동하여 상기 제2 장소에 일정 시간 이상 머무르는 경우, 상기 제1 장소에서 상기 제2 장소로의 이동을 나타내는 M(t)를 기록하는 이동데이터 기록부;
    상기 사용자 기기의 인터페이스를 통해 입력되는 신호 또는 외부 기기로부터 수신되는 정보로부터 파악되는 상기 사용자 행동을 나타내는 A(t)를 기록하는 액션데이터 기록부; 및
    상기 외부 기기 또는 상기 사용자 기기로 파악되는 위치 정보에 기초하여 파악되는 상기 사용자가 있는 장소를 나타내는 S(t)를 기록하는 장소데이터 기록부를 포함하는,
    사용자 행동을 예측하는 장치.
  11. 제10항에 있어서,
    상기 이동데이터 기록부는,
    상기 사용자가 상기 제1 장소에서 벗어나 상기 제2 장소로 이동하는 시점 또는, 상기 사용자가 상기 제2 장소로 도착한 시점 중 적어도 어느 하나의 시점의 이동데이터를 기록하는,
    사용자 행동을 예측하는 장치.
  12. 제9항에 있어서,
    상기 액션데이터 기록부는,
    외부로부터 수신된 결제 정보로부터 파악되는 상기 사용자가 임의의 물건을 구매한 구매 정보, 애플리케이션 실행부로부터 파악되는 상기 사용자 기기에서 실행되는 애플리케이션에 대한 정보 또는 상기 외부 기기로부터 수신되는 신호로부터 파악되는 상기 외부 기기에서 실행된 동작 중 적어도 어느 하나를 기록하는,
    사용자 행동을 예측하는 장치.
  13. 제8항에 있어서,
    상기 임의의 시점(t₁)의 M(t₁), A(t₁) 및 S(t₁)과 일정 시간 이후의 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 사이의 확률 상관 관계는,
    상기 임의의 시점(t₁)의 M(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률,
    상기 임의의 시점(t₁)의 A(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률, 및
    상기 임의의 시점(t₁)의 S(t₁) 이후에 일정 시간 이후의 시점(t₁+△t)에 기록되는 상기 M(t₁+△t), A(t₁+△t), 및 S(t₁+△t) 각각이 발생할 확률을 포함하는,
    사용자 행동을 예측하는 장치.
  14. 제8항에 있어서,
    상기 활동 예측부는,
    상기 임의의 시점(t₁)의 상기 S(t₁)에서 상기 일정 시간 이후의 시점(t₁+)의 상기 S(t₁+△t)로 상기 사용자가 이동하는 방법, 상기 S(t₁)에서 상기 S(t₁+△t)를 이동하는 동안의 외부 온도 중 어느 하나를 기초로 상기 사용자 행동 예측 모델을 생성하는,
    사용자 행동을 예측하는 장치.
  15. 제8항에 있어서,
    상기 활동 예측부는,
    상기 임의의 시점(t₁)에서 상기 일정 시간 이후(t₁+△t) 동안 상기 사용자 기기 및 카메라가 장착된 인공지능 가전 기기에서 수집된 상기 사용자 행동 정보를 기초로 상기 일정 시간 이후(t₁+△t) 예측 가능한 상기 사용자 행동 예측 모델을 생성하는,
    사용자 행동을 예측하는 장치.
  16. 제8항에 있어서,
    상기 기기 제어부는,
    예측된 상기 사용자 행동 예측 모델에 기초하여 상기 사용자 기기의 인터페이스 또는 상기 사용자 기기와 연결된 외부 기기를 통해 상기 사용자 기기에 지시될 것으로 예측되는 동작을 먼저 실행하는,
    사용자 행동을 예측하는 장치.
KR1020190078648A 2019-07-01 2019-07-01 사용자 행동 예측 방법 및 사용자 행동 예측 장치 KR20190090738A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190078648A KR20190090738A (ko) 2019-07-01 2019-07-01 사용자 행동 예측 방법 및 사용자 행동 예측 장치
US16/697,977 US20210004705A1 (en) 2019-07-01 2019-11-27 User behavior predicting method and device for executing predicted user behavior

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078648A KR20190090738A (ko) 2019-07-01 2019-07-01 사용자 행동 예측 방법 및 사용자 행동 예측 장치

Publications (1)

Publication Number Publication Date
KR20190090738A true KR20190090738A (ko) 2019-08-02

Family

ID=67614026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078648A KR20190090738A (ko) 2019-07-01 2019-07-01 사용자 행동 예측 방법 및 사용자 행동 예측 장치

Country Status (2)

Country Link
US (1) US20210004705A1 (ko)
KR (1) KR20190090738A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210062372A (ko) * 2019-11-21 2021-05-31 고려대학교 산학협력단 웹 응용에 대한 사용자 상호작용 예측 방법 및 서버
CN113048994A (zh) * 2019-12-26 2021-06-29 丰田自动车株式会社 信息处理装置、信息处理方法以及信息处理系统
WO2023017930A1 (ko) * 2021-08-13 2023-02-16 숭실대학교산학협력단 사용자 피드백 기반 행위 의도 추론 방법 및 장치
WO2023090509A1 (ko) * 2021-11-22 2023-05-25 박지원 인공지능을 이용한 예측 정보 제공 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112582063A (zh) * 2019-09-30 2021-03-30 长沙昱旻信息科技有限公司 Bmi预测方法、装置、系统及计算机存储介质、电子设备
CN115577511B (zh) * 2022-09-26 2023-11-17 南京航空航天大学 基于无人机运动状态的短期航迹预测方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287784B1 (en) * 2018-01-12 2022-03-29 Alarm.Com Incorporated Vehicle configuration using a monitoring system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210062372A (ko) * 2019-11-21 2021-05-31 고려대학교 산학협력단 웹 응용에 대한 사용자 상호작용 예측 방법 및 서버
CN113048994A (zh) * 2019-12-26 2021-06-29 丰田自动车株式会社 信息处理装置、信息处理方法以及信息处理系统
WO2023017930A1 (ko) * 2021-08-13 2023-02-16 숭실대학교산학협력단 사용자 피드백 기반 행위 의도 추론 방법 및 장치
WO2023090509A1 (ko) * 2021-11-22 2023-05-25 박지원 인공지능을 이용한 예측 정보 제공 시스템

Also Published As

Publication number Publication date
US20210004705A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
KR20190090738A (ko) 사용자 행동 예측 방법 및 사용자 행동 예측 장치
CN108423005B (zh) 用于自主车辆的基于反馈的控制模型的生成
Huchuk et al. Comparison of machine learning models for occupancy prediction in residential buildings using connected thermostat data
US11410103B2 (en) Cognitive ride scheduling
US11573093B2 (en) Method for predicting battery consumption of electric vehicle and device for the same
CN107172590B (zh) 基于移动终端的活动状态信息处理方法、装置及移动终端
EP3035314B1 (en) A traffic data fusion system and the related method for providing a traffic state for a network of roads
US11808473B2 (en) Action optimization device, method and program
Chandra Shit Crowd intelligence for sustainable futuristic intelligent transportation system: a review
US20210342611A1 (en) Detect and Alert of Forgotten Items Left in a Vehicle
EP3513579A1 (en) Venue detection
US11363426B1 (en) Systems and methods for verifying reliability of sensor data received from mobile devices
KR20190121721A (ko) 음성 인식 서비스 제공 방법 및 장치
CN112913252A (zh) 电子设备及控制电子设备的方法
US20190199845A1 (en) Electronic device and control method thereof
JP6022499B2 (ja) 行動予測装置、行動予測方法、及び行動予測プログラム
KR20210077916A (ko) 인공 지능을 이용한 가전 기기의 통합 제어 방법 및 그 시스템
KR101975030B1 (ko) 대기 지수 기반 정보 제공 장치, 방법 및 컴퓨터 프로그램
KR20190104931A (ko) 시설 안내 로봇 및 이를 이용한 시설 안내 방법
Ciaburro Time series data analysis using deep learning methods for smart cities monitoring
KR102476303B1 (ko) 복지관 실내 환경 관리 서버
KR20210078203A (ko) 거점 기반의 프로파일링 방법 및 이를 이용하는 단말기
US20200245141A1 (en) Privacy protection of entities in a transportation system
KR20210048382A (ko) 음성 분석 방법 및 장치
CN110220554A (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
G15R Request for early publication
A201 Request for examination