KR101605078B1 - 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체 - Google Patents

사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체 Download PDF

Info

Publication number
KR101605078B1
KR101605078B1 KR1020140064953A KR20140064953A KR101605078B1 KR 101605078 B1 KR101605078 B1 KR 101605078B1 KR 1020140064953 A KR1020140064953 A KR 1020140064953A KR 20140064953 A KR20140064953 A KR 20140064953A KR 101605078 B1 KR101605078 B1 KR 101605078B1
Authority
KR
South Korea
Prior art keywords
user
information
external environment
customized information
customized
Prior art date
Application number
KR1020140064953A
Other languages
English (en)
Other versions
KR20150137307A (ko
Inventor
이민호
말리페디 람모한
김상욱
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140064953A priority Critical patent/KR101605078B1/ko
Publication of KR20150137307A publication Critical patent/KR20150137307A/ko
Application granted granted Critical
Publication of KR101605078B1 publication Critical patent/KR101605078B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Abstract

사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체가 개시된다.
사용자 맞춤형 정보를 제공하는 방법은 서버와 통신하는 사용자 인지 증강 장치에서 사용자 맞춤형 정보를 제공하는 방법으로서, 사용자의 생체신호를 센싱하여 사용자 감정상태를 인식하고, 사용자의 외부 환경을 센싱하여 외부 환경정보를 생성하고, 사용자 감정상태 및 외부 환경정보를 서버로 전송하고, 서버의 사용자 맞춤형 정보 데이터베이스로부터 사용자 감정상태 및 외부 환경정보를 기초로 검색된 사용자 맞춤형 정보를 서버로부터 수신하여 사용자에게 출력하고, 사용자 맞춤형 정보 데이터베이스를 업데이트하도록, 출력된 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 서버에 전송한다.

Description

사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체{The method and system for providing user optimized information, recording medium for performing the method}
본 발명은, 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체에 관한 발명으로서, 보다 상세하게는, 사용자 인지증강 서비스를 사용자에게 제공하는 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체에 관한 발명이다.
최근 IT 기술의 발달로 사용자 편의를 위한 안경형 제품이 많이 출시되고 있다. 그러나 대부분의 제품은 사용자에게 일방적인 단방향 서비스만을 제공해 주는 장치로, 사용자 환경이나 사용자 인지를 고려한 적응적 서비스는 제공되지 않고 있다.
또한, 사용자 환경을 고려한 적응적 서비스가 제공되더라도 이러한 서비스를 제공하는 지능형 서비스 제품은 제품 단가가 높은 문제점이 있다.
따라서 기존의 안경형 디스플레이 플랫폼을 사용자 적응적 서비스가 가능한 전자장치로 사용할 수 있는 신개념 인터페이스 장치의 필요성이 대두되었다.
KR10-2013-0130740A
본 발명의 일 측면은 사용자 감정상태 및 외부 환경정보를 서버로 전송하고 서버로부터 사용자 감정상태 및 외부 환경정보에 대응하는 사용자 맞춤형 정보를 수신하여 출력하고 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 서버에 전송하는 사용자 맞춤형 정보를 제공하는 방법을 제공한다.
본 발명의 다른 측면은 사용자의 생체신호와 외부 환경에 기반한 사용자 감정상태 및 외부 환경 정보를 전송하고 이에 대응하는 사용자 맞춤형 정보를 출력하여 피드백 정보를 생성하는 사용자 인지 증강 장치와, 기학습된 사용자 맞춤형 정보 데이터베이스에서 사용자 상황에 맞는 사용자 맞춤형 정보를 검색하고, 피드백 정보에 기초하여 사용자 맞춤형 정보 데이터베이스를 업데이트하는 서버를 포함하는 사용자 맞춤형 정보 제공 시스템을 제공한다.
본 발명의 일 측면에 따른 사용자 맞춤형 정보를 제공하는 방법은 서버와 통신하는 사용자 인지 증강 장치에서 사용자 맞춤형 정보를 제공하는 방법으로서, 사용자의 생체신호를 센싱하여 사용자 감정상태를 인식하고, 상기 사용자의 외부 환경을 센싱하여 외부 환경정보를 생성하고, 상기 사용자 감정상태 및 외부 환경정보를 상기 서버로 전송하고, 상기 서버의 사용자 맞춤형 정보 데이터베이스로부터, 상기 사용자 감정상태 및 외부 환경정보를 기초로 검색된 사용자 맞춤형 정보를 수신하여 상기 사용자에게 출력하고, 상기 사용자 맞춤형 정보 데이터베이스를 업데이트하도록, 상기 출력된 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 상기 서버에 전송한다.
한편, 사용자 맞춤형 정보 데이터베이스는,IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization), ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 에 의해 상기 피드백 정보를 이용하여 점진적으로 학습될 수 있다.
또한, 상기 피드백 정보는, 상기 사용자 맞춤형 정보가 상기 사용자에게 출력된 결과, 상기 사용자 감정상태 및 외부 환경정보 중 적어도 하나의 변동에 기초하여 생성될 수 있다.
또한, 사용자 감정상태를 인식하는 것은, 상기 생체신호로부터 적어도 하나 이상의 감정특징변수를 추출하고, 상기 추출된 감정특징변수에 대한 성능 평가를 수행하고, 임계치 이상의 평가 성능을 갖는 상기 감정특징변수들이 포함되는 영역으로 감정특징변수들의 차원을 축소하여 상기 감정특징변수들에 대해 개인별 최적화를 실시하고, 상기 최적화된 감정특징변수들로 상기 사용자의 감정상태를 인식하는 것일 수 있다.
또한, 생체신호는, 상기 사용자의 맥파(PPG), 피부전도도(GSR) 및 뇌파 신호 중 적어도 하나 이상을 포함할 수 있다.
또한, 외부 환경정보를 생성하는 것은, 상기 외부 환경에 대한 상기 사용자의 시선 경로를 검출하여 상기 외부 환경 중 상기 사용자의 관심 객체를 검출하는 것을 포함할 수 있다.
또한, 사용자의 관심 객체를 검출하는 것은, 상기 외부 환경에 대한 사용자의 시선 경로를 검출하고, 상기 검출된 시선 경로를 이용하여 상기 외부 환경에 대한 상기 사용자의 관심 영역을 검출하고, 상기 관심 영역 상의 관심 객체를 검출하는 것을 포함할 수 있다.
또한, 관심 영역을 검출하는 것은, 상기 검출된 사용자의 시선 경로에서 시선 특징 정보를 추출하고, 상기 시선 특징 정보로 상기 사용자의 관심 영역을 검출하는 것일 수 있다.
또한, 시선 특징 정보는 동일한 영역에서의 시선이 머무는 시간 및 상기 동일한 영역에서의 시선이 머무는 횟수 중 적어도 하나일 수 있다.
또한, 사용자 맞춤형 정보 데이터베이스는, 복수의 사용자 간의 유사도를 측정한 후 상기 측정된 유사도에 따라 상기 복수의 사용자를 클러스터링(clustering)한 유사성향 사용자 클러스터(cluster)를 포함할 수 있다.
또한, 사용자 맞춤형 정보 데이터베이스는, 상기 유사성향 사용자 클러스터에서 검색된 유사성향 사용자들 그룹의 사용자 맞춤형 정보 데이터베이스들을 기초로 주기적으로 업데이트될 수 있다.
또한, 외부 환경정보는, 상기 사용자가 바라보는 실제 외부 환경 이미지, 상기 사용자가 듣는 실제 외부 환경의 소리, 상기 사용자의 위치 및 온도 중 적어도 하나 이상을 포함할 수 있다.
또한, 사용자 맞춤형 정보를 상기 사용자에게 출력하는 것은, 상기 외부 환경정보에 기초하여 시각적 이미지, 소리 및 진동 중 적어도 하나 이상의 형태로 상기 사용자 맞춤형 정보를 출력할 수 있다.
또한, 외부 환경정보가 특정 외부 환경에 매칭되면, 경고알람을 우선적으로 출력하는 것을 더 포함할 수 있다.
또한, 사용자 맞춤형 정보를 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
본 발명의 다른 측면에 따른 사용자 맞춤형 정보 제공 시스템은, 사용자의 생체신호를 센싱하여 사용자 감정상태를 인식하고, 상기 사용자의 외부 환경을 센싱하여 외부 환경정보를 생성하고, 상기 사용자 감정상태 및 외부 환경정보에 대응하는 사용자 맞춤형 정보를 상기 사용자에게 출력하고, 상기 출력한 결과 상기 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 전송하는 사용자 인지 증강 장치 및 기학습된 사용자 맞춤형 정보 데이터베이스에서 상기 사용자 감정상태 및 외부 환경정보에 대응하는 상기 사용자 맞춤형 정보를 검색하여 이를 상기 사용자 인지 증강 장치에 전송하고, 상기 피드백 정보에 기초하여 상기 기학습된 사용자 맞춤형 정보 데이터베이스를 업데이트하는 서버를 포함한다.
한편, 서버는, IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization), ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 으로 상기 사용자 맞춤형 정보 데이터 베이스에 상기 피드백 정보를 점진적으로 학습시킬 수 있다.
또한, 사용자 인지 증강 장치는 복수로 구비되고, 상기 서버는 복수의 사용자 인지 증강 장치의 사용자들을 소정 기준으로 클러스터링한 유사성향 사용자 클러스터(cluster)를 생성할 수 있다.
또한, 서버는, 복수의 사용자들 간의 유사도를 산출하고, 상기 산출된 유사도가 설정치 이상인 상기 복수의 사용자들을 클러스터링하여 유사성향 사용자 클러스터를 생성할 수 있다.
또한, 서버는, 상기 사용자 맞춤형 정보를 요구하는 상기 사용자 인지 증강 장치의 사용자가 상기 유사성향 사용자 클러스터에 등록되지 않은 신규 사용자인지 확인하고, 상기 신규 사용자이면 상기 유사성향 사용자 클러스터에 등록된 기존 사용자와 유사도를 산출하고, 설정치 이상의 유사도를 갖는 상기 기존 사용자의 클러스터에 상기 신규 사용자를 업데이트할 수 있다.
또한, 서버는, 상기 유사성향 사용자 클러스터에서 검색된 유사성향 사용자들 그룹의 사용자 맞춤형 정보 데이터베이스들을 상호 반영하여 상기 사용자 맞춤형 정보 데이터베이스를 주기적으로 업데이트할 수 있다.
상술한 본 발명의 일측면에 따르면, 기존의 안경형 플랫폼을 이용하여 사용자가 인지하지 못한 중요한 정보나 사용자 상황에 맞는 사용자 맞춤형 정보를 제공할 수 있고, 정보를 제공한 이후 사용자 상황 변화에 따른 피드백을 통해 사용자 맞춤형 정보 데이터베이스를 점진적으로 학습시킴으로써 실시간 성장이 가능한 지능형 인지증강 서비스를 제공할 수 있다.
또한, 유사 사용자 집단의 사용자 상황변화에 따른 사용자 맞춤형 정보 제공을 반영함으로써 집단지성을 이용한 사용자 맞춤형 정보 제공 시스템을 제공할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 사용자 맞춤형 정보 제공 시스템을 도시한 도면이다.
도 2 는 도 1 에 도시된 사용자 맞춤형 정보 제공 시스템의 플로우 차트를 도시한 도면이다.
도 3 은 도 1 에 도시된 사용자 인지 증강 장치의 제어 블록도이다.
도 4 는 도 3 에 도시된 사용자 인지 증강 장치의 일 실시예를 도시한 도면이다.
도 5 는 도 3 에 도시된 사용자 인지 증강 장치에서 사용자 맞춤형 정보를 제공하는 방법을 도시한 순서도이다.
도 6 은 도 1 에 도시된 서버의 제어 블록도이다.
도 7 은 본 발명의 다른 실시예에 따른 사용자 맞춤형 정보 제공 시스템을 도시한 도면이다.
도 8 은 도 7 에 도시된 서버의 제어 블록도이다.
도 9 는 도 8 에 도시된 서버에서의 사용자 맞춤형 정보를 제공하는 방법을 도시한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 사용자 맞춤형 정보 제공 시스템을 도시한 도면이다.
본 실시예에 따른 사용자 맞춤형 정보 제공 시스템(1000)은 사용자 인지 증강 장치(100) 및 서버(200)를 포함한다.
사용자 인지 증강 장치(100)는 서버(200)와 통신망을 통해 통신하여 사용자 적응적 서비스를 수신하고, 이를 사용자에게 제공하는 장치이다. 이때 통신망은 대용량, 장거리 음성/데이터 서비스가 가능한 통신망의 고속 기간망으로서, 예컨대 일반적인 인터넷 네트워크가 될 수 있다. 또한, 통신망은 ALL-IP(ALL Internet Protocol) 기반의 고속의 데이터 서비스를 제공하기 위한 차세대 유선망으로 시스템 상호간의 신호 및 데이터 송수신을 매개하는 역할을 수행한다.
특히, 본 실시예의 사용자 인지 증강 장치(100)는 사용자의 생체 신호 및 외부 환경을 센싱하여 사용자의 감정상태, 외부 환경 정보를 포함하는 현재 사용자 상황 정보를 생성하고 이를 서버(200)에 전송한다. 또한, 서버(200)로부터 현재 사용자 상황 정보에 대응하는 사용자 맞춤형 정보를 수신하여 이를 사용자에게 출력하고 출력한 결과 발생한 사용자 상황 정보의 변경에 근거하여 피드백 정보를 생성한다.
서버(200)는 클라이언트의 접속요청에 응답하여 소정의 정보를 제공하는 일반적인 형태의 서버일 수 있으며, 사용자 인지 증강 장치(100)와 소정의 정보를 통신한다.
특히, 본 실시예의 서버(200)는 기학습된 사용자 맞춤형 정보 데이터베이스를 미리 저장하고, 사용자 인지 증강 장치(100)로부터 수신된 현재 사용자 상황 정보에 맞는 사용자 맞춤형 정보를 검색하여 이를 사용자 인지 증강 장치(100) 측으로 전송한다.
또한, 기전송한 사용자 맞춤형 정보에 대해 수신된 피드백 정보를 반영하여 사용자 맞춤형 정보 데이터베이스를 업데이트함으로써 실시간으로 사용자 맞춤형 정보 데이터베이스를 성장시킨다.
도 2 는 도 1 에 도시된 사용자 맞춤형 정보 제공 시스템의 플로우 차트를 도시한 도면이다.
도 2 를 참조하면, 사용자 인지 증강 장치는 사용자의 생체 신호 및 외부 환경을 센싱하여 사용자 현재 상황정보를 생성하고 이를 서버측으로 전송한다. 이때, 사용자 현재 상황정보는 사용자의 감정상태, 외부 환경 정보를 포함할 수 있다.
서버는 사용자 현재 상황정보에 대응하는 사용자 맞춤형 정보를 기학습된 사용자 맞춤형 정보 데이터베이스에서 검색하고, 검색된 사용자 맞춤형 정보를 사용자 인지 증강 장치 측으로 전송한다.
사용자 인지 증강 장치는 수신된 사용자 맞춤형 정보를 사용자에게 출력하고, 출력한 결과 사용자 생체신호 및 외부환경을 재센싱하여 이를 기초로 피드백 정보를 생성하고, 이를 서버측으로 전송한다.
서버는 상기 피드백 정보를 반영하여 상기 사용자 맞춤형 정보 데이터베이스를 업데이트하여 데이터베이스의 점진적 학습을 수행한다.
도 3 은 도 1 에 도시된 사용자 인지 증강 장치의 제어 블록도이다.
도 3 을 참조하면, 본 실시예의 사용자 인지 증강 장치(100)는, 통신부(110), 감지부(120), 입력부(130), 메모리부(140), 출력부(150) 및 제어부(160)를 포함한다. 도 3 은 다양한 구성요소를 갖는 사용자 인지 증강 장치를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 인지 증강 장치가 구현될 수 있고, 그보다 적은 구성요소에 의해 사용자 인지 증강 장치가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.
통신부(110)는 서버와의 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다.
예를 들면, 통신부(110)는 무선 인터넷 모듈로 구성될 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈이다. 무선 인터넷 모듈을 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 Wi-fi(wireless-fidelity), LTE(Long Term Evolution), 3GPP2(3rd Generation Partnership Project 2), 3GPP(3rd Generation Partnership Project), WiMAX(Worldwide Interoperability for Microwave Access), IEEE(Institute of Electronics Engineers) 802.16m 중 적어도 하나에 기초하여 통신을 수행할 수 있다.
이러한 통신부(110)는 서버로 사용자 감정상태 및 외부 환경정보를 전송하고, 이에 응답한 사용자 맞춤형 정보를 수신할 수 있다. 또한, 통신부(110) 는 사용자 맞춤형 정보의 수신에 따라 생성된 피드백 정보를 서버측으로 전송할 수 있다.
감지부(120)는 사용자의 생체신호와 외부 환경을 감지하기 위한 적어도 하나 이상의 구성요소를 포함한다. 이러한 감지부(120)는 생체신호 감지부(121)와 외부 환경 감지부(122)를 포함한다.
생체신호 감지부(121)는 사용자의 맥파(PPG), 피부전도도(GSR), 체온 등을 측정하기 위한 센서부(121-1)와 센서부(121-1)와 연결된 전처리부(121-2)를 포함한다.
센서부(121-1)는 하나 이상의 센서로 구성되어 사용자의 맥파, 피부전도도, 체온 등의 생체신호를 측정한다. 센서부(121-1)는 상용제품의 센서를 사용하며 도 4 에서의 체온, 맥박센서와 같이 소정의 헬맷 내에 부착될 수 있으며 손바닥이나 손가락에 부착될 수 있다.
전처리부(121-2)는 센서부(121-1)에서 측정된 생체신호를 증폭하고 잡음 제거를 위한 필터링을 실시하여 순수 생체신호만을 추출하고 이를 제어부(160)로 전송한다.
또한, 생체신호 감지부(121)는 사용자의 뇌파를 측정하기 위한 뇌파측정부(121-3)를 포함한다. 이러한 뇌파 측정부(121-3)는 도 4 에서와 같이 헬맷과 같은 형태로서 사용자의 두부에 부착될 수 잇는 구조로 구현될 수 있다. 한편, 도 4 에서는 헬맷 또는 모자의 형태로 뇌파 측정부가 구현되었으나, 밴드형 형태로도 구현될 수 있음은 물론이다.
이러한 뇌파 측정부(121-3)는 전극부(미도시), 신호처리부(미도시) 및 송신부(미도시)를 포함한다.
전극부는 적어도 하나의 전극을 포함하며 각각의 전극은 사용자로부터 출력되는 뇌파를 검출한다. 전극부의 전극은 Ag-AgCl 전극으로서 사용시 전도성 젤을 바르거나 접착성 테이프를 이용하여 신체에 부착하는 습식 전극과 추가적인 전도성 젤을 요구하지 않는 건식 전극 중 어느 하나로 구성될 수 있다.
전극부는 바람직하게는 뇌파의 주파수 범위 예컨대 약 0 내지 60Hz 의 주파수 범위에서 10 내지 200㎶의 전압범위의 진폭의 신호를 검출할 수 있다. 한편, 상기 뇌파는 알파파 및 베타파의 진폭, 베타파에 대한 알파파의 상대적 비율을 포함할 수 있다.
신호 처리부는 저전력, 고잡음비, 미세 신호의 특성을 가진 전극부에 의해 검출된 뇌파를 연산, 증폭 및 필터링 등의 다양한 아날로그 신호처리 과정을 수행한다. 신호 처리부는 전극부로부터 입력받은 뇌파에 대하여 ADC(analog to digital converting) 를 수행하여 아날로그 형태의 뇌파를 디지털 형태 신호로 변환하고 연산, 증폭 및 필터링의 신호처리를 수행한다.
송신부는 신호 처리부에 의해 신호처리된 뇌파를 제어부(160)로 송신하며 도 4 에서와 같이 뇌파 측정부(135)가 제어부(160)와 분리된 형태로 구현될 경우에는 듀플렉서나 안테나를 포함하는 형태로 구현될 수 있다. 이러한 송신부는 신호 처리된 디지털 형태의 뇌파에 대하여 DAC(digital to analog converting) 를 수행하여 아날로그 형태의 신호로 변환할 수 있다. 송신부는 아날로그 형태의 신호에 대하여 중간 주파수 작업 또는 RF 주파수 작업을 수행할 수 있으며, 이에 따라 적절한 반송파를 이용하여 뇌파를 송신할 수 있다.
외부환경 감지부(122)는 사용자의 외부 환경을 감지하기 위한 하나 이상의 구성요소를 포함한다.
외부환경 감지부(122)는 촬상부(122-1), 마이크(122-2), 위치 감지부(122-3), 온습도 측정부(122-4)를 포함한다.
촬상부(122-1)는 사용자가 바라보는 실제 외부 환경 이미지와 사용자의 동공(구체적으로, 눈 영역)을 촬상한다. 예컨대, 도 4 에서와 같이 안경 형태의 인터페이스 장치가 사용자 인지 증강 장치에 적용되는 경우, 촬상부(122-1)는 실제 외부 환경 이미지를 촬영하기 위한 외부 카메라와, 사용자의 동공을 촬상하는 내부 카메라로 구현될 수 있다.
마이크(122-2)는 사용자가 듣는 실제 외부 환경의 소리를 감지한다. 예컨대, 마이크는 도 4 에서와 같이 안경 형태의 인터페이스 장치가 사용자 인지 증강 장치에 적용되는 경우, 안경형 디스플레이의 전면에 배치될 수 있다.
위치 감지부(122-3)는 사용자 인지 증강 장치(100)를 사용하는 사용자의 위치를 확인하거나 이를 얻기 위한 모듈이다.
위치 감지부(122-3)는 일 예로 GPS 모듈로 구현될 수 있다. GPS 모듈은 복수 개의 인공 위성으로부터 위치 정보를 수신한다. 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들어, GPS 모듈은 3 개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3 개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3 개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로부터 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터 위도, 경도, 고도 뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다.
위치 감지부(122-3)는 사용자 인지 장치를 소지한 사용자의 위치, 방위, 가속/감속을 센싱할 수 있는 센서로 구성될 수도 있다.
온습도 측정부(122-4)는 사용자의 외부 환경 중 온도와 습도를 측정하는 구성으로서, 온습도 측정계로 구성될 수 있다.
입력부(130)는 사용자로부터 출력된 사용자 맞춤형 정보에 대한 피드백 신호를 수신한다. 이러한 입력부(130)는 사용자로부터 사용자 맞춤형 정보에 대한 만족도를 입력받을 수 있으며, 음성 입력의 경우 전술한 마이크(122-2)와 상호 레이어 구조를 이룰 수 있으며, 문자 입력의 경우 키 패드, 터치 패드 등으로 구현될 수 있다.
출력부(150)는 음성 신호 또는 영상 신호 또는 알림 신호의 출력을 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 등이 포함될 수 있다.
디스플레이부(151)는 사용자 맞춤형 정보를 영상 신호의 형태로 사용자에게 표시 출력한다. 한편, 디스플레이부(151)는 도 4 에서와 같이 안경 형태의 인터페이스 장치가 사용자 인지 증강 장치(100)에 적용되는 경우, 시스루 디스플레이인 안경에 장착된 렌즈의 형태로 구현될 수 있다.
음향 출력 모듈(152)은 통신부(110)로부터 수신되거나 메모리부(140)에 저장된 음성 신호를 출력하는 것으로서, 사용자 맞춤형 정보를 음성 신호의 형태로 사용자에게 출력한다. 음향 출력 모듈은 도 4 에서와 같이, 헬멧 내측에 부착된 골전도 이어폰의 형태로 구현될 수 있다.
알람부(153)는 사용자 인지 증강 장치(100)에서 특정 외부 환경이 감지될 경우 사용자에게 상기 특정 외부 환경의 이벤트 발생을 알리기 위한 신호를 출력하는 것으로서, 진동 형태, 경고음 및 경고 표시 중 적어도 하나 이상의 형태의 알람을 출력할 수 있다.
제어부(160)는 사용자 인지 증강 장치(100)의 전반적인 동작을 제어한다.
이러한 제어부(160)는 감정 상태 인식부(161), 외부환경정보 생성부(162), 출력 제어부(163) 및 피드백 정보 생성부(164)를 포함한다.
감정 상태 인식부(161)는 생체신호 감지부(121)에서 감지된 생체신호를 기초로 사용자의 감정 상태를 인식한다.
감정 상태 인식부(161)는 감정특징변수 추출부(161-1), 최적화부(161-2) 및 감정 인식부(161-3)를 포함하여, 생체신호 감지부(121)에서 감지된 생체신호로부터 다수의 감정특징변수를 추출하고, 상기 추출된 감정특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하고, 상기 최적화된 감정특징변수들로 사용자의 감정상태를 인식한다.
감정특징변수 추출부(161-1)는 생체신호 감지부(121)에서 감지된 생체신호인 맥파(PPG) 신호, 피부 전도도(GSR), 체온, 뇌파 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성, 뇌파의 주파수를 예측하기 위한 다수의 감정특징변수들을 추출한다.
예컨대, 심박 변이도(HRV) 예측을 위한 감정특징 변수는 HRV 평균(mean), SDNN(standard deviation of the normal-to-normal intervals), RMSSD(root mean square of the successive differences between consecutive NN intervals(HRV time-domain index quantifying the parasympathetic tone)), NN50(number of interval differences of successive NN intervals greater than 50ms), total power, nHF(high frequency band), nLF(low frequency band), LF/HF(radio high/low frequency band) 들일 수 있다. 이러한 감정특징변수는 맥파(PPG) 신호의 피크치들 사이의 간격(RR interval) 에 대한 주파수 보간(예를 들어 4Hz의 interpolation) 및 시간 영역 분석(time domain HRV), 주파수 영역 분석(frequency domain HRV) 를 통해 추출된다.
또한, 감정특징변수 추출부(161-1)는 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 다수의 감정특징변수들을 추출한다. 이들 감정특징변수들은 피부전도도(GSR) 신호의 다운 샘플링(down-sampling) 과 잡음제거 필터링, 상(phasic) 검출 과정을 통한 평균치와 표준편차, 긴장성(yonic) 검출 및 미분 과정을 통한 빈도수(fluctuation) 카운트 값일 수 있다.
또한, 감정특징변수 추출부(161-1)는 뇌파 신호를 기설정된 이득으로 증폭하고, 고속 푸리에 변환 등을 수행하여 아날로그 신호 형태의 뇌파를 디지털 신호 형태로 변환하고, 뇌파를 독립성분분석(independent component analysis) 알고리즘에 적합한 데이터셋으로 변환하며, 뇌파 분석의 시구간 범위를 선택한다. 또한, 감정특징변수 추출부(161-1)는 뇌파 분석에 있어 불필요한 노이즈를 제거하고, 감정상태를 판단하기 위한 뇌파의 주파수를 추출한다.
최적화부(161-2)는 감정특징 추출부(161-1)에서 추출된 다수의 감정특징변수들에 대한 성능 평가를 수행하고, 임계치 이상의 평가 성능을 갖는 감정특징변수들이 포함되는 영역으로 감정특징변수들의 차원을 축소한다. 여기서 상기 다수의 감정특징변수들에 대한 성능 평가는 순차전방탐색(Sequential Floating Forward Search) 알고리즘을 통해 실시될 수 있으며, 그 결과 평가 성능이 우수한 변수들이 포함되는 영역으로 감정특징변수들의 차원이 축소되어 개인별 최적화가 수행될 수 있다.
감정 인식부(161-3)는 최적화부(161-2)를 통해 선별된 감정특징변수들의 차원 내의 감정특징변수들을 미리 설정된 감정패턴 인식 규칙에 따라 신호 처리하여 각 개인의 현재 감정상태를 판단하고 인식한다. 여기서 상기 선별된 감정특징변수들의 차원 내의 감정특징변수들은 감정패턴 인식규칙에 따라 학습된 신경회로망 알고리즘의 입력신호로 사용되며, 상기 신경회로망 알고리즘은 1층 이상의 은닉층으로 구성되고 각 개인별 사용자의 감정상태 판단 결과를 출력으로 발생시킨다. 상기 각 개인의 감정상태는, 예를 들어 두려움, 슬픔, 기쁨, 만족, 보통 등의 부정적 감정상태 및 긍정적 감정상태로 구별될 수 있다.
한편, 감정 인식부(161-3)는 감정특징변수들을 약분류기 및 강분류기를 포함하는 이진분류기의 입력신호로 사용하여 사용자의 감정상태 판단 결과를 출력으로 생성할 수 있다.
여기서 약분류기는 SVM(Support Vector Machine)으로 구현될 수 있다.
SVM은 1979년 Vapnik에 의해 제안된 통계적 학습 이론(SLT, Statistical Learning Theory)에 기반을 두고 있다. 일반적인 통계적 학습 방법에서의 경험적 리스크 최소화(ERM, Empirical Risk Minimize)와는 다른 구조적 리스크 최소화(SRM, Structural Risk Minimize)를 통해 오류를 최소화시키는 방법을 이용한다.
SVM은 classification 문제를 해결하기 위한 최적 분리 경계면을 제공한다. 훈련데이터 { ( x i , d i ) , i = 1, . . . ,N}가 주어졌을 때, xi는 두 class 중 하나에 속하며, di?{ - 1, 1}는 해당 class를 표시하는 라벨의 역할을 한다. SVM은 각 class를 구분하는 최적의 분리경계면(separating hyperplane)을 구하기 위해 분리경계면과 가장 분리 경계면에 인접한 점(support vector )과의 거리를 최대화한다. 최적의 선형 분리경계면을 f ( x ) = wx + b 로 놓으면, support vector와 f ( x )의 거리를 1 /|| w||로 나타낼 수 있다. SVM은 || w ||²를 최소화하여 분리 간격을 최대화하도록 하여 최적 분리면을 찾아낸다. 이 최적 분리면을 OSH(Optimal separating hyperplane)라고 한다.
또한, 강분류기는 Adaboosted SVM으로 구현될 수 있다.
Adaboosted SVM 란, 약분류기인 SVM에 Adaboost 기법을 적용하여 생성된 분류기를 의미한다. Adaboost 기법이란, 약분류기의 선형적인 결합을 통하여 최종적으로 높은 검출 성능을 가지는 강분류기를 생성하는 알고리즘이다.
Adaboost 기법은 약간씩 변형된 트레이닝 샘플에 대해 약분류기를 여러번 실행시키고 각 실행의 결과 생성된 가설(Hypothesis)을 결합하여 하나의 최종 가설을 만든다. 이렇게 함으로써 약분류기의 가설보다 더 높은 정확성을 가진 가설을 획득하게 된다. Adaboost 기법의 주요 개념은 주어진 트레이닝 샘플의 각 보기(Example)에 가중치를 할당하는 것이다. 처음에 모든 가중치는 동일하지만, 약분류기가 가설을 반환할 때마다 그 가설에 의해서 잘못 분류된 모든 보기들의 가중치는 증가된다. 이런 방법으로 약분류기는 학습 데이터의 어려운 보기들에 집중하게 된다. 최종 가설은 이전 실행에서 생성된 가설들의 조합이 된다. 즉, 낮은 분류 오류를 갖는 가설일수록 높은 가중치를 갖게 된다.
외부환경정보 생성부(162)는 외부환경 감지부(122)로부터 센싱된 외부 환경을 기초로 외부환경 정보를 생성한다. 외부환경정보 생성부(162)는 사용자가 바라보는 실제 외부 환경 이미지, 사용자가 듣는 실제 외부 환경의 소리, 사용자의 위치 및 온습도 중 적어도 하나 이상을 포함하는 외부환경 정보를 생성한다.
이러한 외부환경정보 생성부(162)는 관심객체 검출부(162-1)와 긴급환경 검출부(162-2)를 포함한다.
관심객체 검출부(162-1)는 촬상부(122-1)에서 촬상된 사용자가 바라보는 실제 외부 환경 이미지와 사용자의 동공을 기초로 상기 외부 환경 이미지에서 사용자가 주의집중하는 관심 객체를 검출한다.
보다 구체적으로, 관심객체 검출부(162-1)는 관심영역 검출부(미도시)와 관심객체 인지부(미도시)를 포함한다.
관심영역 검출부는 사용자의 시선 경로를 검출하고, 검출된 시선 경로를 이용하여 외부 환경 이미지에 대한 사용자의 관심 영역을 검출한다. 구체적으로, 관심 영역 검출부는 검출된 시선 경로에서 시선 특징 정보를 추출할 수 있다.
여기서, 시선 특징 정보는, 동공의 변화, 눈 깜빡임, 시선 응시점, '최초 고정시간(time to first fixation)', '고정길이(fixation length)', '고정횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(participant%)'과 같은 정보일 수 있다.
여기서, '최초 고정시간(time to first fixation)' 은 자극(시각적 이미지) 를 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선이 첫번째로 고정될 때까지의 시간이고, '고정길이(fixation length)' 는 입력된 이미지의 특정 영역(Areas of interest, AOI) 에서 사용자의 시선이 머무는 시간이며, '고정횟수(fixation count)'는 입력된 이미지의 상기 특정 영역에서 사용자의 시선이 머무는 횟수이다. 또한, '관찰 길이(observation length)'는 특정 영역에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 영역에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 영역 안에서 첫번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, 참여율(participant%)'은 특정 영역 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼센테지, 즉 특정 영역에 대한 사용자들의 시선 고정 빈도이다. 이러한 시선 특징 정보 각각을 사용자의 시선 경로에서 추출하는 방법은 널리 알려져 있는바 이에 대한 설명은 생략한다.
관심 영역 검출부는 추출된 시선 특징 정보 중 동일한 영역에서 시선이 머무는 시간 및 동일한 영역에서의 시선이 머무는 횟수 중 적어도 하나를 기초로 사용자의 관심 영역을 검출한다.
이러한 관심 영역 검출부는 복수의 입력항목을 입력받으며 뉴럴 네트워크 알고리즘을 이용하는 NN 학습기로 구성될 수 있다.
관심객체 인지부는 관심 영역 상의 적어도 하나 이상의 관심객체를 인지한다. 이러한 관심객체 인지부는 이미지 정보 추출부, CSD 처리부, ICA 처리부 및 추출부를 포함한다.
이미지 정보 추출부는 입력된 이미지에 대한 밝기(I), 에지(E), 및 보색(RG,BY) 에 대한 이미지 정보를 추출한다. 구체적으로, 이미지 정보 추출부는 입력부에서 입력된 이미지의 R(Red), G(Green), B(Blue) 값을 기초로 입력된 영상에 대한 밝기, 에지, 대칭성 및 보색 중 적어도 하나의 이미지 정보를 추출할 수 있다.
CSD 처리부는 추출된 이미지 정보에 대한 중앙-주변 창(Center-surround Difference:CSD) 및 정규화 처리를 수행하여 밝기 특징맵, 방향 특징맵, 대칭성 특징맵, 컬러 특징맵을 생성할 수 있다.
ICA 처리부는 출력된 특징맵에 대한 독립 성분해석(Independent component analysis) 을 수행하여 돌출맵(SM:Salient Map) 을 생성한다.
추출부는 돌출맵 상의 돌출 영역을 관심객체로 인지한다. 구체적으로, 추출부는 ICA 처리부에서 출력된 돌출맵에 포함된 복수의 돌출 포인트에 대해서 기학습된 정보를 이용하여 보강 처리 또는 억제 처리를 수행하여 복수개의 돌출 포인트에 대한 우선 순위를 부여하고, 일정 우선순위를 갖는 영역을 관심객체로 검출한다.
긴급환경 검출부(162-2)는 센싱된 외부 환경이 특정 외부 환경인지 검출하고, 상기 특정 외부 환경이 검출되면 알람부(153)를 통해 경고알람을 우선적으로 출력하도록 제어한다.
구체적으로, 긴급환경 검출부(162-2)는 센싱된 외부 환경이 메모리부(140)에 미리 저장된 특정 외부 환경의 조건을 만족하는지 확인하고, 상기 특정 외부 환경의 조건에 해당되면 사용자 맞춤형 정보의 출력에 우선하여 경고알람을 사용자에게 출력하도록 제어한다.
상기 특정 외부 환경은 사용자에게 즉각적으로 영향을 미칠 수 있는 외부 상황일 수 있으며, 예컨대, 차량이 고속으로 사용자에게 다가오는 경우, 사용자의 위치가 사고가 빈번한 지역에 있는 경우일 수 있다.
출력 제어부(163)는 통신부(110)를 통해 수신된 사용자 맞춤형 정보가 사용자의 현재상황에 적합하도록 출력한다. 출력 제어부(163)는 통신부(110)로부터 수신된 사용자 맞춤형 정보의 종류, 감정상태 인식부(161)로부터 인식된 사용자의 감정상태 및 외부환경정보 생성부(162)에서 생성된 외부 환경정보에 기초하여 출력부(150)를 제어한다.
예컨대, 출력 제어부(163)는 사용자가 운전중인 상황에서는 사용자 맞춤형 정보를 출력부(150)의 음향 출력 모듈(152)을 통해 음성신호로 출력할 수 있다. 또한, 출력 제어부(163)는 주변 소음이 소정치 이상인 경우 사용자 맞춤형 정보를 출력부(150)의 디스플레이부(151)를 통해 영상 신호로 출력할 수 있다.
따라서, 출력 제어부(163)는 사용자의 현재 상황에 부합하고 수용의 용이성이 향상되게 사용자 맞춤형 정보를 사용자에게 출력하도록 제어할 수 있다.
피드백 정보 생성부(164)는 출력된 사용자 맞춤형 정보에 대한 피드백 정보를 생성하고 이를 통신부(110)를 통해 서버측으로 전송하도록 제어한다.
피드백 정보 생성부(164)는 입력부(130)를 통해 수신된 사용자 맞춤형 정보를 출력한 결과에 대한 사용자의 반응, 즉 사용자의 명시적 피드백을 기초로 피드백 정보를 생성한다. 피드백 정보 생성부(164)는 입력부(130)를 통해 수신된 음성 또는 문자 형태의 사용자 반응에서 미리 설정된 방법으로 긍정도 지수를 판별하고, 상기 긍정도 지수에 기초하여 기출력된 사용자 맞춤형 정보가 사용자에게 적합한 서비스였는지 판단한다.
보다 구체적으로, 피드백 정보 생성부(164)는 사용자 음성 또는 문자에서 키워드를 검색하고, 상기 검색된 키워드를 기초로 긍정도를 산출한다. 이때, 피드백 정보 생성부(164)는 메모리부(140)에 저장된 긍정/부정 키워드 데이터베이스에 매칭되는 키워드를 검색하고, 상기 검색된 키워드와 연관된 긍정도 가중치 또는 부정도 가중치를 합산하여 긍정도를 산출할 수 있다.
또한, 피드백 정보 생성부(164)는 감지부(120)를 통해 생체신호 및/또는 외부 환경을 재감지하고, 이를 통해 인식된 감정상태 및/또는 외부 환경정보의 변동 여부를 기초로 사용자의 묵시적 피드백 정보를 생성한다. 즉, 피드백 정보 생성부(164)는 사용자 맞춤형 정보가 출력되는 동안 또는 출력된 이후의 사용자 감정상태 및/또는 외부 환경정보의 변동상태에 따라 사용자 맞춤형 정보가 사용자에게 적합한 서비스였는지 자체 평가를 수행한다.
도 5 는 도 3 에 도시된 사용자 인지 증강 장치에서 사용자 인지증강 서비스를 제공하는 방법을 도시한 순서도이다.
먼저, 사용자 인지 증강 장치는 사용자의 생체 신호를 센싱하여 사용자의 감정상태를 인식한다(310). 이때, 생체 신호는 사용자의 맥파(PPG), 피부전도도(GSR) 및 뇌파 신호 중 적어도 하나 이상을 포함한다.
한편, 사용자의 감정상태를 인식하는 것은, 생체 신호로부터 감정상태를 인식하기 위한 적어도 하나 이상의 감정특징변수를 추출하고, 추출된 감정특징 변수에 대한 성능평가를 수행하여 임계치 이상의 평가성능을 갖는 감정특징변수들을 추출하고, 상기 추출된 감정특징변수들이 포함되는 영역으로 감정특징변수들의 차원을 축소함으로써 감정특징변수들에 대해 개인별 최적화를 실시한다. 또한, 최적화된 감정특징변수들로 미리 설정된 방식에 따라 사용자의 감정상태를 인식한다. 이때, 사용자의 감정상태를 인식하는 것은 미리 저장된 감정상태 데이터베이스에서 상기 최적화된 감정특징변수들에 대응하는 감정상태를 검색할 수 있다. 이로써, 개인별 편차가 큰 생체신호들을 통해 개인별로 최적의 상태로 감정상태가 인식될 수 있도록 감정특징변수들이 조정될 수 있다.
또한, 사용자 인지 증강 장치는 사용자의 외부 환경을 센싱하여 외부 환경정보를 생성한다(320). 상기 센싱된 외부 환경은 카메라를 통해 촬상된 사용자가 바라보는 실제 외부 환경 이미지, 마이크를 통해 녹음된 사용자가 듣는 실제 외부 환경의 소리, 사용자의 위치, 온도, 시각, 날씨 등이며, 상기 센싱된 외부 환경에 대해 소정의 가공과정을 거쳐 외부 환경정보가 생성된다.
또한, 외부 환경정보는 사용자가 주의집중하는 대상, 즉 관심객체를 포함할 수 있다. 이러한 관심객체는 센싱된 외부 환경, 즉, 실제 외부 환경 이미지 상에서 사용자의 시선 경로를 검출하여 검출된 시선 경로를 통해 검출될 수 있다. 보다 구체적으로, 사용자 인지 증강 장치는 외부 환경에 대한 사용자의 시선 경로를 검출하고, 검출된 시선 경로를 이용하여 외부 환경에 대한 사용자의 관심 영역을 검출하고, 상기 관심 영역 상에서 관심 객체를 검출한다. 이때, 관심 영역은 검출된 사용자의 시선 경로에서 추출된 시선 특징 정보에 기초할 수 있으며, 상기 시선 특징 정보는 동일한 영역에서의 시선이 머무는 시간 및 동일한 영역에서의 시선이 머무는 횟수 중 적어도 하나일 수 있다.
이렇게 사용자 감정상태와 외부 환경정보가 생성되면(310,320), 사용자 인지 증강 장치는 이를 서버측으로 전송하고(330), 서버로부터 사용자 맞춤형 정보를 수신하여 이를 사용자에게 출력한다(340). 이때, 사용자 맞춤형 정보는 서버측에 기저장된 사용자 맞춤형 정보 데이터베이스에서 검색된 상기 사용자 감정상태와 외부 환경정보에 부합하는 정보일 수 있다. 한편, 사용자 맞춤형 정보를 출력하는 것은 시각적 이미지, 소리 및 진동 중 적어도 하나 이상의 형태로 출력할 수 있다. 또한, 외부 환경정보가 특정 외부 환경에 매칭되면 사용자 맞춤형 정보를 출력하기 전에 경고알람을 우선적으로 출력하도록 제어될 수 있다.
또한, 사용자 인지 증강 장치는 상기 사용자 맞춤형 정보를 출력한 결과 사용자로부터의 명시적/묵시적 반응을 검출하거나 변동되는 외부 환경정보에 기인하여 피드백 정보를 생성한다(350). 즉, 사용자 인지 증강 장치는 사용자 맞춤형 정보가 사용자에게 출력하는 동안 및/또는 이후의 사용자의 감정상태 및 외부 환경정보를 재감지하고, 감정상태 및 외부 환경정보 중 적어도 하나의 변동 여부에 기초하여 피드백 정보를 생성한다. 따라서, 사용자 맞춤형 정보가 사용자의 상황에 적합한 서비스였는지에 대한 자체평가가 수행될 수 있고, 이를 통해 서버측의 사용자 맞춤형 정보 데이터베이스를 업데이트함으로써 실시간으로 상기 사용자 맞춤형 정보 데이터베이스를 성장시킬 수 있다.
도 6 은 도 1 에 도시된 서버의 제어 블록도이다.
도 6 을 참조하면, 본 실시예에 따른 서버(200)는 통신부(210), 메모리부(220) 및 제어부(230)를 포함한다. 도 6 은 다양한 구성요소를 갖는 서버를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 서버가 구현될 수 있고, 그보다 적은 구성요소에 의해 서버가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.
통신부(210)는 사용자 인지 증강 장치와 무선 통신을 수행하게 하는 것으로서, 예컨대 무선 인터넷 모듈일 수 있다. 이러한 통신부(210)는 사용자 인지 증강 장치로부터 사용자 상황정보인 사용자 감정상태 및 외부 환경정보를 수신하고, 상기 사용자 상황정보에 부합하는 사용자 맞춤형 정보를 사용자 인지 증강 장치측으로 전송한다. 또한, 통신부(210)는 상기 사용자 맞춤형 정보를 전송한 결과인 피드백 정보를 수신한다.
메모리부(220)는 제어부(230)의 처리 및 제어를 위한 프로그램이 저장될 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.
이러한 메모리부(220)는 사용자 맞춤형 정보 데이터베이스를 저장한다. 사용자 맞춤형 정보 데이터베이스는 사용자 감정상태, 외부 환경정보 및 이들간의 상호관계를 모델링하여 학습된 데이터베이스로서, 현재 사용자 상황에 부합하는 사용자 맞춤형 정보의 목록을 저장한 데이터베이스이다.
제어부(230)는 서버(200)의 전반적인 동작을 제어한다. 이러한 제어부(230)는 사용자 맞춤형 정보 검색부(231) 및 학습부(232)를 포함한다.
사용자 맞춤형 정보 검색부(231)는 통신부(210)로부터 수신한 사용자 감정상태 및 외부 환경정보를 기초로 사용자 맞춤형 정보를 검색하고 검색된 사용자 맞춤형 정보를 통신부(210)를 통해 전송하도록 제어한다. 사용자 맞춤형 정보 검색부(231)는 학습부(232)를 통해 기학습된 사용자 맞춤형 정보 데이터베이스로부터 현재 사용자 상황에 가장 부합하는 사용자 맞춤형 정보를 검색한다. 따라서, 사용자 맞춤형 정보 검색부(231)는 사용자의 감정상태, 인지상태, 주변 환경 등 사용자가 처한 상황에서의 최적의 인지 증강 서비스를 제공할 수 있다.
학습부(232)는 통신부(210)로부터 피드백 정보가 수신되면 메모리부(220)의 사용자 맞춤형 정보 데이터베이스를 상기 피드백 정보를 반영하여 업데이트한다. 학습부(232)는 사용자 맞춤형 정보가 사용자 인지 증강 장치측에서 출력된 결과 변화된 사용자 감정상태, 외부 환경정보 및 이들의 상호관계를 모델링하여 기존의 사용자 맞춤형 정보 데이터베이스를 성장시킨다. 즉, 학습부(232)는 기전송된 사용자 맞춤형 정보에 따른 사용자의 상황변화에 기초하여 상기 기전송된 사용자 맞춤형 정보의 사용자의 상황에 대한 적합도를 판별하고, 상기 적합도를 반영하여 사용자 맞춤형 정보 데이터베이스를 점진적으로 학습시킨다.
이러한 학습부(232)는 새로운 데이터, 즉, 피드백 정보만을 이용해 기존의 학습 모델, 즉 사용자 맞춤형 정보 데이터베이스를 효율적으로 업데이트하는 점진적/적응적(Incremental/Adaptive) 학습을 수행한다.
또한, 학습부(232)는 IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization) 와 같은 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘, ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 과 같은 특징분포의 변화를 시간적으로 모델링하는 분류기들을 적용하여 사용자 맞춤형 정보 데이터베이스를 업데이트할 수 있다.
도 7 은 본 발명의 다른 실시예에 따른 사용자 맞춤형 정보 제공 시스템을 도시한 도면이다.
도 7 을 참조하면, 본 실시예에 따른 사용자 맞춤형 정보 제공 시스템(1000)은 복수 개의 사용자 인지 증강 장치(100-1,100-2,…100-N)와 서버(200)를 포함한다.
각각의 사용자 인지 증강 장치는 도 1 에 도시된 사용자 인지 증강 장치와 그 기능 및 구성이 동일한바, 이에 대한 설명은 생략한다.
서버(200)는 복수 개의 사용자 인지 증강 장치(100-1,100-2,…100-N) 각각과 통신한다. 이러한 서버(200)는 도 1 및 도 6 에 도시된 서버와 그 기본적인 기능 및 구성이 동일하지만, 복수 개의 사용자 인지 증강 장치(100-1,100-2,…100-N)로 사용자 맞춤형 정보를 전송하고, 각각의 사용자 인지 증강 장치(100-1,100-2,…100-N)로부터 피드백 정보들을 수신하며, 각각의 사용자 인지 증강 장치(100-1,100-2,…100-N)의 사용자들 중 유사성향의 사용자를 클러스터링(clustering) 한다는 점에서 차이가 있다. 이에 대한 설명은, 이하 도 8 및 도 9 를 통해 자세히 설명한다.
도 8 은 도 7 에 도시된 서버의 제어 블록도이다.
도 8 을 참조하면, 본 실시예에 따른 서버(200)는 통신부(210), 메모리부(220) 및 제어부(230)를 포함한다. 도 8 은 다양한 구성요소를 갖는 서버를 도시하고 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 서버가 구현될 수 있고, 그보다 적은 구성요소에 의해 서버가 구현될 수 있다. 이하, 상술한 구성요소들에 대해 구체적으로 살펴본다.
통신부(210)는 복수의 사용자 인지 증강 장치와 각각 통신한다. 통신부(210) 는 각각의 사용자 인지 증강 장치로부터 사용자 감정상태, 외부 환경정보를 수신하고, 이에 대응한 사용자 맞춤형 정보를 전송하며, 사용자 맞춤형 정보를 출력한 결과인 피드백 정보를 수신한다.
메모리부(220)는 각각의 사용자 인지 증강 장치에 대응하는 사용자 맞춤형 정보 데이터베이스를 저장한다. 즉, 메모리부(220)는 복수의 사용자 인지 증강 장치에 ID 를 각각 부여하고, 상기 ID 별로 사용자 맞춤형 정보 데이터베이스를 각각 저장할 수 있다.
한편, 본 실시예에 따른 사용자 맞춤형 정보 데이터베이스는 제어부(230)에서 측정된 사용자간의 유사도에 따라 복수의 사용자들을 클러스터링한 유사성향 사용자 클러스터를 포함한다. 예컨대, 사용자 맞춤형 정보 데이터베이스는, 유사성향을 갖는 사용자들의 사용자 인지 증강 장치의 ID 를 그룹핑한 유사성향 사용자 클러스터를 포함할 수 있다.
그 밖의 사용자 맞춤형 정보 데이터베이스의 구성 및 특징은 도 6 에서와 동일한바 이에 대한 설명은 생략한다.
또한, 본 실시예에 따른 제어부(230)는 유사성향 사용자 클러스터 생성부(231), 사용자 맞춤형 정보 검색부(232) 및 학습부(233)를 포함한다.
유사성향 사용자 클러스터 생성부(231)는 복수의 사용자 인지 증강 장치의 사용자들 간의 유사도를 산출하고, 이를 기초로 유사성향 사용자 클러스터를 생성한다.
유사성향 사용자 클러스터 생성부(231)는 동일한 사용자 맞춤형 정보에 대해 수신된 피드백 정보를 기초로 상기 유사도를 산출할 수 있고, 각각의 사용자의 사용자 맞춤형 정보 데이터베이스의 패턴을 기초로 상기 유사도를 산출할 수 있다.
유사성향 사용자 클러스터 생성부(231)는 피어슨 상관점수, 유클리디안 거리, 자카드 계수, 맨하튼 거리 등의 여러가지 방식을 통해 사용자들의 성향에 대한 유사도를 산출한다.
예컨대, 본 실시예의 유사성향 사용자 클러스터 생성부(231)는 피어슨 상관점수를 통해 유사도를 산출할 수 있다. 이때, 피어슨 상관점수는 두 개의 데이터 집합이 한 직선으로 얼마나 잘 표현되는 가를 나타내는 측정값을 의미하는 것이다. 유사성향 사용자 클러스터 생성부(231)는 동일한 사용자 맞춤형 정보를 제공한 이후의 사용자들 각각의 피드백 정보를 비교하여 사용자들 간의 피어슨 상관점수를 산출할 수 있다. 이때, 피어슨 상관점수는 -1 에서 1 이내의 값으로 산출될 수 있고, 1 로 갈수록 동일한 사용자 맞춤형 정보를 제공한 이후 동일한 성향의 피드백 정보가 수신되었음을 나타낸다.
이렇게 복수의 사용자간의 유사도가 산출되면, 유사성향 사용자 클러스터 생성부(231)는 유사도가 설정치 이상인 사용자들을 같은 클러스터로 관리하도록 클러스터를 생성한다. 유사성향 사용자 클러스터 생성부(231)는 유사성향 사용자들의 사용자 인지 증강 장치의 ID 로 구성된 클러스터를 생성할 수 있다.
한편, 유사성향 사용자 클러스터 생성부(231)는 클러스터를 업데이트할 수 있다.
유사성향 사용자 클러스터 생성부(231)는, 클러스터에 등록되지 않은 신규 사용자의 사용자 인지 증강 장치와 서버가 통신할 경우 상기 신규 사용자의 사용자 인지 증강 장치를 클러스터에 업데이트시킨다. 구체적으로, 유사성향 사용자 클러스터 생성부(231)는 상기 신규 사용자와 클러스터에 기등록된 기존 사용자와의 유사도를 측정하고, 설정치 이상의 유사도를 갖는 기존 사용자가 속한 클러스터에 상기 신규 사용자의 사용자 인지 증강 장치의 ID 를 업데이트시킨다.
또한, 유사성향 사용자 클러스터 생성부(231)는 사용자간의 성향이 변동될 수 있는 현실을 고려하여 일정 주기마다 사용자간의 유사도를 측정하고, 측정된 유사도에 따라 유사성향 사용자 클러스터를 업데이트할 수 있다.
사용자 맞춤형 정보 검색부(232)는 통신부(210)로부터 수신한 사용자 인지 증강 장치의 사용자 감정상태 및 외부 환경정보에 대응하는 사용자 맞춤형 정보를 검색한다. 사용자 맞춤형 정보 검색부(232)는 사용자 맞춤형 정보를 요구하는 상기 사용자 인지 증강 장치의 ID 를 검색하고, 해당 ID 의 사용자 맞춤형 정보 데이터베이스로부터 상기 사용자 감정상태 및 외부 환경정보에 대응하는 사용자 맞춤형 정보를 검색한다.
학습부(233)는 사용자 맞춤형 정보 데이터베이스를 실시간 또는 주기적으로 학습시킨다.
구체적으로, 학습부(233)는 사용자 인지 증강 장치로부터 피드백 정보가 수신되면, 해당 사용자 인지 증강 장치에 대응하는 사용자 맞춤형 정보 데이터베이스에 대해 상기 피드백 정보를 반영하여 실시간/점진적 학습을 수행한다. 이때의 점진적 학습은 IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization) 와 같은 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘, ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 과 같은 특징분포의 변화를 시간적으로 모델링하는 분류기들을 적용하여 수행될 수 있다.
또한, 학습부(233)는 유사성향 사용자 클러스터를 이용하여 사용자 맞춤형 정보 데이터베이스를 주기적으로 업데이트한다.
보다 구체적으로, 학습부(233)는 유사성향 사용자 클러스터에서 유사성향 사용자들의 그룹을 검색하고, 검색된 유사성향 사용자들 그룹의 사용자 맞춤형 정보 데이터베이스들을 상호 반영하여 각각의 사용자 맞춤형 정보 데이터베이스를 업데이트시킬 수 있다. 이로써, 개인적 경험에 기반한 피드백 정보 뿐만 아니라 집단지성이 반영된 사용자 맞춤형 정보 데이터베이스가 제공될 수 있다.
도 9 는 도 8 에 도시된 서버에서의 사용자 맞춤형 정보를 제공하는 방법을 도시한 순서도이다.
먼저, 서버는 사용자 맞춤형 정보를 요구하는 사용자 인지 증강 장치로부터 사용자의 현재상황 정보인 사용자 감정상태 및 외부 환경정보를 수신한다(410).
또한, 서버는 상기 사용자 맞춤형 정보를 요구하는 사용자 인지 증강 장치의 사용자가 신규 사용자인지 확인한다(420). 보다 구체적으로, 서버는 유사성향 사용자 클러스터를 기초로 사용자가 상기 유사성향 사용자 클러스터에 등록되지 않은 신규 사용자인지 기등록된 기존 사용자인지 검색한다. 이때, 서버는 유사성향 사용자 클러스터에서 사용자 맞춤형 정보를 요구하는 사용자 인지 증강 장치의 ID 가 존재하는지 검색할 수 있다.
검색 결과, 신규 사용자인 것이 확인되면(420), 서버는 상기 신규 사용자와 기존 사용자의 사용자 맞춤형 정보 데이터베이스를 기초로 유사도를 측정하고(430), 설정치 이상의 유사도를 갖는 기존 사용자가 등록된 클러스터에 상기 신규 사용자를 업데이트시킨다(440).
또한, 해당 사용자의 사용자 맞춤형 정보 데이터베이스로부터 상기 수신된 사용자의 현재상황 정보에 부합하는 사용자 맞춤형 정보를 검색하여 전송하고(450), 소정 시간 이후에 수신되는 피드백 정보(460)를 기초로 상기 사용자 맞춤형 정보 데이터베이스를 업데이트한다(470).
한편, 본 실시예에서는 사용자 맞춤형 정보를 요구하는 사용자 인지 증강 장치의 사용자가 유사성향 사용자 클러스터에 포함되는지 확인하고 신규 사용자인 경우 유사성향 사용자 클러스터를 업데이트하는 단계를 포함하였으나, 상술한 단계들은 필수적 구성요소가 아니며, 상술한 단계들을 포함하지 않고 바로 사용자 맞춤형 정보를 검색 및 전송하고 피드백 신호를 수신하며 이에 맞게 사용자 맞춤형 정보 데이터베이스를 업데이트하는 일련의 단계들만으로 실시될 수 있음은 물론이다.
상술한 본 발명의 일측면에 따르면, 기존의 안경형 플랫폼을 이용하여 사용자가 인지하지 못한 중요한 정보나 사용자 상황에 맞는 사용자 맞춤형 정보를 제공할 수 있고, 정보를 제공한 이후 사용자 상황 변화에 따른 피드백을 통해 사용자 맞춤형 정보 데이터베이스를 점진적으로 학습시킴으로써 실시간 성장이 가능한 지능형 인지증강 서비스를 제공할 수 있다.
또한, 유사 사용자 집단의 사용자 상황변화에 따른 사용자 맞춤형 정보 제공을 반영함으로써 집단지성을 이용한 사용자 맞춤형 정보 제공 시스템을 제공할 수 있다.
이와 같은, 사용자 맞춤형 정보를 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 인지 증강 장치
200: 서버

Claims (21)

  1. 서버와 통신하는 사용자 인지 증강 장치에서 사용자 맞춤형 정보를 제공하는 방법으로서,
    사용자의 생체신호를 센싱하고, 센싱한 상기 생체신호로부터 적어도 하나의 감정특징변수를 추출하고, 상기 추출된 감정특징변수에 대한 성능 평가를 수행하고, 임계치 이상의 평가 성능을 갖는 상기 감정특징변수가 포함되는 영역으로 감정특징변수의 차원을 축소하여 상기 감정특징변수에 대해 개인별 최적화를 수행하고, 상기 최적화된 감정특징변수로 미리 설정된 감정패턴 인식 규칙에 따라 사용자 감정상태를 판단하고,
    상기 사용자의 외부 환경을 센싱하고, 상기 외부 환경에 대한 상기 사용자의 시선 경로를 검출하고, 검출된 상기 시선 경로에서 시선 특징 정보를 추출하고, 상기 시선 특징 정보로 상기 외부 환경에 대한 상기 사용자의 관심 영역을 검출하고, 상기 관심 영역 상에서 상기 사용자의 관심 객체를 검출하고, 상기 사용자의 관심 객체를 포함하는 외부 환경 정보를 생성하고,
    상기 사용자 감정상태 및 상기 외부 환경정보를 상기 서버로 전송하고,
    상기 서버의 복수의 사용자 간의 유사도를 측정한 후 상기 측정된 유사도에 따라 상기 복수의 사용자를 클러스터링한 유사성향 사용자 클러스터를 포함하고, 상기 유사성향 사용자 클러스터에서 검색된 유사성향 사용자들 그룹의 사용자 맞춤형 정보 데이터베이스들을 기초로 주기적으로 업데이트되는 기학습된 사용자 맞춤형 정보 데이터베이스로부터 상기 사용자 감정상태 및 상기 외부 환경정보를 기초로 검색된 사용자 맞춤형 정보를 수신하여 상기 사용자에게 출력하고,
    상기 사용자 맞춤형 정보 데이터베이스를 업데이트 하도록 상기 출력된 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 상기 서버에 전송하되,
    상기 유사도는 피드백 정보와 상기 사용자 맞춤형 정보 데이터베이스의 패턴을 기초로 산출하고,
    상기 피드백 정보는,
    상기 사용자 맞춤형 정보를 출력한 결과에 대한 음성 또는 문자 형태의 사용자의 반응에서 키워드를 검색하고, 상기 검색된 키워드와 미리 저장된 긍정 또는 부정 키워드 데이터베이스에 매칭되는 키워드를 검색하고, 상기 검색된 키워드와 연관된 긍정도 가중치 또는 부정도 가중치를 합산하여 긍정도 지수를 산출하고, 상기 긍정도 지수에 기초하여 기출력된 상기 사용자 맞춤형 정보가 사용자에게 적합한 서비스인지 판단을 내리고, 상기 판단 정보에 기초하여 생성되는 명시적 피드백 정보와,
    상기 사용자 맞춤형 정보가 출력되는 동안 또는 상기 사용자 맞춤형 정보가 출력된 이후에 상기 사용자 감정상태 및 상기 외부 환경정보를 재감지하고, 이를 통해 인식된 상기 사용자 감정상태 및 외부 환경정보의 변동상태에 따라 상기 사용자 맞춤형 정보가 사용자에게 적합한 서비스인지 자체 평가하고, 상기 자체 평가 정보를 기초로 생성한 묵시적 피드백 정보를 포함하는 사용자 맞춤형 정보를 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 사용자 맞춤형 정보 데이터베이스는,
    IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization), ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 에 의해 상기 피드백 정보를 이용하여 점진적으로 학습되는 사용자 맞춤형 정보를 제공하는 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 생체신호는,
    상기 사용자의 맥파(PPG), 피부전도도(GSR) 및 뇌파 신호 중 적어도 하나 이상을 포함하는 사용자 맞춤형 정보를 제공하는 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서,
    상기 외부 환경정보는,
    상기 사용자가 바라보는 실제 외부 환경 이미지, 상기 사용자가 듣는 실제 외부 환경의 소리, 상기 사용자의 위치 및 온도 중 적어도 하나 이상을 포함하는 사용자 맞춤형 정보를 제공하는 방법.
  13. 제 12 항에 있어서,
    상기 사용자 맞춤형 정보를 상기 사용자에게 출력하는 것은,
    상기 외부 환경정보에 기초하여 시각적 이미지, 소리 및 진동 중 적어도 하나 이상의 형태로 상기 사용자 맞춤형 정보를 출력하는 사용자 맞춤형 정보를 제공하는 방법.
  14. 제 1 항에 있어서,
    상기 외부 환경정보가 특정 외부 환경에 매칭되면, 경고알람을 우선적으로 출력하는 것을 더 포함하는 사용자 맞춤형 정보를 제공하는 방법.
  15. 제 1 항, 제 2 항, 제 5 항 및 제 12 항 내지 제 14 항 중 어느 하나의 항에 따라 사용자 맞춤형 정보를 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  16. 사용자 인지 증강 장치 및 서버를 포함하는 사용자 맞춤형 정보 제공 시스템에 있어서,
    사용자의 생체신호를 센싱하고, 센싱한 상기 생체신호로부터 적어도 하나의 감정특징변수를 추출하고, 상기 추출된 감정특징변수에 대한 성능 평가를 수행하고, 임계치 이상의 평가 성능을 갖는 상기 감정특징변수가 포함되는 영역으로 감정특징변수의 차원을 축소하여 상기 감정특징변수에 대해 개인별 최적화를 수행하고, 상기 최적화된 감정특징변수로 미리 설정된 감정패턴 인식 규칙에 따라 사용자 감정상태를 판단하고, 상기 사용자의 외부 환경을 센싱하고, 상기 외부 환경에 대한 상기 사용자의 시선 경로를 검출하고, 검출된 상기 시선 경로에서 시선 특징 정보를 추출하고, 상기 시선 특징 정보로 상기 외부 환경에 대한 상기 사용자의 관심 영역을 검출하고, 상기 관심 영역 상에서 상기 사용자의 관심 객체를 검출하고, 상기 사용자의 관심 객체를 포함하는 외부 환경 정보를 생성하고, 상기 사용자 감정상태 및 상기 외부 환경정보를 상기 서버로 전송하고, 상기 사용자 감정상태 및 외부 환경정보에 대응하는 사용자 맞춤형 정보를 상기 사용자에게 출력하고, 상기 사용자 맞춤형 정보에 대한 피드백 정보를 생성하여 상기 서버로 전송하는 사용자 인지 증강 장치; 및
    상기 사용자 인지 증강 장치로부터 상기 사용자 감정상태 및 상기 외부 환경정보 및 상기 사용자 맞춤형 정보에 대한 피드백 정보를 수신하고, 복수의 사용자 간의 유사도를 측정한 후 상기 측정된 유사도가 미리 정해진 설정치 이상인 상기 복수의 사용자들을 클러스터링하여 유사성향 사용자 클러스터를 생성하고, 상기 유사성향 사용자 클러스터에서 검색된 유사성향 사용자들 그룹의 사용자 맞춤형 정보 데이터베이스들을 기초로 주기적으로 업데이트되는 기학습된 사용자 맞춤형 정보 데이터베이스에서 상기 사용자 감정상태 및 외부 환경정보에 대응하는 상기 사용자 맞춤형 정보를 검색하여 이를 상기 사용자 인지 증강 장치에 전송하고, 상기 피드백 정보에 기초하여 상기 기학습된 사용자 맞춤형 정보 데이터베이스를 업데이트하는 서버를 포함하되,
    상기 유사도는 피드백 정보와 상기 사용자 맞춤형 정보 데이터베이스의 패턴을 기초로 산출하고,
    상기 피드백 정보는,
    상기 사용자 맞춤형 정보를 출력한 결과에 대한 음성 또는 문자 형태의 사용자의 반응에서 키워드를 검색하고, 상기 검색된 키워드와 미리 저장된 긍정 또는 부정 키워드 데이터베이스에 매칭되는 키워드를 검색하고, 상기 검색된 키워드와 연관된 긍정도 가중치 또는 부정도 가중치를 합산하여 긍정도 지수를 산출하고, 상기 긍정도 지수에 기초하여 기출력된 상기 사용자 맞춤형 정보가 사용자에게 적합한 서비스인지 판단을 내리고, 상기 판단 정보에 기초하여 생성한 명시적 피드백 정보와,
    상기 사용자 인지 증강 장치는 상기 사용자 맞춤형 정보가 출력되는 동안 또는 상기 사용자 맞춤형 정보가 출력된 이후에 상기 사용자 감정상태 및 상기 외부 환경정보를 재감지하고, 이를 통해 인식된 상기 사용자 감정상태 및 외부 환경정보의 변동상태에 따라 상기 사용자 맞춤형 정보가 사용자에게 적합한 서비스인지 자체 평가하고, 상기 자체 평가 정보를 기초로 생성한 묵시적 피드백 정보를 포함하는 사용자 맞춤형 정보 제공 시스템.
  17. 제 16 항에 있어서,
    상기 서버는,
    IPCA(Incremental Principal Component Analysis), ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization), ISVM(Incremental Support Vector Machine) 또는 INN(Incremental Neural Network) 으로 상기 사용자 맞춤형 정보 데이터 베이스에 상기 피드백 정보를 점진적으로 학습시키는 사용자 맞춤형 정보 제공 시스템.
  18. 삭제
  19. 삭제
  20. 제 16 항에 있어서,
    상기 서버는,
    상기 사용자 맞춤형 정보를 요구하는 상기 사용자 인지 증강 장치의 사용자가 상기 유사성향 사용자 클러스터에 등록되지 않은 신규 사용자인지 확인하고,
    상기 신규 사용자이면 상기 유사성향 사용자 클러스터에 등록된 기존 사용자와 유사도를 산출하고, 설정치 이상의 유사도를 갖는 상기 기존 사용자의 클러스터에 상기 신규 사용자를 업데이트하는 사용자 맞춤형 정보 제공 시스템.
  21. 삭제
KR1020140064953A 2014-05-29 2014-05-29 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체 KR101605078B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140064953A KR101605078B1 (ko) 2014-05-29 2014-05-29 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140064953A KR101605078B1 (ko) 2014-05-29 2014-05-29 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체

Publications (2)

Publication Number Publication Date
KR20150137307A KR20150137307A (ko) 2015-12-09
KR101605078B1 true KR101605078B1 (ko) 2016-04-01

Family

ID=54873257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140064953A KR101605078B1 (ko) 2014-05-29 2014-05-29 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101605078B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180002265A (ko) * 2016-06-29 2018-01-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20180084576A (ko) 2017-01-17 2018-07-25 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
KR101931225B1 (ko) * 2017-10-27 2018-12-20 주식회사 뉴웨이브벤처스 온라인 미디어 앨범 제작 시스템
WO2020235770A1 (ko) * 2019-05-17 2020-11-26 주식회사 룩시드랩스 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
KR20200145002A (ko) * 2019-06-20 2020-12-30 경상대학교산학협력단 인공지능의 자율적 도덕 판단 및 수행을 위한 시스템

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757426B1 (ko) * 2016-06-07 2017-08-07 한국표준과학연구원 음성 녹음 기능을 구비한 헤어웨어, 그리고 이를 이용한 사용자 언어 및 감정 인식 시스템
KR101893850B1 (ko) * 2016-10-28 2018-08-31 한국원자력연구원 원전 주제어실의 화재 상황 시뮬레이션 장치 및 그 환경 조건 학습 방법
KR102068658B1 (ko) * 2016-11-30 2020-01-22 동국대학교 산학협력단 유아 지능 계발을 위한 교육 시스템 및 그 운영방법
KR102010132B1 (ko) * 2017-07-18 2019-08-12 한국과학기술원 사용자 능력을 증강시키는 증강 휴먼 서비스 제공 방법 및 그 시스템
KR20190088128A (ko) * 2018-01-05 2019-07-26 삼성전자주식회사 전자 장치 및 그의 제어 방법
WO2020138765A1 (ko) * 2018-12-24 2020-07-02 주식회사 플럭시티 유니버설 지도를 이용한 유저별 지리 정보 및 분석 정보 제공 방법, 장치 및 컴퓨터-판독가능 기록 매체
KR102124503B1 (ko) * 2018-12-24 2020-06-19 주식회사 플럭시티 유저 단말 기반의 취약계층 관광 관제 시스템
KR20190104944A (ko) 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102641117B1 (ko) 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
KR20210026305A (ko) * 2019-08-29 2021-03-10 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스
KR20220012139A (ko) * 2020-07-22 2022-02-03 사회복지법인 삼성생명공익재단 사용자의 심리가 안정화되도록 사용자에게 인지행동 훈련을 위한 가상 현실 컨텐츠를 제공하는 시스템 및 방법
KR102378412B1 (ko) * 2020-09-01 2022-03-25 주식회사 인생노트에이아이 날씨 기반의 감정 지수 제공 방법 및 이를 위한 장치
KR102275741B1 (ko) * 2020-11-27 2021-07-09 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
KR102388138B1 (ko) * 2021-05-28 2022-04-19 주식회사 코클 음향정보 분석을 통한 매칭정보 제공방법, 장치 및 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963996B1 (ko) * 2009-06-29 2010-06-15 주식회사 모임 감성에 기반한 개인별 제품 추천 장치 및 방법, 그 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963996B1 (ko) * 2009-06-29 2010-06-15 주식회사 모임 감성에 기반한 개인별 제품 추천 장치 및 방법, 그 기록 매체

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180002265A (ko) * 2016-06-29 2018-01-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102497299B1 (ko) * 2016-06-29 2023-02-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20180084576A (ko) 2017-01-17 2018-07-25 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
KR101931225B1 (ko) * 2017-10-27 2018-12-20 주식회사 뉴웨이브벤처스 온라인 미디어 앨범 제작 시스템
WO2020235770A1 (ko) * 2019-05-17 2020-11-26 주식회사 룩시드랩스 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
KR20200145002A (ko) * 2019-06-20 2020-12-30 경상대학교산학협력단 인공지능의 자율적 도덕 판단 및 수행을 위한 시스템
KR102241311B1 (ko) * 2019-06-20 2021-04-16 경상국립대학교산학협력단 인공지능의 자율적 도덕 판단 및 수행을 위한 시스템

Also Published As

Publication number Publication date
KR20150137307A (ko) 2015-12-09

Similar Documents

Publication Publication Date Title
KR101605078B1 (ko) 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체
US20210081754A1 (en) Error correction in convolutional neural networks
Siuly et al. Exploring sampling in the detection of multicategory EEG signals
KR102281590B1 (ko) 음성인식 성능 향상을 위한 비 지도 가중치 적용 학습 시스템 및 방법, 그리고 기록 매체
CN106210269B (zh) 一种基于智能手机的人体动作识别系统及方法
CN111095264A (zh) 对象识别系统和方法
US20210397954A1 (en) Training device and training method
Paschero et al. A real time classifier for emotion and stress recognition in a vehicle driver
EP2529184A1 (en) Systems, methods, and apparatuses for providing context-based navigation services
Koay et al. Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021)
Zhao et al. Deep convolutional neural network for drowsy student state detection
Wang et al. Dual-modal information bottleneck network for seizure detection
JP2019082959A (ja) 情報処理装置、情報処理方法及びプログラム
KR102344875B1 (ko) 수면상태에 따라 주파수 대역과 조도를 결정하고, 결정된 주파수 대역에 따른 음악과 조도에 따른 조명을 제공하는 방법 및 장치
CN114190897A (zh) 睡眠分期模型的训练方法、睡眠分期方法及装置
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
CN116935188B (zh) 模型训练方法、图像识别方法、装置、设备及介质
US10917721B1 (en) Device and method of performing automatic audio focusing on multiple objects
US11482039B2 (en) Anti-spoofing method and apparatus for biometric recognition
Papadopoulos et al. Personalised meal eating behaviour analysis via semi-supervised learning
EP2677484A1 (en) System and method for making personalised recommendations to a user of a mobile computing device, and computer program product
KR101627533B1 (ko) 사용자 상황 예측 시스템 및 방법과, 이를 수행하기 위한 기록매체
KR20190057592A (ko) 생체신호 데이터 관리 분석 시스템 및 방법
Kim et al. An enhanced classification scheme with AdaBoost concept in BCI
Dai Predicting person's Zheng states using the heterogeneous sensor data by the semi-subjective teaching of TCM doctors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 5