KR20200039982A - 멀티 디바이스 시스템 및 그 제어방법 - Google Patents

멀티 디바이스 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR20200039982A
KR20200039982A KR1020180119641A KR20180119641A KR20200039982A KR 20200039982 A KR20200039982 A KR 20200039982A KR 1020180119641 A KR1020180119641 A KR 1020180119641A KR 20180119641 A KR20180119641 A KR 20180119641A KR 20200039982 A KR20200039982 A KR 20200039982A
Authority
KR
South Korea
Prior art keywords
user
information
electronic device
emotion information
emotion
Prior art date
Application number
KR1020180119641A
Other languages
English (en)
Inventor
우승현
장동선
안대윤
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180119641A priority Critical patent/KR20200039982A/ko
Priority to US16/560,319 priority patent/US20200110890A1/en
Publication of KR20200039982A publication Critical patent/KR20200039982A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/33—User authentication using certificates
    • G06F21/335—User authentication using certificates for accessing specific resources, e.g. using Kerberos tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/65—Environment-dependent, e.g. using captured environmental data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

개시된 발명의 일 실시예에 따른 멀티 디바이스 시스템은, 토큰이라는 매개체를 이용하여 사용자의 감정 정보를 전자장치에 제공하기 위해, 전자장치에 사용자의 감정 정보에 대한 접근 권한을 부여하는 토큰 및 상기 사용자의 감정 정보를 획득하고, 상기 토큰에 상기 획득한 사용자의 감정 정보를 전송하며, 상기 토큰을 통해 상기 사용자의 감정 정보에 대한 접근 권한을 부여 받은 상기 전자장치가 상기 사용자의 감정 정보에 대응하는 기능을 수행하도록 제어하는 사용자 단말기를 포함한다.

Description

멀티 디바이스 시스템 및 그 제어방법{multi device system, AND CONTROL METHOD THEREOF}
토큰이라는 매개체를 이용하여 사용자의 감정 정보를 전자장치에 제공하는 멀티 디바이스 시스템 및 그 제어방법에 관한 것으로서, 구체적으로 사용자가 토큰을 이용하여 자신의 감정 정보를 제공하고자 하는 전자장치에 감정 정보 접근 권한을 부여하는 멀티 디바이스 시스템 및 그 제어방법에 관한 것이다.
최근에 인공지능이 탑재되어 사용자의 감정에 반응하고 작동하는 장치들이 등장하고 있고, 다양한 장치 간 정보를 공유하여 상호작용하는 기술이 등장하고 있다. 예를 들면, 사물인터넷 기술(IoT, Internet of Things)에 사용자의 감정을 반영하고자 하는 시도가 나타나고 있다.
그런데, 다양한 장치가 네트워크를 공유하여 데이터를 공유하는 상황에서는 보안상 취약점이 생길 수 밖에 없고, 사용자의 의도와는 다르게 사용자의 감정 정보가 이용될 수 있는 상황이 발생할 수 있다. 또한, 사용자는 자신의 감정 정보가 제공되는 대상을 제어할 수 없다면 오히려 불안감과 부정적인 감정을 느낄 수 있다.
따라서 사용자의 감정을 기반으로 다양한 장치를 작동시키는 경우라도, 사용자가 자신의 감정 정보를 제공함에 있어서 선택권을 가질 수 있도록 하는 기술이 필요하다.
일 측면은, 사용자가 자신의 감정 정보에 접근할 수 있는 장치를 선택함으로써 사용자의 허가 없이 복수의 장치에서 사용자의 감정 정보가 사용되는 것을 방지하는 멀티 디바이스 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다.
다른 측면은, 복수의 장치 각각에 사용자의 감정 인식을 위한 별도의 장치를 부가할 필요 없이, 토큰이라는 매개체를 통해 사용자의 감정 정보를 전달함으로써 사용자와 복수의 장치 간 상호작용을 보다 용이하게 하는 멀티 디바이스 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따른 멀티 디바이스 시스템은, 전자장치에 사용자의 감정 정보에 대한 접근 권한을 부여하는 토큰 및 상기 사용자의 감정 정보를 획득하고, 상기 토큰에 상기 획득한 사용자의 감정 정보를 전송하며, 상기 토큰을 통해 상기 사용자의 감정 정보에 대한 접근 권한을 부여 받은 상기 전자장치가 상기 사용자의 감정 정보에 대응하는 기능을 수행하도록 제어하는 사용자 단말기를 포함한다.
또한, 상기 사용자 단말기는, 상기 사용자 단말기에 포함된 생체신호 센서를 이용하여 사용자의 생체신호를 수집하고, 상기 사용자의 생체신호를 기초로 상기 사용자의 감정 정보를 획득할 수 있다.
또한, 상기 사용자 단말기는, 상기 사용자 단말기에 포함된 카메라를 이용하여 사용자의 얼굴표정 데이터 및 사용자의 제스처 데이터 중 적어도 하나를 더 수집하고, 상기 사용자의 생체신호, 상기 사용자의 얼굴표정 데이터 및 제스처 데이터 중 적어도 하나를 기초로 상기 사용자의 감정 정보를 획득할 수 있다.
또한, 상기 사용자 단말기는, 상기 사용자의 생체신호에 대응하여 미리 설정된 기준에 따라 상기 사용자의 감정을 분류하고, 분류 결과를 기초로 상기 사용자의 감정 정보를 획득할 수 있다.
또한, 상기 토큰은 수신한 상기 사용자의 감정 정보를 상기 전자장치에 전송하고, 상기 전자장치의 특징 정보를 추출하여 상기 사용자 단말기로 전송하고, 상기 사용자 단말기는 상기 전자장치의 특징 정보를 반영하여 상기 사용자의 감정 정보에 대응하는 상기 피드백 정보를 생성할 수 있다.
또한, 상기 사용자 단말기는, 외부 서버와 통신하여 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황 정보를 더 수집하고, 상기 사용자 정황 정보를 반영하여 상기 피드백 정보를 생성할 수 있다.
또한, 상기 피드백 정보는, 상기 사용자의 감정 정보에 상응하여 실행 가능한 상기 전자장치의 기능 정보 및 상기 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자 단말기는, 상기 실행 가능한 전자장치의 기능 정보 중 특정 기능이 사용자에 의해 선택된 경우, 상기 특정 기능의 수행을 위한 제어 신호를 생성하여 상기 전자장치로 전송할 수 있다.
또한, 상기 사용자 단말기는, 상기 토큰 및 상기 전자장치를 포함하는 공간의 영상을 획득하고, 상기 피드백 정보를 상기 영상에 오버랩시켜 증강현실 영상으로 출력할 수 있다.
다른 실시예에 따른 멀티 디바이스 시스템은, 사용자의 요청에 따라 사용자의 감정 정보에 대한 접근 권한을 부여하는 가상 토큰을 생성하고, 사용자의 감정 정보를 획득하여 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성 및 출력하는 사용자 단말기 및 상기 사용자 단말기로부터 상기 가상 토큰을 수신하여 상기 사용자의 감정 정보에 대한 접근 권한을 부여 받고, 상기 사용자 단말기의 제어에 따라 상기 사용자의 감정 정보에 대응하는 기능을 수행하는 전자장치를 포함할 수 있다.
일 실시예에 따른 멀티 디바이스 시스템의 제어방법은, 토큰, 사용자 단말기 및 전자장치가 연결되고, 상기 토큰에 사용자의 감정 정보에 대한 접근 권한이 부여되는 단계, 상기 토큰이 상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한을 부여하는 단계; 상기 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하고, 상기 토큰에 상기 사용자의 감정 정보를 전송하는 단계 및상기 사용자 단말기가 상기 전자장치에 제어 신호를 전송하여 상기 사용자의 감정 정보에 대응하는 기능이 수행되도록 상기 전자장치를 제어하는 단계를 포함할 수 있다.
또한, 상기 사용자의 감정 정보를 전송하는 단계는, 사용자의 생체신호를 수집하는 단계를 더 포함하고, 상기 사용자의 생체신호를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 사용자의 감정 정보를 전송하는 단계는, 상기 토큰과 상기 전자장치 간 연결 완료 신호가 상기 사용자 단말기에 수신되면, 상기 사용자의 감정 정보를 상기 전자장치로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 사용자의 감정 정보를 전송하는 단계는, 사용자의 얼굴표정 데이터 및 사용자의 제스처 데이터 중 적어도 하나를 수집하는 단계를 더 포함하고, 상기 사용자의 생체신호, 상기 사용자의 얼굴표정 데이터 및 제스처 데이터 중 적어도 하나를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 사용자의 감정 정보를 전송하는 단계는, 상기 사용자의 생체신호에 상응하여 미리 설정된 기준에 따라 상기 사용자의 감정을 분류하고, 분류 결과를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 단말기가 상기 토큰에 의해 추출된 상기 전자장치의 특징 정보를 반영하여 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 피드백 정보를 생성하는 단계는, 외부 서버와 통신하여 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황 정보를 수집하는 단계를 더 포함하고, 상기 사용자 정황 정보를 반영하여 상기 피드백 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 피드백 정보는, 상기 사용자의 감정 정보에 상응하여 실행 가능한 상기 전자장치의 기능 정보 및 상기 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함할 수 있다.
또한, 상기 전자장치를 제어하는 단계는, 상기 실행 가능한 전자장치의 기능 정보 중 특정 기능이 사용자에 의해 선택된 경우, 상기 특정 기능의 수행을 위한 제어 신호를 생성하여 상기 전자장치로 전송하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 멀티 디바이스 시스템의 제어방법은, 사용자 단말기가 사용자의 감정 정보에 대한 접근 권한을 부여하는 가상 토큰을 생성하는 단계, 상기 가상 토큰을 전자장치에 전송하여 상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한을 부여하는 단계, 상기 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하는 단계, 상기 사용자 단말기가 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성 및 출력하는 단계 및 상기 전자장치가 상기 사용자 단말기의 제어에 따라 상기 사용자의 감정 정보에 대응하는 기능을 수행하는 단계를 포함할 수 있다.
일 측면의 멀티 디바이스 시스템 및 그 제어방법에 따르면, 사용자가 자신의 감정 정보에 접근할 수 있는 장치를 선택함으로써 사용자의 허가 없이 복수의 장치에서 사용자의 감정 정보가 사용되는 것을 방지할 수 있는 효과가 있다.
또한, 다른 측면의 멀티 디바이스 시스템 및 그 제어방법에 따르면, 복수의 장치 각각에 사용자의 감정 인식을 위한 별도의 장치를 부가할 필요 없이, 토큰이라는 매개체를 통해 사용자의 감정 정보를 전달함으로써 사용자와 복수의 장치 간 상호작용을 보다 용이하게 하는 효과가 있다.
도 1은 일 실시예에 따른 멀티 디바이스 시스템의 구조에 관한 도면이다.
도 2는 멀티 디바이스 시스템의 구현에 대한 예시를 나타내는 도면이다.
도 3은 일 실시예에 따른 토큰 하드웨어의 구성을 나타낸 도면이다.
도 4는 일 실시예에 따른 사용자 단말기의 내부 구성을 나타낸 도면이다.
도 5는 일 실시예에 따른 사용자 단말기 제어부의 세부 구성을 나타낸 도면이다.
도 6은 일 실시예에 따른 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하는 방법을 설명하는 도면이다.
도 7 내지 도 9는 본 발명에 따른 멀티 디바이스 시스템의 제어방법을 설명하는 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 멀티 디바이스 시스템의 구조에 관한 도면이다.
도 1을 참조하면, 멀티 디바이스 시스템(10)은 토큰(100), 사용자 단말기(200) 및 전자장치(300)을 포함한다.
토큰(100)은 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여하기 위한 것이다. 토큰(100)은 하드웨어 또는 소프트웨어로 구현될 수 있다.
토큰(100)이 하드웨어로 구현되는 경우, 토큰(100)은 전자장치(300)와 연결되어 해당 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여할 수 있다. 여기서 '연결된다'는 것은 유선 연결 또는 무선 연결을 모두 포함하고, 특정 장치 간 페어링 되는 것으로 이해될 수도 있다. 토큰(100)은 근거리 통신을 이용하여 전자장치(300)와 연결될 수 있다. 근거리 통신은 NFC(Near Field Communication), RFID(Radio-Frequency Identification) 방식 등 매우 가까운 거리에서 장치 간 데이터 송수신이 가능한 모든 방식을 포함하는 개념이다.
또한, 토큰(100)은 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여한 경우, 접근 권한 부여 완료 신호를 생성하여 사용자 단말기(200)로 전송할 수 있다.
토큰(100)은 전자장치(300)와 연결된 경우 사용자 단말기(200)와도 연결되어 사용자 단말기(200)에 토큰(100)과 전자장치(300)의 연결 완료 신호를 전송할 수 있다. 토큰(100)은 사용자 단말기(200)와 연결 시 근거리 통신뿐만 아니라 다양한 통신 방식을 이용할 수 있다. 예를 들면, 와이파이(Wireless Fidelity, Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 초광대역(Ultra-Wide Band: UWB) 통신 등이 이용될 수 있다.
토큰(100)이 소프트웨어로 구현되는 경우, 토큰(100)은 사용자 단말기(200)에 의해 생성되는 가상 토큰일 수 있다. 즉, 사용자의 요청이 있는 경우, 사용자 단말기(200)는 가상 토큰을 생성하고, 생성한 가상 토큰을 전자장치(300)로 전송할 수 있다. 전자장치(300)는 가상 토큰을 수신하여 사용자의 감정 정보에 대한 접근 권한을 갖게 된다. 이러한 가상 토큰의 생성 및 전송은 사용자 단말기(200)에 설치되는 특정 어플리케이션에 의해 수행될 수 있다.
사용자 단말기(200)는 사용자의 감정 정보를 획득한다. 즉, 사용자가 토큰(100)을 이용하여 전자장치(300)에 자신의 감정 정보에 대한 접근 권한을 부여하면, 사용자 단말기(200)는 생체신호 센서, 카메라 등에 의해 수집된 데이터로부터 사용자의 감정 정보를 획득한다. 또한, 사용자 단말기(200)는 획득한 사용자의 감정 정보를 전자장치(300)로 전송한다.
한편, 사용자 단말기(200)는 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한의 부여가 완료되었는지 확인하기 위한 질의 신호를 생성할 수 있고, 생성한 질의 신호를 토큰(100)으로 전송할 수 있다. 사용자 단말기(200)는 토큰(100)으로부터 접근 권한 부여 완료 신호를 수신하면, 전자장치(300)에 사용자의 감정 정보를 전송할 수 있다. 다시 말해, 사용자 단말기(200)는 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한이 부여되면, 획득한 사용자의 감정 정보를 전자장치(300)에 전송할 수 있다.
사용자 단말기(200)는 스마트폰과 같은 모바일 단말기로 구현될 수 있고, 사용자 신체의 일부에 착용되는 시계, 모자, 안경 등의 형태를 갖는 웨어러블 디바이스로 구현될 수도 있다.
전자장치(300)는 사용자의 감정 정보에 상응하여 다양한 기능을 수행할 수 있는 장치이다. 전자장치(300)는 차량(vehicle)일 수 있다. 전자장치(300)는 토큰(100)과 연결되어 사용자의 감정 정보에 대한 접근 권한을 수신하고, 사용자의 감정 정보를 수신한다. 전자장치(300)는 사용자의 감정 정보에 대한 접근 권한 및 사용자의 감정 정보 중 적어도 하나를 수신하면 전자장치(300)의 특징 정보를 사용자 단말기(200)로 전송할 수 있다. 전자장치(300)의 특징 정보는 전자장치(300)의 종류, 기능, 작동 상태 정보 등을 포함할 수 있다.
사용자 단말기(200)는 전자장치(300)의 특징 정보를 반영하여 사용자의 감정 정보에 대응하는 피드백 정보를 생성할 수 있다. 피드백 정보는 사용자의 감정 정보에 상응하여 실행 가능한 전자장치(300)의 기능 정보 및 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함한다.
구체적으로, 사용자 단말기(200)는 사용자의 감정 정보가 화난 감정이나 슬픈 감정과 같은 부정적인 감정인 경우 사용자의 감정을 긍정적인 감정으로 개선하기 위해 실행 가능한 전자장치(300)의 기능 정보를 출력할 수 있다. 예를 들면, 전자장치(300)가 다양한 기능을 갖는 로봇(Robot)인 경우, 피드백 정보에는 사용자의 감정을 긍정적 감정으로 개선하거나 유지하기 위해 실행 가능한 로봇의 기능 정보가 포함될 수 있다.
또한, 사용자 단말기(200)는 사용자의 긍정적 또는 부정적인 감정을 표현할 수 있는 감정 표현 이미지나 미리 설정된 기준에 따라 사용자의 감정에 반응하여 출력할 감정 표현 이미지를 출력할 수 있다. 감정 표현 이미지는 정적 이미지와 동적 이미지를 모두 포함하는 개념으로서, 감정을 표현할 수 있는 그림, 이모티콘, 아바타 등을 포함한다.
또한, 사용자 단말기(200)는 외부 서버(미도시) 또는 사용자의 입력을 통해 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황(situation) 정보를 더 수집할 수 있고, 사용자 정황 정보를 추가 반영하여 피드백 정보를 생성할 수 있다. 사용자가 차량을 운전하는 경우, 사용자 정황 정보는 도로 정보, 도로 교통 상황 정보 등을 더 포함할 수 있다.
사용자 단말기(200)는 실행 가능한 전자장치(300)의 기능 정보 중 특정 기능이 사용자에 의해 선택된 경우 또는 사용자의 선택이 없더라도 특정 기능의 실행이 요구되는 경우, 특정 기능의 수행을 위한 제어 신호를 생성하여 전자장치(300)로 전송할 수 있다. 전자장치(300)는 제어 신호를 수신하여 해당 특정 기능을 수행한다. 예를 들면, 실행 가능한 전자장치(300)의 기능 정보로서 음악 재생, 영상 재생, 쇼핑 정보 제공, 최적 경로 제공 등 복수의 기능이 제시될 수 있고, 사용자가 사용자 단말기(200)를 이용하여 음악 재생 기능을 선택하면, 사용자 단말기(200)는 음악 재생을 위한 제어 신호를 생성하여 전자장치(300)에 전송한다. 전자장치(300)는 이러한 제어 신호를 수신하여 음악을 재생하게 된다.
도 2는 멀티 디바이스 시스템의 구현에 대한 예시를 나타내는 도면이다.
도 2를 참조하면, 토큰(100)이 하드웨어로 구현되는 경우, 다양한 형상을 가질 수 있다. 도 2에서는 토큰(100)이 하트(heart) 형상을 갖는다. 사용자 단말기(200)는 스마트폰과 같은 모바일 단말기로 구현될 수 있고, 사용자 신체의 일부에 착용되는 시계, 모자, 안경 등의 형태를 갖는 웨어러블 디바이스로 구현될 수도 있다. 전자장치(300)는 사용자의 감정 정보에 상응하여 다양한 기능을 수행할 수 있는 장치로서, 차량, 로봇, 가전기기 등 다양한 장치를 포함할 수 있다.
도 3은 일 실시예에 따른 토큰 하드웨어의 구성을 나타낸 도면이다.
도 3을 참조하면, 토큰(100)이 하드웨어로 구현되는 경우, 토큰(100)은 작동 조작을 위한 온/오프 버튼(110), 근거리 통신을 위한 태그(120), 근거리 통신 이외의 통신을 수행하는 통신부(130), 토큰(100)의 온/오프 상태나 토큰(100)과 사용자 단말기(200) 및 전자장치(300)와의 페어링 상태를 알려주는 알림부(140)를 포함할 수 있다.
태그(120)는 NFC(Near Field Communication) 태그 및/또는 RFID(Radio-Frequency Identification) 태그일 수 있다. 통신부(130)는 와이파이(Wireless Fidelity, Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 초광대역(Ultra-Wide Band: UWB) 통신 방식 등을 이용하여 데이터를 송수신할 수 있다.
알림부(140)는 진동장치, 음향장치, LED장치 중 적어도 하나를 포함하여 진동, 소리 및 빛 중 적어도 하나를 이용하여 토큰(100)의 상태 정보를 제공할 수 있다.
토큰(100)이 소프트웨어로 구현되는 경우에는, 사용자 단말기(200)에 포함된 출력장치를 이용하여 전자장치(300)에 토큰(100)의 전송이 완료되었는지 여부를 사용자에게 알려줄 수 있다.
도 4는 일 실시예에 따른 사용자 단말기의 구성을 나타낸 도면이다.
도 4를 참조하면, 사용자 단말기(200)는 생체신호 센서(210), 카메라(220), 통신부(230), 저장부(240), 출력부(250), 제어부(260), 입력부(270)를 포함할 수 있다.
생체신호 센서(210)는 사용자의 생체신호를 수집할 수 있다. 생체신호 센서(210)에는 사용자의 피부 전기 전도도를 측정하는 전기 피부 반응(GSR, Galvanic Skin Response) 센서, 사용자의 피부 온도를 측정하는 피부 온도(Skin temperature) 센서, 사용자의 심장 박동수를 측정하는 심장 박동(HR, Heart Rate) 센서, 사용자의 뇌파를 측정하는 뇌파(EEG, Electroencephalogram) 센서, 사용자의 음성 신호를 측정하는 음성 인식 센서 등이 포함될 수 있다.
카메라(220)는 영상을 획득하는 장치로서, 사용자를 촬영한 영상을 데이터로 변환하여 저장한다. 또한, 카메라(220)는 토큰(100)과 전자장치(300)를 포함하는 공간의 영상을 획득할 수 있다.
통신부(230)는 사용자 단말기(200)를 토큰(100) 및 전자장치(300)와 연결하고, 데이터를 송수신한다. 통신부(230)는 와이파이(Wireless Fidelity, Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 초광대역(Ultra-Wide Band: UWB) 통신 방식 등 다양한 통신 방식을 이용할 수 있다. 또한, 통신부(230)는 외부 서버(미도시)와도 통신하여 데이터를 송수신할 수 있다.
상술한 바와 같이, 토큰(100)은 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여한 경우, 접근 권한 부여 완료 신호를 생성하여 사용자 단말기(200)로 전송할 수 있다. 즉, 통신부(230)는 토큰(100)으로부터 접근 권한 부여 완료 신호를 수신할 수 있다.
저장부(240)는 생체신호 센서(210)에 의해 수집된 생체신호와 카메라(220)에 의해 수집된 사용자의 얼굴표정 데이터 및 제스처 데이터를 저장하고, 사용자의 감정 정보 획득에 사용되는 감정모델을 저장한다. 사용자의 감정 정보 획득과 감정모델에 대해서는 후술하도록 한다.
출력부(250)는 디스플레이, 프로젝터, 스피커, 진동장치 중 적어도 하나를 포함할 수 있다. 출력부(250)는 사용자의 감정 정보와 사용자의 감정 정보에 대응하는 피드백 정보를 디스플레이 또는 프로젝터를 통해 시각적으로 출력할 수 있고, 스피커를 통해 음성 정보로 출력할 수 있으며, 진동장치를 통해 햅틱(haptic) 반응으로 출력할 수도 있다. 또한, 출력부(250)는 토큰(100) 및 전자장치(300)가 포함된 공간의 영상에 피드백 정보를 오버랩시켜 증강현실(Augmented Reality, AR) 영상으로 출력할 수 있다.
제어부(260)는 생체신호 센서(210), 카메라(220), 통신부(230), 저장부(240) 및 출력부(250)를 제어하고, 생체신호 센서(210), 카메라(220), 통신부(230)를 통해 수신한 정보를 처리하며, 전자장치(300)를 제어하기 위한 제어 신호를 생성한다. 제어부(260)는 도 4에서 구체적으로 설명된다.
입력부(270)는 사용자로부터 사용자 정황 정보, 사용자의 감정 정보 및 기능 실행 명령 중 적어도 하나를 입력 받을 수 있다. 입력부(270)는 사용자의 음성을 인식할 수 있는 음성 인식 장치일 수 있고, 사용자의 터치 입력을 수신하는 터치 패널일 수도 있다. 입력부(270)는 사용자의 입력을 수신할 수 있는 다양한 장치로 구현될 수 있다.
도 5는 일 실시예에 따른 사용자 단말기 제어부의 세부 구성을 나타낸 도면이다.
도 5를 참조하면, 제어부(260)는 생체신호 분석 모듈(261), 얼굴표정/제스처 인식 모듈(262), 감정 분류기(263), 정황 정보 분석 모듈(264), 피드백 정보 생성 모듈(265), 토큰 위치 탐색 모듈(266)을 포함한다.
생체신호 분석 모듈(261)은 생체신호 센서(210)가 수집한 생체신호를 수신하고, 생체신호에 포함된 노이즈를 제거하기 위한 필터링, 생체신호의 증폭, 디지털 신호로의 변환 등 전처리를 수행할 수 있다. 생체신호 분석 모듈(261)은 전처리 과정을 통해 미리 설정되어 있는 신호 범위 내에 있는 생체신호를 추출하여 유효한 신호로 판단할 수 있다. 예를 들어, 수집된 피부 온도가 미리 설정되어 있는 온도 범위(30℃ 내지 37℃) 내에 있는 경우 유효 신호로 추출할 수 있다.
또한, 생체신호 분석 모듈(261)은 유효한 생체신호를 정규화하고, 정규화된 생체신호의 파형을 분석하여 특징점(feature point)를 추출할 수 있다. 예를 들어, 생체신호 분석 모듈(261)은 생체신호의 파형을 하나 이상의 구성펄스로 분해하고, 분해된 구성펄스로부터 특징점을 추출할 수 있다. 특징점은 구성펄스의 시간, 진폭, 평균시간, 표준편차 및 전체 생체신호 파형의 진폭 정보를 포함할 수 있고, 이에 제한되지 않는다. 또한, 생체신호 분석 모듈(261)은 특징점을 패턴화할 수 있다.
얼굴표정/제스처 인식 모듈(262)은 카메라(220)로부터 사용자를 촬영한 영상 데이터를 수신하고, 다양한 얼굴표정 인식 알고리즘 또는 제스처 인식 알고리즘을 이용해 사용자의 얼굴표정 데이터 또는 사용자의 제스처 데이터를 추출 및 인식할 수 있다. 예를 들면, 얼굴표정/제스처 인식 모듈(262)은 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용하여 사용자의 얼굴표정 또는 제스처를 인식할 수 있다. CNN(Convolutional Neural Network)을 이용한 영상 내 객체 인식 기술은 이미 공지된 기술이므로, 자세한 설명은 생략한다.
감정 분류기(263)는 사용자의 생체신호에 상응하여 미리 설정된 기준에 따라 사용자의 감정을 분류할 수 있다. 즉, 감정 분류기(263)는 생체신호 분석 모듈(261)에 의해 패턴화된 생체신호의 특징점에 대응하여 미리 설정된 기준에 따라 사용자의 감정을 분류할 수 있다. 여기서 미리 설정된 기준은 감정모델을 의미할 수 있다. 감정모델은 생체신호의 특징점 패턴에 따라 감정을 분류한 것이다.
감정 분류기(263)는 사용자의 생체신호와 감정 간 상관관계 정보를 이용하여 감정모델을 생성할 수 있다. 사용자의 생체신호와 감정 간 상관관계 정보는 저장부(240)에 저장되어 있거나, 외부 서버로부터 수신될 수 있다.
감정모델은 러셀(Russell)의 감정모델일 수 있다. 러셀(Russell)의 감정모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다. 즉, 감정 분류기(263)는 감정모델을 기초로 사용자의 생체신호 별로 추출된 특징점에 대응하는 사용자의 감정을 분류할 수 있다.
또한, 감정 분류기(263)는 사용자의 얼굴표정 데이터 또는 제스처 데이터에 대응하여 미리 설정된 기준에 따라 사용자의 감정을 분류할 수 있다. 즉, 감정 분류기(263)는 얼굴표정 변화 패턴에 대응하여 감정을 분류한 감정모델 또는 사용자의 제스처 변화 패턴에 대응하여 감정을 분류한 감정모델을 이용하여 사용자의 감정을 분류할 수 있다. 이러한 감정모델은 저장부(240)에 저장되어 있다.
감정 분류기(263)는 사용자의 생체신호, 사용자의 얼굴표정 데이터 및 제스처 데이터 중 적어도 하나를 기초로 사용자의 감정을 분류하고, 분류 결과를 기초로 사용자의 감정 정보를 생성할 수 있다. 저장부(240)는 사용자의 감정 정보를 저장한다.
정황 정보 분석 모듈(264)은 외부 서버 또는 입력부(270)로부터 수신한 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 기초로 사용자의 정황을 분석할 수 있다. 예를 들면, 사용자가 현재 집에 위치하고, 현재 시각이 오전 8시 50분이며, 9시까지 출근 스케줄이 있는 경우, 정황 정보 분석 모듈(264)은 사용자가 지각할 가능성이 있는 것으로 분석할 수 있다. 사용자가 차량을 운전하는 경우, 정황 정보 분석 모듈(264)은 도로 정보, 도로 교통 상황 정보 등을 수신하여 분석할 수 있다.
정황 정보 분석 모듈(264)에 의해 사용자 정황 정보가 분석된 결과는, 사용자의 감정 정보와 함께 피드백 정보 생성 시 사용될 수 있다. 예를 들면, 피드백 정보로서 사용자의 지각이 임박했으므로 불안한 표정의 아바타 이미지가 생성될 수 있다.
피드백 정보 생성 모듈(265)은 사용자의 감정 정보 및 사용자 정황 정보 중 적어도 하나에 대응하는 피드백 정보를 생성할 수 있다. 또한, 피드백 정보 생성 모듈(265)은 전자장치(300)의 특징 정보를 반영하여 피드백 정보를 생성한다. 피드백 정보는 사용자의 감정 정보 및 사용자 정황 정보 중 적어도 하나에 상응하여 실행 가능한 전자장치(300)의 기능 정보 및 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함한다.
예를 들면, 피드백 정보 생성 모듈(265)은 사용자의 감정 정보가 화난 감정이나 슬픈 감정과 같은 부정적인 감정인 경우 사용자의 감정을 긍정적인 감정으로 개선하기 위해 실행 가능한 전자장치(300)의 기능 정보를 피드백 정보로 생성하여 출력할 수 있다. 구체적으로, 전자장치(300)가 다양한 기능을 갖는 로봇(Robot)인 경우, 피드백 정보에는 사용자의 감정을 긍정적 감정으로 개선하거나 유지하기 위해 실행 가능한 로봇의 기능 정보가 포함될 수 있다.
또한, 피드백 정보 생성 모듈(265)은 긍정적 또는 부정적인 사용자의 감정을 표현할 수 있는 감정 표현 이미지나 미리 설정된 기준에 따라 사용자의 감정에 반응하여 출력할 감정 표현 이미지를 피드백 정보로 생성하여 출력할 수 있다. 감정 표현 이미지는 정적 이미지와 동적 이미지를 모두 포함하는 개념으로서, 감정을 표현할 수 있는 그림, 이모티콘, 아바타 등을 포함한다.
토큰 위치 탐색 모듈(266)은 토큰(100)의 위치를 추적하고, 토큰(100)의 위치 데이터를 반환한다. 토큰(100)이 하드웨어로 구현되는 경우 토큰 위치 탐색 모듈(266)은 카메라(220)를 통해 획득된 영상 데이터에서 토큰(100)의 위치를 추적할 수 있다. 토큰(100)이 소프트웨어로 구현되는 경우, 토큰 위치 탐색 모듈(266)은 토큰(100)이 전송된 전자장치(300)의 위치 데이터를 반환할 수 있다. 토큰 위치 탐색 모듈(266)이 반환한 토큰(100)의 위치 데이터는 토큰(100)과 전자장치(300) 간 연결 여부 확인에 이용될 수 있다.
또한, 토큰 위치 탐색 모듈(266)은 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한의 부여가 완료되었는지 확인하기 위한 질의 신호를 생성할 수 있고, 통신부(230)를 통해 생성한 질의 신호를 토큰(100)으로 전송할 수 있다.
도 6은 일 실시예에 따른 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하는 방법을 설명하는 도면이다.
도 6을 참조하면, 사용자 단말기(200)의 제어부(260)는 생체신호 센서(210)로부터 수신한 사용자의 생체신호를 기초로 사용자의 감정을 분류하고, 사용자의 감정 정보를 생성할 수 있다.
제어부(260)는 생체신호 센서(210)로부터 사용자의 생체신호를 수신한다(510). 제어부(260)는 생체신호에 포함된 노이즈를 제거하기 위한 필터링, 생체신호의 증폭, 디지털 신호로의 변환 등 전처리를 수행하여 유효한 생체신호를 추출하고, 추출한 유효 생체신호를 정규화한다(520). 이후, 제어부(260)는 정규화된 생체신호의 파형을 분석하여 특징점(feature point)를 추출하고, 추출한 특징점을 패턴화한다(530). 제어부(260)는 생체신호의 파형을 하나 이상의 구성펄스로 분해하고, 분해된 구성펄스로부터 특징점을 추출할 수 있다. 특징점은 구성펄스의 시간, 진폭, 평균시간, 표준편차 및 전체 생체신호 파형의 진폭 정보를 포함할 수 있고, 이에 제한되지 않는다.
제어부(260)는 패턴화된 생체신호의 특징점에 대응하여 미리 설정된 기준에 따라 사용자의 감정을 분류한다(540). 제어부(260)는 사용자의 감정을 분류한 결과를 기초로 사용자의 감정 정보를 생성할 수 있다.
도 7 내지 도 9는 멀티 디바이스 시스템의 제어방법을 설명하는 순서도이다. 도 7 내지 도 9는 토큰(100)이 하드웨어로 구현된 경우를 설명한다.
상술한 바와 같이, 멀티 디바이스 시스템(10)은 토큰(100), 사용자 단말기(200) 및 전자장치(300)로 구성된다.
먼저, 토큰(100)이 작동되고(610, 710, 810), 토큰(100), 사용자 단말기(200) 및 전자장치(300)가 연결된다(620). 토큰(100)은 전자장치(300)와 연결되어 해당 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여한다.
토큰(100)은 사용자로부터 부여 받은 사용자의 감정 정보에 대한 접근 권한을 전자장치(300)에 부여할 수 있다(720). 또한, 토큰(100)은 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한을 부여한 후, 접근 권한 부여 완료 신호를 생성하여 사용자 단말기(200)에 전송할 수 있다(830). 사용자 단말기(200)는 전자장치(300)에 사용자의 감정 정보에 대한 접근 권한이 부여되었는지 확인할 수 있다(830).
사용자가 토큰(100)을 이용하여 전자장치(300)에 자신의 감정 정보에 대한 접근 권한을 부여하면, 사용자 단말기(200)는 생체신호 센서, 카메라 등에 의해 수집된 데이터로부터 사용자의 감정 정보를 획득한다(630, 730, 840). 또한, 사용자 단말기(200)는 외부 서버(미도시) 또는 입력부(270)를 통해 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황(situation) 정보를 수집한다(630).
사용자 단말기(200)는 획득한 사용자의 감정 정보를 토큰(100) 또는 전자장치(300)에 전송할 수 있다(740, 850). 사용자의 감정 정보가 토큰(100)에 전송된 경우, 토큰(100)은 수신한 사용자의 감정 정보를 전자장치(300)로 다시 전송한다(750).
이후, 전자장치(300)는 수신한 사용자의 감정 정보에 대응하는 기능을 수행할 수 있다(760, 860). 전자장치(300)는 사용자 단말기(200)의 제어에 따라 사용자의 감정 정보에 대응하는 특정 기능을 수행할 수 있다.
사용자 단말기(200)는 사용자의 감정 정보, 사용자 정황 정보 및 전자장치(300)의 특징 정보를 바탕으로 사용자에게 제시할 피드백 정보를 생성하고(640), 출력부(250)를 통해 피드백 정보를 출력하여 사용자에게 제공한다(650). 피드백 정보는 사용자의 감정 정보에 상응하여 실행 가능한 전자장치(300)의 기능 정보 및 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함한다.
사용자는 사용자 단말기(200)를 이용하여 피드백 정보를 선택하면, 사용자 단말기(200)는 해당 피드백 정보에 대응하는 제어 신호를 생성하여 전자장치(300)로 전송한다. 전자장치(300)는 사용자 단말기(200)로부터 제어 신호를 수신하여 선택된 피드백 정보에 포함된 특정 기능을 수행한다(660).
이와 같이, 멀티 디바이스 시스템 및 그 제어방법에 따르면, 사용자가 토큰을 이용하여 자신의 감정 정보에 접근할 수 있는 장치를 선택함으로써 사용자의 허가 없이 복수의 장치에서 사용자의 감정 정보가 사용되는 것을 방지할 수 있는 효과가 있다.
또한, 복수의 장치 각각에 사용자의 감정 인식을 위한 별도의 장치를 부가할 필요 없이, 토큰이라는 매개체를 통해 사용자의 감정 정보를 전달함으로써 사용자와 복수의 장치 간 상호작용을 보다 용이하게 할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10: 멀티 디바이스 시스템
100: 토큰
110: 온/오프 버튼
120: 근거리 통신 태그
130: 통신부
140: 알림부
200: 사용자 단말기
210: 생체신호 센서
220: 카메라
230: 통신부
240: 저장부
250: 출력부
260: 제어부
270: 입력부
300: 전자장치

Claims (22)

  1. 전자장치에 사용자의 감정 정보에 대한 접근 권한을 부여하는 토큰; 및
    상기 사용자의 감정 정보를 획득하고, 상기 토큰에 상기 획득한 사용자의 감정 정보를 전송하며, 상기 토큰을 통해 상기 사용자의 감정 정보에 대한 접근 권한을 부여 받은 상기 전자장치가 상기 사용자의 감정 정보에 대응하는 기능을 수행하도록 제어하는 사용자 단말기;를 포함하는 멀티 디바이스 시스템.
  2. 제1항에 있어서,
    상기 사용자 단말기는,
    상기 사용자 단말기에 포함된 생체신호 센서를 이용하여 사용자의 생체신호를 수집하고, 상기 사용자의 생체신호를 기초로 상기 사용자의 감정 정보를 획득하는 멀티 디바이스 시스템.
  3. 제2항에 있어서,
    상기 사용자 단말기는,
    상기 사용자 단말기에 포함된 카메라를 이용하여 사용자의 얼굴표정 데이터 및 사용자의 제스처 데이터 중 적어도 하나를 더 수집하고,
    상기 사용자의 생체신호, 상기 사용자의 얼굴표정 데이터 및 제스처 데이터 중 적어도 하나를 기초로 상기 사용자의 감정 정보를 획득하는 멀티 디바이스 시스템.
  4. 제2항에 있어서,
    상기 사용자 단말기는,
    상기 사용자의 생체신호에 대응하여 미리 설정된 기준에 따라 상기 사용자의 감정을 분류하고, 분류 결과를 기초로 상기 사용자의 감정 정보를 획득하는 멀티 디바이스 시스템.
  5. 제2항에 있어서,
    상기 토큰은 수신한 상기 사용자의 감정 정보를 상기 전자장치에 전송하고, 상기 전자장치의 특징 정보를 추출하여 상기 사용자 단말기로 전송하고,
    상기 사용자 단말기는 상기 전자장치의 특징 정보를 반영하여 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성하는 멀티 디바이스 시스템.
  6. 제5항에 있어서,
    상기 사용자 단말기는,
    외부 서버와 통신하여 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황 정보를 더 수집하고,
    상기 사용자 정황 정보를 반영하여 상기 피드백 정보를 생성하는 멀티 디바이스 시스템.
  7. 제5항에 있어서,
    상기 피드백 정보는,
    상기 사용자의 감정 정보에 상응하여 실행 가능한 상기 전자장치의 기능 정보 및 상기 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함하는 멀티 디바이스 시스템.
  8. 제7항에 있어서,
    상기 사용자 단말기는,
    상기 실행 가능한 전자장치의 기능 정보 중 특정 기능이 사용자에 의해 선택된 경우, 상기 특정 기능의 수행을 위한 제어 신호를 생성하여 상기 전자장치로 전송하는 멀티 디바이스 시스템.
  9. 제1항에 있어서,
    상기 사용자 단말기는,
    상기 토큰 및 상기 전자장치를 포함하는 공간의 영상을 획득하고, 상기 피드백 정보를 상기 영상에 오버랩시켜 증강현실 영상으로 출력하는 멀티 디바이스 시스템.
  10. 사용자의 요청에 따라 사용자의 감정 정보에 대한 접근 권한을 부여하는 가상 토큰을 생성하고, 사용자의 감정 정보를 획득하여 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성 및 출력하는 사용자 단말기;
    상기 사용자 단말기로부터 상기 가상 토큰을 수신하여 상기 사용자의 감정 정보에 대한 접근 권한을 부여 받고, 상기 사용자 단말기의 제어에 따라 상기 사용자의 감정 정보에 대응하는 기능을 수행하는 전자장치를 포함하는 멀티 디바이스 시스템.
  11. 전자장치에 사용자의 감정 정보에 대한 접근 권한을 부여하는 토큰; 및
    상기 사용자의 감정 정보를 획득하고, 상기 토큰과 통신하여 상기 사용자의 감정 정보에 대한 접근 권한이 상기 전자장치에 부여된 상태를 확인하고, 상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한이 부여되면, 상기 전자장치로 상기 획득한 사용자의 감정 정보를 전송하며, 상기 전자장치가 상기 사용자의 감정 정보에 대응하는 기능을 수행하도록 제어하는 사용자 단말기;를 포함하는 멀티 디바이스 시스템.
  12. 토큰, 사용자 단말기 및 전자장치가 연결되고, 상기 토큰에 사용자의 감정 정보에 대한 접근 권한이 부여되는 단계;
    상기 토큰이 상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한을 부여하는 단계;
    상기 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하고, 상기 토큰에 상기 사용자의 감정 정보를 전송하는 단계; 및
    상기 사용자 단말기가 상기 전자장치에 제어 신호를 전송하여 상기 사용자의 감정 정보에 대응하는 기능이 수행되도록 상기 전자장치를 제어하는 단계;를 포함하는 멀티 디바이스 시스템의 제어방법.
  13. 제12항에 있어서,
    상기 사용자의 감정 정보를 전송하는 단계는,
    사용자의 생체신호를 수집하는 단계를 더 포함하고, 상기 사용자의 생체신호를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 포함하는 멀티 디바이스 시스템의 제어방법.
  14. 제12항에 있어서,
    상기 사용자의 감정 정보를 전송하는 단계는,
    상기 토큰과 상기 전자장치 간 연결 완료 신호가 상기 사용자 단말기에 수신되면, 상기 사용자의 감정 정보를 상기 전자장치로 전송하는 단계를 더 포함하는 멀티 디바이스 시스템의 제어방법.
  15. 제13항에 있어서,
    상기 사용자의 감정 정보를 전송하는 단계는,
    사용자의 얼굴표정 데이터 및 사용자의 제스처 데이터 중 적어도 하나를 수집하는 단계를 더 포함하고,
    상기 사용자의 생체신호, 상기 사용자의 얼굴표정 데이터 및 제스처 데이터 중 적어도 하나를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 포함하는 멀티 디바이스 시스템의 제어방법.
  16. 제13항에 있어서,
    상기 사용자의 감정 정보를 전송하는 단계는,
    상기 사용자의 생체신호에 상응하여 미리 설정된 기준에 따라 상기 사용자의 감정을 분류하고, 분류 결과를 기초로 상기 사용자의 감정 정보를 획득하는 단계를 더 포함하는 멀티 디바이스 시스템의 제어방법.
  17. 제13항에 있어서,
    상기 사용자 단말기가 상기 토큰에 의해 추출된 상기 전자장치의 특징 정보를 반영하여 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성하는 단계를 더 포함하는 멀티 디바이스 시스템의 제어방법.
  18. 제17항에 있어서,
    상기 피드백 정보를 생성하는 단계는,
    외부 서버와 통신하여 현재 위치, 현재 시간, 날씨 및 사용자 스케줄 정보 중 적어도 하나를 포함하는 사용자 정황 정보를 수집하는 단계를 더 포함하고,
    상기 사용자 정황 정보를 반영하여 상기 피드백 정보를 생성하는 단계를 포함하는 멀티 디바이스 시스템의 제어방법.
  19. 제17항에 있어서,
    상기 피드백 정보는,
    상기 사용자의 감정 정보에 상응하여 실행 가능한 상기 전자장치의 기능 정보 및 상기 사용자의 감정 정보에 대응하는 감정 표현 이미지 중 적어도 하나를 포함하는 멀티 디바이스 시스템의 제어방법.
  20. 제19항에 있어서,
    상기 전자장치를 제어하는 단계는,
    상기 실행 가능한 전자장치의 기능 정보 중 특정 기능이 사용자에 의해 선택된 경우, 상기 특정 기능의 수행을 위한 제어 신호를 생성하여 상기 전자장치로 전송하는 단계를 더 포함하는 멀티 디바이스 시스템의 제어방법.
  21. 사용자 단말기가 사용자의 감정 정보에 대한 접근 권한을 부여하는 가상 토큰을 생성하는 단계;
    상기 가상 토큰을 전자장치에 전송하여 상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한을 부여하는 단계;
    상기 사용자 단말기를 이용하여 사용자의 감정 정보를 획득하는 단계;
    상기 사용자 단말기가 상기 사용자의 감정 정보에 대응하는 피드백 정보를 생성 및 출력하는 단계; 및
    상기 전자장치가 상기 사용자 단말기의 제어에 따라 상기 사용자의 감정 정보에 대응하는 기능을 수행하는 단계를 포함하는 멀티 디바이스 시스템의 제어방법.
  22. 토큰이 사용자의 감정 정보에 대한 접근 권한을 전자장치에 부여하는 단계;
    사용자 단말기가 상기 토큰과 통신하여 상기 사용자의 감정 정보에 대한 접근 권한이 상기 전자장치에 부여된 상태를 확인하는 단계;
    상기 사용자 단말기가 상기 사용자의 감정 정보를 획득하는 단계;
    상기 전자장치에 상기 사용자의 감정 정보에 대한 접근 권한이 부여되면, 상기 사용자 단말기가 상기 전자장치로 상기 획득한 사용자의 감정 정보를 전송하는 단계; 및
    상기 전자장치가 상기 사용자의 감정 정보에 대응하는 기능을 수행하도록, 상기 사용자 단말기가 상기 전자장치를 제어하는 단계;를 포함하는 멀티 디바이스 시스템의 제어방법.

KR1020180119641A 2018-10-08 2018-10-08 멀티 디바이스 시스템 및 그 제어방법 KR20200039982A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180119641A KR20200039982A (ko) 2018-10-08 2018-10-08 멀티 디바이스 시스템 및 그 제어방법
US16/560,319 US20200110890A1 (en) 2018-10-08 2019-09-04 Multi device system and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119641A KR20200039982A (ko) 2018-10-08 2018-10-08 멀티 디바이스 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200039982A true KR20200039982A (ko) 2020-04-17

Family

ID=70051684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119641A KR20200039982A (ko) 2018-10-08 2018-10-08 멀티 디바이스 시스템 및 그 제어방법

Country Status (2)

Country Link
US (1) US20200110890A1 (ko)
KR (1) KR20200039982A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783627B2 (en) * 2020-02-10 2023-10-10 Massachusetts Institute Of Technology Methods and apparatus for detecting and classifying facial motions
WO2023013927A1 (en) * 2021-08-05 2023-02-09 Samsung Electronics Co., Ltd. Method and wearable device for enhancing quality of experience index for user in iot network

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102124178B1 (ko) * 2013-06-17 2020-06-17 삼성전자주식회사 웨어러블 기기 및 웨어러블 기기를 이용한 통신 방법
WO2015126095A1 (ko) * 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
CN106463000A (zh) * 2014-06-13 2017-02-22 三菱电机株式会社 信息处理装置、信息重叠图像显示装置、标记显示程序和信息重叠图像显示程序
US20180268735A1 (en) * 2014-12-09 2018-09-20 University-Industry Cooperation Group Of Kyung Hee University Mobile terminal-based life coaching method, mobile terminal, and computer-readable recording medium, onto which method is recorded
US11961154B2 (en) * 2015-05-21 2024-04-16 Dxc Technology Services Llc Contract token including sensor data
US20170011640A1 (en) * 2015-07-08 2017-01-12 Genaro Rebolledo-Mendez System For Monitoring, Processing, Analyses And Storage Of Physiological Signals For Emotion Recognition
US10172535B2 (en) * 2015-10-28 2019-01-08 Sk Planet Co., Ltd. Wearable device and method for providing feedback information through vein authentication
EP3393132B1 (en) * 2015-12-17 2022-11-02 Panasonic Intellectual Property Corporation of America Display method and display device
KR101738278B1 (ko) * 2015-12-31 2017-05-22 성균관대학교산학협력단 영상을 이용한 감정 인식 방법
WO2017130496A1 (ja) * 2016-01-25 2017-08-03 ソニー株式会社 通信システムおよび通信制御方法
CN110888997A (zh) * 2018-09-10 2020-03-17 北京京东尚科信息技术有限公司 内容评价方法、系统和电子设备

Also Published As

Publication number Publication date
US20200110890A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
Liang et al. Behavioral biometrics for continuous authentication in the internet-of-things era: An artificial intelligence perspective
Kaya et al. Modelling auditory attention
US10366778B2 (en) Method and device for processing content based on bio-signals
Verma et al. Multimodal fusion framework: A multiresolution approach for emotion classification and recognition from physiological signals
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
CN109976513B (zh) 一种系统界面设计方法
Castillo et al. A framework for recognizing and regulating emotions in the elderly
Li et al. Brain-based computer interfaces in virtual reality
WO2017215177A1 (zh) 一种虚拟现实中内容交互的方法和装置
CN110584657B (zh) 一种注意力检测方法及系统
KR20200039982A (ko) 멀티 디바이스 시스템 및 그 제어방법
Kakaraparthi et al. FaceSense: sensing face touch with an ear-worn system
Shams et al. EEG-based biometric authentication using machine learning: A comprehensive survey
Bose et al. Deep learning for brain computer interfaces
Zitouni et al. Privacy aware affective state recognition from visual data
KR20200029663A (ko) 감정 인식 장치 및 그 제어방법
Akhtar et al. Visual nonverbal behavior analysis: The path forward
Yusuf et al. Evolving an emotion recognition module for an intelligent agent using genetic programming and a genetic algorithm
Chowdary et al. Human emotion recognition using intelligent approaches: A review
Artífice et al. Improvement of student attention monitoring supported by precision sensing in learning management systems
WO2021215266A1 (ja) 制御装置、及び制御方法
Mu et al. Human subject identification via passive spectrum monitoring
Dabas et al. A Step Closer to Becoming Symbiotic with AI through EEG: A Review of Recent BCI Technology
KR102175997B1 (ko) 뇌파 기반의 사용자 의도 인식 방법 및 장치
Saisanthiya et al. Heterogeneous Convolutional Neural Networks for Emotion Recognition Combined with Multimodal Factorised Bilinear Pooling and Mobile Application Recommendation.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application