KR102456155B1 - 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 - Google Patents

심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102456155B1
KR102456155B1 KR1020210173080A KR20210173080A KR102456155B1 KR 102456155 B1 KR102456155 B1 KR 102456155B1 KR 1020210173080 A KR1020210173080 A KR 1020210173080A KR 20210173080 A KR20210173080 A KR 20210173080A KR 102456155 B1 KR102456155 B1 KR 102456155B1
Authority
KR
South Korea
Prior art keywords
user
electronic device
psychological state
psychological
video
Prior art date
Application number
KR1020210173080A
Other languages
English (en)
Inventor
최경호
Original Assignee
주식회사 채움숲
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 채움숲 filed Critical 주식회사 채움숲
Priority to KR1020210173080A priority Critical patent/KR102456155B1/ko
Application granted granted Critical
Publication of KR102456155B1 publication Critical patent/KR102456155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Abstract

전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 적어도 하나의 디스플레이를 통해 심리 분석을 위한 동영상을 제공하는 단계, 적어도 하나의 카메라를 통해 동영상을 시청하는 사용자의 얼굴을 촬영하여, 사용자의 얼굴이 포함된 이미지를 획득하는 단계, 획득된 이미지를 분석하여 사용자의 심리 상태를 판단하는 단계, 판단된 심리 상태에 매칭되는 휴양 정보를 제공하는 단계를 포함한다.

Description

심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 { CONTROL METHOD OF ELECTRONIC APPARATUS FOR PROVIDING RECREATION INFORMATION BASED ON PSYCHOLOGICAL STATE }
본 개시는 휴양 정보를 제공하는 전자 장치에 관한 것으로, 보다 상세하게는, 사용자의 심리 상태를 판단하여 사용자에게 적합한 휴양 정보를 제공하는 전자 장치의 제어 방법에 관한 것이다.
산림, 바다, 기타 관광지 등 다양한 휴양지의 관광객 유치를 위해 헬스케어, 빅데이터, 플랫폼 기반의 다양한 연구개발이 수행되고 있다.
다만, 기존의 관련 기술은 각 휴양지의 물리적인 장점을 정량화/수치화하여 휴양지의 우월성을 홍보함에 그치는 경우가 대부분이었다.
예컨대, 나무에서 발생하는 피톤치드 발생량을 정량화하여, 산림 관광의 우수성을 증명하려는 시도가 있었다. 다만, 일반적으로 휴양림에 대한 방문이 정기적/규칙적으로 이루어지는 것이 아니고, 피톤치드를 생성하는 나무와 사람 간의 거리도 일정하지 않기 때문에, 이를 정량화하는 작업만으로 실질적 성과를 내기는 어렵다.
현실적으로, 산림 등 휴양지에 대한 만족은 피톤치드와 같은 이로운 성분의 수치보다는, 좋아하는 장소에서 오랜만에 즐거운 시간을 보내면서 느끼는 감정적인 만족과 회복이 주를 이룬다는 점에 주목할 필요가 있다. 즉, 신체에 이로운 어떠한 성분에 대한 객관적인 수치보다는, 방문객의 감정에 적합한 심리적 만족감을 제공하는 것이 휴양/관광의 미래 방향성에 더 적합하다고 볼 수 있다.
공개특허공보 제10-2017-0030379호(사용자 선호에 맞춘 여행 큐레이션 서비스 방법 및 시스템)
본 개시는 비디오를 시청하는 사용자의 심리 상태를 실시간으로 파악하여 사용자의 심리 상태에 적합한 최적의 휴양 정보를 추천하는 전자 장치의 제어 방법을 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 적어도 하나의 디스플레이를 통해 심리 분석을 위한 동영상을 제공하는 단계, 적어도 하나의 카메라를 통해 상기 동영상을 시청하는 사용자의 얼굴을 촬영하여, 상기 사용자의 얼굴이 포함된 이미지를 획득하는 단계, 상기 획득된 이미지를 분석하여 상기 사용자의 심리 상태를 판단하는 단계, 상기 판단된 심리 상태에 매칭되는 휴양 정보를 제공하는 단계를 포함한다.
상기 심리 상태를 판단하는 단계는, 인간의 심리 상태를 판단하도록 훈련된 적어도 하나의 인공지능 모델에 상기 획득된 이미지를 입력하고, 상기 인공지능 모델로부터 출력된 감정 분류 및 감정 수치를 획득할 수 있다.
이 경우, 상기 인공지능 모델은, 서로 다른 감정 분류에 해당하는 얼굴을 포함하는 복수의 훈련 이미지를 통해 훈련된 모델일 수 있다. 그리고, 상기 복수의 훈련 이미지 각각에 포함된 얼굴은, 적어도 하나의 감정 분류가 수치화된 감정 수치의 여러 단계 중 하나의 단계에 해당할 수 있다.
상기 이미지를 획득하는 단계는, 상기 동영상이 제공되는 동안, 일정 시간 간격에 따라 상기 카메라를 통해 상기 사용자의 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다. 이 경우, 상기 심리 상태를 판단하는 단계는, 상기 복수의 이미지 각각을 분석하여 시간대 별 심리 상태를 식별할 수 있다.
상기 이미지를 획득하는 단계는, 상기 동영상에 포함되는 각 장면이 제공될 때마다 상기 카메라를 통해 상기 사용자의 얼굴을 촬영하여 복수의 이미지를 획득할 수도 있다. 그리고, 상기 심리 상태를 판단하는 단계는, 상기 복수의 이미지 각각을 분석하여 각 장면에 매칭되는 상기 사용자의 심리 상태를 식별할 수 있다.
이 경우, 상기 전자 장치의 제어 방법은, 각 장면에 매칭되는 상기 사용자의 심리 상태를 기초로, 상기 복수의 이미지 중 기설정된 감정 분류에 매칭되는 적어도 하나의 이미지를 선택하는 단계, 상기 선택된 이미지에 대한 유사도가 임계치 이상인 이미지를 포함하는 휴양 정보를 검색하는 단계, 상기 검색된 휴양 정보를 제공하는 단계를 더 포함할 수도 있다.
한편, 상기 전자 장치의 제어 방법은, 상기 판단된 심리 상태에 매칭되는 휴양 정보가 제1 장소 및 제2 장소 각각에 부합하는 경우, 상기 제1 장소 및 상기 제2 장소 중 실시간 이용자 수가 더 적은 장소를 추천하는 단계, 상기 추천하는 단계에 따라 장소 추천이 수행된 횟수에 기초하여, 상기 제1 장소 및 상기 제2 장소 중 적어도 하나의 실시간 이용자 수를 업데이트하는 단계를 포함할 수 있다.
상기 전자 장치의 제어 방법은, 상기 휴양 정보가 제공된 이후, 상기 사용자의 위치 정보를 기반으로 상기 사용자가 상기 휴양 정보에 매칭되는 장소에 방문했는지 여부를 식별하는 단계, 상기 사용자가 상기 휴양 정보에 매칭되는 장소에 방문한 것으로 식별되는 경우, 적어도 하나의 디스플레이를 통해 심리 분석을 위한 제2 동영상을 제공하는 단계, 적어도 하나의 카메라를 통해, 상기 제2 동영상을 시청하는 상기 사용자의 얼굴을 촬영하여, 상기 사용자의 제2 심리 상태를 판단하는 단계, 상기 판단된 심리 상태 및 상기 판단된 제2 심리 상태 간의 차이를 기반으로, 상기 판단된 심리 상태에 매칭되는 휴양 정보를 업데이트하는 단계를 포함할 수도 있다.
본 개시에 따른 전자 장치의 제어 방법은, 사용자/방문자의 심리 상태를 고려하여 휴양 정보를 제공함으로써, 사용자/방문자 맞춤형으로 심리 치료에 도움이 될 수 있는 휴양 정보를 제공할 수 있다는 장점이 있다.
특히, 본 개시에 따른 전자 장치의 제어 방법은, 개개인에게 적합한 휴양지를 탐색하는 과정에서 자연스럽게 심리 상담을 수행할 수 있어 심리 상담의 문턱을 낮출 수 있다는 장점이 있으며, 개개인의 심리 상태가 실시간으로 반영되는 능동적인 관광 산업 플랫폼을 조성할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도,
도 3a는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 디스플레이 장치 및 사용자 단말과 연동하여 휴양 정보를 제공하는 동작을 설명하기 위한 도면,
도 3b는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 디스플레이 장치와 연동하여 휴양 정보를 제공하는 동작을 설명하기 위한 도면,
도 3c는 본 개시의 일 실시 예에 따라 단말 장치로 구현된 전자 장치가 휴양 정보를 제공하는 동작을 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 전자 장치가 심리 상태를 판단하기 위해 활용하는 인공지능 모델의 구성 및 동작을 설명하기 위한 도면, 그리고
도 5는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 다양한 외부 전자 장치와 통신을 수행하는 서버 또는 시스템으로 구현될 수 있다. 또한, 전자 장치(100)는 TV, 셋탑박스, 키오스크, 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북 PC, PDA, 웨어러블 장치, VR(Virtual Reality)/AR(Augmented Reality) 장치, 스마트 스피커, 로봇 등 다양한 단말 기기로 구현될 수 있다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
도 1을 참조하면, 메모리(110)는 적어도 하나의 인공지능 모델(111), 심리-휴양 매칭 정보(112) 등을 포함할 수 있다.
인공지능 모델(111)은 인간의 심리 상태를 판단하도록 훈련된 모델일 수 있다. 구체적으로, 인공지능 모델(111)은 인간의 얼굴이 포함된 이미지를 분석하여 인간의 심리 상태를 출력할 수 있다.
예를 들어, 인공지능 모델(111)은 신경망(Neural Network)을 기반으로 하는 네트워크 모델(신경망 모델)에 해당할 수 있다. 네트워크 모델은 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 서로 다른 레이어의 노드 간 가중치를 기반으로 연결 관계를 형성할 수 있다.
구체적인 예로, 인공지능 모델(111)은 2D 또는 3D 이미지를 입력 받아 특징 정보를 추출하고 특징 정보를 바탕으로 심리 상태를 출력하는 CNN(Convolutional Neural Network) 기반 모델에 해당할 수 있으나, 이에 한정되지 않는다.
여기서, 심리 상태는, 감정 분류 및/또는 감정 수치를 포함할 수 있다.
감정 분류는, 행복, 분노, 놀람, 궁금함, 무표정, 슬픔, 경멸, 싫음, 두려움, 무기력함, 편안함, 안락함 등 다양한 감정 유형에 해당할 수 있다. 감정 수치는, 적어도 하나의 감정 분류에 해당하는 감정이 수치적으로 나타난 것이다. 예를 들어, 행복의 정도가 강할수록, 행복에 대한 감정 수치가 더 높은 것으로 정의될 수 있으며 감정 수치는 수치 또는 단계로 표현될 수 있다.
상술한 심리 상태를 출력하기 위해, 인공지능 모델(111)은 서로 다른 감정 분류에 해당하는 얼굴을 포함하는 복수의 훈련 이미지를 통해 훈련될 수 있다. 여기서, 복수의 훈련 이미지 각각에 포함된 얼굴은, 적어도 하나의 감정 분류가 수치화된 감정 수치의 여러 단계 중 하나의 단계에 해당할 수 있다.
구체적인 예로, 인공지능 모델(111)은 5개의 감정 분류 각각에 대하여 5단계의 감정 수치 중 하나를 선택하도록 훈련됨으로써, 25개의 심리 상태 중 하나를 선택하도록 구현될 수 있으나, 이에 한정되지 않는다.
심리-휴양 매칭 정보(112)는 각 심리 상태에 적합한 휴양 정보가 무엇인지를 나타내는 매칭 관계를 포함한다. 구체적으로, 심리-휴양 매칭 정보(112)는 사용자가 특정한 심리 상태일 때, 어떤 휴양 정보를 제공하는 것이 적합한지를 나타내는 정보인 것으로 해석될 수 있다.
휴양 정보는, 휴양지의 명칭, 휴양지의 주소/위치, 휴양/관광 코스, 휴양/관광 경로, 관광 스케줄(ex. 방문 시간, 관광에 걸리는 시간), 휴양지의 시설 정보, 휴양지의 환경(ex. 기온, 습도, 평균 인구 밀도, 인프라 등), 휴양지와 관련된 이미지(ex. 풍경 사진, 시설 사진 등) 등 휴양지와 관련된 다양한 정보를 포함할 수 있다.
예를 들어, 사용자가 산림에 방문한 경우 또는 방문하고자 하는 경우를 가정한다. 이 경우, 심리-휴양 매칭 정보(112)에 따르면, 사용자의 심리 상태가 슬픔(ex. 중간 단계의 감정 수치)인 상황에서 적합한 휴양 정보는, 산림 내 트래킹 코스에 해당할 수 있다. 또한, 사용자의 심리 상태가 행복(ex. 낮은 단계의 감정 수치)인 상황에서 적합한 휴양 정보는, 산림 내 하이킹 코스에 해당할 수 있다.
일 예로, 인공지능 모델(111)이 25개의 심리 상태(ex. 5가지 감정 분류, 5단계의 감정 수치) 중 하나를 선택하는 모델인 경우, 심리-휴양 매칭 정보(112)는 25개의 심리 상태 각각에 매칭되는 휴양 정보를 포함할 수도 있다.
프로세서(120)는 전자 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.
도 1을 참조하면, 프로세서(120)는 심리 분석 모듈(121), 휴양 정보 관리 모듈(122) 등 다양한 모듈을 제어할 수 있다. 본 모듈들은, 소프트웨어 및/또는 하드웨어로 구현된 것일 수 있다.
심리 분석 모듈(121)은 사용자를 포함하는 이미지를 바탕으로 사용자의 심리 상태를 판단하기 위한 모듈이다.
구체적으로, 심리 분석 모듈(121)은 인공지능 모델(111)에 사용자의 얼굴이 촬영된 이미지를 입력하여 사용자의 심리 상태(감정 분류, 감정 수치)를 판단할 수 있다.
휴양 정보 관리 모듈(122)은 휴양 정보를 관리/업데이트하고, 심리 상태에 적합한 휴양 정보를 제공/추천하기 위한 모듈이다.
심리 분석 모듈(121)을 통해 사용자의 심리 상태가 판단되면, 휴양 정보 관리 모듈(122)은 심리-휴양 매칭 정보(112)를 활용하여 사용자의 심리 상태에 적합한 휴양 정보를 식별할 수 있다.
일 실시 예로, 휴양 정보 관리 모듈(122)은 메모리(110)에 기저장된 다양한 휴양지들과 관련된 휴양 정보 중 현재 사용자의 위치, 사용자가 방문하고자 하는 휴양지 등을 바탕으로 휴양 정보를 1차 필터링한 뒤, 사용자의 심리 상태에 따라 휴양 정보를 2차 필터링할 수 있다.
구체적인 예로, 산림을 방문하고자 하는 사용자의 의사가 입력된 경우, 휴양 정보 관리 모듈(122)은 산림에 해당하는 휴양지들의 휴양 정보(ex. 산림 A, 산림 B, 산림 C)만을 추출할 수 있다(: 1차 필터링). 그리고, 휴양 정보 관리 모듈(122)은 추출된 휴양 정보 중 사용자의 심리 상태에 맞는 휴양 정보만을 다시금 추출할 수 있다(: 2차 필터링).
일 예로, 사용자의 심리 상태에 적합한 휴양 정보가 트래킹인 경우, 휴양 정보 관리 모듈(122)은 트래킹 코스를 포함하는 휴양지(ex. 산림 B)를 선택할 수 있다. 일 예로, 사용자의 심리 상태에 적합한 휴양 정보가 운동 시설인 경우, 휴양 정보 관리 모듈(122)은 운동 시설을 구비한 휴양지(ex. 산림 C)를 선택할 수 있다.
이하 도 2를 통해, 사용자의 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치(100)의 동작을 보다 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 전자 장치(100)는 적어도 하나의 디스플레이를 통해 심리 분석을 위한 동영상을 제공할 수 있다(S210).
이때, 디스플레이는 전자 장치(100)에 구비된 것일 수도 있고, 전자 장치(100)와 통신 가능한 적어도 하나의 외부 전자 장치(ex. TV, PC, 스마트폰, 키오스크 등)에 구비된 것일 수도 있다.
심리 분석을 위한 동영상은, 사용자의 현재 심리 상태를 파악하기 위해 사용자에게 제공되는 동영상에 해당한다.
심리 분석을 위한 동영상은, 심리 분야, 정신 치료 분야 등의 전문가에 의해 만들어지거나 선택된 동영상일 수 있다.
또는, 심리 분석을 위한 동영상은, 전자 장치(100)에 의해 자동으로 선택된 동영상일 수도 있다.
예를 들어, 전자 장치(100)는 복수의 동영상이 저장된 데이터베이스와 연동될 수 있다. 이 경우, 전자 장치(100)는 복수의 동영상 각각을 시청하는 동안 (한 명 이상의) 시청자의 심리 상태의 변화 폭을 식별할 수 있다. 그리고, 전자 장치(100)는 복수의 동영상 중 시청자의 심리 상태의 변화 폭이 비교적 낮은 동영상을 선택하여, 심리 분석을 위한 동영상으로 활용할 수 있다.
한편, 심리 분석을 위한 동영상이 제공되는 동안, 전자 장치(100)는 적어도 하나의 카메라를 통해 동영상을 시청하는 사용자의 얼굴을 촬영하여, 사용자의 얼굴이 포함된 이미지를 획득할 수 있다(S220).
여기서, 카메라는 전자 장치(100)에 구비된 것일 수도 있고, 전자 장치(100)와 통신 가능한 적어도 하나의 외부 전자 장치(ex. 카메라 장치, TV, PC, 스마트폰, 키오스크 등)에 구비된 것일 수도 있다.
구체적으로, 전자 장치(100)는 카메라를 통해 순차적으로 촬영을 수행하여 사용자의 얼굴이 포함된 복수의 이미지를 획득할 수 있다.
그리고, 전자 장치(100)는 획득된 이미지를 분석하여 사용자의 심리 상태를 판단할 수 있다(S230).
구체적으로, 전자 장치(100)는 인간의 심리 상태를 판단하도록 훈련된 적어도 하나의 인공지능 모델(111)에 획득된 이미지를 입력하고, 인공지능 모델(111)로부터 출력된 감정 분류 및 감정 수치를 획득할 수 있다. 이때, 전자 장치(100)의 심리 분석 모듈(121)이 활용될 수 있다.
한편, 복수의 이미지가 획득된 경우, 전자 장치(100)는 각 이미지를 분석하여 각 이미지에 포함된 사용자의 심리 상태를 판단할 수 있다.
즉, 전자 장치(100)는 복수의 이미지 각각에 대한 사용자의 복수의 심리 상태를 판단할 수 있으며, 복수의 심리 상태 중 가장 지배적인 심리 상태를 식별할 수 있다.
예를 들어, 복수의 심리 상태가 제1 감정 분류(ex. 재미있음)에 해당하는 제1 심리 상태들, 제2 감정 분류(ex. 무기력함)에 해당하는 제2 심리 상태들, 제3 감정 분류(ex. 무관심)에 해당하는 제3 심리 상태들을 포함하는 경우를 가정한다.
여기서, 제2 심리 상태들의 수가 가장 많은 경우, 제2 심리 상태들의 수가 일정 수 이상임을 전제로, 전자 장치(100)는 사용자의 지배적인 심리 상태를 제2 감정 분류(ex. 무기력함)로 식별할 수 있다.
이 경우, 전자 장치(100)는 제2 감정 분류에 해당하는 제2 심리 상태들의 감정 수치에 대한 평균을 산출하여, 사용자의 지배적인 심리 상태에 따른 감정 수치(ex. 무기력함의 정도)를 산출할 수도 있다.
이렇듯, 지배적인 심리 상태가 식별된 경우, 전자 장치(100)는 동영상의 제공, 카메라의 촬영, 심리 상태 분석 등을 중단할 수 있다.
한편, 지배적인 심리 상태를 확정하기 위한 조건 값인 상술한 일정 수는, 동영상에 대한 사용자의 집중도에 따라 다르게 설정될 수 있다.
구체적으로, 동영상에 대한 사용자의 집중도가 낮을수록, 상술한 일정 수는 비교적 크게 설정될 수 있다. 즉, 동영상에 대한 사용자의 집중도가 낮을수록 지배적인 심리 상태를 판단하기까지 걸리는 시간(: 동영상 제공 시간, 촬영 시간, 심리 상태 분석 시간)도 길어지게 된다.
여기서, 전자 장치(100)는 카메라를 통해 획득되는 상술한 각 이미지를 분석하여 사용자의 집중도를 분석할 수 있다.
구체적으로, 전자 장치(100)는 이미지 내에서 사용자의 눈동자(또는 동공)을 포함하는 영역(ex. 2개 영역)을 추출하고, 각 영역에 포함된 눈동자(또는 동공)의 위치 또는 방향에 따라 동영상에 대한 사용자의 집중도를 산출할 수 있다.
이 경우, 전자 장치(100)는 동영상에 대한 사용자의 집중도를 판단하도록 훈련된 적어도 하나의 인공지능 모델을 활용할 수도 있다.
예를 들어, 동영상을 제공하는 디스플레이의 방향과 카메라의 촬영 방향 간의 각도가 유지되고, 디스플레이와 사용자 간의 거리가 일정 범위 내로 유지됨을 전제로, 본 인공지능 모델은, 동영상에 집중하는 사용자가 촬영된 훈련 이미지, 동영상을 바라보지 않는 사용자가 촬영된 훈련 이미지, 동영상이 표시되는 방향을 바라보지만 온전히 집중하지 않는(ex. 초점이 디스플레이와 안구 간의 거리와 매칭되지 않음) 사용자가 촬영된 훈련 이미지 등을 통해 훈련될 수 있다.
이후, 본 인공지능 모델은, 입력된 이미지를 분석하여 이미지에 포함된 사용자가 동영상에 집중하고 있는지(집중도 높음), 동영상이 표시되는 방향을 바라보지만 온전히 집중하지 않는지(집중도 중간), 동영상을 바라보지 않는지(집중도 낮음) 판단할 수 있다.
상술한 실시 예들 중 적어도 하나에 따라 사용자의 심리 상태가 판단되면, 전자 장치(100)는 판단된 심리 상태에 매칭되는 휴양 정보를 제공할 수 있다(S240).
구체적으로, 전자 장치(100)의 휴양 정보 관리 모듈(122)은 심리-휴양 매칭 정보(112)를 활용하여 심리 상태에 매칭되는 휴양 정보를 선택할 수 있다.
이 경우, 전자 장치(100)는 선택된 휴양 정보를 적어도 하나의 디스플레이를 통해 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 심리 상태에 적합한 휴양지, 휴양 코스, 휴양 스케줄 등을 추천할 수 있다.
이하 도 3a 내지 도 3b는 서버로 구현된 전자 장치(100)가 디스플레이 장치(200) 및/또는 사용자 단말(300)과 통신을 수행하여 상술한 과정(S210 내지 S240)을 진행하는 실시 예를 설명하기 위한 도면들이다.
도 3a는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 디스플레이 장치 및 사용자 단말과 연동하여 휴양 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 3a를 참조하면, 전자 장치(100)는 서버로 구현될 수 있으며, 적어도 하나의 애플리케이션 또는 웹 페이지를 통해 디스플레이 장치(200), 사용자 단말(300)와 직/간접적으로 연결될 수 있다.
디스플레이 장치(200)는 TV, PC, 키오스크 등으로 구현될 수 있으며, 사용자 단말(300)은 스마트폰, 태블릿 PC, 웨어러블 장치 등 사용자 개인의 휴대 가능한 단말 기기에 해당할 수 있다.
이 경우, 전자 장치(100)는 디스플레이 장치(200)를 통해 심리 분석을 위한 동영상을 제공할 수 있다(S210).
그리고, 사용자가 동영상을 시청하는 동안, 전자 장치(100)는 디스플레이 장치(200)에 구비된 카메라를 통해 사용자를 촬영할 수 있다(S220). 다만, 도 3a와 달리, 디스플레이 장치(200)와 별도로 구비되고 전자 장치(100)와 통신 가능한 적어도 하나의 카메라 장치가 활용될 수도 있다.
그리고, 전자 장치(100)는 촬영된 이미지를 분석하여 사용자의 심리 상태를 판단할 수 있다(S230). 이때, 전자 장치(100)는 판단된 심리 상태에 매칭되는 휴양 정보를 획득할 수 있고, 사용자 단말(300)을 통해 휴양 정보를 제공할 수 있다(S240).
도 3b는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 디스플레이 장치와 연동하여 휴양 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 3b를 참조하면, 도 3a와 달리, 전자 장치(100)는 휴양 정보를 제공하는 과정(S240) 역시 디스플레이 장치(200)를 통해 제공할 수도 있다.
이 경우, 디스플레이 장치(200)가 심리 분석을 위한 동영상을 제공한 이후 사용자에게 적합한 휴양 정보까지 제공한다는 특징이 있다.
한편, 도 3c는 본 개시의 일 실시 예에 따라 단말 장치로 구현된 전자 장치가 휴양 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 3c를 참조하면, 전자 장치(100)는 스마트폰으로 구현될 수 있으며, 이밖에 TV, 키오스크 등으로 구현될 수 있다. 도 3c와 같이 전자 장치(100)가 하나의 사용자 기기로 구현된 경우, 해당 기기 내에서 상술한 과정(S210 내지 S240)이 모두 진행된다는 점에서 특징이 있다.
이 경우, 별도의 서버를 이용하지 않기 때문에 전자 장치(100) 자체의 로드가 크다는 단점은 있지만, 서버 등 외부 전자 장치와의 통신 없이 각 과정을 수행한다는 점에서, 통신이 열악한 지역 내 휴양지에서도 활용될 수 있다는 장점이 있다.
한편, 도 4는 본 개시의 일 실시 예에 따른 전자 장치가 심리 상태를 판단하기 위해 활용하는 인공지능 모델(111)의 구성 및 동작을 설명하기 위한 도면이다.
인공지능 모델(111)은, 특징 정보에 따라 이미지 내 얼굴 영역을 검출하는 한편, 얼굴 영역의 표정과 관련된 특징 정보를 바탕으로 심리 상태를 판단하도록 구성될 수 있다.
도 4를 참조하면, 인공지능 모델(111)은 Separable Convolution 레이어 및 Convolution 레이어를 각각 독립적으로 활용하여 획득된 특징 맵을 병합한 이후 pooling을 수행할 수 있다.
한편, 상술한 S220 내지 S230 단계에 있어서, 전자 장치(100)는 다양한 방식에 따라 이미지를 획득하고 심리 상태를 식별할 수 있다.
일 실시 예로, 전자 장치(100)는 심리 분석을 위한 동영상이 제공되는 동안 일정 시간 간격에 따라 카메라를 통해 사용자의 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다.
이 경우, 전자 장치(100)는 복수의 이미지 각각을 분석하여 시간대 별 심리 상태를 식별할 수 있다. 이때, 전자 장치(100)는 시간대 별 심리 상태에 따라 가장 지배적인 심리 상태를 선택할 수 있다.
또한, 일 실시 예로, 심리 분석을 위한 동영상이 제공되는 동안, 전자 장치(100)는 동영상에 포함되는 각 장면이 제공될 때마다 카메라를 통해 사용자의 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다. 이를 위해, 전자 장치(100)에는 동영상 내 장면 전환 시점에 대한 정보가 기저장되어 있을 수 있다.
이 경우, 전자 장치(100)는 장면 별로 촬영된 복수의 이미지 각각을 분석하여 각 장면에 매칭되는 사용자의 심리 상태를 식별할 수 있다. 이때, 전자 장치(100)는 장면 별 심리 상태 중 가장 지배적인 심리 상태를 판단할 수 있다.
여기서, 각 장면에 매칭되는 사용자의 심리 상태를 기초로, 전자 장치(100)는 복수의 이미지 중 기설정된 감정 분류에 매칭되는 적어도 하나의 이미지를 선택할 수 있다.
기설정된 감정 분류는, 예를 들어, 기쁨, 행복, 편안함 등 긍정적인 감정에 해당할 수 있다.
구체적으로, 전자 장치(100)는 사용자의 심리 상태가 상술한 기설정된 감정 분류에 매칭되었던 시점을 식별하고, 복수의 이미지 중 식별된 시점에 제공되었던 이미지를 선택할 수 있다.
즉, 전자 장치(100)는 사용자의 긍정적인 감정을 유발한 동영상 내 이미지(: 장면 내 이미지)를 선택할 수 있다.
그리고, 전자 장치(100)는 선택된 이미지에 대한 유사도가 임계치 이상인 이미지를 포함하는 휴양 정보를 검색할 수 있다.
여기서, 유사도는, 이미지에 포함된 객체(ex. 나무, 산, 들판, 하늘, 호수, 바다, 동물 등), 이미지의 분위기, 이미지의 색감 등에 따라 정의될 수 있다.
일 예로, 전자 장치(100)는 이미지로부터 하나 이상의 특징 벡터를 추출하도록 훈련된 적어도 하나의 인공지능 모델을 활용할 수 있다. 이 경우, 전자 장치(100)는 선택된 이미지의 각 특징 벡터를, 다양한 휴양지의 휴양 정보에 포함된 이미지의 각 특징 벡터와 비교함으로써, 유사도를 산출할 수 있다.
여기서, 특징 벡터는, 이미지에 포함된 객체, 이미지의 분위기, 이미지의 색감 중 적어도 하나에 연관된 특징 정보에 해당할 수 있다. 이를 위해, 인공지능 모델(100)은 다양한 객체를 포함하는 이미지들, 다양한 분위기의 이미지들, 및/또는 다양한 색감을 가지는 이미지들을 통해 훈련될 수 있다.
상술한 바와 같이 유사도가 임계치 이상인 이미지를 포함하는 휴양 정보가 검색되면, 전자 장치(100)는 검색된 휴양 정보를 제공할 수 있다.
그 결과, 사용자 개개인에 대하여 긍정적인 감정을 유발할 가능성이 비교적 높은 맞춤형 휴양지/휴양코스가 추천될 수 있다는 효과가 있다.
한편, 일 실시 예로, 전자 장치(100)는 실시간 이용자 수가 비교적 적은 휴양지의 휴양 정보를 제공할 수 있다.
예를 들어, 사용자의 심리 상태에 매칭되는 휴양 정보가 제1 장소 및 제2 장소 각각에 부합하는 경우를 가정한다. 이 경우, 전자 장치(100)는 제1 장소 및 제2 장소 중 실시간 이용자 수가 더 적은 장소를 사용자에게 추천할 수 있다.
이를 위해, 전자 장치(100)는 각 휴양지의 실시간 이용자 수를 모니터링할 수 있다. 구체적으로, 전자 장치(100)는, 적어도 하나의 휴양지의 관리 시스템으로부터 실시간 이용자 수와 관련된 정보를 수신할 수 있다. 또는, 전자 장치(100)는 각 휴양지를 이용하는 사용자들의 사용자 단말을 통해 특정 휴양지를 방문함을 알리는 사용자 입력을 수신할 수 있다. 또는, 전자 장치(100)는 각 휴양지를 이용하는 사용자들의 사용자 단말의 위치 정보를 바탕으로 각 휴양지의 실시간 이용자 수를 모니터링할 수 있다.
또한, 전자 장치(100)는, 상술한 바와 같이 장소 추천(: 실시간 이용자 수가 더 적은 장소 추천)이 수행된 횟수에 기초하여, 제1 장소 및 제2 장소 중 적어도 하나의 실시간 이용자 수를 업데이트할 수도 있다.
예를 들어, 특정 사용자에게 제1 장소가 추천된 경우, 전자 장치(100)는 제1 장소의 실시간 이용자 수에 1을 더할 수 있다.
한편, 일 실시 예로, 휴양 정보에 따라 휴양지를 방문한 이후 사용자의 심리 상태에 따라, 전자 장치(100)는 상술한 심리-휴양 매칭 정보(112)를 업데이트할 수도 있다.
구체적으로, 상술한 도 2의 과정을 통해 사용자의 심리 상태에 적합한 휴양 정보가 제공된 이후, 전자 장치(100)는 사용자가 휴양 정보에 매칭되는 장소(휴양지)에 실제로 방문했는지 여부를 식별할 수 있다.
이 경우, 전자 장치(100)는 사용자의 위치 정보를 기반으로 방문 여부를 판단할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 사용자 단말로부터 위치 정보를 수신하여 휴양지에 대한 방문 여부를 판단할 수 있다.
사용자가 휴양 정보에 매칭되는 장소(휴양지)에 방문한 것으로 식별되는 경우, 전자 장치(100)는 적어도 하나의 디스플레이를 통해 심리 분석을 위한 제2 동영상을 제공할 수 있다.
이때, 제2 동영상은, 휴양지 방문 전의 심리 분석 과정에서 동영상을 제공했던 장치를 통해 제공될 수 있다.
또는, 휴양지 방문 전의 심리 분석 과정에서는 디스플레이 장치(ex. TV, 키오스크)를 통해 심리 분석을 위한 제1 동영상이 제공되었으나, 휴양지 방문 이후의 심리 분석 과정에서는 사용자의 사용자 단말(ex. 스마트폰)을 통해 심리 분석을 위한 제2 동영상이 제공되는 것도 가능하다. 휴양지 방문 이후의 사용자의 위치는 유동적일 수 있기 때문에 동영상이 제공되는 장치, 촬영을 수행하는 장치 등은 일정 위치에 고정된 특정 기기로 제한될 필요가 없다.
그리고, 전자 장치(100)는, 적어도 하나의 카메라를 통해 제2 동영상을 시청하는 사용자의 얼굴을 촬영하여 사용자의 제2 심리 상태(: 휴양지 방문 이후의 심리 상태)를 판단할 수 있다.
여기서, 전자 장치(100)는 휴양지 방문 전의 심리 상태 및 휴양지 방문 이후의 심리 상태(: 제2 심리 상태) 간의 차이를 기반으로, 판단된 심리 상태에 매칭되는 휴양 정보를 업데이트할 수 있다.
예를 들어, 휴양지 방문 전후의 사용자의 심리 상태(감정 분류, 감정 수치)가 달라지지 않거나 악화된 경우, 전자 장치(100)는 휴양지 방문 전의 심리 상태에 매칭되는 휴양 정보가 다른 휴양 정보로 변경되도록 심리-휴양 매칭 정보(112)를 업데이트할 수 있다.
일 예로, 휴양지 방문 전의 사용자의 심리 상태에 따른 감정 분류가 긍정적인 감정인 경우를 가정한다. 여기서, 휴양지 방문 이후 감정 분류가 부정적인 감정으로 변경되거나, 또는 감정 분류는 동일하되 감정 수치가 내려간 경우, 전자 장치(100)는 심리-휴양 매칭 정보(112)를 업데이트할 수 있다.
일 예로, 휴양지 방문 전의 사용자의 심리 상태에 따른 감정 분류가 부정적인 감정(ex. 슬픔, 두려움, 우울함, 무기력함 등)인 경우를 가정한다. 여기서, 휴양지 방문 이후 감정 분류가 다른 부정적인 감정(ex. 슬픔->무기력함)으로 변경되거나, 또는 감정 분류는 동일하되 감정 수치가 올라간 경우(ex. 슬픔 1단계 -> 슬픔 2단계), 전자 장치(100)는 심리-휴양 매칭 정보(112)를 업데이트할 수 있다.
이렇듯, 전자 장치(100)는 사용자의 심리 상태를 개선하는 데에 효과를 주지 못한 휴양 정보를 다른 휴양 정보로 변경하는 과정을 거침으로써, 심리-휴양 매칭 정보(112)를 꾸준히 자동으로 향상시킬 수 있다는 장점이 있다.
도 5는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에도 통신부(130), 출력부(140), 카메라(150), 사용자 입력부(160) 중 적어도 하나를 더 포함할 수 있다.
통신부(130)는 다양한 유무선 통신방식으로 적어도 하나의 외부 전자 장치와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.
통신부(130)는 다양한 네트워크를 통해 외부 장치들과 연결될 수 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
통신부(130)는 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등 다양한 무선 통신 방식을 통해 외부 장치들과 연결될 수 있다.
또한, 통신부(130)는 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 유선 통신 방식을 통해 외부 전자 장치와 연결될 수도 있다.
출력부(140)는 디스플레이, 스피커 등을 포함할 수 있다. 디스플레이는 영상을 출력하기 위한 구성으로, 평면 또는 곡면 형태로 구현될 수 있다.
카메라(150)는 사용자를 촬영하여 적어도 하나의 이미지를 생성하기 위한 구성이다. 카메라(110)는 적어도 하나의 이미지 센서를 포함할 수 있으며, RGB 카메라, TOF(Time of Flight) 카메라 등으로 구현될 수 있으나, 이에 한정되지 않는다.
사용자 입력부(160)는 사용자로부터 다양한 입력/명령을 수신하기 위한 구성이다. 사용자 입력부(160)는 마이크, 터치 스크린, 키패드, 버튼 등으로 구현될 수 있다.
예를 들어, 전자 장치(100)는 사용자 입력에 따라 심리 분석을 위한 동영상을 제공할 수 있으며, 사용자 입력에 따라 사용자의 심리 상태를 분석(이미지 촬영, 이미지 분석)하여 휴양 정보를 제공할 수도 있다.
한편, 서로 양립될 수 없는 것이 아닌 한 상술한 실시 예들 중 둘 이상이 결합되어 수행될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서

Claims (8)

  1. 전자 장치의 제어 방법에 있어서,
    적어도 하나의 디스플레이를 통해 심리 분석을 위한 동영상을 제공하는 단계;
    적어도 하나의 카메라를 통해 상기 동영상을 시청하는 사용자의 얼굴을 촬영하여, 상기 사용자의 얼굴이 포함된 이미지를 획득하는 단계;
    상기 획득된 이미지를 분석하여 상기 사용자의 심리 상태를 판단하는 단계; 및
    상기 판단된 심리 상태에 매칭되는 휴양 정보를 제공하는 단계;를 포함하고,
    상기 전자 장치의 제어 방법은,
    상기 판단된 심리 상태에 매칭되는 휴양 정보가 제1 장소 및 제2 장소 각각에 부합하는 경우, 상기 제1 장소 및 상기 제2 장소 중 실시간 이용자 수가 더 적은 장소를 추천하는 단계; 및
    상기 추천하는 단계에 따라 장소 추천이 수행된 횟수에 기초하여, 상기 제1 장소 및 상기 제2 장소 중 적어도 하나의 실시간 이용자 수를 업데이트하는 단계;를 포함하는, 전자 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 심리 상태를 판단하는 단계는,
    인간의 심리 상태를 판단하도록 훈련된 적어도 하나의 인공지능 모델에 상기 획득된 이미지를 입력하고,
    상기 인공지능 모델로부터 출력된 감정 분류 및 감정 수치를 획득하는, 전자 장치의 제어 방법.
  3. 제2항에 있어서,
    상기 인공지능 모델은,
    서로 다른 감정 분류에 해당하는 얼굴을 포함하는 복수의 훈련 이미지를 통해 훈련된 모델이고,
    상기 복수의 훈련 이미지 각각에 포함된 얼굴은,
    적어도 하나의 감정 분류가 수치화된 감정 수치의 여러 단계 중 하나의 단계에 해당하는, 전자 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 이미지를 획득하는 단계는,
    상기 동영상이 제공되는 동안, 일정 시간 간격에 따라 상기 카메라를 통해 상기 사용자의 얼굴을 촬영하여 복수의 이미지를 획득하고,
    상기 심리 상태를 판단하는 단계는,
    상기 복수의 이미지 각각을 분석하여 시간대 별 심리 상태를 식별하는, 전자 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 이미지를 획득하는 단계는,
    상기 동영상에 포함되는 각 장면이 제공될 때마다 상기 카메라를 통해 상기 사용자의 얼굴을 촬영하여 복수의 이미지를 획득하고,
    상기 심리 상태를 판단하는 단계는,
    상기 복수의 이미지 각각을 분석하여 각 장면에 매칭되는 상기 사용자의 심리 상태를 식별하는, 전자 장치의 제어 방법.
  6. 제5항에 있어서,
    상기 전자 장치의 제어 방법은,
    각 장면에 매칭되는 상기 사용자의 심리 상태를 기초로, 상기 복수의 이미지 중 기설정된 감정 분류에 매칭되는 적어도 하나의 이미지를 선택하는 단계;
    상기 선택된 이미지에 대한 유사도가 임계치 이상인 이미지를 포함하는 휴양 정보를 검색하는 단계; 및
    상기 검색된 휴양 정보를 제공하는 단계;를 포함하는, 전자 장치의 제어 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 휴양 정보가 제공된 이후, 상기 사용자의 위치 정보를 기반으로 상기 사용자가 상기 휴양 정보에 매칭되는 장소에 방문했는지 여부를 식별하는 단계;
    상기 사용자가 상기 휴양 정보에 매칭되는 장소에 방문한 것으로 식별되는 경우, 적어도 하나의 디스플레이를 통해 심리 분석을 위한 제2 동영상을 제공하는 단계;
    적어도 하나의 카메라를 통해, 상기 제2 동영상을 시청하는 상기 사용자의 얼굴을 촬영하여, 상기 사용자의 제2 심리 상태를 판단하는 단계; 및
    상기 판단된 심리 상태 및 상기 판단된 제2 심리 상태 간의 차이를 기반으로, 상기 판단된 심리 상태에 매칭되는 휴양 정보를 업데이트하는 단계;를 포함하는, 전자 장치의 제어 방법.
KR1020210173080A 2021-12-06 2021-12-06 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 KR102456155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210173080A KR102456155B1 (ko) 2021-12-06 2021-12-06 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210173080A KR102456155B1 (ko) 2021-12-06 2021-12-06 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR102456155B1 true KR102456155B1 (ko) 2022-11-03

Family

ID=84040888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173080A KR102456155B1 (ko) 2021-12-06 2021-12-06 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법

Country Status (1)

Country Link
KR (1) KR102456155B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030379A (ko) 2015-09-09 2017-03-17 네이버비즈니스플랫폼 주식회사 사용자 선호에 맞춘 여행 큐레이션 서비스 방법 및 시스템
KR20170075324A (ko) * 2015-12-23 2017-07-03 정병규 개인 생활 패턴 정보 기반의 심리 진단을 통한 심리 치유 콘텐츠 서비스 제공 시스템
KR20190092751A (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20200104716A (ko) * 2019-02-27 2020-09-04 김규리 컬러 테라피를 활용한 심리 상담 시스템 및 방법
KR20200111931A (ko) * 2019-03-20 2020-10-05 주식회사 성공팩토리 테라피 여행 서비스 제공 방법 및 테라피 여행 서버
KR102257427B1 (ko) * 2021-01-29 2021-06-01 전다정 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법
KR20210104352A (ko) * 2020-02-17 2021-08-25 숙명여자대학교산학협력단 대상 동영상에 대한 감정 분석 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030379A (ko) 2015-09-09 2017-03-17 네이버비즈니스플랫폼 주식회사 사용자 선호에 맞춘 여행 큐레이션 서비스 방법 및 시스템
KR20170075324A (ko) * 2015-12-23 2017-07-03 정병규 개인 생활 패턴 정보 기반의 심리 진단을 통한 심리 치유 콘텐츠 서비스 제공 시스템
KR20190092751A (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20200104716A (ko) * 2019-02-27 2020-09-04 김규리 컬러 테라피를 활용한 심리 상담 시스템 및 방법
KR20200111931A (ko) * 2019-03-20 2020-10-05 주식회사 성공팩토리 테라피 여행 서비스 제공 방법 및 테라피 여행 서버
KR20210104352A (ko) * 2020-02-17 2021-08-25 숙명여자대학교산학협력단 대상 동영상에 대한 감정 분석 방법 및 장치
KR102257427B1 (ko) * 2021-01-29 2021-06-01 전다정 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US20190026312A1 (en) Smart camera for sharing pictures automatically
US11482000B2 (en) Image processing apparatus and control method thereof
JP6431231B1 (ja) 撮像システム、学習装置、および撮像装置
US10318794B2 (en) Intelligent auto cropping of digital images
CN106255866B (zh) 通信系统、控制方法以及存储介质
US20130201344A1 (en) Smart camera for taking pictures automatically
US20130243273A1 (en) Image publishing device, image publishing method, image publishing system, and program
KR20160054392A (ko) 전자 장치 및 그 동작 방법
US20160180572A1 (en) Image creation apparatus, image creation method, and computer-readable storage medium
US20230353520A1 (en) Providing post-capture media overlays for post-capture processing in a messaging system
US9525841B2 (en) Imaging device for associating image data with shooting condition information
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
CN110674485A (zh) 针对数据捕获的动态控制
CN113906437A (zh) 所捕获图像的改善的面部质量
US20140233811A1 (en) Summarizing a photo album
JP2011090411A (ja) 画像処理装置、画像処理方法
JPWO2019193781A1 (ja) 感情推定装置、感情推定方法及びプログラム
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
US20160292535A1 (en) An emotion based power efficient self-portrait mechanism
CN103353879B (zh) 图像处理方法及设备
KR102456155B1 (ko) 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법
KR102280720B1 (ko) 지하철 역사 체험관을 활용한 개인 맞춤형 힐링 체험 서비스 방법 및 그 시스템
US20200236295A1 (en) Imaging apparatus
CN106537417B (zh) 总结相册
CN112580750A (zh) 图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant