KR101894194B1 - 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 - Google Patents
감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 Download PDFInfo
- Publication number
- KR101894194B1 KR101894194B1 KR1020170106490A KR20170106490A KR101894194B1 KR 101894194 B1 KR101894194 B1 KR 101894194B1 KR 1020170106490 A KR1020170106490 A KR 1020170106490A KR 20170106490 A KR20170106490 A KR 20170106490A KR 101894194 B1 KR101894194 B1 KR 101894194B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- state
- emotion
- image
- estimating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000036651 mood Effects 0.000 claims abstract description 7
- 230000008451 emotion Effects 0.000 claims description 149
- 230000002996 emotional effect Effects 0.000 claims description 60
- 238000007726 management method Methods 0.000 claims description 46
- 230000000694 effects Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000006855 networking Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000003001 depressive effect Effects 0.000 claims 2
- 230000035945 sensitivity Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000000994 depressogenic effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012358 sourcing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Social Psychology (AREA)
- Surgery (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Hospice & Palliative Care (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
Abstract
감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 감성 기반의 사용자 관리 방법은 감성값이 태깅된 영상에 대한 학습 데이터, 감성 사전(sentiment lexicon), 및 사용자가 생성한 콘텐츠에 기초하여 상기 사용자의 감성 상태(mood state)를 추정하는 단계와, 상기 감성 상태에 기초하여 상기 사용자의 상태를 결정함으로써 상기 사용자를 관리하는 단계를 포함한다.
Description
아래 실시예들은 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들에 관한 것이다.
사용자의 감성은 음성 뿐만아니라 다양한 콘텐츠를 통해 표현된다. 사용자의 감성 정보는 다양한 방법으로 얻을 수 있다. 예를 들어, 사용자 감성 정보는 다양한 어플리케이션에 따라 획득 방식이 달라진다.
감성 인식 기술은 인간, 및 인간이 생활하는 환경으로부터 획득한 복잡한 신호를 통해 인간의 기본적인 감성을 추출하고, 인간의 감성에 지적으로 대응할 수 있는 능력을 부여할 수 있다.
최근에는 휴먼 인터페이스 기술 분야에서 감성 인식 기술이 활용되고 있다.
실시예들은 영상 뿐만 아니라 텍스트의 품사, 문장의 구조, 및 형태와 이모티콘에 대한 감성 추정을 통해 성능이 향상된 콘텐츠 분석 기술을 제공할 수 있다.
또한, 실시예들은 사용자에게 사용자의 상태에 대한 정보를 제공함으로써 사용자가 사용자의 상태를 모니터링하게 할 수 있는 기술을 제공할 수 있다.
또한, 실시예들은 콘텐츠를 생성한 사용자에게 맞춤형 사용자 관리를 제공함으로써 우울증 진단 및 관리할 수 있는 기술을 제공할 수 있다.
일 실시예에 따른 감성 기반의 사용자 관리 방법은 감성값이 태깅된 영상에 대한 학습 데이터, 감성 사전(sentiment lexicon), 및 사용자가 생성한 콘텐츠에 기초하여 상기 사용자의 감성 상태(mood state)를 추정하는 단계와, 상기 감성 상태에 기초하여 상기 사용자의 상태를 결정함으로써 상기 사용자를 관리하는 단계를 포함한다.
상기 콘텐츠는 상기 사용자의 영상, 텍스트 및 이모티콘 중에서 적어도 하나를 포함할 수 있다.
상기 추정하는 단계는 상기 학습 데이터를 이용하여 상기 영상에 대응하는 제1 감성 상태를 추정하는 단계와, 상기 감성 사전을 이용하여 상기 텍스트, 및 상기 이모티콘에 대응하는 제2 감성 상태를 추정하는 단계와, 상기 제1 감성 상태, 및 상기 제2 감성 상태를 통합함으로써 상기 사용자의 감성 상태에 대응하는 통합 감성 상태를 생성하는 단계를 포함할 수 있다.
상기 제1 감성 상태를 추정하는 단계는 임의의 영상에 대한 감성값에 기초하여 상기 학습 데이터를 생성하는 단계와, 상기 딥 러닝(deep learning) 및 상기 PLSA 러닝(probabilistic latent semantic analysis learning) 중에서 어느 하나를 이용하여 상기 영상에 대한 감성의 특징과 상기 학습 데이터의 상관 관계를 분석함으로써 상기 제1 감성 상태를 추정하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 임의의 영상을 획득하는 단계와, 임의의 사용자의 응답에 기초하여 특정 감성에 대한 상기 임의의 영상의 승패를 결정하는 단계와, 상기 결정 결과에 기초하여 상기 임의의 영상에 대한 감성값을 결정하는 단계와, 상기 감성값을 정규화하여 정규화된 감성값을 상기 임의의 영상에 태깅함으로써 상기 학습 데이터를 생성하는 단계를 포함할 수 있다.
상기 제2 감성 상태를 추정하는 단계는 임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 임의의 이모티콘에 대한 감성의 특징에 기초하여 상기 감성 사전을 생성하는 단계와, 상기 감성 사전을 이용하여 상기 텍스트에 대한 감성의 특징, 및 상기 이모티콘에 대한 감성의 특징을 분석함으로써 상기 제2 감성 상태를 추정하는 단계를 포함할 수 있다.
상기 관리하는 단계는 상기 통합 감성 상태, 및 상기 사용자의 SNS 활동(social networking service activity) 성향에 기초하여 상기 사용자의 상태를 결정하는 단계와, 상기 사용자의 상태에 기초하여 상기 사용자의 상태에 대응하는 그룹에 상기 사용자를 분류하는 단계와, 상기 사용자에 대한 정보를 제공하여 상기 사용자를 관리하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 통합 감성 상태에 기초하여 상기 사용자의 제1 상태를 결정하는 단계와, 상기 SNS 활동 성향에 기초하여 상기 사용자의 제2 상태를 결정하는 단계와, 상기 제1 상태, 및 상기 제2 상태를 통합하여 상기 사용자의 상태를 결정하는 단계를 포함할 수 있다.
상기 제1 상태를 결정하는 단계는 상기 통합 감성 상태를 모니터링하는 단계와, 상기 모니터링 결과에 기초하여 상기 통합 감성 상태에 대한 통계값을 계산함으로써 상기 사용자의 제1 상태를 결정하는 단계를 포함할 수 있다.
상기 그룹은 정상 그룹, 및 우울증 그룹 중에서 어느 하나일 수 있다.
상기 정보는 상기 사용자의 감성 상태에 대한 그래프, 및 상기 그룹의 특징값 중에서 적어도 하나를 포함할 수 있다.
상기 그룹의 특징값은 상기 그룹에서 자주 사용되는 단어, 문장, 및 영상의 색 중에서 적어도 하나를 포함할 수 있다.
일 실시예에 따른 감성 기반의 사용자 관리 장치는 사용자가 생성한 콘텐츠를 수신하는 송수신부와, 감성값이 태깅된 영상에 대한 학습 데이터, 감성 사전(sentiment lexicon), 및 상기 콘텐츠에 기초하여 상기 사용자의 감성 상태(mood state)를 추정하고, 상기 감성 상태에 기초하여 상기 사용자의 상태를 결정함으로써 상기 사용자를 관리하는 컨트롤러를 포함한다.
상기 콘텐츠는 상기 사용자의 영상, 텍스트 및 이모티콘 중에서 적어도 하나를 포함할 수 있다.
상기 컨트롤러는 상기 학습 데이터를 이용하여 상기 영상에 대응하는 제1 감성 상태를 추정하고, 상기 감성 사전을 이용하여 상기 텍스트, 및 상기 이모티콘에 대응하는 제2 감성 상태를 추정하고, 상기 제1 감성 상태, 및 상기 제2 감성 상태를 통합함으로써 통합 감성 상태를 생성하는 추정부를 포함할 수 있다.
상기 추정부는 임의의 영상에 대한 감성값에 기초하여 상기 학습 데이터를 생성하고, 상기 딥 러닝(deep learning) 및 상기 PLSA 러닝(probabilistic latent semantic analysis learning) 중에서 어느 하나를 이용하여 상기 영상에 대한 감성의 특징과 상기 학습 데이터의 상관 관계를 분석함으로써 상기 제1 감성 상태를 추정할 수 있다.
상기 추정부는 상기 임의의 영상을 획득하고, 임의의 사용자의 응답에 기초하여 특정 감성에 대한 상기 임의의 영상의 승패를 결정하고, 상기 결정 결과에 기초하여 상기 임의의 영상에 대한 감성값을 결정하고, 상기 감성값을 정규화하여 정규화된 감성값을 상기 임의의 영상에 태깅함으로써 상기 학습 데이터를 생성할 수 있다.
상기 추정부는 임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 임의의 이모티콘에 대한 감성의 특징에 기초하여 상기 감성 사전을 생성하고, 상기 감성 사전을 이용하여 상기 텍스트에 대한 감성의 특징, 및 상기 이모티콘에 대한 감성의 특징을 분석함으로써 상기 제2 감성 상태를 추정할 수 있다.
상기 컨트롤러는 상기 통합 감성 상태, 및 상기 사용자의 SNS 활동(social networking service activity) 성향에 기초하여 상기 사용자의 상태를 결정하는 결정부와, 상기 사용자의 상태에 기초하여 상기 사용자의 상태에 대응하는 그룹에 상기 사용자를 분류하고, 상기 사용자에 대한 정보를 제공하여 상기 사용자를 관리하는 관리부를 포함할 수 있다.
상기 결정부는 상기 통합 감성 상태에 기초하여 상기 사용자의 제1 상태를 결정하고, 상기 SNS 활동 성향에 기초하여 상기 사용자의 제2 상태를 결정하고, 상기 제1 상태, 및 상기 제2 상태를 통합하여 상기 사용자의 상태를 결정할 수 있다.
상기 결정부는 상기 통합 감성 상태를 모니터링하고, 상기 모니터링 결과에 기초하여 상기 통합 감성 상태에 대한 통계값을 계산함으로써 상기 사용자의 제1 상태를 결정할 수 있다.
상기 그룹은 정상 그룹, 및 우울증 그룹 중에서 어느 하나일 수 있다.
상기 정보는 상기 사용자의 감성 상태에 대한 그래프, 및 상기 그룹의 특징값 중에서 적어도 하나를 포함할 수 있다.
상기 그룹의 특징값은 상기 그룹에서 자주 사용되는 단어, 문장, 및 영상의 색 중에서 적어도 하나를 포함할 수 있다.
도 1은 일 실시예에 따른 사용자 관리 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 사용자 관리 장치의 개략적인 블록도를 나타낸다.
도 3은 학습 데이터를 설명하기 위한 일 예를 나타낸다.
도 4는 학습 데이터의 상관 관계를 설명하기 위한 일 예를 나타낸다.
도 5는 통합 감성 상태를 설명하기 위한 일 예를 나타낸다.
도 6a 및 도 6b는 사용자의 감성 상태에 대한 그래프를 설명하기 위한 일 예를 나타낸다.
도 7은 도 1에 도시된 사용자 관리 장치의 동작을 설명하기 위한 순서도를 나타낸다.
도 2는 도 1에 도시된 사용자 관리 장치의 개략적인 블록도를 나타낸다.
도 3은 학습 데이터를 설명하기 위한 일 예를 나타낸다.
도 4는 학습 데이터의 상관 관계를 설명하기 위한 일 예를 나타낸다.
도 5는 통합 감성 상태를 설명하기 위한 일 예를 나타낸다.
도 6a 및 도 6b는 사용자의 감성 상태에 대한 그래프를 설명하기 위한 일 예를 나타낸다.
도 7은 도 1에 도시된 사용자 관리 장치의 동작을 설명하기 위한 순서도를 나타낸다.
본 명세서에서 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에서 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 며에서에서, “포함하다” 또는 “가지다” 등의 용어를 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 사용자 관리 시스템의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 사용자 관리 시스템(a user managing system; 10)은 사용자 장치(a user device; 100), 사용자 관리 장치(a user managing apparatus; 200), 및 콘텐츠 저장소(a content storage; 300)를 포함한다.
사용자 장치(100)는 전자 장치로 구현될 수 있다. 예를 들어, 전자 장치는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치로 구현될 수 있다.
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
사용자 장치(100)는 사용자 관리 장치(200), 및 콘텐츠 저장소(300) 중에서 적어도 하나와 통신을 수행할 수 있다.
예를 들어, 사용자 장치(100)는 인터넷 통신망, 인트라넷, 근거리 통신망(LAN), 무선 LAN, Wi-Fi, LF, Xbee, Zigbee, Blue-Tooth 및 Beacon 등 다양한 기반으로 사용자 관리 장치(200), 및 콘텐츠 저장소(300) 중에서 적어도 하나와 통신을 수행할 수 있다.
사용자 장치(100)는 사용자 응답에 기초하여 사용자가 생성한 콘텐츠를 사용자 관리 장치(200), 및 콘텐츠 저장소(300) 중에서 적어도 하나에 전송할 수 있다. 예를 들어, 사용자 장치(100)는 사용자가 생성한 콘텐츠의 등록 및 관리를 위한 어플리케이션 프로그램(APP)이 설치되어 사용자 관리 장치(200) 및 콘텐츠 저장소(300)와 연동할 수 있다. 어플리케이션 프로그램(APP)은 SNS(social networking service)에 연관된 프로그램일 수 있다.
사용자 장치(100)는 사용자 관리 장치(200), 및 콘텐츠 저장소(300) 중에서 어느 하나로부터 사용자의 상태에 대한 정보를 제공받아 시각화할 수 있다. 예를 들어, 사용자 장치(100)는 어플리케이션 프로그램(APP)을 통해 사용자가 사용자에 대한 상태를 모니터링하게 하기 위해 사용자 관리 장치(200)가 전송한 사용자에 대한 정보를 시각화할 수 있다.
사용자 관리 장치(200)는 사용자가 생성한 콘텐츠를 통해 사용자의 감성 상태를 추정(또는 인식)하여 사용자의 상태를 결정함으로써 사용자의 상태에 따른 맞춤형 사용자 관리를 제공할 수 있다. 사용자 관리 장치(200)는 감성 기반의 사용자 관리 장치일 수 있다.
예를 들어, 사용자 관리 장치(200)는 사용자의 영상, 텍스트, 및 이모티콘을 지속적으로 모니터링하여 사용자가 생성한 콘텐츠에 대한 사용자의 감성 상태를 추정(또는 인식)함으로써 사용자의 상태를 결정할 수 있다. 이때, 사용자 관리 장치(200)는 사용자의 영상에 대한 감성의 특징과 사용자의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징을 통해 사용자의 감성 상태를 추정할 수 있다.
이에, 사용자 관리 장치(200)는 사용자의 상태에 따라 사용자를 분류하고, 사용자의 상태에 대한 정보를 제공함으로써 콘텐츠를 생성한 사용자에 대한 맞춤형 사용자 관리를 제공할 수 있다.
즉, 사용자 관리 장치(200)는 영상 뿐만 아니라 텍스트의 품사, 문장의 구조, 및 형태와 이모티콘에 대한 감성 추정을 통해 성능이 향상된 콘텐츠 분석 기술을 제공할 수 있다. 예를 들어, 향상된 콘텐츠 분석 기술은 특정 정치인에 대한 선호도 조사, 특정 이슈에 대한 여론 조사, 특정 상품에 대한 상품평, 및 선호도 조사에 사용될 수 있다.
또한, 사용자 관리 장치(200)는 사용자에게 사용자의 상태에 대한 정보를 제공함으로써 사용자가 사용자의 상태를 모니터링하게 할 수 있다.
또한, 사용자 관리 장치(200)는 콘텐츠를 생성한 사용자에게 맞춤형 사용자 관리를 제공함으로써 우울증 진단 및 관리할 수 있다.
콘텐츠 저장소(300)는 다양한 콘텐츠를 저장할 수 있다. 예를 들어, 콘텐츠 저장소(300)는 사용자가 생성한 콘텐츠, 임의의 사용자가 생성한 콘텐츠, 및 사용자 관리 장치(200)가 전송한 정보를 저장할 수 있다.
콘텐츠 저장소(300)는 데이터 베이스(data base; 310), SNS 서버(social network service server; 330) 및 인터넷(internet; 350)을 포함할 수 있다.
설명의 편의를 위해서 콘텐츠 저장소(300)가 데이터 베이스(310), SNS 서버(330) 및 인터넷(350)을 포함하고 있지만, 이에 한정되는 것은 아니다. 예를 들어, 콘텐츠 저장소(300)는 사용자 관리 장치(200)가 획득하는 다양한 콘텐츠가 저장된 다양한 저장소를 포함할 수 있다.
도 2는 도 1에 도시된 사용자 관리 장치의 개략적인 블록도를 나타내고, 도 3은 학습 데이터를 설명하기 위한 일 예를 나타내고, 도 4는 학습 데이터의 상관 관계를 설명하기 위한 일 예를 나타내고, 도 5는 통합 감성 상태를 설명하기 위한 일 예를 나타내고, 도 6a 및 도 6b는 사용자의 감성 상태에 대한 그래프를 설명하기 위한 일 예를 나타낸다.
도 2 내지 도 6b를 참조하면, 사용자 관리 장치(200)는 송수신기(transceiver; 210) 및 컨트롤러(controller; 230)를 포함한다.
송수신기(210)는 사용자 장치(100), 및 콘텐츠 저장소(300)로부터 전송된 신호(또는 데이터)를 수신하고, 수신된 신호(또는 데이터)를 컨트롤러(230)에 전송할 수 있다. 예를 들어, 신호는 사용자가 생성한 콘텐츠, 및 임의의 사용자가 생성한 콘텐츠일 수 있다. 사용자가 생성한 콘텐츠는 사용자의 영상, 텍스트 및 이모티콘 중에서 적어도 하나일 수 있다. 임의의 사용자가 생성한 콘텐츠는 임의의 사용자의 영상, 텍스트 및 이모티콘 중에서 적어도 하나일 수 있다.
송수신기(210)는 컨트롤러(230)로부터 전송된 신호(또는 데이터)를 사용자 장치(100), 및 콘텐츠 저장소(300) 중에서 적어도 하나에 전송할 수 있다.
컨트롤러(230)는 사용자 관리 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(230)는 송수신기(210)의 동작을 제어할 수 있다.
컨트롤러(230)는 감성값이 태깅된 영상에 대한 학습 데이터, 감성 사전(sentiment lexicon), 및 사용자가 생성한 콘텐츠에 기초하여 사용자의 감성 상태(mood state)를 추정(또는 인식)할 수 있다.
컨트롤러(230)는 감성 상태에 기초하여 사용자의 상태를 결정함으로써 사용자를 관리할 수 있다.
컨트롤러(230)는 추정부(a estimator; 231), 결정부(a determiner; 233), 및 관리부(a manager; 237)를 포함한다.
추정부(231)는 학습 데이터를 이용하여 사용자의 영상에 대응하는 제1 감성 상태를 추정하고(또는 인식하고), 감성 사전을 이용하여 사용자의 텍스트, 및 이모티콘에 대응하는 제2 감성 상태를 추정하고(또는 인식하고), 제1 감성 상태, 및 제2 감성 상태를 통합함으로써 통합 감성 상태를 생성할 수 있다.
제1 감성 상태를 추정(또는 인식)하기 위해서, 추정부(231)는 임의의 영상에 대한 감성값에 기초하여 학습 데이터를 생성할 수 있다. 임의의 영상은 임의의 사용자의 영상일 수 있다.
학습 데이터를 생성하기 위해서, 추정부(231)는 임의의 영상을 획득하고, 임의의 사용자의 응답에 기초하여 특정 감성에 대한 임의의 영상의 승패를 결정할 수 있다. 이때, 추정부(231)는 크라우드 소싱(crowd sourcing), 페어 와이즈 경쟁(pair-wise competition)기반의 온라인 등급 게임(online rating game)을 이용하여 임의의 영상의 승패를 결정할 수 있다.
먼저, 추정부(231)는 크라우드 소싱, 및 페어 와이즈 경쟁 기반의 온라인 등급 게임을 이용하여 임의의 사용자에게 임의의 영상을 제공하여 임의의 사용자가 임의의 영상을 선택하게 할 수 있다. 임의의 영상은 서로 다르게 무작위로 선정된 두 개의 영상들일 수 있다. 선택된 임의의 영상은 특정 감성에 더 높은 연관성이 있을 수 있다. 추정부(231)는 임의의 영상의 쌍을 100번 반복하여 진행할 수 있다.
이후에, 추정부(231)는 선택 결과에 기초하여 임의의 영상의 승패를 결정 및 추정(또는 인식)할 수 있다. 예를 들어, 추정부(231)는 선택된 임의의 영상을 승으로 결정할 수 있다. 추정부(231)는 결정된 승패에 기초하여 임의의 영상의 승패를 추정(또는 인식)할 수 있다. 추정부(231)는 영상 A와 영상 B의 승패, 및 영상 B와 영상 C의 승패에 기초하여 영상 A와 영상 C의 승패를 추정(또는 인식)할 수 있다. 영상 A, 영상 B, 및 영상 C는 서로 다른 임의의 영상일 수 있다.
추정부(231)는 결정 결과에 기초하여 임의의 영상에 대한 감성값을 결정할 수 있다. 예를 들어, 추정부(231)는 비주얼-링크 분석(visual link analysis), 삼단 논법, 및 페이지 랭크(page-rank)를 이용하여 임의의 영상에 대한 감성값을 결정할 수 있다. 감성값은 그라운드 트루스(ground truth)값일 수 있다.
먼저, 추정부(231)는 비주얼-링크 분석을 이용하여 결정 결과에 따른 비주얼 링크 그래프(visual-link graph)를 생성할 수 있다. 예를 들어, 추정부(231)는 승수가 많은 임의의 영상을 비주얼 링크 그래프의 헤드(head)에 배치할 수 있다. 추정부(231)는 패수가 많은 임의의 영상을 비주얼 링크 그래프의 테일(tail)에 배치할 수 있다.
이후에, 추정부(231)는 비주얼 링크 그래프를 이용하여 임의의 영상에 대한 랭킹을 결정할 수 있다. 예를 들어, 추정부(231)는 페이지 랭크를 이용하여 비주얼 링크 그래프의 헤드에 배치된 임의의 영상에 대한 랭킹을 높게 결정할 수 있다. 추정부(231)는 삼단 논법을 이용하여 도 3의 알고리즘과 같이 추정 행렬(inferred matrix)을 생성하고, 임의의 영상에 대한 랭킹을 결정할 수 있다. 추정부(231)는 임의의 영상에 대한 랭킹에 따라 임의의 영상의 감성값을 결정할 수 있다.
추정부(231)는 임의의 영상에 대한 감성값을 정규화하여 정규화된 감성값을 임의의 영상에 태깅함으로써 학습 데이터를 생성할 수 있다. 예를 들어, 추정부(231)는 도 3의 알고리즘을 이용하여 학습 데이터를 생성할 수 있다. 정규화된 감성값은 -1 내지 1 사이의 값일 수 있다. 1에 가까운 값은 승자 영상에 해당되며 -1에 가까운 값은 패자 영상에 해당될 수 있다.
추정부(231)는 딥 러닝(deep learning) 및 PLSA 러닝(probabilistic latent semantic analysis learning) 중에서 어느 하나를 이용하여 사용자의 영상에 대한 감성의 특징과 학습 데이터의 상관 관계를 비교함으로써 제1 감성 상태를 추정(또는 인식)할 수 있다.
PLSA 러닝을 이용하는 경우, 추정부(231)는 EM(expectation-maximization) 알고리즘을 통해 도 4의 GRAPH1과 같은 학습 데이터의 상관 관계를 생성할 수 있다. 예를 들어, GRAPH1은 1170개의 컬러 조합과 특정 감성의 상관 관계를 나타낸 그래프일 수 있다. 컬러 조합과 특정 감성의 상관 관계가 높은 경우, GRAPH1은 흰색에 가까울 수 있다. 특정 감성은 귀여움(pretty), 화려함(colorful), 다이나믹(dynamic), 멋짐(gorgeous), 사나움(wild), 로맨틱(romantic), 내추럴(natural), 우아함(graceful), 조용함(quiet), 고전적임(classic), 댄디(dandy), 당당함(majestic), 차분함(cool), 순수함(pure), 및 모던함(modern) 중에서 적어도 하나일 수 있다.
추정부(231)는 사용자의 영상에 대한 비주얼 특징(visual feature)을 추출하여 학습 데이터의 상관 관계를 비교함으로써 제1 감성 상태를 추정(또는 인식)할 수 있다. 예를 들어, 비주얼 특징은 컬러 조합(color compositions), 및 SIFT(scale invariant feature transform) 기반의 형태 정보 중에서 적어도 하나일 수 있다.
추정부(231)는 수학식 1을 이용하여 제1 감성 상태를 추정(또는 인식)할 수 있다.
여기서, 
는 i번째 사용자의 영상에 j번째 감성이 추정(또는 인식)될 결합 확률이고, 
는 i번째 사용자의 영상이 입력될 확률이고, 
는 i번째 사용자의 영상에 j번째 감성이 있을 조건부 확률이고, 
는 사용자의 영상으로부터 추출이 가능한 k번째 비주얼 특징이고, 
는 k번째 비주얼 특징이 j번째 감성에 매핑될 확률이고, 
는 i번째 사용자의 영상에 k번째 비주얼 특징이 나타날 확률을 의미한다.
제2 감성 상태를 추정(또는 인식)하기 위해서, 추정부(231)는 임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 임의의 이모티콘에 대한 감성의 특징에 기초하여 감성 사전을 생성할 수 있다. 임의의 텍스트, 및 임의의 이모티콘은 임의의 사용자의 텍스트, 및 이모티콘일 수 있다.
예를 들어, 추정부(231)는 영상 감성 온톨로지(visual sentiment ontology; VSO), sentistrength, 및 위키피디아(wikipedia)를 이용하여 감성 사전을 생성할 수 있다. 추정부(231)는 서포트 벡터 머신(support vector machine; SVM)을 이용하여 감성 사전을 학습할 수 있다. 학습된 감성 사전은 의문(interrogative), 부정(negative), 감탄(exclamation), 구두점(punctuation), 형용사(adjectives), 명사(nouns), 동사(verbs), 및 부사(adverbs)에 포함된 감성 어휘 기반의 특징과 임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징에 대한 상관 관계가 학습된 감성 사전일 수 있다.
추정부(231)는 감성 사전을 이용하여 사용자의 텍스트에 대한 감성의 특징, 및 이모티콘에 대한 감성의 특징을 분석함으로써 제2 감성 상태를 추정(또는 인식)할 수 있다. 예를 들어, 추정부(231)는 문장 단위로 구분된 사용자의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 사용자의 이모티콘에 대한 감성의 특징을 추출할 수 있다. 추정부(231)는 추출된 감성의 특징과 감성 사전을 비교 분석하여 제2 감성 상태를 추정(또는 인식)할 수 있다.
제1 감성 상태, 및 제2 감성 상태를 통합하기 위해서, 추정부(231)는 하모닉 분석 기술을 이용하여 제1 감성 상태, 및 제2 감성 상태에 대한 가중치를 부여할 수 있다. 예를 들어, 추정부(231)는 제1 감성 상태에 대한 가중치를 제2 감성 상태에 대한 가중치보다 높게 부여할 수 있다. 하모닉 분석(harmonic analysis) 기술은 규칙 기반의 애그리게이션(rule-based aggregation), 및 학습 기반의 애그리게이션 기술 중에서 적어도 하나일 수 있다. 제1 감성 상태, 및 제2 감성 상태의 최적의 가중치는 실험을 통해 부여할 수 있다.
결정부(233)는 통합 감성 상태, 및 사용자의 SNS 활동(social networking service activity) 성향에 기초하여 사용자의 상태를 결정할 수 있다.
예를 들어, 결정부(233)는 통합 감성 상태에 기초하여 사용자의 제1 상태를 결정하고, SNS 활동 성향에 기초하여 사용자의 제2 상태를 결정하고, 제1 상태, 및 제2 상태를 통합하여 사용자의 상태를 결정할 수 있다. 사용자의 상태는 부정적인 상태, 긍정적인 상태, 및 정상적인 상태 중에서 어느 하나일 수 있다.
제1 상태를 결정하기 위해서, 결정부(233)는 통합 감성 상태를 모니터링할 수 있다. 예를 들어, 결정부(233)는 일정 기간 동안 사용자의 영상, 텍스트, 및 이모티콘에 대한 통합 감성 상태를 모니터링 할 수 있다. 일정 기간은 하루, 일주일, 및 한달 등의 다양한 기간일 수 있다.
결정부(233)는 모니터링 결과에 기초하여 통합 감성 상태에 대한 통계값을 계산함으로써 사용자의 제1 상태를 결정할 수 있다. 예를 들어, 결정부(233)는 도 5와 같은 알고리즘을 이용하여 통합 감성 상태에 대한 통계값을 계산할 수 있다.
제2 상태를 결정하기 위해서, 결정부(233)는 사용자가 생성한 콘텐츠에 연관된 정보를 통해 사용자의 SNS 활동 성향, 및 사용자의 포스팅 습관 중에서 어느 하나를 추출할 수 있다. 정보는 콘텐츠 용량(volume), 콘텐츠 길이(total), 콘텐츠 단어수(words), SNS에서의 친구(social engagement), 및 콘텐츠 업로드 타임(tweeting time) 중에서 적어도 하나를 포함할 수 있다.
결정부(233)는 추출된 사용자의 SNS 활동 성향, 및 사용자의 포스팅 습관 중에서 어느 하나에 기초하여 사용자의 제2 상태를 결정할 수 있다.
관리부(235)는 사용자의 상태에 기초하여 사용자의 상태에 대응하는 그룹에 사용자를 분류하고, 사용자에 대한 정보를 제공하여 사용자를 관리할 수 있다.
예를 들어, 관리부(235)는 베이지안(Bayesian), 클러스트링(clustering), 및 합성곱 신경망(convolutional neural network; CNN)을 이용하여 사용자의 상태에 대응하는 그룹에 사용자를 분류할 수 있다. 그룹은 정상 그룹, 및 우울증 그룹 중에서 어느 하나일 수 있다. 정상 그룹은 정상적인 상태, 및 긍정적인 상태인 사용자가 분류된 그룹일 수 있다. 우울증 그룹은 부정적인 상태인 사용자가 분류된 그룹일 수 있다.
관리부(235)는 사용자에 대한 정보를 사용자 장치(100), 및 콘텐츠 저장소(300)에 제공하여 사용자를 관리할 수 있다. 예를 들어, 관리부(235)는 우울증 그룹에 분류된 사용자에 대한 정보를 사용자 장치(100), 및 콘텐츠 저장소(300)에 제공하여 부정적인 상태인 사용자를 관리할 수 있다.
예를 들어, 정보는 사용자의 감성 상태에 대한 그래프, 및 그룹의 특징값 중에서 적어도 하나를 포함할 수 있다. 사용자의 감성 상태에 대한 그래프는 도 5a, 및 도 5b와 같을 수 있다. 도 6a의 GRAPH2, GRAPH3, 및 GRAPH4는 우울증 그룹에 분류된 사용자의 감성 상태에 대한 그래프일 수 있다. 도 6b의 GRAPH5, GRAPH6, 및 GRAPH7은 정상 그룹에 분류된 사용자의 감성 상태에 대한 그래프일 수 있다. 도 6a, 및 도 6b의 X축은 날짜이고, Y축은 감성값일 수 있다. 그룹의 특징값은 그룹에서 자주 사용되는 단어, 문장, 및 영상의 색 중에서 적어도 하나를 포함할 수 있다.
도 7은 도 1에 도시된 사용자 관리 장치의 동작을 설명하기 위한 순서도를 나타낸다.
도 7을 참조하면, 송수신부(210)는 사용자가 생성한 콘텐츠를 사용자 장치(100), 및 콘텐츠 저장소(300)로부터 수신할 수 있다(S710).
추정부(231)는 감성값이 태깅된 영상에 대한 학습 데이터, 감성 사전, 및 사용자가 생성한 콘텐츠에 기초하여 사용자의 제1 감성 상태, 제2 감성 상태, 및 통합 감성 상태를 추정 및 생성할 수 있다(S730).
예를 들어, 추정부(231)는 학습 데이터, 및 사용자의 영상에 기초하여 사용자의 제1 감성 상태를 추정할 수 있다. 추정부(231)는 감성 사전, 및 사용자의 텍스트, 및 이모티콘에 기초하여 사용자의 제2 감성 상태를 추정할 수 있다. 추정부(231)는 제1 감성 상태, 및 제2 감성 상태를 통합하여 통합 감성 상태를 생성할 수 있다.
결정부(233)는 통합 감성 상태, 사용자의 SNS 활동 성향, 및 사용자의 포스팅 습관에 기초하여 사용자의 상태를 결정할 수 있다(S750).
예를 들어, 결정부(233)는 통합 감성 상태의 통계값에 기초하여 사용자의 제1 상태를 결정할 수 있다. 결정부(233)는 사용자가 생성한 콘텐츠에 연관된 정보로부터 추출된 사용자의 SNS 활동 성향, 및 사용자의 포스팅 습관에 기초하여 사용자의 제2 상태를 결정할 수 있다. 결정부(233)는 제1 상태, 및 제2 상태를 통합하여 사용자의 상태를 결정할 수 있다.
관리부(233)는 사용자의 상태에 기초하여 사용자의 상태에 대응하는 그룹에 사용자를 분류하고, 사용자에 대한 정보를 사용자 장치(100), 및 콘텐츠 저장소(300)에 제공하여 사용자를 관리할 수 있다(S770).
예를 들어, 관리부(233)는 부정적인 상태인 사용자를 우울증 그룹에 분류하고, 부정적인 상태인 사용자의 정보를 사용자 장치(100), 및 콘텐츠 저장소(300)에 제공하여 사용자를 관리할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 사용자 관리 장치의 감성 기반의 사용자 관리 방법에 있어서,
상기 사용자 관리 장치가 사용자의 사용자 장치로부터 상기 사용자가 생성한 콘텐츠를 수신하는 단계;
상기 사용자 관리 장치가 감성값이 태깅된 영상에 대한 학습 데이터 및 감성 사전(sentiment lexicon)에 기초하여 상기 사용자가 생성한 콘텐츠를 분석함으로써 상기 사용자의 감성 상태(mood state)를 추정하는 단계; 및
상기 사용자 관리 장치가 상기 감성 상태, 상기 사용자의 SNS 활동(social networking service activity) 성향 및 상기 사용자의 포스팅 습관 중에서 적어도 하나에 기초하여 상기 사용자의 상태를 결정하고, 상기 사용자의 상태에 따른 상기 사용자에 대한 정보를 제공하는 단계
를 포함하고,
상기 추정하는 단계는,
상기 학습 데이터를 이용하여 상기 사용자의 영상에 대응하는 제1 감성 상태를 추정하는 단계;
상기 감성 사전을 이용하여 상기 사용자의 텍스트, 및 상기 사용자의 이모티콘에 대응하는 제2 감성 상태를 추정하는 단계; 및
상기 제1 감성 상태, 및 상기 제2 감성 상태를 통합함으로써 상기 사용자의 감성 상태에 대응하는 통합 감성 상태를 생성하는 단계
를 포함하고,
상기 제1 감성 상태를 추정하는 단계는,
임의의 영상에 대한 감성값에 기초하여 상기 학습 데이터를 생성하는 단계; 및
딥 러닝(deep learning) 및 PLSA 러닝(probabilistic latent semantic analysis learning) 중에서 어느 하나를 이용하여 상기 사용자의 영상에 대한 감성의 특징과 상기 학습 데이터의 상관 관계를 비교함으로써 상기 제1 감성 상태를 추정하는 단계
를 포함하고,
상기 콘텐츠는,
상기 사용자의 영상, 상기 사용자의 텍스트 및 상기 사용자의 이모티콘을 포함하는 감성 기반의 사용자 관리 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 학습 데이터를 생성하는 단계는,
상기 임의의 영상을 획득하는 단계;
임의의 사용자의 응답에 기초하여 특정 감성에 대한 상기 임의의 영상의 승패를 결정하는 단계;
상기 영상의 승패 결정 결과에 기초하여 상기 임의의 영상에 대한 감성값을 결정하는 단계; 및
상기 감성값을 정규화하여 정규화된 감성값을 상기 임의의 영상에 태깅함으로써 상기 학습 데이터를 생성하는 단계
를 포함하는 감성 기반의 사용자 관리 방법.
- 제1항에 있어서,
상기 제2 감성 상태를 추정하는 단계는,
임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 임의의 이모티콘에 대한 감성의 특징에 기초하여 상기 감성 사전을 생성하는 단계; 및
상기 감성 사전을 이용하여 상기 사용자의 텍스트에 대한 감성의 특징, 및 상기 사용자의 이모티콘에 대한 감성의 특징을 분석함으로써 상기 제2 감성 상태를 추정하는 단계
를 포함하는 감성 기반의 사용자 관리 방법.
- 제1항에 있어서,
상기 제공하는 단계는,
상기 통합 감성 상태, 및 상기 사용자의 SNS 활동 성향 및 상기 사용자의 포스팅 습관 중에서 적어도 하나에 기초하여 상기 사용자의 상태를 결정하는 단계;
상기 사용자의 상태에 기초하여 상기 사용자의 상태에 대응하는 그룹에 상기 사용자를 분류하는 단계; 및
상기 분류 결과에 기초하여 상기 사용자의 상태에 따른 상기 사용자에 대한 정보를 제공하는 단계
를 포함하는 감성 기반의 사용자 관리 방법.
- 제6항에 있어서,
상기 결정하는 단계는,
상기 통합 감성 상태에 기초하여 상기 사용자의 제1 상태를 결정하는 단계;
상기 SNS 활동 성향 및 상기 포스팅 습관 중에서 어느 하나에 기초하여 상기 사용자의 제2 상태를 결정하는 단계; 및
상기 제1 상태, 및 상기 제2 상태를 통합하여 상기 사용자의 상태를 결정하는 단계
를 포함하는 감성 기반의 사용자 관리 방법.
- 제7항에 있어서,
상기 제1 상태를 결정하는 단계는,
상기 통합 감성 상태를 모니터링하는 단계; 및
상기 모니터링 결과에 기초하여 상기 통합 감성 상태에 대한 통계값을 계산함으로써 상기 사용자의 제1 상태를 결정하는 단계
를 포함하는 감성 기반의 사용자 관리 방법.
- 제6항에 있어서,
상기 그룹은,
정상 그룹, 및 우울증 그룹 중에서 어느 하나이고,
상기 사용자에 대한 정보는,
상기 사용자의 감성 상태에 대한 그래프, 및 상기 그룹의 특징값 중에서 적어도 하나를 포함하는 감성 기반의 사용자 관리 방법.
- 제9항에 있어서,
상기 그룹의 특징값은,
상기 그룹에서 자주 사용되는 단어, 문장, 및 영상의 색 중에서 적어도 하나를 포함하는 감성 기반의 사용자 관리 방법.
- 사용자의 사용자 장치로부터 상기 사용자가 생성한 콘텐츠를 수신하는 송수신부; 및
감성값이 태깅된 영상에 대한 학습 데이터 및 감성 사전(sentiment lexicon)에 기초하여 상기 사용자가 생성한 콘텐츠를 분석함으로써 상기 사용자의 감성 상태(mood state)를 추정하고, 상기 감성 상태, 상기 사용자의 SNS 활동(social networking activity) 성향 및 상기 사용자의 포스팅 습관 중에서 적어도 하나에 기초하여 상기 사용자의 상태를 결정하고, 상기 사용자의 상태에 따른 상기 사용자에 대한 정보를 제공하는 컨트롤러
를 포함하고,
상기 컨트롤러는,
상기 학습 데이터를 이용하여 상기 사용자의 영상에 대응하는 제1 감성 상태를 추정하고, 상기 감성 사전을 이용하여 상기 사용자의 텍스트, 및 상기 사용자의 이모티콘에 대응하는 제2 감성 상태를 추정하고, 상기 제1 감성 상태, 및 상기 제2 감성 상태를 통합함으로써 통합 감성 상태를 생성하는 추정부
를 포함하고,
상기 추정부는,
임의의 영상에 대한 감성값에 기초하여 상기 학습 데이터를 생성하고, 딥 러닝(deep learning) 및 PLSA 러닝(probabilistic latent semantic analysis learning) 중에서 어느 하나를 이용하여 상기 사용자의 영상에 대한 감성의 특징과 상기 학습 데이터의 상관 관계를 비교함으로써 상기 제1 감성 상태를 추정하고,
상기 콘텐츠는,
상기 사용자의 영상, 상기 사용자의 텍스트 및 상기 사용자의 이모티콘을 포함하는 감성 기반의 사용자 관리 장치.
- 삭제
- 삭제
- 제11항에 있어서,
상기 추정부는,
상기 임의의 영상을 획득하고, 임의의 사용자의 응답에 기초하여 특정 감성에 대한 상기 임의의 영상의 승패를 결정하고, 상기 영상의 승패 결정 결과에 기초하여 상기 임의의 영상에 대한 감성값을 결정하고, 상기 감성값을 정규화하여 정규화된 감성값을 상기 임의의 영상에 태깅함으로써 상기 학습 데이터를 생성하는 감성 기반의 사용자 관리 장치.
- 제11항에 있어서,
상기 추정부는,
임의의 텍스트의 품사, 문장의 구조, 및 형태에 대한 감성의 특징과 임의의 이모티콘에 대한 감성의 특징에 기초하여 상기 감성 사전을 생성하고, 상기 감성 사전을 이용하여 상기 사용자의 텍스트에 대한 감성의 특징, 및 상기 사용자의 이모티콘에 대한 감성의 특징을 분석함으로써 상기 제2 감성 상태를 추정하는 감성 기반의 사용자 관리 장치.
- 제11항에 있어서,
상기 컨트롤러는,
상기 통합 감성 상태, 상기 사용자의 SNS 활동(social networking service activity) 성향 및 상기 사용자의 포스팅 습관 중에서 적어도 하나에 기초하여 상기 사용자의 상태를 결정하는 결정부; 및
상기 사용자의 상태에 기초하여 상기 사용자의 상태에 대응하는 그룹에 상기 사용자를 분류하고, 상기 분류 결과에 기초하여 상기 사용자의 상태에 따른 상기 사용자에 대한 정보를 제공하는 관리부
를 포함하는 감성 기반의 사용자 관리 장치.
- 제16항에 있어서,
상기 결정부는,
상기 통합 감성 상태에 기초하여 상기 사용자의 제1 상태를 결정하고, 상기 SNS 활동 성향 및 상기 포스팅 습관 중에서 어느 하나에 기초하여 상기 사용자의 제2 상태를 결정하고, 상기 제1 상태, 및 상기 제2 상태를 통합하여 상기 사용자의 상태를 결정하는 감성 기반의 사용자 관리 장치.
- 제17항에 있어서,
상기 결정부는,
상기 통합 감성 상태를 모니터링하고, 상기 모니터링 결과에 기초하여 상기 통합 감성 상태에 대한 통계값을 계산함으로써 상기 사용자의 제1 상태를 결정하는 감성 기반의 사용자 관리 장치.
- 제16항에 있어서,
상기 그룹은,
정상 그룹, 및 우울증 그룹 중에서 어느 하나이고,
상기 사용자에 대한 정보는,
상기 사용자의 감성 상태에 대한 그래프, 및 상기 그룹의 특징값 중에서 적어도 하나를 포함하는 감성 기반의 사용자 관리 장치.
- 제19항에 있어서,
상기 그룹의 특징값은,
상기 그룹에서 자주 사용되는 단어, 문장, 및 영상의 색 중에서 적어도 하나를 포함하는 감성 기반의 사용자 관리 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170106490A KR101894194B1 (ko) | 2017-08-23 | 2017-08-23 | 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 |
| PCT/KR2017/013278 WO2019039659A1 (ko) | 2017-08-23 | 2017-11-21 | 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170106490A KR101894194B1 (ko) | 2017-08-23 | 2017-08-23 | 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101894194B1 true KR101894194B1 (ko) | 2018-10-04 |
Family
ID=63862650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170106490A KR101894194B1 (ko) | 2017-08-23 | 2017-08-23 | 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101894194B1 (ko) |
| WO (1) | WO2019039659A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102128274B1 (ko) * | 2018-12-19 | 2020-06-30 | 주식회사 카케냐 | 페르소나와 딥-러닝 모델을 이용한 소셜네트워크상의 콘텐츠 추천 방법 |
| KR20210106209A (ko) * | 2020-02-20 | 2021-08-30 | 인제대학교 산학협력단 | 빅데이터 기반의 텍스트를 활용한 개인 감성분석 모니터링 시스템 아키텍쳐 |
| KR20210107393A (ko) * | 2020-02-24 | 2021-09-01 | 인제대학교 산학협력단 | 딥 메타데이터 기반 감성분석 방법 및 그 시스템 |
| KR20230034012A (ko) * | 2021-09-02 | 2023-03-09 | 전남대학교산학협력단 | 딥러닝 기반의 그래프 융합을 이용한 시청자 감정 예측 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012134180A2 (ko) | 2011-03-28 | 2012-10-04 | 가톨릭대학교 산학협력단 | 문장에 내재한 감정 분석을 위한 감정 분류 방법 및 컨텍스트 정보를 이용한 다중 문장으로부터의 감정 분류 방법 |
| KR101739538B1 (ko) * | 2016-01-25 | 2017-05-25 | 주식회사 솔트룩스 | 기계 학습 및 규칙에 기반한 감성 분석 시스템 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007219929A (ja) * | 2006-02-17 | 2007-08-30 | Nec Corp | 感性評価システム及び方法 |
| KR20120109943A (ko) * | 2011-03-28 | 2012-10-09 | 가톨릭대학교 산학협력단 | 문장에 내재한 감정 분석을 위한 감정 분류 방법 |
| KR20160069027A (ko) * | 2014-12-05 | 2016-06-16 | 건국대학교 산학협력단 | 감성 기반의 영상 색인 시스템 및 방법 |
| KR20160097841A (ko) * | 2015-02-10 | 2016-08-18 | 류창형 | 원격 심리지원 서비스를 위한 통합 관리 시스템 |
-
2017
- 2017-08-23 KR KR1020170106490A patent/KR101894194B1/ko active IP Right Grant
- 2017-11-21 WO PCT/KR2017/013278 patent/WO2019039659A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012134180A2 (ko) | 2011-03-28 | 2012-10-04 | 가톨릭대학교 산학협력단 | 문장에 내재한 감정 분석을 위한 감정 분류 방법 및 컨텍스트 정보를 이용한 다중 문장으로부터의 감정 분류 방법 |
| KR101739538B1 (ko) * | 2016-01-25 | 2017-05-25 | 주식회사 솔트룩스 | 기계 학습 및 규칙에 기반한 감성 분석 시스템 및 방법 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102128274B1 (ko) * | 2018-12-19 | 2020-06-30 | 주식회사 카케냐 | 페르소나와 딥-러닝 모델을 이용한 소셜네트워크상의 콘텐츠 추천 방법 |
| KR20210106209A (ko) * | 2020-02-20 | 2021-08-30 | 인제대학교 산학협력단 | 빅데이터 기반의 텍스트를 활용한 개인 감성분석 모니터링 시스템 아키텍쳐 |
| KR102347328B1 (ko) | 2020-02-20 | 2022-01-04 | 인제대학교 산학협력단 | 빅데이터 기반의 텍스트를 활용한 개인 감성분석 모니터링 시스템 아키텍쳐 |
| KR20210107393A (ko) * | 2020-02-24 | 2021-09-01 | 인제대학교 산학협력단 | 딥 메타데이터 기반 감성분석 방법 및 그 시스템 |
| KR102359466B1 (ko) * | 2020-02-24 | 2022-02-08 | 인제대학교 산학협력단 | 딥 메타데이터 기반 감성분석 방법 및 그 시스템 |
| KR20230034012A (ko) * | 2021-09-02 | 2023-03-09 | 전남대학교산학협력단 | 딥러닝 기반의 그래프 융합을 이용한 시청자 감정 예측 시스템 및 방법 |
| KR102556972B1 (ko) | 2021-09-02 | 2023-07-18 | 전남대학교산학협력단 | 딥러닝 기반의 그래프 융합을 이용한 시청자 감정 예측 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019039659A1 (ko) | 2019-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11537820B2 (en) | Method and system for generating and correcting classification models | |
| Hasan et al. | Automatic emotion detection in text streams by analyzing twitter data | |
| US10593350B2 (en) | Quantifying customer care utilizing emotional assessments | |
| KR102222451B1 (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
| US10049103B2 (en) | Author personality trait recognition from short texts with a deep compositional learning approach | |
| Safa et al. | Automatic detection of depression symptoms in twitter using multimodal analysis | |
| US20210118424A1 (en) | Predicting personality traits based on text-speech hybrid data | |
| US10585901B2 (en) | Tailoring question answer results to personality traits | |
| KR101894194B1 (ko) | 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들 | |
| US9183285B1 (en) | Data clustering system and methods | |
| US11468241B2 (en) | Techniques to add smart device information to machine learning for increased context | |
| US10931767B2 (en) | Prioritizing social media posts and recommending related actions | |
| CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
| US10417578B2 (en) | Method and system for predicting requirements of a user for resources over a computer network | |
| US20200401910A1 (en) | Intelligent causal knowledge extraction from data sources | |
| Winkler et al. | Data-based prediction of sentiments using heterogeneous model ensembles | |
| US20220027764A1 (en) | Method of and system for online machine learning with dynamic model evaluation and selection | |
| Oppong et al. | Business decision support system based on sentiment analysis | |
| KR20200041199A (ko) | 챗봇 구동 방법, 장치 및 컴퓨터 판독가능 매체 | |
| Zhou et al. | A text sentiment classification model using double word embedding methods | |
| Gregoriades et al. | Explaining tourist revisit intention using natural language processing and classification techniques | |
| WO2022233421A1 (en) | Systems and methods for real-time determinations of mental health disorders using multi-tier machine learning models based on user interactions with computer systems | |
| Trisal et al. | K-RCC: A novel approach to reduce the computational complexity of KNN algorithm for detecting human behavior on social networks | |
| US11386162B1 (en) | Systems and methods for machine learning-enhanced pairing of user search stimuli-to-online digital profile data | |
| Manda | Sentiment Analysis of Twitter Data Using Machine Learning and Deep Learning Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |