KR102627509B1

KR102627509B1 - 감정 공유 콘텐츠 시스템

Info

Publication number: KR102627509B1
Application number: KR1020210023113A
Authority: KR
Inventors: 김원강; 도승우; 김동현; 이재윤
Original assignee: 김원강; 도승우; 김동현; 이재윤
Priority date: 2021-02-22
Filing date: 2021-02-22
Publication date: 2024-01-18
Also published as: KR20220119812A

Abstract

본 발명은 사용자가 컨텐츠를 시청하는 동안 다른 사용자의 감정을 컨텐츠의 특정 영역에 출력하여 감정의 종류, 감정의 개수, 감정의 대상을 알 수 있는 감정 공유 콘텐츠 시스템을 제공한다.
이에, 본 발명의 일 측면에 따른 감정 공유 콘텐츠 시스템은 콘텐츠를 출력하는 콘텐츠로딩모듈, 콘텐츠를 열람하는 사용자를 감지하는 감지부, 상기 감지된 사용자의 감정을 판단하는 제어부 및 상기 사용자의 감정 또는 다른 사용자의 감정을 상기 콘텐츠 상에 출력하는 출력부를 포함한다.

Description

감정 공유 콘텐츠 시스템{COMTENTS SYSTEM OF SHARING EMOTIONS}

본 발명은 콘텐츠 시스템에 대한 것으로서, 보다 상세하게는 시청하는 사용자의 감정을 서로 공유할 수 있도록 하는 감정 공유 콘텐츠 시스템에 대한 것이다

최근 Facebook, Twitter, Google+ 등 소셜 네트워크 서비스 등을 활용한 콘텐츠가 폭발적으로 증가하고 있다. 이러한 콘텐츠에서는 사용자의 감정을 좋아요 혹은 싫어요 중 어느 하나를 선택하는 방법으로 사용자의 만족감을 얻어 내는 경우가 있다.

그런데, 이러한 구분은 매우 단순하게 이루어지고 있으며 실제 콘텐츠 자체의 어디로부터 감정을 느끼게 되었는지 알기 어렵다. 나아가 영상 콘텐츠의 경우에는 실시간 느끼는 감정이 계속적으로 변하게 되므로 전체적으로 좋다는 것은 매우 추상적일 수밖에 없다.

이에 선행기술문헌에서는 클라이언트가 감정데이터집합부를 전송받아 그와 관련된 통합데이터를 디스플레이 할 때 통합데이터에 대한 전체적인 감정정보를 사용자에게 제공하여 통합데이터의 전체적인 흐름을 파악할 수 있는 인덱싱 기술을 제공하는 내용을 개시하고 있다. 그러나, 선행기술문헌은 실제 보다 구체적인 감정을 공유할 수 있을 지라도 무엇에 따라 감정이 유발되었는지 구체적인 동기의 표시는 누락되어 있다.

한국등록특허 제10-1116373호 (2012. 3. 19.), 감정데이터 공유시스템 및 그 공유시스템을 이용한 감정데이터 공유방법{Sharing System of Emotion Data and Method Sharing Emotion Data}

본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 사용자가 컨텐츠를 시청하는 동안 다른 사용자의 감정을 컨텐츠의 특정 영역에 출력하여 감정의 종류, 감정의 개수, 감정의 대상을 알 수 있는 감정 공유 콘텐츠 시스템을 제공함에 있다.

본 발명의 일 측면에 따른 감정 공유 콘텐츠 시스템은 콘텐츠를 출력하는 콘텐츠로딩모듈, 콘텐츠를 열람하는 사용자를 감지하는 감지부, 상기 감지된 사용자의 감정을 판단하는 제어부 및 상기 사용자의 감정 또는 다른 사용자의 감정을 상기 콘텐츠 상에 출력하는 출력부를 포함한다.

이때, 상기 감지부는 사용자 이미지와 사용자의 시선 방향을 감지할하는 수 있다.

또한, 상기 제어부는 사용자 이미지를 수집하여 특징 데이터를 판단하여 사용자의 감정을 판단할 수 있다.

또한, 상기 출력부는 출력된 콘텐츠 상에 감정 이미지를 출력할 수 있다.

또한, 상기 출력부는 출력된 콘텐츠 상에 사용자 또는 다른 사용자의 시선 방향에 대응하는 영역에 감정 이미지를 출력할 수 있다.

본 발명은 콘텐츠 시청 중 다른 사용자의 감정 상태를 알 수 있다.

또한, 본 발명은 콘텐츠 시청 중 다른 사용자가 어떤 감정을 가지고 있는지 그 양과 분포를 알 수 있다.

또한, 본 발명은 감정 유발의 기초가 되는 콘텐츠 상의 오브젝트에 감정이 표시되도록 하므로 보다 인터랙티브한 콘텐츠 시스템을 구현할 수 있다.

도 1은 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템의 구성도이다.
도 2는 도 1에서의 출력부를 더욱 상세하게 도시한 도면이다.
도 3은 도 1에서의 제어부를 더욱 상세하게 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템의 작용을 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템을 설명한다. 도 1은 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템의 구성도이고, 도 2는 도 1에서의 출력부를 더욱 상세하게 도시한 도면이며, 도 3은 도 1에서의 제어부를 더욱 상세하게 도시한 도면이다.

도면을 참조하면, 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템(1000)은 크게 사용자디바이스(100)와 서버(200)로 구성된다.

사용자디바이스(100)는 이미지, 영상 및 텍스트 등의 콘텐츠를 출력하는 콘텐츠로딩모듈(110), 콘텐츠를 열람하는 사용자를 감지하는 감지부(120), 콘텐츠 상에 사용자 또는 다른 사용자의 감정을 출력하는 출력부(130), 관련 사항을 제어 연산하는 제어부(140), 서버와 데이터를 송수신하는 통신부(150) 및 콘텐츠시청관련 입력을 수행하는 입력부(160)로 이루어진다. 또한 도시한 바와 같이 같은 구성을 갖는 다른 사용자(P1, P2, P3)를 더 포함하여 이루어진다. 이에 전체 사용자의 감정이 하나의 컨텐츠에 표시될 수 있다.

이때 감지부(120)는 사용자의 감정을 판단하기 위해 사용자의 안면과 시선 방향을 카메라로 촬상한다. 카메라는 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는 다양한 영상 처리 알고리즘을 이용하여 오브젝트의 이미지 정보를 획득할 수 있다. 이때 카메라 사용자의 안면 등 이미지를 촬영하기 위해 차량에서 시야 확보가 가능한 위치에 장착될 수 있다.

또한, 본 실시예에서 카메라는 사용자의 시선을 인식한다. 이 경우 카메라는 넓은 영역에서 눈의 위치를 찾기 위한 광각(wide view field) 카메라와 찾아진 눈의 위치로 팬(Pan)-틸트(Tilt)-포커싱(Focusing)하여 고화질의 눈 영상을 획득하기 위한 협각(narrow view field) 카메라로 구성될 있다.

또한, 카메라는 사용자의 시선을 추적하기 위해서 스테레오 카메라의 캘리브레이션과 랙티피케이션을 수행하고, 스테레오 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 사용자 캘리브레이션을 수행할 수 있다. 이때 각 캘리브레이션의 수행이 완료되면, 스테레오 카메라로부터 영상들을 입력 받고 입력된 각 영상들에서 얼굴 영역 및 눈 영역을 검출할 수 있다.

이후, 검출해 낸 눈의 2차원 좌표와 캘리브레이션을 통해 획득한 위치 정보를 기반으로 사용자의 눈 영역에 대한 3차원 위치 정보를 계산하고 이를 기반으로 협각 카메라에 대한 패닝(Panning), 틸팅(Tilting), 오토포커스(Auto-Focus)를 수행하고, 이를 통해 고화질의 눈 영상을 획득한다. 그리고, 획득된 고화질의 눈 영상으로부터 동공 중심을 검출하고, 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출한다. 이와 같은 과정을 통해 검출된 동공 중심에 대한 정보와 각막 반사광에 대한 정보로부터 사용자의 시선 위치와 이동을 계산해 낼 수 있다. 이에 후술하는 제어부(140)에는 콘텐츠 상의 어디에 시선이 머무르는지 산출할 수 있게 된다.

출력부(130)는 사용자 또는 다른 사용자의 감정을 콘텐츠 상에 출력하는데 시선출력모듈(131), 감정형태출력모듈(132), 및 감정개수출력모듈(133)로 이루어진다.

시선출력모듈(131)은 전술한 바와 같이 감지부(120)에 의해 감지된 복수개 사용자의 시선이 머물고 있는 위치를 컨텐츠에 표시한다. 이때 복수개 사용자의 시선이 머무는 위치가 중복되는 경우에는 그 중복되는 개수가 증가할수록 후광효과를 도출하거나 그 중복된 영역의 색이 변화도록 하여 사용자는 현재 가장 감정의 발현에 이슈가 되는 위치를 알 수 있게 된다.

감정형태출력모듈(132)는 후술하는 제어부에서 판단한 감정 상태를 표시하는 역할을 수행한다. 이때 감정 상태는 행복, 슬픔, 화남, 놀람, 공포 등으로 구체적으로 구분하는 것이 바람직하다. 또한, 이 경우에 감정개수출력모듈(133)은 이러한 감정의 개수를 컨텐츠 상에 직접 표시하거나 컨텐츠를 구성하는 이미지 중 어느 부분은 화남에 대하여 특정 색으로 표현하고 다른 부분은 놀람에 해당하는 색으로 전체적 암시적으로 표현하여 감정의 양을 가능할 수 있게 표시 한다.

또한, 감정형태출력모듈(132)는 전술한 사용자의 시선 방향과 대응하는 컨텐츠 상의 영역에 감정형태를 출력하는 것도 가능함은 물론이다. 이때 동일한 영역에 동일한 감정이 복수의 사용자에게서 감지되는 경우에는 전술한 것과 같이 어떤 오브젝트의 후광효과가 커지는 방식으로 감정을 표현할 수 있다.

한편, 제어부(140)는 상기한 감정 출력을 제어하는데 이를 위해 데이터수집모듈(141), 특징데이터판단모듈(142) 및 감정판단모듈(143)을 포함하여 이루어진다.

데이터수집모듈(142)은 서버로부터 다양한 형태의 감정 데이터를 획득하고, 특징데이터판단 모듈(142)은 수신된 데이터를 분석하여 특징 데이터를 판단할 수 있다. 구체적으로, 특징데이터판단모듈(142)은 감정 인식 모델를 이용하여 특징 데이터를 판단할 수 있다. 나아가 감정판단모듈(143)는 특징 데이터로부터 사용자의 실제 감정을 판단할 수 있다. 이때, 특징데이터판단모듈(142)은 한국 공개특허 제10-2018-0111467호에 개시된 방법으로 특징 데이터를 판단할 수 있고, 감정판단모듈(143)은 사용자의 실제 감정을 마찬가지로 감정 인식 모델에 적용하여 획득할 수 있다.

이하 본 발명의 작용을 설명한다. 도 4는 본 발명의 일 실시예에 따른 감정 공유 콘텐츠 시스템의 작용을 설명하는 도면이다.

여기에서 참조부호 c1 및 c2는 사용자의 시선과 감정이 함께 표시되는 영역을 의미한다. 현재 사용자들은 c1 및 c2 영역에 대하여 주로 시선이 머무르면서 감정이 감지되었으므로 이러한 내용이 콘텐츠의 이미지 상에 표시되게 된다. 이때, c1과 c2의 색은 달리 표시되었는데 이는 같은 영상 프레임에서도 서로 다른 감정이 유발되고 표시될 수 있다. 더욱 나아가 c1 또는 c2에 해당하는 감정의 수가 증가하는 경우에 c1 또는 c2의 크기를 더욱 증가시켜 직관적으로 감정의 수를 알 수 있도록 한다.

또한, 참조부호 c3, c4는 감정의 종류를 실제로 표시할 수 있는 것을 예로 들은 것인데, c3는 평상적 감정을 나타내고 c4는 화나는 감정을 나타낸다. 또한, c3 보다 c4의 개수가 많이 출력되도록 하여 전체적인 주된 감정을 알 수 있도록 한다. 이때 개수에 대응하여 출력되는 영역의 면적이 크도록 출력할 수 있는 것도 당연할 것이다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

또한, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

1000: 감정 공유 콘텐츠 시스템
100: 사용자디바이스
110: 콘텐츠로딩모듈
120: 감지부
130: 출력부
131: 시선출력모듈
132: 감정형태출력모듈
133: 감정개수출력모듈
140: 제어부
141: 데이터수집모듈
142: 특징데이터판단모듈
143: 감정판단모듈
150: 통신부
160: 입력부

Claims

콘텐츠를 출력하는 콘텐츠로딩모듈;
콘텐츠를 열람하는 복수 개 사용자를 감지하는 감지부;
상기 감지된 사용자의 복수 개의 감정을 각각 판단하는 제어부; 및
상기 복수 개 사용자의 감정을 상기 콘텐츠 상에 출력하는 출력부;
를 포함하고,
상기 감지부는 복수 개 사용자의 시선 방향을 감지하며,
상기 출력부는 출력된 콘텐츠 상에 복수 개 사용자의 시선 방향에 대응하는 영역에 감정 이미지를 출력하되, 복수 개 사용자의 시선이 머무는 위치가 중복되는 경우에는 그 중복되는 개수가 증가할수록 후광효과를 도출하거나 그 중복된 영역의 색이 변화하도록 출력하되,
상기 출력부는 복수 개 사용자의 감정의 개수를 함께 출력하는 것을 특징으로 하는 감정 공유 콘텐츠 시스템.
삭제
제1항에 있어서,
상기 제어부는 사용자 이미지를 수집하여 특징 데이터를 판단하여 사용자의 감정을 판단하는 것을 특징으로 하는 감정 공유 콘텐츠 시스템.
삭제
삭제