KR20200065755A - 몰입도 운용 방법 및 이를 지원하는 전자 장치 - Google Patents
몰입도 운용 방법 및 이를 지원하는 전자 장치 Download PDFInfo
- Publication number
- KR20200065755A KR20200065755A KR1020180152520A KR20180152520A KR20200065755A KR 20200065755 A KR20200065755 A KR 20200065755A KR 1020180152520 A KR1020180152520 A KR 1020180152520A KR 20180152520 A KR20180152520 A KR 20180152520A KR 20200065755 A KR20200065755 A KR 20200065755A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- content
- immersion
- user
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G06K9/00275—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 디스플레이, 카메라 및 프로세서를 포함하는 전자 장치를 개시한다. 상기 프로세서는 상기 컨텐츠 재생이 요청되면 상기 컨텐츠 재생 화면을 상기 디스플레이 출력하면서, 상기 카메라를 활성화하고, 상기 활성화된 카메라를 이용하여 사용자의 얼굴 관련 이미지를 획득하고, 상기 얼굴 관련 이미지에서 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 추출하고, 상기 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 기반으로 상기 컨텐츠에 대한 사용자의 몰입도를 산출하도록 설정될 수 있다.
Description
본 발명은 몰입도 운용에 관한 것으로서, 더욱 상세하게는 컨텐츠 열람 중에 획득되는 사용자 얼굴 관련 정보를 기반으로 컨텐츠에 대한 몰입도를 검출하고, 검출된 몰입도를 이용하여 컨텐츠 추천을 지원하는 몰입도 운용 방법 및 이를 지원하는 전자 장치에 관한 것이다.
최근 정보기술의 비약적 발전을 통해 유무선 네트워크 인프라가 확장되고, 스마트폰과 태블릿 PC 등 다양한 모바일 스마트 기기들이 빠르게 보급되었다. 이러한 기술적 변화는 온라인 접속에 필요한 시간적, 공간 적 제약을 크게 줄이고, 실시간 소통을 가능하게 함으로써 새로운 시대와 문화 컨텐츠적 환경을 조성하였다. 최근 상호작용적 디지털게임(Interactive digital game), 각종 학습 컨텐츠 등과 같은 문화산업이 증가함에 따라 몰입 혹은 집중 같은 인지적 요소의 중요성이 부각 되고 있다.
한편, 종래 몰입 또는 집중과 같은 인지적 요소를 결정하기 위하여, 사용자가 특정 컨텐츠를 디스플레이에 표시하고 있는 시간을 측정하고, 해당 시간을 기준으로 해당 컨텐츠에 대한 몰입도를 측정하는 시도가 있었다. 그러나, 전자 장치가 컨텐츠를 디스플레이에 표시하고 있는 상태라 하더라도, 사용자가 컨텐츠를 보고 있는지 또는 다른 일을 하고 있는지를 구분할 수 없기 때문에, 컨텐츠 표시 시간을 기반으로 측정된 몰입도는 매우 부정확하여 신뢰도가 낮은 문제가 있었다.
상술한 문제점을 해결하기 위하여, 본 발명은 컨텐츠를 열람 또는 시청하고 있는 사용자의 얼굴로부터 획득된 다양한 정보를 복합적으로 분석함으로써, 보다 정확히 몰입도를 계산할 수 있도록 하는 몰입도 운용 방법 및 이를 지원하는 전자 장치를 제공함에 있다.
또한, 본 발명은 보다 정확히 계산된 몰입도를 기반으로 해당 컨텐츠에 대한 사용자의 평점을 결정하고, 결정된 사용자의 평점을 기준으로 다른 컨텐츠를 추천할 수 있도록 지원하는 몰입도 운용 방법 및 이를 지원하는 전자 장치를 제공함에 있다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 전자 장치는 컨텐츠를 출력하는 디스플레이 및 사용자 관련 이미지를 수집하는 카메라, 상기 디스플레이 및 상기 카메라와 기능적으로 연결된 프로세서가 배치되는 단말 장치를 포함할 수 있다. 상기 프로세서는 상기 컨텐츠 재생이 요청되면 상기 컨텐츠 재생 화면을 상기 디스플레이 출력하면서, 상기 카메라를 활성화하고, 상기 활성화된 카메라를 이용하여 사용자의 얼굴 관련 이미지를 획득하고, 상기 얼굴 관련 이미지에서 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 추출하고, 상기 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 기반으로 상기 컨텐츠에 대한 사용자의 몰입도를 산출하도록 설정될 수 있다.
특히, 상기 프로세서는 상기 눈 깜빡임 정보를 기반으로 몰입도 점수를 산출하고, 상기 눈꼬리 정보 및 상기 입 꼬리 정보를 기반으로 사용자의 감정 정보를 산출하고, 상기 몰입도 점수를 상기 감정 정보를 기반으로 보정하도록 설정될 수 있다.
또는, 상기 프로세서는 상기 감정 정보가 흥미로운 감정 상태를 나타내는 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 높이도록 설정될 수 있다.
또는, 상기 프로세서는 상기 감정 정보가 무표정한 상태인 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 낮추도록 설정될 수 있다.
한편, 상기 전자 장치는 상기 컨텐츠를 제공하는 서비스 장치와 통신 채널을 형성하는 통신 회로를 더 포함할 수 있다. 이 경우, 상기 프로세서는 상기 통신 회를 통하여 상기 몰입도 점수를 상기 서비스 장치에 전송하고, 상기 서비스 장치로부터 상기 몰입도 점수를 기반으로 생성된 컨텐츠 추천 리스트를 수신하고, 상기 수신된 컨텐츠 추천 리스트를 상기 디스플레이에 출력하도록 설정될 수 있다.
본 발명의 실시 예에 따른 몰입도 운용 방법은 단말 장치가, 컨텐츠 재생 요청을 수신하는 단계, 상기 컨텐츠 재생 요청에 따라 상기 컨텐츠의 재생 화면을 상기 디스플레이 출력하면서, 상기 카메라를 활성화하는 단계, 상기 활성화된 카메라를 이용하여 사용자의 얼굴 관련 이미지를 획득하는 단계, 상기 얼굴 관련 이미지를 기반으로 상기 컨텐츠에 대한 사용자의 몰입도를 산출하는 단계, 상기 산출된 몰입도 정보를 지정된 서비스 장치에 제공하는 단계, 상기 서비스 장치로부터 상기 몰입도 정보를 기반으로 생성된 컨텐츠 추천 리스트를 수신하여 출력하는 단계를 포함할 수 있다.
여기서, 상기 몰입도를 산출하는 단계는 상기 얼굴 관련 이미지에서 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 추출하는 단계, 상기 눈 깜빡임 정보를 기반으로 몰입도 점수를 산출하는 단계, 상기 눈꼬리 정보 및 상기 입 꼬리 정보를 기반으로 사용자의 감정 정보를 산출하는 단계, 상기 몰입도 점수를 상기 감정 정보를 기반으로 보정하는 단계를 포함할 수 있다.
또한, 상기 보정하는 단계는 상기 감정 정보가 흥미로운 감정 상태를 나타내는 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 높이는 단계 또는 상기 감정 정보가 무표정한 상태인 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 낮추는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결된 서버 프로세서를 포함할 수 있다. 상기 서버 프로세서는 상기 서버 통신 회로를 이용하여 단말 장치와 통신 채널을 형성하고, 상기 단말 장치 요청에 대응하여 지정된 컨텐츠를 상기 단말 장치에 제공하고, 상기 단말 장치로부터 상기 지정된 컨텐츠와 관련한 사용자의 몰입도 정보를 수신하고, 상기 몰입도 정보를 기반으로 컨텐츠 추천 리스트를 생성하고, 상기 컨텐츠 추천 리스트를 상기 단말 장치에 전송하도록 설정될 수 있다.
특히, 상기 서버 프로세서는 상기 몰입도의 점수가 높을수록 상기 컨텐츠에 대한 사용자 평점을 높게 부여하고, 상기 몰입도의 점수가 낮을수록 상기 컨텐츠에 대한 사용자 평점을 낮게 부여하도록 설정될 수 있다.
여기서, 상기 서버 프로세서는 상기 컨텐츠에 대하여 동일한 사용자 평점을 부여한 다른 사용자들을 검색하고, 상기 다른 사용자들이 부여한 평점이 지정된 값 이상인 컨텐츠들을 검색하고, 상기 검색된 컨텐츠들을 기반으로 상기 컨텐츠 추천 리스트를 생성하도록 설정될 수 있다.
본 발명에 따르면, 본 발명은 사용자가 시청하고 있는 컨텐츠에 대한 몰입도를 보다 정확히 계산할 수 있고, 정확히 계산된 몰입도를 기반으로 해당 컨텐츠에 대한 사용자의 선호도 또는 평점을 결정하고, 이를 기반으로 사용자게 보다 적합한 추천 컨텐츠를 제시할 수 있도록 지원한다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 실시 예에 따른 몰입도 운용과 관련한 시스템 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 단말 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 단말 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 몰입도 운용 방법의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 단말 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 단말 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 몰입도 운용 방법의 한 예를 나타낸 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
도 1은 본 발명의 실시 예에 따른 몰입도 운용과 관련한 시스템 환경의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 몰입도 운용 관련 시스템 환경(10)은 네트워크(50), 단말 장치(100) 및 서비스 장치(200)를 포함할 수 있다.
상술한 본 발명의 몰입도 운용 관련 시스템 환경(10)은 단말 장치(100)가 네트워크(50)를 통하여 서비스 장치(200)에 접속하면, 서비스 장치(200)는 단말 장치(100)에 지정된 컨텐츠를 제공할 수 있다. 단말 장치(100)는 컨텐츠를 디스플레이(160)에 출력하고, 컨텐츠가 시청되는 동안 카메라(170)를 이용하여 사용자의 얼굴 관련 정보를 수집한 후, 수집된 얼굴 관련 정보를 기반으로 해당 컨텐츠에 대한 몰입도를 산출할 수 있다. 상기 단말 장치(100)가 산출한 몰입도는 서비스 장치(200)에 제공되며, 서비스 장치(200)는 상기 몰입도를 기반으로 해당 컨텐츠에 대한 사용자 평점을 자동으로 부여하고, 사용자 평점을 기준으로 컨텐츠 추천 리스를 생성하여 단말 장치(100)에 제공할 수 있다. 이 동작에서 서비스 장치(200)는 단말 장치(100)가 제공한 몰입도에 의해 부여된 평점을 기준으로, 해당 컨텐츠에 동일 또는 유사한 평점을 부여한 다른 사용자들을 검색하고, 상기 다른 사용자들이 지정된 값 이상의 평점을 부여한 컨텐츠들을 검색하고, 검색된 컨텐츠들을 기반으로 컨텐츠 추천 리스트를 제공할 수 있다.
상기 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 컨텐츠 추천 기능과 관련한 네트워크 환경(10)은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 단말 장치(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 단말 장치(100)가 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 단말 장치(100)와 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.
상기 단말 장치(100)는 네트워크(50)를 통하여 서비스 장치(200)에 접속할 수 있다. 상기 단말 장치(100)는 서비스 장치(200)가 제공하는 가상 페이지를 통하여 서비스 장치(200)가 제공하는 컨텐츠 검색 기능, 컨텐츠 평가 기능, 컨텐츠 구매 기능, 컨텐츠 추천 기능 중 적어도 하나를 이용할 수 있다. 상기 단말 장치(100)는 컨텐츠 시청을 위하여 서비스 장치(200)로부터 컨텐츠를 수신하여 출력할 수 있다. 상기 단말 장치(100)는 컨텐츠가 출력되는 동안 사용자 얼굴 관련 정보를 획득하고, 획득된 얼굴 관련 정보를 기반으로 몰입도를 산출할 수 있다.
한편, 본 발명의 단말 장치(100)는 사용자 입력에 따라 서비스 장치(200)에 접속하고, 서비스 장치(200)에 아이디 및 로그인 정보를 기반으로 하는 로그인 동작을 수행할 수 있다. 이와 관련하여, 단말 장치(100)는 상기 서비스 장치(200)에 접속하고 로그인 정보를 사전 등록하는 절차를 수행할 수 있다. 단말 장치(100)는 사용자 평점 입력과 관련하여 서비스 장치(200)에 몰입도를 제공할 수 있다. 상기 단말 장치(100)는 서비스 장치(200)가 상기 몰입도를 기반으로 생성한 컨텐츠 추천 리스트를 수신하고 이를 출력할 수 있다.
상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 상기 단말 장치(100)가 접속할 수 있도록 통신 대기 상태를 가질 수 있다. 상기 서비스 장치(200)는 상기 단말 장치(100)가 접속하면, 단말 장치(100)에 서비스 장치(200)가 제공하는 컨텐츠 관련 서비스를 이용할 수 있는 가상 페이지를 단말 장치(100)에 제공할 수 있다. 상기 서비스 장치(200)는 단말 장치(100)가 상기 가상 페이지를 통하여 컨텐츠를 검색하거나, 구매하거나, 선물하는 작업을 지원할 수 있다. 특히, 서비스 장치(200)는 단말 장치(100) 요청에 따라 지정된 컨텐츠를 단말 장치(100)에 제공하고, 단말 장치(100)로부터 해당 컨텐츠에 대한 몰입도 정보를 수신할 수 있다. 상기 서비스 장치(200)는 몰입도 정보를 기반으로 컨텐츠 추천 리스트를 생성하고, 생성된 컨텐츠 추천 리스트를 단말 장치(100)에 제공할 수 있다. 이와 관련하여, 상기 서비스 장치(200)는 도 2에 도시된 바와 같은 구성을 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 서비스 장치 구성의 한 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 서비스 장치(200)는 서버 통신 회로(210), 서버 메모리(240) 및 서버 프로세서(250)를 포함할 수 있다. 본 발명의 서비스 장치(200)는 몰입도 수집 및 몰입도에 따른 컨텐츠 추천 기능을 지원하는 서버의 적어도 일부를 구성할 수 있다. 상기 컨텐츠 추천 기능을 지원하는 서버는 컨텐츠의 검색과, 판매 등을 지원할 수 있다. 이와 관련하여, 상기 서버는 실물 책의 판매나 대여를 제공할 수 있으며, 또한, 전자 책의 판매나 대여를 제공할 수 있도록 구성될 수 있다.
상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 채널 형성을 담당할 수 있다. 예컨대, 상기 서버 통신 회로(210)는 단말 장치(100) 접속 요청에 대응하여 단말 장치(100)와 통신 채널을 형성할 수 있다. 상기 서버 통신 회로(210)는 지정된 가상 페이지(예: 컨텐츠 관련 서비스 페이지)를 서버 프로세서(250) 제어에 대응하여 단말 장치(100)에 제공할 수 있다. 상기 서버 통신 회로(210)는 단말 장치(100)로부터 가상 페이지 이용과 관련한 다양한 메시지(예: 단말 장치(100)의 입력부에 의해 컨텐츠를 검색하거나, 구매하거나, 선물하거나, 적어도 일부를 열람하는 등의 서비스 이용 요청을 위한 입력 메시지)를 수신할 수 있다. 상기 서버 통신 회로(210)는 상기 단말 장치(100)로부터 다양한 메시지를 수신하면, 서버 프로세서(250) 제어에 대응하여 다양한 메시지에 대응한 응답 메시지(예: 컨텐츠 추천 리스트, 컨텐츠 리스트, 컨텐츠 데이터 등)를 단말 장치(100)에 제공할 수 있다. 상기 서버 통신 회로(210)는 단말 장치(100)로부터 몰입도 정보를 수신하고, 상기 몰입도를 기반으로 생성된 컨텐츠 추천 리스트를 상기 단말 장치(100)에 제공할 수 있다.
상기 서버 메모리(240)는 상기 서비스 장치(200) 운용과 관련한 다양한 데이터, 프로그램, 알고리즘 등을 저장할 수 있다. 예컨대, 상기 서버 메모리(240)는 컨텐츠 DB(241), 컨텐츠 평점(243)을 포함할 수 있다.
상기 컨텐츠 DB(241)는 적어도 하나의 컨텐츠를 저장할 수 있다. 상기 컨텐츠는 영화, 드라마 등의 영상 컨텐츠, 소설 또는 웹 소설, 시, 수필, 에세이 등의 텍스트 컨텐츠를 포함하는 다양한 컨텐츠에 대한 정보를 포함할 수 있다. 상기 컨텐츠 DB(241)에 저장된 적어도 하나의 컨텐츠 단말 장치(100) 요청에 따라 단말 장치(100)에 제공될 수 있다. 또한, 상기 컨텐츠 DB(241)에 저장된 적어도 하나의 컨텐츠들은 컨텐츠 추천 리스트를 생성하는데 이용될 수 있다.
상기 컨텐츠 평점(243)은 특정 컨텐츠들에 대하여 단말 장치(100) 사용자들이 입력한 적어도 하나의 사용자 평점을 포함할 수 있다. 또는, 컨텐츠 평점(243)은 단말 장치(100)로부터 수신된 몰입도를 기반으로 자동 부여된 특정 컨텐츠에 대한 평점 정보를 포함할 수 있다. 이러한 컨텐츠 평점(243)은 각 사용자별로 구분되어 저장될 수 있다. 예컨대, 상기 컨텐츠 평점(243)은 제1 사용자가 A 컨텐츠에 대해 몰입한 몰입도를 기준으로 해당 A 컨텐츠에 부여한 평점을 저장할 수 있다. 또한, 컨텐츠 평점(243)은 제2 사용자가 부여할 복수의 컨텐츠들에 대한 평점 정보를 저장할 수 있다. 상기 컨텐츠 평점(243)은 컨텐츠 추천 리스트를 생성하는데 이용될 수 있다.
상기 서버 프로세서(250)는 상기 서비스 장치(200) 운용과 관련한 데이터의 전달 또는 데이터의 처리 등을 수행할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 컨텐츠 추천 기능과 관련하여, 단말 장치(100)의 접속, 가상 페이지의 제공 등을 수행할 수 있다. 상기 서버 프로세서(250)는 단말 장치(100) 요청에 따라 컨텐츠 DB(241)에 저장된 적어도 하나의 컨텐츠를 단말 장치(100)에 제공할 수 있다. 상기 서버 프로세서(250)는 상기 단말 장치(100)에 제공한 컨텐츠에 대한 사용자의 몰입도 정보를 수신할 수 있다. 상기 서버 프로세서(250)는 수신된 몰입도 정보를 기반으로 해당 컨텐츠에 대한 사용자의 평점 정보를 부여할 수 있다. 예를 들어, 서버 프로세서(250)는 몰입도의 크기에 따라 사용자 평점을 높게 부여하고, 몰입도의 크기가 작을수록 사용자 평점을 낮게 부여할 수 있다.
상기 서버 프로세서(250)는 부여된 평점을 기준으로, 해당 사용자와 동일한 평점을 부여한 다른 사용자들을 컨텐츠 평점(243)으로부터 확인할 수 있다. 상기 서버 프로세서(250)는 다른 사용자들이 부여한 평점들 중 지정된 값 이상의 평점을 부여한 컨텐츠들을 컨텐츠 평점(243)에서 검출할 수 있다. 상기 서버 프로세서(250)는 검출된 정보를 기반으로 컨텐츠 추천 리스트를 생성할 수 있다. 상기 서버 프로세서(250)는 생성된 컨텐츠 추천 리스트를 단말 장치(100)에 제공할 수 있다. 이 과정에서, 상기 서버 프로세서(250)는 상기 단말 장치(100)에서 컨텐츠 재생 중에 광고가 출력되는 시점에 상기 컨텐츠 추천 리스트를 단말 장치(100)에 제공할 수 있다. 또는, 상기 서버 프로세서(250)는 단말 장치(100)의 컨텐츠 재생 화면 중에 광고 표시 영역에 상기 컨텐츠 추천 리스트를 제공할 수 있다. 또는, 상기 서버 프로세서(250)는 단말 장치(100)에 팝업창을 이용하여 상기 컨텐츠 추천 리스트를 출력하도록 제어할 수 있다. 또는, 상기 서버 프로세서(250)는 단말 장치(100)의 디스플레이(160) 중 재생 중인 컨텐츠 화면의 시청 방해가 최소인 영역 예컨대, 디스플레이(160)의 모서리 영역에 상기 컨텐츠 추천 리스트를 출력하도록 제어할 수 있다.
도 3은 본 발명의 실시 예에 따른 단말 장치 구성의 한 예를 나타낸 도면이다.
도 3은 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 통신 회로(110), 입력부(120), 오디오 처리부(130), 메모리(140), 디스플레이(160), 카메라(170) 및 프로세서(150)를 포함할 수 있다.
상기 통신 회로(110)는 상기 단말 장치(100)의 통신 기능을 지원할 수 있다. 예를 들어, 상기 통신 회로(110)는 근거리 통신 회로 또는 원거리 통신 회로를 포함할 수 있다. 또는, 상기 통신 회로(110)는 이동통신 기지국을 기반으로 컨텐츠를 제공하는 서비스 장치(200) 또는 다른 단말 장치와 통신 채널을 형성할 수 있다. 또는, 상기 통신 회로(110)는 인터넷 통신망 또는 방송망 등을 통해 서비스 장치에서 제공하는 컨텐츠를 수신할 수 있다. 상기 통신 회로(110)는 수신된 컨텐츠를 프로세서(150) 제어에 대응하여 디스플레이(160) 및 오디오 처리부(130) 중 적어도 하나에 제공할 수 있다. 상기 통신 회로(110)는 프로세서(150) 제어에 대응하여 몰입도 정보를 서비스 장치(200)에 제공하고, 서비스 장치(200)로부터 컨텐츠 추천 리스트를 수신할 수 있다.
상기 입력부(120)는 상기 단말 장치(100) 운용과 관련한 사용자 입력을 생성하고, 생성된 사용자 입력을 프로세서(150)에 전달할 수 있다. 상기 입력부(120)는 예컨대, 적어도 하나의 물리버튼 또는 키보드, 터치 패드, 터치스크린, 전자펜 등의 구성을 포함할 수 있다. 상기 입력부(120)는 서비스 장치(200) 접속 요청과 관련한 사용자 입력, 서비스 장치(200)가 제공하는 적어도 하나의 컨텐츠 중 특정 컨텐츠 선택과 관련한 사용자 입력 등을 사용자 제어에 대응하여 생성할 수 있다.
상기 오디오 처리부(130)는 상기 단말 장치(100)의 오디오 처리를 수행하고, 그에 따른 오디오 신호의 출력 또는 수집을 수행할 수 있다. 이와 관련하여, 상기 오디오 처리부(130)는 마이크(MIC) 및 스피커(SPK) 등을 포함할 수 있다. 예를 들어, 상기 오디오 처리부(130)는 서비스 장치(200)로부터 수신된 컨텐츠 중 오디오 정보를 출력할 수 있다.
상기 메모리(140)는 상기 단말 장치(100) 운용과 관련한 적어도 하나의 프로그램 또는 프로그램 운용과 관련한 데이터 등을 저장할 수 있다. 상기 메모리(140)는 서비스 장치(200)로부터 수신된 컨텐츠를 일시적으로 또는 반영구적으로 저장할 수 있다. 상기 메모리(140)는 몰입도 정보를 저장하고, 서비스 장치(200)로부터 수신된 컨텐츠 추천 리스트를 저장할 수 있다. 또한, 상기 메모리(140)는 적어도 하나의 컨텐츠를 저장할 수 있다.
상기 디스플레이(160)는 단말 장치(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(160)는 서비스 장치(200)가 제공하는 가상 페이지, 상기 서비스 장치(200)가 제공하는 컨텐츠 재생 화면, 상기 서비스 장치(200)가 제공하는 컨텐츠 추천 리스트를 출력할 수 있다. 또한, 상기 디스플레이(160)는 특정 컨텐츠 시청 중 또는 컨텐츠 시청이 완료된 이후 해당 컨텐츠에 대한 몰입도 정보를 출력할 수 있다.
상기 카메라(170)는 피사체에 관한 이미지를 수집할 수 있다. 상기 카메라(170)는 프로세서(150) 제어에 대응하여 컨텐츠 재생 중인 활성화되어 사용자의 얼굴 관련 이미지를 수집할 수 있다. 상기 카메라(170)는 상기 컨텐츠 재생이 종료되면 함께 종료될 수 있다.
상기 프로세서(150)는 사용자 입력에 대응하여 서비스 장치(200)에 접속하고, 사용자 선택에 따른 컨텐츠를 서비스 장치(200)로부터 수신하여 상기 디스플레이(160)에 출력할 수 있다. 또는, 상기 프로세서(150)는 메모리(140)에 저장된 적어도 하나의 컨텐츠를 사용자 입력에 따라 선택하고, 선택된 컨텐츠 재생 화면을 상기 디스플레이(160)에 출력할 수 있다. 상기 프로세서(150)는 컨텐츠가 재생되면 사전 설정에 따라 카메라(170)를 활성화하고, 사용자의 얼굴 관련 이미지를 획득하도록 제어할 수 있다. 상기 프로세서(150)는 획득된 얼굴 관련 이미지를 기반으로 몰입도를 산출하고, 산출된 몰입도와 해당 컨텐츠를 매핑하여 메모리(140)에 저장할 수 있다. 또는, 프로세서(150)는 산출된 몰입도를 서비스 장치(200)에 제공할 수 있다. 이러한 프로세서(150)는 도 4에 도시된 바와 같은 구성을 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 단말 장치의 프로세서 구성의 한 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)의 프로세서(150)는 이미지 수집부(151), 변환부(153), 몰입도 계산부(155) 및 몰입도 보정부(157)를 포함할 수 있다.
상기 이미지 수집부(151)는 설정에 따라 카메라(170)를 활성화할 수 있다. 예컨대, 상기 이미지 수집부(151)는 컨텐츠 재생 중 몰입도를 산출하도록 설정된 경우, 컨텐츠 재생 요청 발생 시, 카메라(170)를 자동으로 활성화할 수 있다. 상기 이미지 수집부(151)는 카메라(170)를 제어하여 사용자의 얼굴 관련 영역의 이미지를 수집하도록 제어할 수 있다. 상기 이미지 수집부(151)는 수집된 이미지들을 변환부(153)에 전달할 수 있다.
상기 변환부(153)는 상기 이미지 수집부(151)가 전달하는 이미지들을 기반으로 눈 깜빡임 정보, 눈꼬리 변화 정보, 입 꼬리 변화 정보 등을 수집할 수 있다. 상기 변환부(153)는 눈 깜빡임 정보 산출을 위하여, 얼굴 영역 중 눈 영역을 추출하고, 추출된 눈 영역의 이미지 변화를 검출할 수 있다. 예를 들어, 변환부(153)는 수신된 이미지에서 지정된 영상 처리 기법을 이용하여 얼굴 관련 영역을 먼저 추출하고, 추출된 얼굴 관련 영역에 대하여 지정된 영상 처리 기법을 적용하여 눈 영역을 검출할 수 있다. 상기 변환부(153)는 검출된 눈 영역의 명암 변화에 기초하여 사용자의 눈 깜빡임 여부를 판단할 수 있다. 즉, 상기 변환부(153)는 사용자가 눈을 감았을 때와 눈을 떴을 때의 눈 영역에 대한 명암값을 확인할 수 있다. 이때, 확인된 명암값을 이용하여 판단부(120)는 사용자의 눈 깜빡임 여부를 판단할 수 있다. 상기 변환부(153)는 판단된 사용자의 눈 깜빡임 여부를 시간 정보 형태의 이산적 시계열 데이터로 변환할 수 있다. 이와 관련하여, 변환부(153)는 사용자의 눈 깜빡임 여부를 해당 사용자가 컨텐츠를 사용한 시간과 동기화 할 수 있다.
상기 몰입도 계산부(155)는 변환된 이산적 시계열 데이터를 이용하여 사용자의 컨텐츠에 대한 몰입도를 분석할 수 있다. 몰입도는 이산적 시계열 데이터에서 확인된 사용자의 눈 깜빡임 인터벌의 변동계수(Coefficient of Variation; CV)를 이용하여 결정될 수 있다. 몰입도가 높은 컨텐츠에서는 사용자의 눈 깜빡임이 상대적으로 적게 발생하고, 이로 인해 사용자의 눈 깜빡임 인터벌은 길어지며 변동계수는 높아질 수 있다. 즉, 몰입도 계산부(155)는 사용자의 눈 깜빡임 인터벌의 변동계수가 높을수록 컨텐츠에 대한 사용자의 집중도가 높다고 판단할 수 있다. 한편, 집중도가 낮은 컨텐츠에서는 사용자의 눈 깜빡임이 상대적으로 많이 발생하고, 이로 인해 사용자의 눈 깜빡임 인터벌은 짧아지며 변동계수는 낮아질 수 있다. 몰입도 계산부(155)는 사용자의 눈 깜빡임 인터벌의 변동계수가 낮을수록 컨텐츠에 대한 사용자의 집중도가 낮다고 판단할 수 있다.
한편, 상기 몰입도 계산부(155)는 눈 깜빡임 횟수에 대하여 각 사용자별 특성을 반영할 수 있다. 이와 관련하여, 상기 몰입도 계산부(155)는 사용자의 눈 깜빡임의 평균값을 구하고, 평균 값을 기준으로 몰입도를 계산할 수 있다. 또는, 몰입도 계산부(155)는 다른 사용자들의 눈 깜빡임에 관한 전체 평균 값을 획득하고, 획득된 전체 평균 값을 기준으로 사용자의 눈 깜빡임 정도에 따른 몰입도를 계산할 수 있다.
상기 몰입도 보정부(157)는 얼굴 관련 이미지에서 눈꼬리 변화 값 및 입 꼬리 변화 값을 추출하고, 추출된 값을 기준으로 감정 정보를 산출할 수 있다. 상기 몰입도 보정부(157)는 예컨대, 눈꼬리 변화 및 입 꼬리 변화 값을 기준으로 사용자가 현재 흥미로운 감정 상태인지 판단할 수 있다. 또는, 상기 몰입도 보정부(157)는 눈꼬리 변화 및 입 꼬리 변화 값을 이용하여 사용자가 현재 기쁨 상태인지 화난 상태인지 등을 판단할 수 있다. 이와 관련하여, 상기 단말 장치(100)는 눈꼬리 변화 및 입 꼬리 변화에 대응하여 사용자의 감정 상태를 판단할 수 있는 데이터베이스 또는 알고리즘 등을 저장 및 운용할 수 있다. 상기 몰입도 보정부(157)는 사용자의 감정 정보를 기반으로 상기 몰입도를 보정할 수 있다. 예를 들어, 상기 몰입도 보정부(157)는 눈 깜빡임 횟수가 지정된 횟수 이상 발생하더라도, 현재 사용자의 감정 상태가 흥미로운 감정 상태이면, 상기 눈 깜빡임 횟수에 관계 없이 계산된 몰입도를 높일 수 있다. 또한, 상기 몰입도 보정부(157)는 눈 깜빡임 횟수가 지정된 횟수 미만으로 발생하더라도, 현재 사용자의 감정 상태가 무표정한 상태이면, 상대적으로 몰입도를 낮출 수 있다.
도 5는 본 발명의 실시 예에 따른 몰입도 운용 방법의 한 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 몰입도 운용 방법과 관련하여, 단말 장치(100)의 프로세서(150)는 단말 장치(100) 운용과 관련한 이벤트가 발생하면, 501 단계에서, 해당 이벤트가 컨텐츠 출력과 관련한 이벤트인지 확인할 수 있다. 발생된 이벤트가 컨텐츠 출력과 관련이 없는 이벤트인 경우, 프로세서(150)는 503 단계에서 이벤트에 대응하는 기능 수행을 처리할 수 있다. 예컨대, 상기 프로세서(150)는 발생된 이벤트 종류에 대응하여, 통화 기능을 지원하거나, 음악 재생 기능을 지원할 수 있다.
발생된 이벤트가 컨텐츠 출력과 관련한 이벤트인 경우, 상기 프로세서(150)는 지정된 컨텐츠를 디스플레이(160)에 출력하고, 505 단계에서, 카메라(170)를 활성화할 수 있다. 이 과정에서, 상기 프로세서(150)는 몰입도 계산 중임을 컨텐츠 재생 시작 시점에 상기 디스플레이(160)를 통하여 사용자에게 안내할 수 있다.
507 단계에서, 프로세서(150)는 활성화된 카메라(170)를 이용하여 사용자 얼굴 관련 정보 예컨대, 눈 깜빡임, 눈꼬리 움직임, 입 꼬리 움직임 정보를 수집할 수 있다. 이와 관련하여, 프로세서(150)는 카메라(170)가 획득한 이미지에 대하여 지정된 제1 영상 처리 방식을 적용하여 얼굴 영역을 검출하고, 상기 얼굴 영역에 대하여 지정된 제2 영상 처리 방식을 적용하여 눈 영역, 입 주변 영역 등을 검출할 수 있다. 상기 제1 영상 처리 방식은 이미지에서 특징점을 추출하고, 추출된 특징점과 사전 정의된 얼굴 특징점을 비교하여 얼굴 영역을 검출하는 방식을 포함할 수 있다. 상기 제2 영상 처리 방식은 얼굴 영역에서 특징점을 추출하고, 추출된 특징점과 사전 정의된 눈 영역의 특징점 분포 값 및 입 주변 영역의 특징점 분포 값과의 비교를 통하여 눈 영역 및 입 주변 영역을 검출하는 방식을 포함할 수 있다.
509 단계에서, 프로세서(150)는 눈 깜빡임 정보 기반 몰입도를 계산할 수 있다. 또한, 프로세서(150)는 감정 정보 기반 몰입도 보정을 수행할 수 있다. 예컨대, 프로세서(150)는 눈 깜빡임 횟수에 따라 몰입도 점수를 산출하되, 눈 깜빡임 횟수가 낮을수록 몰입도 점수를 높게 책정하고, 눈 깜빡임 횟수가 높을수록 몰입도 점수를 낮게 책정할 수 있다. 상기 프로세서(150)는 몰입도 점수가 산출되면, 감정 정보를 기반으로 산출된 몰입도 점수를 보정할 수 있다. 예를 들어, 프로세서(150)는 눈꼬리 정보 및 입 꼬리 정보를 통해 현재 사용자가 흥미로운 감정 상태인 경우, 몰입도 점수를 높일 수 있다. 또는, 프로세서(150)는 눈꼬리 정보 및 입 꼬리 정보를 통해 현재 사용자가 무표정한 상태이면, 몰입도 점수를 낮출 수 있다.
511 단계에서, 상기 프로세서(150)는 몰입도 정보를 서비스 장치(200)에 제공할 수 있다. 상기 프로세서(150)는 컨텐츠를 제공한 서비스 장치(200)에 상기 몰입도 정보를 제공하거나, 지정된 컨텐츠를 제공하는 서비스 장치(200)에 몰입도 정보를 제공할 수 있다.
513 단계에서, 프로세서(150)는 서비스 장치(200)로부터 컨텐츠 추천 리스트를 수신할 수 있다. 상기 프로세서(150)는 수신된 컨텐츠 추천 리스트를 디스플레이(160)에 출력할 수 있다.
515 단계에서, 프로세서(150)는 단말 장치(100)의 기능 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 기능 종료와 관련한 이벤트가 발생하면, 상기 프로세서(150)는 단말 장치(100)의 기능을 종료할 수 있다. 예컨대, 상기 프로세서(150)는 서비스 장치(200)와의 접속을 종료할 수 있다. 또는, 상기 프로세서(150)는 출력 중인 컨텐츠의 재생을 종료하고 디스플레이(160)를 턴-오프할 수 있다. 기능 종료와 관련한 이벤트 발생이 없으면, 프로세서(150)는 501 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
상술한 본 발명의 몰입도 운용 방법 및 이를 지원하는 전자 장치에 따르면, 본 발명은 컨텐츠에 대한 사용자의 몰입도를 보다 정확히 산출함으로써, 특정 컨텐츠에 대한 사용자의 선호도에 대한 신뢰도를 개선할 수 있다. 이에 따라, 본 발명은 사용자에게 보다 적합한 컨텐츠를 추천함으로써, 사용자의 컨텐츠 검색 등에 소요되는 시간을 아끼고 관심 있는 컨텐츠에 보다 집중할 수 있는 환경을 제공할 수 있다.
50: 네트워크
100: 단말 장치
110: 통신 회로
120: 입력부
130: 오디오 처리부
140: 메모리
150: 프로세서
160: 디스플레이
170: 카메라
200: 서비스 장치
210: 서버 통신 회로
240: 서버 메모리
250: 서버 프로세서
100: 단말 장치
110: 통신 회로
120: 입력부
130: 오디오 처리부
140: 메모리
150: 프로세서
160: 디스플레이
170: 카메라
200: 서비스 장치
210: 서버 통신 회로
240: 서버 메모리
250: 서버 프로세서
Claims (12)
- 컨텐츠를 출력하는 디스플레이;
사용자 관련 이미지를 수집하는 카메라;
상기 디스플레이 및 상기 카메라와 기능적으로 연결된 프로세서;를 포함하고,
상기 프로세서는
상기 컨텐츠 재생이 요청되면 상기 컨텐츠 재생 화면을 상기 디스플레이 출력하면서, 상기 카메라를 활성화하고,
상기 활성화된 카메라를 이용하여 사용자의 얼굴 관련 이미지를 획득하고,
상기 얼굴 관련 이미지에서 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 추출하고,
상기 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 기반으로 상기 컨텐츠에 대한 사용자의 몰입도를 산출하도록 설정된 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
상기 프로세서는
상기 눈 깜빡임 정보를 기반으로 몰입도 점수를 산출하고,
상기 눈꼬리 정보 및 상기 입 꼬리 정보를 기반으로 사용자의 감정 정보를 산출하고,
상기 몰입도 점수를 상기 감정 정보를 기반으로 보정하도록 설정된 것을 특징으로 하는 전자 장치. - 제2항에 있어서,
상기 프로세서는
상기 감정 정보가 흥미로운 감정 상태를 나타내는 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 높이도록 설정된 것을 특징으로 하는 전자 장치. - 제2항에 있어서,
상기 프로세서는
상기 감정 정보가 무표정한 상태인 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 낮추도록 설정된 것을 특징으로 하는 전자 장치. - 제1항에 있어서,
상기 컨텐츠를 제공하는 서비스 장치와 통신 채널을 형성하는 통신 회로를 더 포함하는 것을 특징으로 하는 전자 장치. - 제5항에 있어서,
상기 프로세서는
상기 통신 회를 통하여 상기 몰입도 점수를 상기 서비스 장치에 전송하고,
상기 서비스 장치로부터 상기 몰입도 점수를 기반으로 생성된 컨텐츠 추천 리스트를 수신하고,
상기 수신된 컨텐츠 추천 리스트를 상기 디스플레이에 출력하도록 설정된 것을 특징으로 하는 전자 장치. - 단말 장치가,
컨텐츠 재생 요청을 수신하는 단계;
상기 컨텐츠 재생 요청에 따라 상기 컨텐츠의 재생 화면을 상기 디스플레이 출력하면서, 상기 카메라를 활성화하는 단계;
상기 활성화된 카메라를 이용하여 사용자의 얼굴 관련 이미지를 획득하는 단계;
상기 얼굴 관련 이미지를 기반으로 상기 컨텐츠에 대한 사용자의 몰입도를 산출하는 단계;
상기 산출된 몰입도 정보를 지정된 서비스 장치에 제공하는 단계;
상기 서비스 장치로부터 상기 몰입도 정보를 기반으로 생성된 컨텐츠 추천 리스트를 수신하여 출력하는 단계;를 포함하는 것을 특징으로 하는 몰입도 운용 방법. - 제7항에 있어서,
상기 몰입도를 산출하는 단계는
상기 얼굴 관련 이미지에서 눈 깜빡임 정보, 눈꼬리 정보 및 입 꼬리 정보를 추출하는 단계;
상기 눈 깜빡임 정보를 기반으로 몰입도 점수를 산출하는 단계;
상기 눈꼬리 정보 및 상기 입 꼬리 정보를 기반으로 사용자의 감정 정보를 산출하는 단계;
상기 몰입도 점수를 상기 감정 정보를 기반으로 보정하는 단계;를 포함하는 것을 특징으로 하는 몰입도 운용 방법. - 제7항에 있어서,
상기 보정하는 단계는
상기 감정 정보가 흥미로운 감정 상태를 나타내는 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 높이는 단계; 또는
상기 감정 정보가 무표정한 상태인 경우, 상기 눈 깜빡임 정보를 기반으로 산출된 몰입도 점수를 지정된 값만큼 낮추는 단계;를 포함하는 것을 특징으로 하는 몰입도 운용 방법. - 서버 통신 회로;
상기 서버 통신 회로와 기능적으로 연결된 서버 프로세서;를 포함하고,
상기 서버 프로세서는
상기 서버 통신 회로를 이용하여 단말 장치와 통신 채널을 형성하고,
상기 단말 장치 요청에 대응하여 지정된 컨텐츠를 상기 단말 장치에 제공하고,
상기 단말 장치로부터 상기 지정된 컨텐츠와 관련한 사용자의 몰입도 정보를 수신하고,
상기 몰입도 정보를 기반으로 컨텐츠 추천 리스트를 생성하고,
상기 컨텐츠 추천 리스트를 상기 단말 장치에 전송하도록 설정된 것을 특징으로 하는 서비스 장치. - 제10항에 있어서,
상기 서버 프로세서는
상기 몰입도의 점수가 높을수록 상기 컨텐츠에 대한 사용자 평점을 높게 부여하고,
상기 몰입도의 점수가 낮을수록 상기 컨텐츠에 대한 사용자 평점을 낮게 부여하도록 설정된 것을 특징으로 하는 서비스 장치. - 제11항에 있어서,
상기 서버 프로세서는
상기 컨텐츠에 대하여 동일한 사용자 평점을 부여한 다른 사용자들을 검색하고,
상기 다른 사용자들이 부여한 평점이 지정된 값 이상인 컨텐츠들을 검색하고,
상기 검색된 컨텐츠들을 기반으로 상기 컨텐츠 추천 리스트를 생성하도록 설정된 것을 특징으로 하는 서비스 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180152520A KR102222747B1 (ko) | 2018-11-30 | 2018-11-30 | 몰입도 운용 방법 및 이를 지원하는 전자 장치 |
| PCT/KR2019/015921 WO2020111637A1 (ko) | 2018-11-30 | 2019-11-20 | 몰입도 운용 방법 및 이를 지원하는 전자 장치 |
| US17/298,421 US20220036427A1 (en) | 2018-11-30 | 2019-11-20 | Method for managing immersion level and electronic device supporting same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180152520A KR102222747B1 (ko) | 2018-11-30 | 2018-11-30 | 몰입도 운용 방법 및 이를 지원하는 전자 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200065755A true KR20200065755A (ko) | 2020-06-09 |
| KR102222747B1 KR102222747B1 (ko) | 2021-03-04 |
Family
ID=70852889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180152520A KR102222747B1 (ko) | 2018-11-30 | 2018-11-30 | 몰입도 운용 방법 및 이를 지원하는 전자 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220036427A1 (ko) |
| KR (1) | KR102222747B1 (ko) |
| WO (1) | WO2020111637A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102427964B1 (ko) * | 2021-12-16 | 2022-08-02 | 조현경 | 양방향 반응성 웹드라마 시스템 |
| KR102512468B1 (ko) * | 2022-11-09 | 2023-03-22 | 주식회사 제로투원파트너스 | 동영상 콘텐츠에 대한 시청자 반응 분석 장치 및 방법 |
| WO2023106591A1 (ko) * | 2021-12-08 | 2023-06-15 | 삼성전자 주식회사 | 사용자의 감정에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110035820A (ko) * | 2009-09-29 | 2011-04-06 | 주식회사 플레이버프로젝트 | 사용자의 집중도 또는 호감도에 기초하여 광고의 과금을 수행하는 방법 및 그 시스템 |
| KR20160029269A (ko) * | 2014-09-05 | 2016-03-15 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버 |
| KR20170049997A (ko) | 2015-10-29 | 2017-05-11 | 에스케이플래닛 주식회사 | 안구 상태로부터 피로도를 판단하여 추천장소를 제공하는 웨어러블 디바이스, 추천장소 제공서버 및 방법 |
| KR20170136160A (ko) * | 2016-06-01 | 2017-12-11 | 주식회사 아이브이티 | 시청자 몰입도 평가 시스템 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160191995A1 (en) * | 2011-09-30 | 2016-06-30 | Affectiva, Inc. | Image analysis for attendance query evaluation |
| KR101690366B1 (ko) * | 2014-03-28 | 2016-12-28 | 경희대학교 산학협력단 | 컨텐츠에 대한 사용자 반응을 고려한 컨텐츠 추천 방법 |
| KR101790951B1 (ko) * | 2016-03-24 | 2017-10-27 | (주)잼투고 | 몰입성 이벤트 기반 컨텐츠 가중치 조정 시스템 및 이를 이용한 컨텐츠 가중치 조정방법 |
| EP3599536A4 (en) * | 2017-03-21 | 2020-04-08 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| KR102174345B1 (ko) * | 2018-06-12 | 2020-11-04 | 영남대학교 산학협력단 | 몰입도 측정장치 및 방법 |
| KR20200063777A (ko) * | 2018-11-28 | 2020-06-05 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
-
2018
- 2018-11-30 KR KR1020180152520A patent/KR102222747B1/ko active IP Right Grant
-
2019
- 2019-11-20 US US17/298,421 patent/US20220036427A1/en active Pending
- 2019-11-20 WO PCT/KR2019/015921 patent/WO2020111637A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110035820A (ko) * | 2009-09-29 | 2011-04-06 | 주식회사 플레이버프로젝트 | 사용자의 집중도 또는 호감도에 기초하여 광고의 과금을 수행하는 방법 및 그 시스템 |
| KR20160029269A (ko) * | 2014-09-05 | 2016-03-15 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버 |
| KR20170049997A (ko) | 2015-10-29 | 2017-05-11 | 에스케이플래닛 주식회사 | 안구 상태로부터 피로도를 판단하여 추천장소를 제공하는 웨어러블 디바이스, 추천장소 제공서버 및 방법 |
| KR20170136160A (ko) * | 2016-06-01 | 2017-12-11 | 주식회사 아이브이티 | 시청자 몰입도 평가 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023106591A1 (ko) * | 2021-12-08 | 2023-06-15 | 삼성전자 주식회사 | 사용자의 감정에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법 |
| KR102427964B1 (ko) * | 2021-12-16 | 2022-08-02 | 조현경 | 양방향 반응성 웹드라마 시스템 |
| KR102512468B1 (ko) * | 2022-11-09 | 2023-03-22 | 주식회사 제로투원파트너스 | 동영상 콘텐츠에 대한 시청자 반응 분석 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102222747B1 (ko) | 2021-03-04 |
| US20220036427A1 (en) | 2022-02-03 |
| WO2020111637A1 (ko) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230012732A1 (en) | Video data processing method and apparatus, device, and medium | |
| US20170289619A1 (en) | Method for positioning video, terminal apparatus and cloud server | |
| CN103760968B (zh) | 数字标牌显示内容选择方法和装置 | |
| US9674485B1 (en) | System and method for image processing | |
| CN109993150B (zh) | 用于识别年龄的方法和装置 | |
| CN109478142B (zh) | 呈现为预测的用户活动定制的用户界面的方法、系统和介质 | |
| KR101850101B1 (ko) | 시선 추적을 이용한 광고 제공 방법 | |
| KR102222747B1 (ko) | 몰입도 운용 방법 및 이를 지원하는 전자 장치 | |
| WO2015029393A1 (ja) | 情報処理装置および情報処理方法 | |
| US9870357B2 (en) | Techniques for translating text via wearable computing device | |
| CN109862100B (zh) | 用于推送信息的方法和装置 | |
| US20170185365A1 (en) | System and method for screen sharing | |
| CN109271929B (zh) | 检测方法和装置 | |
| JP5881647B2 (ja) | 判定装置、判定方法及び判定プログラム | |
| JP2019505911A (ja) | 世論に対するｐｒ活動の実施方法、システム、ユーザ端末及びコンピュータ読取り可能な記憶媒体 | |
| CN108600780B (zh) | 用于推送信息的方法、电子设备、计算机可读介质 | |
| JP5829590B2 (ja) | 疲労感評価装置、疲労感評価方法、及びプログラム | |
| JP2019036191A (ja) | 判定装置、判定方法及び判定プログラム | |
| KR20210051349A (ko) | 전자장치 및 그 제어방법 | |
| CN110659387A (zh) | 用于提供视频的方法和设备 | |
| JP2017182527A (ja) | 情報処理システム | |
| CN111309230B (zh) | 信息展示方法、装置、电子设备及计算机可读存储介质 | |
| US10904598B2 (en) | Apparatuses, systems and methods for sharing content | |
| CN112004116B (zh) | 用于确定对象添加方式的方法、装置、电子设备和介质 | |
| CN112309387A (zh) | 用于处理信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |