KR20230013772A - 콘텐츠 표시 장치 및 방법 - Google Patents

콘텐츠 표시 장치 및 방법 Download PDF

Info

Publication number
KR20230013772A
KR20230013772A KR1020210094637A KR20210094637A KR20230013772A KR 20230013772 A KR20230013772 A KR 20230013772A KR 1020210094637 A KR1020210094637 A KR 1020210094637A KR 20210094637 A KR20210094637 A KR 20210094637A KR 20230013772 A KR20230013772 A KR 20230013772A
Authority
KR
South Korea
Prior art keywords
user
gaze
content
display device
content display
Prior art date
Application number
KR1020210094637A
Other languages
English (en)
Inventor
석윤찬
이승우
김세종
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020210094637A priority Critical patent/KR20230013772A/ko
Priority to PCT/KR2021/012315 priority patent/WO2023003075A1/ko
Publication of KR20230013772A publication Critical patent/KR20230013772A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

콘텐츠 표시 장치 및 방법이 개시된다. 개시되는 일 실시예에 따른 콘텐츠 표시 장치는, 콘텐츠를 화면에 표시하는 콘텐츠 표시 장치로서, 콘텐츠가 화면에 표시되는 동안 사용자를 촬영한 촬영 영상에 기반하여 사용자의 시선을 추적하고 기 설정된 이벤트가 발생하는지 여부를 확인하는 시선 분석 모듈 및 기 설정된 이벤트가 발생하는 경우 콘텐츠의 재생 속도를 조정하는 재생 제어 모듈을 포함한다.

Description

콘텐츠 표시 장치 및 방법{APPARATUS AND METHOD FOR DISPLAY CONTENTS}
본 발명의 실시예는 콘텐츠 표시 기술과 관련된다.
최근, IT 기술의 발달로 온라인을 이용한 수업 또는 강의가 활발히 진행되고 있으며, 코로나 바이러스로 인해 학생들이 동영상과 같은 콘텐츠를 통해 학업을 하는 경우가 증가하고 있다. 이러한 동영상을 통해 수업 또는 강의를 받을 때, 학습자가 중요 내용을 필기하려고 하면, 동영상을 정지시킨 후 필기를 하고 다시 동영상을 재생시켜야 하는 번거로움이 있다.
한국등록특허공보 제10-0885596호(2009.02.24)
본 발명의 실시예는 콘텐츠 표시를 위한 새로운 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 콘텐츠 표시 장치는, 콘텐츠를 화면에 표시하는 콘텐츠 표시 장치로서, 상기 콘텐츠가 화면에 표시되는 동안 사용자를 촬영한 촬영 영상에 기반하여 상기 사용자의 시선을 추적하고 기 설정된 이벤트가 발생하는지 여부를 확인하는 시선 분석 모듈; 및 상기 기 설정된 이벤트가 발생하는 경우 상기 콘텐츠의 재생 속도를 조정하는 재생 제어 모듈을 포함한다.
상기 재생 제어 모듈은, 상기 사용자의 시선이 상기 화면 중 기 설정된 위치에 고정되는 경우, 상기 위치와 매칭되어 저장된 재생 설정 값을 추출하고, 추출한 상기 재생 설정 값을 기반으로 상기 콘텐츠를 재생시킬 수 있다.
상기 화면의 복수 개의 위치에 서로 다른 재생 설정 값이 매칭되어 저장되고, 상기 재생 설정 값은, 콘텐츠의 재생 재개 시점, 재생 속도, 자막 종류, 및 자막 여부 중 하나 이상을 포함할 수 있다.
상기 시선 분석 모듈은, 상기 촬영 영상에 기반하여 상기 콘텐츠에 대한 상기 사용자의 시선 집중도를 산출할 수 있다.
상기 재생 제어 모듈은, 상기 시선 집중도에 기반하여 상기 콘텐츠의 특정 구간에 대해 북마크를 생성하고, 상기 북마크가 생성된 구간에 대해 상기 사용자가 다시 볼 수 있도록 사용자 인터페이스를 제공할 수 있다.
상기 시선 분석 모듈은, 상기 촬영 영상에서 사용자의 부재에 따른 부재 점수(Absence Score), 상기 촬영 영상에서 사용자의 시선 중 픽세이션에 따른 픽세이션 비율 점수(Fixation Ratio Score), 및 상기 촬영 영상에서 사용자의 시선 중 픽세이션 및 사카드에 따른 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 기반하여 상기 사용자의 시선 집중도를 산출할 수 있다.
상기 시선 분석 모듈은, 하기 수학식에 의해 상기 사용자의 시선 집중도를 산출할 수 있다.
(수학식)
시선 집중도 = λ·부재 점수 + μ· 픽세이션 비율 점수 + ν·사카드 대비 픽세이션 비율 점수
λ : 제1 가중치
μ : 제2 가중치
ν : 제3 가중치
상기 콘텐츠 표시 장치는, 상기 시선 집중도에 기반하여 상기 사용자의 눈 피로도를 산출하는 사용자 케어 모듈을 더 포함할 수 있다.
상기 사용자 케어 모듈은, 상기 시선 집중도가 기 설정된 임계 값 이상으로 지속되는 시간에 기반하여 상기 눈 피로도를 산출하며, 산출된 상기 눈 피로도가 기 설정된 기준 이상이 되는 경우 눈 운동 안내를 상기 사용자에게 제공할 수 있다.
상기 사용자 케어 모듈은, 상기 사용자의 눈 피로도가 기 설정된 기준 이상이 되는 경우 상기 콘텐츠 표시 장치의 화면 모드를 눈 보호 모드로 변경할 수 있다.
상기 콘텐츠 표시 장치는, 상기 시선 집중도에 기반하여 상기 콘텐츠의 일부 구간에 대한 비디오 클립을 생성하는 클립 생성 모듈을 더 포함할 수 있다.
상기 클립 생성 모듈은, 상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하여 제1 비디오 클립을 생성하거나 상기 콘텐츠에서 상기 시선 집중도가 상기 제1 임계 값 보다 높게 설정된 제2 임계 값 이상인 구간을 추출하여 제2 비디오 클립을 생성할 수 있다.
상기 클립 생성 모듈은, 상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하고, 상기 콘텐츠에서 상기 제1 임계 값 미만인 구간을 제외하여 상기 콘텐츠에 대한 압축 동영상을 생성할 수 있다.
상기 클립 생성 모듈은, 상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제2 임계 값 이상인 구간을 추출하고, 상기 추출한 구간들을 시간 순으로 연결하여 상기 콘텐츠에 대한 압축 동영상을 생성할 수 있다.
상기 콘텐츠 표시 장치는, 상기 콘텐츠 표시 장치와 상기 사용자 간의 거리에 따라 상기 사용자의 시력을 보호하기 위한 조치를 취하는 사용자 케어 모듈을 더 포함할 수 있다.
상기 사용자 케어 모듈은, 상기 콘텐츠 표시 장치와 상기 사용자 간의 거리가 기 설정된 제1 임계 거리 이내인 경우 상기 콘텐츠 표시 장치의 화면 모드를 눈 보호 모드로 변경하고, 상기 콘텐츠 표시 장치와 상기 사용자 간의 거리가 상기 제1 임계 거리 보다 짧게 설정된 제2 임계 거리 이내인 경우 상기 콘텐츠 표시 장치의 화면을 오프시킬 수 있다.
상기 콘텐츠 표시 장치는, 상기 촬영 영상을 기반으로 상기 사용자의 졸음 여부를 감지하고, 상기 사용자가 졸고 있는 경우 상기 사용자에게 알람을 제공하는 사용자 케어 모듈을 더 포함할 수 있다.
개시되는 일 실시예에 따른 콘텐츠 표시 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 콘텐츠를 재생하여 화면에 표시하는 단계; 상기 콘텐츠가 화면에 표시되는 동안 사용자를 촬영하여 촬영 영상을 생성하는 단계; 상기 촬영 영상에 기반하여 상기 사용자의 시선을 추적하고 기 설정된 이벤트가 발생하는지 여부를 확인하는 단계; 및 상기 기 설정된 이벤트가 발생하는 경우 상기 콘텐츠의 재생 속도를 조정하는 단계를 포함한다.
개시되는 실시예에 의하면, 사용자의 얼굴이 검출되지 않거나 사용자의 시선이 화면을 벗어난 경우, 재생중인 콘텐츠의 재생 속도를 정지시키거나 느리게 재생시키고, 사용자가 화면 중 기 설정된 위치에 시선을 고정하는 경우 해당 위치에 매칭된 재생 설정 값을 기반으로 콘텐츠를 재생시킴으로써, 사용자가 필기를 하거나 잠시 자리를 비우는 경우와 같은 사용자 행동에 반응하여 콘텐츠의 재생 속도를 자동으로 조절할 수 있으며, 그로 인해 사용자 편의성을 향상시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 시선 기반의 콘텐츠 표시 장치의 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에서 페이스 미싱 구간을 나타낸 도면
도 3은 개시되는 일 실시예에서 아웃 오브 스크린(Out of Screen) 구간을 나타낸 도면
도 4는 본 발명의 일 실시예에서 사용자의 시선 속도 산출을 설명하기 위한 도면
도 5는 본 발명의 일 실시예에서 시선 분포의 표준 편차 산출을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에서 전체 시간 중 픽세이션 구간 및 사카드 구간을 나타낸 도면
도 7은 본 발명의 일 실시예에서 콘텐츠 표시 장치의 화면에 재생 설정 값이 매칭되어 저장된 상태를 개략적으로 나타낸 도면
도 8은 본 발명의 일 실시예에 따른 콘텐츠 표시 장치의 화면 구성을 개략적으로 나타낸 도면
도 9는 본 발명의 일 실시예에 따른 시선 추적 기반의 콘텐츠 제공 시스템을 나타낸 도면
도 10은 본 발명의 일 실시예에서 사용자들의 시선 집중도가 제2 임계 값 이상인 구간들을 추출한 후 이를 연결하여 콘텐츠에 대한 압축 동영상을 생성하는 상태를 개략적으로 나타낸 도면
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선 기반의 콘텐츠 표시 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 콘텐츠 표시 장치(100)는 시선 분석 모듈(102), 재생 제어 모듈(104), 사용자 케어 모듈(106), 및 클립 생성 모듈(108)을 포함할 수 있다.
콘텐츠 표시 장치(100)는 콘텐츠(예를 들어, 동영상, 화상 회의, PPT 슬라이드, 방송 등)을 재생하여 표시하는 장치일 수 있다. 예시적인 실시예에서, 콘텐츠 표시 장치(100)는 스마트 폰, 노트북, 태블릿 PC, 데스크 탑 PC 등을 포함할 수 있다.
시선 분석 모듈(102)은 사용자를 촬영하기 위한 카메라를 포함할 수 있다. 여기서, 사용자는 콘텐츠 표시 장치(100)에 표시되는 콘텐츠를 시청하는 사용자일 수 있다. 시선 분석 모듈(102)은 사용자를 촬영한 영상에 기반하여 콘텐츠 표시 장치(100)에 표시되는 콘텐츠에 대한 사용자의 시선을 추적할 수 있다. 시선 분석 모듈(102)은 콘텐츠 표시 장치(100) 내에 구비된 카메라 및 어플리케이션 등을 통해 구현될 수 있으나, 이에 한정되는 것은 아니며 별도의 장치로 마련되고 콘텐츠 표시 장치(100)에 장착될 수도 있다.
시선 분석 모듈(102)은 사용자의 촬영 영상에 기반하여 기 설정된 이벤트가 발생하는지 여부를 확인할 수 있다. 시선 분석 모듈(102)은 콘텐츠가 콘텐츠 표시 장치(100)의 화면에서 표시되는 동안 기 설정된 이벤트가 발생하는지 여부를 확인할 수 있다. 여기서, 기 설정된 이벤트는 페이스 미싱(Face Missing) 이벤트 또는 아웃 오브 스크린(Out of Screen) 이벤트일 수 있다. 페이스 미싱 이벤트는 사용자의 촬영 영상에서 사용자의 얼굴을 검출할 수 없는 경우에 발생할 수 있다. 아웃 오브 스크린 이벤트는 사용자의 촬영 영상을 기반으로 획득한 사용자의 시선 좌표가 화면 밖의 영역에 있는 경우에 발생할 수 있다.
또한, 시선 분석 모듈(102)은 사용자의 촬영 영상에 기반하여 사용자의 시선 집중도를 산출할 수 있다. 구체적으로, 시선 분석 모듈(102)은 사용자의 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출할 수 있다. 이때, 사용자의 촬영 영상에서 사용자의 얼굴을 검출할 수 없는 구간을 페이스 미싱(Face Missing) 구간으로 설정할 수 있다. 도 2는 본 발명의 일 실시예에서 페이스 미싱 구간을 나타낸 도면이다.
예시적인 실시예에서, 사용자의 촬영 영상은 1초당 30프레임으로 획득될 수 있으며, 시선 분석 모듈(102)은 각 프레임마다 사용자의 얼굴이 검출되는지를 확인할 수 있다. 시선 분석 모듈(102)은 사용자의 얼굴이 검출되지 않는 하나 이상의 프레임의 구간들을 페이스 미싱 구간으로 설정할 수 있다.
시선 분석 모듈(102)은 전체 시간(즉, 콘텐츠가 표시되는 동안 사용자의 촬영 영상을 획득한 전체 시간) 대비 페이스 미싱 구간의 비율을 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 1을 통해 페이스 미싱 구간 비율(Face Missingratio)을 산출할 수 있다.
(수학식 1)
Figure pat00001
T : 전체 시간
Face Missingk : k번째 페이스 미싱 구간의 시간 길이
i : 전체 시간 중 페이스 미싱 구간의 개수
또한, 시선 분석 모듈(102)은 사용자의 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출할 수 있다. 구체적으로, 시선 분석 모듈(102)은 사용자의 촬영 영상에서 사용자의 얼굴을 검출한다. 시선 분석 모듈(102)은 기 공지된 얼굴 인식 기술을 통해 촬영 영상에서 사용자의 얼굴을 검출할 수 있다.
시선 분석 모듈(102)은 검출된 얼굴 영역을 기반으로 사용자의 시선 좌표 정보를 획득할 수 있다. 시선 분석 모듈(102)은 검출된 얼굴 영역에서 눈 영역을 검출하고, 검출된 눈 영역에 기반하여 사용자의 시선 좌표를 검출할 수 있다. 시선 분석 모듈(102)은 사용자의 시선 좌표(x, y)와 그에 대응하는 타임 스탬프(timestamp)를 매칭하여 시선 좌표 정보를 획득할 수 있다. 즉, 시선 좌표 정보는 시선 좌표(x,y) 및 그에 대응하는 타임 스탬프를 포함할 수 있다.
시선 분석 모듈(102)은 사용자의 시선 좌표 정보에 기반하여 콘텐츠 표시 장치(100)의 화면과 동일한 평면의 가상 평면 상에서 사용자의 시선 좌표가 화면 내의 영역(Gaze in Screen)에 있는지 아니면 화면 밖의 영역(즉, Out of Screen)에 있는지를 확인할 수 있다. 도 3은 개시되는 일 실시예에서 아웃 오브 스크린(Out of Screen) 구간을 나타낸 도면이다. 시선 분석 모듈(102)은 사용자의 시선이 화면 밖의 영역에 있는 구간을 아웃 오브 스크린(Out of Screen) 구간으로 설정할 수 있다.
시선 분석 모듈(102)은 전체 시간 대비 아웃 오브 스크린(Out of Screen) 구간의 비율을 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 2를 통해 아웃 오브 스크린 비율(Out of Screenratio)을 산출할 수 있다.
(수학식 2)
Figure pat00002
T : 전체 시간
Out of Screenk : k번째 아웃 오브 스크린 구간의 시간 길이
m : 전체 시간 중 아웃 오브 스크린 구간의 개수
시선 분석 모듈(102)은 페이스 미싱 구간 비율 및 아웃 오브 스크린 비율에 기반하여 시선 집중도 산출을 위한 제1 요소인 부재 점수(Absence Score)를 산출할 수 있다. 시선 분석 모듈(102)은 페이스 미싱 구간 비율 및 아웃 오브 스크린 비율이 커질수록 부재 점수가 낮아지도록 할 수 있다. 예시적인 실시예에서, 시선 분석 모듈(102)은 다음의 수학식 3을 통해 부재 점수(Absence Score)를 산출할 수 있다.
(수학식 3)
Figure pat00003
또한, 시선 분석 모듈(102)은 사용자의 시선 좌표 정보에 기반하여 사용자의 시선 속도를 산출할 수 있다. 도 4는 본 발명의 일 실시예에서 사용자의 시선 속도 산출을 설명하기 위한 도면이다. 여기서는, 시선 속도를 측정하기 위한 시구간 길이를 200ms로 하였다.
도 4를 참조하면, 시선 분석 모듈(102)은 사용자의 시선 속도를 산출하고자 하는 시점(즉, 현재 시점)(해당 시선 좌표의 타임 스탬프에 대응하는 시점)을 기준으로 그 이전의 기 설정된 시구간(예를 들어, 200ms) 동안 획득된 시선 좌표 정보를 추출할 수 있다. 시선 분석 모듈(102)은 시선 속도 산출 시점을 기준으로 그 이전의 기 설정된 시구간을 2개의 시구간(제1 시구간 및 제2 시구간)으로 구분할 수 있다. 여기서, 제1 시구간 및 제2 시구간은 동일 시간 길이의 구간일 수 있으나, 이에 한정되는 것은 아니다.
시선 분석 모듈(102)은 제1 시구간에서 획득된 시선 좌표들, 제2 시구간에서 획득된 시선 좌표들, 및 기 설정된 시구간을 기반으로 시선 속도 산출 시점에서의 사용자의 시선 속도를 산출할 수 있다. 예시적인 실시예에서, 시선 분석 모듈(102)은 다음의 수학식 4를 통해 시선 속도 산출 시점에서의 사용자의 시선 속도(Velocitynow)를 산출할 수 있다. 시선 분석 모듈(102)은 획득한 각 시선 좌표의 타임 스탬프에서의 시선 속도를 산출할 수 있다.
(수학식 4)
Figure pat00004
Time Range : 기 설정된 시구간
Gaze Coordinateavg_range1: 제1 시구간에서 획득된 시선 좌표들의 평균값
Gaze Coordinateavg_range2: 제2 시구간에서 획득된 시선 좌표들의 평균값
또한, 시선 분석 모듈(102)은 획득한 각 시선 좌표 정보에 대해 사용자 시선의 시선 종류(예를 들어, 픽세이션(Fixation) 또는 사카드(Saccade))를 확인할 수 있다.
구체적으로, 시선 분석 모듈(102)은 시선 종류(픽세이션 또는 사카드)를 확인하고자 하는 시점(즉, 현재 시점)(해당 시선 좌표의 타임 스탬프에 대응하는 시점)을 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보를 이용하여 시선 분포의 표준 편차를 산출할 수 있다. 도 5는 본 발명의 일 실시예에서 시선 분포의 표준 편차 산출을 설명하기 위한 도면이다.
도 5를 참조하면, 시선 분석 모듈(102)은 시선 종류 확인 시점을 기준으로 기 설정된 시구간(예를 들어, 1,000ms) 동안 획득된 n개의 시선 좌표 정보를 추출할 수 있다. 시선 분석 모듈(102)은 하기의 수학식 5를 통해 시선 종류 확인 시점을 기준으로 기 설정된 시구간 동안 획득된 n개의 시선 좌표에 대한 표준 편차(σnow)를 산출할 수 있다.
(수학식 5)
Figure pat00005
Gazei : 기 설정된 시구간 동안 획득된 시선 좌표들 중 i번째 시선 좌표
Average Gaze : 기 설정된 시구간 동안 획득된 시선 좌표들의 평균값
n : 기 설정된 시구간 동안 획득된 시선 좌표 정보의 개수
시선 분석 모듈(102)은 시선 종류 확인 시점에 대응하는 시선 좌표에 대한 표준 편차(σnow)가 기 설정된 임계 표준 편차 값 미만이면서, 시선 종류 확인 시점에 대응하는 사용자의 시선 속도(Velocitynow)가 기 설정된 최대 임계 속도 미만인 경우, 해당 시선 좌표 정보에 대한 사용자의 시선이 픽세이션인 것으로 분류할 수 있다.
즉, 시선 종류 확인 시점을 기준으로 시선 분포가 어느 정도 집중되어 있으면서 사용자의 시선 속도가 최대 임계 속도보다 작은 경우는 사용자의 시선이 픽세이션에서 사카드로 전환되기 전의 상태인 것으로 판단하여 사용자의 시선을 픽세이션으로 분류할 수 있다.
또한, 시선 분석 모듈(102)은 시선 종류 확인 시점에 대응하는 시선 좌표에 대한 표준 편차(σnow)가 기 설정된 임계 표준 편차 값 이상이면서, 시선 종류 확인 시점에 대응하는 사용자의 시선 속도(Velocitynow)가 기 설정된 최소 임계 속도 미만인 경우, 해당 시선 좌표 정보에 대한 사용자의 시선이 픽세이션인 것으로 분류할 수 있다. 최소 임계 속도는 최대 임계 속도 보다 작은 속도 값으로 설정된다.
즉, 시선 종류 확인 시점을 기준으로 시선 분포가 분산되어 있더라도 사용자의 시선 속도가 최소 임계 속도보다 작은 경우는 사용자의 시선이 사카드에서 픽세이션으로 전환된 상태인 것으로 판단하여 사용자의 시선을 픽세이션으로 분류할 수 있다. 시선 분석 모듈(102)은 각 시선 좌표 정보에 대해 사용자의 시선이 픽세이션으로 분류된 것을 제외하고는 사카드로 분류할 수 있다.
또한, 시선 분석 모듈(102)은 전체 시간(즉, 콘텐츠가 표시되는 동안 사용자의 촬영 영상을 획득한 전체 시간)에 대한 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출할 수 있다.
여기서, 픽세이션 구간 관련 정보는 픽세이션 구간 여부(전체 시간 중 특정 구간이 픽세이션 구간인지에 대한 정보), 픽세이션 구간의 평균 시간 길이, 및 픽세이션 구간의 비율을 포함할 수 있다. 사카드 구간 관련 정보는 사카드 구간 여부(전체 시간 중 특정 구간이 사카드 구간인지에 대한 정보), 사카드 구간의 평균 시간 길이, 및 사카드 구간의 비율을 포함할 수 있다.
구체적으로, 시선 분석 모듈(102)은 도 6에 도시된 바와 같이, 전체 시간 중 픽세이션 구간 및 사카드 구간을 구분할 수 있다. 즉, 각 시선 좌표 정보에 대해 사용자의 시선이 픽세이션(Fixation)인지 사카드(Saccade)인지 여부를 확인하였는 바, 이를 이용하여 전체 시간 중 픽세이션 구간 및 사카드 구간을 구분할 수 있다. 도 6에서는, 첫번째 사카드 구간(Saccade Duration #1), 첫번째 픽세이션 구간(Fixation Duration #1), 두번째 사카드 구간(Saccade Duration #2), 두번째 픽세이션 구간(Fixation Duration #2)의 순으로 구분된 것을 볼 수 있다.
시선 분석 모듈(102)은 전체 시간 중 픽세이션 구간들을 추출하고, 픽세이션 구간들의 평균 시간 길이를 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 6을 통해 픽세이션 구간들의 평균 시간 길이(Fixavg)를 산출할 수 있다.
(수학식 6)
Figure pat00006
l : 전체 시간 중 픽세이션 구간의 개수
Fixk : k번째 픽세이션 구간의 시간 길이
또한, 시선 분석 모듈(102)은 다음의 수학식 7을 통해 전체 시간 중 픽세이션 구간의 비율(Fixratio)을 산출할 수 있다.
(수학식 7)
Figure pat00007
T : 전체 시간
또한, 시선 분석 모듈(102)은 전체 시간 중 사카드 구간들을 추출하고, 사카드 구간들의 평균 시간 길이를 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 8을 통해 사카드 구간들의 평균 시간 길이(Sacavg)를 산출할 수 있다.
(수학식 8)
Figure pat00008
m : 전체 시간 중 사카드 구간의 개수
Sack : k번째 사카드 구간의 시간 길이
또한, 시선 분석 모듈(102)은 다음의 수학식 9를 통해 전체 시간 중 사카드 구간의 비율(Sacratio)을 산출할 수 있다.
(수학식 9)
Figure pat00009
T : 전체 시간
또한, 시선 분석 모듈(102)은 전체 시간 중 픽세이션 구간의 비율(Fixratio)을 기반으로 시선 집중도 산출을 위한 제2 요소인 픽세이션 비율 점수(Fixation Ratio Score)를 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 10을 통해 픽세이션 비율 점수(Fixation Ratio Score)를 산출할 수 있다.
(수학식 10)
Figure pat00010
δ : 계수(1 이상의 실수)
또한, 시선 분석 모듈(102)은 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보에 기반하여 시선 집중도 산출을 위한 제3 요소인 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출할 수 있다.
예시적인 실시예에서, 시선 분석 모듈(102)은 픽세이션 구간 관련 정보 중 픽세이션 구간들의 평균 시간 길이를 추출하고, 사카드 구간 관련 정보 중 사카드 구간들의 평균 시간 길이를 추출하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 11을 통해 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출할 수 있다.
(수학식 11)
Figure pat00011
시선 분석 모듈(102)은 부재 점수(Absence Score), 픽세이션 비율 점수(Fixation Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 기반하여 쇼핑 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다.
구체적으로, 시선 분석 모듈(102)은 부재 점수(Absence Score), 픽세이션 비율 점수(Fixation Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 각각 기 설정된 제1 가중치 내지 제3 가중치를 부여한 후 이를 합산하여 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다. 시선 분석 모듈(102)은 다음의 수학식 12를 통해 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다.
(수학식 12)
시선 집중도 = λ·부재 점수 + μ· 픽세이션 비율 점수 + ν·사카드 대비 픽세이션 비율 점수
λ : 제1 가중치
μ : 제2 가중치
ν : 제3 가중치
시선 분석 모듈(102)은 콘텐츠에 대한 사용자의 시선 집중도에 기반하여 콘텐츠의 재생 시간과 연동한 시선 집중도 패턴을 생성할 수 있다. 시선 분석 모듈(102)은 시선 집중도 패턴을 사용자에게 제공할 수 있다.
시선 분석 모듈(102)은 사용자의 촬영 영상에 기반하여 사용자의 눈 깜박임을 검출할 수 있다. 시선 분석 모듈(102)은 콘텐츠가 재생되는 동안 사용자의 눈 깜박임 횟수를 산출할 수 있다. 시선 분석 모듈(102)은 사용자의 눈 깜박임 횟수를 사용자에게 제공할 수 있다.
다시 도 1을 참조하면, 재생 제어 모듈(104)은 콘텐츠 표시 장치(100)에서 표시되는 콘텐츠의 재생을 제어할 수 있다. 재생 제어 모듈(104)은 시선 분석 모듈(102)의 시선 분석 결과에 따라 콘텐츠의 재생을 제어할 수 있다.
구체적으로, 재생 제어 모듈(104)은 시선 분석 모듈(102)에서 기 설정된 이벤트가 발생한 경우, 현재 재생 중인 콘텐츠의 재생 속도를 조정할 수 있다. 예시적인 실시예에서, 재생 제어 모듈(104)은 기 설정된 이벤트가 발생한 경우, 콘텐츠의 재생 속도를 정상 속도(즉, 1배속) 보다 느리게 설정된 재생 속도로 변경하거나 콘텐츠를 정지시킬 수 있다. 예를 들어, 재생 제어 모듈(104)은 페이스 미싱(Face Missing) 이벤트가 발생한 경우 콘텐츠를 정지시킬 수 있다. 또한, 재생 제어 모듈(104)은 아웃 오브 스크린(Out of Screen) 이벤트가 발생한 경우 콘텐츠의 재생 속도를 정상 속도 보다 느리게 설정된 재생 속도로 변경할 수 있다.
재생 제어 모듈(104)은 사용자의 시선이 콘텐츠 표시 장치(100)의 화면 중 기 설정된 위치에 고정되는 경우, 해당 위치와 매칭되어 저장된 재생 설정 값을 추출하고, 추출한 재생 설정 값을 기반으로 콘텐츠를 재생시킬 수 있다. 즉, 콘텐츠 표시 장치(100)의 화면 중 특정 위치는 재생 설정 값이 매칭되어 저장될 수 있다. 이때, 복수 개의 위치에 서로 다른 재생 설정 값이 매칭되어 있을 수 있다. 여기서, 재생 설정 값은 콘텐츠의 재생 재개 시점, 재생 속도, 자막 종류, 및 자막 여부 등이 포함될 수 있다.
예시적인 실시예에서, 재생 제어 모듈(104)은 기 설정된 이벤트의 발생으로 콘텐츠가 정지된 이후 사용자의 시선이 콘텐츠 표시 장치(100)의 화면 중 기 설정된 위치에 고정되면 해당 위치와 매칭된 재생 설정 값을 기반으로 콘텐츠를 재생시킬 수 있다.
도 7은 본 발명의 일 실시예에서 콘텐츠 표시 장치(100)의 화면에 재생 설정 값이 매칭되어 저장된 상태를 개략적으로 나타낸 도면이다. 도 7을 참조하면, 콘텐츠 표시 장치(100)의 화면(S)의 제1 위치(P1)에는 제1 재생 설정 값이 매칭되어 저장되고, 제2 위치(P2)에는 제2 재생 설정 값이 매칭되어 저장될 수 있다. 제1 위치(P1)는 화면(S)의 좌측 상단이고, 제2 위치(P2)는 화면(S)의 우측 상단일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 제1 재생 설정 값은 재생 재개 시점이 콘텐츠가 정지한 시점을 기준으로 10초전, 재생 속도가 정상 속도보다 10% 배속 느리게, 자막 종류가 한글 자막 등으로 설정될 수 있다. 제2 재생 설정 값은 재생 재개 시점이 콘텐츠가 정지한 시점을 기준으로 10초후, 재생 속도가 정상 속도보다 10% 배속 빠르게, 자막 종류가 영어 자막 등으로 설정될 수 있다.
재생 제어 모듈(104)은 콘텐츠에 대한 사용자의 시선 집중도에 기반하여 콘텐츠의 특정 구간에 대해 북마크를 생성할 수 있다. 예를 들어, 재생 제어 모듈(104)은 콘텐츠에서 사용자의 시선 집중도가 기 설정된 임계 값 미만인 구간에 대해 북마크를 생성할 수 있다. 재생 제어 모듈(104)은 북마크가 생성된 구간에 대해 사용자가 복습할 수 있도록 사용자 인터페이스를 제공할 수 있다.
사용자 케어 모듈(106)은 콘텐츠 표시 장치(100)에서 콘텐츠가 표시되는 동안 사용자가 콘텐츠에 집중할 수 있도록 케어해주는 역할을 할 수 있다. 구체적으로, 사용자 케어 모듈(106)은 사용자의 촬영 영상을 기반으로 사용자의 졸음 여부를 감지할 수 있다. 사용자가 졸고 있는 경우, 사용자 케어 모듈(106)은 사용자가 졸음을 깰 수 있도록 사용자에게 알람을 제공할 수 있다. 알람은 소리 또는 진동 등의 형태로 제공될 수 있다. 이때, 사용자 케어 모듈(106)은 재생 중인 콘텐츠를 정지시키고 사용자가 스트레칭을 따라 할 수 있는 스트레칭 관련 콘텐츠를 일정 시간 동안 재생시킬 수 있다. 사용자 케어 모듈(106)은 스트레칭 관련 콘텐츠를 재생시킨 후 정지시켰던 콘텐츠를 다시 재생시킬 수 있다. 이때, 스트레칭 관련 콘텐츠는 콘텐츠 표시 장치(100)에 기 저장되어 있을 수도 있고, 외부 서버로부터 수신하여 재생할 수도 있다.
사용자 케어 모듈(106)은 사용자의 눈 피로도에 따라 눈 운동 안내를 사용자에게 제공할 수 있다. 구체적으로, 사용자 케어 모듈(106)은 사용자의 시선 집중도에 기반하여 사용자의 눈 피로도를 산출할 수 있다. 사용자 케어 모듈(106)은 사용자의 시선 집중도가 기 설정된 임계 값 이상으로 지속되는 시간에 기반하여 사용자의 눈 피로도를 산출할 수 있다.
사용자 케어 모듈(106)은 사용자의 눈 피로도가 기 설정된 기준 이상이 되는 경우, 눈 운동 안내를 사용자에게 제공할 수 있다. 사용자 케어 모듈(106)은 메시지 또는 음성 등을 통해 눈 운동 안내를 할 수 있다. 사용자 케어 모듈(106)은 재생 중인 콘텐츠를 중지시키고 사용자가 눈 운동을 따라 할 수 있도록 눈 운동 관련 콘텐츠를 일정 시간 동안 재생시킬 수 있다. 사용자 케어 모듈(106)은 눈 운동 관련 콘텐츠를 재생시킨 후 정지시켰던 콘텐츠를 다시 재생시킬 수 있다.
또한, 사용자 케어 모듈(106)은 사용자의 눈 피로도가 기 설정된 기준 이상이 되는 경우, 콘텐츠 표시 장치(100)의 화면 모드를 눈 보호 모드로 변경할 수 있다. 여기서, 눈 보호 모드는 다크 모드 또는 블루라이트 차단 모드일 수 있다.
사용자 케어 모듈(106)은 사용자와 콘텐츠 표시 장치(100) 간의 거리에 따라 사용자의 시력을 보호하기 위한 조치를 취할 수 있다. 예시적인 실시예에서, 사용자 케어 모듈(106)은 사용자와 콘텐츠 표시 장치(100) 간의 거리가 기 설정된 제1 임계 거리 이내인 경우 콘텐츠 표시 장치(100)의 화면 모드를 눈 보호 모드로 변경할 수 있다. 사용자 케어 모듈(106)은 사용자와 콘텐츠 표시 장치(100) 간의 거리가 제1 임계 거리 보다 짧게 설정된 제2 임계 거리 이내인 경우 콘텐츠 표시 장치(100)의 화면을 오프시킬 수 있다.
클립 생성 모듈(108)은 콘텐츠에 대한 사용자의 시선 집중도에 기반하여 비디오 클립을 생성할 수 있다. 예시적인 실시예에서, 클립 생성 모듈(108)은 콘텐츠에 대한 사용자의 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하여 제1 비디오 클립을 생성할 수 있다. 클립 생성 모듈(108)은 콘텐츠에 대한 사용자의 시선 집중도가 제1 임계 값 보다 높게 설정된 제2 임계 값 이상인 구간을 추출하여 제2 비디오 클립을 생성할 수 있다. 클립 생성 모듈(108)은 제1 비디오 클립 및 제2 비디오 클립을 사용자에게 제공할 수 있다.
클립 생성 모듈(108)은 콘텐츠에서 사용자의 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출한 후, 콘텐츠에서 사용자의 시선 집중도가 제1 임계 값 미만인 구간을 제외하여 콘텐츠에 대한 압축 동영상을 생성할 수 있다. 또한, 클립 생성 모듈(108)은 콘텐츠에서 사용자의 시선 집중도가 기 설정된 제2 임계 값 이상인 구간을 추출하고, 추출한 구간들을 시간 순으로 연결하여 콘텐츠에 대한 압축 동영상을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 콘텐츠 표시 장치의 화면 구성을 개략적으로 나타낸 도면이다. 도 8을 참조하면, 콘텐츠 표시 장치(100)는 콘텐츠에 대한 사용자의 시선 집중도 패턴을 사용자가 확인할 수 있도록 화면에 표시할 수 있다. 콘텐츠 표시 장치(100)는 콘텐츠가 재생되는 동안 사용자의 눈 깜박임 횟수를 화면에 표시할 수 있다. 콘텐츠 표시 장치(100)는 콘텐츠에 대한 제1 비디오 클립 및 제2 비디오 클립을 화면에 표시할 수 있다.
개시되는 실시예에 의하면, 사용자의 얼굴이 검출되지 않거나 사용자의 시선이 화면을 벗어난 경우, 재생중인 콘텐츠의 재생 속도를 정지시키거나 느리게 재생시키고, 사용자가 화면 중 기 설정된 위치에 시선을 고정하는 경우 해당 위치에 매칭된 재생 설정 값을 기반으로 콘텐츠를 재생시킴으로써, 사용자가 필기를 하거나 잠시 자리를 비우는 경우와 같은 사용자 행동에 반응하여 콘텐츠의 재생 속도를 자동으로 조절할 수 있으며, 그로 인해 사용자 편의성을 향상시킬 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 9는 본 발명의 일 실시예에 따른 시선 추적 기반의 콘텐츠 제공 시스템을 나타낸 도면이다.
도 9를 참조하면, 콘텐츠 제공 시스템(200)은 콘텐츠 제공 장치(202) 및 사용자 단말(204)을 포함할 수 있다. 콘텐츠 제공 장치(202) 및 사용자 단말(204)은 각각 통신 네트워크를 통해 통신 가능하게 연결된다. 여기서, 사용자 단말(204)은 도 1에 도시된 콘텐츠 표시 장치(100)와 동일 또는 유사한 구성으로 이루어지므로, 이에 대한 자세한 설명은 생략하기로 한다.
몇몇 실시예들에서, 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
콘텐츠 제공 장치(202)는 콘텐츠를 사용자 단말(204)로 제공할 수 있다. 이때, 콘텐츠는 일정한 재생 시간 길이를 갖는 동영상 콘텐츠 일 수 있다. 콘텐츠 제공 장치(202)는 사용자 단말(204)로부터 콘텐츠가 재생되는 동안 사용자를 촬영한 촬영 영상을 수신할 수 있다. 콘텐츠 제공 장치(202)는 사용자의 촬영 영상에 기반하여 콘텐츠에 대한 사용자의 시선 집중도를 분석할 수 있다.
콘텐츠 제공 장치(202)는 콘텐츠 별로 사용자들의 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출할 수 있다. 예를 들어, 콘텐츠 제공 장치(202)는 콘텐츠를 시청한 전체 사용자들 중 기 설정된 인원 수 이상의 시선 집중도가 제1 임계 값 미만인 구간(또는 전체 사용자들의 평균 시선 집중도가 제1 임계 값 미만인 구간)들을 각각 추출할 수 있다. 콘텐츠 제공 장치(202)는 콘텐츠에서 시선 집중도가 제1 임계 값 미만인 구간을 제외하여 압축 동영상을 생성할 수 있다.
콘텐츠 제공 장치(202)는 콘텐츠 별로 사용자들의 시선 집중도가 기 설정된 제2 임계 값 이상인 구간을 추출할 수 있다. 제2 임계 값은 제1 임계 값 보다 높게 설정된 값이다. 예를 들어, 콘텐츠 제공 장치(202)는 콘텐츠를 시청한 전체 사용자들 중 기 설정된 인원 수 이상의 시선 집중도가 제2 임계 값 이상인 구간(또는 전체 사용자들의 평균 시선 집중도가 제2 임계 값 이상인 구간)들을 각각 추출할 수 있다. 콘텐츠 제공 장치(202)는 추출한 구간들(시선 집중도가 제2 임계 값 이상인 구간들)을 시간 순으로 연결하여 콘텐츠에 대한 압축 동영상을 생성할 수 있다.
즉, 도 10에 도시된 바와 같이, 사용자들의 시선 집중도가 제2 임계 값 이상인 구간들을 추출하고 이를 시간 순으로 연결하여 콘텐츠에 대한 압축 동영상을 생성할 수 있다.
여기서, 각 사용자는 학업 수준에 따라 사용자 등급이 부여되어 있을 수 있다. 이때, 콘텐츠 제공 장치(202)는 압축 동영상의 생성 시 사용자 등급에 따라 가중치를 부여하여 콘텐츠에서 압축 동영상을 생성하기 위한 구간을 추출할 수 있다.
예시적인 실시예에서, 콘텐츠 제공 장치(202)는 압축 동영상 생성 시 사용자의 학업 수준이 낮을수록 높은 가중치를 부여하여 콘텐츠에서 시선 집중도가 제1 임계 값 미만인 구간을 추출할 수 있다. 또한, 콘텐츠 제공 장치(202)는 압축 동영상 생성 시 사용자의 학업 수준이 높을수록 높은 가중치를 부여하여 콘텐츠에서 시선 집중도가 제2 임계 값 이상인 구간을 추출할 수 있다.
콘텐츠 제공 장치(202)는 콘텐츠 별로 사용자들의 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하여 제1 비디오 클립을 생성할 수 있다. 또한, 콘텐츠 제공 장치(202)는 콘텐츠 별로 사용자들의 시선 집중도가 기 설정된 제2 임계 값 이상인 구간을 추출하여 제2 비디오 클립을 생성할 수 있다.
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 콘텐츠 표시 장치(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 콘텐츠 제공 장치(202)일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자 단말(204)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 콘텐츠 표시 장치
102 : 시선 분석 모듈
104 : 재생 제어 모듈
106 : 사용자 케어 모듈
108 : 클립 생성 모듈
200 : 콘텐츠 제공 시스템
202 : 콘텐츠 제공 장치
204 : 사용자 단말

Claims (18)

  1. 콘텐츠를 화면에 표시하는 콘텐츠 표시 장치로서,
    상기 콘텐츠가 화면에 표시되는 동안 사용자를 촬영한 촬영 영상에 기반하여 상기 사용자의 시선을 추적하고 기 설정된 이벤트가 발생하는지 여부를 확인하는 시선 분석 모듈; 및
    상기 기 설정된 이벤트가 발생하는 경우 상기 콘텐츠의 재생 속도를 조정하는 재생 제어 모듈을 포함하는, 콘텐츠 표시 장치.
  2. 청구항 1에 있어서,
    상기 재생 제어 모듈은,
    상기 사용자의 시선이 상기 화면 중 기 설정된 위치에 고정되는 경우, 상기 위치와 매칭되어 저장된 재생 설정 값을 추출하고, 추출한 상기 재생 설정 값을 기반으로 상기 콘텐츠를 재생시키는, 콘텐츠 표시 장치.
  3. 청구항 2에 있어서,
    상기 화면의 복수 개의 위치에 서로 다른 재생 설정 값이 매칭되어 저장되고,
    상기 재생 설정 값은, 콘텐츠의 재생 재개 시점, 재생 속도, 자막 종류, 및 자막 여부 중 하나 이상을 포함하는, 콘텐츠 표시 장치.
  4. 청구항 1에 있어서,
    상기 시선 분석 모듈은,
    상기 촬영 영상에 기반하여 상기 콘텐츠에 대한 상기 사용자의 시선 집중도를 산출하는, 콘텐츠 표시 장치.
  5. 청구항 4에 있어서,
    상기 재생 제어 모듈은,
    상기 시선 집중도에 기반하여 상기 콘텐츠의 특정 구간에 대해 북마크를 생성하고, 상기 북마크가 생성된 구간에 대해 상기 사용자가 다시 볼 수 있도록 사용자 인터페이스를 제공하는, 콘텐츠 표시 장치.
  6. 청구항 4에 있어서,
    상기 시선 분석 모듈은,
    상기 촬영 영상에서 사용자의 부재에 따른 부재 점수(Absence Score), 상기 촬영 영상에서 사용자의 시선 중 픽세이션에 따른 픽세이션 비율 점수(Fixation Ratio Score), 및 상기 촬영 영상에서 사용자의 시선 중 픽세이션 및 사카드에 따른 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 기반하여 상기 사용자의 시선 집중도를 산출하는, 콘텐츠 표시 장치.
  7. 청구항 6에 있어서,
    상기 시선 분석 모듈은,
    하기 수학식에 의해 상기 사용자의 시선 집중도를 산출하는, 콘텐츠 표시 장치.
    (수학식)
    시선 집중도 = λ·부재 점수 + μ· 픽세이션 비율 점수 + ν·사카드 대비 픽세이션 비율 점수
    λ : 제1 가중치
    μ : 제2 가중치
    ν : 제3 가중치
  8. 청구항 4에 있어서,
    상기 콘텐츠 표시 장치는,
    상기 시선 집중도에 기반하여 상기 사용자의 눈 피로도를 산출하는 사용자 케어 모듈을 더 포함하는, 콘텐츠 표시 장치.
  9. 청구항 8에 있어서,
    상기 사용자 케어 모듈은,
    상기 시선 집중도가 기 설정된 임계 값 이상으로 지속되는 시간에 기반하여 상기 눈 피로도를 산출하며, 산출된 상기 눈 피로도가 기 설정된 기준 이상이 되는 경우 눈 운동 안내를 상기 사용자에게 제공하는, 콘텐츠 표시 장치.
  10. 청구항 8에 있어서,
    상기 사용자 케어 모듈은,
    상기 사용자의 눈 피로도가 기 설정된 기준 이상이 되는 경우 상기 콘텐츠 표시 장치의 화면 모드를 눈 보호 모드로 변경하는, 콘텐츠 표시 장치.
  11. 청구항 4에 있어서,
    상기 콘텐츠 표시 장치는,
    상기 시선 집중도에 기반하여 상기 콘텐츠의 일부 구간에 대한 비디오 클립을 생성하는 클립 생성 모듈을 더 포함하는, 콘텐츠 표시 장치.
  12. 청구항 11에 있어서,
    상기 클립 생성 모듈은,
    상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하여 제1 비디오 클립을 생성하거나 상기 콘텐츠에서 상기 시선 집중도가 상기 제1 임계 값 보다 높게 설정된 제2 임계 값 이상인 구간을 추출하여 제2 비디오 클립을 생성하는, 콘텐츠 표시 장치.
  13. 청구항 11에 있어서,
    상기 클립 생성 모듈은,
    상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제1 임계 값 미만인 구간을 추출하고, 상기 콘텐츠에서 상기 제1 임계 값 미만인 구간을 제외하여 상기 콘텐츠에 대한 압축 동영상을 생성하는, 콘텐츠 표시 장치.
  14. 청구항 11에 있어서,
    상기 클립 생성 모듈은,
    상기 콘텐츠에서 상기 시선 집중도가 기 설정된 제2 임계 값 이상인 구간을 추출하고, 상기 추출한 구간들을 시간 순으로 연결하여 상기 콘텐츠에 대한 압축 동영상을 생성하는, 콘텐츠 표시 장치.
  15. 청구항 1에 있어서,
    상기 콘텐츠 표시 장치는,
    상기 콘텐츠 표시 장치와 상기 사용자 간의 거리에 따라 상기 사용자의 시력을 보호하기 위한 조치를 취하는 사용자 케어 모듈을 더 포함하는, 콘텐츠 표시 장치.
  16. 청구항 15에 있어서,
    상기 사용자 케어 모듈은,
    상기 콘텐츠 표시 장치와 상기 사용자 간의 거리가 기 설정된 제1 임계 거리 이내인 경우 상기 콘텐츠 표시 장치의 화면 모드를 눈 보호 모드로 변경하고, 상기 콘텐츠 표시 장치와 상기 사용자 간의 거리가 상기 제1 임계 거리 보다 짧게 설정된 제2 임계 거리 이내인 경우 상기 콘텐츠 표시 장치의 화면을 오프시키는, 콘텐츠 표시 장치.
  17. 청구항 1에 있어서,
    상기 콘텐츠 표시 장치는,
    상기 촬영 영상을 기반으로 상기 사용자의 졸음 여부를 감지하고, 상기 사용자가 졸고 있는 경우 상기 사용자에게 알람을 제공하는 사용자 케어 모듈을 더 포함하는, 콘텐츠 표시 장치.
  18. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    콘텐츠를 재생하여 화면에 표시하는 단계;
    상기 콘텐츠가 화면에 표시되는 동안 사용자를 촬영하여 촬영 영상을 생성하는 단계;
    상기 촬영 영상에 기반하여 상기 사용자의 시선을 추적하고 기 설정된 이벤트가 발생하는지 여부를 확인하는 단계; 및
    상기 기 설정된 이벤트가 발생하는 경우 상기 콘텐츠의 재생 속도를 조정하는 단계를 포함하는, 콘텐츠 표시 방법.
KR1020210094637A 2021-07-20 2021-07-20 콘텐츠 표시 장치 및 방법 KR20230013772A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210094637A KR20230013772A (ko) 2021-07-20 2021-07-20 콘텐츠 표시 장치 및 방법
PCT/KR2021/012315 WO2023003075A1 (ko) 2021-07-20 2021-09-09 콘텐츠 표시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210094637A KR20230013772A (ko) 2021-07-20 2021-07-20 콘텐츠 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230013772A true KR20230013772A (ko) 2023-01-27

Family

ID=84980542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210094637A KR20230013772A (ko) 2021-07-20 2021-07-20 콘텐츠 표시 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230013772A (ko)
WO (1) WO2023003075A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100885596B1 (ko) 2004-06-18 2009-02-24 소니 컴퓨터 엔터테인먼트 인코포레이티드 콘텐츠 재생장치 및 메뉴화면 표시방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
KR102121592B1 (ko) * 2013-05-31 2020-06-10 삼성전자주식회사 시력 보호 방법 및 장치
KR20170085835A (ko) * 2016-01-15 2017-07-25 백석문화대학교 산학협력단 사용자 단말기의 시력보호모드 제공방법 및 그 기록매체
KR102289464B1 (ko) * 2019-12-06 2021-08-12 이화여자대학교 산학협력단 주의 집중을 위한 동영상 편집 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100885596B1 (ko) 2004-06-18 2009-02-24 소니 컴퓨터 엔터테인먼트 인코포레이티드 콘텐츠 재생장치 및 메뉴화면 표시방법

Also Published As

Publication number Publication date
WO2023003075A1 (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
US10984602B1 (en) Facial expression tracking during augmented and virtual reality sessions
US10834456B2 (en) Intelligent masking of non-verbal cues during a video communication
US10671151B2 (en) Mitigating digital reality leakage through session modification
US11049304B2 (en) Mitigation of bias in digital reality sessions
US11514924B2 (en) Dynamic creation and insertion of content
WO2016034952A1 (en) Activity based text rewriting using language generation
US10379709B2 (en) Electronically analyzing user activity on a graphical user interface
US20200162698A1 (en) Smart contact lens based collaborative video conferencing
CN113068077B (zh) 一种字幕文件处理方法及装置
KR20230013772A (ko) 콘텐츠 표시 장치 및 방법
US20230196836A1 (en) Human Presence Sensor for Client Devices
US20200174559A1 (en) Real-time alteration of standard video and immersive video for virtual reality
US9380324B2 (en) Video content distribution package
KR20220057892A (ko) 시선 기반 콘텐츠 교육 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
US9767854B2 (en) Video content distribution package
US11928379B2 (en) Information orientation and display in extended reality environments
KR102554422B1 (ko) 학습 몰입도 분석 시스템 및 그 동작 방법
US20240197219A1 (en) Systems and methods for emotion prediction
KR102548625B1 (ko) 시선 추적 기반의 쇼핑 콘텐츠 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
US20240056761A1 (en) Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input
US11792357B1 (en) Anti-cheating methods in an extended reality environment
WO2022254496A1 (ja) 動画像分析システム
US20230298221A1 (en) Method and system for controlling access to virtual and real-world environments for head mounted device
US20240220752A1 (en) Artificial Reality System for Code Recognition and Health Metrics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application