KR20170085297A - 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법 - Google Patents

사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20170085297A
KR20170085297A KR1020160004742A KR20160004742A KR20170085297A KR 20170085297 A KR20170085297 A KR 20170085297A KR 1020160004742 A KR1020160004742 A KR 1020160004742A KR 20160004742 A KR20160004742 A KR 20160004742A KR 20170085297 A KR20170085297 A KR 20170085297A
Authority
KR
South Korea
Prior art keywords
window
woi
user
module
display
Prior art date
Application number
KR1020160004742A
Other languages
English (en)
Other versions
KR101772181B1 (ko
Inventor
최선영
고은지
Original Assignee
최선영
고은지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최선영, 고은지 filed Critical 최선영
Priority to KR1020160004742A priority Critical patent/KR101772181B1/ko
Publication of KR20170085297A publication Critical patent/KR20170085297A/ko
Application granted granted Critical
Publication of KR101772181B1 publication Critical patent/KR101772181B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N5/217—

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템 및 방법이 개시된다. 디스플레이(display)상의 사용자의 시선 위치 데이터를 실시간 수집하는 시선 위치 데이터 수집 모듈; 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우(window)의 좌표를 수집하는 윈도우 좌표 수집 모듈; 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우에 대해 상기 윈도우 좌표 수집 모듈에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하는 윈도우 디스플레이 상태 수집 모듈; 상기 시선 위치 데이터 수집 모듈에 의해 실시간 수집된 시선 위치 데이터가 상기 윈도우 디스플레이 상태 수집 모듈에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 WOI(Window of Interest) 영역을 산출하는 WOI 영역 산출 및 시선 분석 모듈을 구성한다. 상술한 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템 및 방법에 의하면, 웹 시청자의 멀티태스킹 동영상 시청시 웹 시청자의 시선을 분석하여 윈도우별 주시 시간과 멀티태스킹 횟수를 실시간 분석하도록 구성됨으로써, 웹 시청자의 방송 시청 행태를 이해하고 연구할 수 있는 자료를 확보할 수 있는 효과가 있다.

Description

사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법{USER'S MULTI-TASKING WATCHING ACT ON THE WEB DISPLAY ANALYZING SYSTEM AND METHOD USING USER'S EYE MOVEMENT ANALYZATION}
본 발명은 웹 사용자의 멀티태스킹(Multi-tasking) 행위 분석 시스템 및 방법에 관한 것으로서, 구체적으로는 컴퓨터, 모니터, 디스플레이 등에서 다중 창(Multiple Windows) 형태로 이루어지는 사용자의 멀티태스킹 행위 분석 시스템 및 방법에 관한 것이며, 좀 더 구체적으로는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템 및 방법에 관한 것이며, 좀 더 세밀하게는 범용 인터넷 서비스를 이용한 동영상 시청 행위 또는 OTT(Over The Top) 서비스 이용 행위 또는 e스포츠(eSports) 생중계 시청 행위를 분석하는 데 유용한 방법으로 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 시청 행위 분석 시스템 및 방법에 관한 것이다.
최근의 동영상 콘텐츠 시청은 TV와 같이 단순히 단방향적인 이용보다 콘솔(console)이나 컴퓨터 등을 통한 웹(web) 시청이 선호되면서 웹 시청 비율이 높아지고 있다.
대표적인 예로서는 범용 인터넷 서비스를 이용한 동영상 OTT서비스 시청을 들 수 있는데 예컨대 해외의 유튜브, 넷플릭스, 국내의 티빙, 네이버 TVcast, 다음팟 등이 있고 또한 컴퓨터 게임 중계 방송인 e스포츠 또는 전자스포츠와 같은 웹 시청이 있다. 이러한 웹 시청은 TV 수상기를 통한 시청과 달리 신체와 스크린이 밀착된 상호 작용이 많은 린 포워드(lean forward)의 특성을 갖고 있다.
PC나 노트북(Notebook), 태블릿 PC(Tablet PC) 등을 이용하는 경우 기본적으로는 TV 수상기보다는 그 시청 거리가 가깝게 유지되는 특징이 있다. TV 수상기의 경우 적어도 1 m 이상의 거리를 유지하지만, PC나 노트북은 이보다 훨씬 가까운 거리를 유지하게 된다. 이는 사용자가 마우스, 키보드등을 이용해 디스플레이의 GUI(Graphic User Interface)를 재구성할 수 있기 때문이다.
구체적으로 e스포츠의 경우 다른 스포츠 경기와는 다르게 선수들의 플레이 보다는 선수들이 플레이하는 게임 화면을 보여주는 특징이 있다. 또한, e스포츠 중계의 경우 실시간 댓글이나 반응과 같은 상호 작용적 시청이 다른 스포츠 중계에 비해 매우 활발하다. 이러한 e스포츠의 특성상 하나의 디스플레이에서 다중 창(Multiple Windows)으로 분할되어 표시되는 경우가 많이 있다. 예를 들면, 게임 그 자체의 창, 게임 댓글 창, 선수의 영상을 표시하는 창, 채팅(chatting) 창 등이 있을 수 있다. 한편, 하나의 e스포츠를 시청할 때 해당 중계 창이 아니더라도 사용자의 멀티태스킹 선호도에 따라 여러 개의 창을 열어서 볼 수 있는데, 예컨대 e스포츠 중계 창을 비롯해 포털 검색 사이트 창, 채팅 창, 윈도우 탐색기 등 복수의 창을 다중으로 사용하는 경우 중첩된 창들을 마우스나 키보드 등을 이용해 사용자가 조정(adjust)하는 동안 시선을 통해 시청 선택과 전환을 결정하게 된다. 하나의 디스플레이에서 다중 창 멀티태스킹을 통해 이루어지는 웹 시청이 이루어질 수 있는 것이다.
최근의 웹 시청자들은 이러한 여러 윈도우 창들을 순간순간 주시하고 주목하면서 멀티 콘텐츠를 선택하고 있다. 이러한 웹 시청은 젊은 세대에서는 그 콘텐츠의 내용이나 선호도, 관여도, 지각된 난이도, 수행도, 몰입의 정도 등에 따라 각 윈도우에 대한 주시하는 시간이나 주시 빈도 등이 달라지게 되며, 각 창에 대한 전환(Switching)도 이에 따라 이루어 진다. 그러나 기존의 시선추적 방법은 각 창에서 발생하는 단일 좌표만을 추적하기 때문에 실제로 사용자가 무엇을 주시했고, 무엇에 의해 창 전환했는지 그 행위에 대한 정확한 측정치를 도출하기 어렵다고 할 수 있다.
따라서 디스플레이에서 중첩된 다중 창을 사용하는 경우 시청 행위가 발생한 시선 좌표를 창 별로 분리해서 추적하고 측정하여 멀티태스킹(Multi-tasking) 동영상 시청 행위에 대한 분석을 하면, 웹 동영상 시청자들의 시청 행태와 관심도, 선호도 등을 이해하고 게임 이용자에 대한 시각적 주의에 대한 조사 및 연구 자료로 활용할 수 있게 된다.
기존에는 이러한 멀티태스킹 동영상 시청에 대해서는 단일 창 좌표 분석을 중심으로 이루어졌기 때문에 정확한 분석이 제대로 이루어지지 않았으며, 특히, 동적으로 움직이는 장면(Dynamic scene)의 창에 대해서는 더더욱 분석이 되지 않는 실정이다.
이에, 웹 디스플레이에서의 OTT서비스 시청 및 e스포츠 시청 행태에서 흔히 발견되는, 중첩된 다중 창을 펼쳐놓고 시청하는 멀티태스킹 행위를 정확하고 상세하게 분석하기 위한 툴(tool)이 요구되고 있다.
좀 더 구체적으로는 멀티태스킹 전환(Switching)에 대한 타이밍(timing) 측정 및 분석이나 2개 이상의 복수의 다중 창을 띄워놓고 이용함에 있어서 창 단위 별 시선추적을 구체적으로 측정하여 선형적 시간 안에서 발생한 이용의 맥락과 전환 행위 분석 등을 하는 데 유용하게 이용될 수 있다.
예를 들어, 창 전환과 관련하여 전환의 빈도와 선호도에 대한 이용자 조사 또는 연구 수행 시 어떤 순간에 창을 전환하는가, 어떠한 창을 열어놓고 이용하는가에 대한 구체적 큐(cue)를 탐색할 수 있으며, 어떠한 형식(format)과 소재의 콘텐츠가 소구력(appeal)이 있는가라는 분석에서 유용하게 활용할 수 있으며, 사용자의 주관적 감정과 전환과의 관계를 분석함에 있어서 재미 요인, 지루함의 요인, 시각적 주목(attention) 요인, SNS 이용의 멀티태스킹 패턴 등과 전환의 타이밍에 대한 상관 분석이 구체적으로 가능해진다.
본 발명의 목적은 사용자의 시선 분석을 이용한 웹 디스플레이 화면 상에서 다중창을 활용하는 사용자의 멀티태스킹 행위 분석 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 사용자의 시선 분석을 이용한 웹 디스플레이 화면 상에서 다중창을 활용하는 사용자의 멀티태스킹 행위 분석 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템은, 디스플레이(Display)상의 사용자의 시선 위치 데이터를 실시간 수집하는 시선 위치 데이터 수집 모듈; 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우(Window)의 좌표를 각각의 윈도우별로 수집하는 윈도우 좌표 수집 모듈; 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우에 대해 상기 윈도우 좌표 수집 모듈에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하는 윈도우 디스플레이 상태 수집 모듈; 상기 시선 위치 데이터 수집 모듈에 의해 실시간 수집된 시선 위치 데이터가 상기 윈도우 디스플레이 상태 수집 모듈에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 윈도우의 관심 영역인 WOI(Window of Interest) 영역을 산출하는 WOI 영역 산출 및 분석 모듈을 포함하도록 구성될 수 있다.
여기서, 상기 시선 위치 데이터 수집 모듈에서 실시간 수집된 시선 위치 데이터, 상기 윈도우 좌표 수집 모듈에서 실시간 수집된 윈도우의 좌표 및 상기 윈도우 디스플레이 상태 수집 모듈에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data) 생성하고 로그 데이터베이스에 저장하는 로그 데이터 생성 모듈을 더 포함하도록 구성될 수 있다.
그리고 상기 디스플레이상에 WOI 영역을 실시간으로 시각화하여 표시하고 WOI 영역이 실시간으로 시각화 하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스에 저장하는 WOI 영역 시각화 모듈을 더 포함하도록 구성될 수 있다.
그리고 상기 WOI 영역 산출 및 시선 분석 모듈은, 상기 산출된 WOI 영역에 따른 시간대별 윈도우 주시 시간 및 주시 전환 횟수 및 주시 빈도를 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스에 저장하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법은, 시선 위치 데이터 수집 모듈이 디스플레이(Display)상의 사용자의 시선 위치 데이터를 실시간 수집하는 단계; 윈도우 좌표 수집 모듈이 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우(Window)의 좌표를 각각의 윈도우별로 수집하는 단계; 윈도우 디스플레이 상태 수집 모듈이 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우에 대해 상기 윈도우 좌표 수집 모듈에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하는 단계; WOI 영역 산출 및 시선 분석 모듈이 상기 시선 위치 데이터 수집 모듈에 의해 실시간 수집된 시선 위치 데이터가 상기 윈도우 디스플레이 상태 수집 모듈에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 윈도우의 관심 영역인 WOI(Window of Interest) 영역을 산출하는 단계를 포함하도록 구성될 수 있다.
여기서, 로그 데이터 생성 모듈이 상기 시선 위치 데이터 수집 모듈에서 실시간 수집된 시선 위치 데이터, 상기 윈도우 좌표 수집 모듈에서 실시간 수집된 윈도우의 좌표 및 상기 윈도우 디스플레이 상태 수집 모듈에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data) 생성하고 로그 데이터베이스에 저장하는 단계를 더 포함하도록 구성될 수 있다.
그리고 WOI 영역 시각화 모듈이 상기 디스플레이상에 WOI 영역을 실시간으로 시각화하여 표시하고 WOI 영역이 실시간으로 시각화하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스에 저장하는 단계를 더 포함하도록 구성될 수 있다.
그리고 상기 WOI 영역 산출 및 시선 분석 모듈이 상기 산출된 WOI 영역에 따른 시간대별 시간대별 윈도우 주시 시간 및 주시 전환 횟수 및 주시 빈도를 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스에 저장하는 단계를 더 포함하도록 구성될 수 있다.
상술한 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템 및 방법에 의하면, 웹 시청자의 멀티태스킹 동영상 시청 시 웹 시청자의 시선을 분석하여 윈도우별 주시 시간과 멀티태스킹 횟수를 실시간 분석하도록 구성됨으로써, 웹 시청자의 동영상 및 다이내믹 신(Dynamic scene) 시청 행태를 이해하고 연구할 수 있는 자료를 확보할 수 있는 효과가 있다.
특히, 윈도우가 동적으로 위치가 변경되거나 여러 윈도우가 겹치거나 중첩되어 표시되는 경우에도 윈도우의 좌표와 활성화 상태와 연계하여 웹 시청자의 시선을 분석하도록 구성됨으로써, 웹 시청자의 관심 영역(Area of Interest, AOI)인 WOI를 정확하게 파악할 수 있는 효과가 있다.
궁극적으로는, 웹 디스플레이에서의 다중 창 멀티태스킹 동영상 시청의 행태를 분석하여 사용자 경험(UX: User Experience)에 맞는 사용자 인터페이스(User Interface)의 개발이나 시청 행태를 반영한 동영상 형식과 소재 개발 등의 프레임을 제공하는 데에도 유용하게 활용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 윈도우 단위의 관심 영역 및 시선 분류 프로세스의 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 WOI가 표시된 화면의 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템의 블록 구성도이고, 도 2는 본 발명의 일 실시 예에 따른 윈도우 단위의 관심 영역 및 시선 분류 프로세스의 예시도이고, 도 3은 본 발명의 일 실시 예에 따른 WOI가 표시된 화면의 예시도이다.
먼저 도 1을 참조하면, 본 발명의 일 실시 예에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템(이하, '멀티태스킹 행위 분석 시스템'이라 함)(100)은 시선 위치 데이터 수집 모듈(110), 윈도우 좌표 수집 모듈(120), 윈도우 디스플레이 상태 수집 모듈(130), 로그 데이터(log data) 생성 모듈(140), 로그 데이터베이스(log database)(150), WOI(Window of Interest) 영역 산출 모듈(160), WOI 로그 데이터 데이터베이스(170), WOI 시각화 모듈(180) 및 WOI 영역 시각화 동영상 데이터베이스(190)를 포함하도록 구성될 수 있다.
멀티태스킹 행위 분석 시스템(100)은 OTT서비스 동영상 시청이나 e스포츠와 같은 웹 콘텐츠를 시청하는 웹 시청자의 시청 행태를 분석하기 위한 자료를 확보하고 분석하기 위한 시스템이다.
멀티태스킹 행위 분석 시스템(100)은 하나의 디스플레이 상에 표현되는 다양한 동적인 윈도우(Multiple Dynamic Window)에 대해 웹 시청자의 시선 주시에 따른 관심 영역(Area of Interest, AOI)이라 할 수 있는 윈도우 관심영역인 WOI(Window of Interest)를 파악하고 윈도우 별 주시 시간과 윈도우 주시 변환 횟수 다시 말해 멀티태스킹 횟수에 대한 데이터를 확보하고 그 시청 행태를 분석할 수 있도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
시선 위치 데이터 수집 모듈(110)은 디스플레이(display)(10)상의 사용자의 시선 위치 데이터를 실시간 수집하도록 구성될 수 있다.
시선 위치 데이터는 디스플레이(10)에 구비되는 센서를 통해 사용자의 시선을 분석하고 디스플레이(10)상에서 사용자의 시선이 머무르는 정확한 창 단위 WOI를 찾아낼 수 있다.
시선 위치 데이터는 디스플레이(10)와 사용자의 눈과의 거리 그리고 사용자의 눈동자의 움직임을 카메라 센서, 거리 센서 등을 통해 정확하게 파악하도록 구성될 수 있다.
윈도우 좌표 수집 모듈(120)은 디스플레이(10)상에 표시된 적어도 둘 이상의 윈도우(window)의 좌표를 수집하도록 구성될 수 있다. 윈도우 좌표 수집 모듈(120)은 보다 정확하게는 디스플레이 제어 모듈(미도시) 내지는 OS(Operating System) 등을 통해 각 윈도우의 윈도우 좌표를 수집하고 분석할 수 있다.
윈도우 디스플레이 상태 수집 모듈(130)은 디스플레이(10)상에 표시된 적어도 둘 이상의 윈도우에 대해 윈도우 좌표 수집 모듈(120)에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하도록 구성될 수 있다.
윈도우 디스플레이 상태 수집 모듈(130)은 각 윈도우가 겹쳐져 디스플레이 되는 상태를 정확하게 수집하고, 각 윈도우가 어떠한 우선 순위로 겹쳐져서 표시되고 있는지에 대해서도 정확하게 분석하도록 구성될 수 있다. 또한, 현재 활성화되어 있는 윈도우가 어느 윈도우인지도 실시간 파악하도록 구성될 수 있다.
윈도우 디스플레이 상태 수집 모듈(130)은 각 윈도우 별로 볼 때 여러 윈도우가 조금씩 겹쳐진 경우 디스플레이상의 좌표계에 어느 윈도우가 어떻게 겹쳐져서 표시되고 있는지 정확하게 파악하도록 구성될 수 있다.
로그 데이터 생성 모듈(140)은 시선 위치 데이터 수집 모듈(110)에서 실시간 수집된 시선 위치 데이터, 윈도우 좌표 수집 모듈(120)에서 실시간 수집된 윈도우의 좌표 및 윈도우 디스플레이 상태 수집 모듈(130)에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data) 생성하고 로그 데이터베이스(150)에 저장하도록 구성될 수 있다.
이러한 데이터들은 각각 로우 데이터(raw data)로서 로그 데이터베이스(150)에 저장되며, 저장된 로우 데이터는 다양한 분석 기법에 의해 분석을 위한 자료로서 활용될 수 있다. 예를 들어, 멀티태스킹 전환 시점, 멀티태스킹 전환 횟수 내지는 빈도, 각 윈도우별 주시 시간, 각 윈도우 별 멀티태스킹 전환 횟수, 각 윈도우의 활성화 시간 등과 같은 다양한 분석 자료가 로우 데이터로부터 도출될 수 있다.
하기 표 1은 이러한 현재 표시된 윈도우의 윈도우별 총 주시 시간을 나타내고 있다.
Figure pat00001
하기 표 2는 콘텐츠의 카테고리별 주시 시간을 예시하고 있다.
Figure pat00002
한편, 하기 표 3은 스포츠 중계 이후의 멀티태스킹 행위에 대한 데이터를 나타내고 있다.
Figure pat00003
WOI 영역 산출 및 시선 분석 모듈(160)은 시선 위치 데이터 수집 모듈(110)에 의해 실시간 수집된 시선 위치 데이터가 윈도우 디스플레이 상태 수집 모듈(130)에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 WOI 영역을 산출하도록 구성될 수 있다.
WOI 영역 산출 및 시선 분석 모듈(160)은 실시간으로 사용자의 시선 위치를 분석하며, 윈도우의 디스플레이 상태를 통해 사용자의 시선 위치가 어느 윈도우에 머무르는지 정확하게 산출하도록 구성될 수 있다. WOI 영역 산출 및 시선 분석 모듈(160)은 사용자가 마우스(mouse) 또는 키보드(Keyboard)를 이용해 윈도우 활성화를 변환하거나 윈도우의 크기를 변경하거나 윈도우의 위치를 변경하더라도 실시간으로 그 주시 영역과 해당 윈도우를 정확하게 파악하도록 구성될 수 있다.
WOI 영역 산출 및 시선 분석 모듈(160)은 앞서 산출된 WOI 영역에 따른 시간대별 윈도우 주시 시간 및 윈도우 전환 시간을 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스(170)에 저장하도록 구성될 수 있다.
도 2에서와 같이 각 윈도우에 대한 좌표가 수집되며, 각 윈도우에 대해 WOI가 존재하게 되는 윈도우가 실시간 파악될 수 있다.
WOI 영역 시각화 모듈(180)은 디스플레이(10)상에 WOI 영역을 실시간으로 시각화하여 표시하도록 구성될 수 있다. 즉, 사용자의 시선이 머무르는 윈도우를 하이라이트(highlight) 처리하여 표시하여 사용자가 어느 윈도우를 보고 있는지 실시간으로 표시하도록 구성될 수 있다.
또한, WOI 영역 시각화 모듈(180)은 WOI 영역을 실시간으로 시각화 하고 그 시각화하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스(190)에 저장하도록 구성될 수 있다.
이러한 WOI 영역 시각화 모듈(180)은 디스플레이(10)의 화면 전체에서 사용자의 시선이 머물거나 전환되는 시청 행태를 동영상을 통해 육안으로 쉽게 파악하도록 하는 데 유용하다.
웹 시청자의 시청 행태를 연구하는 연구자는 WOI 영역 시각화 모듈(180)에서 생성한 동영상을 통해 웹 시청 행태를 시각적이고 입체적으로 분석할 수 있게 된다.
도 3에서 보듯이 여러 윈도우 중에서 WOI가 머무는 윈도우는 노란색으로 하이라이트 처리되어 있다. 이에, 사용자가 실시간으로 어느 윈도우를 어느 시점에 주시하는 지에 대해 정확하게 파악하는 것이 용이해진다.
한편, 이러한 웹 시청자별 시청 행태 분석 결과를 토대로 각 웹 시청자의 웹 시청을 보다 편리하게 돕는 알고리즘의 구성이 가능하다. 이러한 알고리즘은 다양하게 구성될 수 있다.
예를 들어, 웹 시청 제어 모듈(미도시)은 웹 시청자의 멀티태스킹 전환이 언제 이루어지는지, 언제 어느 윈도우로 전환되는지를 통해 윈도우의 활성화를 자동 제어하도록 구성될 수 있다.
웹 시청 행태 분석 결과, 웹 시청자 A는 SNS 메시지가 도달했을 때 바로바로 확인을 하는 패턴을 보인다면, 웹 시청자 A의 경우 SNS 메신저 윈도우를 메시지가 도달할 때마다 즉시 활성화하여 표시하도록 구성될 수 있다. 설정에 따라서는 SNS 메신저 윈도우를 디스플레이(10) 전체 화면에 표시하도록 구성될 수도 있다. 만약 웹 시청자 B의 시청 행태가 SNS 메시지에 대해 즉시 확인하지 않는 것이라면 SNS 메신저 윈도우를 즉시 활성화하지 않도록 구성될 수 있다.
또한, 웹 시청자 A의 웹 시청 행태 분석 결과, 동영상 시청 중에 다른 멀티태스킹을 하는 경우, 동영상 콘텐츠의 소리가 급격히 커지는 경우에 동영상 윈도우로 다시 시선이 돌아온다면, 그러한 타이밍을 실시간 분석하여 해당 동영상 윈도우를 활성화하거나 화면 전체 표시를 하도록 구성될 수 있다. 그리고 시청자의 시선이 동영상 윈도우에서 벗어나면 다시 원래의 여러 윈도우 화면으로 표시하도록 제어할 수도 있다.
한편, 웹 시청 제어 모듈(미도시)이 동영상의 실시간 시청률을 실시간 수집하여, 시청률이 급격히 올라가는 타이밍에는 자동으로 해당 동영상의 윈도우를 활성화하여 크게 표시하도록 제어할 수도 있다.
다른 한편, 웹 시청자의 AOI가 머무는 윈도우를 보다 크게 활성화하여 시청을 편리하게 하는 제어도 가능하다.
이와 같이, 웹 시청자별 시청 행태는 다양하게 나타날 수 있으며, 이러한 웹 시청 행태에 따른 웹 시청 제어의 알고리즘은 다양하게 구성될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법의 흐름도이다.
도 4를 참조하면, 먼저 시선 위치 데이터 수집 모듈(110)이 디스플레이(display)(10)상의 사용자의 시선 위치 데이터를 실시간 수집한다(S101).
다음으로, 윈도우 좌표 수집 모듈(120)이 디스플레이(10)상에 표시된 적어도 둘 이상의 윈도우(window)의 좌표를 수집한다(S102).
다음으로, 윈도우 디스플레이 상태 수집 모듈(130)이 디스플레이(10)상에 표시된 적어도 둘 이상의 윈도우에 대해 윈도우 좌표 수집 모듈(120)에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집한다(S103).
다음으로, WOI 영역 산출 및 시선 분석 모듈(140)이 시선 위치 데이터 수집 모듈(110)에 의해 실시간 수집된 시선 위치 데이터가 윈도우 디스플레이 상태 수집 모듈(130)에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 WOI(Window of Interest) 영역을 산출한다(S104).
다음으로, 로그 데이터 생성 모듈(140)이 시선 위치 데이터 수집 모듈(110)에서 실시간 수집된 시선 위치 데이터, 윈도우 좌표 수집 모듈(120)에서 실시간 수집된 윈도우의 좌표 및 윈도우 디스플레이 상태 수집 모듈(130)에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data) 생성하고 로그 데이터베이스(150)에 저장한다(S105).
다음으로, WOI 영역 시각화 모듈(180)이 디스플레이(10)상에 WOI 영역을 실시간으로 시각화하여 표시하고 WOI 영역이 실시간으로 시각화 하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스(190)에 저장한다(S106).
다음으로, WOI 영역 산출 및 시선 분석 모듈(160)이 산출된 WOI 영역에 따른 시간대별 윈도우 주시 시간 및 윈도우 전환 시간을 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스(170)에 저장한다(S107).
이상 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 시선 위치 데이터 수집 모듈
120: 윈도우 좌표 수집 모듈
130: 윈도우 디스플레이 상태 수집 모듈
140: 로그 데이터 생성 모듈
150: 로그 데이터베이스
160: WOI 영역 산출 및 시선 분석 모듈
170: WOI 로그 데이터 데이터베이스
180: WOI 시각화 모듈
190: WOI 영역 시각화 동영상 데이터베이스

Claims (8)

  1. 디스플레이(Display)상의 사용자의 시선 위치 데이터를 실시간 수집하는 시선 위치 데이터 수집 모듈;
    상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우(Window)의 좌표를 각각의 윈도우별로 수집하는 윈도우 좌표 수집 모듈;
    상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우에 대해 상기 윈도우 좌표 수집 모듈에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하는 윈도우 디스플레이 상태 수집 모듈;
    상기 시선 위치 데이터 수집 모듈에 의해 실시간 수집된 시선 위치 데이터가 상기 윈도우 디스플레이 상태 수집 모듈에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 윈도우의 관심 영역인 WOI(Window of Interest) 영역을 산출하는 WOI 영역 산출 및 시선 분석 모듈을 포함하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템.
  2. 제1항에 있어서,
    상기 시선 위치 데이터 수집 모듈에서 실시간 수집된 시선 위치 데이터, 상기 윈도우 좌표 수집 모듈에서 실시간 수집된 윈도우의 좌표 및 상기 윈도우 디스플레이 상태 수집 모듈에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data) 생성하고 로그 데이터베이스에 저장하는 로그 데이터 생성 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템.
  3. 제1항에 있어서,
    상기 디스플레이상에 WOI 영역을 실시간으로 시각화하여 표시하고 WOI 영역이 실시간으로 시각화 하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스에 저장하는 WOI 영역 시각화 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템.
  4. 제1항에 있어서, 상기 WOI 영역 산출 및 시선 분석 모듈은,
    상기 산출된 WOI 영역에 따른 시간대별 윈도우 주시 시간 및 주시 전환 횟수 및 주시 빈도를 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스에 저장하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 시스템.
  5. 시선 위치 데이터 수집 모듈이 디스플레이(Display)상의 사용자의 시선 위치 데이터를 실시간 수집하는 단계;
    윈도우 좌표 수집 모듈이 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우(Window)의 좌표를 각각의 윈도우별로 수집하는 단계;
    윈도우 디스플레이 상태 수집 모듈이 상기 디스플레이상에 표시된 적어도 둘 이상의 윈도우에 대해 상기 윈도우 좌표 수집 모듈에 의해 수집된 윈도우 좌표와 각 윈도우의 활성화에 따른 각 윈도우의 디스플레이 상태를 수집하는 단계;
    WOI 영역 산출 및 시선 분석 모듈이 상기 시선 위치 데이터 수집 모듈에 의해 실시간 수집된 시선 위치 데이터가 상기 윈도우 디스플레이 상태 수집 모듈에 의해 수집된 각 윈도우의 디스플레이 상태에 따라 어느 윈도우에 머무르는지 실시간 파악하여 윈도우의 관심 영역인 WOI(Window of Interest) 영역을 산출하는 단계를 포함하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법.
  6. 제5항에 있어서,
    로그 데이터 생성 모듈이 상기 시선 위치 데이터 수집 모듈에서 실시간 수집된 시선 위치 데이터, 상기 윈도우 좌표 수집 모듈에서 실시간 수집된 윈도우의 좌표 및 상기 윈도우 디스플레이 상태 수집 모듈에서 수집된 윈도우의 디스플레이 상태를 실시간 수집하여 로그 데이터(log data)를 생성하고 로그 데이터베이스에 저장하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법.
  7. 제6항에 있어서,
    WOI 영역 시각화 모듈이 상기 디스플레이상에 WOI 영역을 실시간으로 시각화하여 표시하고 WOI 영역이 실시간으로 시각화하여 표시된 동영상을 녹화하여 생성하고 WOI 영역 시각화 동영상 데이터베이스에 저장하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법.
  8. 제7항에 있어서,
    상기 WOI 영역 산출 및 시선 분석 모듈이 상기 산출된 WOI 영역에 따른 시간대별 윈도우 주시 시간 및 주시 전환 횟수 및 주시 빈도를 추가 산출하여 WOI 로그 데이터를 생성하고 WOI 로그 데이터 데이터베이스에 저장하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 사용자의 시선 분석을 이용한 사용자의 멀티태스킹 행위 분석 방법.
KR1020160004742A 2016-01-14 2016-01-14 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법 KR101772181B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160004742A KR101772181B1 (ko) 2016-01-14 2016-01-14 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160004742A KR101772181B1 (ko) 2016-01-14 2016-01-14 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170085297A true KR20170085297A (ko) 2017-07-24
KR101772181B1 KR101772181B1 (ko) 2017-08-28

Family

ID=59429242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160004742A KR101772181B1 (ko) 2016-01-14 2016-01-14 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101772181B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157607B1 (ko) 2019-11-29 2020-09-18 세종대학교산학협력단 스머지 효과를 이용한 눈 움직임 및 시선 데이터 분포 시각화 방법 및 서버
WO2021080067A1 (ko) * 2019-10-23 2021-04-29 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
KR20230111005A (ko) * 2022-01-17 2023-07-25 엔에이치엔클라우드 주식회사 시선인식 기반 맞춤형 콘텐츠를 제공하는 장치 및 방법
US12019798B2 (en) 2022-01-17 2024-06-25 Nhn Corporation Device and method for providing customized content based on gaze recognition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396262B2 (ja) * 2003-12-22 2010-01-13 富士ゼロックス株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080067A1 (ko) * 2019-10-23 2021-04-29 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
KR20210048075A (ko) * 2019-10-23 2021-05-03 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
CN113015998A (zh) * 2019-10-23 2021-06-22 株式会社视信 一种视线分析装置及利用该装置的视线分析系统和方法
KR102157607B1 (ko) 2019-11-29 2020-09-18 세종대학교산학협력단 스머지 효과를 이용한 눈 움직임 및 시선 데이터 분포 시각화 방법 및 서버
KR20230111005A (ko) * 2022-01-17 2023-07-25 엔에이치엔클라우드 주식회사 시선인식 기반 맞춤형 콘텐츠를 제공하는 장치 및 방법
US12019798B2 (en) 2022-01-17 2024-06-25 Nhn Corporation Device and method for providing customized content based on gaze recognition

Also Published As

Publication number Publication date
KR101772181B1 (ko) 2017-08-28

Similar Documents

Publication Publication Date Title
US20210072889A1 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2d and 3d digital applications
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
Kuhn et al. Misdirection in magic: Implications for the relationship between eye gaze and attention
US20090086165A1 (en) System and method of detecting eye fixations using adaptive thresholds
KR101772181B1 (ko) 사용자의 시선 분석을 이용한 웹 디스플레이 상에서의 다중 창 멀티태스킹 시청 행위 분석 시스템 및 방법
US20230044842A1 (en) Work analyzing device and work analyzing method
US9372601B2 (en) Information processing apparatus, information processing method, and program
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US20210349620A1 (en) Image display apparatus, control method and non-transitory computer-readable storage medium
CN105933787A (zh) 视频评论及其处理方法、装置、及服务器
Li et al. Designing shared gaze awareness for remote collaboration
Gao et al. User behaviour analysis of mixed reality remote collaboration with a hybrid view interface
Breuninger et al. Implementing gaze control for peripheral devices
JP6803431B2 (ja) プログラム、情報処理装置及び情報処理方法
Rohs et al. Impact of item density on the utility of visual context in magic lens interactions
Kurzhals et al. Evaluation of attention‐guiding video visualization
Ali-Hasan et al. Best practices for eye tracking of television and video user experiences
JP2019208885A (ja) 感情評価支援システム及び感情評価支援方法
Pelletier et al. Atypical visual display for monitoring multiple CCTV feeds
Mussgnug et al. Target based analysis-A model to analyse usability tests based on mobile eye tracking recordings
Radecký et al. Evaluating user reaction to user interface element using eye-tracking technology
JP6783060B2 (ja) プログラム、情報処理装置及び情報処理方法
Zhang et al. Evaluation of the TV customer experience using eye tracking technology
Bohao et al. User visual attention behavior analysis and experience improvement in virtual meeting
Apostu et al. Towards the design of an intuitive multi-view video navigation interface based on spatial information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant