KR20220124992A - 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
KR20220124992A
KR20220124992A KR1020210028832A KR20210028832A KR20220124992A KR 20220124992 A KR20220124992 A KR 20220124992A KR 1020210028832 A KR1020210028832 A KR 1020210028832A KR 20210028832 A KR20210028832 A KR 20210028832A KR 20220124992 A KR20220124992 A KR 20220124992A
Authority
KR
South Korea
Prior art keywords
gaze
calculating
ratio
user
score
Prior art date
Application number
KR1020210028832A
Other languages
English (en)
Inventor
석윤찬
김세종
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020210028832A priority Critical patent/KR20220124992A/ko
Priority to PCT/KR2021/017441 priority patent/WO2022186451A1/ko
Publication of KR20220124992A publication Critical patent/KR20220124992A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 시선 집중도 산출 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 사용자를 촬영한 촬영 영상을 획득하는 동작, 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출하는 동작, 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하는 동작, 페이스 미싱 구간 비율 및 아웃 오브 스크린 구간 비율에 기반하여 부재 점수(Absence Score)를 산출하는 동작, 촬영 영상에 기반하여 사용자의 시선 좌표 정보들을 획득하는 동작, 시선 좌표 정보들을 기반으로 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출하는 동작, 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 기반으로 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작,및 부재 점수 및 픽세이션 비율 점수에 기반하여 사용자의 시선 집중도를 산출하는 동작을 포함한다.

Description

시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR CALCULATING GAZE CONCENTRATION AND COMPUTING DEVICE FOR EXECUTING THE METHOD}
본 발명의 실시예는 시선 집중도 산출 기술과 관련된다.
시선 추적(Eye Tracking)은 사용자의 안구 움직임을 감지하여 시선의 위치를 추적하는 기술이다. 최근, 시선 추적 기술의 적용 대상 기기 및 적용 분야가 점차 확대되고 있으며, 이에 따라 콘텐츠를 사용자들에게 제공하고 사용자들이 콘텐츠를 집중해서 보고 있는지를 확인하는데 시선 추적 기술을 활용하는 시도가 증가하고 있다.
한국등록특허공보 제10-1479471호(2015.01.13)
본 발명의 실시예는 시선 집중도를 정확하게 산출할 수 있는 새로운 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 시선 집중도 산출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작; 상기 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출하는 동작; 상기 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하는 동작; 상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 구간 비율에 기반하여 부재 점수(Absence Score)를 산출하는 동작; 상기 촬영 영상에 기반하여 상기 사용자의 시선 좌표 정보들을 획득하는 동작; 상기 시선 좌표 정보들을 기반으로 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출하는 동작; 상기 픽세이션 구간 관련 정보 및 상기 사카드 구간 관련 정보를 기반으로 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및 상기 부재 점수 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함한다.
상기 페이스 미싱(Face Missing) 구간 비율을 산출하는 동작은, 상기 촬영 영상에서 상기 사용자의 얼굴을 검출할 수 없는 구간을 페이스 미싱 구간으로 설정하는 동작을 포함하고, 상기 페이스 미싱 구간 비율은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00001
T : 촬영 영상을 획득한 전체 시간
Face Missingk : k번째 페이스 미싱 구간의 시간 길이
i : 전체 시간 중 페이스 미싱 구간의 개수
상기 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하는 동작은, 상기 디스플레이 장치의 화면과 동일한 평면의 가상 평면 상에서 상기 사용자의 시선 좌표가 화면 밖의 영역에 있는 구간을 아웃 오브 스크린 구간으로 설정하는 동작을 포함하고, 상기 아웃 오브 스크린 구간 비율은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00002
T : 촬영 영상을 획득한 전체 시간
Out of Screenk : k번째 아웃 오브 스크린 구간의 시간 길이
m : 전체 시간 중 아웃 오브 스크린 구간의 개수
상기 부재 점수(Absence Score)는, 상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 비율이 커질수록 상기 부재 점수가 낮아지도록 설정될 수 있다.
상기 부재 점수(Absence Score)는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00003
상기 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 획득하는 동작은, 상기 시선 좌표 정보들을 기반으로 각 시선 좌표의 타임 스탬프에서의 시선 속도를 산출하는 동작; 상기 시선 좌표 정보들을 기반으로 시선 분포의 표준 편차를 산출하는 동작; 및 상기 시선 속도 및 상기 표준 편차에 기반하여 각 시선 좌표에서의 상기 사용자의 시선을 픽세이션(Fixation) 또는 사카드(Saccade)로 분류하는 동작을 포함할 수 있다.
상기 시선 속도를 산출하는 동작은, 해당 시선 좌표의 타임 스탬프를 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보를 추출하는 동작; 상기 그 이전의 기 설정된 시구간을 제1 시구간 및 제2 시구간으로 구분하는 동작; 및 상기 제1 시구간에서 획득된 시선 좌표들, 상기 제2 시구간에서 획득된 시선 좌표들, 및 상기 기 설정된 시구간을 기반으로 해당 시선 좌표의 타임 스탬프에서의 시선 속도를 산출하는 동작을 포함할 수 있다.
상기 시선 좌표의 타임 스탬프에서의 시선 속도(Velocitynow)는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00004
Time Range : 기 설정된 시구간
Gaze Coordinateavg_range1: 제1 시구간에서 획득된 시선 좌표들의 평균값
Gaze Coordinateavg_range2: 제2 시구간에서 획득된 시선 좌표들의 평균값
상기 표준 편차를 산출하는 동작은, 해당 시선 좌표의 타임 스탬프에 대응하는 시점을 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보들을 추출하는 동작; 및 상기 시선 좌표의 타임 스탬프에 대응하는 시점을 기준으로 상기 기 설정된 시구간 동안 획득된 시선 좌표 정보들에 대한 표준 편차를 산출하는 동작을 포함할 수 있다.
상기 분류하는 동작은, 상기 산출한 표준 편차가 기 설정된 임계 표준 편차 값 미만이면서 상기 시선 좌표의 타임 스탬프에 대응하는 시점의 시선 속도가 기 설정된 최대 임계 속도 미만인 경우, 해당 시선 좌표에 대한 사용자의 시선을 픽세이션으로 분류할 수 있다.
상기 분류하는 동작은, 상기 산출한 표준 편차가 기 설정된 임계 표준 편차 값 이상이면서 상기 시선 좌표의 타임 스탬프에 대응하는 시점의 시선 속도가 기 설정된 최소 임계 속도 미만인 경우, 해당 시선 좌표에 대한 사용자의 시선을 픽세이션으로 분류할 수 있다.
상기 픽세이션 구간 관련 정보를 산출하는 동작은, 상기 촬영 영상을 획득한 전체 시간 중 픽세이션 구간들을 추출하는 동작 및 상기 추출한 픽세이션 구간들의 평균 시간 길이를 산출하는 동작을 포함하고, 상기 사카드 구간 관련 정보를 산출하는 동작은, 상기 촬영 영상을 획득한 전체 시간 중 사카드 구간들을 추출하는 동작 및 상기 추출한 사카드 구간들의 평균 시간 길이를 산출하는 동작을 포함하며, 상기 사카드 대비 픽세이션 비율 점수는, 상기 픽세이션 구간들의 평균 시간 길이 및 상기 사카드 구간들의 평균 시간 길이에 기반하여 산출할 수 있다.
상기 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00005
Fixavg : 픽세이션 구간들의 평균 시간 길이
Sacavg : 사카드 구간들의 평균 시간 길이
상기 시선 집중도 산출 방법은, 상기 시선 좌표 정보들의 각 시선 좌표에서의 상기 사용자의 리딩 상태 여부를 확인하는 동작; 및 상기 각 시선 좌표에 대한 상기 사용자의 리딩 상태 여부에 기반하여 리딩 비율 점수(Reading Ratio Score)를 산출하는 동작을 더 포함할 수 있다.
상기 리딩 상태 여부를 확인하는 동작은, 각 시선 좌표의 타임 스탬프에서의 x축 방향의 시선 속도 및 y축 방향의 시선 속도를 산출하는 동작; 상기 y축 방향의 시선 속도 대비 상기 x축 방향의 시선 속도를 산출하는 동작; 및 상기 x축 방향의 시선 속도, 상기 y축 방향의 시선 속도 대비 상기 x축 방향의 시선 속도, 기 설정된 최대 포커싱 시간, 기 설정된 제1 방향 임계값(제1 방향은 x축을 따라 이동하는 일 방향), 및 기 설정된 제2 방향 임계값(제2 방향은 제1 방향과 반대되는 방향) 중 하나 이상을 기반으로 해당 시선 좌표에서의 상기 사용자의 리딩 상태를 확인하는 동작을 포함할 수 있다.
상기 리딩 상태를 확인하는 동작은, 하기의 수학식을 만족하는 경우 해당 시선 좌표에서 상기 사용자가 리딩 상태인 것으로 판단할 수 있다.
(수학식)
Figure pat00006
Figure pat00007
Figure pat00008
Velocity(x)now : x축 방향의 시선 속도
Velocity(y)now : y축 방향의 시선 속도
FST(Forward Scan Threshold) : 기 설정된 제1 방향 임계값
MFD(Max Focusing Duration) : 기 설정된 최대 포커싱 시간
Fixation Durationnow : 사용자의 픽세이션 시간
상기 리딩 상태를 확인하는 동작은, 하기의 수학식을 만족하는 경우 해당 시선 좌표에서 상기 사용자가 리딩 상태인 것으로 판단할 수 있다.
(수학식)
Figure pat00009
Figure pat00010
Figure pat00011
Velocity(x)now : x축 방향의 시선 속도
Velocity(y)now : y축 방향의 시선 속도
BST(Backward Scan Threshold) : 기 설정된 제2 방향 임계 값
MFD(Max Focusing Duration) : 기 설정된 최대 포커싱 시간
Fixation Durationnow : 사용자의 픽세이션 시간
상기 리딩 비율 점수(Reading Ratio Score)는 하기 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00012
Figure pat00013
T : 촬영 영상을 획득한 전체 시간
Reading Statusk : k번째 리딩 상태 구간의 시간 길이
p : 전체 시간 중 리딩 상태 구간의 개수
σ: 계수(1 이상의 실수)
상기 시선 집중도를 산출하는 동작은, 상기 부재 점수, 상기 리딩 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 각각 제1 가중치, 제2 가중치, 및 제3 가중치를 부여하고 이를 합산하여 상기 시선 집중도를 산출할 수 있다.
상기 시선 집중도 산출 방법은, 상기 촬영 영상에 기반하여 상기 촬영 영상을 획득한 전체 시간 중 픽세이션 구간 비율을 산출하는 동작; 및 상기 픽세이션 구간 비율에 기반하여 픽세이션 비율 점수(Fixation Ratio Score)를 산출하는 동작을 더 포함할 수 있다.
상기 픽세이션 비율 점수(Fixation Ratio Score)는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00014
Fixratio : 픽세이션 구간 비율
δ : 계수(1 이상의 실수)
상기 시선 집중도를 산출하는 동작은, 상기 부재 점수, 상기 픽세이션 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 각각 제4 가중치, 제5 가중치, 및 제6 가중치를 부여하고 이를 합산하여 상기 시선 집중도를 산출할 수 있다.
개시되는 다른 실시예에 따른 시선 집중도 산출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작; 상기 촬영 영상에 기반하여 부재 점수(Absence Score)를 산출하는 동작; 상기 촬영 영상에 기반하여 리딩 비율 점수(Reading Ratio Score)를 산출하는 동작, 상기 촬영 영상에 기반하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및 상기 부재 점수, 상기 리딩 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함한다.
개시되는 또 다른 실시예에 따른 시선 집중도 산출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작; 상기 촬영 영상에 기반하여 부재 점수(Absence Score)를 산출하는 동작; 상기 촬영 영상에 기반하여 픽세이션 비율 점수(Fixation Ratio Score)를 산출하는 동작; 상기 촬영 영상에 기반하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및 상기 부재 점수, 상기 픽세이션 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함한다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하기 위한 명령; 상기 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출하기 위한 명령; 상기 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하기 위한 명령; 상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 구간 비율에 기반하여 부재 점수(Absence Score)를 산출하기 위한 명령; 상기 촬영 영상에 기반하여 상기 사용자의 시선 좌표 정보들을 획득하기 위한 명령; 상기 시선 좌표 정보들을 기반으로 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출하기 위한 명령; 상기 픽세이션 구간 관련 정보 및 상기 사카드 구간 관련 정보를 기반으로 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하기 위한 명령; 및 상기 부재 점수 및 상기 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하기 위한 명령을 포함한다.
개시되는 실시예에 의하면, 텍스트 기반의 콘텐츠를 사용자에게 제공하는 경우 사용자의 촬영 영상에 기반하여 부재 점수, 리딩 비율 점수, 및 사카드 대비 픽세이션 비율 점수를 각각 산출하고 이를 종합하여 사용자의 시선 집중도를 산출함으로써, 보다 정확하고 신뢰도 높은 시선 집중도를 산출할 수 있게 된다.
또한, 동영상 콘텐츠를 사용자에게 제공하는 경우 사용자의 촬영 영상에 기반하여 부재 점수, 픽세이션 비율 점수, 및 사카드 대비 픽세이션 비율 점수를 각각 산출하고 이를 종합하여 사용자의 시선 집중도를 산출함으로써, 보다 정확하고 신뢰도 높은 시선 집중도를 산출할 수 있게 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 콘텐츠에 대한 사용자의 시선 집중도 산출 방법을 나타낸 흐름도
도 3은 본 발명의 일 실시예에서 페이스 미싱 구간을 나타낸 도면
도 4는 개시되는 일 실시예에서 아웃 오브 스크린(Out of Screen) 구간을 나타낸 도면
도 5는 본 발명의 일 실시예에서 사용자의 시선 속도 산출을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에서 시선 분포의 표준 편차 산출을 설명하기 위한 도면
도 7은 본 발명의 일 실시예에서 리딩 상태 구간을 나타낸 도면
도 8은 본 발명의 일 실시예에서 픽세이션 구간 및 사카드 구간을 나타낸 도면
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 콘텐츠에 대한 사용자의 시선 집중도를 산출하기 위한 장치일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠에 대한 사용자의 시선 집중도 산출 방법을 나타낸 흐름도이다. 도 2에 도시된 방법은 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 102에서, 컴퓨팅 장치(12)는 사용자의 촬영 영상을 획득한다. 여기서, 사용자에게는 디스플레이 장치(예를 들어, 데스크탑 PC, 노트북 PC, TV, 스마트 폰, 태블릿 PC 등)를 통해 콘텐츠가 제공될 수 있다. 예시적인 실시예에서, 콘텐츠는 텍스트 기반의 콘텐츠일 수 있다. 예를 들어, 콘텐츠는 텍스트 형태의 문서 파일(예를 들어, 워드 파일, 한글 파일, 엑셀 파일 등), HTML(Hyper Text Markup Language) 기반의 웹 문서(예를 들어, 뉴스, 블로그, SNS, 쇼핑몰 웹 페이지 등), 전자 책 등과 같은 전자 문서 등이 포함될 수 있다.
디스플레이 장치를 통해 콘텐츠가 사용자에게 제공될 때, 촬영 장치로 사용자를 촬영할 수 있다. 여기서, 촬영 장치는 디스플레이 장치에 구비된 촬영 장치일 수 있으나, 이에 한정되는 것은 아니며 디스플레이 장치에 장착 가능한 별도의 촬영 장치일 수도 있다.
컴퓨팅 장치(12)는 촬영 장치로부터 사용자의 촬영 영상을 획득할 수 있다. 컴퓨팅 장치(12)는 콘텐츠가 사용자에게 제공되는 동안 촬영 장치로부터 사용자의 촬영 영상을 획득할 수 있다. 컴퓨팅 장치(12)는 디스플레이 장치와 일체로 구현(즉, 디스플레이 장치의 일 구성으로 구현)될 수 있으나, 이에 한정되는 것은 아니며 디스플레이 장치와 별도의 장치로 구현될 수도 있다.
단계 104에서, 컴퓨팅 장치(12)는 사용자의 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출한다. 구체적으로, 컴퓨팅 장치(12)는 사용자의 촬영 영상에서 사용자의 얼굴을 검출할 수 없는 구간을 페이스 미싱(Face Missing) 구간으로 설정할 수 있다. 도 3은 본 발명의 일 실시예에서 페이스 미싱 구간을 나타낸 도면이다.
예시적인 실시예에서, 사용자의 촬영 영상은 1초당 30프레임으로 획득될 수 있으며, 컴퓨팅 장치(12)는 각 프레임마다 사용자의 얼굴이 검출되는지를 확인할 수 있다. 컴퓨팅 장치(12)는 사용자의 얼굴이 검출되지 않는 하나 이상의 프레임의 구간들을 페이스 미싱 구간으로 설정할 수 있다.
컴퓨팅 장치(12)는 전체 시간(즉, 콘텐츠를 사용자에게 제공하면서 사용자의 촬영 영상을 획득한 전체 시간) 대비 페이스 미싱 구간의 비율을 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 1을 통해 페이스 미싱 구간 비율(Face Missingratio)을 산출할 수 있다.
(수학식 1)
Figure pat00015
T : 전체 시간
Face Missingk : k번째 페이스 미싱 구간의 시간 길이
i : 전체 시간 중 페이스 미싱 구간의 개수
단계 106에서, 컴퓨팅 장치(12)는 사용자의 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출한다. 구체적으로, 컴퓨팅 장치(12)는 사용자의 촬영 영상에서 사용자의 얼굴을 검출한다. 컴퓨팅 장치(12)는 기 공지된 얼굴 인식 기술을 통해 촬영 영상에서 사용자의 얼굴을 검출할 수 있다.
컴퓨팅 장치(12)는 검출된 얼굴 영역을 기반으로 사용자의 시선 좌표 정보를 획득할 수 있다. 컴퓨팅 장치(12)는 검출된 얼굴 영역에서 눈 영역을 검출하고, 검출된 눈 영역에 기반하여 사용자의 시선 좌표를 검출할 수 있다. 컴퓨팅 장치(12)는 사용자의 시선 좌표(x, y)와 그에 대응하는 타임 스탬프(timestamp)를 매칭하여 시선 좌표 정보를 획득할 수 있다. 즉, 시선 좌표 정보는 시선 좌표(x,y) 및 그에 대응하는 타임 스탬프를 포함할 수 있다.
컴퓨팅 장치(12)는 사용자의 시선 좌표 정보에 기반하여 디스플레이 장치의 화면과 동일한 평면의 가상 평면 상에서 사용자의 시선 좌표가 화면 내의 영역(Gaze in Screen)에 있는지 아니면 화면 밖의 영역(즉, Out of Screen)에 있는지를 확인할 수 있다. 도 4는 개시되는 일 실시예에서 아웃 오브 스크린(Out of Screen) 구간을 나타낸 도면이다. 컴퓨팅 장치(12)는 사용자의 시선이 화면 밖의 영역에 있는 구간을 아웃 오브 스크린(Out of Screen) 구간으로 설정할 수 있다.
컴퓨팅 장치(12)는 전체 시간 대비 아웃 오브 스크린(Out of Screen) 구간의 비율을 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 2를 통해 아웃 오브 스크린 비율(Out of Screenratio)을 산출할 수 있다.
(수학식 2)
Figure pat00016
T : 전체 시간
Out of Screenk : k번째 아웃 오브 스크린 구간의 시간 길이
m : 전체 시간 중 아웃 오브 스크린 구간의 개수
단계 108에서, 컴퓨팅 장치(12)는 페이스 미싱 구간 비율 및 아웃 오브 스크린 비율에 기반하여 시선 집중도 산출을 위한 제1 요소인 부재 점수(Absence Score)를 산출한다. 컴퓨팅 장치(12)는 페이스 미싱 구간 비율 및 아웃 오브 스크린 비율이 커질수록 부재 점수가 낮아지도록 할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 다음의 수학식 3을 통해 부재 점수(Absence Score)를 산출할 수 있다.
(수학식 3)
Figure pat00017
단계 110에서, 컴퓨팅 장치(12)는 사용자의 시선 좌표 정보에 기반하여 사용자의 시선 속도를 산출한다. 도 5는 본 발명의 일 실시예에서 사용자의 시선 속도 산출을 설명하기 위한 도면이다. 여기서는, 시선 속도를 측정하기 위한 시구간 길이를 200ms로 하였다.
도 5를 참조하면, 컴퓨팅 장치(12)는 사용자의 시선 속도를 산출하고자 하는 시점(즉, 현재 시점)(해당 시선 좌표의 타임 스탬프에 대응하는 시점)을 기준으로 그 이전의 기 설정된 시구간(예를 들어, 200ms) 동안 획득된 시선 좌표 정보를 추출할 수 있다. 컴퓨팅 장치(12)는 시선 속도 산출 시점을 기준으로 그 이전의 기 설정된 시구간을 2개의 시구간(제1 시구간 및 제2 시구간)으로 구분할 수 있다. 여기서, 제1 시구간 및 제2 시구간은 동일 시간 길이의 구간일 수 있으나, 이에 한정되는 것은 아니다.
컴퓨팅 장치(12)는 제1 시구간에서 획득된 시선 좌표들, 제2 시구간에서 획득된 시선 좌표들, 및 기 설정된 시구간을 기반으로 시선 속도 산출 시점에서의 사용자의 시선 속도를 산출할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 다음의 수학식 4를 통해 시선 속도 산출 시점에서의 사용자의 시선 속도(Velocitynow)를 산출할 수 있다. 컴퓨팅 장치(12)는 획득한 각 시선 좌표의 타임 스탬프에서의 시선 속도를 산출할 수 있다.
(수학식 4)
Figure pat00018
Time Range : 기 설정된 시구간
Gaze Coordinateavg_range1: 제1 시구간에서 획득된 시선 좌표들의 평균값
Gaze Coordinateavg_range2: 제2 시구간에서 획득된 시선 좌표들의 평균값
단계 112에서, 컴퓨팅 장치(12)는 획득한 각 시선 좌표 정보에 대해 사용자의 시선이 픽세이션(Fixation)인지 사카드(Saccade)인지 여부를 확인한다.
구체적으로, 컴퓨팅 장치(12)는 시선 종류(픽세이션 또는 사카드)를 확인하고자 하는 시점(즉, 현재 시점)(해당 시선 좌표의 타임 스탬프에 대응하는 시점)을 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보를 이용하여 시선 분포의 표준 편차를 산출할 수 있다. 도 6은 본 발명의 일 실시예에서 시선 분포의 표준 편차 산출을 설명하기 위한 도면이다.
도 6을 참조하면, 컴퓨팅 장치(12)는 시선 종류 확인 시점을 기준으로 기 설정된 시구간(예를 들어, 1,000ms) 동안 획득된 n개의 시선 좌표 정보를 추출할 수 있다. 컴퓨팅 장치(12)는 하기의 수학식 5를 통해 시선 종류 확인 시점을 기준으로 기 설정된 시구간 동안 획득된 n개의 시선 좌표에 대한 표준 편차(σnow)를 산출할 수 있다.
(수학식 5)
Figure pat00019
Gazei : 기 설정된 시구간 동안 획득된 시선 좌표들 중 i번째 시선 좌표
Average Gaze : 기 설정된 시구간 동안 획득된 시선 좌표들의 평균값
n : 기 설정된 시구간 동안 획득된 시선 좌표 정보의 개수
컴퓨팅 장치(12)는 시선 종류 확인 시점에 대응하는 시선 좌표에 대한 표준 편차(σnow)가 기 설정된 임계 표준 편차 값 미만이면서, 시선 종류 확인 시점에 대응하는 사용자의 시선 속도(Velocitynow)가 기 설정된 최대 임계 속도 미만인 경우, 해당 시선 좌표 정보에 대한 사용자의 시선이 픽세이션인 것으로 분류할 수 있다.
즉, 시선 종류 확인 시점을 기준으로 시선 분포가 어느 정도 집중되어 있으면서 사용자의 시선 속도가 최대 임계 속도보다 작은 경우는 사용자의 시선이 픽세이션에서 사카드로 전환되기 전의 상태인 것으로 판단하여 사용자의 시선을 픽세이션으로 분류할 수 있다.
또한, 컴퓨팅 장치(12)는 시선 종류 확인 시점에 대응하는 시선 좌표에 대한 표준 편차(σnow)가 기 설정된 임계 표준 편차 값 이상이면서, 시선 종류 확인 시점에 대응하는 사용자의 시선 속도(Velocitynow)가 기 설정된 최소 임계 속도 미만인 경우, 해당 시선 좌표 정보에 대한 사용자의 시선이 픽세이션인 것으로 분류할 수 있다. 최소 임계 속도는 최대 임계 속도 보다 작은 속도 값으로 설정된다.
즉, 시선 종류 확인 시점을 기준으로 시선 분포가 분산되어 있더라도 사용자의 시선 속도가 최소 임계 속도보다 작은 경우는 사용자의 시선이 사카드에서 픽세이션으로 전환된 상태인 것으로 판단하여 사용자의 시선을 픽세이션으로 분류할 수 있다.
컴퓨팅 장치(12)는 각 시선 좌표 정보에 대해 사용자의 시선이 픽세이션으로 분류된 것을 제외하고는 사카드로 분류할 수 있다.
단계 114에서, 컴퓨팅 장치(12)는 사용자의 시선 속도를 기반으로 각 시선 좌표 정보에 대해 사용자가 리딩 상태(Reading Status)인지 여부(즉, 콘텐츠 내 텍스트를 읽고 있는 상태인지 여부)를 확인한다.
구체적으로, 컴퓨팅 장치(12)는 사용자의 세로 축 방향(즉, y 방향)의 시선 속도 대비 가로 축 방향(즉, x축 방향)의 시선 속도, 기 설정된 제1 방향 임계값, 및 기 설정된 제2 방향 임계값 중 하나 이상을 기반으로 사용자의 리딩 상태 여부를 확인할 수 있다.
컴퓨팅 장치(12)는 다음의 수학식 6을 만족하는 경우, 해당 시선 좌표에서 사용자가 리딩 상태인 것으로 판단할 수 있다.
(수학식 6)
Figure pat00020
Figure pat00021
Figure pat00022
Velocity(x)now : x축 방향의 시선 속도
Velocity(y)now : y축 방향의 시선 속도
FST : Forward Scan Threshold
MFD : Max Focusing Duration
여기서, FST(Forward Scan Threshold)은 기 설정되는 제1 방향 임계값으로, 제1 방향은 사용자의 시선이 좌측에서 우측으로 움직이는 방향일 수 있다. MFD(Max Focusing Duration)는 기 설정되는 최대 포커싱 시간일 수 있다. 예를 들어, MFD는 2000ms로 설정될 수 있으나, 이에 한정되는 것은 아니다. 사용자의 픽세이션 시간(Fixation Duration)이 MFD(Max Focusing Duration) 이상이 되면, 사용자가 텍스트를 읽고 있다기 보다는 텍스트의 어느 한 단어에 집중하고 있거나 아니면 텍스트를 보면서 딴 생각 중인 것으로 판단할 수 있다.
수학식 6에 의하면, 사용자의 시선이 x축에서 제1 방향(좌측에서 우측 방향)으로 이동하고, 사용자의 y 방향의 시선 속도 대비 x축 방향의 시선 속도가 기 설정된 제1 방향 임계값 이상이며, 사용자의 픽세이션 시간이 기 설정된 최대 포커싱 시간 미만인 경우, 해당 시선 좌표에서 사용자의 상태를 리딩 상태인 것으로 판단할 수 있다. 즉, 수학식 6에 의하면, 사용자의 시선이 가로 축을 따라 이동하되 좌측에서 우측으로 이동하면서 텍스트를 읽고 있는 것으로 판단할 수 있다.
또한, 컴퓨팅 장치(12)는 다음의 수학식 7을 만족하는 경우, 해당 시선 좌표에서 사용자가 리딩 상태인 것으로 판단할 수 있다.
(수학식 7)
Figure pat00023
Figure pat00024
Figure pat00025
BST : Backward Scan Threshold
여기서, BST(Backward Scan Threshold)는 기 설정되는 제2 방향 임계값으로, 제2 방향은 제1 방향과 반대이며, 사용자의 시선이 우측에서 좌측으로 움직이는 방향일 수 있다.
수학식 7에 의하면, 사용자의 시선이 x축에서 제2 방향(우측에서 좌측 방향)으로 이동하고, 사용자의 y 방향의 시선 속도 대비 x축 방향의 시선 속도가 기 설정된 제2 방향 임계값 미만이며, 사용자의 픽세이션 시간이 기 설정된 최대 포커싱 시간 미만인 경우, 해당 시선 좌표에서 사용자의 상태를 리딩 상태인 것으로 판단할 수 있다. 즉, 수학식 7에 의하면, 사용자의 시선이 우측에서 좌측으로 변하면서 텍스트의 줄을 바꿔 읽고 있는 것으로 판단할 수 있다.
단계 116에서, 컴퓨팅 장치(12)는 각 시선 좌표 정보에 대한 사용자의 리딩 상태 여부 정보에 기반하여 시선 집중도 산출을 위한 제2 요소인 리딩 비율 점수(Reading Ratio Score)를 산출한다.
도 7은 본 발명의 일 실시예에서 리딩 상태 구간을 나타낸 도면이다. 도 7을 참조하면, 컴퓨팅 장치(12)는 각 시선 좌표 정보에 대해 리딩 상태 여부를 라벨링 할 수 있다. 컴퓨팅 장치(12)는 전체 시간 대비 리딩 상태 구간의 비율을 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 8을 통해 리딩 상태 구간 비율(Reading Statusratio)을 산출할 수 있다.
(수학식 8)
Figure pat00026
T : 전체 시간
Reading Statusk : k번째 리딩 상태 구간의 시간 길이
p : 전체 시간 중 리딩 상태 구간의 개수
컴퓨팅 장치(12)는 리딩 상태 구간 비율이 커질수록 리딩 비율 점수가 높아지도록 할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 다음의 수학식 9를 통해 리딩 비율 점수(Reading Ratio Score)를 산출할 수 있다.
(수학식 9)
Figure pat00027
σ: 계수(1 이상의 실수)
단계 118에서, 컴퓨팅 장치(12)는 전체 시간(즉, 콘텐츠를 사용자에게 제공하면서 사용자의 촬영 영상을 획득한 전체 시간)에 대한 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출한다. 여기서, 픽세이션 구간 관련 정보는 픽세이션 구간 여부(전체 시간 중 특정 구간이 픽세이션 구간인지에 대한 정보), 픽세이션 구간의 평균 시간 길이, 및 픽세이션 구간의 비율을 포함할 수 있다. 사카드 구간 관련 정보는 사카드 구간 여부(전체 시간 중 특정 구간이 사카드 구간인지에 대한 정보), 사카드 구간의 평균 시간 길이, 및 사카드 구간의 비율을 포함할 수 있다.
구체적으로, 컴퓨팅 장치(12)는 도 8에 도시된 바와 같이, 전체 시간 중 픽세이션 구간 및 사카드 구간을 구분할 수 있다. 즉, 단계 112에서, 각 시선 좌표 정보에 대해 사용자의 시선이 픽세이션(Fixation)인지 사카드(Saccade)인지 여부를 확인하였는 바, 이를 이용하여 전체 시간 중 픽세이션 구간 및 사카드 구간을 구분할 수 있다. 도 8에서는, 첫번째 사카드 구간(Saccade Duration #1), 첫번째 픽세이션 구간(Fixation Duration #1), 두번째 사카드 구간(Saccade Duration #2), 두번째 픽세이션 구간(Fixation Duration #2)의 순으로 구분된 것을 볼 수 있다.
컴퓨팅 장치(12)는 전체 시간 중 픽세이션 구간들을 추출하고, 픽세이션 구간들의 평균 시간 길이를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 10을 통해 픽세이션 구간들의 평균 시간 길이(Fixavg)를 산출할 수 있다.
(수학식 10)
Figure pat00028
l : 전체 시간 중 픽세이션 구간의 개수
Fixk : k번째 픽세이션 구간의 시간 길이
또한, 컴퓨팅 장치(12)는 다음의 수학식 11를 통해 전체 시간 중 픽세이션 구간의 비율(Fixratio)을 산출할 수 있다.
(수학식 11)
Figure pat00029
T : 전체 시간
또한, 컴퓨팅 장치(12)는 전체 시간 중 사카드 구간들을 추출하고, 사카드 구간들의 평균 시간 길이를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 12를 통해 사카드 구간들의 평균 시간 길이(Sacavg)를 산출할 수 있다.
(수학식 12)
Figure pat00030
m : 전체 시간 중 사카드 구간의 개수
Sack : k번째 사카드 구간의 시간 길이
또한, 컴퓨팅 장치(12)는 다음의 수학식 13을 통해 전체 시간 중 사카드 구간의 비율(Sacratio)을 산출할 수 있다.
(수학식 13)
Figure pat00031
T : 전체 시간
단계 120에서, 컴퓨팅 장치(12)는 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보에 기반하여 시선 집중도 산출을 위한 제3 요소인 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출한다.
예시적인 실시예에서, 컴퓨팅 장치(12)는 픽세이션 구간 관련 정보 중 픽세이션 구간들의 평균 시간 길이를 추출하고, 사카드 구간 관련 정보 중 사카드 구간들의 평균 시간 길이를 추출하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 14를 통해 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출할 수 있다.
(수학식 14)
Figure pat00032
단계 122에서, 컴퓨팅 장치(12)는 부재 점수(Absence Score), 리딩 비율 점수(Reading Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 기반하여 사용자의 시선 집중도를 산출한다.
구체적으로, 컴퓨팅 장치(12)는 부재 점수(Absence Score), 리딩 비율 점수(Reading Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 각각 기 설정된 제1 가중치 내지 제3 가중치를 부여한 후 이를 합산하여 사용자의 시선 집중도를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 15를 통해 사용자의 시선 집중도를 산출할 수 있다.
(수학식 15)
시선 집중도 = α·부재 점수 + β·리딩 비율 점수 + γ·사카드 대비 픽세이션 비율 점수
α : 제1 가중치
β : 제2 가중치
γ : 제3 가중치
여기서, 제1 가중치, 제2 가중치, 및 제3 가중치의 합은 1이 될 수 있다. 그리고, 제2 가중치는 제1 가중치 및 제3 가중치보다 각각 높게 설정될 수 있다. 제1 가중치는 제3 가중치 보다 높게 설정될 수 있다.
한편, 여기서는 텍스트 기반의 콘텐츠를 사용자에게 제공한 경우 사용자의 시선 집중도를 산출하는 과정에 대해 설명하였으며, 동영상 콘텐츠가 사용자에게 제공될 수도 있다. 동영상 콘텐츠가 사용자에게 제공되는 경우에는 리딩 비율 점수 대신 픽세이션 비율 점수(Fixation Ratio Score)가 사용될 수 있다.
컴퓨팅 장치(12)는 전체 시간 중 픽세이션 구간의 비율(Fixratio)을 기반으로 픽세이션 비율 점수(Fixation Ratio Score)를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 16을 통해 픽세이션 비율 점수(Fixation Ratio Score)를 산출할 수 있다.
(수학식 16)
Figure pat00033
δ : 계수(1 이상의 실수)
컴퓨팅 장치(12)는 부재 점수(Absence Score), 픽세이션 비율 점수(Fixation Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 기반하여 동영상 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다.
구체적으로, 컴퓨팅 장치(12)는 부재 점수(Absence Score), 픽세이션 비율 점수(Fixation Ratio Score), 및 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)에 각각 기 설정된 제4 가중치 내지 제6 가중치를 부여한 후 이를 합산하여 동영상 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다. 컴퓨팅 장치(12)는 다음의 수학식 17를 통해 동영상 콘텐츠에 대한 사용자의 시선 집중도를 산출할 수 있다.
(수학식 17)
시선 집중도 = λ·부재 점수 + μ· 픽세이션 비율 점수 + ν·사카드 대비 픽세이션 비율 점수
λ : 제4 가중치
μ : 제5 가중치
ν : 제6 가중치
개시되는 실시예에 의하면, 텍스트 기반의 콘텐츠를 사용자에게 제공하는 경우 사용자의 촬영 영상에 기반하여 부재 점수, 리딩 비율 점수, 및 사카드 대비 픽세이션 비율 점수를 각각 산출하고 이를 종합하여 사용자의 시선 집중도를 산출함으로써, 보다 정확하고 신뢰도 높은 시선 집중도를 산출할 수 있게 된다.
또한, 동영상 콘텐츠를 사용자에게 제공하는 경우 사용자의 촬영 영상에 기반하여 부재 점수, 픽세이션 비율 점수, 및 사카드 대비 픽세이션 비율 점수를 각각 산출하고 이를 종합하여 사용자의 시선 집중도를 산출함으로써, 보다 정확하고 신뢰도 높은 시선 집중도를 산출할 수 있게 된다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스

Claims (25)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작;
    상기 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출하는 동작;
    상기 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하는 동작;
    상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 구간 비율에 기반하여 부재 점수(Absence Score)를 산출하는 동작;
    상기 촬영 영상에 기반하여 상기 사용자의 시선 좌표 정보들을 획득하는 동작;
    상기 시선 좌표 정보들을 기반으로 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출하는 동작;
    상기 픽세이션 구간 관련 정보 및 상기 사카드 구간 관련 정보를 기반으로 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및
    상기 부재 점수 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함하는, 시선 집중도 산출 방법.
  2. 청구항 1에 있어서,
    상기 페이스 미싱(Face Missing) 구간 비율을 산출하는 동작은,
    상기 촬영 영상에서 상기 사용자의 얼굴을 검출할 수 없는 구간을 페이스 미싱 구간으로 설정하는 동작을 포함하고,
    상기 페이스 미싱 구간 비율은 하기의 수학식을 통해 산출하는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00034

    T : 촬영 영상을 획득한 전체 시간
    Face Missingk : k번째 페이스 미싱 구간의 시간 길이
    i : 전체 시간 중 페이스 미싱 구간의 개수
  3. 청구항 2에 있어서,
    상기 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하는 동작은,
    상기 디스플레이 장치의 화면과 동일한 평면의 가상 평면 상에서 상기 사용자의 시선 좌표가 화면 밖의 영역에 있는 구간을 아웃 오브 스크린 구간으로 설정하는 동작을 포함하고,
    상기 아웃 오브 스크린 구간 비율은 하기의 수학식을 통해 산출하는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00035

    T : 촬영 영상을 획득한 전체 시간
    Out of Screenk : k번째 아웃 오브 스크린 구간의 시간 길이
    m : 전체 시간 중 아웃 오브 스크린 구간의 개수
  4. 청구항 3에 있어서,
    상기 부재 점수(Absence Score)는,
    상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 비율이 커질수록 상기 부재 점수가 낮아지도록 설정되는, 시선 집중도 산출 방법.
  5. 청구항 3에 있어서,
    상기 부재 점수(Absence Score)는 하기의 수학식에 의해 산출되는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00036

  6. 청구항 1에 있어서,
    상기 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 획득하는 동작은,
    상기 시선 좌표 정보들을 기반으로 각 시선 좌표의 타임 스탬프에서의 시선 속도를 산출하는 동작;
    상기 시선 좌표 정보들을 기반으로 시선 분포의 표준 편차를 산출하는 동작; 및
    상기 시선 속도 및 상기 표준 편차에 기반하여 각 시선 좌표에서의 상기 사용자의 시선을 픽세이션(Fixation) 또는 사카드(Saccade)로 분류하는 동작을 포함하는, 시선 집중도 산출 방법.
  7. 청구항 6에 있어서,
    상기 시선 속도를 산출하는 동작은,
    해당 시선 좌표의 타임 스탬프를 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보를 추출하는 동작;
    상기 그 이전의 기 설정된 시구간을 제1 시구간 및 제2 시구간으로 구분하는 동작; 및
    상기 제1 시구간에서 획득된 시선 좌표들, 상기 제2 시구간에서 획득된 시선 좌표들, 및 상기 기 설정된 시구간을 기반으로 해당 시선 좌표의 타임 스탬프에서의 시선 속도를 산출하는 동작을 포함하는, 시선 집중도 산출 방법.
  8. 청구항 7에 있어서,
    상기 시선 좌표의 타임 스탬프에서의 시선 속도(Velocitynow)는 하기의 수학식에 의해 산출되는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00037

    Time Range : 기 설정된 시구간
    Gaze Coordinateavg_range1: 제1 시구간에서 획득된 시선 좌표들의 평균값
    Gaze Coordinateavg_range2: 제2 시구간에서 획득된 시선 좌표들의 평균값
  9. 청구항 6에 있어서,
    상기 표준 편차를 산출하는 동작은,
    해당 시선 좌표의 타임 스탬프에 대응하는 시점을 기준으로 그 이전의 기 설정된 시구간 동안 획득된 시선 좌표 정보들을 추출하는 동작; 및
    상기 시선 좌표의 타임 스탬프에 대응하는 시점을 기준으로 상기 기 설정된 시구간 동안 획득된 시선 좌표 정보들에 대한 표준 편차를 산출하는 동작을 포함하는, 시선 집중도 산출 방법.
  10. 청구항 9에 있어서,
    상기 분류하는 동작은,
    상기 산출한 표준 편차가 기 설정된 임계 표준 편차 값 미만이면서 상기 시선 좌표의 타임 스탬프에 대응하는 시점의 시선 속도가 기 설정된 최대 임계 속도 미만인 경우, 해당 시선 좌표에 대한 사용자의 시선을 픽세이션으로 분류하는, 시선 집중도 산출 방법.
  11. 청구항 9에 있어서,
    상기 분류하는 동작은,
    상기 산출한 표준 편차가 기 설정된 임계 표준 편차 값 이상이면서 상기 시선 좌표의 타임 스탬프에 대응하는 시점의 시선 속도가 기 설정된 최소 임계 속도 미만인 경우, 해당 시선 좌표에 대한 사용자의 시선을 픽세이션으로 분류하는, 시선 집중도 산출 방법.
  12. 청구항 6에 있어서,
    상기 픽세이션 구간 관련 정보를 산출하는 동작은, 상기 촬영 영상을 획득한 전체 시간 중 픽세이션 구간들을 추출하는 동작 및 상기 추출한 픽세이션 구간들의 평균 시간 길이를 산출하는 동작을 포함하고,
    상기 사카드 구간 관련 정보를 산출하는 동작은, 상기 촬영 영상을 획득한 전체 시간 중 사카드 구간들을 추출하는 동작 및 상기 추출한 사카드 구간들의 평균 시간 길이를 산출하는 동작을 포함하며,
    상기 사카드 대비 픽세이션 비율 점수는, 상기 픽세이션 구간들의 평균 시간 길이 및 상기 사카드 구간들의 평균 시간 길이에 기반하여 산출하는, 시선 집중도 산출 방법.
  13. 청구항 12에 있어서,
    상기 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)는 하기의 수학식에 의해 산출되는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00038

    Fixavg : 픽세이션 구간들의 평균 시간 길이
    Sacavg : 사카드 구간들의 평균 시간 길이
  14. 청구항 1에 있어서,
    상기 시선 집중도 산출 방법은,
    상기 시선 좌표 정보들의 각 시선 좌표에서의 상기 사용자의 리딩 상태 여부를 확인하는 동작; 및
    상기 각 시선 좌표에 대한 상기 사용자의 리딩 상태 여부에 기반하여 리딩 비율 점수(Reading Ratio Score)를 산출하는 동작을 더 포함하는, 시선 집중도 산출 방법.
  15. 청구항 14에 있어서,
    상기 리딩 상태 여부를 확인하는 동작은,
    각 시선 좌표의 타임 스탬프에서의 x축 방향의 시선 속도 및 y축 방향의 시선 속도를 산출하는 동작;
    상기 y축 방향의 시선 속도 대비 상기 x축 방향의 시선 속도를 산출하는 동작; 및
    상기 x축 방향의 시선 속도, 상기 y축 방향의 시선 속도 대비 상기 x축 방향의 시선 속도, 기 설정된 최대 포커싱 시간, 기 설정된 제1 방향 임계값(제1 방향은 x축을 따라 이동하는 일 방향), 및 기 설정된 제2 방향 임계값(제2 방향은 제1 방향과 반대되는 방향) 중 하나 이상을 기반으로 해당 시선 좌표에서의 상기 사용자의 리딩 상태를 확인하는 동작을 포함하는, 시선 집중도 산출 방법.
  16. 청구항 15에 있어서,
    상기 리딩 상태를 확인하는 동작은, 하기의 수학식을 만족하는 경우 해당 시선 좌표에서 상기 사용자가 리딩 상태인 것으로 판단하는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00039

    Figure pat00040

    Figure pat00041

    Velocity(x)now : x축 방향의 시선 속도
    Velocity(y)now : y축 방향의 시선 속도
    FST(Forward Scan Threshold) : 기 설정된 제1 방향 임계값
    MFD(Max Focusing Duration) : 기 설정된 최대 포커싱 시간
    Fixation Durationnow : 사용자의 픽세이션 시간
  17. 청구항 15에 있어서,
    상기 리딩 상태를 확인하는 동작은, 하기의 수학식을 만족하는 경우 해당 시선 좌표에서 상기 사용자가 리딩 상태인 것으로 판단하는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00042

    Figure pat00043

    Figure pat00044

    Velocity(x)now : x축 방향의 시선 속도
    Velocity(y)now : y축 방향의 시선 속도
    BST(Backward Scan Threshold) : 기 설정된 제2 방향 임계 값
    MFD(Max Focusing Duration) : 기 설정된 최대 포커싱 시간
    Fixation Durationnow : 사용자의 픽세이션 시간
  18. 청구항 14에 있어서,
    상기 리딩 비율 점수(Reading Ratio Score)는 하기 수학식에 의해 산출되는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00045

    Figure pat00046

    T : 촬영 영상을 획득한 전체 시간
    Reading Statusk : k번째 리딩 상태 구간의 시간 길이
    p : 전체 시간 중 리딩 상태 구간의 개수
    σ: 계수(1 이상의 실수)
  19. 청구항 14에 있어서,
    상기 시선 집중도를 산출하는 동작은,
    상기 부재 점수, 상기 리딩 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 각각 제1 가중치, 제2 가중치, 및 제3 가중치를 부여하고 이를 합산하여 상기 시선 집중도를 산출하는, 시선 집중도 산출 방법.
  20. 청구항 1에 있어서,
    상기 시선 집중도 산출 방법은,
    상기 촬영 영상에 기반하여 상기 촬영 영상을 획득한 전체 시간 중 픽세이션 구간 비율을 산출하는 동작; 및
    상기 픽세이션 구간 비율에 기반하여 픽세이션 비율 점수(Fixation Ratio Score)를 산출하는 동작을 더 포함하는, 시선 집중도 산출 방법.
  21. 청구항 20에 있어서,
    상기 픽세이션 비율 점수(Fixation Ratio Score)는 하기의 수학식에 의해 산출되는, 시선 집중도 산출 방법.
    (수학식)
    Figure pat00047

    Fixratio : 픽세이션 구간 비율
    δ : 계수(1 이상의 실수)
  22. 청구항 20에 있어서,
    상기 시선 집중도를 산출하는 동작은,
    상기 부재 점수, 상기 픽세이션 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 각각 제4 가중치, 제5 가중치, 및 제6 가중치를 부여하고 이를 합산하여 상기 시선 집중도를 산출하는, 시선 집중도 산출 방법.
  23. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작;
    상기 촬영 영상에 기반하여 부재 점수(Absence Score)를 산출하는 동작;
    상기 촬영 영상에 기반하여 리딩 비율 점수(Reading Ratio Score)를 산출하는 동작;
    상기 촬영 영상에 기반하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및
    상기 부재 점수, 상기 리딩 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함하는, 시선 집중도 산출 방법.
  24. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하는 동작;
    상기 촬영 영상에 기반하여 부재 점수(Absence Score)를 산출하는 동작;
    상기 촬영 영상에 기반하여 픽세이션 비율 점수(Fixation Ratio Score)를 산출하는 동작;
    상기 촬영 영상에 기반하여 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하는 동작; 및
    상기 부재 점수, 상기 픽세이션 비율 점수, 및 상기 사카드 대비 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하는 동작을 포함하는, 시선 집중도 산출 방법.
  25. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    콘텐츠가 디스플레이 장치를 통해 사용자에게 제공되는 동안 상기 사용자를 촬영한 촬영 영상을 획득하기 위한 명령;
    상기 촬영 영상에 기반하여 페이스 미싱(Face Missing) 구간 비율을 산출하기 위한 명령;
    상기 촬영 영상에 기반하여 아웃 오브 스크린(Out of Screen) 구간 비율을 산출하기 위한 명령;
    상기 페이스 미싱 구간 비율 및 상기 아웃 오브 스크린 구간 비율에 기반하여 부재 점수(Absence Score)를 산출하기 위한 명령;
    상기 촬영 영상에 기반하여 상기 사용자의 시선 좌표 정보들을 획득하기 위한 명령;
    상기 시선 좌표 정보들을 기반으로 픽세이션 구간 관련 정보 및 사카드 구간 관련 정보를 산출하기 위한 명령;
    상기 픽세이션 구간 관련 정보 및 상기 사카드 구간 관련 정보를 기반으로 사카드 대비 픽세이션 비율 점수(F/S Ratio Score)를 산출하기 위한 명령; 및
    상기 부재 점수 및 상기 픽세이션 비율 점수에 기반하여 상기 사용자의 시선 집중도를 산출하기 위한 명령을 포함하는, 컴퓨팅 장치.
KR1020210028832A 2021-03-04 2021-03-04 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치 KR20220124992A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210028832A KR20220124992A (ko) 2021-03-04 2021-03-04 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치
PCT/KR2021/017441 WO2022186451A1 (ko) 2021-03-04 2021-11-24 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028832A KR20220124992A (ko) 2021-03-04 2021-03-04 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR20220124992A true KR20220124992A (ko) 2022-09-14

Family

ID=83155391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028832A KR20220124992A (ko) 2021-03-04 2021-03-04 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (2)

Country Link
KR (1) KR20220124992A (ko)
WO (1) WO2022186451A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020131A (ja) * 2004-07-02 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 関心度測定装置および関心度測定方法
US9594944B2 (en) * 2013-09-25 2017-03-14 Xerox Corporation Methods and systems for monitoring a worker performing a crowdsourced task
KR101856939B1 (ko) * 2017-03-30 2018-05-14 주식회사 브레인웍스 안구운동 데이터 제공 시스템
KR101929124B1 (ko) * 2017-08-08 2018-12-13 숭실대학교산학협력단 소비자의 관심영역을 이용한 주의집중 분석 장치 및 분석 방법
KR102262889B1 (ko) * 2019-08-12 2021-06-09 주식회사 비엔알아이 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
WO2022186451A1 (ko) 2022-09-09

Similar Documents

Publication Publication Date Title
US9741170B2 (en) Method for displaying augmented reality content based on 3D point cloud recognition, and apparatus and system for executing the method
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
EP2118722B1 (en) Controlling a document based on user behavioral signals detected from a 3d captured image stream
CN110008110B (zh) 用户界面的测试方法及装置
Toyama et al. A mixed reality head-mounted text translation system using eye gaze input
US9058536B1 (en) Image-based character recognition
CN113656582B (zh) 神经网络模型的训练方法、图像检索方法、设备和介质
CN111539412B (zh) 一种基于ocr的图像分析方法、系统、设备及介质
CN110163171B (zh) 用于识别人脸属性的方法和装置
CN110597387B (zh) 基于人工智能的画面显示方法和装置、计算设备、存储介质
KR20160027862A (ko) 이미지 데이터를 처리하는 방법과 이를 지원하는 전자 장치
US20220172276A1 (en) System for shopping mall service using eye tracking technology and computing device for executing same
US20210097377A1 (en) Method and apparatus for image recognition
KR102094953B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
KR102212210B1 (ko) 필기 정보를 공유 및 표시하는 방법 및 장치
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
KR20220124992A (ko) 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치
US11631262B2 (en) Semantic segmentation for stroke classification in inking application
CN114170439A (zh) 姿态识别方法、装置、存储介质和电子设备
CN114064972A (zh) 视频类型确定方法及相关装置
KR20140113780A (ko) 스마트 안경 및 이의 번역 방법
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
KR102548625B1 (ko) 시선 추적 기반의 쇼핑 콘텐츠 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN111626191B (zh) 模型生成方法、装置、计算机可读存储介质及电子设备
KR20230060986A (ko) Ocr 처리 시간 예측 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right