KR20220073621A - 안구 전도 기반의 시선 추적 방법 - Google Patents

안구 전도 기반의 시선 추적 방법 Download PDF

Info

Publication number
KR20220073621A
KR20220073621A KR1020210071871A KR20210071871A KR20220073621A KR 20220073621 A KR20220073621 A KR 20220073621A KR 1020210071871 A KR1020210071871 A KR 1020210071871A KR 20210071871 A KR20210071871 A KR 20210071871A KR 20220073621 A KR20220073621 A KR 20220073621A
Authority
KR
South Korea
Prior art keywords
gaze
eye conduction
eye
horizontal
vertical
Prior art date
Application number
KR1020210071871A
Other languages
English (en)
Other versions
KR102564902B1 (ko
Inventor
임창환
하지수
최강민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20220073621A publication Critical patent/KR20220073621A/ko
Application granted granted Critical
Publication of KR102564902B1 publication Critical patent/KR102564902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

안구 전도 기반으로 시선을 추적하는 방법이 개시된다. 개시된 안구 전도 기반의 시선 추적 방법은 화면에 표시된 복수의 포인트를 바라보는 응시자의 수평 및 수직 안구전도값을 생성하는 단계; 상기 화면의 우측 및 좌측 가장 자리에 표시된 포인트에 대한 수평 안구전도값로부터, 수평 시각도 및 수평 안구전도값의 관계를 나타내는 제1선형 모델을 생성하는 단계; 상기 화면의 상측 및 하측 가장 자리에 표시된 포인트에 대한 수직 안구전도 신호로부터, 수직 시각도 및 수직 안구전도값의 관계를 나타내는 제2선형 모델을 생성하는 단계; 및 상기 제1 및 제2선형 모델을 이용하여, 타겟 객체를 바라보는 상기 응시자의 타겟 수평 및 수직 안구전도값에 대한 응시 위치를 추정하는 단계를 포함한다.

Description

안구 전도 기반의 시선 추적 방법{METHOD FOR EYE TRACKING BASED ELECTROMYOGRAM}
본 발명은 시선 추적 방법에 관한 것으로서, 더욱 상세하게는 안구 전도 기반으로 시선을 추적하는 방법에 관한 것이다.
시선 추적 기술은 눈동자의 움직임을 포착해 사용자가 응시하는 지점을 추정하는 기술로, 현재 신경과학, 심리학, 임상과학 연구, 마케팅 조사(웹페이지 및 제품의 사용자 평가), 신경질병 진단 및 안구 마우스 등의 다양한 분야에서 응용되고 있다. 최근에는 뉴로 마케팅에 시선 추적 기술을 접목하는 시도가 있다.
뉴로 마케팅은 신경과학기술을 적용하여 소비자의 무의식적 심리를 분석함으로써 소비자의 관심을 효과적으로 유발하는 데 도움을 주는 기술이다. 최근, 뉴로 마케팅 관련 기술을 실생활에 적용하려는 시도가 점진적으로 증가함에 따라 시선 추적 기술을 접목하여 소비자에게 효과적으로 광고 대상을 노출시키고자 하는 등의 실용적 연구가 주목받고 있다.
한편, 현재 시선 추적은 크게 두 가지의 방법으로 이루어지고 있다.
비디오 기반의 시선 추적 기술은 얼굴 전면부에 카메라를 부착하고 눈동자의 움직임을 촬영하여 응시 지점을 추정한다. 안구전도(EOG, electrooculogram) 기반의 시선 추적 기술은 눈의 주변부에 전극을 부착하여 안구의 움직임에 따라 발생하는 전기신호를 측정하여 이 전기신호의 크기로 응시 지점을 추정한다.
앞서 말한 비디오 기반의 기술은 사용자가 얼굴 전면부에 카메라를 부착해야 해서 시야의 일부가 가려지거나 고가의 안구인식용 카메라를 필요로 한다는 한계점이 있으며, 눈을 감고 있을 때는 안구의 움직임을 측정할 수 없다. 또한, 안구전도 방식에 비해 상대적으로 고비용이라는 단점이 있다.
반면, 안구전도 방식은 전자에 비해 상대적으로 낮은 정확도를 가지고 있다고 알려져 있지만, 시야를 가리지 않고 눈의 움직임을 측정할 수 있으며 눈을 감고 있을 때에도 안구의 움직임을 측정하는 것이 가능한 장점으로 인해, 사지 마비 환자의 의사소통이나 인간-컴퓨터 인터페이스(HCI) 분야에 활용되고 있다.
관련 선행문헌으로 대한민국 등록특허 제10-1929650호, 제10-1996039호 및 대한민국 공개특허 제2021-0035421호가 있다.
본 발명은, 안구 전도를 이용하여, 응시자가 바라보는 타겟 객체에서의 응시 좌표를 추정할 수 있는, 시선 추적 방법을 제공하기 위한 것이다.
또한 본 발명은, 응시자의 시선을 히트맵 형태로 시각화하여, 뉴로 마케팅이나 인간-컴퓨터 인터페이스에 활용할 수 있는, 시선 추적 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 화면에 표시된 복수의 포인트를 바라보는 응시자의 수평 및 수직 안구전도값을 생성하는 단계; 상기 화면의 우측 및 좌측 가장 자리에 표시된 포인트에 대한 수평 안구전도값로부터, 수평 시각도 및 수평 안구전도값의 관계를 나타내는 제1선형 모델을 생성하는 단계; 상기 화면의 상측 및 하측 가장 자리에 표시된 포인트에 대한 수직 안구전도 신호로부터, 수직 시각도 및 수직 안구전도값의 관계를 나타내는 제2선형 모델을 생성하는 단계; 및 상기 제1 및 제2선형 모델을 이용하여, 타겟 객체를 바라보는 상기 응시자의 타겟 수평 및 수직 안구전도값에 대한 응시 위치를 추정하는 단계를 포함하는 안구 전도 기반의 시선 추적 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 타겟 객체를 바라보는 응시자의 타겟 안구전도값을 입력받는 단계; 시각도 및 안구전도값의 관계를 나타내는 선형 모델 및 상기 타겟 안구전도값을 이용하여, 상기 타겟 객체에서의 응시자 시선에 대한 응시 좌표를 추정하는 단계; 상기 응시 좌표를 기준으로 미리 설정된 크기의 타겟 영역 내에 포함된 절대 좌표별로, 상기 시선의 분포 확률값을 계산하는 단계; 및 시간 흐름에 따른 상기 시선의 분포 확률값을 누적하여, 히트맵을 생성하는 단계를 포함하는 안구 전도 기반의 시선 추적 방법이 제공된다.
본 발명의 일실시예에 따르면, 안구 전도를 이용하여, 응시자가 바라보는 타겟 객체에서의 응시 위치를 정확하게 추정할 수 있다.
또한 본 발명의 일실시예에 따르면 시선 추적 결과를 히트맵으로 시각화함으로써, 응시자의 응시 패턴을 용이하게 분석할 수 있으며, 이러한 분석 결과를 뉴로 마케팅에 활용할 수 있다.
도 1은 본 발명의 일실시예에 따른 시선 추적 결과를 히트맵으로 시각화한 결과를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 안구 전도 기반의 시선 추적 시스템을 설명하기 위한 도면이다.
도 3은 디스플레이 장치에 표시되는 포인트를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 안구 전도 기반의 시선 추적 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 선형 모델 생성 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 안구 전도 기반의 시선 추적 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 시선의 분포 확률값을 계산하는 방법을 설명하기 위한 도면이다.
도 8은 다양한 응시 패턴으로 화면에 표시된 포인트를 응시하는 상황에서, 본 발명의 일실시예에 따라 생성된 히트맵을 도시하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 시선 추적 결과를 히트맵으로 시각화한 결과를 나타내는 도면으로서, 광고 영상에 대한 남녀의 시선 추적 결과를 도시하는 도면이다. 도 1에서, 청색에서 빨간색으로 갈수록 응시자의 시선의 집중도가 높아짐을 나타내며, 도 1(a)는 남성에 대한 히트맵(heat map), 도 1(b)는 여성에 대한 히트맵을 나타낸다.
도 1에 도시된 바와 같이, 남성과 여성은 광고 영상에 대해 서로 다른 응시 패턴을 보여주고 있다. 남성과 여성이 모두 광고 영상에 등장한 모델의 얼굴을 집중적으로 응시하고 있다는 점은 유사하지만, 남성은 여성 모델의 얼굴을 집중적으로 응시하고, 여성은 남성 모델의 얼굴을 집중적으로 응시하고 있다.
본 발명은 안구 전도 기반으로 시선을 추적하는 방법에 관한 발명으로서, 전술된 바와 같이, 본 발명의 일실시예에 따르면 시선 추적 결과를 히트맵으로 시각화함으로써, 응시자의 응시 패턴을 용이하게 분석할 수 있으며, 이러한 분석 결과를 뉴로 마케팅에 활용할 수 있다.
본 발명의 일실시예에 따른 시선 추적 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 컴퓨팅 장치의 하나인 시선 추적 장치에서 수행되는 시선 추적 방법이 일실시예로서 설명된다.
도 2는 본 발명의 일실시예에 따른 안구 전도 기반의 시선 추적 시스템을 설명하기 위한 도면이며, 도 3은 디스플레이 장치에 표시되는 포인트를 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적 시스템은, 안구전도 측정 전극(211 내지 216), 디스플레이 장치(220) 및 시선 추적 장치(230)를 포함한다.
안구전도는 일반적으로 수평 안구전도와 수직 안구전도로 나뉘어지며, 도 2에 도시된 바와 같이, 수직 안구전도 신호의 측정을 위한 전극(211, 212, 213, 214)과 수평 안구전도 신호의 측정을 위한 전극(215, 216)이 응시자의 안구 주변에 부착된다. 수직 안구전도 신호의 측정을 위한 전극(211, 212, 213, 214)은 좌안 및 우안의 상부 및 하부에 부착되며, 수평 안구전도 신호의 측정을 위한 전극(215, 216)은 좌안 및 우안의 바깥쪽 가장자리에 부착된다.
디스플레이 장치(220)는 복수의 포인트가 포함된 화면을 표시한다. 일실시예로서, 포인트는 도 3에 도시된 바와 같이 화면의 중앙에 표시된 1개의 포인트(적색 포인트)와, 중앙에 표시된 포인트를 기준으로 미리 설정된 거리만큼 이격된 8개의 포인트를 포함할 수 있다. 8개의 포인트는 화면의 우측, 좌측, 상측 및 하측 가장자리에 표시된다. 이러한 포인트를 응시자가 바라볼 때의 안구전도가 측정되며, 측정된 안구전도값은 캘리브레이션과 응시 위치 추정을 위한 선형 모델 생성에 이용된다.
시선 추적 장치(230)는 전극들에서 측정된 신호를 이용하여, 응시자의 수평 안구전도값 및 수직 안구전도값을 생성한다. 그리고 수평 안구전도값 및 수직 안구전도값을 이용하여, 응시자의 응시 위치 추정을 위한 선형 모델을 생성하고, 응시자의 응시 좌표를 결정한다. 그리고 시선 추적 장치(230)는 응시자의 응시 좌표를 기반으로, 응시자의 시선 분포가 시각화된 히트맵을 생성한다.
도 4는 본 발명의 일실시예에 따른 안구 전도 기반의 시선 추적 방법을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 따른 선형 모델 생성 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 시선 추적 장치는 화면에 표시된 복수의 포인트를 바라보는 응시자의 수평 및 수직 안구전도값을 생성(S410)한다. 시선 추적 장치는 일실시예로서 [수학식 1]을 이용하여, 수평 안구전도값(EOGh) 및 수직 안구전도값(EOGv)을 생성할 수 있다.
Figure pat00001
여기서, R은 우안의 가장자리에 부착된 전극(215)에서 측정된 안구전도 신호이며, L은 좌안의 가장자리에 부착된 전극(216)에서 측정된 안구전도 신호를 나타낸다. UR 및 DR은 우안의 상부 및 하부에 부착된 전극(211, 212)에서 측정된 안구전도 신호이며, UL 및 DL은 좌안의 상부 및 하부에 부착된 전극(213, 214)에서 측정된 안구전도 신호를 나타낸다.
일실시예에 따라서, 수평 및 수직 안구전도값을 생성하기 전에, 안구전도 신호의 노이즈, 눈깜박임 성분 등을 제거하기 위한 전처리 과정이 선행될 수 있으며, 캘리브레이션된 안구전도 신호로부터 수평 및 수직 안구전도값이 생성될 수 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 수평 및 수직 안구전도값을 이용하여, 응시 위치 추정을 위한 선형 모델을 생성(S420)한다. 구체적으로 시선 추적 장치는 수평 시각도 및 수평 안구전도값의 관계를 나타내는 제1선형 모델과, 수직 시각도 및 수직 안구전도값의 관계를 나타내는 제2선형 모델을 생성한다. 여기서, 수평 시각도는 안구가 좌우 방향으로 회전한 각도를 나타내며, 수직 시각도는 안구가 상하 방향으로 회전한 각도를 나타낸다.
시선 추적 장치는 도 5에 도시된 바와 같이, 화면의 우측 및 좌측 가장자리에 표시된 포인트(510, 520)에 대한 수평 안구전도값로부터, 제1선형 모델(530)을 생성하며, 화면의 상측 및 하측 가장자리에 표시된 포인트(540, 550)에 대한 수직 안구전도 신호로부터, 제2선형 모델(560)을 생성한다.
도 5에 표시된 포인트는 도 3에서 표시된 포인트와 동일한 포인트로서, 우측 및 좌측 가장 자리에 표시된 포인트는 미리 설정된 이격 거리만큼 이격되어, 세로 방향으로 일렬로 배치된 포인트들을 포함하며, 상측 및 하측 가장 자리에 표시된 포인트는 미리 설정된 이격 거리만큼 이격되어, 가로 방향으로 일렬로 배치된 포인트들을 포함한다.
도 5(a)의 그래프에 표시된 빨간색 포인트는 화면의 좌측 가장자리에 표시된 포인트(510)에 대한 수평 안구전도값을 나타내며, 파란색 포인트는 화면의 우측 가장자리에 표시된 포인트(520)에 대한 수평 안구전도값을 나타낸다. 이러한 수평 안구전도값에 대한 근사화를 통해, 원점을 지나는 제1선형 모델(530)이 도출될 수 있다.
도 5(b)의 그래프에 표시된 빨간색 포인트는 화면의 하측 가장자리에 표시된 포인트(550)에 대한 수직 안구전도값을 나타내며, 파란색 포인트는 화면의 상측 가장자리에 표시된 포인트(540)에 대한 수직 안구전도값을 나타낸다. 이러한 수직 안구전도값에 대한 근사화를 통해, 원점을 지나는 제2선형 모델(560)이 도출될 수 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 선형 모델을 이용하여, 타겟 객체를 바라보는 응시자의 타겟 수평 및 수직 안구전도값에 대한 응시 위치를 추정(S430)한다. 시선 추적 장치는 제1 및 제2선형 모델을 이용하여, 응시자의 타겟 수평 및 수직 안구전도값에 대응되는 수평 및 수직 시각도를 결정하고, 결정된 수평 및 수직 시각도에 대응되는 타겟 객체 상에서의 응시 좌표를 추정한다. 실시예에 따라서 시선 추적 장치는 응시 좌표로부터 응시자의 시선에 대한 히트맵을 생성할 수 있다.
예컨대, 타겟 수평 안구전도값이 200mV이고, 타겟 수직 안구전도값이 100mV라면, 제1 및 제2선형 모델을 통해 응시자의 수평 시각도는 약10도, 수직 시각도는 약6도로 결정될 수 있다. 그리고 결정된 수평 및 수직 시각도에 대응되는 타겟 객체 상에서의 절대 좌표가, 응시자의 응시 좌표로 추정될 수 있다. 응시 좌표 추정을 위해, 타겟 객체 상에 미리 설정된 절대 좌표별로, 수평 및 수직 시각도가 할당될 수 있다.
한편, 응시자와 타겟 객체 사이의 이격 거리에 따라서, 안구의 시각도에 대응되는 타겟 객체 상에서의 응시 좌표는 달라질 수 있으므로, 시선 추적 장치는 응시자와 타겟 객체 사이의 이격 거리에 따라서, 응시 좌표를 보정할 수 있다. 응시자와 타겟 객체 사이의 거리가 늘어날수록, 동일한 시각도에 대해 응시 좌표는 타겟 객체의 중앙과 멀어지도록 보정될 수 있다. 예컨대 타겟 객체가, 포인트가 표시된 화면이라면, 동일한 시각도에 대해 응시자와 화면 사이의 거리가 늘어날수록, 응시 좌표는 화면의 중앙 포인트와 멀어지도록 보정될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 안구 전도 기반의 시선 추적 방법을 설명하기 위한 도면이며, 도 7은 본 발명의 일실시예에 따른 시선의 분포 확률값을 계산하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 시선 추적 장치는 타겟 객체를 바라보는 응시자의 타겟 안구전도값을 수신(S610) 즉, 입력받는다. 그리고 안구의 시각도 및 안구전도값의 관계를 나타내는 선형 모델 및 타겟 안구전도값을 이용하여, 타겟 객체에서의 응시자 시선에 대한 응시 좌표를 추정(S620)한다. 단계 S620은 도 4에서 설명된 실시예와 같이, 응시 좌표를 추정할 수 있으며, 응시 좌표는 타겟 객체에서의 절대 좌표 중 하나에 대응될 수 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 추정된 응시 좌표를 기준으로 미리 설정된 크기의 타겟 영역 내에 포함된 타겟 객체에서의 절대 좌표별로, 시선의 분포 확률값을 계산(S630)한다. 추정된 응시 좌표가, 응시 지점에 매칭될 가능성이 가장 높다고 볼 수 있으므로, 시선 추적 장치는 응시 좌표에서의 분포 확률값이 가장 높은 가우시안 윈도우(Gaussian window, 710)를 이용하여, 시선의 분포 확률값을 계산한다. 이 때, 추정된 응시 좌표로부터 먼 지점이 응시 지점인 가능성은 낮으므로, 응시 좌표를 기준으로 미리 설정된 크기의 타겟 영역(720)내에서의 분포 확률값을 계산한다. 타겟 객체가 예컨대 화면(730)이라면, 절대 좌표는 픽셀 각각의 좌표에 대응될 수 있으며, 타겟 영역 내에 포함된 픽셀 별로 분포 확률값이 계산될 수 있다. 도 7에서 녹색에서 적색으로 갈수록 분포 확률값은 커진다.
일실시예로서 시선 추적 장치는 [수학식 2]와 같이 가우시안 함수를 이용하여, 분포 확률값을 계산할 수 있다.
Figure pat00002
여기서, N은 응시 좌표의 추정 횟수, (x,y)는 절대 좌표, (x0,y0)는 응시 좌표,
Figure pat00003
와
Figure pat00004
는 가우시안 함수(G(x,y)의 표준 편차를 나타낸다. 그리고
Figure pat00005
는 미리 설정된 크기의 영역을 정의하는 함수로서, 응시 좌표로부터 타겟 영역 이내의 절대 좌표에 대해서는 1, 타겟 영역 이외의 절대 좌표에 대해서는 0이 할당된다. 일실시예로서, 표준 편차는 응시 좌표로부터 시각도 7.7도만큼 이격된 타겟 객체에서의 위치일 수 있으며, 타겟 영역은, 응시 좌표로부터 시각도 5도 이내인 원일 수 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 시간 흐름에 따른 시선의 분포 확률값을 누적하여, 히트맵을 생성(S640)한다. 시선 추적 장치는 주기적으로 응시자의 시선을 추적하여 응시 좌표 및 분포 확률값을 계산하며, 계산된 분포 확률값을 누적하여 히트맵을 생성한다.
도 8은 다양한 응시 패턴으로 화면에 표시된 포인트를 응시하는 상황에서, 본 발명의 일실시예에 따라 생성된 히트맵을 도시하는 도면이다.
도 8에서, 제1 내지 제4행에 도시된 히트맵은, 서로 다른 응시 순서로, 서로 다르게 표시된 적색 포인트를 바라본 상황에서의 히트맵을 나타내며, 제1 내지 제7열에 도시된 히트맵은, 2초 단위로 응시하는 적색 포인트가 변경되는 상황에서의 히트맵을 나타낸다.
도 8에 도시된 바와 같이, 시간이 지날수록 포인트에 대한 적색 농도가 옅어짐을 알 수 있으며, 이는 시간 흐름에 따라 시선 추적의 오차가 증가함을 의미한다.
이에 본 발명의 일실시예에 따른 시선 추적 장치는, 시간 흐름에 따라 증가하는 오차의 영향을 줄이기 위해, 일실시예로서 시선 추적 시점(starting point)으로부터 미리 설정된 시간내에 누적된 분포 확률값 중 최대값을 이용하여, 분포 확률값을 정규화할 수 있다. 미리 설정된 시간은 일실시예로서 2초일 수 있다.
또는 시선 추적 장치는, 시선 추적 초기의 분포 확률값이, 이후의 분포 확률값 보다 많이 반영되는, 히트맵을 생성할 수 있다. 다시 말해, 시선 추적 장치는 시선 추적 시점으로부터 미리 설정된 시간 이후의 분포 확률값을 감소시켜 누적하여 히트맵을 생성할 수 있다.
시선 추적 장치는 일실시예로서, 시간 흐름에 따라 감소하는 가중치를 분포 확률값에 적용하고, 가중치가 적용된 분포 확률값을 누적하여, 히트맵을 생성할 수 있다. 전술된 바와 같이, 응시 좌표 및 분포 확률값은 주기적으로 계산되는데, 1에서부터 설정 시간 이후 시간 흐름에 따라 작아지는 가중치가 분포 확률값에 적용될 수 있다.
또는 시선 추적 장치는 [수학식 2]의 가우시안 함수의 표준 편차를 시간 흐름에 따라 증가시켜, 히트맵을 생성할 수 있다. 예컨대, 표준 편차는 설정 시간 이후, 시간 흐름에 따라 그리고 미리 설정된 패턴에 따라 증가할 수 있으며, 표준 편차가 증가할 경우, 응시 좌표에서의 분포 확률값이 작아지기 때문에, 시간 흐름에 따라 증가하는 오차의 영향을 줄일 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 화면에 표시된 복수의 포인트를 바라보는 응시자의 수평 및 수직 안구전도값을 생성하는 단계;
    상기 화면의 우측 및 좌측 가장 자리에 표시된 포인트에 대한 수평 안구전도값로부터, 수평 시각도 및 수평 안구전도값의 관계를 나타내는 제1선형 모델을 생성하는 단계;
    상기 화면의 상측 및 하측 가장 자리에 표시된 포인트에 대한 수직 안구전도 신호로부터, 수직 시각도 및 수직 안구전도값의 관계를 나타내는 제2선형 모델을 생성하는 단계; 및
    상기 제1 및 제2선형 모델을 이용하여, 타겟 객체를 바라보는 상기 응시자의 타겟 수평 및 수직 안구전도값에 대한 응시 위치를 추정하는 단계
    를 포함하는 안구 전도 기반의 시선 추적 방법.
  2. 제 1항에 있어서,
    상기 제1 및 제2선형 모델은
    원점을 지나는 선형 모델인
    안구 전도 기반의 시선 추적 방법.
  3. 제 1항에 있어서,
    상기 우측 및 좌측 가장 자리에 표시된 포인트는
    미리 설정된 이격 거리만큼 이격되어, 세로 방향으로 일렬로 배치된 포인트들을 포함하며,
    상기 상측 및 하측 가장 자리에 표시된 포인트는
    미리 설정된 이격 거리만큼 이격되어, 가로 방향으로 일렬로 배치된 포인트들을 포함하는
    안구 전도 기반의 시선 추적 방법.
  4. 제 1항에 있어서,
    상기 응시 위치를 추정하는 단계는
    상기 응시자의 타겟 수평 및 수직 안구전도값에 대응되는 수평 및 수직 시각도를 결정하는 단계; 및
    상기 결정된 수평 및 수직 시각도에 대응되는 상기 타겟 객체 상에서의 응시 좌표를 추정하는 단계
    를 포함하는 안구 전도 기반의 시선 추적 방법.
  5. 제 4항에 있어서,
    상기 응시 좌표를 추정하는 단계는
    상기 응시자와 상기 타겟 객체 사이의 이격 거리에 따라서, 상기 응시 좌표를 보정하는
    안구 전도 기반의 시선 추적 방법.
  6. 타겟 객체를 바라보는 응시자의 타겟 안구전도값을 입력받는 단계;
    시각도 및 안구전도값의 관계를 나타내는 선형 모델 및 상기 타겟 안구전도값을 이용하여, 상기 타겟 객체에서의 응시자 시선에 대한 응시 좌표를 추정하는 단계;
    상기 응시 좌표를 기준으로 미리 설정된 크기의 타겟 영역 내에 포함된 절대 좌표별로, 상기 시선의 분포 확률값을 계산하는 단계; 및
    시간 흐름에 따른 상기 시선의 분포 확률값을 누적하여, 히트맵을 생성하는 단계
    를 포함하는 안구 전도 기반의 시선 추적 방법.
  7. 제 6항에 있어서,
    상기 시선의 분포 확률값을 계산하는 단계는
    하기 수학식을 이용하여, 상기 시선의 분포 확률값을 계산하는,
    안구 전도 기반의 시선 추적 방법.
    [수학식]
    Figure pat00006

    여기서, N은 상기 응시 좌표의 추정 횟수, (x,y)는 상기 절대 좌표, (x0,y0)는 상기 응시 좌표,
    Figure pat00007
    와
    Figure pat00008
    는 가우시안 함수(G(x,y)의 표준 편차,
    Figure pat00009
    는 상기 타겟 영역을 정의하는 함수임.
  8. 제 7항에 있어서,
    상기 히트맵을 생성하는 단계
    시선 추적 시점으로부터 미리 설정된 시간내에 누적된 분포 확률값 중 최대값을 이용하여, 상기 분포 확률값을 정규화하는
    안구 전도 기반의 시선 추적 방법.
  9. 제 7항에 있어서,
    상기 히트맵을 생성하는 단계는
    시선 추적 시점으로부터 미리 설정된 시간 이후의 분포 확률값을 감소시켜 누적하여 상기 히트맵을 생성하는
    안구 전도 기반의 시선 추적 방법.
  10. 제 9항에 있어서,
    상기 히트맵을 생성하는 단계는
    시간 흐름에 따라 감소하는 가중치를 상기 분포 확률값에 적용하는 단계; 및
    상기 가중치가 적용된 분포 확률값을 누적하여, 상기 히트맵을 생성하는 단계
    를 포함하는 안구 전도 기반의 시선 추적 방법.
  11. 제 9항에 있어서,
    상기 표준 편차는
    시간 흐름에 따라 증가하는
    안구 전도 기반의 시선 추적 방법.
KR1020210071871A 2020-11-26 2021-06-03 안구 전도 기반의 시선 추적 방법 KR102564902B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200160645 2020-11-26
KR1020200160645 2020-11-26

Publications (2)

Publication Number Publication Date
KR20220073621A true KR20220073621A (ko) 2022-06-03
KR102564902B1 KR102564902B1 (ko) 2023-08-09

Family

ID=81983608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071871A KR102564902B1 (ko) 2020-11-26 2021-06-03 안구 전도 기반의 시선 추적 방법

Country Status (1)

Country Link
KR (1) KR102564902B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160117716A (ko) * 2015-03-30 2016-10-11 한양대학교 산학협력단 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
KR20170082782A (ko) * 2016-01-07 2017-07-17 한양대학교 산학협력단 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160117716A (ko) * 2015-03-30 2016-10-11 한양대학교 산학협력단 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
KR20170082782A (ko) * 2016-01-07 2017-07-17 한양대학교 산학협력단 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR102564902B1 (ko) 2023-08-09

Similar Documents

Publication Publication Date Title
AU2018250385B2 (en) Motor task analysis system and method
US10568502B2 (en) Visual disability detection system using virtual reality
US7922670B2 (en) System and method for quantifying and mapping visual salience
US20200069179A1 (en) Head and eye tracking
US8636361B2 (en) Learning-based visual attention prediction system and method thereof
US20200074380A1 (en) Work support device, work support method, and work support program
Larsson et al. Head movement compensation and multi-modal event detection in eye-tracking data for unconstrained head movements
CN110495895B (zh) 一种基于眼动跟踪的疲劳检测方法与系统
JP2021182399A (ja) 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法
JPWO2021205996A5 (ko)
CN111443804B (zh) 基于视频分析的注视点轨迹描述方法及其系统
JP2022545868A (ja) 選好度決定方法及びそれを利用した選好度決定用デバイス
Niu et al. Automated detection of foveal center in SD‐OCT images using the saliency of retinal thickness maps
Samsudin et al. Initial assessment of facial nerve paralysis based on motion analysis using an optical flow method
KR102564902B1 (ko) 안구 전도 기반의 시선 추적 방법
Li et al. Classification of eye movement and its application in driving based on a refined pre-processing and machine learning algorithm
CN111134693A (zh) 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端
Vaidyanathan et al. Using human experts' gaze data to evaluate image processing algorithms
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
Qian et al. Intelligent Method for Real‐Time Portable EEG Artifact Annotation in Semiconstrained Environment Based on Computer Vision
KR102281909B1 (ko) Hmd 착용자의 시선 추적 방법 및 착용자의 시선을 추적하는 헤드 마운트 디스플레이 장치
Li Extracting and visualizing data from mobile and static eye trackers in R and Matlab
Manousos et al. Contactless detection of facial signs related to stress: A preliminary study
Rafee et al. Eye-movement analysis and prediction using deep learning techniques and Kalman filter
Nandakumar et al. A comparative analysis of a neural-based remote eye gaze tracker

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right