KR102016308B1 - 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법 - Google Patents

눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법 Download PDF

Info

Publication number
KR102016308B1
KR102016308B1 KR1020170153816A KR20170153816A KR102016308B1 KR 102016308 B1 KR102016308 B1 KR 102016308B1 KR 1020170153816 A KR1020170153816 A KR 1020170153816A KR 20170153816 A KR20170153816 A KR 20170153816A KR 102016308 B1 KR102016308 B1 KR 102016308B1
Authority
KR
South Korea
Prior art keywords
eye
face
distance
calculating
person
Prior art date
Application number
KR1020170153816A
Other languages
English (en)
Other versions
KR20190056642A (ko
Inventor
이채수
Original Assignee
포인드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포인드 주식회사 filed Critical 포인드 주식회사
Priority to KR1020170153816A priority Critical patent/KR102016308B1/ko
Publication of KR20190056642A publication Critical patent/KR20190056642A/ko
Application granted granted Critical
Publication of KR102016308B1 publication Critical patent/KR102016308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라, 바닥에 표시된 마커, 벽에 표시된 마커를 포함하는 시선 추적 시스템에서 사람의 시선을 추적하는 방법으로, 카메라를 통해 영상정보를 취득하는 단계; 상기 영상정보로부터 사람의 얼굴영역을 검출하는 단계; 상기 얼굴 영역에서 눈과 눈동자 영역을 검출하여 눈동자 이동거리를 산출하는 단계; 상기 얼굴 영역에서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이를 산출하는 단계; 상기 얼굴 영역에서 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 산출하여 얼굴 상하 이동 거리을 산출하는 단계; 상기 눈동자 이동 거리, 서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이, 얼굴 상하 이동 거리를 조합하여 시선 방향 및 각도를 산출하는 단계; 기존에 설정해놓은 기준과 바닥에 표시된 마커의 거리, 상기 영상정보에서 사람의 형체와 바닥의 마커와의 거리를 이용하여 상기 기준과 사람의 거리를 산출하는 단계; 상기 단계에서 산출된 기준과 사람의 거리, 벽에 표시된 마커의 높이를 이용하고 상기 영상정보에서 사람의 형체와 벽에 표시된 마커를 비교하여 사람의 눈높이를 산출하는 단계; 상기 시선 방향 및 각도, 상기 사람의 눈높이를 이용하여 시선 위치를 산출하는 단계; 를 포함하는 것을 특징으로 하는 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법에 관한 것이다.

Description

눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법{Eye Tracking Method Using Movement of Pupil and Gap between Eyes and Edge of Face}
본 발명은 카메라, 바닥에 표시된 마커, 벽에 표시된 마커를 포함하는 시선 추적 시스템에서 사람의 시선을 추적하는 방법으로, 카메라를 통해 영상정보를 취득하는 단계; 상기 영상정보로부터 사람의 얼굴 영역을 검출하는 단계; 상기 얼굴 영역에서 눈과 눈동자 영역을 검출하여 눈동자 이동 거리를 산출하는 단계; 상기 얼굴 영역에서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이를 산출하는 단계; 상기 얼굴 영역에서 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 산출하여 얼굴 상하 이동 거리를 산출하는 단계; 상기 눈동자 이동 거리, 서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이, 얼굴 상하 이동 거리를 조합하여 시선 방향 및 각도를 산출하는 단계; 기존에 설정해놓은 기준과 바닥에 표시된 마커의 거리, 상기 영상정보에서 사람의 형체와 바닥의 마커와의 거리를 이용하여 상기 기준과 사람의 거리를 산출하는 단계; 상기 단계에서 산출된 기준과 사람의 거리, 벽에 표시된 마커의 높이를 이용하고 상기 영상정보에서 사람의 형체와 벽에 표시된 마커를 비교하여 사람의 눈높이를 산출하는 단계; 상기 시선 방향 및 각도, 상기 사람의 눈높이를 이용하여 시선 위치를 산출하는 단계; 를 포함하는 것을 특징으로 하는 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법에 관한 것이다.
본 발명은 카메라, 바닥에 표시된 마커, 벽에 표시된 마커를 포함하는 시선 추적 시스템에서 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법에 관한 것이다.
선행기술인 대한민국 공개특허 제10-2012-0006819호와 대한민국 등록특허 제10-1094766호에는 눈에 반사된 조명광을 이용하여 시선 위치를 추적하는 방법이 제시된다. 하지만, 눈에 반사된 조명광을 이용하여 시선 위치를 추적하는 경우 조명광과 사용자 간의 거리 및 각도를 알지 못하면 시선 위치를 추적할 수 없다는 단점이 있다.
또한, 선행기술인 대한민국 등록특허 제10-1706992호에는 눈, 홍채, 및 코 영역을 이용해 중심을 검출하여 얼굴 각도를 산출하는 방식이 제시된다. 하지만 특징점을 잡아서 3차원적 변화를 계산하는 경우 과정이 복잡하다는 단점이 있다.
대한민국 공개특허번호 : 제10-2012-0006819호 대한민국 등록특허번호 : 제10-1094766호 대한민국 등록특허번호 : 제10-1706992호 대한민국 등록특허번호 : 제10-1748563호
본 발명은 상기와 같은 종래기술의 문제점을 해결하는 것을 목적으로 한다.
구체적으로 본 발명의 목적은 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법을 제공하는 것이다.
또한, 바닥과 벽에 마커를 표시하여 마커를 이용해 사람과 기준과의 거리를 계산하여, 시선의 방향뿐 아니라 기준에 이르는 사람의 시선 위치를 산출하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법은,
카메라, 바닥에 표시된 마커, 벽에 표시된 마커를 포함하는 시선 추적 시스템에서 사람의 시선을 추적하는 방법으로, 카메라를 통해 영상정보를 취득하는 단계; 상기 영상정보로부터 사람의 얼굴 영역을 검출하는 단계; 상기 얼굴 영역에서 눈과 눈동자 영역을 검출하여 눈동자 이동 거리를 산출하는 단계; 상기 얼굴 영역에서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이를 산출하는 단계; 상기 얼굴 영역에서 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 산출하여 얼굴 상하 이동 거리를 산출하는 단계; 상기 눈동자 이동 거리, 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이, 얼굴 상하 이동 거리를 조합하여 시선 방향 및 각도를 산출하는 단계; 기존에 설정해놓은 기준과 바닥에 표시된 마커의 거리, 상기 영상정보에서 사람의 형체와 바닥의 마커와의 거리를 이용하여 상기 기준과 사람의 거리를 산출하는 단계; 상기 단계에서 산출된 기준과 사람의 거리, 벽에 표시된 마커의 높이를 이용하고 상기 영상정보에서 사람의 형체와 벽에 표시된 마커를 비교하여 사람의 눈높이를 산출하는 단계; 상기 시선 방향 및 각도, 상기 사람의 눈높이를 이용하여 시선 위치를 산출하는 단계; 를 포함하는 것을 특징으로 한다.
상기 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이 산출 단계는 사람의 눈과 얼굴의 색 차이, 얼굴과 얼굴 뒤 배경과의 색 차이를 이용하는 것을 특징으로 한다.
상기 얼굴 상하 이동 거리을 산출 단계는, 상기 얼굴 영역에 사람의 평균 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 반영하여 정면 주시 기준을 설정하고,
상기 정면 주시 기준의 머리 위 끝에서 눈까지의 거리와 상기 얼굴 영역의 머리 위 끝에서 눈까지의 거리 차이 및 상기 정면 주시 기준의 입술에서 턱까지의 거리와 상기 얼굴 영역의 입술에서 턱까지의 거리 차이 중 어느 하나 이상을 이용하여 상하 이동 거리를 산출하는 것을 특징으로 한다.
이상과 같이 본 발명은 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법을 제공하는 효과가 있다.
또한, 바닥과 벽에 마커를 표시하여 마커를 이용해 사람과 기준과의 거리를 계산하여, 시선의 방향뿐 아니라 기준에 이르는 사람의 시선 위치를 산출하는 효과가 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 바닥과 벽에 마커가 표시된 공간을 나타내는 도면이다
도 2는 본 발명의 일실시 예에 따른 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법의 흐름도이다.
도 3은 본 발명의 일실시 예에서 산출하는 눈동자의 이동을 나타내는 도면이다.
도 4는 본 발명의 일실시 예에서 눈 바깥쪽과 얼굴 가장자리의 너비 산출을 나타내는 도면이다.
도 5는 본 발명의 일실시 예에서 얼굴의 상하 이동량 산출을 나타내는 도면이다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 참고로, 본 발명을 설명하는 데 참조하는 도면에 도시된 구성요소의 크기, 선의 두께 등은 이해의 편의상 다소 과장되게 표현되어 있을 수 있다. 또, 본 발명의 설명에 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의한 것이므로 사용자, 운용자 의도, 관례 등에 따라 달라질 수 있다. 따라서, 이 용어에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내리는 것이 마땅하겠다.
또한, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 아울러, 본 발명의 실시 예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
본 발명의 각 구성 단계에 대한 상세한 설명에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시 예에 불과하며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "... 부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
도 1은 바닥과 벽에 마커가 표시된 공간을 나타내는 도면이다.
도 1과 같은 카메라(10), 바닥에 표시된 마커(20), 벽에 표시된 마커(30)를 포함하는 시선 추적 시스템에서 본 발명의 일실시 예에 따른 사람의 시선을 추적하는 방법을 설명하여 보겠다. 도 1과 같이 특정 진열대의 위에 설치된 카메라에서 영상정보를 취득하고, 영상정보로부터 사람의 얼굴 영역을 검출한다.
검출한 얼굴 영역에서 눈과 눈동자 영역을 검출하여 눈동자 이동 거리(Dpupil)를 산출하고 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리를 측정하여 왼쪽과 오른쪽의 차이(Dhface)를 산출한다. 또한, 얼굴 영역에서 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 산출하여 얼굴 상하 이동 거리(Dvface)을 산출한다.
산출한 눈동자 이동 거리(Dpupil), 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리 까지의 거리 차이(Dhface), 얼굴 상하 이동 거리(Dvface)를 조합하여 시선 방향 및 각도를 산출한다.
또한, 기존에 설정해놓은 기준과 바닥에 표시된 마커의 거리, 영상정보에서 사람의 형체와 바닥의 마커와의 거리를 이용하여 기준과 사람의 거리를 산출한다. 본 발명의 일실시 예에서 기존에 설정해놓는 기준은, 도 1의 진열대 위치 또는 진열대 위의 카메라 위치가 가능하고, 다른 실시 예에서는 또 다른 위치도 가능하다. 산출된 기준과 사람 사이의 거리, 벽에 표시된 마커의 높이와 사람 형체와 벽에 표시된 마커와의 비교를 통해 사람의 키, 사람의 눈높이를 산출한다.
예를 들어, 진열대 위에 설치된 카메라를 기준으로 바닥과 직교하는 지점을 0으로 잡고, 거기서 15cm, 30cm 등 일정한 간격으로 마커를 표시한다. 또한, 카메라가 영상을 취득하는 범위 내의 벽면에도 일정 간격으로 마커를 표시한다. 바닥의 마커를 이용해 기준과 사람 간의 거리를 계산하고, 기준과 사람 간의 거리 및 사람의 형체와 벽면의 마크 간의 비교를 통해 사람의 키, 또는 사람의 눈높이를 산출하여 기준과 사람의 눈 사이의 거리, 즉 눈의 위치를 산출한다.
사람의 시선 방향 및 각도, 사람의 키, 사람의 눈높이를 조합하여 상기 기준으로 사람의 시선이 닿는 위치를 추적한다.
도 2는 본 발명의 일실시 예에 따른 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법의 흐름도이다. 도 2를 참조하면 본 발명의 일실시 예에서 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법은 영상이 입력(S10)되면 움직임 영역을 추출한다(S20). 움직임 영역은, 예를 들어 매장에 방문한 고객과 같은 사람의 움직임을 추출한다. 상기 움직임 영역에서 얼굴 영역을 추출하고(S30) 얼굴 영역에서 얼굴 상하 움직임 분석(S41), 얼굴 좌우 움직임 분석(S42), 눈동자 위치 분석(S43)을 하고 분석한 데이터를 이용하여 시선 방향 및 각도를 산출한다(S50).
도 3, 도 4, 도 5를 참조하여 본 발명의 일실시 예에 따른 S41, S42, S43 단계를 상세히 설명해 보겠다.
도 3은 본 발명의 일실시 예에서 산출하는 눈동자의 이동을 나타내는 도면이다. 도 3을 참조하면 눈동자 위치 분석(S43)은, 눈동자가 중앙에 위치할 때를 기준으로 잡고 눈동자의 x축 이동 거리, y축 이동 거리를 측정하여 눈 중앙에서 눈동자까지의 이동 거리(Dpupil)를 산출한다.
도 4는 본 발명의 일실시 예에서 눈 바깥쪽과 얼굴 가장자리의 너비 산출을 나타내는 도면이다. 도 4를 참조하면, 본 발명의 일실시 예에서는 추출된 얼굴 영역에서 눈과 얼굴의 색 차이, 얼굴과 얼굴 뒤 배경과의 색 차이를 이용하여 눈 바깥쪽과 얼굴 가장자리의 간격, 다시 말하면 눈 옆 피부 너비를 산출한다. 왼쪽 피부 너비를 XFL, 오른쪽 피부 너비를 XFR이라하고, 왼쪽 피부 너비(XFL)와 오른쪽 피부 너비(XFR)와의 차이를 계산한다. 왼쪽 피부 너비(XFL)와 오른쪽 피부 너비(XFR)와의 차이는 좌, 우 눈의 끝부분에서 얼굴 가장자리까지의 거리 차이(Dhface)라고 한다.
눈 중앙에서 눈동자까지의 이동 거리(Dpupil)와 좌, 우 눈의 끝부분에서 얼굴 가장자리까지의 거리 차이(Dhface)를 조합하여 시선의 좌우 이동 거리(Dhor)를 계산한다. 일실시 예에서 시선의 좌우 이동 거리는
Figure 112017114474351-pat00001
이고, 시선의 좌우 이동 거리(Dhor) 값을 이용해 얼굴 좌우 움직임을 분석한다(S42).
도 5는 본 발명의 일실시 예에서 얼굴의 상하 이동량 산출을 나타내는 도면이다.
얼굴 상하 움직임 분석(S41)을 도 5를 참조하여 설명해보면, (b)의 그림과 같이 얼굴 영역에 사람의 평균 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 반영하여 정면 주시 기준을 설정한다. 여기서 도 5의 (a)와 같이 시선이 위로 이동하면 눈의 높이가 YF만큼 올라오고 시선이 아래로 내려가면 눈의 높이가 YF만큼 낮아진다. 도 5를 참조하여 설명한 본 발명의 일실시 예에서 머리끝과 눈까지의 거리 차이를 이용하여 상하 이동을 계산하였지만 다른 실시 예에서는 입술에서 턱까지의 거리를 이용할 수도 있고 또 다른 실시 예에서는 다른 범위를 설정하여 측정할 수 있다.
본 발명의 일실시 예에서 도 3, 도 4, 도 5에 나타난 변수를 이용한 좌우 시선 변화량
Figure 112017114474351-pat00002
이다.
XP는 눈동자의 좌, 우 이동 거리, XFL과는 좌측 눈 가장자리에서 얼굴 좌측 가장자리까지의 너비 XFR는 우측 눈 가장자리에서 얼굴 우측 가장자리까지너비이다. w1과 w2는 사람이 움직임에 따라 눈동자와 얼굴의 이동이 생겼을 때, 이동 거리 조정을 위한 변수이며, 이는 실험을 통해 산출된 값을 부여한다.
위아래 시선 변화량을 나타내는 수식은
Figure 112017114474351-pat00003
이다. YP는 도 3에서 눈동자의 위, 아래 이동 거리를 나타낸다. YF는 도 5에서 정면을 주시할 때의 머리 위 가장자리에서 눈까지의 길이(Dvface)를 기준으로 얼굴이 상하로 이동했을 때 기준값과 변화한 머리 위 가장자리에서 눈까지의 길이의 차이를 나타낸다. w3과 w4는 눈동자와 얼굴의 이동이 생겼을 때 이동 거리 조정을 위한 변수이며, 눈과 얼굴은 각각의 이동량에 따라 시선 변화의 차이가 있어 실험을 통해 실험을 통해 값을 부여한다.
h는 도 1과 같은 상황에서 사람이 이동함에 따라 사람과 시선이 맺히는 물체까지의 거리가 바뀔 때에 대한 조정량을 뜻한다.
도 1과 같은 본 발명의 일실시 예에서, 사람의 시선이 카메라 아래의 매대의 어느 위치에 머무는지, 최종 시선변화를 계산하는 방법은 하기의 수식과 같다.
Figure 112017114474351-pat00004
Figure 112017114474351-pat00005
Figure 112017114474351-pat00006
는 좌표상의 기준점으로부터 가로 방향으로의 시선 변화량을 계산하여 좌표상에 나타낸 값이고, 는
Figure 112017114474351-pat00007
좌표상의 기준점으로부터 세로 방향으로의 시선 변화량을 계산하여 좌표상에 나타낸 값이다. Px는 카메라로 찍힌 영상에서 사람이 중앙에서부터 가로로 벗어난 거리이며, 이는 영상의 중심 위치로부터 이동된 화소값의 차이로 계산한다. Py는 도 1에서 마커를 이용해 산출한 사람의 키에서 눈동자 위치를 계산한, 바닥에서 눈동자까지의 높이를 나타낸다.
본 발명의 실시 예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
10 : 카메라
20 : 바닥 표시 마커
30 : 벽면 표시 마커

Claims (3)

  1. 카메라, 바닥에 표시된 마커, 벽에 표시된 마커를 포함하는 시선 추적 시스템에서 사람의 시선을 추적하는 방법은,
    카메라를 통해 영상정보를 취득하는 단계;
    상기 영상정보로부터 사람의 얼굴 영역을 검출하는 단계;
    상기 얼굴 영역에서 눈과 눈동자 영역을 검출하여 눈동자 이동 거리를 산출하는 단계;
    상기 얼굴 영역에서 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이를 산출하는 단계;
    상기 얼굴 영역에서 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 산출하여 얼굴 상하 이동 거리를 산출하는 단계;
    상기 눈동자 이동 거리, 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이, 얼굴 상하 이동 거리를 조합하여 시선 방향 및 각도를 산출하는 단계;
    기존에 설정해놓은 기준과 바닥에 표시된 마커의 거리, 상기 영상정보에서 사람의 형체와 바닥의 마커와의 거리를 이용하여 상기 기준과 사람의 거리를 산출하는 단계;
    상기 단계에서 산출된 기준과 사람의 거리, 벽에 표시된 마커의 높이를 이용하고 상기 영상정보에서 사람의 형체와 벽에 표시된 마커를 비교하여 사람의 눈높이를 산출하는 단계;
    상기 시선 방향 및 각도, 상기 사람의 눈높이를 이용하여 시선 위치를 산출하는 단계;
    최종 시선변화를 계산하는 방법은 하기의 수식과 같으며,
    Figure 112019033490216-pat00014

    Figure 112019033490216-pat00015

    여기서,
    Figure 112019033490216-pat00016
    는 좌표상의 기준점으로부터 가로 방향으로의 시선 변화량을 계산하여 좌표상에 나타낸 값이고,
    Figure 112019033490216-pat00017
    은 좌표상의 기준점으로부터 세로 방향으로의 시선 변화량을 계산하여 좌표상에 나타낸 값이며, Px는 카메라로 찍힌 영상에서 사람이 중앙에서부터 가로로 벗어난 거리이며,Py는 마커를 이용해 산출한 사람의 키에서 눈동자 위치를 계산한 값으로서 바닥에서 눈동자까지의 높이를 나타내며, XP는 눈동자의 좌, 우 이동 거리, XFL과는 좌측 눈 가장자리에서 얼굴 좌측 가장자리까지의 너비 XFR는 우측 눈 가장자리에서 얼굴 우측 가장자리까지너비이고, w1과 w2는 사람이 움직임에 따라 눈동자와 얼굴의 이동이 생겼을 때, 이동 거리 조정을 위한 변수이며,
    YP는 눈동자의 위, 아래 이동 거리를 나타내며, YF는 정면을 주시할 때의 머리 위 가장자리에서 눈까지의 길이(Dvface)를 기준으로 얼굴이 상하로 이동했을 때 기준값과 변화한 머리 위 가장자리에서 눈까지의 길이의 차이를 나타내며, w3과 w4는 눈동자와 얼굴의 이동이 생겼을 때 이동 거리 조정을 위한 변수이며, h는 사람이 이동함에 따라 사람과 시선이 맺히는 물체까지의 거리가 바뀔 때에 대한 조정량을 나타내는 것을 특징으로 하는 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법.
  2. 제 1항에 있어서,
    상기 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이 산출 단계는 사람의 눈과 얼굴의 색 차이, 얼굴과 얼굴 뒤 배경과의 색 차이를 이용하는 것을 특징으로 하는 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법.
  3. 제 1항에 있어서,
    상기 얼굴 상하 이동 거리을 산출 단계는,
    상기 얼굴 영역에 사람의 평균 머리 위 끝에서 눈까지의 비율과 입술에서 턱까지의 비율을 반영하여 정면 주시 기준을 설정하고,
    상기 정면 주시 기준의 머리 위 끝에서 눈까지의 거리와 상기 얼굴영역의 머리 위 끝에서 눈까지의 거리차이 및 상기 정면 주시 기준의 입술에서 턱까지의 거리와 상기 얼굴 영역의 입술에서 턱까지의 거리 차이 중 어느 하나 이상을 이용하여 상하 이동 거리를 산출하는 것을 특징으로 하는 눈동자의 이동, 눈과 얼굴 가장자리의 간격을 이용한 시선 추적 방법.

KR1020170153816A 2017-11-17 2017-11-17 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법 KR102016308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170153816A KR102016308B1 (ko) 2017-11-17 2017-11-17 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170153816A KR102016308B1 (ko) 2017-11-17 2017-11-17 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법

Publications (2)

Publication Number Publication Date
KR20190056642A KR20190056642A (ko) 2019-05-27
KR102016308B1 true KR102016308B1 (ko) 2019-08-30

Family

ID=66679264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153816A KR102016308B1 (ko) 2017-11-17 2017-11-17 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법

Country Status (1)

Country Link
KR (1) KR102016308B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286753B (zh) * 2019-06-11 2022-06-07 福建天泉教育科技有限公司 视频关注度判断方法、存储介质
CN112651270B (zh) * 2019-10-12 2024-08-02 北京七鑫易维信息技术有限公司 一种注视信息确定方法、装置、终端设备及展示对象

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241478A (ja) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 画像処理装置、画像処理装置の制御方法及びプログラム
JP2013528406A (ja) 2010-03-22 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 観察者の視線を追跡するシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101094766B1 (ko) 2009-10-08 2011-12-20 동국대학교 산학협력단 시선 위치 추적 장치 및 방법
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
KR101147873B1 (ko) * 2010-06-24 2012-05-24 박영기 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법
KR20120006819A (ko) 2010-07-13 2012-01-19 한국기초과학지원연구원 시선 추적 방법 및 이를 적용하는 장치
US9429398B2 (en) * 2014-05-21 2016-08-30 Universal City Studios Llc Optical tracking for controlling pyrotechnic show elements
KR101706992B1 (ko) 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
KR101748563B1 (ko) 2016-09-26 2017-06-20 유비씨엔(주) 양안기반 시선추적 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241478A (ja) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 画像処理装置、画像処理装置の制御方法及びプログラム
JP2013528406A (ja) 2010-03-22 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 観察者の視線を追跡するシステム及び方法

Also Published As

Publication number Publication date
KR20190056642A (ko) 2019-05-27

Similar Documents

Publication Publication Date Title
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US8711198B2 (en) Video conference
CN106782268B (zh) 显示系统和用于显示面板的驱动方法
US9563981B2 (en) Information processing apparatus, information processing method, and program
Kawato et al. Detection and tracking of eyes for gaze-camera control
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
JP5773944B2 (ja) 情報処理装置および情報処理方法
US10319104B2 (en) Method and system for determining datum plane
US11534063B2 (en) Interpupillary distance measuring method, wearable ophthalmic device and storage medium
WO2016115872A1 (zh) 双目ar头戴显示设备及其信息显示方法
JP5127531B2 (ja) 画像監視装置
JPH113429A (ja) 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法
JP4501003B2 (ja) 顔姿勢検出システム
US10310619B2 (en) User gesture recognition
KR102016308B1 (ko) 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법
JPH1163927A (ja) 頭部位置・姿勢の計測装置および作業監視装置
JP5016959B2 (ja) 見え方度判定装置
JP2015130555A (ja) 画像処理装置、画像処理方法、および画像投影装置
JP2017194301A (ja) 顔形状測定装置及び方法
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
JP3994954B2 (ja) 物体検出装置及び物体検出方法
JP2017199148A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant