KR102308190B1 - 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체 - Google Patents

사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR102308190B1
KR102308190B1 KR1020200078228A KR20200078228A KR102308190B1 KR 102308190 B1 KR102308190 B1 KR 102308190B1 KR 1020200078228 A KR1020200078228 A KR 1020200078228A KR 20200078228 A KR20200078228 A KR 20200078228A KR 102308190 B1 KR102308190 B1 KR 102308190B1
Authority
KR
South Korea
Prior art keywords
user
computing device
users
pupil
region
Prior art date
Application number
KR1020200078228A
Other languages
English (en)
Inventor
이종우
Original Assignee
이종우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종우 filed Critical 이종우
Priority to KR1020200078228A priority Critical patent/KR102308190B1/ko
Priority to PCT/KR2021/006198 priority patent/WO2021261770A1/ko
Application granted granted Critical
Publication of KR102308190B1 publication Critical patent/KR102308190B1/ko

Links

Images

Classifications

    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/4652—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체가 개시된다. 본 발명은, 연산 장치가, 사용자를 촬영한 영상 이미지로부터 사용자의 얼굴 영역을 추출하고, 추출된 얼굴 영역으로부터 사용자의 눈 영역을 추출하며, 추출된 눈 영역에 기초하여 사용자의 동공의 위치를 산출하는 과정을 통해 구현된다. 본 발명에 따르면, 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치를 통해 사용자의 동공 위치를 높은 정밀도로 인식할 수 있게 된다.

Description

사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체{User's Pupil Position Calculation Method, and Medium Being Recorded with Program for Executing the Method}
본 발명은 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체에 관한 것으로, 더욱 상세하게는 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치를 통해 사용자의 동공 위치를 높은 정밀도로 인식할 수 있도록 하는 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체에 관한 것이다.
사용자의 시선을 추적하는 기술인 아이 트래킹 기술은 오래전부터 연구되어 왔으며, 시선을 추적하여 사용자의 심리 상태를 분석할 수 있을 것으로 기대하여 심리학 분야에서 처음 적용된 것으로 알려져 있다.
한편, 미국의 토비(Tobii)사로 대표되는 가장 보편화된 아이트래킹 기술은 사용자들의 동공과 적외선 사이의 상호작용으로 인해 구현 가능한 메커니즘을 바탕으로 하고 있으며, 이를 위해 적외선 카메라와 같은 특수 장비를 활용하고 있다.
이와 같이 종래의 아이 트래킹 기술은 적외선 카메라 장비를 기본적 활용 도구로 삼고 있기 때문에 적외선 카메라 장비가 구비되지 않은 환경에서는 구현될 수 없으며, 그로 인해 폭넓은 활용 용도를 갖기 어렵다는 기술적 한계가 있다.
따라서, 본 발명의 목적은, 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치를 통해 사용자의 동공 위치를 높은 정밀도로 인식할 수 있도록 하는 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 사용자의 동공 위치 산출 방법은, (a) 연산 장치가, 사용자를 촬영한 영상 이미지로부터 사용자의 얼굴 영역을 추출하는 단계; (b) 상기 연산 장치가, 추출된 상기 얼굴 영역으로부터 사용자의 눈 영역을 추출하는 단계; 및 (c) 상기 연산 장치가, 추출된 상기 눈 영역에 기초하여 사용자의 동공의 위치를 산출하는 단계를 포함한다.
바람직하게는, 상기 (c) 단계는, (c1) 상기 눈 영역에서 색상값이 변하는 경계를 기준으로 눈동자 영역을 추출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, (c2) 상기 눈동자 영역의 중심 좌표를 산출하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 기록 매체는 상기 방법을 실행시키는 프로그램이 기록된 것을 특징으로 한다.
본 발명에 따르면, 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치를 통해 사용자의 동공 위치를 높은 정밀도로 인식할 수 있게 된다.
아울러, 본 발명에 따르면, 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치를 통해 사용자의 시선을 높은 정밀도로 추적할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 사용자의 동공 위치 산출 방법과 이를 이용한 사용자의 시선 추적 방법의 실행 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 사용자의 동공 위치 산출 방법의 실행 과정을 나타내는 절차 흐름도,
도 3은 본 발명의 일 실시예에 따른 동공 위치 산출 방법을 이용한 사용자의 시선 추적 방법의 실행 과정을 나타낸 절차 흐름도, 및
도 4는 본 발명의 일 실시예에 따른 동공 위치 산출 방법의 실행 원리를 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 사용자의 동공 위치 산출 방법과 이를 이용한 사용자의 시선 추적 방법의 실행 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 사용자의 동공 위치 산출 방법의 실행 과정을 나타내는 절차 흐름도이다.
이하에서는 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 동공 위치 산출 방법의 실행 과정을 설명하기로 한다.
도 1에서와 같이 사용자의 얼굴을 촬영하는 웹캠 등의 카메라 장치(100)는 모니터, 신문, 시험지, 미술 작품 등의 주시 대상체(20)를 주시하고 있는 사용자의 얼굴을 촬영하며, 촬영된 영상 이미지 데이터를 연산 장치(100)로 실시간으로 전송한다.
연산 장치(100)에는 본 발명의 일 실시예에 따른 사용자의 동공 위치 산출 방법과 이를 이용한 사용자의 시선 추적 방법의 각 단계를 실행하는 프로그램이 설치되어 있으며, 이와 같은 프로그램은 프로그램 배포용 서버를 통해 PC, 스마트 폰 등의 통신 기능을 구비한 연산 장치(100)로 다운로드되어 설치되어 사용되거나 CD, USB 등 다양한 기록 매체에 기록된 상태에서 양도 및 대여될 수 있을 것이다.
한편, 연산 장치(100)는 카메라 장치(100)로부터 사용자의 촬영 이미지를 실시간으로 획득할 수 있게 되며(S210), 카메라 장치(100)로부터 수신된 영상 이미지에 대한 영상 분석 과정을 통해 영상 이미지로부터 사용자의 얼굴 영역을 추출한다(S230).
한편, 본 발명을 실시함에 있어서, 웹캠 등의 다양한 종류의 카메라 장치(100)에 의해 촬영되는 영상 이미지는 다양한 사이즈나 해상도가 될 수 있으며, 이에 연산 장치(100)는 DCN(Deep Convolutional Network) 방식을 적용함으로써, 카메라 장치(100)로부터 수신된 영상 이미지에 대한 소정의 이미지 프로세싱 절차를 통해 일정한 사이즈와 해상도를 가진 영상 이미지를 확보함이 바람직할 것이다.
이를 통해 연산 장치(100)는 본 발명에 따른 동공 위치 산출 방법과 시선 추적 방법의 각 실행 절차에서의 연산 속도와 정확도를 높일 수 있게 된다.
아울러, 본 발명을 실시함에 있어서, 전술한 S230 단계에서 연산 장치(100)가 사용자의 얼굴 영역을 인식함에 있어서, 컴퓨터 비전 영역(Computer Vision)에서의 제반 알고리즘들을 활용한 방식 또는 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘인 인공 신경망(Artificial neural network)를 활용한 방식 또는 머신 러닝을 통한 얼굴 검출(Face Detection) 방식 등을 사용할 수 있을 것이다.
그 다음, 연산 장치(100)는 추출된 얼굴 영역으로부터 도 4에서와 같은 사용자의 눈 영역(30)을 추출한다(S250). 구체적으로, 연산 장치(100)는 사용자 안구의 외부 노출 영역의 경계에서의 눈꺼풀의 피부 조직과 안구의 흰 자위의 색상값의 차이가 발생하는 지점을 연속적으로 검출함으로써 눈 영역(30)을 추출할 수 있을 것이다.
이와 같이 사용자의 눈 영역(30)을 추출한 다음 연산 장치(100)는 추출된 눈 영역(30)으로부터 사용자의 눈동자 영역(40)을 추출한다(S270). 구체적으로, 연산 장치(100)는 눈 영역(30)에서의 흰 자위와 홍채의 경계에서의 흰 자위의 색상값과 홍채의 색상값의 차이가 발생하는 지점을 연속적으로 검출함으로써 눈동자 영역(40)을 추출할 수 있을 것이다.
한편, 연산 장치(100)는 이와 같이 추출된 눈동자 영역(40)의 중심 좌표를 산출함으로써 동공의 위치 정보를 산출하게 된다(S290).
구체적으로, 연산 장치(100)는 전술한 S270 단계에서 추출한 눈동자 영역(40)에 의해 정의되는 원의 중심 좌표를 산출함으로써 동공의 위치 정보를 산출할 수 있을 것이다.
한편, 본 발명을 실시함에 있어서, 눈동자 영역(40)의 일부가 눈꺼풀에 의해 가려진 경우에 연산 장치(100)는 눈 영역(30)에서의 흰 자위와 홍채의 경계에서의 흰 자위의 색상값과 홍채의 색상값의 차이가 발생하는 지점의 환형 연속 검출 구간에 기초하여 나머지 구간에 대한 보간법을 실행함으로써 원의 형상을 갖는 눈동자 영역(40)을 추출할 수 있을 것이다.
이와 같이 본 발명에 의하면 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치(100)를 통해서도 사용자의 동공 위치를 높은 정밀도로 인식할 수 있게 된다.
아울러, 본 발명을 실시함에 있어서는 연산 장치(100)는 동공의 색상값 정보, 동공의 형상 정보, 동공의 크기 정보 등의 동공을 규정하기 위한 파라미터값을 미리 설정한 상태에서 컴퓨터 비전 계산 방법을 통해 동공의 위치를 산출할 수도 있을 것이다.
아울러, 본 발명을 실시함에 있어서, 연산 장치(100)가 동공의 위치 정보를 산출함에 있어서, 디지털 영상의 밝기나 색 등의 특성을 다른 주변 영역과 비교하는 방식의 알고리즘인 얼룩 감지(Blob Detection) 알고리즘을 사용할 수도 있을 것이다.
보다 구체적으로, 연산 장치(100)는 컴퓨터 비전 영역의 임계값(thresholding), 블러링(blurring) 등의 기본 알고리즘 기법들을 순차적으로 활용해 동공 위치 이외의 픽셀값들을 필터링하는 방식으로 동공의 위치를 산출할 수도 있을 것이다.
또한, 이와 같은 방식으로 동공의 후보군이 도출되는 경우에 연산 장치(100)는 후보들의 직경값을 소정의 동공 직경 기준값과 비교함으로써 소정의 오차 범위 내에 있는 동공만을 선택하여 위치 좌표를 산출할 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 동공 위치 산출 방법을 이용한 사용자의 시선 추적 방법의 실행 과정을 나타낸 절차 흐름도이다. 이하에서는 도 1 및 도 3을 참조하여, 본 발명의 일 실시예에 따른 동공 위치 산출 방법을 이용한 사용자의 시선 추적 방법의 실행 과정을 설명하기로 한다.
상술한 바에서와 같이 도 2에서의 본 발명의 일 실시예에 따른 동공 위치 산출 방법을 통해 동공 위치 정보를 산출한 다음(S310), 연산 장치(100)는 산출된 동공 위치 정보에 기초하여 사용자의 시선 벡터(l)를 생성한다(S330).
구체적으로, 연산 장치(100)는 전술한 S230 단계에서 영상 이미지로부터 추출한 사용자 얼굴 영역에 대한 이미지 분석을 통해 사용자 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산한다.
본 발명을 실시함에 있어서, 연산 장치(100)는 얼굴의 특징점 추출(Facial Landmarks Detection) 기법을 통해 사용자 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산할 수 있을 것이다.
그 다음, 연산 장치(100)는 전술한 S310 단계에서 산출한 사용자의 동공 위치 좌표와 사용자 얼굴의 3차원 상에서의 회전 방향과 회전 각도 정보를 기초로 도 1에서와 같이 사용자의 3차원 시선 벡터(l)를 생성한다.
한편, 본 발명을 실시함에 있어서 시선 벡터(l)의 크기는 사용자로부터 주시 대상체(20)까지의 거리의 약 1.5배 내지 2배가 될 수 있을 것이다.
이와 같이 생성된 시선 벡터(l)는 사용자 동공의 3차원 위치 좌표를 시작점으로 하고 사용자 얼굴의 3차원 회전 방향각을 따라 전개되는 3차원 반직선의 방정식으로 정의될 수 있을 것이다.
한편, 본 발명을 실시함에 있어서, 전술한 S290 단계에서 연산 장치(100)가 동공의 3차원 위치 좌표를 산출하기 위해서 카메라 장치(100)로부터 사용자까지의 이격 거리인 촬영 거리를 소정의 기준 거리로 일정하게 유지하고, 연산 장치(100)는 연산 장치(100)에 기 설정되어 있는 해당 기준 거리 정보에 기초하여 동공의 3차원 위치 좌표를 산출함이 바람직할 것이다.
이와 같이 본 발명에 따르면 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치(100)를 통해도 사용자의 시선을 높은 정밀도로 추적할 수 있게 된다.
아울러, 연산 장치(100)는 사용자가 주시하는 주시 대상체(20)에서 사용자가 주시하는 평면인 주시 대상면의 좌표를 3차원 상에서 연산할 수 있을 것이다.
본 발명을 실시함에 있어서 주시 대상체(20)가 카메라 장치(100)에 의해 촬영 가능한 위치에 있으며 카메라 장치(100)로부터 소정의 촬영 거리를 형성하고 있는 신문, 시험지, 미술 작품 등인 경우에 연산 장치(100)는 전술한 S210 단계에서 카메라 장치(100)로부터 수신한 영상 이미지로부터 주시 대상면의 3차원 좌표를 연산할 수 있을 것이다.
아울러, 본 발명을 실시함에 있어서, 주시 대상체(20)가 웹캠이 설치되어 있는 모니터인 경우와 같이 주시 대상체(20)가 카메라 장치(100)에 의해 촬영되지 않는 경우에는 연산 장치(100)에 주시 대상면의 3차원 좌표 정보가 미리 저장됨이 바람직할 것이다.
이에 따라 연산 장치(100)는 전술한 S330 단계에서 생성된 사용자의 시선 벡터(l)와 주시 대상면의 교점 좌표를 연산할 수 있게 된다(S350).
이와 같이 연산 장치(100)는 사용자의 시선 벡터(l)가 주시 대상면과 만나는 지점을 주시 대상면에서 사용자의 시선이 머물고 있는 영역으로 산출할 수 있게 된다(S370).
아울러, 연산 장치(100)는 전술한 S370 단계에서의 사용자의 시선 벡터(l)와 주시 대상면의 교점 좌표의 연산 결과에 기초하여 사용자의 주시 대상체(20)에 대한 주목도를 산출할 수 있을 것이다(S390).
구체적으로, 사용자가 모니터를 통해 출력되는 강의 콘텐츠를 시청하고 있는 경우에 사용자의 시선 벡터(l)와 주시 대상면의 교점이 존재하지 않는 것으로 판단된 경우 연산 장치(100)는 사용자가 현재 모니터를 통해 출력되는 강의 콘텐츠를 주시하지 않고 있는 것으로 판단할 수 있을 것이다.
아울러, 강의 콘텐츠의 실행 시간 중에서 사용자의 시선 벡터(l)와 주시 대상면의 교점이 존재함으로써 사용자의 시선이 주시 대상면에 머무르고 있는 것으로 판단된 시간 구간의 비율을 산출함으로써 사용자의 강의 콘텐츠에 대한 주목도를 산출할 수도 있을 것이다.
아울러, 본 발명을 실시함에 있어서는, 연산 장치(100)는 주시 대상체(20)가 태블릿 PC 등의 사용자의 제어를 필요로 하는 전자 장비인 경우에는 주시 대상면 상에서의 사용자의 시선 영역 정보에 기초하여 주시 대상체(20)에 대한 제어 정보를 생성할 수도 있을 것이다.
구체적으로, 주시 대상면 상에서의 사용자의 시선 영역이 태블릿 PC 화면의 스크롤 버튼 표시 영역과 일치하는 경우에 연산 장치(100)는 스크롤 제어 명령을 생성하고 이를 태블릿 PC 등의 주시 대상체(20)로 전송함으로써 사용자의 시선 정보에 기초하여 전자 장비의 제어 동작이 실행되도록 할 수도 있을 것이다.
한편, 본 발명을 실시함에 있어서, 전술한 S210 단계에서 카메라 장치(100)에 의회 촬영되는 영상 이미지에는 복수의 사용자가 포함될 수 있을 것이며, 이러한 경우에 연산 장치(100)는 전술한 각 단계를 실행함에 있어서, 각각의 사용자에 대한 얼굴 영역 추출(S230), 각 사용자의 눈 영역 추출(S250), 각 사용자의 눈동자 영역(40) 추출(S270), 각 사용자의 눈동자 영역(40)의 중심 좌표 산출(S290), 각 사용자의 동공 위치 정보 산출(S310), 각 사용자의 시선 백터 생성(S330), 각 사용자의 시선 벡터(l)와 주시 대상면과의 교점 연산(S350), 각 사용자의 시선 영역 산출(S370), 및 각 사용자의 주목도 산출(S390) 절차를 독립적으로 실행함으로써 복수의 사용자의 시선에 대한 동시 추적을 실행할 수 있을 것이다.
구제적으로, 연산 장치(100)는 복수의 사용자들의 다양한 크기의 얼굴을 동시 다발적으로 인식하기 위해서 Sliding window approach 또는 CNN 접근법(Convolutional neural network approach)을 사용할 수 있을 것이다.
보다 구체적으로, CNN 접근법을 적용하는 경우에 연산 장치(100)는 CNN 레이어를 통한 출력값을 특징 지도(feature map)의 형태로서 출력하며, 특징 지도에 기초하여 소정의 확률로 얼굴이 존재하는 영역인 특정 위치를 표시하고, 그 다음 해당 특정 위치에서의 눈 영역(30)의 분포 예상값을 출력할 수 있을 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10: 카메라 장치, 20: 주시 대상체,
30: 눈 영역, 40: 눈동자 영역,
100: 연산 장치.

Claims (3)

  1. (a) 연산 장치가, 복수의 사용자를 촬영한 영상 이미지로부터 복수의 사용자의 얼굴 영역을 추출하는 단계;
    (b) 상기 연산 장치가, 추출된 상기 복수의 사용자의 얼굴 영역으로부터 상기 복수의 사용자의 눈 영역을 추출하는 단계; 및
    (c) 상기 연산 장치가, 추출된 상기 눈 영역에 기초하여 상기 복수의 사용자의 동공의 위치를 산출하는 단계;
    를 포함하며,
    상기 (a) 단계는,
    (a1) 상기 연산 장치가, 복수의 사용자들의 다양한 크기의 얼굴을 동시에 인식하기 위해서 합성곱 신경망(Convolutional neural network) 레이어를 통한 출력값을 특징 지도(feature map)의 형태로 출력하는 단계; 및
    (a2) 상기 연산 장치가, 상기 특징 지도(feature map)에 기초하여 복수의 사용자들의 얼굴이 존재하는 확률 영역인 특징 위치를 표시하는 단계를 포함하고,
    상기 (b) 단계는,
    상기 연산 장치가, 상기 특징 위치에서의 복수의 사용자들의 눈 영역의 분포 예상값을 출력하는 단계를 포함하며,
    상기 (c) 단계는,
    상기 연산 장치가, 상기 눈 영역에서 색상값이 변하는 경계를 기준으로 눈동자 영역을 추출하되, 상기 눈동자 영역의 일부가 눈꺼풀에 의해 가려진 경우에 상기 눈 영역에서 색상값이 변하는 경계의 환형 연속 검출 구간에 기초하여 상기 눈꺼풀에 의해 가려진 나머지 구간에 대한 보간법을 실행함으로써 원의 형상을 갖는 눈동자 영역을 추출하는 단계를 포함하는 것인 사용자의 동공 위치 산출 방법.
  2. 삭제
  3. 제1항에서의 상기 방법을 실행시키는 프로그램이 기록된 기록 매체.
KR1020200078228A 2020-06-26 2020-06-26 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체 KR102308190B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200078228A KR102308190B1 (ko) 2020-06-26 2020-06-26 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
PCT/KR2021/006198 WO2021261770A1 (ko) 2020-06-26 2021-05-18 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200078228A KR102308190B1 (ko) 2020-06-26 2020-06-26 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체

Publications (1)

Publication Number Publication Date
KR102308190B1 true KR102308190B1 (ko) 2021-10-01

Family

ID=78115307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078228A KR102308190B1 (ko) 2020-06-26 2020-06-26 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체

Country Status (2)

Country Link
KR (1) KR102308190B1 (ko)
WO (1) WO2021261770A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130043366A (ko) * 2011-10-20 2013-04-30 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
KR101423916B1 (ko) * 2007-12-03 2014-07-29 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치
KR20170036764A (ko) * 2014-07-24 2017-04-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 동공 검출
KR20190100982A (ko) * 2018-02-05 2019-08-30 동국대학교 산학협력단 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법
KR20190102651A (ko) * 2018-02-27 2019-09-04 주식회사 펀진 디지털 홀로그래피 디스플레이 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170078054A (ko) * 2015-12-29 2017-07-07 주식회사 펀진 디지털 홀로그래피 병렬처리 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423916B1 (ko) * 2007-12-03 2014-07-29 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치
KR20130043366A (ko) * 2011-10-20 2013-04-30 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
KR20170036764A (ko) * 2014-07-24 2017-04-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 동공 검출
KR20190100982A (ko) * 2018-02-05 2019-08-30 동국대학교 산학협력단 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법
KR20190102651A (ko) * 2018-02-27 2019-09-04 주식회사 펀진 디지털 홀로그래피 디스플레이 장치 및 그 방법

Also Published As

Publication number Publication date
WO2021261770A1 (ko) 2021-12-30

Similar Documents

Publication Publication Date Title
Gorodnichy et al. Nouse ‘use your nose as a mouse’perceptual vision technology for hands-free games and interfaces
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
Torricelli et al. A neural-based remote eye gaze tracker under natural head motion
KR101706992B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
Mehrubeoglu et al. Real-time eye tracking using a smart camera
Cho et al. Gaze Detection by Wearable Eye‐Tracking and NIR LED‐Based Head‐Tracking Device Based on SVR
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
KR20160051496A (ko) 이미지 식별 방법 및 이미지 식별 장치
WO2022267653A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
Sun et al. Real-time gaze estimation with online calibration
KR102309179B1 (ko) 사용자의 시선 추적을 통한 독해 학습 지도 방법 및 이에 사용되는 관리 서버
WO2023273372A1 (zh) 手势识别对象确定方法及装置
Sidenko et al. Eye-tracking technology for the analysis of dynamic data
Lemley et al. Eye tracking in augmented spaces: A deep learning approach
Utaminingrum et al. Eye movement as navigator for disabled person
US20220405946A1 (en) Inferring user pose using optical data
Santos et al. Eye gaze as a human-computer interface
KR102305880B1 (ko) 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체
Cao et al. Gaze tracking on any surface with your phone
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
Cai et al. Robust gaze estimation via normalized iris center-eye corner vector
Kim et al. Gaze estimation using a webcam for region of interest detection
KR102308190B1 (ko) 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
Ahmed et al. Controlling multimedia player with eye gaze using webcam
Vančo et al. Gesture identification for system navigation in 3D scene

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant