KR20170090881A - 멀티 어레이 기반의 시선추적 장치 및 방법 - Google Patents

멀티 어레이 기반의 시선추적 장치 및 방법 Download PDF

Info

Publication number
KR20170090881A
KR20170090881A KR1020160011820A KR20160011820A KR20170090881A KR 20170090881 A KR20170090881 A KR 20170090881A KR 1020160011820 A KR1020160011820 A KR 1020160011820A KR 20160011820 A KR20160011820 A KR 20160011820A KR 20170090881 A KR20170090881 A KR 20170090881A
Authority
KR
South Korea
Prior art keywords
image
angle image
narrow
wide
unit
Prior art date
Application number
KR1020160011820A
Other languages
English (en)
Other versions
KR102526544B1 (ko
Inventor
이인재
김현철
황인욱
서정일
이희경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160011820A priority Critical patent/KR102526544B1/ko
Publication of KR20170090881A publication Critical patent/KR20170090881A/ko
Application granted granted Critical
Publication of KR102526544B1 publication Critical patent/KR102526544B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 멀티 어레이 기반의 시선추적 장치는 광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부, 광각 영상 정보를 생성하는 광각 영상 촬영부, 멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부, 광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부, 활성화된 편각 영상 촬영 장치에서 생성된 편각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부 및 생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부를 포함한다.

Description

멀티 어레이 기반의 시선추적 장치 및 방법{APPARATUS AND METHOD FOR EYE TRACKING BASED ON MULTI ARRAY}
본 발명은 시선추적에 관한 기술로서, 보다 상세하게는 영상 촬영 장치를 이용하여 원거리에 존재하는 객체의 시선을 추적하는 기술이다.
최근 몇 년 사이 시선추적(Eye Tracking) 기술이 다양한 분야에서 활용되며 각광을 받고 있다. 사용자 경험(User Experience, UX)을 조사하는 관점에서 시선추적과 같은 인지적 정보는 매우 유용하게 활용될 수 있다. 일례로서, 양문형 냉장고 내부를 고객들이 어떻게 인지하고 바라보는지는 설문 조사를 통해서는 얻어내기 힘들지만 시선추적과 같은 방법을 사용하면 매우 명확하고 직관적으로 정보를 얻어낼 수 있다. 이에 따라, 신문, 잡지 등의 광고 및 제품 배치, 디지털 UI 분석 등에 시선추적이 활용되고 있다.
이와 같은 시선추적 기술의 경우 대부분 추적거리 100cm 내외의 근거리 위주로 수행되고 있다. 원거리를 위한 시선추적의 경우 안경을 착용하는 착용형 시선기를 사용하거나 비착용형 시선추적기를 사용하고 있다. 원거리에서의 시선추적 정확도를 보장하기 위해서 기본적으로 홍채의 크기가 200X200 pixels 이상인 눈 영상을 획득할 수 있어야 한다.
고화질 눈영상 획득을 위해 시선 추적 장치는 PTZ(Pan/Tilt/Zoom) 기능을 탑재하지만, 크기와 무게가 커져 착용에 어려움이 있으며 상용화하는데 걸림돌이 되고 있다. 반면에, PTZ 기능을 탑재하지 않는 경우, 거리에 따른 고화질 눈영상 획득에 한계가 있어서 근접한 추적거리에서만 정확도를 보장할 수 있는 문제가 있다.
대한민국 공개특허 제10-2012-0060978호
본 발명이 해결하고자 하는 과제는 시선추적을 위해 카메라 모듈을 멀티 어레이(Multi-array)로 배열하고 선택적으로 활성화시킴으로써, PTZ 기능 없이 원거리에 존재하는 사용자의 고화질 얼굴/눈 영상을 획득하기 위한 장치 및 방법을 제공하는 것이다.
본 발명에 따른 멀티 어레이 기반의 시선추적 장치는 광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부, 광각 영상 정보를 생성하는 광각 영상 촬영부, 멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부, 광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부, 활성화된 편각 영상 촬영 장치에서 생성된 편각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부 및 생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부를 포함한다.
본 발명에 따른 멀티 어레이 기반의 시선추적 방법은 캘리브레이션 단계를 수행한 후, 광각 영상을 촬영한다. 그리고 촬영된 광각 영상으로부터 얼굴 및 눈을 검출하고, 검출된 얼굴 및 눈의 위치좌표와 대응하는 협각 영상 촬영부의 ID를 검출한다. 다음으로, 사용자 움직임 추적 기반 얼굴 및 눈 검출 영역을 추적하여 얼굴 및 눈의 위치정보 변동여부를 확인하여, 대응하는 협각 영상 촬영부만을 활성화시키고 나머지 협각 영상 촬영부를 비활성화한다. 그리고 협각 영상 스티칭을 통해 고화질 얼굴 및 눈 영상을 생성하고, 고화질 얼굴 및 눈 영상을 통해 시선추적을 수행한다.
본 발명에 따른 멀티 어레이 기반의 시선추적 장치 및 방법은 PZT 기능을 지원하지 않고 카메라 모듈을 멀티 어레이로 배열한 후, 관련 카메라만을 선택적으로 활성화시킴으로써 시선추적 장치의 크기 및 무게를 줄일 수 있다. 이를 통해, 본 발명은 시선추적 장치의 상용화 및 활성화에 기여할 수 있다. 또한, 현재 멀티미디어 획득 및 영상 처리 기술에 대한 수요가 높아 저가의 소형 HD급 카메라 모듈들이 많이 시판되고 있어 이를 활용하여 원거리 시선추적 장치의 단가를 낮출 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치의 광각 영상 촬영부 및 협각 영상 촬영부의 멀티 어레이 구조의 다양한 일례를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)의 사시도이다.
도 4는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 방법의 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 원거리 시선추적 장치의 확산에 걸림돌이 되는 PTZ 기능을 지원(탑재)하지 않고 영상 촬영 모듈을 멀티 어레이로 배열한 후, 선택적으로 활성화시킴으로써, 장치의 크기 및 무게를 줄이면서 사용자의 고화질 얼굴 및 눈 영상을 획득한다.
본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 캘리브레이션 처리부(110), 광각 영상 촬영부(120), 다수의 협각 영상 촬영부(130), 객체 검출부(140), 고화질 영상 생성부(150) 및 영상 처리부(160)를 포함한다.
캘리브레이션 처리부(110)는 광각 영상 촬영부(120)와 다수의 협각 영상 촬영부(130) 사이의 캘리브레이션을 수행한다. 본 발명에 따른 멀티 어레이 기반의 시선추적 장치(100)는 광각 영상 촬영부(120)와 다수의 협각 영상 촬영부(130)를 함께 사용하여 생성된 영상 정보를 활용한다. 따라서, 캘리브레이션 처리부(110)는 캘리브레이션 단계를 거쳐 광각 영상 촬영부(120)의 광각 영상 정보에서의 위치 좌표가 어떤 협각 영상 촬영부(130)의 협각 영상과 매핑될 수 있는지 상호관계 계산이 가능하도록 한다.
광각 영상 촬영부(120)는 광각(Wide Angle) 영상을 촬영하는 영상 촬영 장비이다. 본 발명은 하나 또는 둘 이상의 광각 영상 촬영부(120)를 활용하여 1차적으로 광각 영상 정보를 획득하고, 획득된 광각 영상 정보를 분석하여 다수의 협각 영상 촬영부(130) 중에서 해당하는 협각 영상 촬영부(13)를 활성화하는 절차를 수행한다. 일례로서, 광각 영상 촬영부(120)는 하나 또는 둘을 포함할 수 있다.
다수의 협각 영상 촬영부(130)는 멀티 어레이(Multi array) 형태로 배열된다. 즉, 다수의 협각 영상 촬영부(130)는 예를 들어, 4*5 형태 또는 기타 다양한 형태로 배열(array)될 수 있다. 다수의 협각 영상 촬영부(130)는 서로 식별할 수 있도록 각각에 식별자(Identification)이 부여된다.
광각 영상 촬영부(120) 및 협각 영상 촬영부(130)의 배치형태는 후술하는 도면에서 일례를 들어 설명한다.
객체 검출부(140)는 광각 영상 촬영부(120)에서 생성(촬영)된 광각 영상 정보로부터 피사체인 대상 객체(사용자)의 얼굴을 검출하고, 검출된 얼굴로부터 눈을 검출한다. 객체 검출부(140)에서 사용자의 얼굴 및 눈을 검출하는 과정은 Haar-like 기반 에이다부스트(Adaboost)를 적용할 수 있으며, 딥러닝 기반의 기계학습 방법을 적용하여 검출할 수 있다. 뿐만 아니라, 객체 검출부(140)는 다양한 객체 검출 기술을 활용하여 사용자의 얼굴 및 눈을 검출할 수 있다. 또한, 객체 검출부(140)는 광각 영상 촬영부(120)가 두 개일 경우, 두 개의 광각 영상 촬영부(120)에서 촬영된 광각 영상 정보를 비교하여 검출된 얼굴 및 눈과 광각 영상 촬영부(120) 사이의 거리값을 추가로 산출할 수 있다.
그리고 객체 검출부(140)는 검출된 얼굴 및 눈의 위치 좌표로부터 해당 위치와 연관이 있는 하나 이상의 협각 영상 촬영부(130)의 식별자를 검출한다. 즉, 객체 검출부(140)는 멀티 어레이 형태로 배열된 다수의 협각 영상 찰영부(130)와 검출된 얼굴 및 눈의 위치 좌표를 대비하여, 얼굴 및 눈의 위치 좌표에 대응하는 하나 이상의 협각 영상 촬영부(130)의 식별자를 검출한다.
다음으로, 객체 검출부(140)는 검출된 협각 영상 촬영부(130)의 식별자를 기반으로 대응하는 하나 이상의 협각 영상 촬영부(130)를 활성화한다. 동시에, 객체 검출부(140)는 대응하지 않는 나머지 협각 영상 촬영부(130)를 비활성화시켜, 활성화된 협각 영상 촬영부(130)의 협각 영상만을 생성한다. 이를 통해, 얼굴 및 눈을 포함한 고화질 영상 생성시 발생할 수 있는 과부하를 줄이고 처리속도를 높일 수 있다.
객체 검출부(140)는 광각 영상 정보를 이용하여 검출된 얼굴 및 눈 영역을 지속적으로 추적(Tracking)한다. 지속적인 추적을 통해, 객체 검출부(140)는 대응되는 협각 영상 촬영부(130)의 식별자에 변동이 있을 경우, 변동된 식별자에 기반하여 관련 없는 협각 영상 촬영부(130)는 비활성화시키고, 새로이 관련된 협각 영상 촬영부(130)를 활성화시킨다. 그리고 객체 검출부(140)는 얼굴 및 눈 영역에 대한 추적이 실패하면 얼굴 및 눈 검출 기능을 재수행 한다.
고화질 영상 생성부(150)는 활성화된 협각 영상 촬영부(130)로부터 수신된 협각 영상 정보에 기초하여 고화질 영상을 생성한다. 일례로서, 고화질 영상 생성부(150)는 영상 스티칭 기술을 통해 둘 이상의 협각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성한다. 스티칭 기술이란, 다수의 카메라로부터 획득된 다수의 동일시점의 이미지를 하나의 합성된 영상으로 생성하는 기술이다. 고화질 영상 생성부(150)는 다수의 활성화된 협각 영상 촬영부(130)에서 생성된 동일 시점에 대한 다수의 협각 영상 정보를 영상 스티칭 기술을 통해 합성하여 고화질 영상을 생성할 수 있다.
영상 처리부(160)는 고화질 영상 생성부(150)에서 생성된 고화질 얼굴 및 눈 영상에 기초하여 사용자의 시선을 추적하거나, 사용자의 표정을 인식할 수 있다. 또한, 영상 처리부(160)는 고화질 얼굴 및 눈 영상으로부터 사용자를 인식할 수 있다.
본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 PTZ 기능을 구비하지 않기 때문에 경량화 및 소형화가 가능하다. 또한, 멀티 어레이 형태의 다수의 협각 영상 촬영부(130)를 통해 촬영된 협각 영상 정보에 영상 스티칭 기술을 적용하여 고화질 영상을 생성함으로써, PTZ 부재에 따른 인식거리 저하 문제를 해소할 수 있다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치의 광각 영상 촬영부 및 협각 영상 촬영부의 멀티 어레이 구조의 다양한 일례를 나타내는 도면이다.
도 2a 및 도 2b를 참조하면, 본 발명에서, 다수의 협각 영상 촬영부는 멀티 어레이 형태로 배열된다. 도 2a의 (a)는 멀티 어레이로 배열된 다수의 협각 영상 촬영부(220)과 별도로 위치한 하나의 광각 영상 촬영부(210)로 구성된다. 그리고 도 2a의 (b)는 하나의 광각 영상 촬영부(210)가 다수의 협각 영상 촬영부(220)와 함께 멀티 어레이로 배열된다. 이 때, 광각 영상 촬영부(210)의 위치는 시선추적자가 존재할 확률이 낮은 하단의 코너 혹은 상단의 코너에 배치시켜 시선추적 과정을 용이하게 할 수 있다.
도 2b의 (c)는 두 개의 광각 영상 촬영부(210)와 다수의 협각 영상 촬영부(220)가 함께 멀티 어레이로 배열된다. 광각 영상 촬영부(210)가 두 개일 경우, 두 개의 광각 영상 촬영부(120)에서 촬영된 광각 영상 정보를 비교하여 검출된 얼굴 및 눈과 광각 영상 촬영부(120) 사이의 거리값을 추가로 산출할 수 있다.
다수의 협각 영상 촬영부(220)를 배열할 때, 서로 다른 소정의 각도로 배열할 수 있다. 도 2b의 (d)는 다수의 협각 영상 촬영부(220)를 멀티 어레이로 배열할 때, 하나는 일정각도 위를 보도록 방향을 배치하고, 그 다음 카메라는 일정각도 아래 방향을 보도록 엇갈려 배치할 수 있다. 본 발명에서는 이를 통해, 협각 영상 촬영부(200)의 개수를 줄이면서, 상대적으로 넓은 추적 범위를 커버할 수 있다.
도 3은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)의 사시도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)는 멀티 어레이(Multi array) 형태로 배열될 수 있으며, 다수의 협각 영상 촬영부(130)는 서로 식별할 수 있도록 각각에 식별자(Identification)이 부여된다. 일례로서, 좌측 상단의 협각 영상 촬영부(130)로부터 순차적으로 #1, #2, …, #25와 같은 식별자가 부여될 수 있다.
도 4는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 방법의 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치는 다음과 같은 절차를 통해 시선추적 방법을 수행한다. 먼저 시선추적 장치는 광각 영상 촬영부와 다수의 협각 영상 촬영부 사이의 캘리브레이션을 수행한다(S401). 본 발명에 따른 멀티 어레이 기반의 시선추적 방법은 광각 영상 촬영부와 다수의 협각 영상 촬영부를 함께 사용하여 생성된 영상 정보를 활용한다. 따라서, 캘리브레이션 단계를 거쳐 광각 영상 정보에서의 위치 좌표가 협각 영상과 매핑될 수 있는지 상호관계 계산이 가능하도록 한다.
다음으로, 시선추적 장치는 광각 영상을 촬영(S402)하고, 광각 영상에서 얼굴 및 눈을 검출한다(S403). 시선추적 장치는 광각 영상 정보로부터 피사체인 대상 객체(사용자)의 얼굴을 검출하고, 검출된 얼굴로부터 눈을 검출한다. 사용자의 얼굴 및 눈을 검출하는 과정은 Haar-like 기반 에이다부스트(Adaboost)를 적용할 수 있으며, 딥러닝 기반의 기계학습 방법을 적용하여 검출할 수 있다. 뿐만 아니라, 다양한 객체 검출 기술을 활용하여 사용자의 얼굴 및 눈을 검출할 수 있다.
다음으로, 시선추적 장치는 검출된 얼굴 및 눈의 위치 좌표로부터 해당 위치와 연관이 있는 하나 이상의 협각 영상 촬영부의 식별자(ID)를 검출한다(S404). 즉, 시선추적 장치는 멀티 어레이 형태로 배열된 다수의 협각 영상 찰영부와 검출된 얼굴 및 눈의 위치 좌표를 대비하여, 얼굴 및 눈의 위치 좌표에 대응하는 하나 이상의 협각 영상 촬영부의 식별자를 검출한다.
시선추적 장치는 지속적으로 검출된 사용자 얼굴 및 눈 검출 영역을 추적한다(S405). 시선추적 장치는 사용자 움직임 추적 기반으로 지속적인 추적을 통해, 시선추적 장치는 대응되는 협각 영상 촬영부의 식별자에 변동이 발생하는지 여부를 판단한다(S406).
얼굴 및 눈 위치에 변동이 발생하지 않으면, 시선추적 장치는 식별자에 기반하여 대응하는 하나 이상의 협각 영상 촬영부를 활성화하고, 대응하지 않는 나머지 협각 영상 촬영부를 비활성화한다(S407). 이를 통해, 활성화된 협각 영상 촬영부의 협각 영상만을 생성하여, 얼굴 및 눈을 포함한 고화질 영상 생성시 발생할 수 있는 과부하를 줄이고 처리속도를 높일 수 있다.
그리고 시선추적 장치는 활성화된 협각 영상 촬영부로부터 수신된 협각 영상 정보에 기초하여 고화질 영상을 생성한다(S408). 일례로서, 영상 스티칭 기술을 통해 둘 이상의 협각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성한다. 시선처리 장치는 다수의 활성화된 협각 영상 촬영부에서 생성된 동일 시점에 대한 다수의 협각 영상 정보를 영상 스티칭 기술을 통해 합성하여 고화질 영상을 생성할 수 있다. 다음으로, 시선처리 장치는 고화질 얼굴 및 눈 영상에 기초하여 사용자의 시선을 추적하거나, 사용자의 표정을 인식한다(S409).
S406 단계에서, 얼굴 및 눈의 위치정보가 변동되면, 시선처리 장치는 변동된 얼굴 및 눈의 위치정보에 따라 영상 촬영부ID를 재검출(S404)하여 새로운 얼굴 및 눈 검출 영역을 추척(S405)한다.
본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치 및 방법은 PTZ 기능을 구비하지 않기 때문에 경량화 및 소형화가 가능하다. 또한, 멀티 어레이 형태의 다수의 협각 영상 촬영부를 통해 촬영된 협각 영상 정보에 영상 스티칭 기술을 적용하여 고화질 영상을 생성함으로써, PTZ 부재에 따른 인식거리 저하 문제를 해소할 수 있다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: 멀티 어레이 기반의 시선추적 장치
110: 캘리브레이션 처리부
120: 광각 영상 촬영부
130: 협각 영상 촬영부
140: 객체 검출부
150: 고화질 영상 생성부
160: 영상 처리부

Claims (1)

  1. 광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부;
    광각 영상 정보를 생성하는 광각 영상 촬영부;
    멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부;
    광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부;
    활성화된 편각 영상 촬영 장치에서 생성된 편각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부; 및
    생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부;
    를 포함하는 멀티 어레이 기반의 시선추적 장치.
KR1020160011820A 2016-01-29 2016-01-29 멀티 어레이 기반의 시선추적 장치 및 방법 KR102526544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011820A KR102526544B1 (ko) 2016-01-29 2016-01-29 멀티 어레이 기반의 시선추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011820A KR102526544B1 (ko) 2016-01-29 2016-01-29 멀티 어레이 기반의 시선추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170090881A true KR20170090881A (ko) 2017-08-08
KR102526544B1 KR102526544B1 (ko) 2023-04-27

Family

ID=59652982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011820A KR102526544B1 (ko) 2016-01-29 2016-01-29 멀티 어레이 기반의 시선추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102526544B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017937A1 (en) * 2018-07-20 2020-01-23 Samsung Electronics Co., Ltd. Method and electronic device for recommending image capture mode

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR20120060978A (ko) 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
KR20130133127A (ko) * 2012-05-24 2013-12-06 한국전자통신연구원 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR20140045873A (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 시선 추적 장치 및 방법
KR101526557B1 (ko) * 2012-01-31 2015-06-10 한국전자통신연구원 다중 카메라 기반 시선 추적 장치 및 방법
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
KR101533686B1 (ko) * 2014-06-30 2015-07-09 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060978A (ko) 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR101526557B1 (ko) * 2012-01-31 2015-06-10 한국전자통신연구원 다중 카메라 기반 시선 추적 장치 및 방법
KR20130133127A (ko) * 2012-05-24 2013-12-06 한국전자통신연구원 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR20140045873A (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 시선 추적 장치 및 방법
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
KR101533686B1 (ko) * 2014-06-30 2015-07-09 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017937A1 (en) * 2018-07-20 2020-01-23 Samsung Electronics Co., Ltd. Method and electronic device for recommending image capture mode
US11233936B2 (en) 2018-07-20 2022-01-25 Samsung Electronics Co., Ltd. Method and electronic device for recommending image capture mode

Also Published As

Publication number Publication date
KR102526544B1 (ko) 2023-04-27

Similar Documents

Publication Publication Date Title
US10165176B2 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
JP5949319B2 (ja) 視線検出装置及び視線検出方法
JP5942270B2 (ja) 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US10216267B2 (en) Portable electronic equipment and method of controlling a portable electronic equipment
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
CN105844202A (zh) 一种影像识别系统及方法
EP3557376A2 (en) Training of a neural network for three dimensional (3d) gaze prediction
JP2010103980A (ja) 画像処理方法、画像処理装置及びシステム
WO2014028477A1 (en) Systems and methods for iris detection and gaze estimation
KR20130107981A (ko) 시선 추적 장치 및 방법
US20170164829A1 (en) Registration Using a Microscope Insert
WO2008132741A2 (en) Apparatus and method for tracking human objects and determining attention metrics
US20180049840A1 (en) Methods and systems for registration using a microscope insert
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
KR20130088654A (ko) 다중 카메라 기반 시선 추적 장치 및 방법
Lee et al. Auto-focusing method for remote gaze tracking camera
TW202011154A (zh) 目標物資訊的預載顯示方法及裝置
KR20170090881A (ko) 멀티 어레이 기반의 시선추적 장치 및 방법
Jung et al. Coaxial optical structure for iris recognition from a distance
JP2017102731A (ja) 視線検出装置及び視線検出方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160129

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210129

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160129

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220920

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230126

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230424

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230424

End annual number: 3

Start annual number: 1

PG1601 Publication of registration