KR101950562B1

KR101950562B1 - 시선 추적

Info

Publication number: KR101950562B1
Application number: KR1020167026026A
Authority: KR
Inventors: 사시 케이 사리팔레; 레자 알 데라크샤니; 비카스 고테무쿨라
Original assignee: 아이베리파이 인크.
Priority date: 2014-02-25
Filing date: 2015-02-25
Publication date: 2019-02-20
Also published as: JP2017515182A; MY180872A; KR20160124870A; EP3111421A1; WO2015130849A1; BR112016019529A8; BR112016019529A2; BR112016019529B1; CN106133752A; JP6329635B2; US9939893B2; CN106133752B; US20150241967A1

Abstract

시선 추적을 위한 방법들 및 시스템들이 제공되며, 여기서 적어도 하나의 눈의 복수의 이미지가 수신되고, 눈(들)의 각각의 이미지에 대해, 눈(들)의 맥관 구조와 관련된 복수의 안정된 맥관 지점들이 식별된다. 눈(들)의 수신된 이미지들 내의 식별된 안정된 맥관 지점들에 기초하여, 눈(들)의 시선 각도가 결정된다.

Description

시선 추적{EYE GAZE TRACKING}

관련 출원의 상호 참조

본원은 "Eyeprint Gaze Tracking"이라는 명칭으로 2014년 2월 25일자로 출원된 미국 특허 가출원 제61/944,438호에 대해 우선권을 주장하고 그의 이익을 주장하며, 그 전체가 본 명세서에 참고로 포함된다.

본 개시내용은 일반적으로 이미지 분석에 관한 것으로서, 구체적으로는 실시간 시선 추적을 위한 시스템 및 방법에 관한 것이다.

눈 추적은 시선 또는 눈의 움직임을 식별하는 프로세스를 말한다. 최근, 눈 추적 기술의 접근성은 사용자 인터페이스 제어, 웹 설계, 광고, 자동차 엔지니어링 등과 같은 다양한 분야에서의 그의 이용을 증가시켰다. 눈 추적 기술의 현재 및 잠재적 이용 수가 주어지면, 눈 추적 기술의 정밀도 및 효율의 향상은 눈 추적 기술이 웨어러블 및 다른 이동 장치와 같은 다양한 타입의 장치 내에 쉽게 통합될 수 있는 것을 보증하는 데 중요하다.

눈의 흰자위 상의 가시 맥관 구조의 위치에 기초하여 시선을 추적하기 위한 시스템 및 방법이 설명된다. 추적에 이용되는 디지털 이미지는 웨어러블 컴퓨팅 장치 또는 다른 장치, 예로서 스마트폰 또는 랩탑의 일부인 이미지 센서 하드웨어로부터 얻어질 수 있다.

일 양태에서, 컴퓨터 구현 방법은 적어도 하나의 눈의 복수의 이미지를 수신하는 단계; 상기 적어도 하나의 눈의 각각의 수신된 이미지에 대해, 상기 적어도 하나의 눈의 맥관 구조와 관련된 복수의 안정된 맥관 지점을 식별하는 단계; 및 상기 적어도 하나의 눈의 상기 수신된 이미지들 내의 상기 식별된 안정된 맥관 지점들에 기초하여 상기 적어도 하나의 눈의 시선 각도를 결정하는 단계를 포함한다. 이 양태의 다른 실시예들은 대응하는 시스템들 및 컴퓨터 프로그램들을 포함한다.

일 구현에서, 상기 방법은 상기 식별된 안정된 맥관 지점들 주위에서 복수의 특징 설명자를 추출하는 단계, 및 상기 특징 설명자들 및 식별된 안정된 맥관 지점들에 기초하여 복수의 템플릿을 생성하는 단계를 더 포함한다. 상기 방법은 상기 템플릿들 중 하나 이상을 하나 이상의 등록 템플릿과 매칭시켜 상기 시선 각도를 결정함으로써 상기 시선 각도를 결정하는 단계를 더 포함할 수 있다.

다른 구현에서, 상기 방법은 상기 눈의 상기 수신된 이미지들 중 하나 이상에 기초하여 하나 이상의 안정된 눈주위 고정점을 식별하는 단계를 더 포함한다. 상기 시선 각도를 결정하는 단계는 시간에 걸쳐 상기 식별된 안정된 맥관 지점들 중 하나 이상을 추적하는 단계; 및 상기 안정된 눈주위 고정점들 중 하나 이상에 대한 상기 식별된 안정된 맥관 지점들 중 하나 이상의 변위에 기초하여 상기 시선 각도를 결정하는 단계를 포함할 수 있다. 특정한 안정된 눈주위 고정점은 눈의 코너(들) 및/또는 안구 밖의 다른 랜드마크들, 예로서 콧날을 포함할 수 있다.

추가 구현들에서, 상기 방법은 상기 눈의 특정 수신 이미지 내의 상기 눈의 흰자위의 콘트라스트를 향상시키는 단계, 및/또는 상기 눈의 특정 수신 이미지 내의 상기 눈의 흰자위로부터 잡음(예로서, 속눈썹)을 제거하는 단계를 포함한다. 상기 방법은 상기 눈의 특정 수신 이미지에 기초하여 상기 눈의 홍채의 근사 위치를 결정하는 단계를 더 포함할 수 있다.

본 명세서에 기재된 주제의 하나 이상의 구현의 세부사항은 첨부된 도면 및 하기 기재에 명시된다. 본 발명의 다른 특징들, 양태들, 및 이점들은 설명, 도면, 및 청구항으로부터 명백해질 것이다.

도면에서, 같은 참조 부호는 전체적으로 여러 도면에서 동일한 컴포넌트를 지칭한다. 또한, 도면이 반드시 일정한 비율로 그려질 필요는 없으며, 오히려, 구현의 원리를 예시하는 것이 일반적으로 강조된다. 하기 기재에서, 다양한 구현이 하기 도면을 참조로 하여 기재될 것이다:
도 1은 일 구현에 따른 시선 추적을 위한 시스템의 예시적인 아키텍처를 나타내는 도면이다.
도 2-4는 다양한 구현들에 따른 시선 추적을 위한 예시적인 방법들을 나타내는 흐름도들이다.
도 5-6은 좌안 및 우안의 측정된 시야각들을 각각 나타내는 도면들이다.
도 7은 눈의 이미지에 대해 수행되는 이미지 처리 기술들의 예시적인 결과들을 나타낸다.

눈의 흰자위 내의 가시 맥관 구조의 독특한 특징들은 눈의 움직임을 추적하고/하거나 시선(즉, 방향 지점)을 결정하는 데 사용될 수 있다. 예로서, 개인의 눈의 흰자위의 이미지들은 다수의 시간 인스턴스에 걸쳐 얻어질 수 있고, 관심 있는 맥관 지점들 및 다른 눈 특징들을 식별하기 위해 분석될 수 있다. 시간에 걸친 이러한 특징들의 움직임 및 변화는 개인이 특정 시점에 어디를 보고 있는지를 결정하는 데 사용될 수 있다.

가시 맥관 구조는 눈의 흰자위 내에서 보이는 맥관 구조에 대응한다. 눈의 흰자위는 다수의 층을 갖는다. 공막은 콜라겐 및 탄성 섬유를 포함하는 눈의 주로 불투명한 섬유질의 보호층이다. 공막은 결막으로 덮여 있고, 결막은 그를 통해 그리고 그 위를 지나가는 특히 많은 수의 맥관 및 정맥을 갖는다. 상공막은 안구 결막으로 덮여 있고, 안구 결막은 눈꺼풀이 열릴 때 눈꺼풀 또는 환경과 접하는 얇은 투명 막이다. 맥관들(일반적으로 맥관 구조) 중 일부, 특히 안구 결막 및 상공막 내의 맥관은 가시적이며, 눈의 이미지들 내에서 검출될 수 있다.

도 1은 시선 추적을 위한 국지적 시스템의 한 구현을 나타낸다. 사용자 장치(100)는 이미지 센서(130), 프로세서(140), 메모리(150), 눈 추적 컴포넌트(160), 및 메모리(150)를 포함하는 다양한 시스템 컴포넌트를 프로세서(140)에 결합하는 시스템 버스를 포함한다. 눈 추적 컴포넌트(160)는 이미지 센서(130)에 의해 캡처된 이미지들에 대한 동작들을 수행하는 하드웨어 및/또는 소프트웨어 모듈들을 포함할 수 있다. 예로서, 눈 추적 컴포넌트(160)는 눈 이미지들을 처리 및 분석하여 맥관 지점들을 식별하고, 관심 지점들 주위에서 특징 설명자들을 추출하고, 맥관 지점들 및 특징들에 기초하여 템플릿들을 생성하고, 시간에 걸쳐 템플릿들에 기초하여 눈 움직임을 결정할 수 있다. 눈 추적 컴포넌트(160)에 의해 제공되는 기능은 아래에서 더 설명되는 시선 추적을 위한 다양한 방법들을 포함할 수 있다.

사용자의 눈 또는 눈들의 이미지들은 사용자 장치(100)와 관련된 이미지 센서(130), 예로서 카메라를 이용하여 캡처된다. 사용자 장치(100)는 예로서 웨어러블 장치 및/또는 이동 장치를 포함할 수 있다. 사용자 장치(100)의 예는 스마트폰, 스마트 시계, 스마트 안경, 태블릿 컴퓨터, 랩탑, 게이밍 장치, 팜탑, 개인용 컴퓨터, 텔레비전, 개인 휴대 단말기(personal digital assistant), 무선 장치, 워크스테이션, 또는 본 명세서에서 설명되는 기능을 실행할 수 있는 범용 컴퓨터 또는 특수 목적 하드웨어 장치로서 동작하는 다른 컴퓨팅 장치를 포함할 수 있지만, 이에 한정되지 않는다.

예로서, 카메라는 디지털 카메라, 3차원(3D) 카메라, 또는 라이트 필드 센서(light field sensor)일 수 있다. 일부 구현들에서, 카메라는 안경 폼 팩터를 갖고 웨어러블 장치 내의 안쪽으로 향해 있는 모듈일 수 있고, 눈의 흰자위의 이미지들을 캡처하는 데 사용될 수 있다. 일부 구현들에서, 웨어러블 장치 상의 다양한 위치의 다수의 카메라를 함께 사용하여 양 눈의 흰자위들을 캡처할 수 있다. 이미지들은 정지 모드 또는 비디오 모드에서 캡처될 수 있다. 사용자가 좌측 또는 우측을 볼 때, 이것은 데이터 캡처를 위한 홍채의 우측 또는 좌측에 눈의 흰자위의 더 큰 영역을 노출시킬 수 있는 반면, 사용자가 카메라를 똑바로 볼 때 이것은 각각의 눈의 홍채의 좌측 및 우측에 눈의 흰자위의 2개의 더 작은 세그먼트를 제공할 수 있다. 일부 구현들에서, 취득된 이미지들은 하나 이상의 눈의 RGB 이미지들을 획득하기 위해 크로핑된다. 그러므로, 본 명세서에서 사용될 때, "이미지" 또는 "캡처된 이미지"는 눈의 크로핑된 RGB 이미지를 지칭할 수도 있다.

눈의 이미지들에 기초하여 특징들을 식별하는 데 적합한 기술들은 "Texture Features for Biometric Authentication"이라는 명칭으로 2013년 2월 5일자로 허여된 미국 특허 제8,369,595호, 및 "Feature Extraction and Matching for Biometric Authentication"이라는 명칭으로 2014년 5월 9일자로 출원된 미국 특허 출원 제14/274,385호에서 발견될 수 있으며, 이들 전체는 본 명세서에 참고로 포함된다. 예로서, 이미지 선명화 기술은 효율적인 특징 검출에 도움이 될 수 있다. 맥관 지점 검출(VPD) 기술은 눈의 가시 맥관 구조로부터 관심 지점들을 검출할 수 있고, PH-EMR-LBP(Pattern Histograms of Extended Multi-Radii Local Binary Patterns), EMR-LBP(Enhanced Multi-Radii Local Binary Patterns), EMR-CS-LBP(Enhanced Multi-Radii Center-Symmetric Local Binary Patterns) 및/또는 PH-EMR-CS-LBP(Pattern Histograms of Extended Multi-Radii Center Symmetric Local Binary Patterns)는 맥관 구조의 관심 지점을 둘러싸고 있는 이미지들의 부분들의 특징 설명을 효율적으로 제공할 수 있다. 가시 맥관 구조는 눈의 흰자위를 포함하고 눈의 흰자위를 둘러싸고 있는 이미지 부분을 눈 이미지로부터 배제하는 이진 이미지 마스크일 수 있는 공막 마스크 내에 둘러싸인다. 매칭 기술들은 이상치 검출(outlier detection)을 사용함으로써 거리 또는 상관 기반 매칭의 효율성 및/또는 정확도를 향상시킬 수 있다. 포함된 참고 문헌들에서 설명되는 기술들은 또한 (예로서, 생체 인증에 종종 사용되는 등록 및 검증 템플릿들을 포함하는) 기준 이미지들로부터 도출되는 템플릿들의 생성, 갱신 및 매칭을 가능하게 한다. 특정 템플릿은 맥관 지점들과 같은 관심 지점들은 물론, 대응하는 특징 설명자들의 집합을 포함할 수 있다.

본 명세서에서 설명되는 시스템의 구현들은 적절한 하드웨어 또는 소프트웨어를 사용할 수 있는데; 예를 들어, 시스템은 운영체제, 예컨대 마이크로소프트 윈도(Microsoft Windows®) 운영 체제, 애플(Apple) OS X® 운영 체제, 애플 iOS® 플랫폼, 구글 안드로이드(Google Android™) 플랫폼, 리눅스(Linux®) 운영 체제 및 유닉스(UNIX®) 운영 체제의 다른 변형 등을 실행할 수 있는 하드웨어 상에서 실행될 수 있다. 시스템은 메모리(150)에 저장되고 프로세서(140) 상에서 실행되는 복수의 소프트웨어 처리 모듈을 포함할 수 있다. 예로서, 프로그램 모듈들은 하나 이상의 적합한 프로그래밍 언어의 형태일 수 있고, 이는 프로세서 또는 프로세서들이 명령어들을 실행하게 하는 기계어 또는 객체 코드로 변환된다. 소프트웨어는 적합한 프로그래밍 언어 또는 프레임워크에서 구현되는 독립형 애플리케이션의 형태일 수 있다.

추가로 또는 대안적으로, 일부 또는 모든 기능은 원격으로, 클라우드에서, 또는 서비스형 소프트웨어를 통해 수행될 수 있다. 예를 들어, 특정 기능(예를 들어, 이미지 처리, 템플릿 생성, 템플릿 매칭 등)은 사용자 장치(100)와 통신하는 하나 이상의 원격 서버 또는 다른 장치 상에서 수행될 수 있다. 원격 기능은 충분한 메모리, 데이터 저장 및 처리 능력을 가지고 서버 클래스 운영 체제(예를 들어, 오라클 솔라리스(Oracle® Solaris®), GNU/리눅스(GNU/Linux®), 및 마이크로소프트 윈도(Microsoft® Windows®) 패밀리의 운영 체제)를 실행하는 서버 클래스 컴퓨터 상에서 실행될 수 있다. 서버와 사용자 장치 사이의 통신은 매체 예컨대 표준 전화선, LAN 또는 WAN 링크(예를 들어, T1, T3, 56kb, X.25), 광대역 접속(ISDN, 프레임 릴레이, ATM), 무선 링크(802.11 (와이파이(Wi-Fi)), 블루투스, GSM, CDMA, 등)와 같은 매체를 통해 일어날 수 있다. 다른 통신 매체도 고려된다. 네트워크는 TCP/IP 프로토콜 통신, 및 웹 브라우저에 의해 이루어지는 HTTP/HTTPS 요청을 운반할 수 있고, 사용자 장치와 서버 사이의 접속은 이러한 TCP/IP 네트워크를 통해 통신될 수 있다. 다른 통신 프로토콜도 고려된다.

본 명세서에서 설명되는 기술들의 방법 단계들은 입력 데이터에 대해 동작하여 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍 가능한 프로세서들에 의해 수행될 수 있다. 방법 단계는 또한 특수 목적 논리 회로, 예를 들어, FPGA(필드 프로그램 가능한 게이트 어레이) 또는 ASIC(주문형 집적 회로)에 의해 수행될 수 있고, 모듈도 이와 마찬가지로 구현될 수 있다. 모듈은 그러한 기능을 구현하는 컴퓨터 프로그램 및/또는 프로세서/특수 회로의 일부분을 지칭할 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서는 예로서 범용 및 특수 목적 마이크로프로세서 둘 다를 포함한다. 일반적으로, 프로세서는 ROM(read-only memory) 또는 RAM(random access memory) 또는 양쪽 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 실행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 컴퓨터 프로그램 명령어 및 데이터를 구현하기에 적합한 정보 캐리어는 예로서 반도체 메모리 장치, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 장치; 자기 디스크, 예를 들어, 내부 하드 디스크 또는 착탈식 디스크; 자기-광학 디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리를 포함한다. 하나 이상 메모리는 프로세서에 의해 실행될 때 본 명세서에서 설명되는 모듈들 및 다른 컴포넌트들을 형성하고 컴포넌트들과 관련된 기능을 수행하는 명령어들을 저장할 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완될 수 있거나 그 안에 통합될 수 있다.

시스템은 또한 통신 네트워크를 통해 연결되는 원격 처리 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 장치들을 포함하는 로컬 및 원격 컴퓨터 저장 매체 양자 내에 위치될 수 있다. 장치의 용량 및 요구되는 데이터 처리 능력의 양에 따라, 본 명세서에서 설명되는 것과 다른 타입의 시스템 하드웨어 및 소프트웨어가 사용될 수도 있다. 시스템은 가상화된 운영 체제, 예컨대 상기 언급한 것들을 실행하고, 하드웨어, 예컨대 본 명세서에서 설명되는 것을 갖는 하나 이상의 컴퓨터 상에서 동작하는 하나 이상의 가상 머신 상에서 구현될 수도 있다.

시스템 및 방법의 구현은 하나 이상의 제조물 상에 또는 내에 구현되는 하나 이상의 컴퓨터 판독 가능한 프로그램으로서 제공될 수 있다는 점에 유의해야 한다. 프로그램 명령어들은 데이터 처리 장치에 의한 실행을 위해 적합한 수신기 장치로의 전송을 위해 정보를 인코딩하기 위해 생성된 인공-생성된 전파 신호, 예를 들어, 머신-생성된 전기적, 광학적, 또는 전자기적 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 시리얼 액세스 메모리 어레이 또는 장치, 또는 이들 중 하나 이상의 조합이거나 이에 포함될 수 있다. 또한, 컴퓨터 저장 매체가 전파 신호가 아닌 반면, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호 내에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한, 하나 이상의 개별 물리 컴포넌트 또는 매체(예를 들어, 다수의 CD, 디스크 또는 다른 저장 장치)이거나 이에 포함될 수 있다.

도 2는 시선 추적을 위한 방법의 일 구현을 나타낸다. 단계 202에서, 눈 추적 컴포넌트(160)는 눈의 이미지를 수신한다. 이미지는 예로서 사용자 장치(100)의 이미지 센서(130)로부터 수신될 수 있다. 이미지는 컬러이거나 그레이 스케일일 수 있다. 단계 206에서, 눈 추적 컴포넌트(160)는 컴퓨터 비전 알고리즘을 실행하여, 하나 이상의 안정된 눈주위 고정점(예로서, 아래 눈꺼풀, 눈 코너, 콧날 등 상의 지점들)을 검출하여 이미지를 정합한다. 눈 코너의 검출은 예로서 템플릿 상관 또는 눈 형상 검출 방법을 이용하여 달성될 수 있다. 이미지 처리 알고리즘들을 실행하여, 이미지 내의 눈의 흰자위들의 콘트라스트를 향상시킬 수 있고(단계 210), 예로서 사전 정의된 가버(Gabor) 필터들을 이용하여 눈의 흰자위들로부터 속눈썹들과 같은 잡음 요소들을 제거할 수 있다(단계 214).

단계 218에서, 눈 추적 컴포넌트(160)는 홍채를 포함하는 이미지 내의 눈의 흰자위들의 수직 투영들을 계산한다. 수직 투영들은 공막 및 홍채 마스크 내의 영역을 이용하는 그레이 스케일 또는 컬러 이미지 내의 강도 픽셀들의 열 평균이다. 마스크는 이미지의 홍채 구조 동공 영역 및 다른 부분들을 배제하는 이진 마스크일 수 있다. 공막 및 홍채 마스크 내의 이미지 영역의 투영들은 공막 마스크 폭에 기초하는 길이를 갖는 단일 차원 벡터를 유발한다. 신호의 길이를 N이라고 한다. 일 구현에서, 슬라이딩 윈도 기술이 사용되며, 여기서는 단일 차원 벡터의 길이의 1/10과 동일한 윈도 크기를 이용하여 수직 투영들의 평균 값들(M = m1, m2, m3,..., mN)을 계산한다. 결과적인 신호는 소정의 임계치 위로 유지되며, 신호 내의 평균 값들의 나머지는 억제된다. 임계치는 임계치 = 최대(M) = 범위(M)으로서 계산될 수 있다. 임계화 후의 유지되는 평균 값 내의 피크는 홍채 주변 경계의 근사 위치 및 다른 정보, 예로서 홍채의 장축 및 단축을 제공한다.

홍채 주위의 주변 경계 및 홍채 자체의 중심도 추가적인 보조 지점들로서 이용되어, 예로서 충분한 VPD 지점들이 이용 가능하지 않을 때 시선 각도 검출을 향상시킬 수 있다. 눈 밖의 기준 지점들이 눈 코너와 같은 눈주위 랜드마크 또는 눈꺼풀 아래의 또는 콧날 상의 피부 조직과 같은 다른 안정된 구조로부터 수집될 수 있다. 일 구현에서, 사용자의 눈주위 관심 영역들로부터의 이미지 템플릿들이 정합되고 고정점 템플릿들로서 저장될 수 있다. 시선 추적 동안, 이러한 템플릿들은 머리 움직임에 관계없이 시선 정보를 수집하기 위해 그러한 눈밖 기준 지점들의 위치들을 정확히 복원하도록 매칭될 수 있다. 이어서, 다양한 방법을 이용하여, 가시 맥관 구조 상에 래치되는 맥관 관심 지점들을 식별하고(단계 224), 시선 추적을 결정할 수 있다(단계 226). 예로서, 안정적이고 신뢰성 있는 맥관 구조 지점들을 식별하기 위해, 맥관 지점 검출기(VPD) 또는 FAST(Features from Accelerated Segment Test)와 같은 관심 지점 검출기가 사용될 수 있다.

도 3은 단계 226에서의 시선 결정의 일 구현을 나타낸다. 눈 추적 컴포넌트(160)는 검출된 관심 지점들 주위에서 하나 이상의 특징 설명자를 추출한다(단계 302). 일례에서, 사용되는 특징 설명자들은 PH-EMR-LBP 및/또는 PH-EMR-CS-LBP이다. 이러한 설명자들은 눈의 흰자위 상의 맥관 구조의 가시성이 일관적이지 않고 환경 및 센서 잡음이 예상된다는 것을 감안하여 사용된다. 단계 306에서, 각각의 시선에 대해 하나 이상의 템플릿이 생성되며, 각각의 템플릿은 관심 지점 위치들 및 대응하는 로컬 특징들을 포함한다. 등록 프로세스에서, 사용자는 시각적 단서들에 의해 지원되는 다양한 각도를 응시하도록 요청된다. 일례에서, 이러한 시각적 단서들은 웨어러블 장치의 렌즈들 상에 투영된다. 각각의 시선에서, 눈의 가시 흰자위의 영역이 변하여, 가시 맥관 구조의 상이한 패턴들을 유발한다. 가시 맥관 구조의 정보의 변화로 인해, 템플릿 또는 다수의 템플릿이 각각의 시선을 동반한다. 이어서, 생성된 템플릿들은 눈주위 기준 지점들의 전술한 템플릿들과 더불어 대응하는 검증 템플릿들과 매칭되어 시선 각도가 결정될 수 있다(단계 310).

도 4는 단계 226에서의 시선의 결정의 다른 구현을 나타낸다. 눈 추적 컴포넌트(160)는 관심 지점 검출기를 이용하여 식별되는 안정된 맥관 구조 지점들을 시간에 걸쳐 추적한다(단계 402). 맥관 구조 지점들은 계속적으로 실시간으로 또는 주기적으로 측정들 사이에 지연들을 갖고서 추적될 수 있다. 단계 406에서, 안정된 눈주위 지점들에 대한 다수의 지점의 변위(광 흐름)에 기초하여 시선이 결정된다. 예로서, 시선은 전술한 바와 같이 눈의 코너(고정점)와 하나 이상의 안정된 맥관 구조 지점 사이의 상대 거리 및 각도의 측정에 기초하여 추적될 수 있다.

눈의 코너는 다양한 기술을 이용하여 측정될 수 있다. 일 구현에서, 내측 및 측면 안각들(내측 및 외측 눈 코너들)의 근사 위치는 가버 커널에 의해 필터링된 사전 처리 이미지 상의 위아래 눈꺼풀에 맞춰진 포물선들의 교점을 이용하여 추정될 수 있다. 다른 구현에서, 전술한 프로세스로부터 계산된 내측 및 외측 코너들의 위치들은 다음의 기술을 이용하여 향상될 수 있다. 사용자들을 등록하는 동안, (예로서, LBP(Local Binary Patterns), OLBP(oriented LBP), PH-EMR-CS-LBP 또는 PH-EMR-LBP를 이용하여) 안각들의 (멀티스케일) 템플릿들을 발견한다. 검증 시에, 멀티스케일 슬라이딩 상관을 통해 검증 안각 자취들을 그들의 등록 템플릿들에 매칭시켜 그들을 튜닝함으로써 등록으로부터의 안각 템플릿들을 이용하여 포물선 맞춤으로부터 도출된 고정점들의 위치를 미세 튜닝한다. 주변 경계, 홍채 중심, 코, 피부 상의 조직 등과 같은 다른 안정된 위치들이 유사한 방식으로 고정점들로서 사용될 수 있다. 다른 구현들에서, 이러한 고정점들은 광 흐름과 같은 방법들을 이용하여 실시간으로 추적될 수 있다.

일 구현에서, (예로서, FAST, VPD 등을 이용하여 획득된) 식별된 맥관 지점들 주위의 로컬 설명자들(예로서, PH-EMR-LBP, PH-EMR-CS-LBP, SURF(Speeded Up Robust Features), LBP 및 HoG(Histograms of Oriented Gradients))로부터의 정보를 이용하여 강한 맥관 지점이 식별될 수 있다. 다른 구현에서, 주변 경계 근처의 단일의 안정된 지점 대신에, 관심 지점으로부터의 다수의 안정된 지점을 이용하여, 하나 이상의 고정점으로부터 변위 및 각도에 기초하여 시선을 결정할 수 있다.

구현 예

교정 및 데이터 정정

일 구현에서, 시스템을 교정하기 위해, 눈길로부터 5도 간격으로 타겟들이 배치되었다. 피험자들은 그때 한 눈을 감고서 다른 한 눈을 이용하여 타겟을 보도록 요청되었다. 좌안에 대한 움직임의 범위는 -45도 내지 +30도(도 5 참조)이고, 우안의 움직임의 범위는 -30도 내지 +45도(도 6 참조)인 것이 관측되었다.

애플(Apple®) 아이폰 5S로부터의 배면 카메라를 120 fps(초당 프레임)에서 비디오 모드에서 사용하여 데이터를 수집하였다(그러나, 상이한 fps에서 비디오 모드에서 다양한 해상도를 갖는 비디오 카메라가 사용될 수도 있다는 점에 유의한다). 눈 영역들이 전체 프레임들로부터 수동으로 크로핑되었다. 대안으로서, 하르(Haar) 또는 하르 유사 필터들을 이용하는 눈 크로핑 방법을 훈련시켜, 눈 영역들을 자동으로 검출할 수 있다. 타원의 추정에 기초하는 세그먼트화 알고리즘을 이용하여, 눈의 흰자위들(관심 영역들(ROI))을 추출하였다. 도 7에 도시된 바와 같이, 가버 기반 필터링 방법을 이용하여, 추출된 ROI로부터 속눈썹들이 검출되고 제거되었다. 짝수 가버 필터들에 이어서 히스토그램 클립핑을 이용하여, ROI 내에서 잡음이 많은 픽셀(속눈썹)을 제거하였다. 조정 가능한 파장을 갖고 x 및 y 방향으로 확산되는 다양한 배향의 복합 가버 필터들의 세트가 ROI 내의 직선 및 곡선 유사 구조들을 검출하는 데 사용될 수 있다. 또한, 검출된 픽셀들은 히스토그램으로 그룹화될 수 있고, 소정 임계치 위의 값들은 클립핑될 수 있다.

관심 지점 검출 및 특정 추출

ROI 내의 맥관 구조 지점 이웃으로서 잠재적으로 식별되는 돌출 지점들을 식별하기 위해 다양한 지점 검출 알고리즘들이 사용될 수 있다. 일례는 VPD 알고리즘이며, 이는 ROI 내의 맥관 구조들 및 안정된 맥관 지점들을 식별할 수 있는 이미지 파싱 알고리즘이다. SURF 알고리즘은 헤시안 행렬(Hessian matrix)의 행렬식을 이용하여 관심 지점들을 식별하는 데 사용될 수 있는 다른 지점 검출 알고리즘이다. FAST 알고리즘은 사전 정의된 픽셀 이웃 내의 소정 수의 연속 픽셀이 중심 지점보다 밝거나 어두울 경우에 픽셀을 "코너" 지점으로서 라벨링하는 다른 관심 지점 파인더이다. HS(Harris and Stephens) 알고리즘은 관심 지점들 위에 작은 윈도를 배치하고 윈도를 상이한 방향으로 이동시켜 로컬 이웃에서의 자동 상관을 계산함으로써 관심 지점들을 발견하는 다른 코너 검출 알고리즘이다. 전술한 이웃 자동 상관 행렬의 고유값들에 기초하여, 관심 지점이 코너로서 할당된다.

전술한 것들과 같은 하나 이상의 지점 검출 알고리즘을 이용하여 관심 지점들을 식별한 후, 각각의 후보 지점을 둘러싸는 ROI 위치들로부터 로컬 이미지 설명자들의 세트가 획득된다. 이러한 로컬 이미지 패치 설명자들은 다양한 알고리즘을 이용하여 생성될 수 있다. HoG는 지향성 기울기들의 히스토그램들을 계산하는 하나의 그러한 알고리즘이다. SURF는 SIFT(Scale-invariant Feature Transform) 설명자들에 의존하지만, 하르 웨이블릿들 및 적분 이미지들을 이용하여 보다 양호한 계산 효율을 갖는다. LBP(Local Binary Pattern) 및 DLBP(Directional Local Binary Patterns)는 2개의 다른 이진 이미지 특징 추출기이다. 일 구현에서, LBP의 히스토그램들(HLBP) 및 DLBP의 히스토그램들(HDLBP)은 아래에 더 상세히 설명되는 특징 설명자 알고리즘들로서 사용된다. 다른 특징 설명자 알고리즘들 또는 그러한 알고리즘들의 조합들을 이용하여, ROI의 관심 지점들 주위에서 이미지 설명자들을 생성할 수 있다.

다음과 같이 관심 지점들 주위에서 LBP 설명자들이 계산될 수 있다. 현재 관심 지점이 픽셀 위치 (x0,y0)에 있는 것으로 가정한다. 중심 지점 (x0,y0)의 8개의 바로 이웃 {(xi,yi)}(i = 1, 2, ..., 8)의 강도 값들이 중심 지점의 강도 값과 비교되며, 결과들(0 또는 1)이 K_i 내에 저장된다. 결국, (x0,y0)에 대한 LBP8(8 비트 코드)은 다음과 같이 주어진다.

일 구현에서, LBP8의 외측 정사각형 내의 픽셀들에 대해 동일한 프로세스를 반복하여, 동일한 주어진 관심 지점에 대해 16 비트(2 바이트) LBP16 코드를 생성할 수 있다. 따라서, 각각의 관심 지점에 대해 총 3 바이트의 LBP 코드를 생성한다. 프로세스를 (x0,y0)의 5x5 픽셀 이웃에 대해 반복하여, 주어진 중심 지점 주위에서 위의 LBP8(1 바이트) + LBP16(2 바이트) 계산들의 총 5x5=25번의 반복을 산출하여, (x0,y0)과 같은 각각의 관심 지점에 대한 3x25=75 바이트 이진 설명자를 유발한다.

전술한 바와 같이, DLBP는 LBP와 유사하지만, 각각의 쌍별 픽셀 비교를 위한 기준 지점은 중심 지점의 강도 값 대신에 관심 중심 지점의 8개 또는 16개의 이웃 내의 대각선 대향 픽셀이며, 이는 비트들의 수의 절반이 LBP 특징들과 비교되게 한다. LBP 및 DLBP 설명자들 양자는 이진수들이다.

전술한 바와 같이, HoG는 관심 지점 주위에 정의된 소정 크기(픽셀 단위)의 이웃을 사용하여 계산된다. 그러한 이웃은 미리 정의된 수의 하위 영역들로 나누어지고, 그 하위 영역들 내에서 소정 각도들에서의 에지 배향들의 히스토그램들이 생성되고 그 관심 지점에 대한 로컬 설명자로서 공동으로 사용된다. 이러한 히스토그램 기반 설명자들은 실수 벡터들이다. 일 구현에서, 4x4 픽셀 크기의 이웃은 각각이 30도 떨어져 있는 6개의 빈(bin)으로 비닝되는 배향들의 히스토그램들을 갖는 2x2 하위 영역들로 타일링되고, 특징 설명자로서 사용된다. 일 구현에서, 6개의 빈(각각이 30도 떨어져 있음)으로 비닝되는 배향들의 히스토그램들을 갖는 3x3 하위 영역들로 타일링되는 4x4 픽셀 크기의 이웃이 특징 설명자로서 사용될 수 있다.

전술한 바와 같이, HoG와 유사한 HLBP 설명자들은 관심 지점 주위의 소정 크기(픽셀 단위)의 이웃을 이용하여 계산된다. 그러한 이웃은 미리 정의된 수의 하위 영역들로 나누어지고, 그 하위 영역들 내에서 LBP 코드들이 전술한 바와 같이 생성된다. 다음에, 히스토그램들을 생성하기 위해, 하위 영역 내에서의 각각의 비트 위치의 발생에 대한 카운트들이 생성된다. LBP 코드의 이러한 히스토그램의 연결은 HLBP 특징을 만든다. 이러한 설명자들은 실수 벡터들이다. 크기 mxm(m = 4, 5,..., 11) 픽셀의 이웃은 nxn(n = 2, 3,..., 7) 중복 하위 영역(타일)으로 타일링되며, 각각의 LBP 비트 위치의 발생의 히스토그램이 특징 설명자로서 이용된다.

일 구현에서, 9x9 픽셀 크기의 이웃(그의 LBP8 및 LBP16 코드들이 이미 생성되어 있음)이 16개의 3x3 하위 영역들로 타일링되며, 이들 각각은 하나의 픽셀 중복을 갖는다. LBP8 및 LBP16의 각각의 하위 영역의 스트링은 길이 9의 부호 없는 8 비트 수로 변환된다. 이러한 부호 없는 8 비트 수는 부호 없는 16 비트 수 스트링으로 변환되며, 각각의 비트 위치의 발생의 추가적 히스토그램이 계산된다(길이 16 비트의 벡터를 전달한다). 마지막으로, 각각의 하위 영역은 16개의 하위 영역을 이용하여 512의 마지막 HLBP 길이를 전달하도록 연결되는 LBP8 및 LBP16으로부터의 길이 16의 2개의 벡터를 가질 것이다.

PH-EMR-LBP 설명자들이 관심 지점 주위의 소정 크기(픽셀 단위)의 이웃을 이용하여 계산된다. 이웃 내의 각각의 픽셀에 대해, LBP가 3x3 및 5x5 블록에서와 같이 다수의 반경에 대해 계산되고 연결되어 단일 특징(EMR-LBP)이 획득된다. 정의된 이웃은 중복 하위 영역들로 더 분할된다. 하위 영역 내의 각각의 비트 위치의 발생에 대한 카운트가 계산되어 히스토그램이 생성된다. 모든 하위 영역에 걸친 EMR-LBP 코드들의 이러한 히스토그램들의 연결들이 PH-EMR-LBP 특징들로서 정의된다.

PH-EMR-CS-LBP가 관심 지점 주위의 고정된 이웃에서 계산된다. 먼저, 이러한 구현에서, 각각의 쌍별 픽셀 비교에 대한 기준점은 중심 지점의 강도 값 대신에 관심 중심 지점의 8 픽셀 또는 16 픽셀 이웃 내의 대각선 대향 픽셀을 포함하며, 따라서 EMR-LBP 특징들(EMR-CS-LBP)에 비해 비트들의 수의 절반을 유발한다. 이어서, 정의된 이웃은 사전 정의된 수의 중복 하위 영역으로 분할된다. 하위 영역 내의 각각의 비트 위치의 발생에 대한 카운트가 생성된다. EMR-CS-LBP 코드들의 이러한 히스토그램들의 연결들은 PH-EMR-CS-LBP 특징들을 제공할 수 있다.

일부 구현들에서, 관심 지점 주위의 이미지 패치에 대한 특징 설명자들이 단일 특징 설명자 알고리즘 또는 전술한 바와 같은 다수의 상이한 특징 설명자 알고리즘들로부터 도출될 수 있다. 다른 구현들에서, 후보 지점들 주위에서 다수의 이미지 스케일로 특징 설명자들이 도출될 수 있다(다중 스케일 특징 추출). 예를 들어, 3 스테이지 가우시안 이미지 피라미드를 사용하여 관심 지점들 및 그들의 대응하는 로컬 이미지 설명자들을 검출할 수 있다.

템플릿 매칭

템플릿 매칭은 (하나 이상의) 검증 템플릿(들)에 대해 사용자에 대한 (하나 이상의) 저장된 등록 템플릿(들) 간의 유사성을 발견하는 프로세스이다. (매치 스코어로서 표현되는) 등록 템플릿에 대한 검증 템플릿의 유사성이 임계치를 초과하는 경우, 검증은 성공이며, 그렇지 않은 경우에 검증은 실패이다. 등록 및 검증 템플릿들 간의 최상 매칭 지점 쌍들을 발견하기 위해 이진 설명자들(고속 망막 키포인트(FREAK), DLBP, LBP)에 대해 해밍 거리(낮을수록 좋음)가 계산된다. 실수 설명자 벡터들에 대해, 등록 템플릿의 SURF, HoG, PH-EMR-LBP 및/또는 PH-EMR-CS-LBP 설명자들 간의 유클리드, 맨하탄, 상관 또는 마할라노비스 거리가 검증 템플릿의 각각의 SURF, HoG, PH-EMR-LBP 및/또는 PH-EMR-CS-LBP 설명자와 비교되어, 그들이 주어진 임계치를 충족시키는지가 결정될 수 있다. 다른 거리 척도들도 고려된다. 이어서, 일부 또는 모든 시선 방향들에 대해 저장된 템플릿들에 대해 획득된 최고 매치 스코어에 기초하여 시선이 결정될 수 있다.

본 명세서에서 사용된 용어 및 표현은 설명의 용어 및 표현으로서 사용되었으며 제한하기 위한 것이 아니고, 그러한 용어 및 표현의 사용에 있어서, 도시되고 설명된 특징들 또는 그의 일부의 임의의 균등물을 배제하고자 하는 의도가 없다. 추가로 본 개시내용에서 특정 구현이 기재되었지만, 본원에 개시된 개념을 통합하는 다른 구현이 본 발명의 사상 및 범위를 벗어나지 않고 사용될 수 있다는 것이 이 분야의 통상의 기술자에게 명백할 것이다. 다양한 구현의 특징 및 기능이 다양한 조합 및 순열로 배열될 수 있고, 모든 것은 개시된 발명의 범위 내에 있는 것으로 간주된다. 따라서, 설명된 구현은 제한적인 것이 아니라 예시적인 것으로서 모든 면에서 간주되어야 한다. 본원에 설명된 구성, 재료, 및 치수는 결코 제한하지 않고 예시적인 것으로서 또한 의도된다. 유사하게, 비록 물리적인 설명이 설명 목적을 위해서 제공되었지만, 임의의 특별한 이론 또는 메커니즘으로 제한하고자 하는 의도 또는 그에 따라 청구항을 제한하고자 하는 의도는 갖지 않는다.

Claims

컴퓨터 구현 방법(computer-implemented method)으로서,
사용자로 하여금 복수의 정의된 각도로 응시하도록 지시하는 단계;
복수의 정의된 각도 중 각각의 각도에 대하여, 제1 시간 기간 동안 상기 각도로 응시하는 사용자의 적어도 하나의 눈의 적어도 하나의 이미지를 수신하는 단계;
복수의 정의된 각도 중 각각의 각도에 대하여 그리고 상기 각도로 응시하는 사용자의 적어도 하나의 눈의 적어도 하나의 이미지에 기초하여, 눈 맥관 관심 지점 위치 및 대응하는 로컬 특징을 포함하는 적어도 하나의 등록 템플릿을 생성하는 단계;
제2, 이후 시간 기간 동안 사용자의 적어도 하나의 눈의 적어도 하나의 이미지를 수신하는 단계;
제2, 이후 시간 기간 동안 수신된 적어도 하나의 눈의 적어도 하나의 이미지에 대하여, 적어도 하나의 눈의 맥관 구조와 관련된 복수의 안정된 맥관 지점을 식별하는 단계;
제2, 이후 시간 기간 동안 수신된 적어도 하나의 이미지에서 식별된 안정된 맥관 지점에 기초하여 적어도 하나의 검증 템플릿을 생성하는 단계; 및
적어도 하나의 검증 템플릿과 적어도 하나의 등록 템플릿을 매칭하는 것에 기초하여 적어도 하나의 눈의 시선 각도를 결정하는 단계를 포함하는 방법.
제1항에 있어서,
상기 식별된 안정된 맥관 지점들 주위에서 복수의 특징 설명자를 추출하는 단계를 더 포함하고, 적어도 하나의 검증 템플릿을 생성하는 단계는 상기 특징 설명자들 및 식별된 안정된 맥관 지점들에 기초하여 복수의 템플릿을 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 눈의 상기 수신된 이미지들 중 하나 이상에 기초하여 하나 이상의 안정된 눈주위 고정점을 식별하는 단계를 더 포함하는 방법.
제3항에 있어서,
시간에 걸쳐 상기 식별된 안정된 맥관 지점들 중 하나 이상을 추적하는 단계; 및
상기 안정된 눈주위 고정점들 중 하나 이상에 대한 상기 식별된 안정된 맥관 지점들 중 하나 이상의 변위에 기초하여 적어도 하나의 눈의 시선 각도를 결정하는 단계를 더 포함하는 방법.
제4항에 있어서,
특정한 안정된 눈주위 고정점은 상기 적어도 하나의 눈의 코너를 포함하는 방법.
제4항에 있어서,
상기 식별된 안정된 맥관 지점들은 좌안 및 우안 상의 안정된 맥관 지점들을 포함하고, 상기 안정된 눈주위 고정점들은 상기 좌안 및 상기 우안에 대한 안정된 눈주위 고정점들을 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 눈의 특정 수신 이미지 내의 상기 적어도 하나의 눈의 흰자위의 콘트라스트를 향상시키는 단계; 및
상기 적어도 하나의 눈의 특정 수신 이미지 내의 상기 적어도 하나의 눈의 흰자위로부터 잡음을 제거하는 단계를 더 포함하는 방법.
제7항에 있어서,
상기 잡음은 속눈썹을 포함하는 방법.
제1항에 있어서,
상기 적어도 하나의 눈의 특정 수신 이미지에 기초하여 상기 적어도 하나의 눈의 홍채의 근사 위치를 결정하는 단계를 더 포함하는 방법.
사용자로 하여금 복수의 정의된 각도로 응시하도록 지시하는 동작;
복수의 정의된 각도 중 각각의 각도에 대하여, 제1 시간 기간 동안 상기 각도로 응시하는 사용자의 적어도 하나의 눈의 적어도 하나의 이미지를 수신하는 동작;
복수의 정의된 각도 중 각각의 각도에 대하여 그리고 상기 각도로 응시하는 사용자의 적어도 하나의 눈의 적어도 하나의 이미지에 기초하여, 눈 맥관 관심 지점 위치 및 대응하는 로컬 특징을 포함하는 적어도 하나의 등록 템플릿을 생성하는 동작;
제2, 이후 시간 기간 동안 사용자의 적어도 하나의 눈의 적어도 하나의 이미지를 수신하는 동작;
제2, 이후 시간 기간 동안 수신된 적어도 하나의 눈의 적어도 하나의 이미지에 대하여, 적어도 하나의 눈의 맥관 구조와 관련된 복수의 안정된 맥관 지점을 식별하는 동작;
제2, 이후 시간 기간 동안 수신된 적어도 하나의 이미지에서 식별된 안정된 맥관 지점에 기초하여 적어도 하나의 검증 템플릿을 생성하는 동작; 및
적어도 하나의 검증 템플릿과 적어도 하나의 등록 템플릿을 매칭하는 것에 기초하여 적어도 하나의 눈의 시선 각도를 결정하는 동작을 포함하는 동작들을 수행하도록 프로그래밍되는 하나 이상의 컴퓨터를 포함하는 시스템.
제10항에 있어서,
상기 동작들은,
상기 식별된 안정된 맥관 지점들 주위에서 복수의 특징 설명자를 추출하는 동작을 더 포함하고, 적어도 하나의 검증 템플릿을 생성하는 동작은 상기 특징 설명자들 및 식별된 안정된 맥관 지점들에 기초하여 복수의 템플릿을 생성하는 동작을 포함하는 시스템.
제10항에 있어서,
상기 동작들은 상기 적어도 하나의 눈의 상기 수신된 이미지들 중 하나 이상에 기초하여 하나 이상의 안정된 눈주위 고정점을 식별하는 동작을 더 포함하는 시스템.
제12항에 있어서,
상기 동작들은,
시간에 걸쳐 상기 식별된 안정된 맥관 지점들 중 하나 이상을 추적하는 동작; 및
상기 안정된 눈주위 고정점들 중 하나 이상에 대한 상기 식별된 안정된 맥관 지점들 중 하나 이상의 변위에 기초하여 적어도 하나의 눈의 시선 각도를 결정하는 동작을 더 포함하는 시스템.
제13항에 있어서,
특정한 안정된 눈주위 고정점은 상기 적어도 하나의 눈의 코너를 포함하는 시스템.
제13항에 있어서,
상기 식별된 안정된 맥관 지점들은 좌안 및 우안 상의 안정된 맥관 지점들을 포함하고, 상기 안정된 눈주위 고정점들은 상기 좌안 및 상기 우안에 대한 안정된 눈주위 고정점들을 포함하는 시스템.
제10항에 있어서,
상기 동작들은,
상기 적어도 하나의 눈의 특정 수신 이미지 내의 상기 적어도 하나의 눈의 흰자위의 콘트라스트를 향상시키는 동작; 및
상기 적어도 하나의 눈의 특정 수신 이미지 내의 상기 적어도 하나의 눈의 흰자위로부터 잡음을 제거하는 동작을 더 포함하는 시스템.
제16항에 있어서,
상기 잡음은 속눈썹을 포함하는 시스템.
제10항에 있어서,
상기 동작들은 상기 적어도 하나의 눈의 특정 수신 이미지에 기초하여 상기 적어도 하나의 눈의 홍채의 근사 위치를 결정하는 동작을 더 포함하는 시스템.
삭제
삭제