KR102324472B1 - 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 - Google Patents

저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 Download PDF

Info

Publication number
KR102324472B1
KR102324472B1 KR1020190078701A KR20190078701A KR102324472B1 KR 102324472 B1 KR102324472 B1 KR 102324472B1 KR 1020190078701 A KR1020190078701 A KR 1020190078701A KR 20190078701 A KR20190078701 A KR 20190078701A KR 102324472 B1 KR102324472 B1 KR 102324472B1
Authority
KR
South Korea
Prior art keywords
pupil
region
similarity
extracting
image
Prior art date
Application number
KR1020190078701A
Other languages
English (en)
Other versions
KR20210002882A (ko
Inventor
고병철
정미라
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020190078701A priority Critical patent/KR102324472B1/ko
Priority to PCT/KR2020/001827 priority patent/WO2021002556A1/ko
Publication of KR20210002882A publication Critical patent/KR20210002882A/ko
Application granted granted Critical
Publication of KR102324472B1 publication Critical patent/KR102324472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G06K9/00604—
    • G06K9/0061—
    • G06K9/4647—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Nuclear Medicine (AREA)

Abstract

본 발명은 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에 관한 것으로서, 보다 구체적으로는, 동공 위치 검출 방법으로서, (1) 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계; (2) 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 단계; 및 (3) 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치에 관한 것으로서, 보다 구체적으로는, 동공 위치 검출 장치로서, 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈; 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈; 및 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.

Description

저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치{REAL-TIME PUPIL POSITION DETECTION METHOD AND APPARATUS FOR LOW-END ENVIRONMENT SYSTEM}
본 발명은 동공 위치 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 관한 것이다.
사람의 시선 추적 기술은 사람의 양안의 동공 움직임을 기반으로 현재 사람의 시선 위치를 추적하는 기술이며, 다양한 디바이스와 함께 여러 분야에서 활용되고 있다. 그 예로 가상현실(VR) 및 증강현실(AR)에서 시선추적 기술은 사용자와 디바이스의 상호 작용을 위한 핵심 기술로 급부상되고 있으며, 일상생활에서도 시선 추적 기술은 다양한 디바이스에서 특정 컨트롤러 없이 편리한 제어를 위한 UI 기술로써 그 요구가 급증하고 있다. 또한, 스마트카 시장에서 운전자의 부주의한 행동이나 졸음 상황을 사전에 감지할 수 있는 운전자 상태 모니터링 시스템을 위한 요소 기술로 사용될 수 있으며, 홍채 인식을 위한 생체 측정 분야, 소비자의 관심도 파악 및 마케팅 분석을 위한 광고 분야 등 다양한 분야에서 활용 및 연구되고 있다.
최근 시선 추적 기술의 대부분은 카메라 영상을 기반으로 하고 있으며, 영상 내에서 홍채 또는 동공의 위치를 정확하게 검출하고 이를 기반으로 사람의 시선을 추적하게 된다. 따라서 시선 추적을 위해서는 정확한 동공의 위치를 검출하는 과정이 핵심적으로 선행되어야 한다.
영상 기반의 동공 위치 검출은 단일 카메라를 이용하는 방법과 적외선 카메라를 이용하는 방법으로 분류할 수 있으며, 단일 카메라를 이용하는 방법은 가시광선 기반으로 촬영된 영상에서 영상 분석을 통하여 동공 영역을 검출한다. 적외선 카메라를 이용하는 방법은 적외선 조명과 근적외선 카메라를 통하여 홍채와 동공 사이의 반사율의 차이를 분석하여 동공의 위치를 추정하는 데 초점을 두고 있다. 하지만 적외선 카메라를 이용하는 방법은 추가적인 적외선 조명과 적외선 카메라 장치가 필요하고 안경을 착용한 사용자에 대해서는 성능이 떨어지는 문제를 가지고 있다.
최근의 동공 추적 기술은 딥러닝 알고리즘과 접목되어 그 성능이 계속해서 발전되고 있지만, 대부분의 딥러닝 알고리즘들은 동공을 검출하기 위해서 높은 처리 비용이 요구되므로 저사양의 시스템에서의 동공 검출 기술에 대한 독립적인 모듈 개발은 그 한계가 존재한다.
따라서 동공 검출 및 추적 기술의 다양한 활용을 위해서 일반적으로 쉽게 접할 수 있는 단일 CCD 카메라를 이용하여 임베디드 보드와 같은 저사양 시스템에서도 실시간으로 빠르게 동작할 수 있는 동공 검출 기술의 개발이 필요하다.
본 발명과 관련된 선행기술로서, 등록특허공보 제10-1942759호(발명의 명칭: 근적외선 영상에서 랜덤 포레스트와 고속 반경 대칭 변환의 결합을 이용한 눈동자 검출 방법 및 시스템) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있는, 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은,
동공 위치 검출 방법으로서,
(1) 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계;
(2) 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 단계; 및
(3) 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1) 이전에는,
(0) 단일 카메라로부터 영상을 수집하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (0)과 단계 (1) 사이에는,
상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 단계를 더 포함하며,
상기 단계 (1)에서는, 상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
바람직하게는, 상기 단계 (1)은,
(1-1) 상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 단계;
(1-2) 상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계;
(1-3) 상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 단계;
(1-4) 상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 단계; 및
(1-5) 상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
(2-1) 시간적 유사도를 추출하는 단계; 및
(2-2) 공간적 유사도를 추출하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-1)은,
좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (2-1)은,
(2-1-1) 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계; 및
(2-1-2) 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)는,
이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (2-2)는,
(2-2-1) 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계; 및
(2-2-2) 상기 구성된 히스토그램의 유사도를 측정하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-1) 상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 단계; 및
(3-2) 상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 단계를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는,
동공 위치 검출 장치로서,
영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈;
상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈; 및
상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
단일 카메라로부터 영상을 수집하는 영상 수집 모듈을 더 포함할 수 있다.
더욱 바람직하게는,
상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈을 더 포함하며,
상기 후보 영역 추정 모듈에서는,
상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
바람직하게는, 상기 후보 영역 추정 모듈은,
상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부;
상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부;
상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부;
상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부; 및
상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부를 포함할 수 있다.
바람직하게는, 상기 유사도 추출 모듈은,
시간적 유사도를 추출하는 시간적 유사도 추출부; 및
공간적 유사도를 추출하는 공간적 유사도 추출부를 포함할 수 있다.
더욱 바람직하게는, 상기 시간적 유사도 추출부는,
좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
더더욱 바람직하게는, 상기 시간적 유사도 추출부는,
이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다.
더욱 바람직하게는, 상기 공간적 유사도 추출부는,
이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
더더욱 바람직하게는, 상기 공간적 유사도 추출부는,
이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 상기 구성된 히스토그램의 유사도를 측정할 수 있다.
바람직하게는, 상기 동공 위치 검출 모듈은,
상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부; 및
상기 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 동공 위치 결정부를 포함할 수 있다.
본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 전체적인 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 전처리 과정의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S210의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S220의 세부적인 흐름을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 구성을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 세부적인 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 동공 위치 검출 결과를 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 전체적인 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치는, 영상에서 얼굴영역 및 랜드마크를 검출하고, 감긴 눈인지 판별하여 감긴 눈이 아니면, 고속 반경 대칭 변환을 적용해 동공 후보 영역을 추정하며, 추정된 동공 후보 영역 중에서 시공간적 유사도를 이용해 최적의 양안 동공 위치를 결정할 수 있다.
이와 같이 본 발명은, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다. 이하에서는, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 세부적인 구성에 대해 상세히 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 영상에 고속 반경 대칭 변환(FRST)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계(S100), 좌우 동공 영역 쌍에 대하여 시공간적 유사도를 추출하는 단계(S200) 및 최적의 양안 동공 위치를 결정하는 단계(S300)를 포함하여 구현될 수 있다.
즉, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고(S100), 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하며(S200), 추출된 시공간적 유사도에 기초하여 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정할 수 있다(S300). 각 단계의 세부적인 흐름에 대해서는 도 4 내지 도 8에서 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 전처리 과정의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법은, 단계 S100 이전에, 영상을 수집하는 단계(S10) 및 얼굴영역 및 랜드마크를 검출하는 단계(S20)를 더 포함함으로써, 영상을 수집 및 전처리할 수 있다.
단계 S10에서는, 단일 카메라로부터 영상을 수집할 수 있다. 즉, 단계 S10에서는, 일반적으로 쉽게 접할 수 있는 단일 CCD 카메라로부터 영상을 수집할 수 있다. 영상 기반의 동공 위치 검출은 단일 카메라를 이용하는 방법과 적외선 카메라를 이용하는 방법으로 분류할 수 있는데, 단일 카메라를 이용하는 방법은 가시광선 기반으로 촬영된 영상에서 영상 분석을 통하여 동공 영역을 검출할 수 있다. 따라서 단계 S10에서 수집되는 영상은 가시광선 기반으로 촬영된 영상으로서, 영상 분석을 통해 동공 영역을 검출할 수 있는 영상이라면 구체적인 카메라나 촬영 위치에 관계없이 본 발명의 영상의 역할을 할 수 있다.
단계 S20에서는, 수집된 영상에서 얼굴영역 및 랜드마크를 검출할 수 있다. 보다 구체적으로, 단계 S20에서는, Dlib를 이용해 단계 S10에서 수집된 영상에서 얼굴 영역 및 랜드마크를 검출할 수 있다.
단계 S100에서는, 검출된 랜드마크를 이용해 눈 영상을 추출하고, 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다. 보다 구체적으로, 단계 S100에서는, 단계 S20에서 검출된 랜드마크 중에서, 눈 영역과 관련된 12개의 좌표를 이용해 눈 영상을 추출하여 사용할 수 있다.
도 4는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S100은, 눈 영상 및 눈 영역의 크기를 추출하는 단계(S110), 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계(S120), 고속 방사 대칭 변환을 적용하여 방사 대칭성 맵을 획득하는 단계(S130), 방사 대칭성 값을 조사하여 픽셀들을 추출하는 단계(S140) 및 좌우 눈에 대한 동공 후보 영역을 추정하는 단계(S150)를 포함하여 구현될 수 있다.
고속 방사 대칭 변환은 영상의 그래디언트(gradient)를 기반으로 높은 방사 대칭성을 가지는 위치를 추출해주는 연산자로, 단계적인 그래디언트 추출과정을 이용하여 간단하면서도 빠르게 관심 위치를 검출할 수 있다. 따라서 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S100에서는, 홍채와 공막의 밝기 차이가 뚜렷이 존재하며 방사 대칭성이 높은 홍채 영역의 밝기 정보를 고속 방사 대칭 변환과 함께 이용하여 동공의 위치를 검출하고자 하였다.
단계 S110에서는, 영상으로부터 눈 영상 및 눈 영역의 크기를 추출할 수 있다. 즉, 단계 S20에서 Dlib에 의해 검출된 랜드마크를 이용해서, 눈 영상 및 눈 영역의 크기를 추출할 수 있다.
단계 S120에서는, 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정할 수 있다. 즉, 단계 S110에서 추출한 눈 영역의 크기에 대한 정보를 이용하여, 예측되는 홍채 범위 R1~RN을 설정할 수 있다.
단계 S130에서는, 눈 영상 및 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득할 수 있다. 즉, 단계 S110에서 추출된 눈 영상과, 단계 S120에서 설정된 홍채 범위를 이용해, 고속 방사 대칭 변환을 적용하여 설정된 홍채 범위의 개수인 N개의 방사 대칭성 맵(map)을 획득할 수 있다.
단계 S140에서는, 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출할 수 있다. 방사 대칭성 맵은 원본 영상에 대해서 픽셀별로 방사 대칭성 값을 가지고 있으므로, 단계 S140에서는 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여 상위 5개의 값을 가지는 픽셀들을 추출할 수 있다. 따라서 단계 S140에서는, 좌우 눈에 대해 각각 5개의 픽셀들이 추출될 수 있다. 여기서, 미리 정해진 개수를 5개로 설정하였으나, 실시예에 따라 미리 정해진 개수는 다양하게 설정될 수 있다.
단계 S150에서는, 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다. 즉, 단계 S150에서는, 단계 S140에서 추출된 픽셀들의 위치를 기반으로 양안에 대한 동공 후보 영역들을 검출하게 되며, 전술한 예에서는 좌안에 대해 5개의 동공 후보 영역, 우안에 대해 5개의 동공 후보 영역이 각각 검출될 수 있다.
이와 같이, 단계 S100에서 추출된 동공 후보 영역들 중에서 오검출 영역은 배제시키면서 최적의 동공 위치를 결정하기 위하여, 단계 S200에서는 두 눈 영상에서 추출된 후보 영역 간의 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 최적의 동공 쌍을 결정하기 위해서 두 동공 영역들에 대한 시공간적 특징을 추출할 수 있다. 이하에서는, 도 5 내지 도 7을 참조하여 단계 S200에서 시공간적 특징을 추출하는 과정을 상세히 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S200은, 시간적 유사도를 추출하는 단계(S210) 및 공간적 유사도를 추출하는 단계(S220)를 포함하여 구현될 수 있다.
단계 S210에서는, 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시간적 유사도를 추출할 수 있다. 이때, 단계 S210에서는, 좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있다.
도 6은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S210의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S210은, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 후보 동공 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계(S211) 및 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계(S212)를 포함하여 구현될 수 있다.
단계 S211에서는, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출할 수 있다. 즉, 단계 S211에서는, 추정된 동공 후보 영역 간의 좌우 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 이전 프레임과 현재 프레임에서의 동공 중심에 대한 벡터를 추출하여, 시간적 특징을 추출할 수 있다.
단계 S212에서는, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다. 좌우 두 동공의 움직임은 항상 유사한 움직임을 가지므로, 두 벡터가 유사도가 높을수록 노이즈가 아닌 좌우 동공 쌍일 가능성이 높을 수 있다.
단계 S220에서는, 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 공간적 유사도를 추출할 수 있다. 이때, 단계 S220에서는, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있다.
도 7은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S220의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S220은, 이전 프레임의 동공 영역과 현재 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계(S221) 및 구성된 히스토그램의 유사도를 측정하는 단계(S222)를 포함하여 구현될 수 있다.
단계 S221에서는, 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성할 수 있다. 즉, 단계 S221에서는, 추정된 동공 후보 영역 간의 좌우 동공 영역 쌍들을 구성하고, 좌우 동공 후보 영역들에 대해 구성된 모든 쌍에 대해서 이전 프레임과 현재 프레임에서의 동공 중심에 대한 OCS-LBP 특징 히스토그램을 구성할 수 있다.
단계 S222에서는, 구성된 히스토그램의 유사도를 측정할 수 있다. 여기서, 히스토그램의 유사도가 높아, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역이 동공일 가능성이 높을 수 있다.
도 8은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법의 단계 S300은, 시간적 유사도 및 공간적 유사도를 가중치 결합하여 좌우 동공 영역 쌍에 대한 대표 유사도를 추출하는 단계(S310) 및 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 단계(S320)를 포함하여 구현될 수 있다.
단계 S310에서는, 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출할 수 있다. 여기서, 시간적 유사도 및 공간적 유사도를 위한 가중치는 상황에 따라 다양하게 설정될 수 있다.
단계 S320에서는, 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정할 수 있다. 실시예에 따라서, 단계 S320에서는, 대표 유사도 값이 가장 큰 좌우 동공 영역 쌍을 최적의 동공 위치로 결정할 수 있다.
도 9는 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 구성을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는, 후보 영역 추정 모듈(100), 유사도 추출 모듈(200) 및 동공 위치 검출 모듈(300)을 포함하여 구성될 수 있으며, 영상 수집 모듈(10), 얼굴 검출 모듈(20) 및 눈 영상 추출 모듈을 더 포함하여 구성될 수 있다.
보다 구체적으로, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치는, 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈(100), 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈(200), 및 추출된 시공간적 유사도에 기초하여 좌우 동공 영역 쌍 중에서, 최적의 양안 동공 위치를 결정하는 동공 위치 검출 모듈(300)을 포함하여 구성될 수 있다.
또한, 단일 카메라로부터 영상을 수집하는 영상 수집 모듈(10) 및 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈(20)을 더 포함하고, 후보 영역 추정 모듈(100)에서는, 얼굴 검출 모듈(20)에서 검출된 랜드마크를 이용해 눈 영상을 추출하고, 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 세부적인 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 후보 영역 추정 모듈(100)은, 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부(110), 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부(120), 눈 영상 및 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부(130), 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부(140), 및 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부(150)를 포함하여 구성될 수 있다.
또한, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 유사도 추출 모듈(200)은, 시간적 유사도를 추출하는 시간적 유사도 추출부(210) 및 공간적 유사도를 추출하는 공간적 유사도 추출부(220)를 포함하여 구성될 수 있다. 여기서, 시간적 유사도 추출부(210)는, 좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용할 수 있으며, 보다 구체적으로는, 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정할 수 있다. 공간적 유사도 추출부(220)는, 이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용할 수 있으며, 보다 구체적으로는, 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 구성된 히스토그램의 유사도를 측정할 수 있다.
한편, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 장치의 동공 위치 검출 모듈(300)은, 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부(310) 및 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최적의 동공 위치로 결정하는 동공 위치 결정부(320)를 포함하여 구성될 수 있다.
도 11은 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치의 동공 위치 검출 결과를 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치는, 간단한 알고리즘으로 구성되어 있지만, 동공의 다양한 위치, 가려짐, 다양한 조명 환경 및 안경을 쓴 대상에 대해서도 효과적으로 동공의 위치를 검출할 수 있음을 확인할 수 있다. 또한, 라즈베리 파이나 라떼판다와 같은 저사양 보드에서 추가적인 조명 없이도 실시간으로 동작하는 것을 확인할 수 있었다.
이와 같이, 본 발명에서 제안하고 있는 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치에 따르면, 빠른 동공 검출을 위해 입력된 눈 영상에서 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하고, 동공 후보 영역 중에는 영상에서의 반사광이나 속눈썹 등의 노이즈에 의해 잘못된 영역을 포함하므로 이러한 영역을 효과적으로 배제시키고 최적의 동공 위치를 추정하기 위해서, 좌우 동공에 대한 시공간적 유사도를 추출하고, 이를 이용하여 최적의 양안 동공 위치를 결정함으로써, 고속처리를 위해 딥러닝 등의 알고리즘을 배제하고 최적화된 영상처리 알고리즘만을 이용하여 다양한 동공의 위치, 조명 밝기 변화, 부분적인 가려짐 및 안경을 착용한 대상에 대해서도 정확하게 동공의 위치를 검출할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 영상 수집 모듈
20: 얼굴 검출 모듈
100: 후보 영역 추정 모듈
110: 눈 영역 추출부
120: 홍채 범위 설정부
130: 고속 방사 대칭 변환부
140: 후보 픽셀 추출부
150: 후보 영역 추정부
200: 유사도 추출 모듈
210: 시간적 유사도 추출부
220: 공간적 유사도 추출부
300: 동공 위치 검출 모듈
310: 대표 유사도 추출부
320: 동공 위치 결정부
S10: 영상을 수집하는 단계
S20: 얼굴영역 및 랜드마크를 검출하는 단계
S100: 영상에 고속 반경 대칭 변환(FRST)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계
S110: 눈 영상 및 눈 영역의 크기를 추출하는 단계
S120: 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계
S130: 고속 방사 대칭 변환을 적용하여 방사 대칭성 맵을 획득하는 단계
S140: 방사 대칭성 값을 조사하여 픽셀들을 추출하는 단계
S150: 좌우 눈에 대한 동공 후보 영역을 추정하는 단계
S200: 좌우 동공 영역 쌍에 대하여 시공간적 유사도를 추출하는 단계
S210: 시간적 유사도를 추출하는 단계
S211: 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 후보 동공 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계
S212: 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계
S220: 공간적 유사도를 추출하는 단계
S221: 이전 프레임의 동공 영역과 현재 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계
S222: 구성된 히스토그램의 유사도를 측정하는 단계
S300: 최적의 양안 동공 위치를 결정하는 단계
S310: 시간적 유사도 및 공간적 유사도를 가중치 결합하여 좌우 동공 영역 쌍에 대한 대표 유사도를 추출하는 단계
S320: 대표 유사도 값을 기반으로 최적의 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 단계

Claims (20)

  1. 동공 위치 검출 방법으로서,
    (1) 영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 단계;
    (2) 상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 단계; 및
    (3) 상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최종적인 양안 동공 위치를 결정하는 단계를 포함하며,
    상기 단계 (1)은,
    (1-1) 상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 단계;
    (1-2) 상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 단계;
    (1-3) 상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 단계;
    (1-4) 상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 단계; 및
    (1-5) 상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 단계를 포함하고,
    상기 단계 (2)는,
    (2-1) 시간적 유사도를 추출하는 단계; 및
    (2-2) 공간적 유사도를 추출하는 단계를 포함하며,
    상기 단계 (2-1)은,
    좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용하고,
    상기 단계 (2-1)은,
    (2-1-1) 이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하는 단계; 및
    (2-1-2) 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하는 단계를 포함하며,
    상기 단계 (2-2)는,
    이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용하고,
    상기 단계 (2-2)는,
    (2-2-1) 이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하는 단계; 및
    (2-2-2) 상기 구성된 히스토그램의 유사도를 측정하는 단계를 포함하며,
    상기 단계 (3)은,
    (3-1) 상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 단계; 및
    (3-2) 상기 대표 유사도 값을 기반으로 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 단계를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 방법.
  2. 제1항에 있어서, 상기 단계 (1) 이전에는,
    (0) 단일 카메라로부터 영상을 수집하는 단계를 더 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 방법.
  3. 제2항에 있어서, 상기 단계 (0)과 단계 (1) 사이에는,
    상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 단계를 더 포함하며,
    상기 단계 (1)에서는, 상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 동공 위치 검출 장치로서,
    영상에 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정 모듈(100);
    상기 추정된 동공 후보 영역으로 구성되는 좌우 동공 영역 쌍들에 대하여, 시공간적 유사도를 추출하는 유사도 추출 모듈(200); 및
    상기 추출된 시공간적 유사도에 기초하여 상기 좌우 동공 영역 쌍 중에서, 최종적인 양안 동공 위치를 결정하는 동공 위치 검출 모듈(300)을 포함하며,
    상기 후보 영역 추정 모듈(100)은,
    상기 영상으로부터 눈 영상 및 눈 영역의 크기를 추출하는 눈 영역 추출부(110);
    상기 눈 영역의 크기를 이용해 예측되는 홍채 범위를 설정하는 홍채 범위 설정부(120);
    상기 눈 영상 및 상기 설정된 홍채 범위를 기반으로, 고속 방사 대칭 변환을 적용하여 복수의 방사 대칭성 맵을 획득하는 고속 방사 대칭 변환부(130);
    상기 복수의 방사 대칭성 맵에서의 방사 대칭성 값을 조사하여, 미리 정해진 개수의 픽셀들을 추출하는 후보 픽셀 추출부(140); 및
    상기 추출된 픽셀들의 위치를 기반으로, 좌우 눈에 대한 동공 후보 영역을 추정하는 후보 영역 추정부(150)를 포함하고,
    상기 유사도 추출 모듈(200)은,
    시간적 유사도를 추출하는 시간적 유사도 추출부(210); 및
    공간적 유사도를 추출하는 공간적 유사도 추출부(220)를 포함하며,
    상기 시간적 유사도 추출부(210)는,
    좌우 두 동공의 움직임은 유사한 움직임을 가지는 특성을 이용하고,
    상기 시간적 유사도 추출부(210)는,
    이전 프레임에서 추출된 동공 중심 위치와 현재 프레임에서의 동공 후보 영역의 중심 위치에 대한 벡터를 좌우 동공에 대해 각각 추출하고, 좌우 동공에 대한 두 벡터의 크기와 방향을 비교하여 두 벡터의 유사도를 추정하며,
    상기 공간적 유사도 추출부(220)는,
    이전 프레임에서 검출된 동공 영역과 유사한 공간적 특징을 가지는 후보 영역을 선택하기 위해, 영상의 질감 정보를 표현하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징 기술자를 이용하고,
    상기 공간적 유사도 추출부(220)는,
    이전 프레임에서 검출된 동공 영역과 현재 프레임에서의 동공 후보 영역에 대한 OCS-LBP 특징 히스토그램을 구성하고, 상기 구성된 히스토그램의 유사도를 측정하며,
    상기 동공 위치 검출 모듈(300)은,
    상기 좌우 동공 영역 쌍들에 대해, 시간적 유사도 및 공간적 유사도를 가중치 결합하여, 상기 좌우 동공 영역 쌍들에 대한 대표 유사도를 추출하는 대표 유사도 추출부(310); 및
    상기 대표 유사도 값을 기반으로 후보 쌍을 선택하며, 선택된 후보 쌍의 중심 위치를 최종적인 동공 위치로 결정하는 동공 위치 결정부(320)를 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 장치.
  12. 제11항에 있어서,
    단일 카메라로부터 영상을 수집하는 영상 수집 모듈(10)을 더 포함하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 장치.
  13. 제12항에 있어서,
    상기 수집된 영상에서 얼굴영역 및 랜드마크를 검출하는 얼굴 검출 모듈(20)을 더 포함하며,
    상기 후보 영역 추정 모듈(100)에서는,
    상기 검출된 랜드마크를 이용해 눈 영상을 추출하고, 상기 추출된 눈 영상을 기반으로 고속 반경 대칭 변환(FRST, Fast radial symmetry transform)을 적용하여 좌우 눈에 대한 동공 후보 영역을 추정하는 것을 특징으로 하는, 저사양 환경 시스템을 위한 동공 위치 검출 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020190078701A 2019-07-01 2019-07-01 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치 KR102324472B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190078701A KR102324472B1 (ko) 2019-07-01 2019-07-01 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치
PCT/KR2020/001827 WO2021002556A1 (ko) 2019-07-01 2020-02-10 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078701A KR102324472B1 (ko) 2019-07-01 2019-07-01 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210002882A KR20210002882A (ko) 2021-01-11
KR102324472B1 true KR102324472B1 (ko) 2021-11-10

Family

ID=74100736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078701A KR102324472B1 (ko) 2019-07-01 2019-07-01 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102324472B1 (ko)
WO (1) WO2021002556A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4376685B2 (ja) * 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
WO2013052812A1 (en) * 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074844A1 (ja) * 2005-12-28 2007-07-05 Kao Corporation 顔パーツの位置の検出方法及び検出システム
KR101211872B1 (ko) * 2011-04-05 2012-12-13 성균관대학교산학협력단 실시간 눈 검출 장치 및 그 방법
KR101641500B1 (ko) * 2014-09-25 2016-07-21 백석대학교산학협력단 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4376685B2 (ja) * 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
WO2013052812A1 (en) * 2011-10-05 2013-04-11 Siemens Healthcare Diagnostics Inc. Generalized fast radial symmetry transform for ellipse detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Jeong et al., 'Eye pupil detection system using an ensemble of regression forest and fast radial symmetry transform with a near infrared camera,' Infrared Physics & Technology 85(2017) 44-45

Also Published As

Publication number Publication date
KR20210002882A (ko) 2021-01-11
WO2021002556A1 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
CN108933925B (zh) 信息处理装置、信息处理方法以及存储介质
Moilanen et al. Spotting rapid facial movements from videos using appearance-based feature difference analysis
US6611613B1 (en) Apparatus and method for detecting speaking person's eyes and face
US20140270402A1 (en) Gait recognition methods and systems
WO2017179511A1 (en) Information processing apparatus and information processing method for detecting position of object
Boehnen et al. A fast multi-modal approach to facial feature detection
JP2009523265A (ja) 画像中の虹彩の特徴を抽出する方法
CN105956578A (zh) 一种基于身份证件信息的人脸验证方法
JP2009523266A (ja) 目に関して取得される画像中の虹彩を表す画素を特定する方法
JP2007188504A (ja) 画像中の画素強度をフィルタリングする方法
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN112464690A (zh) 活体识别方法、装置、电子设备及可读存储介质
Hajari et al. A review of issues and challenges in designing Iris recognition Systems for noisy imaging environment
Hsu Automatic pedestrian detection in partially occluded single image
Mahadeo et al. Automated selection of optimal frames in nir iris videos
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
CN108446639A (zh) 低功耗增强现实设备
KR102324472B1 (ko) 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치
US11138741B2 (en) System and method for eye tracking
KR20200049936A (ko) 생체 인식 장치 및 방법
CN115100704A (zh) 结合热红外与可见光抵御欺骗攻击的人脸识别装置及方法
KR101706674B1 (ko) 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치
Dehkordi et al. A review of iris recognition system
Pham-Ngoc et al. Multi-face detection system in video sequence

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant