KR101387775B1 - 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법 - Google Patents

강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법 Download PDF

Info

Publication number
KR101387775B1
KR101387775B1 KR1020130015859A KR20130015859A KR101387775B1 KR 101387775 B1 KR101387775 B1 KR 101387775B1 KR 1020130015859 A KR1020130015859 A KR 1020130015859A KR 20130015859 A KR20130015859 A KR 20130015859A KR 101387775 B1 KR101387775 B1 KR 101387775B1
Authority
KR
South Korea
Prior art keywords
eye
pupil
reinforcement learning
image
tracking
Prior art date
Application number
KR1020130015859A
Other languages
English (en)
Inventor
이필규
심연
김사랑
신학철
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130015859A priority Critical patent/KR101387775B1/ko
Application granted granted Critical
Publication of KR101387775B1 publication Critical patent/KR101387775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 눈동자 추적 알고리즘이 사람이나 실험 환경의 변화에 따라 인식률이 저하되는 현상을 보완하기 위해 강화학습으로 영상처리 환경에 적응하는 눈동자 추적 시스템 및 그 추적 방법에 관한 것으로, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템은 눈동자 추적 대상의 얼굴 영상이 입력 시, 눈 영역을 추출한 후, 강화학습으로 이진화 문턱값을 취득하는 전처리부, 상기 전처리부에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 영상이진화부 및 이진화된 상기 눈 영상으로 눈동자 위치를 추적하는 눈동자추적부를 포함하는 것을 기술적 특징으로 한다.

Description

강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법{Eye tracking system and the method using reinforcement learning}
본 발명은 강화학습을 이용한 눈동자 추적 기술에 관한 것으로, 더 상세하게는 눈동자 추적 알고리즘이 사람이나 영상처리 환경의 변화에 따라 인식률이 저하되는 현상을 보완하기 위해 강화학습으로 영상처리 환경에 적응하는 눈동자 추적 시스템 및 그 추적 방법에 관한 것이다.
일반적으로, 강화학습은 컴퓨터공학의 여러 가지 분야에 활용되는데 로봇 제어, 스케줄링, 게임, 그리고 전자상거래 등 새롭거나 변화하는 환경에 빠른 시간에 적응시키기 위한 학습방법으로 많이 응용된다. 이렇게 다양하게 활용되는 강화학습을 파라미터의 변화에 적응이 필요한 영상처리의 여러 분야에서도 활용되고 있다.
종래 눈동자 추적에 대한 기술은 고도의 정확도를 요구하기 때문에 환경이나 장비의 많은 제약이 필요한데 많은 방향으로 연구가 진행되고 있으며 다음과 같은 방법들이 있다. 먼저 특수하게 제작된 센서를 눈 주변에 장착해 아주 민감한 눈의 움직임을 측정하는 방법과, 조명환경의 제약을 해결하기 위해 적외선과 같은 특수한 조명을 사용할 수 있는 카메라나 특수 광학 장비를 사용하는 방법, 그리고 대한민국 등록특허 공보 제10-0664832호(2006. 12. 27)에 기재된 바와 같이, 헬멧이나 안경과 같이 눈 주위에 고정시켜 정확한 눈동자위치를 측정할 수 있는 장비를 쓰고 시선을 추적하는 방법이 있다.
하지만 종래 눈동자 추적 기술에 사용되는 고가의 장치들을 일반적으로 보급된 컴퓨터나 디바이스에 활용하는데 많은 제약사항이 있기 때문에 비용이 저렴한 웹 카메라를 이용한 연구 역시 많이 진행되고 있다. 여기에도 역시 조명에 대한 제약과 이벤트를 발생시키기 위해 모니터와 눈동자와 카메라에 대한 정보를 일치시키는 캘리브레이션의 과정이 필요하다.
대한민국 등록특허 공보 10-0664832B1, 2006. 12. 27, 7쪽 27줄 내지 29줄.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템의 목적은, 눈동자 추적을 위해 이진화된 영상을 생성 시, 강화학습에 의한 문턱값을 적용하여, 눈동자 추적의 인식률이 저하되는 것을 방지하고, 눈동자 추적 환경에 따라 적응적인 파라미터를 적용하는데 있다.
다른 목적은, 전처리부를 더 포함하여, 눈 위치 정보에 따라 얼굴 영상에서 눈 영역을 추출하는데 있다.
또 다른 목적은, 눈동자추적부를 더 포함하여, 이진화된 눈영상에서 눈동자 위치를 검출하는데 있다.
또 다른 목적은, 눈동자 원형의 중앙을 기준으로 특정 각도 범위에 관해 눈동자 위치를 검출하는 부분 허프 변환을 적용하여, 아래위 눈꺼풀에 의해 가려진 부분을 제외한 눈동자 위치를 검출하는데 있다.
또 다른 목적은, 상태값보상부를 더 포함하여, 눈동자 원형의 픽셀 밀도에 따른 인식률 기반으로 상태 보상값을 산출하는데 있다.
또 다른 목적은, 위치예측부를 더 포함하여, 눈동자 위치를 보정하고 눈동자가 위치할 지점을 예측하여, 전처리부에 제공하는데 있다.
본 발명에 따른 강화학습을 이용한 눈동자 추적 방법의 목적은, 강화학습에 의한 이진화 문턱값으로 눈동자 위치를 추적할 수 있는 방법을 제공하는데 있다.
본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템은 눈동자 추적 대상의 얼굴 영상이 입력 시, 눈 영역을 추출한 후, 강화학습으로 이진화 문턱값을 취득하는 전처리부, 상기 전처리부에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 영상이진화부 및 이진화된 상기 눈 영상으로 눈동자 위치를 추적하는 눈동자추적부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 전처리부는 눈 위치 정보에 따라 얼굴 영상에서 눈 영역을 추출하는 눈위치검출부, 상기 눈위치검출부에서 추출된 눈 영역에 관하여, 강화학습을 통한 이진화 문턱값을 설정하는 문턱값설정부 및 상기 눈 위치 정보가 존재하지 않거나 눈 위치 정보를 상실한 경우, 하르 분류로 눈 위치를 추출하는 하르분류부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 눈동자추적부는 이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 윤곽선검출부, 윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 원형검출부 및 상기 원형검출부에서 검출된 눈동자 원형의 특정 각도 픽셀에서 눈동자 위치를 검출하는 눈동자위치검출부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 눈동자추적부는 상기 원형검출부에서 검출한 눈동자 원형의 픽셀 밀도에 따른 인식률 기반으로 상태 보상값을 산출하는 상태값보상부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템은 눈동자추적부와 연결되어, 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부에 전달하는 위치예측부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 강화학습을 이용한 눈동자 추적 방법은 (a) 전처리부를 이용하여, 얼굴 영상의 눈 영역을 검출하고 강화학습으로 이진화 문턱값을 취득하는 단계, (b) 영상이진화부를 이용하여, 상기 (a) 단계에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 단계 및 (c) 눈동자추적부를 이용하여, 상기 (b) 단계에서 이진화된 눈 영상에서 눈동자 위치를 추적하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법에 있어서, (a) 단계는 (a-1) 눈위치검출부를 이용하여, 눈 위치 정보로 얼굴 영상에서 눈 영상을 검출하는 단계, (a-2) 상기 (a-1) 단계에서 눈 영상 검출에 성공하였는지 확인하는 단계를 수행하고, (a-3) 상기 (a-2) 단계에서 눈 영상 검출에 성공한 경우, 강화학습을 통해 이진화 문턱값을 취득하는 단계를 수행하고, (a-4) 상기 (a-2) 단계에서 눈 위치 정보가 존재하지 않거나 눈 영상 검출에 실패하는 경우, 하르분류부를 이용하여, 눈 영역을 재검출하는 단계를 수행하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법에 있어서, (c) 단계는 (c-1) 윤곽선검출부를 이용하여, 이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 단계, (c-2) 원형검출부를 이용하여, 윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 단계 및 (c-3) 상기 (c-2) 단계에서 검출된 눈동자 원형의 픽셀 밀도에 따라 인식 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법은 (c-3) 단계에서 눈동자 원형이 인식된 것으로 판단되면, (c-4) 눈동자위치검출부를 이용하여, 상기 눈동자 원형의 특정 각도 범위에서 눈동자 위치를 검출하는 단계를 더 포함하고, 상기 (c-3) 단계에서 눈동자 원형이 인식되지 않은 것으로 판단되면, (c-5) 상태값보상부를 이용하여, 현재 픽셀 밀도에 따른 보상값을 산출하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법은 (c-4) 단계 이후에, (d) 위치예측부를 이용하여, 상기 (c-4) 단계에서 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부에 전달하는 단계를 더 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템은 눈동자 추적을 위해 이진화된 영상을 생성 시, 강화학습에 의한 문턱값을 적용함으로써, 눈동자 추적의 인식률이 저하되는 것을 방지하고, 눈동자 추적 성능을 향상시킬 수 있는 효과가 있으며, 나아가 휴먼 컴퓨터 인터랙션 분야에 다양하게 활용할 수 있는 효과가 있다.
또한, 눈 위치 정보에 따라 얼굴 영상에서 눈 영역을 추출함으로써, 눈동자 추출에 따른 불필요한 연산을 방지할 수 있는 효과가 있다.
또한, 이진화된 눈영상에서 눈동자 위치를 검출함으로써, 눈동자 인식 성공 여부를 확인할 수 있는 효과가 있다.
또한, 눈동자 원형의 중앙을 기준으로 특정 각도 범위에 관해 눈동자 위치를 검출하는 부분 허프 변환을 적용하여, 아래위 눈꺼풀에 의해 가려진 상태에서 눈동자 위치를 정확하게 검출할 수 있는 효과가 있다.
또한, 눈동자 원형의 픽셀 밀도에 따른 인식률 기반으로 상태 보상값을 산출하여, 눈동자 추적 환경에 따른 적응적인 파라미터의 적용이 가능한 효과가 있다.
또한, 눈동자 위치를 보정하고 눈동자가 위치할 지점을 예측하여, 전처리부에 제공할 수 있는 효과가 있다.
본 발명에 따른 강화학습을 이용한 눈동자 추적 방법은, 파라미터를 강화학습을 사용하여 현재 상황에 맞도록 학습시켜 원형을 검출하기 좋은 상태의 영상을 획득할 수 있으며, 사용자의 변화에도 적응할 수 있으며, 환경 변화가 클수록 더 높은 성능향상의 효과를 기대할 수 있다.
도 1은 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 전처리부의 상세 구성을 나타내는 구성도.
도 3은 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 눈동자추적부의 상세 구성을 나타내는 구성도.
도 4는 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 눈영상의 이진화 영상에서 윤곽선을 검출한 실시예.
도 5는 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 눈동자 위치 검출 개념을 나타내는 개념도.
도 6은 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템에 있어서, 강화학습이 수행되거나 정지되는 구간을 나타내는 도면.
도 7은 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법의 전체 흐름을 나타내는 흐름도.
도 8은 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법에 있어서, S10 단계의 상세 흐름을 나타내는 흐름도.
도 9는 본 발명에 따른 강화학습을 이용한 눈동자 추적 방법에 있어서, S40 단계의 상세 흐름을 나타내는 흐름도.
이하, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
[도 1]은 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템의 전체 구성을 나타내는 구성도로 전처리부(10), 영상이진화부(20), 눈동자추적부(30) 및 위치예측부(40)를 포함한다.
상기 전처리부(10)는 눈동자 추적 대상의 얼굴 영상이 입력 시, 눈 영역을 추출한 후, 강화학습으로 이진화 문턱값을 취득하는 역할을 하며, 본 발명에 따른 상기 전처리부(10)는 [도 2]에 도시된 바와 같이, 눈위치검출부(11), 문턱값설정부(12) 및 하르분류부(13)를 포함한다.
상기 눈위치검출부(11)는 눈 위치 정보에 따라 얼굴 영상에서 눈 영역을 추출하는 역할을 하며, 상기 문턱값설정부(12)는 상기 눈위치검출부(11)에서 추출된 눈 영역에 관하여, 강화학습을 통한 이진화 문턱값을 취득하는 역할을 한다.
본 발명에 따른 눈동자 추적 작업을 이미지 전체에 적용 시, 큰 연산량이 요구되므로, 실시간 추적이 어려운 문제점이 있는데, 본 발명에 따른 상기 눈위치검출부(11)를 통해 눈추적을 위한 검색 공간을 줄여줌으로써, 실시간 눈동자 추적이 가능한 것이다.
또한, 본 발명에 있어서, 강화학습은 특정 시각에 에이전트가 선택 가능한 행동과 그 행동에 따른 상태가 주어지는데 과거에 학습한 지식을 기반으로 가장 좋은 결과를 기대할 수 있는 행동을 선택하는 방식을 취한다. 이러한 특성 때문에 특정한 목적에 맞게 사용되는 감독학습과는 달리 동적인 환경이나 학습 시스템과의 상호 작용이 필요한 시스템에서 활용이 가능하다.
또한, 본 발명에 따른 강화학습을 사용하는데 있어 환경에 대한 모델 역시 중요한 요소 중 하나인데 에이전트가 주어진 환경과 상호작용을 할 때 상태(state), 행동(action), 보상(reward)이라는 조건들을 이용한다. 여기에서 환경은 상태로 표현이 되며 에이전트는 적절한 정책에 따라 행동을 취하게 된다. 특정 시각 t에 행동을 취하면 행동에 대한 보상이 이루어지며 상태 가 로 변화되는 방식으로 진행된다. 강화학습의 환경 모델은 마코프 속성을 만족하는 마코프 결정 과정(Markov Decision Process)을 사용하는데, 마코프 속성은 주어진 환경에서 적합한 환경의 상태 신호인데 이 모든 신호를 사용자에게 알려줄 수 없기 때문에 현재의 상태를 중요시 판단하여 오직 시각 t의 상태와 행동에만 의존하는 독립적인 속성을 갖는다.
Figure 112013013361114-pat00001
상기 [수학식 1]은 시각 t에서 상태s와 행동a에 대해 t+1의 시간에 상태으로 전이될 확률을 나타낸 식이다.
상기 하르분석부(13)는 상기 눈위치검출부(11)에 눈 위치 정보가 존재하지 않거나 추적하던 눈 위치 정보를 상실한 경우, 하르 분류기로 눈 위치를 추출하는 역할을 한다.
이러한 본 발명에 따른 상기 전처리부(10)를 통해 눈 영역의 위치가 확인되면 강화학습을 통해 다음 상태값을 얻어오며 다음 상태값은 눈 영역에 적용할 이진화 파라미터에 적용된다.
본 발명에 따른 상기 상태값은 이 값은 강화학습을 통해 환경에 맞는 눈동자 검출에 좋은 값으로 변화하게 되며 수 프레임에서 수십 프레임 안에 최적의 값을 찾아가는 것이다.
상기 영상이진화부(20)는 상기 전처리부(10)에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 역할을 하며, 본 발명에 따른 상기 영상이진화부(20)를 통해 검출된 눈 영역 이미지를 흑백의 이미지로 바꾸어 줄 때, 조명환경, 사용자 그리고 이미지의 품질에 따라 이진화 파라미터를 다르게 적용해야 높은 성능의 눈 검출이 가능해 지는 것이다.
상기 눈동자추적부(30)는 상기 영상이진화부(20)에서 이진화된 상기 눈 영상으로 눈동자 위치를 추적하는 역할을 하며, 본 발명에 따른 상기 눈동자추적부(30)는 [도 3]에 도시된 바와 같이, 윤곽선검출부(31), 원형검출부(32), 눈동자위치검출부(33) 및 상태값보상부(34)를 포함한다.
상기 윤곽선검출부(31)는 [도 4]에 도시된 바와 같이, 이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 역할을 하며, 상기 윤곽선검출부(31)에서 검출된 윤곽선 정보는 눈동자 위치를 검출하는데 이용된다.
상기 원형검출부(32)는 윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 역할을 하며, 본 발명에 따른 상기 원형검출부(32)는 영상에 있는 점들의 특성들을 이용하여 특정한 모양의 물체를 찾아내는 특징 점 추출 알고리즘인 허프 변환(Hough transm)을 이용한다.
일반적으로 Hough transform은 Paul Hough에 의해 개발된 이후 Richard Duda와 Peter Hart에 의해 발명된 “Generalized Hough transform”이 오늘날까지 광범위하게 사용되고 있다.
Figure 112013013361114-pat00002
실제 이미지에서 원은 [수학식 2]와 같이 표현되는데 수식에서 (a, b)가 원의 중심일 때 r이 원의 반지름이 된다. 이 수식은 해당위치에 원을 그리는데 사용되며 원이 있는지 판단하기 위해서는 다음의 [수학식3] 및 [수학식 4]와 관련이 있다.
Figure 112013013361114-pat00003
Figure 112013013361114-pat00004
이때, 중심점 (a, b)에서부터 반지름 r에 해당하는 원을 찾기 위해 θ를 0~360도까지 변화시키며 해당 위치에 픽셀이 존재하는지 여부를 확인하여 원이 있는지 여부를 알 수 있는데, 본 발명에 있어서, 픽셀이 존재하는지 여부는 각도를 변화시키며 조사한 (x, y)의 위치에 픽셀이 얼마나 존재하는지 여부로 판단하는 voting procedure를 사용하며, 이때 사용되는 파라미터에 의해 원의 인식률이 결정된다.
상기 눈동자위치검출부(33)는 상기 원형검출부(32)에서 검출된 눈동자 원형의 특정 각도 픽셀에서 눈동자 위치를 검출하는 역할을 한다.
즉, 사람의 눈동자는 위 눈꺼풀과 아래 눈꺼풀에 의해 일부 영역이 가려져 있어, 오히려 눈 주위의 다른 부위에 의해 오인식 될 가능성이 높다.
따라서 본 발명에 따른 상기 눈동자위치검출부(33)는 특정한 각도범위에서 허프 변환하여 원의 위치를 찾는 것이 바람직하며, 이를 위해 본 발명에 따른 상기 눈동자위치검출부(33)는 [도 5]에 도시된 바와 같이, 원의 특정 각도만을 찾는 부분 허프 변환(Partial Hough transform)을 이용해 눈동자의 정확한 위치를 판단한다.
눈동자가 눈의 가운데 부분에 위치한 경우를 기준으로 다음과 [수학식 5] 및 [수학식 6]의 각도로써 눈동자 영역을 검출하도록 하였다.
Figure 112013013361114-pat00005
Figure 112013013361114-pat00006
또한 본 발명에 있어서, 상기 눈동자위치변환부(33)는 설정된 모든 각도 범위를 조사하지 않고 특정 각도씩 건너뛰며 조사하는 방법을 사용하는 것이 바람직하다.
즉, 예상되는 눈동자의 반지름이 10일 경우 5도씩 건너뛰며 조사하여도 모든 픽셀을 다 조사할 수 있게 되므로 눈동자의 반지름에 따라 조사하고자 하는 각도의 간격을 조절하여 검색 속도를 높일 수 있는 것이다.
상기 상태값보상부(34)는 상기 원형검출부(32)에서 검출한 눈동자 원형의 픽셀 밀도에 따른 인식률 기반으로 상태 보상값을 산출하는 역할을 한다.
즉, 본 발명에 있어서, 이진화를 통해 눈동자와 눈 주변의 픽셀이 얼마나 존재하는지를 조사하여, 눈 영상을 판단하는데 인식된 눈동자의 위치와 크기를 기준으로 특정 비율로 확대한 영역에서 나타나는 흰색픽셀이 전체 이미지 크기에서 비율인 픽셀의 밀도로 이를 평가할 수 있는 것이다.
본 발명에 있어서, 강화학습이 필요하다고 판단되면 해당 프레임에서 여러 번의 Q-learning을 수행하는데 update에 의해 현재 상태의 값이 결정되고 e-greedy 정책에 의해 다음 상태가 결정되며 보상 값은 눈 영역의 픽셀밀도를 기반으로 [수학식 7]과 같이 산출된다.
Figure 112013013361114-pat00007
본 발명의 실시예서는 C1의 값을 100으로, C_2의 값을 15로 선택하였다. 이때 C1의 값은 최대값을 선택하는 e-greedy의 특성상 성능에는 영향을 미치지 않지만 실험 시 값의 변화에 대한 이해도를 높이기 위해 100을 선택 하였으며, 보상 값은 100이하의 값이 부여되며 현재 프레임의 픽셀 밀도를 Dc가 눈 주변 영역의 특성이 잘 나타나는 특정 밀도인 Do에 가까울수록 100에 가까운 값을 가진다.
또한, C2값이 클수록 환경이 변화 했을 때 수렴은 빨리 하지만 최댓값의 정밀성이 떨어지게 된다. 반대로 값이 너무 낮을 때는 수렴하는 속도가 느려 변화의 적응에 빠른 대응이 늦어진다는 단점이 있다.
본 발명에 따른 Q-learning을 선택적으로 수행하기 위한 기준을 정하기 위해 시스템은 인식률을 산출하며, 이러한 인식률은 눈동자를 찾는 횟수에 비례하여 측정한다. 본 발명의 실시예에서 인식률의 계산은 최근 50프레임 동안의 눈동자를 인식한 횟수를 기록하여 측정하였으며, 이를 통해 노이즈가 발생한 특정 구간을 제외하고 계산된다.
여기에서 발생할 수 있는 노이즈는 사람의 눈이 깜빡임에 의해 눈동자를 인식할 수 없는 시기를 의미하는데, 짧은 시간 동안 연속하여 인식하지 못한 특정한 구간들이 존재한다면 이 구간은 눈의 깜빡임으로 인해 눈동자를 찾을 수 없다고 판단하여 인식률 계산 시 제외된다.
이렇게 제외되는 구간이 발생하기 때문에 실제로 계산될 프레임의 수보다 더 많은 프레임의 결과를 저장하여 두었다가 매번 다시 계산하여 인식률을 측정하는 것이 바람직하다.
본 발명에 있어서, 최적의 이진화 파라미터를 찾아 가는 과정에서 불필요한 상황에서 Q-learning을 계속해서 사용할 경우 오히려 성능이 저하될 수 있다. 때문에 이런 보상의 시기를 적절하게 조절하여 필요한 시점에만 최적화를 수행하게 되는데 여기에서 최적화를 판단하는 기준이 필요하며, 이 기준은 지난 몇 개의 프레임 동안 발생한 눈동자의 인식 여부를 이용해 인식률을 결정하며 인식률은 3개의 구간으로 분류하여 Q-learning을 수행할지 여부를 판단한다.
즉, 본 발명에 따른 인식률 분류 구간은 high, middle 그리고 low의 3개의 구간으로 구분하며, 이는 최근 50프레임 동안의 인식률이 얼마나 높은지의 여부를 판단하는 구간으로 인식률이 80%이상일 때는 high, 80%미만 70%이상일 때는 middle, 그리고 70%미만인 결과에 대해서는 low로 구간을 정하여 위에서 결정된 80%와 70%의 값을 Alpha와 beta로 정의하였다.
이 구간은 Q-learning을 시작하고 마치는 시점을 결정하는데 사용하며, high구간은 항상 Q-learning을 비활성화 하고 low구간은 항상 Q-learning이 활성화 된다.
또한 두 구간 사이에 하나의 구간을 더 두어 높은 인식률 구간과 낮은 인식률 구간 사이에서 이동이 발생하는 위치에 따라 활성화와 비활성화 여부를 다르게 판단한다. 이러한 활성화 여부는 위의 [도 6]에 도시된 바와 같이, 원과 화살표로 그려진 상태나 상태의 변화로 결정되며 파란색 원으로 표시된 상태에서는 Q-learning을 수행하지 않으며 붉은색으로 표시된 상태에서는 강화학습의 적용 조건으로 사용된다.
상기 위치예측부(40)는 상기 눈동자추적부(30)와 연결되어, 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부(10)에 전달하는 역할을 하며, 본 발명에 있어서 눈동자의 위치는 칼만 필터를 통해 위치를 보정하고, 눈동자가 위치할 지점을 예측하여 다음 프레임 에서 이정보를 다시 활용하게 된다. 이러한 일련의 절차를 거치며 눈동자의 위치가 결정되고 매 프레임 마다 눈동자 추적이 이루어지게 되는 것이다.
[도 7]은 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템을 이용한 눈동자 추적 방법의 전체 흐름을 나타내는 도면으로, 사용자의 얼굴을 촬영한 영상이 입력(S10)되면, 상기 전처리부(10)를 이용하여, 얼굴 영상의 눈 영역을 검출하고 강화학습으로 이진화 문턱값을 취득하는 단계(S20)를 수행한다.
[도 8]는 본 발명에 따른 상기 S20의 상세 흐름을 나타내는 도면으로, 상기 눈위치검출부(11)를 이용하여, 눈 위치 정보로 얼굴 영상에서 눈 영상을 검출하는 단계(S21)를 수행하고, 상기 S21 단계에서 눈 영상 검출에 성공하였는지 확인하는 단계(S23)를 수행한다.
상기 S23 단계에서 눈 영상 검출에 성공한 경우, 강화학습을 통해 이진화 문턱값을 취득하는 단계(S27)단계를 수행하며, 만일 상기 S23 단계에서 눈 위치 정보가 존재하지 않거나 눈 영상 검출에 실패하는 경우, 하르분류부를 이용하여, 눈 영역을 재검출하는 단계(S25)를 수행한다.
이러한 상기 S20 단계를 통해 이진화 및 눈동자 추적을 위한 최적의 검색 공간을 검출할 수 있으며 이에 따라 눈동자 추적에 따른 연산 속도를 향상시킬 수 있는 것이다.
다음으로 상기 영상이진화부(20)를 이용하여, 상기 S10 단계에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 단계(S30)를 수행하고, 상기 눈동자추적부(30)를 이용하여, 상기 S30 단계에서 이진화된 눈 영상에서 눈동자 위치를 추적하는 단계(S40)를 수행한다.
[도 9]는 본 발명에 따른 상기 S40 단계의 상세 흐름을 나타내는 도면으로, 상기 윤곽선검출부(31)를 이용하여, 이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 단계(S41)를 수행하고, 상기 원형검출부(43)를 이용하여, 윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 단계(S43)단계를 수행하고, 상기 S43 단계에서 검출된 눈동자 원형의 픽셀 밀도에 따라 인식 여부를 판단하는 단계(S45)를 수행한다.
상기 S45 단계에서 눈동자 원형이 인식된 것으로 판단되면, 상기 눈동자위치검출부(33)를 이용하여, 상기 눈동자 원형의 특정 각도 범위에서 눈동자 위치를 검출하는 단계(S47)를 수행하고, 상기 S45 단계에서 눈동자 원형이 인식되지 않은 것으로 판단되면, 상기 상태값보상부(34)를 이용하여, 현재 픽셀 밀도에 따른 보상값을 산출하는 단계(S49)를 수행한다.
이러한 상기 S40 단계를 통해 눈동자의 위치가 결정되고 매 프레임 마다 눈동자 추적이 이루어지게 되는 것이다.
다음으로, 상기 위치예측부(40)를 이용하여, 상기 S40 단계에서 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부에 전달하는 단계(S50)를 수행한다.
이러한 S50단계를 통해 눈동자가 위치할 지점을 예측하여 다음 프레임에서 이정보를 다시 활용할 수 있는 것이다.
이상에서 설명한 바와 같이, 본 발명에 따른 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법을 적용 시, 영상처리 환경의 변화에 따라 눈동자 추적의 인식률이 저하되는 것을 방지함에 따라 눈동자 추적 성능을 향상시킬 수 있음은 물론 나아가 휴먼 컴퓨터 인터랙션 분야에 다양하게 활용할 수 있는 효과를 누릴 수 있는 것이다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법으로 구현할 수 있다.
10 : 전처리부
11 : 눈위치검출부
12 : 문턱값설정부
13 : 하르분류부
20 : 영상이진화부
30 : 눈동자추적부
31 : 윤곽선검출부
32 : 원형검출부
33 : 눈동자위치검출부
34 : 상태값보상부
40 : 위치예측부
100 : 눈동자 추적 시스템

Claims (11)

  1. 눈동자 추적 대상의 얼굴 영상이 입력 시, 눈 영역을 추출한 후, 강화학습으로 이진화 문턱값을 취득하는 전처리부;
    상기 전처리부에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 영상이진화부 및
    이진화된 상기 눈 영상으로 눈동자 위치를 추적하는 눈동자추적부를 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  2. 제1항에 있어서,
    상기 전처리부는,
    눈 위치 정보에 따라 얼굴 영상에서 눈 영역을 추출하는 눈위치검출부;
    상기 눈위치검출부에서 추출된 눈 영역에 관하여, 강화학습을 통한 이진화 문턱값을 설정하는 문턱값설정부 및
    상기 눈 위치 정보가 존재하지 않거나 눈 위치 정보를 상실한 경우, 하르 분류로 눈 위치를 추출하는 하르분류부를 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  3. 제1항에 있어서,
    상기 눈동자추적부는
    이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 윤곽선검출부;
    윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 원형검출부 및
    상기 원형검출부에서 검출된 눈동자 원형의 특정 각도 픽셀에서 눈동자 위치를 검출하는 눈동자위치검출부를 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  4. 제3항에 있어서,
    상기 원형검출부는
    허프 변환(Hough transform)을 적용하여, 눈동자 원형을 검출하고,
    상기 눈동자위치검출부는
    상기 눈동자 원형의 중앙을 기준으로 특정 각도 범위에 관해 눈동자 위치를 검출하는 부분 허프 변환(Partial Hough transform)을 적용하되, 상기 특정 각도 범위에서 일정 간격을 두고 픽셀을 조사하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  5. 제3항에 있어서,
    상기 눈동자추적부는,
    상기 원형검출부에서 검출한 눈동자 원형의 픽셀 밀도에 따른 인식률 기반으로 상태 보상값을 산출하는 상태값보상부를 더 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  6. 제1항에 있어서,
    상기 눈동자추적부와 연결되어, 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부에 전달하는 위치예측부를 더 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 시스템.
  7. (a) 전처리부를 이용하여, 얼굴 영상의 눈 영역을 검출하고 강화학습으로 이진화 문턱값을 취득하는 단계;
    (b) 영상이진화부를 이용하여, 상기 (a) 단계에서 취득된 이진화 문턱값으로 눈 영상을 이진화하는 단계 및
    (c) 눈동자추적부를 이용하여, 상기 (b) 단계에서 이진화된 눈 영상에서 눈동자 위치를 추적하는 단계를 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 방법.
  8. 제7항에 있어서,
    상기 (a) 단계는,
    (a-1) 눈위치검출부를 이용하여, 눈 위치 정보로 얼굴 영상에서 눈 영상을 검출하는 단계;
    (a-2) 상기 (a-1) 단계에서 눈 영상 검출에 성공하였는지 확인하는 단계를 수행하고,
    (a-3) 상기 (a-2) 단계에서 눈 영상 검출에 성공한 경우, 강화학습을 통해 이진화 문턱값을 취득하는 단계를 수행하고,
    (a-4) 상기 (a-2) 단계에서 눈 위치 정보가 존재하지 않거나 눈 영상 검출에 실패하는 경우, 하르분류부를 이용하여, 눈 영역을 재검출하는 단계를 수행하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 방법.
  9. 제7항에 있어서,
    상기 (c) 단계는,
    (c-1) 윤곽선검출부를 이용하여, 이진화된 상기 눈 영상에서 눈 주변 윤곽을 검출하는 단계;
    (c-2) 원형검출부를 이용하여, 윤곽선이 검출된 상기 눈 영상에서 눈동자 원형을 검출하는 단계 및
    (c-3) 상기 (c-2) 단계에서 검출된 눈동자 원형의 픽셀 밀도에 따라 인식 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 방법.
  10. 제9항에 있어서,
    상기 (c-3) 단계에서 눈동자 원형이 인식된 것으로 판단되면,
    (c-4) 눈동자위치검출부를 이용하여, 상기 눈동자 원형의 특정 각도 범위에서 눈동자 위치를 검출하는 단계를 더 포함하고,
    상기 (c-3) 단계에서 눈동자 원형이 인식되지 않은 것으로 판단되면,
    (c-5) 상태값보상부를 이용하여, 현재 픽셀 밀도에 따른 보상값을 산출하는 단계를 더 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 방법.
  11. 제10항에 있어서,
    상기 (c-4) 단계 이후에,
    (d) 위치예측부를 이용하여, 상기 (c-4) 단계에서 추출된 눈동자 위치를 보정하고, 눈동자가 위치할 지점을 예측하여, 상기 전처리부에 전달하는 단계를 더 포함하는 것을 특징으로 하는 강화학습을 이용한 눈동자 추적 방법.
KR1020130015859A 2013-02-14 2013-02-14 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법 KR101387775B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130015859A KR101387775B1 (ko) 2013-02-14 2013-02-14 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130015859A KR101387775B1 (ko) 2013-02-14 2013-02-14 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법

Publications (1)

Publication Number Publication Date
KR101387775B1 true KR101387775B1 (ko) 2014-04-21

Family

ID=50658339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130015859A KR101387775B1 (ko) 2013-02-14 2013-02-14 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법

Country Status (1)

Country Link
KR (1) KR101387775B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809128A (zh) * 2016-03-08 2016-07-27 厦门美图之家科技有限公司 一种眼部图像的眼瞳定位方法、系统及拍摄终端
CN106504271A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于眼睛跟踪的方法和设备
KR20180014317A (ko) * 2016-07-29 2018-02-08 씨티아이코리아 주식회사 눈동자 추적 기반의 하르유사특징을 이용한 얼굴인증 방법
KR101832805B1 (ko) * 2016-06-13 2018-02-28 인하대학교 산학협력단 강건한 휴먼 컴퓨터 상호작용을 위한 capomdp를 이용한 눈 추적 장치
KR20220169770A (ko) * 2021-06-21 2022-12-28 주식회사 에이제이투 홍채 인식용 이미지 생성 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
KR20120089527A (ko) * 2010-12-16 2012-08-13 김인선 홍채 인식 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
KR20120089527A (ko) * 2010-12-16 2012-08-13 김인선 홍채 인식 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. Paletta et al., "Reinforcement learning of informative attention patterns for object recognition," Proc. The 4th Intern. Conf. Development and Learning, pp.188-193, July 2005. *
신학철, 심연, 김사랑, 성원준, 민하즈, 홍요훈, 이필규, "강화학습을 이용한 눈동자 추적 시스템의 성능향상", 한국인터넷방송통신학회 논문지, vol.13, no.2, pp.171-179, 2013년 4월. *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504271A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于眼睛跟踪的方法和设备
CN105809128A (zh) * 2016-03-08 2016-07-27 厦门美图之家科技有限公司 一种眼部图像的眼瞳定位方法、系统及拍摄终端
KR101832805B1 (ko) * 2016-06-13 2018-02-28 인하대학교 산학협력단 강건한 휴먼 컴퓨터 상호작용을 위한 capomdp를 이용한 눈 추적 장치
KR20180014317A (ko) * 2016-07-29 2018-02-08 씨티아이코리아 주식회사 눈동자 추적 기반의 하르유사특징을 이용한 얼굴인증 방법
KR102487223B1 (ko) * 2016-07-29 2023-01-12 백석대학교산학협력단 눈동자 추적 기반의 하르유사특징을 이용한 얼굴인증 방법
KR20220169770A (ko) * 2021-06-21 2022-12-28 주식회사 에이제이투 홍채 인식용 이미지 생성 장치 및 방법
KR102613387B1 (ko) * 2021-06-21 2023-12-13 주식회사 에이제이투 홍채 인식용 이미지 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
US11450146B2 (en) Gesture recognition method, apparatus, and device
US20200000331A1 (en) Automatically detecting eye type in retinal fundus images
KR101387775B1 (ko) 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
Chen et al. Efficient and robust pupil size and blink estimation from near-field video sequences for human–machine interaction
CN103679180A (zh) 一种基于单摄像头单光源的视线追踪方法
CN112732071B (zh) 一种免校准眼动追踪系统及应用
KR101511146B1 (ko) 스마트 3차원 제스처 인식 장치 및 방법
JP2016515242A (ja) 校正不要な注視点推定の方法と装置
JP6654789B2 (ja) 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
US11540749B2 (en) System and method for automated detection of neurological deficits
US20160259898A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
JP2014048962A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012059224A (ja) 移動物体追跡システムおよび移動物体追跡方法
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
WO2020184539A1 (ja) 物体追跡装置、物体追跡方法、及び、記録媒体
Saif et al. Robust drowsiness detection for vehicle driver using deep convolutional neural network
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
Lee et al. Robust iris recognition baseline for the grand challenge
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN114429670A (zh) 瞳孔检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 6