KR20150081680A - 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치 - Google Patents

동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치 Download PDF

Info

Publication number
KR20150081680A
KR20150081680A KR1020140001406A KR20140001406A KR20150081680A KR 20150081680 A KR20150081680 A KR 20150081680A KR 1020140001406 A KR1020140001406 A KR 1020140001406A KR 20140001406 A KR20140001406 A KR 20140001406A KR 20150081680 A KR20150081680 A KR 20150081680A
Authority
KR
South Korea
Prior art keywords
image
pupil
filtering
blob
blobs
Prior art date
Application number
KR1020140001406A
Other languages
English (en)
Inventor
최인호
고성제
최강아
홍태화
손병준
김성태
김창한
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020140001406A priority Critical patent/KR20150081680A/ko
Publication of KR20150081680A publication Critical patent/KR20150081680A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치에 관한 것으로, 본 발명의 일 실시예는 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신부; 상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화부; 상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링부; 상기 후보 동공 블랍들 중 원형화도(circularity)가 가장 높은 이미지 블랍을 최종 동공 블랍으로 결정하는 원형 판단부; 를 포함 하는 동공 검출 장치를 개시한다.

Description

동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치{Method of detecting pupil, Computer readable storage medium of recording the method and an pupil detecting device}
본 발명은 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치에 관한 것으로, 보다 상세하게는 크기 필터링, 비율 필터링, 정규화 필터링을 통해 후보 동공 블랍을 획득한 후 후보 동공 블랍들 중 가장 원형화 정도가 큰 이미지 블랍을 동공 블랍으로 결정하는 동공 검출 방법을 제공한다.
시선 추적(eye tracking) 기술은 사람이 보고 있는 사물을 추적하는 기술로써, 사용자의 눈동자가 어느 곳을 향하고 있느냐를 밝혀내는 것이 핵심이다. 시선 추적 기술은 최근 휴먼 인터페이스(human interface) 기술들의 발전과 더불어 직관적이고 편리한 사용 박식 때문에 활용 영역이 점점 넓어지고 있다.
시선 추적 기술로 다양한 방법들이 사용되고 있다. 예를 들어, 근전도를 이용한 시선 추적 기술은 안구를 움직이는 안근의 근전도를 측정하여 안구의 움직임을 측정하는 방법을 사용한다. 그러나, 이와 같은 방법은 눈꺼풀이나 얼굴 표정 근육 등의 신호에 영향을 받기 때문에 정확한 시선의 추적에 어려움이 존재하였다.
근래 들어 다양하게 사용되고 있는 시선 추적 기술은 영상 처리(image processing)을 통한 비디오 기반의 시선 추적 방법이다. 이와 같은 시선 추적 기술은 기본적으로 눈의 영상을 카메라를 통해 획득하여 영상 분석을 통해 안구가 향하는 방향을 분석하는 방법을 사용한다. 이때 정확한 시선 추적 기술을 위해 적외선 카메라(IR camera)와 조명 장치를 이용한 방식이 사용될 수 있다.
본 발명은 시선 추적 기술에서 핵심적인 요소인 동공의 중심을 찾기 위하여 이진화 영상을 획득한 후 필터링하여 가장 원형에 가까운 동공 이미지 블랍을 추출하는 것을 일 목적으로 한다.
본 발명의 일 실시예는 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신부; 상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화부; 상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링부; 상기 후보 동공 블랍들 중 원형화도(circularity)가 가장 높은 이미지 블랍을 최종 동공 블랍으로 결정하는 원형 판단부; 를 포함 하는 동공 검출 장치를 개시한다.
본 발명에 있어서, 상기 영상 이진화부는 n개의 임계치 영상들에 존재하는 이미지 블랍들에 번호를 매겨 라벨링할 수 있다.
본 발명에 있어서, 상기 크기 필터링은 상기 이미지 블랍들 중 픽셀의 개수가 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 장치.
본 발명에 있어서, 상기 비율 필터링은 상기 이미지 블랍들 중 가로 길이와 세로 길이 중 큰 값을 분자로 두었을 때의 비율 값이 기준치 이하인 이미지 블랍을 제거하는 필터링일 수 있다.
본 발명에 있어서, 상기 정규화 필터링은 상기 이미지 블랍들 중 이차 정규 중심 모멘트의 값이 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링일 수 있다.
본 발명에 있어서, 상기 최종 동공 블랍의 무게 중심 좌표를 동공 중심으로 설정하는 중심 검출부;를 추가적으로 포함할 수 있다.
본 발명에 있어서, 상기 원형 판단부는 상기 후보 동공 블랍들 중 경계가 원형에 가장 가까운 이미지 블랍을 최종 동공 블랍으로 결정할 수 있다.
본 발명에 있어서, 상기 원형 판단부는 상기 후보 동공 블랍들 중 크기 대 외곽 둘레의 길이가 가장 큰 이미지 블랍을 최종 동공 블랍으로 결정할 수 있다.
본 발명의 다른 실시예는 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신 단계; 상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화 단계; 상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링 단계; 상기 후보 동공 블랍들 중에 원형화도(circularity)가 가장 높은 후보 동공 블랍을 최종 동공 블랍으로 결정하는 원형 판단 단계; 를 포함하는 동공 검출 방법을 개시한다.
본 발명에 있어서, 상기 영상 이진화 단계는 n개의 임계치 영상들에 존재하는 이미지 블랍들에 번호를 매겨 라벨링할 수 있다.
본 발명에 있어서, 상기 크기 필터링은 상기 이미지 블랍들 중 픽셀의 개수가 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 방법.
본 발명에 있어서, 상기 비율 필터링은 상기 이미지 블랍들 중 가로 길이와 세로 길이 중 큰 값을 분자로 두었을 때의 비율 값이 기준치 이하인 이미지 블랍을 제거하는 필터링일 수 있다.
본 발명에 있어서, 상기 정규화 필터링은 상기 이미지 블랍들 중 이차 정규 중심 모멘트의 값이 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링일 수 있다.
본 발명에 있어서, 상기 최종 동공 블랍의 무게 중심 좌표를 동공 중심으로 설정하는 중심 검출 단계;를 추가적으로 포함할 수 있다.
본 발명에 있어서, 상기 원형 판단 단계는 상기 후보 동공 블랍들 중 경계가 원형에 가장 가까운 이미지 블랍을 최종 동공 블랍으로 결정할 수 있다.
본 발명에 있어서, 상기 원형 판단 단계는 상기 후보 동공 블랍들 중 크기 대 외곽 둘레의 길이가 가장 큰 이미지 블랍을 최종 동공 블랍으로 결정할 수 있다.
본 발명의 다른 실시예는 프로세서에 의해 독출되어 실행되었을 때, 동검 검출을 위한 안내 정보 제공 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 동공 검출 방법은, 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신 단계; 상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화 단계; 상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링 단계; 상기 후보 동공 블랍들 중에 원형화도(circularity)가 가장 높은 후보 동공 블랍을 최종 동공 블랍으로 결정하는 원형 판단 단계; 를 포함하는 컴퓨터 판독가능 저장매체를 개시한다.
본 발명의 실시예들에 관한 동공 검출 방법은 정확하게 동공의 중심을 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따라 동공 검출 장치에서 획득한 입력 영상을 예시한 것이다.
도 2는 본 발명의 일 실시예에 따른 동공 검출 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 생성된 복수개의 이진화 영상을 예시하고 있다.
도 4는 본 발명의 일 실시예에 따라 필터링된 이진화 영상들을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동공 검출 방법과 다른 동공 검출 방법의 실행 결과를 나타낸 테이블이다.
도 6은 본 발명의 일 실시예에 따른 동공 검출 방법의 실행 순서를 나타낸 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하의 실시예에서, 막, 영역, 구성 요소 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 막, 영역, 구성 요소 등이 개재되어 있는 경우도 포함한다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따라 동공 검출 장치에서 획득한 입력 영상을 예시한 것이다.
본 발명의 일 실시예에 따른 동공 검출 장치(100)는 대상자의 눈을 촬상한 입력 영상을 카메라로부터 획득하여 동공의 중심 위치를 검출하는 것을 특징으로 한다. 도 1은 동공 검출 장치에서 획득한 눈 영상을 예시한 것으로, 눈 영상은 눈썹(210), 안구 경계(220), 안구 내의 홍채(230) 및 안구 내의 동공(240)을 포함할 수 있다. 도 1에 나타난 입력 영상은 카메라가 촬상한 눈 영상의 일 예로써, 반드시 눈썹(210)과 같은 눈 주변의 영역이 표현될 필요는 없고 동공(240)이 포함된 영상이면 제한 없이 입력 영상으로 사용될 수 있다. 또한, 도 1과 같은 대상자의 눈을 촬상한 영상은 적외선 카메라(infrared camera, IR camera)로부터 획득한 적외선 영상일 수 있다.
도 1의 입력 영상을 참조하면, 안구 내부에는 4개의 반사점(250a, 250b, 250c, 250d)이 포함된 것을 알 수 있다. 이러한 반사점(250a, 250b, 250c, 250d)은 외부에서 조사된 빛에 의해 생성될 수 있다. 반사점(250a, 250b, 250c, 250d)을 생성하는 빛은 적어도 하나 이상의 조명 장치에서 조사된 것일 수 있다. 도 1에 따른 본 발명의 일 실시예에서는 직사각형 혹은 정사각형의 꼭지점에 각각 배치된 4개의 조명 장치에서 조사되는 빛이 안구에 반사되어 반사점(250a, 250b, 250c, 250d)을 형성할 수 있다.
본 발명의 일 실시예에 의하면, 동공(240)의 위치 및 반사점(250a, 250b, 250c, 250d)의 위치에 근거하여 시선을 추적할 수 있다. 보다 상세히, 반사점(250a, 250b, 250c, 250d)이 4개의 정사각형 모양의 조명에서 방출되는 빛에 의해 생성된 것이라고 가정할 때, 반사점(250a, 250b, 250c, 250d)이 생성하는 정사각형의 중심과 동공(240)의 중심의 위치를 서로 비교하여 시선의 방향을 추적할 수 있다. 예를 들어, 반사점(250a, 250b, 250c, 250d)이 생성하는 정사각형의 중심이 동공(240)의 중심보다 하단에 위치하는 경우, 대상자의 시선은 위쪽을 향하고 있다고 유추할 수 있다.
도 1에 예시된 입력 영상에서는 반사점(250a, 250b, 250c, 250d)이 동공(240) 내에 형성된 것으로 예시되었지만, 대상자가 시선을 이동함에 따라 반사점(250a, 250b, 250c, 250d)의 위치는 안구 경계(220) 내부의 안구 어디에나 위치할 수 있음은 물론이다. 또한, 도 1에 예시된 입력 영상에서는 4개의 조명 장치를 사용하여 반사점(250a, 250b, 250c, 250d)이 4개 형성되도록 하였지만, 본 발명의 다른 실시예에서는 4개 이하 혹은 이상의 반사점이 시선 추적에 사용될 수 있음은 물론이다.
상술한 바와 같이, 정확한 시선 추적을 위해서는 입력 영상에서 반사점(250a, 250b, 250c, 250d)의 위치와 동공(240)의 위치를 정확히 검출해내는 것이 중요하다. 동공(240)의 위치를 검출하기 위하여 기존에 다수의 연구가 선행된 바 있다.
Daugman("How iris recognition works", 2004) 은 홍채(혹은 동공)과 홍채 주변부가 이루는 확연한 밝기 차이를 이용하는 방법을 제시하였으며, 보다 상세하게는 원형의 홍채 경계 지역을 따라 그래디언트 크기(gradient magnitude)를 합산하였을 때 그 값이 최대가 되는 해당 원의 중심을 홍채의 중심으로 판정하는 방법을 제시하였다. Daugman 방법은 반사점과 동공의 확연한 밝기 차이를 주변부와의 밝기 차이로 오인하여 부정확한 검출 결과를 야기하는 문제점이 존재한다.
혹은, 기존의 다른 동공 검출 방법으로써 이진화된 영상에서 이미지 블랍(blob)을 이용하는 방법이 존재하였다. Kennell("Binary morphology and local statistics applied to iris segmentation for recognition", 2006)은 임계치 값을 증가시키면서 이진화 영상을 획득하다가 가로 세로 비율이 일정 조건을 만족하면 임계치 값의 증가를 멈추고 획득된 이미지 블랍으로 동공을 검출하는 방법을 개시하였다. 또한, Zuo("A new approach for iris segmentation", 2008)는 임계치 값을 증가시키면서 동공 영역의 이미지 블랍의 크기가 증가를 멈추는 순간에 임계치 값의 증가를 멈추고 획득된 이미지 블랍으로 타원 정합(ellipse fitting) 후 동공을 검출하는 방법을 개시하였다. Kennell과 Zuo의 방법은 임계치 값을 조절하는 과정에서 동공 판단 기준이 부족하여 획득된 이미지 블랍이 동공 영역을 원형으로 반영하지 못하는 문제점이 존재하였다.
본 발명의 일 실시예에 따르면, 기존의 동공 검출 방법들이 가진 문제점을 극복하여 입력 영상에서 동공(240) 영역을 정확히 판별할 수 있는 동공 검출 방법 및 장치를 제공할 수 있다. 이하에서는 본 발명의 일 실시예에 따른 동공 검출 방법 및 장치에 대해 상세히 알아보기로 한다.
도 2는 본 발명의 일 실시예에 따른 동공 검출 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 동공 검출 장치(100)는 영상 수신부(110), 영상 이진화부(120), 필터링부(130), 데이터베이스(140), 원형 판단부(150) 및 중심 검출부(160)를 포함한다.
먼저, 영상 수신부(110)는 적외선 카메라와 같은 촬상 장치가 획득한 입력 영상을 수신하는 역할을 한다. 영상 수신부(110)가 획득하는 입력 영상은 도 1에 나타난 바와 같이 동공(240) 외에도 눈썹(210) 등과 같은 눈 주변까지 포함하는 영상일 수 있다. 본 발명의 일 실시예에 있어서, 영상 수신부(110)가 획득하는 입력 영상은 적외선 카메라로 촬상된 영상일 수 있다.
영상 이진화부(120)는 영상 수신부(110)가 획득한 눈 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상을 획득하는 역할을 수행한다. 영상 이진화란, 영상에 포함된 화소의 값을 0과 1 두가지 종류로만 표현하는 것을 말하며, 흑과 백 두 가지 색상의 픽셀로만 영상을 출력할 수 있다. 영상 이진화에서 흑과 백 픽셀의 비율은 같은 영상이더라도 이진화 임계치를 달리 설정함에 따라 달라질 수 있다.
도 3은 본 발명의 일 실시예에 따라 생성된 복수개의 이진화 영상을 예시하고 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 이진화부(120)는 영상 수신부(110)로부터 입력 영상을 획득하여 T1 부터 Tn 까지의 임계치를 사용하여 n개의 이진화 영상(bi-1, bi-2,....bi-n)을 생성한다.도 3에 나타난 n개의 이진화 영상(bi-1, bi-2,....bi-n)은 모두 흑색 혹은 백색의 화소만으로 표현되며, 도면의 표현 상 음영 처리된 영역은 흑색의 화소로 표현된 부분을 예시할 수 있다.
제1 이진화 영상(bi-1)은 T1을 임계치 값으로 사용하여 입력 영상을 이진화 한 결과이고, 제2 이진화 영상(bi-2)은 T2를 임계치 값으로 사용하여 입력 영상을 이진화 한 값이다. 이때, T2 는 T1에 ΔT를 더한 값일 수 있다. 즉, 제i 이진화 영상(bi-i)을 생성할 때 사용하는 임계치 Ti는 제i+1 이진화 영상(bi-i+1)을 생성할 때 사용하는 임계치 Ti +1과 아래의 [수학식 1]과 같은 관계를 가질 수 있다.
[수학식 1]
Ti +1 = Ti + ΔT
본 발명의 일 실시예에서, 초기 임계치인 제1 임계치(T1)는 입력 영상의 최소 픽셀 값일 수 있다. 영상 이진화부(120)는 입력 영상을 획득하여 최소 픽셀 값을 결정한 후 최소 픽셀 값을 제1 임계치(T1)로 설정할 수 있다. 최종 임계치인 제n 임계치(Tn)는 T1+α 로 정해지며, α값은 실험적으로 40에서 60 사이의 값일 수 있다. ΔT 는 2에서 5 사이의 값을 사용할 수 있다. 예를 들어, 입력 영상의 최소 픽셀 값이 45일 때, 제1 임계치(T1)는 45이고, ΔT는 3이며, 제n 임계치(Tn)는 105일 수 있으며, 생성되는 이진화 영상의 개수 n은 21개일 수 있다.
도 3의 영상 이진화부(120)가 생성한 이진화 영상(bi-1, bi-2,..., bi-n)들은 하나 이상의 이미지 블랍(blob)들을 포함할 수 있다. 이미지 블랍(blob)이란, 인접한 픽셀들의 집합을 의미한다. 예를 들어, 제n-1 이진화 영상(bi-(n-1))에는 눈썹 부분에 의해 생성된 이미지 블랍, 눈 경계 부분에 의해 생성된 이미지 블랍, 동공에 의해 생성된 이미지 블랍 등이 존재할 수 있다.
본 발명의 일 실시예에 따른 영상 이진화부(120)는 생성된 이진화 영상의 각 블랍에 번호를 매겨 라벨링을 수행할 수 있다. 즉, 도 3에 예시된 바와 같이 영상 이진화부(120)는 제n-1 이진화 영상(bi-(n-1))에 존재하는 눈썹 부분에 의해 생성된 이미지 블랍에 blob(n-1)-1, 안구 경계 부분에 의해 생성된 이미지 블랍에 blob(n-1)-2, 동공에 의해 생성된 이미지 블랍에 blob(n-1)-3의 라벨 네임을 각각 라벨링 할 수 있다. 도 3의 실시예에서는 도면의 간결함을 위해 영상 이진화부(120)가 제n-1 이진화 영상(bi-(n-1))의 이미지 블랍들에만 라벨링을 실시하는 예가 도시되어 있으나, 이는 제1 내지 제n 이진화 영상 모두에 각각 적용될 수 있음은 물론이다.
필터링부(130)는 크기 필터링, 비율 필터링 및 정규화 필터링을 통해 동공으로 판달될 수 있는 이미지 블랍을 추출하는 역할을 수행한다. 필터링부(130)는 크기 및 비율 필터링부(131) 및 정규화 필터링부(132)를 포함할 수 있다.
먼저, 크기 및 비율 필터링부(131)는 영상 이진화부(120)가 획득한 이진화 영상들에 포함된 이미지 블랍에 대하여 크기 필터링 및 비율 필터링을 행한다. 크기 필터링은 동공이라 판단될 수 있는 크기를 가진 이미지 블랍을 필터링하는 것이고, 비율 필터링은 가로세로 비율이 특정값 범위 내인 이미지 블랍을 필터링하는 것을 의미한다.
먼저, 크기 및 비율 필터링부(131)는 영상 이진화부(120)에서 라벨링된 이미지 블랍들의 픽셀 개수를 산출하여 픽셀 개수가 기준치 범위 내인 이미지 블랍들만을 남긴다. 본 발명의 일 실시예에서는, 크기 및 비율 필터링부(131)는 픽셀 개수가 400 내지 6000 이내를 벗어나는 이미지 블랍들을 제거할 수 있다. 이는 동공 크기를 고려할 때 너무 크거나 너무 작은 이미지 블랍들은 동공에 해당하는 이미지 블랍이 아닐 확률이 크기 때문이다.
또한, 크기 및 비율 필터링부(131)는 라벨링된 각 이미지 블랍들의 가로 세로 비율을 산출하여 측정된 값이 기준치를 넘어가는 이미지 블랍을 제거한다. 예를 들어, 크기 및 비율 필터링부(131)는 이미지 블랍의 가로 길이와 세로 길이의 비율이 1.8 이상인 이미지 블랍들을 제거할 수 있다. 이때, 크기 및 비율 필터링부(131)는 가로 세로 비율을 구할 때 가로 길이와 세로 길이 중 큰 값을 분자로 사용할 수 있다. 동공의 모양은 원형이기 때문에 가로 세로 비율이 1.8 이상인 이미지 블랍들은 동공에 해당하는 이미지 블랍이 아니거나, 동공의 모습을 제대로 반영한 이미지 블랍이 아닐 경우가 크기 때문이다.
도 4는 본 발명의 일 실시예에 따라 필터링된 이진화 영상들을 예시한 도면이다.
도 4는 좌측의 이진화 영상들(bi-1, bi-2,..., bi-n)이 크기 및 비율 필터링부(131)에 의해 필터링된 결과를 도시하고 있다. 도 4를 참조하면, 각 이진화 영상들(bi-1, bi-2,..., bi-n)의 이미지 블랍들 중 크기가 특정 값 이상이거나 가로 세로 비율이 특정 값 이상인 이미지 블랍들이 제거된 것을 알 수 있다. 예를 들어, 제n 이진화 영상(bi-n)에서 크기가 특정 값 이상인 눈썹 부분의 이미지 블랍 blob(n)-1이 크기 및 비율 필터링부(131)에 의해 제거된 것을 알 수 있다.
다음으로, 정규화 필터링부(132)는 이미지 블랍들의 내부 픽셀 분포 정보를 이용하여 정규화 필터링을 수행한다. 정규화 필터링부(132)는 각 이미지 블랍들의 덩어리가 얼마나 모여있지를 수치화하여 동공의 모양에 가까운 이미지 블랍들만을 남기는 역할을 한다. 이를 위해, 정규화 필터링부(132)는 픽셀들의 2차 정규 중심 모멘트(2nd order normalized central moment)를 측정하는데 그 이유는 이 측정값이 동공의 이동에 따라 달라지는 위치, 모양, 크기 등에 상관없이 어느 정도 일정 값을 유지하는 특성을 가지기 때문이다. (p+q)차 정규 중심 모멘트는 아래의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure pat00001
여기서 μpq는 (p+q)차 중심 모멘트를 나타내며, 이진화 영상에서 아래의 [수학식 3]과 같이 표현될 수 있다.
[수학식 3]
Figure pat00002
p와 q는 0 이상의 정수이며, (
Figure pat00003
,
Figure pat00004
)는 각 이미지 블랍의 무게 중심 좌표를 나타낸다. 정규화 필터링부(132)는 각 이미지 블랍들에 대하여
Figure pat00005
와
Figure pat00006
값을 측정하고 그 값들이 모두 [0.05, 0.15] 사이에 존재하는 이미지 블랍들만을 남긴다.
다시 도 4를 참조하면, 정규화 필터링부(132)에 의해 필터링되어 남겨진 이미지 블랍들을 나타내고 있다. 예를 들어, 크기 및 비율 필터링부(131)에서 제거되지 못했던 제n 이진화 영상(bi-n)의 눈 경계 부분을 반영하는 이미지 블랍 blob(n)-2 은 정규화 필터링부(132)에 의해 필터링되어 제거된 것을 알 수 있다.
정규화 필터링부(132)는 남겨진 이미지 블랍들을 후보 동공 블랍으로 데이터베이스(140)에 저장할 수 있다. 데이터베이스에 저장된 후보 동공 블랍들 중에서 원형 판단부(150)에 의해 최종 동공 블랍이 결정된다.
원형 판단부(150)는 본 발명의 일 실시예에 따라 데이터베이스(140)에 저장된 후보 동공 블랍들 중 경계 부분의 특성이 가장 원형에 가까운 후보 동공 블랍을 최종 동공 블랍으로 결정할 수 있다. 도 4에 도시된 바와 같이, 후보 동공 블랍들은 모두 동공 영역이 추출된 이미지 블랍들이지만, 서로 경계 영역의 특성이 다른 것을 알 수 있다. 이와 같은 경계 영역의 특성 차이는 영상 이진화때 사용되는 임계치의 차이, 반사점의 위치와 크기의 차이 등에 기인할 수 있다.
원형 판단부(150)는 후보 동공 블랍들 중 경계 부분의 특성이 가장 매끄럽고 둥근 원형에 가까운 최종 동공 블랍을 결정하기 위하여, 후보 동공 블랍들의 원형도(circularity)를 산출한다. 원형도는 아래의 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
Circularity = 4πA/P2
[수학식 4]에서, A는 해당 후보 동공 블랍의 크기를 나타내고, P는 해당 후보 동공 블랍의 외곽 둘레의 길이를 나타낸다. 원형도는 해당 후보 동공 블랍이 원벽한 원일 때 A값으로 πr2를, P 값으로 2πr을 갖게 되므로 결과적으로 1 의 값을 얻을 수 있다. 둘레가 매끄럽지 않은 후보 이미지 블랍은 원의 형상을 가진 후보 이미지 블랍보다 P 값이 크기 때문에 분모의 값이 커지므로 1보다 작은 값을 가지게 된다. 따라서, 원형 판단부(150)는 후보 동공 블랍들 중 원형도 값이 가장 1에 가까운 후보 동공 블랍을 최종 동공 블랍으로 지정한다.
중심 검출부(160)는 최종 동공 블랍의 무게 중심 좌표를 동공 중심 좌표로 결정한다. 본 발명의 일 실시예에 따른 동공 검출 방법에 의해 획득한 동공 중심 좌표는 시선 추적 시스템의 입력으로 사용하여 대상자의 정확한 시선 추적에 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 동공 검출 방법과 다른 동공 검출 방법의 실행 결과를 나타낸 테이블이다.
도 5는 3명의 실험자에 대해 화면과의 거리를 65cm로 일정하게 유지하고 4개의 조명을 설치한 후 적외선 카메라로 촬상하여 시선 추적 알고리즘으로 호모그래피 정규화(homography normalization) 방법을 사용한 결과이다.
도 5의 테이블을 참조하면, 기존의 Daugman, Kennell, Zuo의 방법들은 모두 본 발명의 일 실시예에 따른 동공 검출 방법보다 평균 에러값(average error)과 편차(variance)가 높은 것을 알 수 있다. 따라서, 본 발명의 동공 검출 방법을 사용하는 경우 기존의 방법들보다 보다 정확하고 안정적인 결과를 얻는 것을 알 수 있다.
도 6은 본 발명의 일 실시예에 따른 동공 검출 방법의 실행 순서를 나타낸 순서도이다.
먼저, 영상 수신부(110)는 대상자의 눈을 촬상한 입력 영상을 획득한다(S1).
다음으로, 영상 이진화부(120)는 입력 영상을 n개의 임계치로 각각 이진화하여 n개의 이진화 영상을 생성한다(S2). 또한, 영상 이진화부(120)는 생성된 이진화 영상들에 존재하는 이미지 블랍들에 번호를 매겨 라벨링한다(S3).
다음으로, 필터링부(130)는 i 값으로 1을 할당하고(S4), 제i 이진화 영상의 라벨링된 이미지 블랍들에 대해 순차적으로 크기 필터링, 비율 필터링, 정규화 필터링 수행한다(S5). 필터링부(130)는 남아 있는 이미지 블랍을 후보 동공 블랍으로써 데이터베이스에 저장한다(S6).
필터링부(130)는 현재 i 값이 n인지를 판단하여, i 값이 n이 아닌 경우에는 i값이 1을 더하고 다시 S5 내지 S7 단계를 반복한다.
i 값이 n 인경우에는, 즉 모든 생성된 이진화 영상에 대해 필터링을 완료한 경우에는 원형 판단부(150)는 후보 동공 블랍들 중 원형도가 최대인 블랍을 최종 동공 블롭으로 결정한다(S8).
마지막으로, 중심 검출부(160)는 최종 동공 블랍의 무게 중심 좌표를 동공 중심으로 결정한다(S9).
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
100: 동검 검출 장치 110: 영상 수신부
120: 영상 이진화부 130: 필터링부
131: 크기 및 비율 필터링부 132: 정규화 필터링부
140: 데이터베이스 160: 원형 판단부
170: 중심 검출부

Claims (17)

  1. 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신부;
    상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화부;
    상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링부;
    상기 후보 동공 블랍들 중 원형화도(circularity)가 가장 높은 이미지 블랍을 최종 동공 블랍으로 결정하는 원형 판단부;
    를 포함하는 동공 검출 장치.
  2. 제1항에 있어서,
    상기 영상 이진화부는 n개의 임계치 영상들에 존재하는 이미지 블랍들에 번호를 매겨 라벨링하는 동공 검출 장치.
  3. 제1항에 있어서,
    상기 크기 필터링은 상기 이미지 블랍들 중 픽셀의 개수가 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 장치.
  4. 제1항에 있어서,
    상기 비율 필터링은 상기 이미지 블랍들 중 가로 길이와 세로 길이 중 큰 값을 분자로 두었을 때의 비율 값이 기준치 이하인 이미지 블랍을 제거하는 필터링인 동공 검출 장치.
  5. 제1항에 있어서,
    상기 정규화 필터링은 상기 이미지 블랍들 중 이차 정규 중심 모멘트의 값이 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 장치.
  6. 제1항에 있어서,
    상기 최종 동공 블랍의 무게 중심 좌표를 동공 중심으로 설정하는 중심 검출부;를 추가적으로 포함하는 동공 검출 장치.
  7. 제1항에 있어서,
    상기 원형 판단부는 상기 후보 동공 블랍들 중 경계가 원형에 가장 가까운 이미지 블랍을 최종 동공 블랍으로 결정하는 동공 검출 장치.
  8. 제1항에 있어서,
    상기 원형 판단부는 상기 후보 동공 블랍들 중 크기 대 외곽 둘레의 길이가 가장 큰 이미지 블랍을 최종 동공 블랍으로 결정하는 동공 검출 장치.
  9. 대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신 단계;
    상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화 단계;
    상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링 단계;
    상기 후보 동공 블랍들 중에 원형화도(circularity)가 가장 높은 후보 동공 블랍을 최종 동공 블랍으로 결정하는 원형 판단 단계;
    를 포함하는 동공 검출 방법.
  10. 제9항에 있어서,
    상기 영상 이진화 단계는 n개의 임계치 영상들에 존재하는 이미지 블랍들에 번호를 매겨 라벨링하는 동공 검출 방법.
  11. 제9항에 있어서,
    상기 크기 필터링은 상기 이미지 블랍들 중 픽셀의 개수가 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 방법.
  12. 제9항에 있어서,
    상기 비율 필터링은 상기 이미지 블랍들 중 가로 길이와 세로 길이 중 큰 값을 분자로 두었을 때의 비율 값이 기준치 이하인 이미지 블랍을 제거하는 필터링인 동공 검출 방법.
  13. 제9항에 있어서,
    상기 정규화 필터링은 상기 이미지 블랍들 중 이차 정규 중심 모멘트의 값이 기준치 범위를 벗어나는 이미지 블랍을 제거하는 필터링인 동공 검출 방법.
  14. 제9항에 있어서,
    상기 최종 동공 블랍의 무게 중심 좌표를 동공 중심으로 설정하는 중심 검출 단계;를 추가적으로 포함하는 동공 검출 방법.
  15. 제9항에 있어서,
    상기 원형 판단 단계는 상기 후보 동공 블랍들 중 경계가 원형에 가장 가까운 이미지 블랍을 최종 동공 블랍으로 결정하는 동공 검출 방법.
  16. 제9항에 있어서,
    상기 원형 판단 단계는 상기 후보 동공 블랍들 중 크기 대 외곽 둘레의 길이가 가장 큰 이미지 블랍을 최종 동공 블랍으로 결정하는 동공 검출 방법.
  17. 프로세서에 의해 독출되어 실행되었을 때, 동공 검출 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서,
    상기 동공 검출 방법은,
    대상자의 눈을 촬상한 입력 영상을 획득하는 영상 수신 단계;
    상기 입력 영상을 n개의 임계치로 이진화하여 n개의 이진화 영상들을 생성하는 영상 이진화 단계;
    상기 이진화 영상들의 이미지 블랍(blob) 별로 크기 필터링, 비율 필터링 혹은 정규화 필터링을 행하여 하나 이상의 후보 동공 블랍들을 획득하는 필터링 단계;
    상기 후보 동공 블랍들 중에 원형화도(circularity)가 가장 높은 후보 동공 블랍을 최종 동공 블랍으로 결정하는 원형 판단 단계;
    를 포함하는 컴퓨터 판독가능 저장매체.
KR1020140001406A 2014-01-06 2014-01-06 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치 KR20150081680A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140001406A KR20150081680A (ko) 2014-01-06 2014-01-06 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001406A KR20150081680A (ko) 2014-01-06 2014-01-06 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치

Publications (1)

Publication Number Publication Date
KR20150081680A true KR20150081680A (ko) 2015-07-15

Family

ID=53793454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001406A KR20150081680A (ko) 2014-01-06 2014-01-06 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치

Country Status (1)

Country Link
KR (1) KR20150081680A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법
KR102480152B1 (ko) * 2021-06-28 2022-12-22 주식회사 아이리시스 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036449A (ko) 2020-09-15 2022-03-23 전남대학교산학협력단 영상 기반의 동공 검출 방법
KR102480152B1 (ko) * 2021-06-28 2022-12-22 주식회사 아이리시스 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체
WO2023277211A1 (ko) * 2021-06-28 2023-01-05 주식회사 아이리시스 홍채 인식의 경량화 방법 및 홍채 인식 프로그램을 저장한 컴퓨터로 판독가능한 기록 매체

Similar Documents

Publication Publication Date Title
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
JP4755202B2 (ja) 顔特徴の検出方法
US9405364B2 (en) Method of determining reflections of light
US8644562B2 (en) Multimodal ocular biometric system and methods
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
US20170270355A1 (en) Method and Apparatus for Pattern Tracking
US20170112372A1 (en) Automatically detecting eye type in retinal fundus images
KR100809431B1 (ko) 가림 현상에 강인한 눈 검출 방법 및 장치
US20170091550A1 (en) Multispectral eye analysis for identity authentication
US20160019420A1 (en) Multispectral eye analysis for identity authentication
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
CN109325462B (zh) 基于虹膜的人脸识别活体检测方法及装置
US20070116364A1 (en) Apparatus and method for feature recognition
WO2018142388A1 (en) A method for pupil detection for cognitive monitoring, analysis, and biofeedback-based treatment and training
KR101610525B1 (ko) 조도를 고려한 동공 검출 장치 및 그 방법
US20160034759A1 (en) Apparatus and method for recognizing iris
KR101222678B1 (ko) 약 영상 검색 방법 및 장치
KR101582467B1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
EP3207861A2 (en) Detection system and detection method
KR101712673B1 (ko) 동공 중심 검출 장치 및 방법
KR20150081680A (ko) 동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치
Vrânceanu et al. NLP EAC recognition by component separation in the eye region
KR20050059751A (ko) 가시광선을 이용한 모조홍채 판별방법
Wiśniewska et al. Robust eye gaze estimation
Soelistio et al. Circle-based eye center localization (CECL)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application