KR20180009773A - 틸트 시프트 홍채 이미징 - Google Patents

틸트 시프트 홍채 이미징 Download PDF

Info

Publication number
KR20180009773A
KR20180009773A KR1020177036623A KR20177036623A KR20180009773A KR 20180009773 A KR20180009773 A KR 20180009773A KR 1020177036623 A KR1020177036623 A KR 1020177036623A KR 20177036623 A KR20177036623 A KR 20177036623A KR 20180009773 A KR20180009773 A KR 20180009773A
Authority
KR
South Korea
Prior art keywords
iris
imaging
lens
imager
axis
Prior art date
Application number
KR1020177036623A
Other languages
English (en)
Other versions
KR102626799B1 (ko
Inventor
아드리안 캘러
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020247001391A priority Critical patent/KR20240009542A/ko
Publication of KR20180009773A publication Critical patent/KR20180009773A/ko
Application granted granted Critical
Publication of KR102626799B1 publication Critical patent/KR102626799B1/ko

Links

Images

Classifications

    • G06K9/00604
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G06K9/209
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Eye Examination Apparatus (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 출원은 개인의 홍채를 이미징하기 위한 시스템들 및 방법들에 관한 것이다. 홍채 이미지들은 안경과 같은 머리-장착 시스템에 부착된 오프-축 이미저로 촬영될 수 있다. 일부 경우들에서, 홍채 이미지들은 바이오메트릭 인식 및 식별에 사용될 수 있다.

Description

틸트 시프트 홍채 이미징
[0001] 본 출원은 2015년 5월 20일자로 출원된 미국 가출원 일련 번호 제62/164,257호를 우선권으로 주장하며, 그리하여 이는 그 전체가 인용에 의해 포함된다.
[0002] 본 출원은 바이오메트릭 인식 및 식별을 위한 이미징 시스템들 및 방법들에 관한 것이다. 이미징 시스템들 및 방법들은 일반적으로 아이덴티티(identity)의 일대일 검증에서의 홍채 인식 및 식별에 적용 가능하지만, 일대다(one-to-many) 식별 상황들에서도 사용될 수 있다. 특히, 홍채의 오프-축 이미징(off-axis imaging)은 이러한 시스템들 및 방법들을 사용하여 달성될 수 있다.
[0003] 바이오메트릭스(biometrics)는 개인의 고유한 신체적 특징들 또는 특성들이 검출되고 아이덴티티를 결정하거나 확인하는 수단으로서 레코딩되게 하는 프로세스이다. 지문들, 음성 패턴들, 얼굴 패턴들 및 망막 혈관 패턴들은 현재 사용중인 신체적 특징들을 구별하는 몇 가지 예들이다. 사람 홍채를 스캔하는 것도 또한 잘 알려진 바이오메트릭 방법이다.
[0004] 홍채 검증은 사람이 그 사람이 주장하고 있는 사람인지를 결정하기 위해 개인으로부터의, "템플릿"이라고 불리는 계산된 바이오메트릭 코드가 이전에 저장된 바이오메트릭 코드와 비교되는 일대일 프로세스이다. 한편, 홍채 식별은 알려진 개체군(population)으로부터 개인의 아이덴티티를 결정할 목적으로 개인으로부터의 계산된 바이오메트릭 템플릿이 다수의 상이한 바이오메트릭 템플릿들의 데이터베이스와 비교되는 일대다 프로세스이다. 눈의 홍채는 유전적으로 동일한 개인들(즉, 일란성 쌍둥이)을 포함해서, 각각의 사람에게 고유한 시각적 패턴을 갖는다. 그것은 또한 개인들 간의 차별을 위해 사용되기에 충분한 정보 콘텐츠를 갖는 데이터가 풍부한 물리적 구조(data-rich physical structure)를 갖는다. 고유한 식별자들로서 홍채 패턴들을 사용하는 하나의 이점은, 이들이 노화에 의해 단지 약하게만 영향을 받고, 이에 따라 개인의 평생에 걸쳐 사용될 수 있다는 것이다.
[0005] 바이오메트릭 정보의 수집을 위해 홍채를 정확하게 이미징하기 위한 몇 가지 기술들이 개발되었다. 이러한 기술들 중 다수는 개인에 의한 협력을 요구하고 그리고/또는 홍채의 이미지가 (홍채와 "온-축(on-axis)" 또는 "일렬(in-line)"로) 눈앞에 로케이팅되는 카메라로부터 촬영될 것을 요구한다. 예를 들어, 조정 가능한 스위블(swivel) 상의 카메라 및 모니터를 포함하는 IriScan 2100(IriScan, Marlton, N.J.) 홍채 스캐너를 사용할 때, 피사체는 카메라의 약 1 피트 정도 앞에 서 있고 피사체의 눈의 명확한 이미지가 모니터 스크린 상에서 보여질 수 있을 때까지 스위블을 조정해야 한다. 피사체는 그 후, 카메라가 이미지를 캡처할 때까지 모니터의 창 중앙에 눈을 유지하면서 카메라를 향해 천천히 이동해야 한다. 그 후, 홍채 이미지로부터 유도된 표준 바이오메트릭 템플릿인 홍채 코드는 통상적으로 특정 개인과 연관된 다른 데이터와 함께 데이터베이스에 저장되고, 그리하여 등록(enrollment) 프로세스를 완료한다. 나중에, 동일한 사람을 검증될 필요가 있을 때, 눈의 새로운 이미지가 등록에 대해 사용된 동일 방식으로 획득되고, 파일 상의 홍채 코드와 추후에 비교되는 홍채 코드를 계산하는 데 사용된다. 이 절차는 일부 애플리케이션들의 경우 만족스럽지만, 이미징을 위해 홍채를 충분히 포커싱하기 위한 홍채의 자가-정렬에 대한 필요성은 소정의 다른 액세스 제어 활동들에 대해 충분히 빠르지 못하게 한다. 또한, 안경이나 고글과 같은 머리-장착 시스템에서 구현되는 경우, 이 유형의 이미저(imager)는 실제 세계의 사용자의 시각을 차단할 것이다.
[0006] 홍채를 이미징하기 위한 다른 시스템이 Raguin 등의 U.S. 8,317,325에서 제공된다. 알려진 홍채 인식 시스템들에서 통상적인 것처럼, 단일 눈으로부터의 정보를 이용하는 대신에, Raguin 등의 시스템은 사람의 우측 및 좌측 홍채 둘 모두로부터의 정보를 사용하여 그 사람을 등록, 식별 또는 검증한다. 또한, 시스템은, 두 눈들의 이미지들을 사용하여 두 눈들 사이에서 연장되는 가상 라인 간의 머리 틸트각(head tilt angle)을 결정하고, 만약 있다면, 머리 틸트를 실질적으로 제거하기 위해 그러한 각도에 따라 좌측 및 우측 홍채 이미지들을 회전시키는 프로세서를 포함한다. 그러나 IriScan 2100과 마찬가지로, 사용자(또는 이미징 디바이스)는 홍채의 포커스를 조정하기 위해 이미징 디바이스의 축을 따라 병진운동해야 한다.
[0007] Bazakos 등의 U.S. 8,064,647에 설명되고 홍채의 자가-정렬을 필요로 하지 않는 또 다른 홍채 검출 시스템에서, 홍채의 다수의 영역들이 이미징되고 그리고 홍채를 아웃라이닝(outlining)할 수 있는 세그멘테이션(segmentation) 알고리즘들에 적용된다. 초기 지역 이미지들이 적절히 배향되지 않거나 충분히 포커싱되지 않는 경우, 추가 이미지들이 촬영되고, 이 이미지들을 프로세싱하여 숫자 코드를 획득한다. Bazakos 등에 의해 개시된 이미징 기술은, 홍채가 카메라로부터 원격에 있을 때 유용할 수 있지만, 사용자 식별을 필요로 하는 소정의 애플리케이션들에 대해 또한 충분히 빠르지 않을 수도 있다.
[0008] 다른 경우에서, Van Sant 등의 U.S. 6,320,610에 개시된 바와 같이, 거울이 ATM(automated teller machine) 시스템의 틸팅 프레임 상에 제공되어서, 거울이 홍채로부터 반사된 광을 받고 그 후 홍채 이미지를 생성하는 카메라에 반사된 광을 지향시키도록 조정될 수 있다. Van Sant 등의 시스템은 사용자에 의한 협력 또는 카메라와 일렬로의 홍채의 배치를 필요로 하지 않지만 ATM들과 같은 더 큰 전기기계 디바이스들에서만 유용할 수 있다.
[0009] 따라서, 현재의 홍채 인식 시스템들은 사용자에 의한 실제 협력을 필요로 하고 그리고/또는 사용자가 몇 초 동안 자신의 눈이 이미징 디바이스와 일렬로 되게 할 것을 필요로 하기 때문에, 이들은 일반적으로 그의 적용이 제한된다. 앞에서 언급된 바와 같이, 이는 일부 액세스 제어 애플리케이션들에 대해 충분하지만 다른 것들에 대해서는 충분히 빠르지 않을 수 있다. 또한, 홍채가 이미징 디바이스와 일렬로(온-축) 되는 요건은 일부 식별 시스템들, 예를 들어, 머리 장착 기술들과 함께 사용되는 식별 시스템에서는 실현 가능하지 않을 수 있다.
[0010] 따라서, 신속하고 정확하게 홍채를 이미징할 수 있는 이미징 시스템들을 갖는 것이 유용할 것이다. 홍채의 오프-축 이미징을 제공하는 시스템들이 또한 유익할 것이다. 액세스 제어를 위해 홍채 이미징 시스템들을 사용하는 방법들이 또한 유용할 것이다.
[0011] 홍채를 이미징하기 위한 시스템들이 본원에서 설명된다. 시스템은 일반적으로 광학 디바이스에 부착된 오프-축(즉, 눈 또는 홍채의 중심을 벗어남) 이미저를 포함한다. 오프-축 이미저는 통상적으로 렌즈 및 이미저/카메라 바디를 포함한다. 예시적인 광학 디바이스들은 단안경, 쌍안경, 망원경, 현미경, 다른 유형의 관찰 스코프들(viewing scopes) 또는 관찰을 위해 사용되는 임의의 다른 복합 광학 시스템(예를 들어, 디지털 SLR 카메라들)과 같이 하나 또는 그 초과의 접안 렌즈들을 포함하는 디바이스들은 물론, 안경 및 고글과 같은 머리-장착 디바이스들(이들로 제한되지 않음)을 포함한다. 일부 경우들에서, 오프-축 이미저는 광학 디바이스에 부착됨 없이 이미지들을 획득할 수 있다. 예를 들어, 오프-축 이미저는 디지털 카메라일 수 있다. 여기서, 디지털 카메라에 의해 촬영된 화상들은 화상을 촬영하는 사람의 아이덴티티에 관한 정보를 포함하도록 구성될 수 있다.
[0012] 오프-축 이미저는 안경의 하위 림에 장착될 수 있다. 명확하고 그리고/또는 정확한 이미지들을 획득하기 위해, 오프-축 이미징 디바이스의 렌즈에는 시프트 오프셋은 물론, 이미징되는 객체의 평면, 예를 들어, 홍채의 평면과 평행하게 되도록 포커스의 평면의 각도를 조정하는 어느 정도의 틸트(a degree of tilt)가 제공될 수 있다.
[0013] 종종 "비-협력 홍채 인식"이라는 제목 하에서 오프-축 홍채 인식에 관한 연구(work)가 이루어졌다. 그러나 이 경우에, 기존의 연구 본문은 홍채 이미지가 단지 순식간에 취득될 때의 인식 문제에 초점을 맞춘다. 이미저와 홍채 사이의 상대적인 지오메트리가 미리 상당한 정도로 알려져 있는 이러한 상황은 본원에 설명된 시스템들 및 방법들의 문맥과 상당히 상이하다.
[0014] 홍채를 이미징하기 위한 방법들이 또한 본원에서 설명된다. 방법들은 일반적으로 오프-축 이미저가 부착되어 있는 광학 디바이스를 제공하는 단계 및 오프-축 이미저를 사용하여 개인의 홍채를 이미징하는 단계를 포함한다. 홍채 이미지들은 개인으로부터 바이오메트릭 정보를 획득하는 데 사용될 수 있다. 시스템들에 포함된 프로세서는 바이오메트릭 정보를 홍채 코드들로 변환하도록 홍채 알고리즘들을 사용하여 바이오메트릭 정보를 프로세싱하는 데 사용될 수 있으며, 이 홍채 코드들은 그 후 개인의 아이덴티티를 검증하는 데 사용될 수 있다.
[0015] 도 1은 온-축 카메라에 있어서 홍채의 이미징을 예시한다.
[0016] 도 2는 오프-축 카메라를 사용한 홍채 이미징의 예시적인 예시이다.
[0017] 도 3은 틸트가 렌즈에 적용된 오프-축 카메라를 이용한 홍채 이미징의 예시적인 예시이다.
[0018] 도 4는 시프트 오프셋이 렌즈에 적용된 오프-축 카메라를 이용한 홍채 이미징의 예시적인 예시이다.
[0019] 홍채를 이미징하기 위한 시스템들 및 방법들이 본원에서 설명된다. 시스템들 및 방법들은 오프-축 이미저를 이용하여 홍채를 이미징하고, 그 후 높은 정도의 정확도로 사용자의 아이덴티티를 검증하는 수단으로서 바이오메트릭 정보를 추출할 수 있다. 일부 변형 예들에서, 오프-축 이미저의 렌즈는 홍채 이미징을 위해 카메라 렌즈를 적절히 포지셔닝하도록 틸팅되고 그리고/또는 시프트된다.
[0020] 이전에 언급된 바와 같이, 홍채 이미징은 바이오메트릭 식별의 강력한 수단으로 사용될 수 있다. 눈의 홍채 내의 근섬유들 패턴은 각각의 사람마다 안정되고 고유한 패턴을 형성한다. 바이오메트릭 정확도는 일반적으로 홍채 이미지가 얼마나 잘 분해(resolve)되고, 포커싱되고, 세그멘팅되고, 추출되는지에 의존한다. 홍채 이미지들을 취득할 때, "홍채상(on-iris)" 픽셀들의 수, 홍채 노출, 동적 범위 및 포커스는 홍채 조직 구조의 복잡함(intricacy)을 캡처하는 고품질 이미지를 생성하기 위해 모두 충분히 정밀해야 한다.
[0021] 다수의 기존의 시스템들에서, 도 1에서 도시된 바와 같이, 타겟의 눈 근처의 카메라(이미저)는, 식별 특징들이 추후에 추출될 수 있는 홍채의 이미지를 형성하는 데 사용된다. 여기서 카메라는 근접하고 홍채 평면 및 초점 평면(focal plane)은 서로 평행하지만, 필요한 조리개가 유효 피사계 심도를 매우 작게 하기 때문에, 매우 짧은 초점 거리(f)에 대한 필요성은 이미징을 매우 어렵게 한다. 또한, 카메라는 눈 바로 앞에 로케이팅되며, 이는 고글이나 안경과 같은 머리-장착 시스템에서 구현되는 경우 사용자의 시야를 차단할 것이다.
[0022] 머리-장착 시스템의 경우에서와 같이 그리고 도 2에 도시된 바와 같이, 카메라 또는 이미저가 오프-축으로(즉, 눈 또는 홍채의 중심을 벗어남) 로케이팅되는 경우, 홍채의 (평평한) 평면과 초점 평면이 평행하지 않은 문제가 발생될 수 있다. 작은 피사계 심도(depth of field) 이미저가 주어지면, 홍채의 크고 잠재적으로 용인할 수 없는 프랙션에 대한 흐릿함(blurring) 및 왜곡이 초래될 것이다.
[0023] 위에 언급된 문제에 대한 하나의 솔루션은 도 3에 예시된 바와 같이 초점의 평면의 각도를 홍채의 평면과 평행하게 되도록 조정하는 틸트-시프트 렌즈(tilt-shift lens)를 카메라에 제공하는 것이다. 도 3을 참조하면, 오프-축 카메라 또는 이미저(302)의 렌즈(300)는 홍채의 평면과 평행하게 되도록 이미저의 초점 평면을 변경하기 위해 틸팅된다(회전됨). 일반적으로, 틸트는 초점 평면의 배향을 제어하는 데 사용될 수 있다.
[0024] 추가 설명을 위해, 카메라 렌즈는 단일 평면 상에서만 선명한 포커스(sharp focus)를 제공할 수 있다. 따라서, 도 2의 시나리오에서의 틸트 없이, 홍채 이미지는 렌즈/이미저에 평행하게 이어지는 (그리고 렌즈 축에 수직인) 초점 평면 상에서 취해지며; 선명한 포커스의 객체들은 카메라로부터 모두 동일한 거리(렌즈와 이미저 둘 모두에 수직인 축에 평행하게 측정됨)에 있는 반면에, 카메라로부터 상이한 거리들에 있는 다른 것들은 흐릿하다. 도 3에 예시된 바와 같이, 렌즈(300) 및 이미저/카메라 바디(302)를 포함하는 오프-축 이미저로 이미징되는 눈(303)이 도시된다. 이미저 바디(302)는 디스플레이(304)의 하위 에지에 또는 그 근처에 부착된다. 디스플레이는 안경의 렌즈와 같은 투명한 디스플레이일 수 있다. 렌즈(300)는 (예를 들어, 틸트각(ψ),(305) 만큼) 틸팅되서 포커스의 평면은 홍채(301)의 평면과 평행하게 되도록 복원된다. 카메라로부터 상이한 거리들에 있지만, 이 평면에 놓인 객체들은 모두 이미저 바디(302) 상에서 선명히 포커싱될 수 있다. 따라서, 머리-장착 디바이스로부터 홍채의 정확한 이미지들을 획득하도록 시도할 때, 틸팅될 수 있거나 틸팅된 포지션에 장착될 수 있는 카메라 렌즈를 갖는 것이 유익할 수 있다.
[0025] 본원에서 설명된 오프-축 이미저들은 약 2.0 내지 약 8.5도 범위의 틸트(틸트각)(이미저 평면에 대한 렌즈 각도)를 갖도록 구성된 렌즈를 포함할 수 있다. 예를 들어, 통상적인 안경에서 발견되는 종류의 프레임 상에서, 렌즈 틸트(이미저 평면에 대한 렌즈 각도)의 양은 약 2.0도, 약 2.5도, 약 3.0도, 약 3.5도, 약 4.0도, 약 4.5도, 약 5.0도, 약 5.5도, 약 6.0도, 약 6.5도, 약 7.0도, 약 8.0도 또는 약 8.5도일 수 있다. 틸트의 정도는 렌즈 평면이 이미지 평면과 평행하지 않으면, 광학 시스템의 포커스의 평면의 배향을 설명하는 알려진 지오메트릭 규칙인 Scheimpflug 규칙을 적용할 때 사용되는 다른 값들에 따라 더 작거나 더 클 수 있다는 것이 이해된다. 일반적으로, 오프-축 이미저들은 고정된 정도의 틸트를 갖는 렌즈를 포함하고; 그러나 일부 경우들에서, 오프-축 이미저는 조정 가능한 틸트를 갖도록 구성된 렌즈를 가질 수 있다.
[0026] 틸트 이외에도, 오프-축 이미저는 시프트 오프셋을 제공하도록 구성된 렌즈를 포함할 수 있다. 도 4를 참조하면, 렌즈 시프트는, 변위(406; 405와 402 간의 측정)가 렌즈(400)의 평면(401)으로 한정되도록 그리고 렌즈의 평면이 이미저 바디(403)의 평면(404)과 평행하게 유지되도록 하는 렌즈(400)의 변위를 지칭한다. 이러한 변위는 또한 렌즈(400)의 초점 평면(408)이 렌즈 및 이미저 평면들(각각 401 및 404)과 평행하게 남겨둔다. 사실상, 시프트 오프셋은 이미저(카메라) 각도를 변경하지 않고 이미지 영역에서 홍채의 포지션의 조정을 허용하고; 사실상, 이미저는 눈(407)에 겨냥될 수 있고 그 후, 시프트 오프셋(406) 또는 움직임이 이미저 바디(403)의 재배향에 대한 대안으로서 적용된다. 렌즈를 시프팅시키는 것은 또한, 이미지의 에지를 따라 영역을 잘라내는 것과 유사하게, 홍채 이미지의 상이한 부분들이 이미지 평면 상에 캐스팅(cast)되도록 허용할 수 있다. 렌즈에 시프트 기능을 추가하는 것은 일반적으로, 도 4에 예시된 바와 같이 홍채의 전체 높이를 여전히 취하면서, 이미저의 초점 평면이 홍채의 평면과 평행하게 유지하는 것을 허용할 것이다. 이는 홍채의 수직 라인들이 결과적인 촬영된 이미지에서 완벽하게 수직이 되도록 허용하고, 보다 일반적으로, 결과적인 이미지로부터 하나의 중요한 형태의 왜곡을 제거하도록 허용할 것이다.
[0027] 본원에서 설명된 오프-축 이미저들은 약 1.0 내지 약 2.5 mm 범위의 (렌즈) 시프트를 갖도록 구성될 수 있다. 예를 들어, 통상적인 안경에서 발견되는 종류의 프레임 상에서, 시프트량은 약 1.0mm, 약 1.1mm, 약 1.2mm, 약 1.3mm, 약 1.4mm, 약 1.5mm, 약 1.6mm, 약 1.7mm, 약 1.8mm, 약 1.9mm, 약 2.0mm, 약 2.1mm, 약 2.2mm, 약 2.3mm, 약 2.4mm 또는 약 2.5mm일 수 있다. 틸트와 유사하게, 시프트의 양은 Scheimpflug 규칙을 적용할 때 사용되는 다른 값들에 따라 더 작거나 클 수 있다는 것이 이해된다. 또한, 오프-축 이미저들은 일반적으로 시프트 오프셋이 고정된 렌즈를 포함하고; 그러나, 일부 경우들에서, 오프-축 이미저는 조정 가능한 시프트량을 갖도록 구성된 렌즈를 가질 수 있다.
[0028] 일 변형 예에서, 머리-장착 시스템은 투명 디스플레이(안경의 렌즈 또는 렌즈들), 상위 림(상위 프레임), 하위 림(하위 프레임), 및 (안정 포지션에서 눈의) 광학 축의 약 20 mm 아래의 하위 림에 장착되거나 부착된 이미저를 포함하는 안경이다. 홍채까지의 깊이(투명 디스플레이에 수직으로 측정됨)는 15 내지 30mm의 범위에 있을 수 있다. 여기서, 오프-축 이미저의 초점의 평면이 홍채의 평면과 평행하게 되도록 복원하기 위해 (그리고 이미저가 1.62 mm 초점 길이 렌즈 및 1.7mm의 렌즈로부터 카메라 바디까지의 거리를 갖는 경우), 렌즈 틸트 량은 2.1 내지 8.2도이고(이미저 평면에 대한 렌즈 각도) 또는 시프트 오프셋은 1.1 내지 2.3mm일 수 있다(Scheimflug 수식을 사용하여 계산됨). 따라서, 안경이 고정된 지오메트리, 즉, 렌즈의 고정된 틸트각 및 카메라의 고정된 시프트 오프셋을 갖는 이미저를 포함하는 경우, 틸트각은 약 2.1도 내지 약 8.2도로 고정될 수 있거나, 시프트 오프셋은 약 1.1 내지 약 2.3mm로 고정될 수 있다. 틸트 및 시프트 둘 모두가 활용되는 조합된 구현도 또한 가능하다.
[0029] 사용자의 시야 외의 배치 이외에도, 홍채 이미징 시스템은 일반적으로, 실제 세계의 사용자의 시야의 간섭을 최소화하거나 전혀 없도록 크기가 정해지거나, 달리 구성된다. 이미징 시스템은 각각의 측 상에서 단지 수 밀리미터, 예를 들어, 각각의 측 상에서 약 5.0 내지 8.0mm, 그리고 수 밀리미터 깊이일 수 있다. 일부 변형 예들에서, 홍채를 이미징하기 위한 카메라 바디는 플렉서블 기판, 예를 들어, 플렉서블 인쇄 회로 보드 기판 상에 장착되거나 그에 의해 지지되는 복수의 칩-레벨 카메라들을 포함할 수 있다. 플렉서블 기판은 모루(anvil) 위에 놓여지고 포팅(potting) 화합물로 포팅하여 본질적 광각 렌즈(essentially wide angle lens)를 저렴하게 형성할 수 있다. 예를 들어, 작은 카메라들이 웨이퍼 레벨 기술을 사용하여 층 접근법으로 구축될 수 있다.
[0030] 홍채의 이미지가 촬영되면, 다양한 홍채 패턴과 관련하여 데이터가 추출되고 숫자 홍채 코드로 튜닝될 수 있다. 카메라들이 아래 및/또는 측으로부터 홍채를 볼 수 있다는 것을 고려하면, 머리-장착 디바이스를 위해 생성된 코드는 회전 불변이 되어야 할 필요가 없다.
[0031] 포커싱되고 집중된 이미지가 홍채 이미징 시스템에 의해 획득되면, 디지털화된 이미지는 예를 들어, Daugman의 미국 특허 제5,291,560호에 정의된 바와 같은 임의의 적합한 방식으로, 또는 예를 들어, Bazakos 등의 U.S. 8,064,647에 정의된 바와 같은 다양한 세그먼테이션 방법들에 의해 홍채 코드를 계산하도록 프로세서로 전달될 수 있다. 계산된 홍채 코드는 그 후 사용자에 대응하는 홍채 코드와 비교된다. 코드들이 매칭하는 경우, 사용자의 아이덴티티가 검증된다. 검증 또는 식별 프로세싱은 원격 위치에서 수행될 수 있으며, 이러한 경우들에, 홍채 코드는 머리-장착 디바이스에 그리고/또는 머리-장착 디바이스로부터 안전하게 송신될 수 있다는 것이 이해된다.
[0032] 사용자들의 홍채 이미지들을 분석할 때, 세그먼테이션 접근법은 에지 검출 및 원형 피팅(circular fitting)의 유용하고 비교적 간단한 프로세스일 수 있다. 일부 변형 예들에서, 홍채 바이오메트릭 접근법은, POSE™(즉, Honeywell International Inc. - polar segmentation) 기술을 사용하여, 분석을 폴라 도메인(polar domain)으로 거의 즉시 이동시키고 홍채의 하나 또는 그 초과의 비-폐색 영역들을 검출하기 위해 하나 또는 그 초과의 대칭적 특성들을 사용하여 홍채 경계들의 1-D 세그멘테이션을 실행하는 것을 포함할 수 있다. 이 방법을 사용하여, 비대칭 지역들은 속눈썹, 눈꺼풀 등에 의해 부분적으로 덮여지는 영역들에 대응할 수 있다.

Claims (18)

  1. 홍채를 이미징하는 시스템으로서,
    광학 디바이스 및 상기 광학 디바이스에 부착된 오프-축 이미저(off-axis imager)를 포함하고, 상기 오프-축 이미저는 렌즈 및 카메라 바디를 포함하는,
    홍채를 이미징하는 시스템.
  2. 제 1 항에 있어서,
    상기 광학 디바이스는 머리-장착 디바이스를 포함하는,
    홍채를 이미징하는 시스템.
  3. 제 2 항에 있어서,
    상기 머리-장착 디바이스는 안경(a pair of eyeglasses) 또는 고글을 포함하는,
    홍채를 이미징하는 시스템.
  4. 제 3 항에 있어서,
    상기 머리-장착 디바이스는 안경을 포함하고, 상기 안경은 상위 림(rim) 및 하위 림을 갖는 프레임 및 투명 디스플레이를 포함하는,
    홍채를 이미징하는 시스템.
  5. 제 1 항에 있어서,
    상기 광학 디바이스는 접안 렌즈(eyepiece)를 포함하는,
    홍채를 이미징하는 시스템.
  6. 제 5 항에 있어서,
    상기 접안 렌즈는 단안경 또는 쌍안경인,
    홍채를 이미징하는 시스템.
  7. 제 5 항에 있어서,
    상기 접안 렌즈는 망원경, 현미경, 또는 관찰을 위해 사용되는 복합 광학 시스템 내에 포함되는,
    홍채를 이미징하는 시스템.
  8. 제 4 항에 있어서,
    상기 오프-축 이미저는 상기 프레임의 하위 림에 부착되는,
    홍채를 이미징하는 시스템.
  9. 제 1 항에 있어서,
    상기 오프-축 이미저의 렌즈는 약 2.0도 내지 약 8.5도 범위의 틸트(tilt)를 갖는,
    홍채를 이미징하는 시스템.
  10. 제 1 항에 있어서,
    상기 오프-축 이미저의 렌즈는 약 1.0 내지 약 2.5mm 범위의 시프트 오프셋을 갖는,
    홍채를 이미징하는 시스템.
  11. 홍채를 이미징하기 위한 방법으로서,
    오프-축 이미저가 부착되어 있는 광학 디바이스를 제공하는 단계 및 상기 오프-축 이미저를 사용하여 개인의 홍채를 이미징하는 단계를 포함하고,
    상기 오프-축 이미저는 렌즈 및 카메라 바디를 포함하는,
    홍채를 이미징하기 위한 방법.
  12. 제 11 항에 있어서,
    이미징된 홍채로부터 바이오메트릭 정보(biometric information)를 획득하는 단계 및 상기 개인의 아이덴티티를 검증하도록 상기 바이오메트릭 정보를 프로세싱하는 단계를 더 포함하는,
    홍채를 이미징하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 바이오메트릭 정보는 홍채 코드로 변환되는,
    홍채를 이미징하기 위한 방법.
  14. 제 11 항에 있어서,
    상기 카메라 바디의 초점 평면이 상기 개인의 홍채의 평면과 평행하게 되도록 조정하기 위해 상기 오프-축 이미저의 렌즈를 틸팅(tilting)하는 단계를 더 포함하는,
    홍채를 이미징하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 렌즈는 약 2.0도 내지 약 8.5도 틸팅되는,
    홍채를 이미징하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 오프-축 이미저의 렌즈를 약 1.0 내지 약 2.5 ㎜ 시프트하는 단계를 더 포함하는,
    홍채를 이미징하기 위한 방법.
  17. 제 11 항에 있어서,
    상기 홍채를 이미징하는 단계는 상기 개인의 홍채를 부분적으로 또는 전체적으로 이미징하는 단계를 포함하는,
    홍채를 이미징하기 위한 방법.
  18. 제 11 항에 있어서,
    상기 개인의 홍채들 중 하나 또는 둘 모두가 부분적으로 또는 전체적으로 이미징되는,
    홍채를 이미징하기 위한 방법.
KR1020177036623A 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징 KR102626799B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247001391A KR20240009542A (ko) 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562164257P 2015-05-20 2015-05-20
US62/164,257 2015-05-20
PCT/US2016/033336 WO2016187457A2 (en) 2015-05-20 2016-05-19 Tilt shift iris imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247001391A Division KR20240009542A (ko) 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징

Publications (2)

Publication Number Publication Date
KR20180009773A true KR20180009773A (ko) 2018-01-29
KR102626799B1 KR102626799B1 (ko) 2024-01-17

Family

ID=57320845

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177036623A KR102626799B1 (ko) 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징
KR1020247001391A KR20240009542A (ko) 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247001391A KR20240009542A (ko) 2015-05-20 2016-05-19 틸트 시프트 홍채 이미징

Country Status (11)

Country Link
US (1) US20160342835A1 (ko)
EP (2) EP4141523A1 (ko)
JP (3) JP6873918B2 (ko)
KR (2) KR102626799B1 (ko)
CN (1) CN108027509A (ko)
AU (1) AU2016264503B2 (ko)
CA (1) CA2986144A1 (ko)
HK (1) HK1252588A1 (ko)
IL (2) IL303125B1 (ko)
NZ (1) NZ737343A (ko)
WO (1) WO2016187457A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10076250B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses based on multispectral data from head-mounted cameras
US10151636B2 (en) 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
US10092232B2 (en) 2015-06-14 2018-10-09 Facense Ltd. User state selection based on the shape of the exhale stream
US10045737B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Clip-on device with inward-facing cameras
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10045699B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Determining a state of a user based on thermal measurements of the forehead
US10136856B2 (en) 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10130261B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Detecting physiological responses while taking into account consumption of confounding substances
US10130299B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Neurofeedback eyeglasses
US10523852B2 (en) 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US9968264B2 (en) 2015-06-14 2018-05-15 Facense Ltd. Detecting physiological responses based on thermal asymmetry of the face
US10076270B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses while accounting for touching the face
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
US10130308B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US10216981B2 (en) 2015-06-14 2019-02-26 Facense Ltd. Eyeglasses that measure facial skin color changes
US10080861B2 (en) 2015-06-14 2018-09-25 Facense Ltd. Breathing biofeedback eyeglasses
US10299717B2 (en) 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US10154810B2 (en) 2015-06-14 2018-12-18 Facense Ltd. Security system that detects atypical behavior
US10064559B2 (en) 2015-06-14 2018-09-04 Facense Ltd. Identification of the dominant nostril using thermal measurements
US10165949B2 (en) 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US11619814B1 (en) * 2018-06-04 2023-04-04 Meta Platforms Technologies, Llc Apparatus, system, and method for improving digital head-mounted displays
DE102019126419A1 (de) * 2019-05-08 2020-11-12 Docter Optics Se Vorrichtung zum optischen Abbilden von Merkmalen einer Hand
GB202010326D0 (en) * 2020-07-06 2020-08-19 Palakollu Vamsee Krishna A virtual reality headset
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
CN117321466A (zh) * 2021-06-08 2023-12-29 核心光电有限公司 用于使超微距图像的焦平面倾斜的系统和相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008200A1 (en) * 2002-09-13 2005-01-13 Takeo Azuma Iris encoding method, individual authentication method, iris code registration device, iris authentication device, and iris authentication program
US20110058712A1 (en) * 2008-07-24 2011-03-10 Universidad Complutense De Madrid Biometric recognition through examination of the surface map of the second ocular dioptric
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20140307077A1 (en) * 2013-04-10 2014-10-16 Delta ID Inc. Apparatuses and methods for iris imaging

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US647A (en) 1838-03-21 Improved fishing-seine for deep water
US8064A (en) 1851-04-29 Spbibtg-saddle
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
TW410524B (en) * 1994-07-14 2000-11-01 Advantest Corp LCD panel image quality examining device and LCD image sampling method
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
GB9515311D0 (en) * 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
JP3676472B2 (ja) * 1996-01-19 2005-07-27 オリンパス株式会社 接眼光学系
US6320610B1 (en) 1998-12-31 2001-11-20 Sensar, Inc. Compact imaging device incorporating rotatably mounted cameras
JPH10179520A (ja) * 1996-12-26 1998-07-07 Canon Inc 視線検出方法及び装置並びに記憶媒体
GB9907515D0 (en) * 1999-04-01 1999-05-26 Ncr Int Inc Self service terminal
JP3664937B2 (ja) * 2000-03-27 2005-06-29 株式会社ニデック 眼科装置
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US20030169334A1 (en) * 2001-08-06 2003-09-11 Michael Braithwaite Iris capture device having expanded capture volume
US6836337B2 (en) 2001-09-20 2004-12-28 Visual Pathways, Inc. Non-invasive blood glucose monitoring by interferometry
US7145726B2 (en) * 2002-08-12 2006-12-05 Richard Geist Head-mounted virtual display apparatus for mobile activities
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP4527088B2 (ja) 2003-07-04 2010-08-18 パナソニック株式会社 生体眼判定方法および生体眼判定装置
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
EP1820142A4 (en) * 2004-12-07 2010-03-10 Aoptix Technologies IRISIZATION WITH THE HELP OF THE EYE REFLECTION
JP2007006393A (ja) * 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
JP4411547B2 (ja) * 2006-03-20 2010-02-10 ソニー株式会社 画像表示装置
JP2008090483A (ja) * 2006-09-29 2008-04-17 Oki Electric Ind Co Ltd 個人認証システム及び個人認証方法
JP5173260B2 (ja) * 2007-05-28 2013-04-03 キヤノン株式会社 ズームレンズおよびそれを有する撮像装置
US8317325B2 (en) 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8254768B2 (en) * 2010-12-22 2012-08-28 Michael Braithwaite System and method for illuminating and imaging the iris of a person
US9185352B1 (en) * 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
EP2812775A1 (en) * 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
US9345402B2 (en) * 2012-09-11 2016-05-24 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
WO2014089542A1 (en) * 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
EP2929487A4 (en) * 2012-12-10 2016-08-10 Stanford Res Inst Int BIOMETRIC IRIS ADJUSTMENT SYSTEM
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9370302B2 (en) * 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US20140327755A1 (en) * 2013-05-06 2014-11-06 Delta ID Inc. Apparatus and method for positioning an iris for iris image capture
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
KR101926942B1 (ko) * 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US9579060B1 (en) * 2014-02-18 2017-02-28 Orbitol Research Inc. Head-mounted physiological signal monitoring system, devices and methods
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9747500B2 (en) * 2015-01-30 2017-08-29 Raytheon Company Wearable retina/iris scan authentication system
CN104573676B (zh) * 2015-02-02 2018-01-05 深圳眼神智能科技有限公司 防眼镜反光干扰的虹膜识别装置
US9823474B2 (en) * 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008200A1 (en) * 2002-09-13 2005-01-13 Takeo Azuma Iris encoding method, individual authentication method, iris code registration device, iris authentication device, and iris authentication program
US20110058712A1 (en) * 2008-07-24 2011-03-10 Universidad Complutense De Madrid Biometric recognition through examination of the surface map of the second ocular dioptric
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20140307077A1 (en) * 2013-04-10 2014-10-16 Delta ID Inc. Apparatuses and methods for iris imaging

Also Published As

Publication number Publication date
WO2016187457A2 (en) 2016-11-24
AU2016264503B2 (en) 2021-10-28
JP2023036710A (ja) 2023-03-14
AU2016264503A1 (en) 2017-12-07
HK1252588A1 (zh) 2019-05-31
CN108027509A (zh) 2018-05-11
NZ737343A (en) 2023-06-30
CA2986144A1 (en) 2016-11-24
JP2018514882A (ja) 2018-06-07
IL255734A (en) 2018-01-31
IL255734B2 (en) 2023-10-01
JP6873918B2 (ja) 2021-05-19
EP3298452A2 (en) 2018-03-28
IL255734B1 (en) 2023-06-01
EP3298452A4 (en) 2018-05-30
KR20240009542A (ko) 2024-01-22
EP4141523A1 (en) 2023-03-01
IL303125A (en) 2023-07-01
JP7479440B2 (ja) 2024-05-08
JP2021121933A (ja) 2021-08-26
IL303125B1 (en) 2024-03-01
WO2016187457A3 (en) 2017-03-23
JP7196224B2 (ja) 2022-12-26
KR102626799B1 (ko) 2024-01-17
US20160342835A1 (en) 2016-11-24
EP3298452B1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP7196224B2 (ja) 傾斜シフト虹彩撮像
US8170293B2 (en) Multimodal ocular biometric system and methods
US8317325B2 (en) Apparatus and method for two eye imaging for iris identification
US9336438B2 (en) Iris cameras
JP2018514882A5 (ko)
EP0865637A1 (en) Wide field of view/narrow field of view recognition system and method
JP5092120B2 (ja) 眼球運動計測装置
KR101122513B1 (ko) 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법
KR101635602B1 (ko) 홍채 인식 방법 및 장치
JP4687247B2 (ja) 異物検出方法及び眼球観察装置
KR102209613B1 (ko) 보조 카메라를 이용한 단말기에서의 홍채 영상 획득 장치 및 그 방법
KR101723989B1 (ko) 검안기의 자동 트랙킹 장치 및 그 방법
Chuang et al. Autofocus of iris patterns using a triangle aperture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant