KR20150033572A - 모바일 기기를 위한 추적 광학 시스템 - Google Patents

모바일 기기를 위한 추적 광학 시스템 Download PDF

Info

Publication number
KR20150033572A
KR20150033572A KR20140126734A KR20140126734A KR20150033572A KR 20150033572 A KR20150033572 A KR 20150033572A KR 20140126734 A KR20140126734 A KR 20140126734A KR 20140126734 A KR20140126734 A KR 20140126734A KR 20150033572 A KR20150033572 A KR 20150033572A
Authority
KR
South Korea
Prior art keywords
target
image sensor
image
light source
telescope
Prior art date
Application number
KR20140126734A
Other languages
English (en)
Inventor
더크 스미츠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150033572A publication Critical patent/KR20150033572A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/644—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for large deviations, e.g. maintaining a fixed line of sight while a vehicle on which the system is mounted changes course
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 모바일 기기들을 위한 추적 광학 시스템을 제공한다. 추적 광학 시스템은 모바일 기기 내 세로로 위치하고, 망원경의 길이는 상기 모바일 기기의 깊이보다 큰 망원경, 이미지 캡쳐에 대한 타겟쪽으로 상기 망원경을 통해 저전력 모드에서 광원을 발산하는 발광기, 상기 망원경의 시야 내에 타겟이 위치할 때까지 타겟쪽으로 광원를 돌리기 위해 조정하는 2축 짐벌 미러, 및 타겟을 비추기 위해 고전력 모드 내 상기 광원을 발산하는 상기 발광기에 응답하여 상기 타겟의 이미지를 캡쳐하는 이미지 센서를 포함한다.

Description

모바일 기기를 위한 추적 광학 시스템{TRACKING OPTICS SYSTEM FOR A MOBILE DEVICE}
본 발명은 광학 시스템에 관한 것으로, 홍채 인식과 시선 추적과 같은 모바일 기기 어플리케이션들을 위해 적합한 고품질의 이미지를 제공하기 위해 표전 전면 카메라와 함께 작업할 수 있는 추적 광학 시스템에 관한 것이다.
모바일 기기들의 대부분의 형태들은 사용자의 정면에 적어도 하나의 카메라를 포함하고, 일반적으로 전면 카메라(front-facing camera)라고 칭한다. 전면 카메라들은 화상회의, 시선 추적과 같은 응용을 위해 사용될 수 있다. 그러나, 전면 카메라들에서 사용된 광학은 많은 제한들을 갖는다.
이러한 제한들의 한 원인으로 광학들을 수용하기 위해 사용되는 형태 요소(form factors)들인 깊이가 있다. 예를 들면, 모바일 폰에서, 전면 카메라와 임의의 주 후면 카메라가 일반적으로 폰의 Z축(깊이) 방향을 따라 배치된다. 트랜드로서 얇은 폰들로 진화하고 있으며, 폰의 케이싱의 깊이는 카메라의 길이로 제한된다. 전면 카메라들에서 이러한 크기 제한의 결과로 매우 작은 초점거리를 갖게 되며, 이는 조리개(광캡쳐(light capture))를 제한한다. 전면 카메라들의 다른 제한들은 광시야, 약 600mm 내지 800mm로 초점이 고정, 및 주 후면 카메라(rear-facing camera)보다 작고, 낮은 해상도 이미지 센서를 갖는 것을 포함한다. 전면 카메라들 상의 렌즈 퀄리티는 후면 카메라들에 비교하여 보통 수준 이하이므로, 이미지 내 아티팩트(artifact)(화상의 결함)가 발생할 수 있다.
이러한 제한들의 결과로, 예를 들어, 생체 인증과, 시선 추적을 위한 홍채 인식과 같은, 확실한 품질의 이미지들을 획득하기 위한 모바일 기기를 위한 도전에 놓인 전면 카메라들이 있다.
홍채 인식은 유일의 랜덤 복소 패턴을 갖는 사용자 홍채의 영상 이미지 상에서 수학적인 패턴 인식을 이용한다. 홍채 인식 알고리즘은 충분히 높은 해상도와 홍채 내 패턴들을 구분하기에 충분히 대비될 수 있는 이미지들을 필요로 한다.
많은 홍채 스캐닝 응용들이 예를 들면, 공항과 같은 큰 시설물의 접근 제어 또는 이동 제어의 목적을 위해 일반적으로 만들어지고, 배치되고 있다. 홍채 인식은 가시광선에서 보이지 않는 홍채의 구조로 인해 적외선 광을 필요로 한다. 그러므로, 홍채 인식 시스템들은 적외선 빛 소스를 필요로 하고, 이미지 센서는 적외선 광을 검출할 수 있다. 이러한 설비들은 일반적으로 2m까지의 거리에서 개별적으로 홍채들 스캐닝하고, 이미지들을 촬영할 수 있는 큰 복소 및 비싼 광학들과 큰 이미지 센서들을 갖는 고품질 스테이셔너리 이미져(stationery imager)들을 갖는다.
모바일 기기에서 홍채 기반의 인증 시스템을 구현하는 것은 작은 초점 거리, 제한된 조리개, 및 광시야와 같은 전면 카메라들 상에 기술된 문제들에 따른 도전을 입증할 수 있다. 광시야로 홍채의 이미지를 캡쳐하기 위한 시도는 픽셀들의 연결에 의해서만, 즉 상세히 설명하면, 충분하지 못한 해상도만으로 사용자의 홍채를 캡쳐링한 이미지에 대한 결과일 수 있다. 전면 카메라 상의 고정된 초점, 낮은 해상도 이미지 센서, 수준 이하의 렌즈들 품질은 낮은 품질로 인해 아티팩트를 갖는 노이즈 이미지들의 결과를 가질 수도 있다. 더욱이, 폰은 움직임 열화(motion blur)의 문제점을 갖는 움직이는 객체이고, 그 결과 이미지 선명도(sharpness)와 명암(contrast)이 감소한다. 움직임 열화를 갖는 문제점은 사용자 시선에서 폰의 전면 카메라를 수동으로 조준하는 사용자로 인해 더욱 복잡해진다. 상술한 문재는 사용자의 시선이 모바일 기기로부터 약 5 내지 8인치에 근접한 것보다 더 멀리에 위치하면, 현재 홍채 인식 알고리즘들은 실패할 수 있다. 그러나, 전면 카메라의 고정된 초점 거리로 인해, 그런 거리에서 사용자의 눈의 이미지는 고정된 초점거리에 따라 흐릿할 지도 모른다.
추가적인 문제점으로 홍채 인식은 적외선 광을 필요로 하기 때문에, 모바일 기기의 배터리를 현저하게 소모시킬 수 있는 적외선 광원으로 인한 전력의 이슈가 발생한다. 또한, 적외선 광 소스는 사용자가 눈이 광원에 매우 인접해야 하는 위치에 놓여지는 것을 필요로 하기 때문에 건강과 안전의 이슈가 발생할 수 있다.
따라서, 모바일 기기들을 위한 개선된 광학 시스템들에 대한 필요성이 있었고, 특히 전면 카메라들의 이용에 따른 응용들을 사용할 필요성이 있었다.
본 발명의 목적은 홍채 인식과 시선 추적과 같은 모바일 기기 어플리케이션들을 위해 적합한 고품질의 이미지를 제공할 수 있는 추적 광학 시스템을 제공한다.
본 발명에 따른 모바일 기기를 위한 추적 광학 시스템은 모바일 기기 내 세로로 위치하고, 망원경의 길이는 상기 모바일 기기의 깊이보다 큰 망원경, 이미지 캡쳐에 대한 타겟쪽으로 상기 망원경을 통해 저전력 모드에서 광원을 발산하는 발광기, 상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원를 돌리기 위해 조정하는 2축 짐벌 미러, 및 상기 타겟을 비추기 위해 고전력 모드 내 상기 광원을 발산하는 상기 발광기에 응답하여 상기 타겟의 이미지를 캡쳐하는 이미지 센서를 포함한다.
이 실시예에 있어서, 상기 발광기는 적외선 광원을 발산하고, 상기 이미지 센서는 적외선 이미지 센서를 포함하고, 상기 이미지의 타겟은 눈의 홍채를 포함하며, 홍채 인식 요소는 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증된다.
이 실시예에 있어서, 상기 사용자의 실패 인증에 응답하여, 상기 모바일 기기에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 콘텐츠를 숨기기 위해 필터된다.
이 실시예에 있어서, 상기 이미지 센서는 이미지 캡쳐에 대한 상기 타겟의 모양에 매치되는 모양으로 구현된다.
이 실시예에 있어서, 상기 이미지 캡쳐에 대한 상기 타겟은 홍채이고, 상기 이미지 센서는 고리 모양이다.
이 실시예에 있어서, 상기 이미지 센서는 개방 중간부를 더 포함하고, 상기 발광기는 상기 발광기가 상기 개방 중간부를 통해 광원을 방출하기 위해 상기 개방 중간부 내의 이미지 센서에 따른 콜리니어이다.
이 실시예에 있어서, 상기 이미지 센서는 사각 또는 직사각형의 다이에 위치하고, 논리 장치들은 상기 이미지 센서에 의해 커버되지 않는 상기 다이의 일부에 위치된다.
이 실시예에 있어서, 렌즈들, 고정된 부분 미러, 및 접안 렌즈들을 더 포함하고, 상기 발광기는 상기 망원경의 측면을 따라 위치하고, 발광기로부터 발산된 광원은 2축 짐벌 미러쪽으로 고정된 부분 미러로 반사되고, 상기 2축 짐벌 미러는 상기 타겟쪽으로 모바일 기기의 케이스 내의 윈도우를 통해 출력되는 광원을 반사하고, 상기 광원은 상기 타겟의 뒤쪽으로 반사되고, 상기 이미지 획득을 위해 상기 접안 렌즈들과 상기 이미지 센서 쪽으로 상기 2축 짐벌 미러에 의해 반사된다.
이 실시예에 있어서, 하나 이상의 상기 2축 짐볼 미러, 상기 발광기, 상기 이미지 센서는 상기 망원경의 외부에 구현된다.
본 발명에 따른 모바일 기기를 위한 추적 광학 시스템은 2축 짐볼 미러, 발광기, 이미지 센서, 및 프로세서를 포함하고, 상기 프로세서는 타겟 쪽으로 상기 망원경을 통해 광원을 전송하기 위해 저전력 모드에서 상기 발광기를 활성화하고, 상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원를 돌리기 위해 조정하고, 상기 이미지 센서가 상기 타겟의 이미지를 캡쳐하는 동안, 상기 타겟을 비추기 위해 고전력 모드로 상기 발광기를 활성화한다.
이 실시예에 있어서, 상기 발광기는 적외선 광원을 발산하고, 상기 이미지 센서는 적외선 이미지 센서를 포함하고, 상기 이미지의 타겟은 눈의 홍채를 포함하고, 상기 홍채 인식 요소는 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증된다.
이 실시예에 있어서, 상기 사용자의 실패 인증에 응답하여, 상기 모바일 기기에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 콘텐츠를 숨기기 위해 필터된다.
이 실시예에 있어서, 상기 이미지 센서는 이미지 캡쳐에 대한 상기 타겟의 모양에 매치되는 모양으로 구현된다.
이 실시예에 있어서, 상기 이미지 캡쳐에 대한 상기 타겟은 홍채이고, 상기 이미지 센서는 고리 모양이다.
이 실시예에 있어서, 상기 이미지 센서는 개방 중간부를 더 포함하고, 상기 발광기는 상기 발광기가 상기 개방 중간부를 통해 광원을 방출하기 위해 상기 개방 중간부 내의 이미지 센서에 따른 콜리니어이다.
이 실시예에 있어서, 상기 이미지 센서는 사각 또는 직사각형의 다이에 위치하고, 논리 장치들은 상기 이미지 센서에 의해 커버되지 않는 상기 다이의 일부에 위치된다.
이 실시예에 있어서, 렌즈들, 고정된 부분 미러, 및 접안 렌즈들을 더 포함하고, 상기 발광기는 상기 망원경의 측면을 따라 위치하고, 발광기로부터 발산된 광원은 2축 짐벌 미러쪽으로 고정된 부분 미러로 반사되고, 상기 2축 짐벌 미러는 상기 타겟쪽으로 모바일 기기의 케이스 내의 윈도우를 통해 출력되는 광원을 반사하고, 상기 광원은 상기 타겟의 뒤쪽으로 반사되고, 상기 이미지 획득을 위해 상기 접안 렌즈들과 상기 이미지 센서 쪽으로 상기 2축 짐벌 미러에 의해 반사된다.
이 실시예에 있어서, 하나 이상의 상기 2축 짐볼 미러, 상기 발광기, 상기 이미지 센서는 상기 망원경의 외부에 구현된다.
본 발명에 따른 모바일 기기의 추적 광학 시스템을 제공하는 방법은 타겟쪽으로 망원경을 통해 광원을 전송하기 위해 저전력 모드에서 망원경의 발광기를 활성화하는 단계, 상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원을 돌리기 위해 조정하는 단계, 및 광원을 이용하여 상기 타겟을 비추기 위해 고전력 모드에서 상기 발광기를 활성화하고, 이미지 센서 내에서 상기 타겟의 이미지를 캡쳐하는 단계를 포함하고, 상기 망원경은 상기 모바일 기기의 세로축을 따라 위치하는 추적 광학 시스템을 제공한다.
이 실시예에 있어서, 상기 발광기는 적외선 광원을 발산하고, 상기 이미지 센서는 적외선 이미지 센서를 포함하고, 상기 이미지의 타겟은 눈의 홍채를 포함하며, 홍채 인식 요소가 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증되는 단계를 더 포함한다.
이 실시예에 있어서, 상기 사용자의 실패 인증에 응답하여, 상기 모바일 기기에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 콘텐츠를 숨기기 위해 필터되는 단계를 포함한다.
이 실시예에 있어서, 상기 이미지 센서는 이미지 캡쳐에 대한 상기 타겟의 모양에 매치되는 모양으로 구현되는 단계를 더 포함한다.
이 실시예에 있어서, 상기 이미지 캡쳐에 대한 상기 타겟은 홍채이고, 상기 이미지 센서는 고리 모양인 추적 광학 시스템을 제공한다.
이 실시예에 있어서, 상기 이미지 센서는 개방 중간부를 더 포함하고, 상기 발광기는 상기 발광기가 상기 개방 중간부를 통해 광원을 방출하기 위해 상기 개방 중간부 내의 이미지 센서에 따른 콜리니어이다.
이 실시예에 있어서, 상기 이미지 센서는 사각 또는 직사각형의 다이에 위치하고, 논리 장치들은 상기 이미지 센서에 의해 커버되지 않는 상기 다이의 일부에 위치되는 단계를 더 포함한다.
이 실시예에 있어서, 렌즈들, 고정된 부분 미러, 및 접안 렌즈들을 더 포함하고, 상기 발광기는 상기 망원경의 측면을 따라 위치하고, 발광기로부터 발산된 광원은 2축 짐벌 미러쪽으로 고정된 부분 미러로 반사되고, 상기 2축 짐벌 미러는 상기 타겟쪽으로 모바일 기기의 케이스 내의 윈도우를 통해 출력되는 광원을 반사하고, 상기 광원은 상기 타겟의 뒤쪽으로 반사되고, 상기 이미지 획득을 위해 상기 접안 렌즈들과 상기 이미지 센서 쪽으로 상기 2축 짐벌 미러에 의해 반사된다.
이 실시예에 있어서, 하나 이상의 상기 2축 짐볼 미러, 상기 발광기, 상기 이미지 센서는 상기 망원경의 외부에 구현되는 단계를 더 포함한다.
본 발명에 따른 광학 시스템은 렌즈들, 발광기, 및 이미지 캡쳐에 대한 타겟의 형상을 매치하기 위해 형상으로 구현된 이미지 센서를 포함한다.
이 실시예에 있어서, 상기 이미지 캡쳐에 대한 상기 타겟은 홍채이고, 상기 이미지 센서는 고리 모양이다.
이 실시예에 있어서, 상기 이미지 센서는 개방 중간부를 더 포함하고, 상기 발광기는 상기 발광기가 상기 개방 중간부를 통해 광원을 방출하기 위해 상기 개방 중간부 내의 이미지 센서에 따른 콜리니어이다.
이 실시예에 있어서, 상기 이미지 센서는 사각 또는 직사각형의 다이에 위치하고, 논리 장치들은 상기 이미지 센서에 의해 커버되지 않는 상기 다이의 일부에 위치된다.
이 실시예에 있어서, 상기 렌즈들과 상기 발광기는 모바일 기기의 케이스 내 세로로 위치한 망원경과 함께 사용되고, 상기 모바일 기기 내 세로로 위치하고, 상기 망원경의 길이는 상기 모바일 기기의 깊이보다 큰 길이를 갖고, 상기 발광기는 이미지 캡쳐에 대한 상기 타겟쪽으로 망원경을 통해 저전력 모드에서 광원을 발산하고, 2축 짐벌 미러는 상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원을 돌리기 위해 조정하고, 상기 이미지 센서는 상기 타겟을 비추기 위해 고전력 모드에서 광원을 발산하는 상기 발광기에 응답하여 상기 렌즈들을 통해 상기 타겟의 이미지를 캡쳐한다.
이 실시예에 있어서, 상기 발광기는 적외선 광원을 발산하고, 상기 이미지 센서는 적외선 이미지 센서를 포함하고, 상기 이미지의 타겟은 눈의 홍채를 포함하며, 홍채 인식 요소는 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증된다.
이 실시예에 있어서, 상기 사용자의 실패 인증에 응답하여, 상기 모바일 기기에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 콘텐츠를 숨기기 위해 필터된다.
이 실시예에 있어서, 렌즈들, 고정된 부분 미러, 및 접안 렌즈들을 더 포함하고, 상기 발광기는 상기 망원경의 측면을 따라 위치하고, 발광기로부터 발산된 광원은 2축 짐벌 미러쪽으로 고정된 부분 미러로 반사되고, 상기 2축 짐벌 미러는 상기 타겟쪽으로 모바일 기기의 케이스 내의 윈도우를 통해 출력되는 광원을 반사하고, 상기 광원은 상기 타겟의 뒤쪽으로 반사되고, 상기 이미지 획득을 위해 상기 접안 렌즈들과 상기 이미지 센서 쪽으로 상기 2축 짐벌 미러에 의해 반사된다.
이 실시예에 있어서, 하나 이상의 상기 2축 짐볼 미러, 상기 발광기, 상기 이미지 센서는 상기 망원경의 외부에 구현된다.
본 발명의 추적 광학 시스템은 모바일 기기 내 세로로 배치되고, 길이가 모바일 기기의 깊이(또는 두께)보다 길어진 크기를 가질 수 있는 망원경 구조를 제안함으로써, 홍채 인식과 시선 추적과 같은 모바일 기기 어플리케이션들을 위한적합한 고품질의 이미지를 제공할 수 있다.
도 1a는 본 발명의 실시예에 따른 모바일 기기를 위한 추적 광학 시스템을 도시한 블록도,
도 1b는 모바일 기기의 일부 구성요소를 잘라낸 측면을 도시하는 도면,
도 1c와 1d는 본 발명의 다른 실시예에 따른 망원경과 이미지 센서를 위한 블록도들,
도 2는 본 발명에 따른 동작 동안 추적 광학 시스템에서 수행된 프로세스를 예시적으로 도시한 순서도, 및
도 3a와 도 3b는 본 발명에 따른 홍채 인식을 사용을 위한 시스템에서 추적 광학 시스템에 의해 수행되는 프로세스를 더 상세히 예시적으로 도시한 순서도이다.
이하, 본 발명에 따른 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명하고, 동일한 참조 번호들은 명세서 전체에서 동일한 구성 요소들을 나타낸다. 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 하기에서 설명하기로 한다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 통해 이해하기 쉽게 설명될 것이다. 그러나 본 발명의 개념은 하기에서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 더 정확히 말하면, 이러한 실시예들을 제공함으로써, 기재는 완전하고 완벽해질 것이고, 해당 기술분야의 당업자의 기술수준에 의해 충분히 전달될 것이고, 본 발명의 개념은 첨부된 청구항들에 의해서만 정의될 수 있다. 도면들에서, 레이어들 또는 영역들의 두께는 명확히 하기 위해 과장되었다.
본 발명을 설명하기 위한 문맥에서, 단수 표현, 복수 표현, 및 상기와 같이 다른 대상을 나타내는 지시어구(특히, 다음의 청구항들의 문맥에서)의 사용은 여기에서 다른 설명이 없거나 문맥에 의해 명확히 부정되지 않는 한 단수와 복수 모두를 보호하기 위한 것이다. '구성하는', '가지는', '포함한', 및 '함유되는'과 같은 용어들은 설명이 없는 한, 제한을 두지 않는 용어들로 해석된다.
여기에서 사용된 '구성요소' 또는 '모듈'의 용어는 특정한 작업들을 수행하는 주문형 반도체(ASIC: Application Specific Integrated Circuit), 필드 프로그래머블 게이트 어레이(FPGA: Field Programmable Gate Array)와 같은 소프트웨어 또는 하드웨어 구성요소들로 한정되지 않는 것을 의미한다. 구성요소 또는 모듈은 하나 또는 그 이상의 프로세서들에서 실행되도록 구성되고, 어드레스 기억 매체 내에 상주할 수 있다. 그러므로, 구성요소 또는 모듈은, 예를 들어, 소프트웨어 구성요소, 객체 지향 소프트웨어 구성요소, 클래스 구성요소들, 및 태스크 구성요소들, 프로세스들, 기능들, 특성들, 절차들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어들, 마이크로코드, 회로, 데이터, 데이터베이스들, 데이터 구조들, 테이블들, 어레이들, 및 변수들과 같은 구성요소들을 포함할 수 있다. 이러한 구성요소들을 위해 제공되는 기능들과, 구성요소들 또는 모듈들은 보다 적은 구성요소들과 구성요소들 또는 모듈들로 조합되거나, 부가적인 구성요소들과 구성요소들 또는 모듈들로 더 분리될 수도 있다.
다르게 정의되지 않는 한, 여기에서 사용된 모든 기술적 및 과학적 용어들은 본 발명이 속하는 기술 분야에서 자명한 기술의 하나에 의해 통상적으로 이해되는 것과 동일한 의미를 갖는다. 여기에서 제공된 모든 예시들 또는 예시적인 용어들의 사용은 단지 본 발명을 보다 명확히 하기 위한 의도로 사용되는 것으로, 다른 설명이 없는 한 본 발명의 권리범위를 한정하지 않는다. 또한, 다른 정의가 없다면, 모든 용어들은 일반적으로 사용되는 사전들에서 정의된 모든 용어들이 지나치게 해석되지 않는다.
본 발명은 일예로, 홍채 인식(iris recognition)과 시선 추적(gaze tracking)과 같은 모바일 기기(mobile device) 어플리케이션들을 위해 적합한 고품질의 이미지를 제공하기 위한 일반적인 전면 카메라와 함께 작업할 수 있는 추적 광학 시스템을 갖는 모바일 기기를 제공할 수 있다. 일실시예에서, 망원경(telescope)은 2축 짐벌 미러(two-axis gimbol mirror), 발광기(illuminator), 및 이미지 센서(image sensor)를 포함할 수 있다. 운용중인, 발광기는 타겟을 비추기 위해 망원경을 통해 저전력 모드에서 광원을 전송한다. 일반적인 전면 카메라로부터 피드백 루프는 동적 타겟 획득을 제공하기 위해, 망원경의 시야(또는, 시계(field of view) 내에 타겟이 위치할 때까지 타겟쪽으로 광원을 돌리기 위해 미러를 조정하는데 사용된다. 발광기는 고전력 모드에서 광원으로 타겟을 비춘 후에 망원경의 이미지 센서를 사용하여 이미지는 캡쳐된다.
z축을 따르는 것 대신에, 모바일 기기의 세로축을 따라 망원경이 위치함에 따라, 망원경의 길이를 가질 수 있는 모바일 기기기의 깊이로 인한 어떠한 제약도 제거될 수 있다. 일실시예에서, 추적 광학 시스템은 홍채 인식에 사용되고, 추적 광학 시스템은 팔 길이 영역, 예를 들면, 40cm 내지 50cm에서 사용자에 의해 모바일 기기가 들려질 때에라도 홍채의 이미지들을 캡쳐할 수 있다. 추가로, 추적 광학 시스템은 동적 타겟 획득을 수행하기 때문에, 망원경은 카메라쪽으로 사용자의 눈의 초점을 갖는 대신, 사용자의 홍채쪽으로 그것을 조준할 수 있다.
도 1a는 본 발명의 실시예에 따른 모바일 기기를 위한 추적 광학 시스템을 도시한 블록도이다. 도 1b는 모바일 기기의 일부 구성요소를 잘라낸 측면을 도시하는 도면이고, 참조번호 형태는 도 1의 참조번호들과 같다. 도면들은 스케일이 다르게 도시될 수 있고, 광망원경 또는 광학용 확대경의 다른 구성 요소들은 본 발명의 범위 내에서 동일하게 커버될 수 있는 것으로 이해될 수 있다.
도 1a와 도 1b를 참조하면, 시스템은 메모리, 적어도 하나의 프로세서(14), 입출력 장치들(I/O)(16), 전면 카메라(18), 및 디스플레이(22)를 포함한 일반적인 구성 요소들을 갖는 모바일 기기(10)를 포함한다.
메모리(12), 프로세서(14), I/O(16), 전면 카메라(18), 및 디스플레이(22)는 하나 이상의 시스템 버스들(미도시)로 함께 연결될 수 있다. 메모리(12)는 다른 메모리 타입들을 포함하는 하나 이상의 메모리들을 포함할 수 있고, 일예로, 램(RAM), 롬(ROM), 캐시, 가상 메모리, 및 플래시 메모리를 포함할 수 있다. 프로세서(14)는 하나 이상의 코어들, 또는 하나 이상의 코어들을 갖는 다중 프로세서들을 갖는 단일 프로세서를 포함할 수 있다. I/O(16)는 입력 정보와 출력 정보의 구성 요소들을 수집한다. I/O(16)에 포함된 예시적인 구성요소들은 마이크로폰, 스피커, 및 네트워크 상에서 통신을 위한 무선 네트워크 인터페이스 컨트롤러(또는 유사한 구성요소)를 포함한다. 프로세서(14)는 하드웨어 자원들을 관리하고, 기본 작업들을 수행하는 운영 체제(OS: operating system)가 실행될 수 있다. 운영 체제를 예를 들면, 심비안(SimbianTM), 블랙베리오에스(BlackBerry OSTM), 아이오에스(iOSTM), 윈도우즈(WindowsTM), 및 안드로이드(AndroidTM)를 포함할 수 있다. 일실시예에서, 디스플레이(22)는 모바일 기기(10)에 집적될 수 있는 반면, 다른 실시예에서, 디스플레이(22)는 모바일 기기(10)로부터 외부에 존재할 수 있다.
일실시예에서, 모바일 기기(10)는 모바일 기기 형태 인자의 어느 타입을 포함할 수 있고, 예를 들어, 셀룰러 폰, 태블릿, 노트북, 또는 랩톱 컴퓨터, 텔레비전, 웨어러블 컴퓨터와 같은 것들을 포함하지만 한정되지 않는다. 일실시예에서, 모바일 기기(10)는 모바일 기기(10)의 동일 측면에 위치한 전면 카메라(18)와 디스플레이(22)는 함께 구현될 수 있고, 그러한 전면 카메라(18)의 화면은 기기를 손에 쥔 사용자를 향하고 있다. 일실시예에서, 모바일 기기는 랩톱 컴퓨터 또는 노트북을 포함하고, 전면 카메라(18)는 일반적으로 랩톱의 덮개 내에 장착될 수 있다.
모바일 기기(10)는 X축, Y축, 또는 세로축, 및 Z축(깊이)을 갖는 하우징 또는 케이스(20) 내 구성요소들을 포함할 수 있다. 도 1b에 도시된 바와 같이, 전면 카메라(18)는 렌즈(19)와 이미지 센서(21)를 포함할 수 있고, 일반적으로 케이스(20)의 Z축을 따라 배치될 수 있다. 얇은 모바일 기기들로 진화하는 추세로 인해, 전면 카메라(18)의 깊이는 전면 카메라(18)의 길이에 따라 제한되고, 전면 카메라(18)에 의해 생성되는 이미지의 품질을 제한한다.
따라서, 예시적인 실시예는 예를 들어, 생체 인증 및 시선 추적과 같은 홍채 인식의 응용들 내 사용을 위해 적합한 품질의 이미지 캡쳐를 위한 타겟을 추적하고, 이미지들을 생성할 수 있는 추적 광학 시스템(23)을 제공한다. 일실시예에서, 추적 광학 시스템(23)은 망원경(24), 미러 제어 부품(26), 타겟 검출부(28), 타겟 인식부(30), 및 선택적 타겟 데이터베이스(32)를 포함한다.
본 발명의 일실시예에 따르면, 망원경(24)은 모바일 기기(10)의 세로축을 따라 배치될 수 있고, 그러한 망원경 길이(L)는 모바일 기기 케이스(20)의 깊이(Z)보다 크다. 모바일 기기(10)의 세로축을 따른 망원경(24)의 배치는 케이스(20)의 깊이에 의해 망원경의 길이가 놓여지는 것으로 인한 어떠한 제한도 회피할 수 있다.
일실시예에서, 망원경(24)은 2축 짐벌 미러(34), 발광기(36), 및 이미지 센서(38)의 조합을 사용하여 광을 모으고, 이미지를 형성할 수 있다. 2축 짐볼 미러(34)는 2축 회전(예를 들면, X축과 Y축)에 대한 움직임을 갖는 미러를 위해 2축 짐벌이 탑재된 미러를 나타낸다.
발광기(36)의 기능은 일예로, 눈 또는 눈의 홍채일 수 있는 이미지 캡쳐를 위한 타겟(40) 상에 광원(42)을 비춘다. 일실시예에서, 발광기(36)는 마이크로 발광 다이오드들(LEDs: Light Emitting Diodes) 또는 레이저 다이오드를 사용하여 구현될 수 있다. 실시예에서, 추적 광학 시스템(23)은 홍채 인식을 위해 사용될 수 있고, 발광기(36)는 적외선(IR: Infrared) 광원을 생성하는 적외선 또는 근적외선(NIR: near infrared) 발광기(36)를 포함할 수 있다.
이미지 센서(38)는 다음의 이미지 프로세싱을 위해 타겟(40)의 광 이미지를 전기적 신호로 변환한다. 일실시예에서, 이미지 센서(38)는 디지털 전하 결합 소자(CCD: Charged-coupled device) 또는 씨모스(CMOS: complementary metal-oxide-semiconductor) 능동 픽셀 센서들을 포함할 수 있다.
일실시예에서, 2축 짐벌 미러(34), 발광기(36), 및 이미지 센서(38)는 망원경(24)에 집적될 수 있다. 일실시예에서, 하나 이상의 2축 짐벌 미러(34), 발광기(36), 이미지 센서(38)는 망원경(24)의 외부에 구현될 수도 있다.
도 1b를 참조하면, 일실시예에 따른 망원경(24)은 렌즈 또는 렌즈들(44), 고정 부분 미러(46), 및 이미지 센서(38)에 근접한 접안 렌즈(eyepiece)들(45)을 포함할 수도 있다. 이러한 실시예에서, 발광기(36)는 망원경(24)의 측면을 따라 위치될 수 있고, 발광기(36)로부터 방출된 광원(42)은 2축 짐벌 미러(34)쪽으로 고정 부분 미러(46)에 의해 반사된다. 일실시예에서, 고정 부분 미러(46)는 ,예를 들어, 약 50%로, 반사된 광의 일부만을 부분적으로 반사한다. 2축 짐벌 미러(34)는 타겟(40)쪽으로 모바일 기기 케이스(20) 내 윈도우(48)를 통해 출력되는 광원(42)을 반사한다. 광원(42)은 타겟으로부터 되돌아 반사되고, 이미지 획득을 위해 접안 렌즈(45)와 이미지 센서(38) 쪽으로 2축 짐벌 미러(34)에 의해 반사된다.
도 1c와 1d는 본 발명의 다른 실시예에 따른 망원경과 이미지 센서를 위한 블록도들이다.
도 1c와 도 1d를 참조하면, 본 발명의 다른 실시예에서, 이미지 센서(38')는 타겟(40')의 모양에 매치되는 형태로 구현될 수 있다. 일실시예서, 의도된 타겟(40')은 눈의 홍채만이고, 이미지 센서(38')는 홍채와 같은 고리 모양의 이미지만을 캡쳐하기 위해 고리모양으로 구현될 수 있다. 일실시예에서, 고리 모양 이미지 센서(39')는 표준 사각 또는 직사각형 다이(50)에 위치할 수 있고, 논리 장치들(52)은 이미지 센서(38')에 의해 커버되지 않는 다이(50)의 일부 내에 위치할 수 있다.
일실시예에 따르면, 눈의 동공은 홍채 인식을 위해 필요로 하지 않음을 인식할 수 있고, 그러므로, 개방된 중심부를 갖는 고리 모양의 이미지 센서(38')를 제공할 수 있다. 이러한 실시예에 따르면, 발광기(36')는 이미지 센서(38')의 개방된 중심부 내에 이미지 센서(38')와 함께 동상으로 위치할 수 있고, 발광기(36')는 개방된 중심부를 통해 광원을 방출한다. 다른 실시예에서, 발광기(36')는 이미지 센서(38')의 개방된 중심부의 상부 또는 하부에 위치할 수도 있다. 이러한, 발광기(36')와 이미지 센서(38')의 동상 정렬은 도 1b에 도시된 고정 부분 미러(46)를 필요로 하지 않는다. 더욱이, 향상된 광원의 추가적인 이득으로, 센서로부터 떨어져서, 렌즈 시스템 쪽이고, 센서가 위치된 초점 평면의 바깥으로 위치되어, 높은 제약을 갖는 근적외선 소스로부터 광을 발산하고, 그러한 레이저 다이오드는 눈의 안전을 보장하는 타겟 상의 집중 광선을 더 분산하여 충분히 초점을 흐리게 할 수 있다.
도 1a 내지 도 1d에 도시된 추적 광학 시스템(23)에 따르면, 신뢰성 있는 홍채 인식과 생체 인증은 팔의 길이 범위, 일예로, 40cm 내지 50cm에서 사용자에 의해 들려진 모바일 기기(10)에서도 수행될 수 있다. 본 발명의 추가적인 실시예에 따르면, 추적 광학 시스템(23)은 후술되는 바와 같이, 동적 타겟 획득을 위한 타겟으로 광원을 자동적으로 전달(guiding)할 수 있다.
일실시예에서, 미러 제어부(26), 타겟 검출부(28), 및 타겟 인식부(30)는 메모리 소프트웨어 성분으로 구현되어 메모리(12) 내에 유지될 수 있고, 프로세서(14)에 의해 실행될 수 있다. 다른 실시예에서, 부품들은 하드웨어와 소프트웨어의 조합으로 구현될 수도 있다. 비록, 미러 제어부(26), 타겟 검출부(28), 및 타겟 인식부(30)는 단일 부품으로 도시되었으나, 각각의 기능은 더 적거나 더 많은 개수의 모듈들/부품들의 조합으로 구현될 수도 있다.
도 2는 본 발명에 따른 동작 동안 추적 광학 시스템에서 수행된 프로세스를 예시적으로 도시한 순서도이다.
도 2를 참조하면, 타겟 인식부(30)의 응답으로 타겟 추적 및 획득을 초기화하는 명령을 수신하고, 타겟 인식부(30)는 이미지 캡쳐에 대한 타겟쪽으로 망원경을 통해 저전력 모드에서 광원을 방출한다(200단계).
일반적인 전면 카메라로부터의 피드백 루프는 망원경의 시야 내에 타겟이 위치할 때까지 타겟쪽으로 광원(42)을 돌리기 위해 2축 짐벌 미러(30)를 조정하는데 사용된다(202단계). 일실시예에서, 미러 제어부(26)는 2축 짐벌 미러(34)의 위치를 조정하는데 사용될 수 있다.
타겟 인식부(30)는 고전력 모드에서 광원(42)으로 타겟을 비추기 위해 발광기(36)로 지시한 후, 타겟의 이미지는 망원경의 이미지 센서(38)를 사용하여 캡쳐된다(204단계).
일실시예에 따른 추적 광학 시스템은 홍채 인식을 위해 사용되고, 타겟 인식 부(30)는 타겟 데이터베이스(32) 내 저장되어 이전에 등록된 이미지들과 타겟(즉, 홍채)의 이미지의 매치를 추가로 시도할 수 있다. 만약, 매치가 발견된 후, 다음 사용자는 인증될 수 있다.
추가적인 실시예에서, 사용자 실패 인증에 응답하여, 모바일 기기(10) 상에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 컨텐츠는 숨기기 위해 자동적으로 필터(예를 들면, 디스플레이되지 않음)될 수 있다. 이러한 실시예에서, 타겟 인식부(30)는 모바일 기기(10)로 적절한 인증된 액세스를 제공을 하고, 타겟 인식부(30)는 사용자와 다른 홍채가 검출될 때, 모바일 기기(10) 상에 자동 컨텐츠 필터링을 제공할 수도 있다.
도 3a와 3b는 본 발명에 따른 홍채 인식을 사용을 위한 시스템에서 추적 광학 시스템에 의해 수행되는 프로세스를 더 상세히 예시적으로 도시한 순서도이다.
도 3a를 참조하면, 프로세스는 사용자 얼굴의 비디오 이미지의 캡쳐를 위해 전면 카메라(18)를 지시하는 타겟 인식부(30)에 의해 시작된다(300단계). 타겟 검출부(28)(예를 들면, 눈 검출)는 비디오 이미지들을 분석하고, 비디오 이미지들 내 눈의 위치를 식별한다(302단계). 일실시예에서, 타겟 검출부(28)는 식별된 눈들 중 하나의 주변 이미지 내의 좌표에서 경계 박스를 위치시키기 위한 이미지 프로세싱 기법을 사용한다.
이미지와 함께 눈의 위치가 식별되었는지를 결정한다(304단계). 만약 그렇지 않으면, 프로세스는 전면 카메라(18)로 비디오 이미지 캡쳐를 계속하고, 눈 발견 피드백 루프 내에서 분석된다(306단계).
304단계에서 눈 위치가 식별되면, 경계 박스의 좌표들은 물리적 공간 내 경계 박스의 위치를 지시하기 위해 2축 짐벌 미러(34)를 움직이기 위해 미러 제어부(26)를 지시하는데 사용된다(308단계). 이러한 단계는 망원경(24)의 시야 내에 사용자의 눈이 나타날 때까지 미러(34)를 움직이기 위해 시도된다.
일실시예에서, 308단계는 타겟을 제거하기 위한 저전력 밝기 모드 내 광원(42)을 방출하기 위해 발광기(36)를 지시하는 타겟 인식부(30)를 더 포함할 수 있다. 전면 카메라(18)는 사용자의 비디오 자료를 생산하고, 타겟 검출부(28)는 광원(42)으로부터 밝은 초점을 식별하기 위한 이미지를 분석한다. 타겟 검출부(28)는 2축 짐벌 미러(34)를 움직이기 위해 미러 제어부(26)로 명령을 발생하고, 광원(42)의 밝은 지점은 전면 카메라(18)의 시야 내에 경계 박스와 함께 일렬로 배열되게 된다. 다른 실시예에서, 가시광선을 갖는 부가적인 광원은 케이스 내 전면 카메라에 의해 식별을 위해 이전에 선택적으로 사용될 수 있고, 전면 카메라는 벗어난 자연 근적외선 배경/주변 빛 노이즈(예를 들면, 반사된 태양광)를 감소하기 위해 근적외선 필터를 필요로 한다.
사용자 및/또는 모바일 기기는 움직일 수 있는 것으로, 그것은 눈의 위치에 2축 짐벌 미러(34)가 정확히 위치하는 것의 여부를 결정해야만 한다(310단계). 만약, 그렇지 않으면, 프로세스는 눈을 추적하기 위해 동적 눈 추적 피드백 루프(312) 내에서 반복되고, 식별된 눈의 위치를 정확히 지시할 때까지 미러(34)는 계속적으로 위치를 바꾼다.
그것이 결정되면, 미러(34)는 눈의 위치를 지시(눈의 위치에 도달)하고(310단계), 타겟 인식부(30)는 고전력 밝기 모드 내 광원(42)을 잠시 비추기 위해 발광기(36)를 지시하고, 이미지 센서(38)는 홍채의 비디오 이미지들을 캡쳐할 수 있다(314단계).
비디오 이미지들은 타겟 인식부(30) 내로 제공되고, 불충분한 빛으로 인한 비디오 이미지 품질의 열화 여부를 결정한다(360단계). 만약, 빛이 충분하지 않으면, 프로세스는 308단계로 계속하여 진행한다.
또한, 전체 홍채를 캡쳐하는 것의 실패로 인해 비디오 이미지 품질이 열화되었는지의 여부를 결정할 수 있다(318단계). 전체 홍채가 캡쳐되지 않으면, 이후, 프로세스는 302단계로 진행한다. 318단계와 320단계에서 이미지 품질 결정들은 홍채 인식 피드백 루프(320)를 형성한다.
도 3b를 참조하면, 이미지가 충분한 품질의 이미지이면, 타겟 인식부(30)는 그 이미지를 타겟 데이터베이스(32) 내 이전에 등록된 홍채 이미지와 비교한다(322단계).
매치된 것의 발견에 응답하여, 홍채는 사용자(액세스가 허가된 사용자)에 속하므로 신원이 확인되고, 사용자가 인증된다(324단계). 매치되지 않은 것의 발견에 응답하여, 홍채는 사용자에 속하지 않으므로 사용자를 인증하지 않는다(326단계). 다른 실시예에서, 사용자의 제 1 눈에 의한 신원 확인과 제 2 눈(다른 눈)의 매치는, 확실하게 더 높은 레벨의 제공하기 위해 필요로 할 수도 있다. 전면 카메라는 양족 눈의 위치를 식별할 수 있고, 필요에 따라 한쪽 또는 양쪽 눈들 중 하나(왼쪽 눈의 홍채는 오른쪽 눈의 홍채와 다름)를 선택할 수 있다. 타겟 데이터베이스 내에 기록된 홍채와 매치를 위해 정확한 시점에 정확한 눈의 선택은 부정오류(false negative)를 감소하거나 방지할 수 있다.
모바일 기기들을 위한 추적 광학 시스템을 위한 방법과 시스템이 개시되었다. 본 발명은 도시된 실시예들에 따른 것을 설명하고 있고, 그에 따른 실시예들은 변화될 수 있고, 임의의 변경들은 본 발명의 사상과 범위 내에서 가능하다. 예를 들면, 일실시예에서 하드웨어, 소프트웨어, 및 프로그램 명령들을 포함한 컴퓨터 읽기 가능 매체 또는 그것들의 조합으로 구현될 수 있다. 본 발명에 따라 쓰여진 소프트웨어는 메모리, 하드디스크, 또는 씨디/디브이디 롬(CD/DVD-ROM)과 같은 컴퓨터 읽기가능 매체로 형성되어 저장되거나, 프로세서에 의해 실행될 수 있다. 따라서, 청구범위에 기재된 범위를 벗어나지 않은 한도 내에서 본 발명의 기술분야에 의해 많은 수정들이 존재할 수 있다.
10: 모바일 기기 12: 메모리
14: 프로세서 16: I/O
18: 전면 카메라 19: 렌즈
21: 이미지 센서 22: 디스플레이
23: 추적 광학 시스템 24, 24': 망원경들
26: 미러 제어부 28: 타겟 검출부
30: 타겟 인식 부 32: 타겟 데이터베이스
34, 34': 2축 짐벌 미러들 36: 발광체
38, 38': 이미지 센서들 42, 42': 광원들
44, 44': 렌즈들 45, 45': 대안 렌즈들
46: 고정 부분 미러 48, 48': 윈도우

Claims (10)

  1. 모바일 기기 내 세로로 위치하고, 망원경의 길이는 상기 모바일 기기의 깊이보다 큰 망원경;
    이미지 캡쳐에 대한 타겟쪽으로 상기 망원경을 통해 저전력 모드에서 광원을 발산하는 발광기;
    상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원를 돌리기 위해 조정하는 2축 짐벌 미러; 및
    상기 타겟을 비추기 위해 고전력 모드 내 상기 광원을 발산하는 상기 발광기에 응답하여 상기 타겟의 이미지를 캡쳐하는 이미지 센서를 포함하는 모바일 기기를 위한 추적 광학 시스템.
  2. 제 1 항에 있어서,
    상기 발광기는 적외선 광원을 발산하고, 상기 이미지 센서는 적외선 이미지 센서를 포함하고, 상기 이미지의 타겟은 눈의 홍채를 포함하며,
    홍채 인식 요소는 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증되는 추적 광학 시스템.
  3. 제 2 항에 있어서,
    상기 사용자의 실패 인증에 응답하여, 상기 모바일 기기에 디스플레이되는 컨텐츠는 비인증된 사용자로부터의 콘텐츠를 숨기기 위해 필터되는 추적 광학 시스템.
  4. 제 1 항에 있어서,
    상기 이미지 센서는 이미지 캡쳐에 대한 상기 타겟의 모양에 매치되는 모양으로 구현되는 추적 광학 시스템.
  5. 제 4 항에 있어서,
    상기 이미지 캡쳐에 대한 상기 타겟은 홍채이고, 상기 이미지 센서는 고리 모양인 추적 광학 시스템.
  6. 제 5 항에 있어서,
    상기 이미지 센서는 개방 중간부를 더 포함하고,
    상기 발광기는 상기 발광기가 상기 개방 중간부를 통해 광원을 방출하기 위해 상기 개방 중간부 내의 이미지 센서에 따른 콜리니어인 추적 광학 시스템.
  7. 제 5 항에 있어서,
    상기 이미지 센서는 사각 또는 직사각형의 다이에 위치하고, 논리 장치들은 상기 이미지 센서에 의해 커버되지 않는 상기 다이의 일부에 위치되는 추적 광학 시스템.
  8. 제 5 항에 있어서,
    렌즈들, 고정된 부분 미러, 및 접안 렌즈들을 더 포함하고,
    상기 발광기는 상기 망원경의 측면을 따라 위치하고, 발광기로부터 발산된 광원은 2축 짐벌 미러쪽으로 고정된 부분 미러로 반사되고,
    상기 2축 짐벌 미러는 상기 타겟쪽으로 모바일 기기의 케이스 내의 윈도우를 통해 출력되는 광원을 반사하고,
    상기 광원은 상기 타겟의 뒤쪽으로 반사되고, 상기 이미지 획득을 위해 상기 접안 렌즈들과 상기 이미지 센서 쪽으로 상기 2축 짐벌 미러에 의해 반사되는 추적 광학 시스템.
  9. 2축 짐볼 미러;
    발광기;
    이미지 센서; 및
    프로세서를 포함하고,
    상기 프로세서는 타겟 쪽으로 상기 망원경을 통해 광원을 전송하기 위해 저전력 모드에서 상기 발광기를 활성화하고,
    상기 망원경의 시야 내에 상기 타겟이 위치할 때까지 상기 타겟쪽으로 광원를 돌리기 위해 조정하고,
    상기 이미지 센서가 상기 타겟의 이미지를 캡쳐하는 동안, 상기 타겟을 비추기 위해 고전력 모드로 상기 발광기를 활성화하는 모바일 기기를 위한 추적 광학 시스템.
  10. 제 9 항에 있어서,
    상기 발광기는 적외선 광원을 발산하고,
    상기 이미지 센서는 적외선 이미지 센서를 포함하고,
    상기 이미지의 타겟은 눈의 홍채를 포함하고,
    상기 홍채 인식 요소는 사용자의 인증을 위해 저장된 사전 등록 이미지들과 상기 홍채의 이미지에 매치되도록 시도하고, 매치가 발견되면, 사용자가 생체적으로 인증되는 추적 광학 시스템.
KR20140126734A 2013-09-23 2014-09-23 모바일 기기를 위한 추적 광학 시스템 KR20150033572A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361881055P 2013-09-23 2013-09-23
US61/881,055 2013-09-23

Publications (1)

Publication Number Publication Date
KR20150033572A true KR20150033572A (ko) 2015-04-01

Family

ID=52690613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140126734A KR20150033572A (ko) 2013-09-23 2014-09-23 모바일 기기를 위한 추적 광학 시스템

Country Status (2)

Country Link
US (1) US10082664B2 (ko)
KR (1) KR20150033572A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190067608A (ko) * 2017-12-07 2019-06-17 삼성전기주식회사 촬상 광학계

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US20160212317A1 (en) * 2015-01-15 2016-07-21 Motorola Mobility Llc 3d ir illumination for iris authentication
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
US10148918B1 (en) * 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10983254B1 (en) * 2015-12-08 2021-04-20 Lockheed Martin Corporation Customizing the refractive index of a surface using two dimensional pattern of subwavelength openings
EP3416537A4 (en) * 2016-02-16 2019-11-13 Massachusetts Eye & Ear Infirmary MOBILE DEVICE APPLICATION FOR OCULAR DISORDER MEASUREMENT
CN105791686B (zh) * 2016-03-03 2019-03-15 司马大大（北京）智能系统有限公司 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
DE212017000225U1 (de) * 2016-10-03 2019-06-27 Gentex Corporation Fahreridentifikations- und Authentisierungssysteme
US10634506B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10455364B2 (en) 2016-12-12 2019-10-22 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10634503B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US11120392B2 (en) 2017-01-06 2021-09-14 Position Imaging, Inc. System and method of calibrating a directional light source relative to a camera's field of view
US10242333B1 (en) * 2017-07-26 2019-03-26 Amazon Technologies, Inc. Transporting packages using light guided operations
US10217075B1 (en) * 2017-07-26 2019-02-26 Amazon Technologies, Inc. Transporting packages using light guided operations
US11138429B2 (en) * 2018-03-12 2021-10-05 Tobii Ab Iris recognition using eye-tracking system
CA3111595A1 (en) 2018-09-21 2020-03-26 Position Imaging, Inc. Machine-learning-assisted self-improving object-identification system and method
WO2020146861A1 (en) 2019-01-11 2020-07-16 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
CN110995992B (zh) 2019-12-04 2021-04-06 深圳传音控股股份有限公司 补光装置、补光装置的控制方法及计算机存储介质
CN111064876B (zh) * 2019-12-30 2021-08-10 维沃移动通信有限公司 电子设备、拍摄控制方法及装置、计算机可读存储介质
US11796797B2 (en) 2020-03-09 2023-10-24 Lockheed Martin Corporation Wavefront error correction of a conformal optical component using a planar lens
CN113691705B (zh) * 2021-08-05 2023-07-28 维沃移动通信有限公司 摄像模组及电子设备
EP4141820A1 (en) * 2021-08-25 2023-03-01 Tools for Humanity Corporation Controlling a two-dimensional mirror gimbal for purposes of iris scanning
CN114666493B (zh) * 2021-12-22 2024-01-26 杭州易现先进科技有限公司 一种ar观览服务系统和终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090246B2 (en) * 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US7776640B2 (en) * 2008-09-26 2010-08-17 Tong Hsing Electronic Industries Ltd. Image sensing device and packaging method thereof
US20100278394A1 (en) * 2008-10-29 2010-11-04 Raguin Daniel H Apparatus for Iris Capture
US10178290B2 (en) * 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
WO2013070091A2 (en) * 2011-11-09 2013-05-16 Mark Ross Hampton Improvements in and in relation to a lens system for a camera
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
KR101882594B1 (ko) * 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190067608A (ko) * 2017-12-07 2019-06-17 삼성전기주식회사 촬상 광학계

Also Published As

Publication number Publication date
US20150085096A1 (en) 2015-03-26
US10082664B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
KR20150033572A (ko) 모바일 기기를 위한 추적 광학 시스템
US9152850B2 (en) Authentication apparatus, authentication method, and program
KR102270674B1 (ko) 생체인식 카메라
US9852339B2 (en) Method for recognizing iris and electronic device thereof
US7369759B2 (en) Eye image pickup apparatus, iris authentication apparatus and portable terminal device having iris authentication function
US8831295B2 (en) Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
WO2015172514A1 (zh) 图像采集装置和方法
US20190313009A1 (en) Electronic Device with Image Capture Command Source Identification and Corresponding Methods
KR100977499B1 (ko) 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템
JP2007319174A (ja) 撮影装置およびそれを用いた認証装置
US20170308763A1 (en) Multi-modality biometric identification
US10484584B2 (en) System and method for mobile device biometric add-on
US10445606B2 (en) Iris recognition
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
US8446521B2 (en) Distributed agile illumination system and method
KR20140050603A (ko) 이동 식별 플랫폼
JP2007011456A (ja) 顔認証装置および顔認証方法
JP2015173327A (ja) 撮像装置、投光装置、およびビームライト制御方法、並びにプログラム
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
WO2020183732A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
JP2007058507A (ja) 視線検出装置
KR101635602B1 (ko) 홍채 인식 방법 및 장치
KR100876821B1 (ko) 촬영 영역 내에서 정확하게 얼굴 영상을 촬영하는 장치
US10970539B2 (en) Binding of selfie face image to iris images for biometric identity enrollment
JP2010023626A (ja) ドライバー監視装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application