KR102598322B1 - 안구 운동 측정 장치 및 방법 - Google Patents

안구 운동 측정 장치 및 방법 Download PDF

Info

Publication number
KR102598322B1
KR102598322B1 KR1020210151048A KR20210151048A KR102598322B1 KR 102598322 B1 KR102598322 B1 KR 102598322B1 KR 1020210151048 A KR1020210151048 A KR 1020210151048A KR 20210151048 A KR20210151048 A KR 20210151048A KR 102598322 B1 KR102598322 B1 KR 102598322B1
Authority
KR
South Korea
Prior art keywords
eye movement
light
spread function
point spread
image
Prior art date
Application number
KR1020210151048A
Other languages
English (en)
Other versions
KR20230065467A (ko
Inventor
이승아
김태영
이경원
백낙규
정재우
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210151048A priority Critical patent/KR102598322B1/ko
Priority to US18/052,192 priority patent/US20240153104A1/en
Publication of KR20230065467A publication Critical patent/KR20230065467A/ko
Application granted granted Critical
Publication of KR102598322B1 publication Critical patent/KR102598322B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 안구 방향으로 광을 방사하는 광원, 안구에서 반사되어 입사되는 광을 미리 형성된 위상 변환 패턴에 따라 위상 변환하는 위상 마스크, 위상 마스크에 의해 위상 변환되어 위치별로 서로 다른 세기로 분산되어 투영되는 광을 각각 감지하여 다수의 감지 신호를 생성하는 다수의 광 센서를 구비하는 이미지 센서부, 롤링 셔터 방식에 따라 다수의 광 센서에 대해 기지정된 크기의 윈도우를 순차적으로 이동하면서 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 부분 이미지를 생성하는 롤링 이미지 추출부, 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수가 미리 저장된 점 확산 함수 저장부, 부분 이미지와 점 확산 함수를 교차 상관하여 부분 이미지와 점 확산 함수 사이의 위치에 따른 상관값을 획득하는 교차 상관부 및 상관값의 피크를 검출하고, 검출된 피크에서의 부분 이미지와 점 확산 함수 사이의 위치를 기반으로 광이 입사된 각도를 판별 및 누적하여 광 위치를 추적함으로써 안구 운동을 분석하는 안구 운동 측정부를 포함하여, 저비용의 카메라로도 고속 및 고해상도로 안구 위치를 판별할 수 있는 안구 운동 측정 및 방법을 제공한다.

Description

안구 운동 측정 장치 및 방법{Apparatus and Method for Measuring Eye Movement}
본 발명은 안구 운동 측정 장치 및 방법에 관한 것으로, 퇴행성 신경 질환 조기 판별을 위한 안구 운동 측정 장치 및 방법에 관한 것이다.
안구 운동 측정, 즉 시선 추적은 VR/AR, 심리, 마케팅부터 의료적 목적까지 다양한 분야에서 활용되고 있다. 다만 각 적용 분야마다 요구되는 성능이 서로 상이하다.
시선 추적이 활용되는 분야 중 의료 분야의 경우, 눈의 움직임을 기반으로 질병을 진단하는 방법으로 시선 추적기술이 응용된다. 최근 의료 분야에서는 눈이 고정된 물체를 볼 때 나타나는 미세 안구 단속운동(microsaccades)의 빈도나 강도의 양상이 신경학적으로 치매와 연관되어 있어, 치매나 파킨슨 병과 같은 신경 질환 진단에 이용될 수 있다는 가능성이 대두되었다. 즉 안구 운동을 측정하여 퇴행성 신경 질환 조기 판별할 수 있다는 의견이 제시되었다. 다만 의료 분야에서 신경 질환을 정확하게 진단하기 위해 안구 운동을 측정하는 경우, 고속, 고해상도의 시선 추적 기술이 요구된다.
시선 추적에는 일반적으로 눈에 특수 렌즈 등을 부착하는 방식, 눈 움직임에 따른 전기적 포텐셜을 측정하여 분석하는 방식 및 영상 또는 이미지를 촬영 후 분석하는 3가지 방식이 이용되고 있다. 이중 특수 렌즈나 전기적 포텐셜을 측정하는 방법의 경우 눈에 직접적으로 부착하는 장비를 사용하기 때문에 사용이 복잡하고 가격이 비싸 접근성이 떨어지기 때문에 구조가 비교적 간단한 영상기반 시선 추적 기법이 주로 이용된다.
영상 기반의 시선 추적은 특정 광원과 함께 눈 전체 부분을 이미징하여 원형 또는 타원형의 동공의 형태를 바탕으로 중심점의 위치를 계산하여 중심점의 위치를 통한 방법과, 광원에 의해 눈에 반사되어 나타나는 반사(푸르킨예 반사)점의 위치를 바탕으로 시선을 추적하는 방법이 주를 이룬다. 광원과 카메라의 형태와 위치는 시스템의 광학계 구성에 따라 다르며 헤드 마운트, 안경, 고글같은 웨어러블 디바이스에 맞게 위치하는 경우나 바형태로 구성할 수 있다. 상대적으로 눈과의 정렬이 똑바르고 고정될 수 있는 형태가 해상도와 노이즈에 강한 특징을 갖는다.
다만 영상 추적을 기반으로 하는 시선 추적은 카메라 센서의 프레임율(frame rate)에 의해 측정 속도가 제한된다. 현재 통상적인 시선 추적기의 경우, 일반적으로 0.1 ~ 1˚의 크기, 2Hz 이하의 빈도로 최대 300˚/s의 속도를 갖는 미세단속 안구운동(fixational eye movement) 등을 측정하기 어렵다. 즉 카메라의 시간적 공간적 해상도가 낮아 의료용으로 사용할 수 없다는 한계가 있다.
따라서 의료용으로 영상 기반 시선 추적 기법에 이용하기 위해서는 높은 프레임율과 고해상도를 갖는 고가의 카메라를 사용하거나, 복잡한 광학계를 사용해야 하므로 비용이 증가하고 사용성이 떨어진다는 문제가 있다.
한국 등록 특허 제10-1711093호 (2017.02.22 등록)
본 발명의 목적은 정확하게 고속 고해상도로 안구 운동을 정확하게 측정할 수 있는 안구 운동 측정 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 렌즈를 대신하여 위상 마스크와 롤링 셔터 방식을 이용하여 저비용의 카메라로도 고속, 고해상도로 안구 위치를 판별하여 시선을 추적할 수 있는 안구 운동 측정 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안구 운동 측정 장치는 안구 방향으로 광을 방사하는 광원; 안구에서 반사되어 입사되는 광을 미리 형성된 위상 변환 패턴에 따라 위상 변환하는 위상 마스크; 상기 위상 마스크에 의해 위상 변환되어 위치별로 서로 다른 세기로 분산되어 투영되는 광을 각각 감지하여 다수의 감지 신호를 생성하는 다수의 광 센서를 구비하는 이미지 센서부; 롤링 셔터 방식에 따라 상기 다수의 광 센서에 대해 기지정된 크기의 윈도우를 순차적으로 이동하면서 상기 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 부분 이미지를 생성하는 롤링 이미지 추출부; 상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수가 미리 저장된 점 확산 함수 저장부; 상기 부분 이미지와 상기 점 확산 함수를 교차 상관하여 상기 부분 이미지와 상기 점 확산 함수 사이의 위치에 따른 상관값을 획득하는 교차 상관부; 및 상기 상관값의 피크를 검출하고, 검출된 피크에서의 상기 부분 이미지와 상기 점 확산 함수 사이의 위치를 기반으로 광이 입사된 각도를 판별 및 누적하여 광 위치를 추적함으로써 안구 운동을 분석하는 안구 운동 측정부를 포함한다.
상기 위상 마스크는 상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현될 수 있다.
상기 점 확산 함수는 기지정된 기준 위치에서 광원이 방사한 광이 상기 위상 마스크를 통해 위상 변환된 광이 상기 이미지 센서부에 투영되어 생성된 이미지 패턴을 기반으로 미리 획득될 수 있다.
상기 점 확산 함수는 상기 투영되어 생성된 이미지 패턴에 대해 배경 차감 및 선예도 필터링하여 획득될 수 있다.
상기 윈도우는 상기 다수의 광 센서를 상기 이미지 센서부에 지정된 프레임율에 대비한 광 위치 추적을 위해 요구되는 시간 간격에 따른 프레임율 사이의 비에 따라 구분할 수 있는 크기로 설정될 수 있다.
상기 교차 상관부는 상기 점 확산 함수에서 상기 부분 이미지에 대응하는 위치에 상기 윈도우에 대응하는 크기의 부분 점 확산 함수를 추출하고, 상기 부분 이미지와 추출된 부분 점 확산 함수를 교차 상관할 수 있다.
상기 교차 상관부는 상기 부분 점 확산 함수의 외곽을 기지정된 크기만큼 확장하고, 확장된 영역에 대해 평균값 패딩한 후, 교차 상관을 수행할 수 있다.
상기 안구 운동 측정부는 상기 피크가 발생되는 위치를 X축 방향 및 Y축 방향에서 구분하여 검출하고, X축 방향 및 Y축 방향 각각에서 검출된 피크 위치를 누적하여 상기 광의 위치 변화를 추적할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 안구 운동 측정 방법은 안구 방향으로 광을 방사하는 단계; 안구에서 반사되어 입사되는 광이 기지정된 위상 변환 패턴이 미리 형성된 위상 마스크를 통해 위상 변환되어, 위치별로 서로 다른 세기로 분산되어 투영되는 광을 다수의 광 센서로 감지하여 다수의 감지 신호를 생성하는 이미지 센서부; 롤링 셔터 방식에 따라 상기 다수의 광 센서에 대해 기지정된 크기의 윈도우를 순차적으로 이동하면서 상기 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 부분 이미지를 생성하는 단계; 상기 부분 이미지와 상기 위상 마스크의 위상 변환 패턴에 대응하여 미리 저장된 점 확산 함수를 교차 상관하여 상기 부분 이미지와 상기 점 확산 함수 사이의 위치에 따른 상관값을 획득하는 단계; 및 상기 상관값의 피크를 검출하고, 검출된 피크에서의 상기 부분 이미지와 상기 점 확산 함수 사이의 위치를 기반으로 광이 입사된 각도를 판별 및 누적하여 광 위치를 추적함으로써 안구 운동을 측정하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 안구 운동 측정 및 방법은 렌즈를 대신하여 위상 마스크와 롤링 셔터 방식을 이용하여 저비용의 카메라로도 고속 및 고해상도로 안구 위치를 판별함으로써 정확하게 안구 운동을 측정할 수 있으며, 측정된 안구 운동을 기반으로 신경 질환 등에 대한 조기 진단을 수행할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 안구 운동 측정 장치의 구현 예를 나타낸다.
도 2는 도 1의 안구 운동 측정 장치에서 카메라 모듈을 확대한 도면을 나타낸다.
도 3은 안구 운동 추적을 위한 푸르킨예 반사를 설명하기 위한 도면이다.
도 4는 도 4의 위상 마스크의 실제 구현 예를 나타낸다.
도 5는 본 실시예에 따른 안구 운동 측정 장치의 개략적 구성을 나타낸다.
도 6은 위상 마스크 기반 렌즈리스 이미징 방식의 개념을 설명하기 위한 도면이다.
도 7은 렌즈기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이다.
도 8은 렌즈리스 이미징 방식으로 획득된 이미지를 기반으로 안구 운동을 측정하는 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 안구 운동 측정 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 안구 운동 측정 장치의 구현 예를 나타내고, 도 2는 도 1의 안구 운동 측정 장치에서 카메라 모듈을 확대한 도면을 나타내며, 도 3은 안구 운동 추적을 위한 푸르킨예 반사를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 실시예의 안구 운동 측정 장치는 일 예로 가장 범용적인 고글 형태로 구현될 수 있다. 여기서 고글은 실질적으로 안구 운동을 측정하기 위한 카메라 모듈이 측정 대상자의 안구 주변 지정된 위치에 배치되도록 하기 위한 착용 기구이다. 안구 운동 측정 장치는 고글 형태 이외에도 다양한 형태로 구현될 수 있으나, 고글 형태는 주변 환경에 의한 영향을 최소화하면서 측정 대상자의 움직임에 대한 제약이 적고 측정이 용이한 형태라는 점에서 주로 이용되며, 이에 여기서도 안구 운동 측정 장치가 고글 형태로 구현되는 것으로 가정한다.
또한 측정 대상자의 시야 전방에는 디스플레이가 배치될 수 있다. 여기서 디스플레이는 안구 운동 측정을 위한 타겟이 표시될 수 있다. 디스플레이는 일 예로 검은 바탕에서 흰점 또는 미리 지정된 다양한 패턴으로 타겟을 표시할 수 있으며, 타겟은 특정 위치에 고정되거나 지정된 경로를 따라 이동하는 등의 다양한 방식으로 제공될 수 있다. 여기서 디스플레이는 기존의 VR 장치와 같이 고글 내에 구현될 수도 있으나, 고글 외부에 구비되는 별도의 디스플레이 장치로 구현될 수도 있다.
그리고 안구 운동 측정 장치에서 측정 대상자의 양 눈의 위치에는 측정 대상자의 안구 운동을 감지하기 위한 카메라 모듈이 배치된다. 특히 본 실시예에서 카메라 모듈은 안구의 운동을 측정하기 위해 안구 영상을 직접적으로 촬영하지 않는다. 카메라 모듈은 안구의 미세 움직임을 정밀하게 감지할 수 있도록 도 2에 도시된 바와 같이, 광원과 카메라 센서를 포함하여 구성될 수 있다. 광원은 안구를 향해 광을 방사하고, 카메라 센서는 광원에서 방사된 광이 안구에서 반사된 반사광을 감지한다.
카메라 모듈이 안구 전체를 촬영하여 안구의 움직임을 관찰하고자 하는 경우, 연산량이 많을 뿐만 아니라, 안구 전체 이미지에서 안구의 미세 움직임은 매우 적은 변화량으로 나타나기 때문에 감지하기가 매우 어렵다. 그러나 안구로 미소한 점 광원을 방사하고, 안구에서 반사된 광을 카메라 센서가 검출하는 경우, 안구의 미세한 움직임에도 반사된 광의 위치는 크게 변화하게 되므로 안구의 움직임을 확인하기 용이할 뿐만 아니라, 광의 위치만을 검출하는 방식이므로 연산량이 매우 적다는 장점이 있다. 즉 고속으로 정확하게 안구 운동을 추적할 수 있다.
점 광원에 대한 안구의 반사는 도 3에 도시된 바와 같이, 각막(Cornea) 표면과 후면, 수정체(Lens) 표면 및 후면에서 각각 발생할 수 있으며, 이로 인해 카메라 센서에는 4개의 반사광이 점 광원 형태로 입사될 수 있다. 이는 푸르킨예 이미지(Purkinje image)라고 알려져 있으며, 4개의 반사광(P1 ~ P4)은 안구에서의 반사되는 위치 차이에 따라 도 3과 같이 카메라 센서의 서로 다른 위치에 형성될 수 있다.
이에 안구 운동 측정 장치는 카메라 센서에서 감지된 반사광의 위치 변화를 감지하여 안구의 움직임을 정확하게 측정할 수 있다. 이때, 안구 운동 측정 장치는 4개의 반사광(P1 ~ P4)을 모두 감지하여 안구의 움직임을 관측할 수도 있으나, 4개의 반사광(P1 ~ P4)을 모두 감지하는 것은 효율성을 저하시킬 뿐만 아니라 서로 다른 반사광을 오인하여 안구 움직임을 오검출하게 되는 요인이 될 수 있다. 다만 도 3에 도시된 바와 같이, 4개의 반사광(P1 ~ P4) 서로 다른 각도로 광을 반사하므로, 카메라 센서에 4개의 반사광(P1 ~ P4) 중 적어도 하나의 반사광만이 입사하도록 광원이 광을 방사하는 방향에 대비한 카메라 센서의 위치를 조절할 수 있다. 이 경우, 주로 4개의 반사광(P1 ~ P4) 중 가장 밝게 나타나는 각막 표면에서의 반사광(P1)만이 감지되도록 카메라 센서의 위치를 조절할 수도 있다.
도 4는 본 실시예에 따른 안구 운동 측정 장치의 개략적 구성을 나타내고, 도 5는 도 4의 위상 마스크의 실제 구현 예를 나타내고, 도 6은 위상 마스크 기반 렌즈리스 이미징 방식의 개념을 설명하기 위한 도면이다. 그리고 도 7은 렌즈기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이고, 도 8은 렌즈리스 이미징 방식으로 획득된 이미지를 기반으로 안구 운동을 측정하는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 본 실시예에 따른 안구 운동 측정 장치는 이미지 획득부(100), 점 확산 함수 저장부(200), 교차 상관부(300) 및 안구 운동 측정부(400)를 포함할 수 있다.
이미지 획득부(100)는 도 1 및 도 2에 도시된 바와 같이, 측정 대상자의 안구 전방에 배치되어, 안구 방향으로 광을 방사하고, 안구에서 반사된 반사광을 감지하여 반사 이미지를 획득한다. 이때 본 실시예의 이미지 획득부(100)는 일반적인 렌즈 카메라 모듈과 달리 위상 변환된 이미지를 획득한다.
본 실시예에서 이미지 획득부(100)는 광원(110), 위상 마스크(120), 이미지 센서부(130) 및 롤링 이미지 추출부(140)를 포함할 수 있다. 광원(110)은 도 1 및 도 2와 같이, 안구 방향으로 방사되는 점 광원일 수 있으며, 일 예로 IR LED 등으로 구현될 수 있다.
위상 마스크(120)는 이미지 센서부(130)의 전방에 위치하여 안구에서 반사되어 입사되는 반사광을 위상 변환한다. 위상 마스크(120)는 일반적인 카메라 모듈에 구비되는 렌즈를 대체하여 구비되는 구성이다.
여기서 위상 마스크(120)는 도 5에 도시된 바와 같이, 광이 투과될 수 있는 투명 소재로서 투명 필름 등을 이용하여 구현될 수 있으며, 도 6의 (b)에 도시된 바와 같이, 위상 마스크(120)의 일면은 불규칙적인 형태의 위상 변환 패턴에 따라 위치별로 상이한 높이를 갖도록 형성된다. 즉 위상 마스크(120)는 일면에 크기, 높이, 모양이 상이한 다양한 패턴이 형성되어 위치별로 광을 서로 다른 굴절율로 확산하여 굴절시킴으로써 도 6의 (c) 및 도 7의 (b)와 같이 물결 무늬와 유사한 패턴이 되도록 변환한다. 이와 같이 위치별로 서로 상이한 높이를 가져 입사되는 광에 대한 위상을 변화시키는 패턴을 본 실시예에서는 위상 변환 패턴이라고 한다. 여기서는 위상 마스크(120)의 일면 상에의 높이가 연속적인 곡선 형태로 변화하는 패턴인 것으로 도시하였으나, 경우에 따라서는 불연속적으로 변화하는 패턴으로 구현될 수도 있다.
그리고 고정된 위치의 위상 마스크(120)에 대해 광이 입사되는 각도, 즉 광의 위치가 변화하게 되면, 도 6의 (c)의 우측단과 및 도 7의 (b)에 도시된 바와 같이, 이미지 센서부(130)에 투영되는 패턴 전체가 광의 위치 변화에 대응하는 측방향으로 시프트되게 된다.
이와 같이 위상 마스크(120)를 이용하는 경우, 광의 위치 변화에 따라 이미지 센서부(130)에 투영되는 패턴 전체가 시프트되므로, 전체 패턴에서 일부 영역이 이동한 위치만을 정확하게 검출하더라도 전체 패턴이 이동한 위치 또한 동일하다. 따라서 패턴의 일부 영역의 이동만을 확인하더라도 광의 위치를 정확하게 검출할 수 있다. 즉 본 실시예에서 이미지 획득부(100)가 렌즈를 대체하여 위상 마스크(120)를 이용하는 것은 이미지 센서부(130)를 통해 획득되는 이미지에서 일부 범위만이 획득되더라도, 안구에서 반사된 광이 입사된 위치를 정확하게 판별할 수 있도록 하기 위해서이다.
이미지 센서부(130)는 위상 마스크(120)를 통해 위상 변환된 광을 감지하여, 광의 세기에 대응하는 감지 신호를 생성한다. 이미지 센서부(130)는 각각 광을 감지하기 위해 이미지의 다수의 픽셀에 각각 대응하는 다수의 광 센서로 구성되며, 각 광 센서는 입사되는 광의 세기에 대응하는 크기의 감지 신호를 생성한다.
롤링 이미지 추출부(140)는 이미지 센서부(130)가 생성한 감지 신호를 기반으로 카메라 센서로 입사된 광에 대응하는 이미지를 획득한다. 이때 본 실시예의 롤링 이미지 추출부(140)는 이미지 센서부(130)의 모든 광 센서로부터 일괄적으로 감지 신호를 인가받는 글로벌 셔터(global shutter) 방식이 아니라, 다수의 광 센서 중 기지정된 크기 단위로 포함된 광 센서로부터 감지 신호를 순차적으로 인가받는 롤링 셔터(rolling shutter) 방식을 이용하여 이미지를 획득할 수 있다.
글로벌 셔터 방식에서는 이미지 센서부(130)의 모든 광 센서가 동일한 시간 동안 노출되고, 롤링 이미지 추출부(140)는 노출된 시간 동안 생성된 감지 신호를 동시에 인가받아 특정 시점에서의 프레임(frame) 이미지를 획득한다. 따라서 하나의 프레임 이미지가 획득되면 이후 다음 노출 시간 동안 다시 모든 광 센서로 광이 입사되어야 한다. 따라서 프레임율(frame rate)이 매우 제한된다.
반면, 롤링 셔터 방식에서는 도 8의 (a)에 도시된 바와 같이, 전체 프레임에서 기지정된 윈도우 크기에 해당하는 부분 이미지를 순차적으로 교번하여 획득한다. 즉 롤링 셔터 방식에서는 이전 노출된 일부 범위의 광 센서에서 생성된 감지 신호가 롤링 이미지 추출부(140)로 인가되는 동안, 나머지 광 센서는 노출이 계속 유지될 수 있다. 이와 같은 롤링 셔터 방식에서는 비록 모든 광 센서로부터 동시에 감지 신호를 인가받지 못하므로 특정 시점에 일부 범위에 대한 부분 이미지만을 획득할 수 있으나, 다음 범위에 대한 부분 이미지를 매우 빠르게 획득할 수 있다. 비록 롤링 셔터 방식을 이용하는 경우, 프레임에서 위치별로 서로 다른 시간에 부분 이미지가 획득됨에 따라 각 부분 이미지가 획득되는 시점의 차이로 인해 왜곡이 발생할 수 있으나, 글로벌 셔터 방식에 비해 매우 짧은 시간 간격으로 부분 이미지를 획득하므로, 시간적 해상도를 크게 향상시킬 수 있다. 즉 프레임율을 높일 수 있다.
롤링 이미지 추출부(140)는 도 8의 (a)와 같이 미리 지정된 윈도우의 크기에 대응하는 범위에 포함된 광 센서의 감지 신호를 인가받아 부분 이미지를 획득할 수 있다. 여기서 윈도우의 크기는 이미지 센서부(130)의 크기에 대비하여 요구되는 프레임율에 따라 결정될 수 있다. 일 예로 60fps의 시간 해상도와 600 ㅧ 800의 광 센서를 갖는 이미지 센서부(130)에 대해 롤링 셔터 방식을 적용하여 180fps를 달성하고자 하는 경우, 3회로 분할(180 / 60 = 3)하여 부분 이미지를 획득하도록, 윈도우 크기가 200 ㅧ 800으로 설정될 수 있다. 즉 600개의 픽셀 라인을 3분할하여 200개의 픽셀 라인 단위로 부분 이미지를 획득하도록 할 수 있다.
본 실시예에서는 롤링 셔터 방식에 따라 특정 시점에 프레임의 특정 범위에 대한 이미지만을 획득하는 문제가 있으나, 상기한 바와 같이 본 실시예에서는 이러한 문제를 극복하기 위해 위상 마스크(120)를 이용하였으며, 위상 마스크(120)를 이용함에 따라 일부 범위로 획득된 부분 이미지만으로도 광의 위치 변화를 정확하게 검출할 수 있다.
일반적으로 렌즈와 이미지 센서부(130) 및 롤링 이미지 추출부(140)가 카메라 모듈을 구성하는데 반해, 본 실시예에서는 렌즈를 대체하여 위상 마스크(120)가 이용되므로, 위상 마스크(120)와 이미지 센서부(130) 및 롤링 이미지 추출부(140)를 통합하여 렌즈리스 카메라 모듈이라 할 수 있다.
한편 점 확산 함수 저장부(200)는 이미지 획득부(100)에 포함된 위상 마스크(120)가 형성된 위상 변환 패턴에 따라 입사되는 광의 위상을 변화시키는 특성을 나타내는 점 확산 함수(Point Spread Function: PSF)가 미리 확인되어 저장된다. 점 확산 함수는 도 6의 (c) 및 도 8의 (b)에 도시된 바와 같이, 점 입력이 광학계를 통했을 때 결상면(여기서는 카메라 센서)에 얻어지는 광량 분포를 나타내는 함수이다. 즉 점 확산 함수는 기지정된 기준 위치에서 방사된 점 광원이 광학계인 렌즈 등을 통과한 후 결상면에 맺히는 패턴을 나타내는 함수로서, 광학계의 임펄스 응답 함수의 푸리에 변환 또는 전기 신호 전송계의 전달 함수에 대응하는 개념이다.
볼록 렌즈가 구비되는 일반적인 카메라 모듈의 경우, 광이 렌즈를 거친 후, 광이 카메라 센서에 다시 점 형태로 맺히게 되므로, 점 확산 함수(PSF)는 도 7의 (a)에서와 같은 패턴을 갖는다. 그러나 본 발명에서는 렌즈리스 카메라 모듈의 경우, 렌즈를 대체하여 위상 마스크(120)가 이용되므로 위상 마스크(120)의 위상 변환 패턴에 따라 광이 위치별로 서로 다른 세기로 확산되어 도 6의 (c)와 도 7의 (b) 및 도 8의 (b)에서와 같이 점 확산 함수(PSF)가 나타나게 된다. 특히 입사되는 광의 위치가 변화하게 되면, 도 6의 (a)에서 우측단에 도시된 바와 같이, 광의 변화된 위치에 대응하여 점 확산 함수(PSF) 전체가 평행 시프트(Lateral Shift)되는 형태로 변화하게 된다. 이는 입사되는 광의 위치 정보가 이미지 센서부(130)의 다수의 광 센서 각각에 반영될 수 있음을 의미한다.
따라서 안구의 움직임을 관찰하기 위해 광원(110)에서 방사된 점 광원이 안구에서 반사되어 입사된 광의 입사 위치를 판별하고자 하는 경우, 기존의 렌즈를 이용하는 방식에서는 이미지 센서부(130)에서 획득된 이미지에서 가장 밝은 위치, 즉 광량이 집중된 곳을 탐색하여 입사 위치를 판별할 수 있다. 반면, 위상 마스크(120)를 이용하는 방식에서는 입사되는 광이 위상 마스크(120)에 의해 변환되어 이미지 센서부(130)의 전체 영역에 서로 다른 세기로 확산되어 형성되므로, 광량이 가장 높은 위치를 탐색할지라도 광의 입사 위치를 판별할 수 없다. 따라서 위상 마스크(120)로 입사되는 광의 위치를 판별하기 위해서는 기지정된 기준 위치에서 방사된 광에 의한 위상 마스크(120)에 대응하는 점 확산 함수(PSF)에 대비하여 현재 입사된 광에 의해 획득된 점 확산 함수 패턴이 시프트된 위치를 확인해야 한다. 이에 점 확산 함수 저장부(200)는 이미지 획득부(100)에 구비되는 위상 마스크(120)에 대응하는 점 확산 함수(PSF)가 미리 획득되어 저장된다.
점 확산 함수 저장부(200)는 단순히 기준 위치의 점 광원에 대해 위상 마스크(120)를 통해 획득된 위상 변환된 이미지를 점 확산 함수(PSF)로 이용할 수 있으나, 후술하는 교차 상관부(300)가 이미지 획득부(100)에서 획득된 이미지와의 교차 상관 시에 상관값의 피크가 더욱 명확하게 도출될 수 있도록, 도 8의 (c)에서와 같이, 미리 배경 차감(background subtraction) 및 선예도 필터링(sharpness filtering)과 같은 프로세스를 사전에 수행하여 점 확산 함수(PSF)를 획득할 수도 있다.
그리고 점 확산 함수 저장부(200)는 저장된 점 확산 함수(PSF)를 교차 상관부(300)로 전달한다. 이때 점 확산 함수 저장부(200)는 저장된 점 확산 함수(PSF) 전체를 교차 상관부(300)로 전달할 수도 있으나, 도 8의 (d)에서와 같이, 롤링 이미지 추출부(140)에서 설정된 윈도우의 위치 및 크기에 대응하는 부분 점 확산 함수를 추출하여 교차 상관부(300)로 전달할 수도 있다. 이는 점 확산 함수 저장부(200)가 저장된 점 확산 함수(PSF) 중에서 롤링 이미지 추출부(140)가 롤링 셔터 방식에 따라 획득한 부분 이미지에 대응하는 범위의 부분 점 확산 함수를 추출하여 전달함으로써, 연산량을 줄이기 위해서이다.
다만 점 확산 함수 저장부(200)는 점 확산 함수(PSF) 중 롤링 이미지 추출부(140)가 이용한 윈도우의 위치에 대응하는 위치에서 부분 이미지보다 큰 크기로 부분 점 확산 함수를 추출할 수 있으며, 이 경우, 부분 점 확산 함수의 크기는 프레임율에 따른 시간 구간 동안 이동 가능한 안구의 움직임에 따라 입사되는 광의 Y축 방향의 이동 범위가 포함되는 크기를 갖도록 설정될 수 있다. 후술하는 교차 상관부(300)가 부분 이미지를 부분 점 확산 함수 상에서 시프트하면서 위치별 상관값을 계산할 때, 윈도우 가장자리에서도 정확한 상관값을 획득할 수 있도록 하기 위함이다. 또한 부분 이미지와 부분 점 확산 함수를 교차 상관하여 광의 위치 변화를 관찰하는 경우, 광의 위치 변화가 점 확산 윈도우의 크기를 초과하는 것을 방지하기 위해서이다.
교차 상관부(300)는 롤링 이미지 추출부(140)에서 획득된 부분 이미지와 점 확산 함수 저장부(200)에서 전달된 점 확산 함수(또는 부분 점 확산 함수)를 교차 상관(cross correlation)한다. 교차 상관부(300)는 점 확산 함수(또는 부분 점 확산 함수)에 대해 부분 이미지의 위치를 이동시키면서 교차 상관을 수행할 수 있다.
그러나 교차 상관부(300)는 부분 이미지에서 기지정된 크기의 패치를 추출하고, 추출된 패치를 점 확산 함수(또는 부분 점 확산 함수)와 교차 상관할 수도 있다. 또는 도 8의 (e)와 같이 점 확산 함수(또는 부분 점 확산 함수)의 외부 영역에 대해 평균값 패딩하여 확장한 후, 부분 이미지와 교차 상관할 수도 있다. 이는 부분 이미지와 점 확산 함수(또는 부분 점 확산 함수)의 크기로 인해 점 확산 함수(또는 부분 점 확산 함수)의 위치별로 상관값이 크게 낮아지는 것을 방지하기 위해서이다.
본 실시예에서는 렌즈를 대체하여 위상 마스크(120)가 구비된 렌즈리스 카메라 모듈을 이용하므로, 위상 마스크(120)로 입사된 광은 위상 마스크(120)에 의해 이미지 센서부(130)의 다수의 광 센서에 분산되어 입사될 뿐만 아니라, 광의 위치 변화에 따라 이미지 센서부(130)에 입사되는 패턴이 시프트된다. 이는 이미지 센서부(130)의 일부 광 센서만으로도 입사된 광의 위치 정보를 판별할 수 있음을 의미한다. 따라서 롤링 이미지 추출부(140)가 롤링 셔터 방식을 이용하여 부분 이미지만을 획득하더라도, 획득된 부분 이미지에는 입사된 광의 위치 정보가 포함되어 있으며, 따라서 부분 이미지만으로도 점 확산 함수와 교차 상관하게 되면, 광의 위치 변화로 인해 획득된 부분 이미지가 점 확산 함수의 대응하는 영역에 위치하는 경우 매우 높은 상관값이 도출된다. 즉 도 8의 (f)에 도시된 상관맵과 같이, 부분 이미지가 광이 입사된 위치에 대응하는 점 확산 함수의 위치에서 상관값이 매우 크게 나타난다.
이에 안구 운동 측정부(400)는 교차 상관부(300)에서 교차 상관의 결과로 획득된 상관값을 인가받아 분석하여 도 8의 (g)와 같이 피크를 검출하고, 피크가 검출되는 위치를 기반으로, 롤링 셔터 방식에 따른 각 프레임에서 광이 입사된 위치를 판별하여 광의 위치 변화를 추적함으로써 안구 운동을 측정할 수 있다. 이때, 안구 운동 측정부(400)는 도 8의 (h)에 도시된 바와 같이, 각 시간에서의 X축 방향에서의 피크와 Y축 방향에서의 피크를 구분하여 확인함으로써, 입사된 광의 위치 변화를 추적할 수 있다.
기존의 안구 운동 측정 장치는 렌즈를 이용하여 안구에서 반사되어 입사된 광의 위치 변화를 추적하도록 구성되고, 입사된 광의 위치 변화를 감지하기 위해서는 이미지 센서부(130)의 전체 픽셀에 대한 이미지에서 광 세기가 가장 큰 픽셀 위치를 검출해야 한다. 이는 렌즈를 통과한 광이 도 7의 (a)와 같이, 이미지 센서부(130)의 다수의 광 센서 중 일부 광 센서에만 집중되어 결상되기 때문이다. 따라서 프레임율이 고정된다.
그에 반해 본 실시예의 안구 운동 측정 장치와 같이 렌즈 대신 위상 마스크(120)가 포함된 렌즈리스 카메라 모듈을 이용하는 경우, 광이 입사되더라도 위상 마스크(120)에 의해 광이 위상 변환되어 이미지 센서부(130)의 픽셀 전체로 분산되어 입사되며, 이때 입사되는 광의 위치와 위상 마스크(120)에 형성된 위상 변환 패턴에 따라 광이 다수의 픽셀 각각에 서로 다른 세기로 입사되며, 패턴이 전체적으로 시프트되는 형태로 입사된다. 즉 입사되는 광의 위치 정보가 다수의 픽셀에 분산되어 분포되어 있다. 따라서 전체 픽셀에 대한 이미지가 아닌 일부 영역에 해당하는 부분 이미지를 획득하더라도 광이 입사된 위치에 대한 정보를 정확하게 추출할 수 있다.
만일 렌즈 기반 카메라 모듈에서와 같이, 위상 마스크(120)에 의해 위상 변환된 이미지로부터 이미지를 복구하여 광 위치를 판별하고자 하는 경우, 위상 변환 패턴에 따른 점 확산 함수(PSF)를 기반으로 역함수를 획득해야 한다. 위상 변환된 이미지로부터 렌즈 기반 이미지와 같은 이미지를 획득하기 위해서는 위상 변환된 이미지와 점 확산 함수(PSF)를 컨볼루션 연산을 수행하고, 이에 대해 다시 디컨볼루션 연산을 수행해야 한다. 그러나 디컨볼루션을 수행하기 위해서는 컨볼루션 연산자에 대한 역행렬을 획득해야 하며, 여기서 컨볼루션 연산자는 non-singular하고, 이미지 센서부(130)의 광 센서에 의해 감지 영역이 제한되어 있으므로, 복잡도가 매우 높아 통상적인 방법으로 디컨볼루션 연산을 수행할 수 없다. 이러한 문제로 인해 이미지를 복구하고자 하는 경우, 일반적으로 위상 변환된 이미지를 렌즈 기반 이미지로 변환시키는 이미지 변환 모델을 설정하고, 이미지 변환 모델에서 변환된 이미지와 렌즈 기반 이미지 사이의 오차가 최소가 되도록 이미지 변환 모델을 반복적으로 업데이트하는 최적화 방법이 이용된다. 그러나 이와 같은 이미지 변환 모델을 이용하는 방식은 매번 최적화를 위한 반복 연산을 요구하여, 안구 운동 추적과 같이 실시간으로 빠른 처리를 요구하는 시스템에서는 적용할 수 없다는 한계가 있다.
다만 본 실시예와 같이 안구 운동을 측정하는 경우, 안구에 반사되어 입사된 광의 위치만을 확인하면 되므로, 광에 대한 이미지를 복원할 필요가 없다. 따라서 위상 변환된 이미지와 위상 마스크(120)에 대응하는 점 확산 함수(PSF)를 단순히 교차 상관하여, 상관값이 가장 크게 나타나는 위치, 점 확산 함수(PSF)가 시프트된 패턴을 갖는 위상 변환된 이미지와 점 확산 함수(PSF)가 가장 유사하여 피크가 검출되는 위치를 확인하는 것만으로도 광이 입사된 위치를 정확하게 판별할 수 있다. 그리고 전체 픽셀에 대한 이미지가 아닌 일부 영역에 해당하는 부분 이미지를 획득하더라도 광이 입사된 위치에 대한 정보를 추출할 수 있으므로 롤링 셔터 방식을 이용할 수 있어 시간적 해상도를 크게 향상시킬 수 있다.
여기서는 안구 운동 측정 장치가 이미지 획득부(100)와 점 확산 함수 저장부(200), 교차 상관부(300) 및 안구 운동 측정부(400)가 단일 장치로 구성되는 경우를 가정하여 설명하였으나, 경우에 따라서는 점 확산 함수 저장부(200), 교차 상관부(300) 및 안구 운동 측정부(400)가 외부의 서버에 구현되고, 안구 운동 측정 장치는 이미지 획득부(100)와 함께 획득된 부분 이미지를 서버로 전달하는 통신부(미도시)를 포함하여 구성될 수 있다.
도 9는 본 발명의 실시예에 따른 안구 운동 측정 방법을 나타낸다.
도 1 내지 도 8을 참조하여, 도 9를 설명하면 본 실시예에 따른 안구 운동 측정 방법은 우선 광원(110)이 안구 방향으로 광을 방사한다(S10). 그리고 안구에서 반사되어, 일면에 불규칙적인 형태의 위상 변환 패턴에 따라 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 위상 마스크(120)를 통과하여 이미지 센서부(130)로 입사되는 광을 감지한다(S20).
롤링 셔터 방식에 따라 이미지 센서부(130)의 다수의 광 센서 중 기지정된 크기의 윈도우에 의해 지정되는 범위 내의 광 센서에서 발생된 감지 신호를 기반으로 부분 이미지를 획득한다(S30). 여기서 윈도우는 부분 이미지가 획득되면, 이미지 센서부(130)의 다수의 광 센서를 순차적으로 교번하여 선택하도록 위치가 변경될 수 있다.
한편, 부분 이미지가 획득되면, 획득된 부분 이미지를 위상 마스크(120)의 위상 변환 패턴에 대응하여 미리 획득된 점 확산 함수(PSF)와 교차 상관한다(S40). 이는 입사되는 광의 각도, 즉 위치에 따라 이미지 센서부(130)에서 획득되는 위상 변환 이미지가 기지정된 위치에서 위상 마스크(120)로 광을 입사하여 획득되는 점 확산 함수(PSF)가 시프트된 형태로 나타나므로, 부분 이미지와 점 확산 함수(PSF)를 교차 상관하는 경우, 광의 입사 각도에 대응하는 위치에서 상관값이 매우 높게 나타나기 때문이다.
따라서 교차 상관 결과로 부분 이미지의 위치별 상관값이 도출되면, 특정 위치에서 상관값이 다른 위치보다 크게 높게 나타나는 피크를 검출한다(S50). 그리고 피크가 검출된 부분 이미지의 위치를 기반으로 광이 입사된 위치, 즉 각도를 판별한다(S60). 그리고 이전 판별된 광의 위치에 대비하여 현재 판별된 광의 위치 변화를 확인하여 광 위치를 추적하고, 시간에 따라 누적하여 추적된 광 위치 변화를 기반으로 안구 운동을 측정한다(S70).
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 이미지 획득부 110: 광원
120: 위상 마스크 130: 이미지 센서부
140: 롤링 이미지 추출부 200: 점 확산 함수 저장부
300: 교차 상관부 400: 안구 운동 측정부

Claims (17)

  1. 안구 방향으로 광을 방사하는 광원;
    안구에서 반사되어 입사되는 광을 미리 형성된 위상 변환 패턴에 따라 위상 변환하는 위상 마스크;
    상기 위상 마스크에 의해 위상 변환되어 위치별로 서로 다른 세기로 분산되어 투영되는 광을 각각 감지하여 다수의 감지 신호를 생성하는 다수의 광 센서를 구비하는 이미지 센서부;
    롤링 셔터 방식에 따라 상기 다수의 광 센서에 대해 기지정된 크기의 윈도우를 순차적으로 이동하면서 상기 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 부분 이미지를 생성하는 롤링 이미지 추출부;
    상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수가 미리 저장된 점 확산 함수 저장부;
    상기 부분 이미지와 상기 점 확산 함수를 교차 상관하여 상기 부분 이미지와 상기 점 확산 함수 사이의 위치에 따른 상관값을 획득하는 교차 상관부; 및
    상기 상관값의 피크를 검출하고, 검출된 피크에서의 상기 부분 이미지와 상기 점 확산 함수 사이의 위치를 기반으로 광이 입사된 각도를 판별 및 누적하여 광 위치를 추적함으로써 안구 운동을 분석하는 안구 운동 측정부를 포함하는 안구 운동 측정 장치.
  2. 제1항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 안구 운동 측정 장치.
  3. 제2항에 있어서, 상기 점 확산 함수는
    기지정된 기준 위치에서 광원이 방사한 광이 상기 위상 마스크를 통해 위상 변환된 광이 상기 이미지 센서부에 투영되어 생성된 이미지 패턴을 기반으로 미리 획득되는 안구 운동 측정 장치.
  4. 제3항에 있어서, 상기 점 확산 함수는
    상기 투영되어 생성된 이미지 패턴에 대해 배경 차감 및 선예도 필터링하여 획득되는 안구 운동 측정 장치.
  5. 제1항에 있어서, 상기 윈도우는
    상기 다수의 광 센서를 상기 이미지 센서부에 지정된 프레임율에 대비한 광 위치 추적을 위해 요구되는 시간 간격에 따른 프레임율 사이의 비에 따라 구분할 수 있는 크기로 설정되는 안구 운동 측정 장치.
  6. 제1항에 있어서, 상기 교차 상관부는
    상기 점 확산 함수에서 상기 부분 이미지에 대응하는 위치에 상기 윈도우에 대응하는 크기의 부분 점 확산 함수를 추출하고, 상기 부분 이미지와 추출된 부분 점 확산 함수를 교차 상관하는 안구 운동 측정 장치.
  7. 제6항에 있어서, 상기 교차 상관부는
    상기 부분 점 확산 함수의 외곽을 기지정된 크기만큼 확장하고, 확장된 영역에 대해 평균값 패딩한 후, 교차 상관을 수행하는 안구 운동 측정 장치.
  8. 제6항에 있어서, 상기 안구 운동 측정부는
    상기 피크가 발생되는 위치를 X축 방향 및 Y축 방향에서 구분하여 검출하고, X축 방향 및 Y축 방향 각각에서 검출된 피크 위치를 누적하여 상기 광의 위치 변화를 추적하는 안구 운동 측정 장치.
  9. 제1항에 있어서, 상기 안구 운동 측정 장치는
    상기 광원과 상기 위상 마스크, 상기 이미지 센서부 및 상기 롤링 이미지 추출부가 기지정된 위치에 배치되는 고글 형태의 하우징과
    상기 롤링 이미지 추출부에서 획득된 부분 이미지를 상기 교차 상관부와 상기 안구 운동 측정부가 포함된 서버로 전송하는 통신부를 더 포함하는 안구 운동 측정 장치.
  10. 안구 운동 측정 장치에서 수행되는 안구 운동 측정 방법에 있어서,
    안구 방향으로 광을 방사하는 단계;
    안구에서 반사되어 입사되는 광이 기지정된 위상 변환 패턴이 미리 형성된 위상 마스크를 통해 위상 변환되어, 위치별로 서로 다른 세기로 분산되어 투영되는 광을 다수의 광 센서로 감지하여 다수의 감지 신호를 생성하는 이미지 센서부;
    롤링 셔터 방식에 따라 상기 다수의 광 센서에 대해 기지정된 크기의 윈도우를 순차적으로 이동하면서 상기 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 부분 이미지를 생성하는 단계;
    상기 부분 이미지와 상기 위상 마스크의 위상 변환 패턴에 대응하여 미리 저장된 점 확산 함수를 교차 상관하여 상기 부분 이미지와 상기 점 확산 함수 사이의 위치에 따른 상관값을 획득하는 단계; 및
    상기 상관값의 피크를 검출하고, 검출된 피크에서의 상기 부분 이미지와 상기 점 확산 함수 사이의 위치를 기반으로 광이 입사된 각도를 판별 및 누적하여 광 위치를 추적함으로써 안구 운동을 측정하는 단계를 포함하는 안구 운동 측정 방법.
  11. 제10항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 안구 운동 측정 방법.
  12. 제11항에 있어서, 상기 점 확산 함수는
    기지정된 기준 위치에서 광원이 방사한 광이 상기 위상 마스크를 통해 위상 변환된 광이 상기 이미지 센서부에 투영되어 생성된 이미지 패턴을 기반으로 미리 획득되는 안구 운동 측정 방법.
  13. 제12항에 있어서, 상기 점 확산 함수는
    상기 투영되어 생성된 이미지 패턴에 대해 배경 차감 및 선예도 필터링하여 획득되는 안구 운동 측정 방법.
  14. 제10항에 있어서, 상기 부분 이미지를 생성하는 단계는
    상기 다수의 광 센서를 상기 이미지 센서부에 지정된 프레임율에 대비한 광 위치 추적을 위해 요구되는 시간 간격에 따른 프레임율 사이의 비에 따라 구분할 수 있는 크기로 상기 윈도우를 설정하는 단계; 및
    상기 다수의 광 센서에 대해 설정된 크기의 상기 윈도우를 순차적으로 교번하여 위치를 이동하면서, 상기 윈도우에 포함되는 광 센서에서 생성된 감지 신호를 인가받아 상기 부분 이미지를 획득하는 단계를 포함하는 안구 운동 측정 방법.
  15. 제10항에 있어서, 상기 상관값을 획득하는 단계는
    상기 점 확산 함수에서 상기 부분 이미지에 대응하는 위치에 상기 윈도우에 대응하는 크기의 부분 점 확산 함수를 추출하는 단계; 및
    상기 부분 이미지와 상기 부분 점 확산 함수를 교차 상관하여 상기 상관값을 획득하는 단계를 포함하는 안구 운동 측정 방법.
  16. 제15항에 있어서, 상기 부분 점 확산 함수를 추출하는 단계는
    상기 윈도우에 대응하는 크기의 상기 부분 점 확산 함수를 추출하는 단계; 및
    추출된 상기 부분 점 확산 함수의 외곽을 기지정된 크기만큼 확장하고, 확장된 영역에 대해 평균값 패딩하는 단계를 포함하는 안구 운동 측정 방법.
  17. 제16항에 있어서, 상기 안구 운동을 측정하는 단계는
    상기 피크가 발생되는 위치를 X축 방향 및 Y축 방향에서 구분하여 검출하는 단계; 및
    X축 방향 및 Y축 방향 각각에서 검출된 피크 위치를 누적하여 상기 광의 위치 변화를 추적하는 단계를 포함하는 안구 운동 측정 방법.
KR1020210151048A 2021-11-05 2021-11-05 안구 운동 측정 장치 및 방법 KR102598322B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210151048A KR102598322B1 (ko) 2021-11-05 2021-11-05 안구 운동 측정 장치 및 방법
US18/052,192 US20240153104A1 (en) 2021-11-05 2022-11-02 Apparatus and method for measuring eye movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151048A KR102598322B1 (ko) 2021-11-05 2021-11-05 안구 운동 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230065467A KR20230065467A (ko) 2023-05-12
KR102598322B1 true KR102598322B1 (ko) 2023-11-02

Family

ID=86385840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151048A KR102598322B1 (ko) 2021-11-05 2021-11-05 안구 운동 측정 장치 및 방법

Country Status (2)

Country Link
US (1) US20240153104A1 (ko)
KR (1) KR102598322B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217756A (ja) 2013-05-02 2014-11-20 オプトス ピーエルシー 検眼鏡の改良

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
KR101711093B1 (ko) 2015-02-11 2017-03-02 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217756A (ja) 2013-05-02 2014-11-20 オプトス ピーエルシー 検眼鏡の改良

Also Published As

Publication number Publication date
US20240153104A1 (en) 2024-05-09
KR20230065467A (ko) 2023-05-12

Similar Documents

Publication Publication Date Title
JP6902075B2 (ja) 構造化光を用いた視線追跡
US7682026B2 (en) Eye location and gaze detection system and method
US9398848B2 (en) Eye gaze tracking
JP6110862B2 (ja) 画像からの物体距離決定
EP1933694B1 (en) Eye tracker having an extended span of operating distances
US10420464B2 (en) Gaze tracking system
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
KR102166372B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
WO2010143377A1 (ja) 注視対象判定装置及び注視対象判定方法
WO2019028152A1 (en) OCULAR TRACKING USING TEMPORAL MULTIPLEXING
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
CN106062665A (zh) 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
CN104380066A (zh) 用于在可见光中高光谱成像的系统,用于记录高光谱图像并且在可见光中显示高光谱图像的方法
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
JP3450801B2 (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
KR20210122271A (ko) 눈 추적 장치 및 방법
KR20190075501A (ko) 반사를 검출하는 장치 및 방법
CN110300976B (zh) 眼睛注视跟踪
Tatler et al. Eye movement recordings in natural settings
KR100960269B1 (ko) 눈동자 시선 추정 장치 및 추정 방법
KR102598322B1 (ko) 안구 운동 측정 장치 및 방법
US11675427B2 (en) Eye tracking based on imaging eye features and assistance of structured illumination probe light
JP2005143599A (ja) 視線表示装置および痴呆症診断装置
JPH02193641A (ja) 注視方向検出方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant