KR20220054827A - 동공 반응을 평가하기 위한 시스템 및 방법 - Google Patents

동공 반응을 평가하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220054827A
KR20220054827A KR1020227009861A KR20227009861A KR20220054827A KR 20220054827 A KR20220054827 A KR 20220054827A KR 1020227009861 A KR1020227009861 A KR 1020227009861A KR 20227009861 A KR20227009861 A KR 20227009861A KR 20220054827 A KR20220054827 A KR 20220054827A
Authority
KR
South Korea
Prior art keywords
pupil
user
image data
display
eyes
Prior art date
Application number
KR1020227009861A
Other languages
English (en)
Inventor
사반 알. 데바니
Original Assignee
바이오트릴리언, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이오트릴리언, 인크. filed Critical 바이오트릴리언, 인크.
Publication of KR20220054827A publication Critical patent/KR20220054827A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Toxicology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

예시적인 시스템은 디바이스의 동일한 면 상에 디스플레이 및 카메라를 제공한다. 일부 예에서, 광의 플래시로 자극을 제공하는 대신, 시스템은 사용자의 눈꺼풀을 이용하여 동공을 암순응시키고, 주변 광 및/또는 디스플레이로부터의 광을 사용하여 자극을 매개할 수 있다. 전향 디스플레이 및 전향 카메라의 사용은 추가적으로 개시된 시스템이 이미지 캡처 동안 주변 조명 조건을 제어할 수 있게 하여 1차 동공 반응을 측정하는 동안 추가적인 동공 자극이 발생하지 않도록 보장한다.

Description

동공 반응을 평가하기 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 발명의 명칭이 "동공 반응을 평가하기 위한 시스템 및 방법"이고 2019년 8월 28일자로 출원된 미국 가특허 출원 제62/892,977호에 대한 우선권 및 이익을 주장하며, 이는 그 전체가 본원에 참조로 통합된다.
본 개시는 동공 반응 및 그 특징 및 메트릭을 측정 및 분석하기 위한 시스템 및 방법에 관한 것이다.
동공은 다양한 외부(예를 들어, 광) 및 내부(예를 들어, 인지/정서) 자극에 반응하여 수축 및 확장한다. 동공 광 반사(pupillary light reflex; "PLR")와 같은 동공 반응은 생리학적 및 행동 건강의 많은 양태에 대해 평가되고; 통상의 측정 방법은 동공 측정기(pupilometer)를 사용한다. 동공 측정기는 $4,500만큼의 비용으로 비싸고 주로 의료 설정에서 사용되며 숙련된 임상의에 의해 사용되어야 한다. 다른 통상의 측정은 임상의가 펜라이트를 환자의 눈으로 지향시키고 동공의 반응을 관찰하는 펜라이트 검사를 사용한다.
펜라이트 검사는 수행하기 간단하지만 표준화의 부족, 신중한 훈련에 대한 필요성, 시간 경과에 따른 상이한 측정 조작자 간의 편차 및 열악한 관찰자 간 신뢰성 또는 재현성을 포함하는 실질적인 질적 단점을 갖는다. 펜라이트 검사는 신속하고 질적으로 거친 평가, 접근성 및 편의성이 정확성보다 우선시되는 응급 처치 상황에서 일반적으로 사용된다. 또한, 동공 반응을 측정하기 위한 반자동의 통상의 방법도 (1) 적절한 주변 조명 조건, (2) 모바일 디바이스 디스플레이의 전면에 의해 안내되는 얼굴/눈의 적절한 정렬, (3) 동공 반응을 위한 충분한 자극 및/또는 (4) 외부 이미지 프로세싱/특징 추출을 수행하기 위한 적절한 프로세싱 능력 중 임의의 것 또는 전부를 보장하기 위해 새로운 또는 외부의 물리적인 하드웨어를 필요로 한다.
통상의 동공 측정 시스템의 단점에 추가하여, 이러한 디바이스는 가시광을 자극원으로 사용하고 이어서 가시광을 이미지 캡처를 위한 조명원으로 사용하며; 일부 예에서, 자극 단계 후 동공을 측정하기 위한 가시광 스펙트럼의 사용은 물리학의 "관찰자 효과"와 유사하게 의도하지 않은 동공 반응을 촉진할 수 있으며, 여기서 현상의 단순한 관찰은 종종 필요에 의해 어떤 방식으로든 측정하는 것의 상태를 변경시키는 도구의 결과로 해당 현상을 불가피하게 변화시킨다. 또한, 통상의 시스템은 (1) 동공-홍채 세그먼트화에 필요한 높은 수준의 콘트라스트(contrast)를 달성하기 위해 충분한 광 자극을 제공하고 (2) 적절한 이미지 캡처를 위해 얼굴을 조명하는 데 적당히 밝은 조명 조건을 보장할 필요가 있다.
마지막으로, 이러한 통상적인 방법은 통상적으로, 질병의 가장 치료 가능한 단계를 넘어설 수 있는 질병이 급성 증상이거나 점진적으로 진행된 후에만 질병 발생의 징후를 포착한다.
본 개시의 다양한 예는 사용자가 눈꺼풀을 감았다가 떠서 광 자극을 전달하도록 요청하는 시스템을 포함하는, 동공 광 반사를 평가하기 위한 시스템에 관한 것이다. 시스템은 모바일 디바이스, 카메라, 디스플레이, 프로세서 및 메모리를 포함한다. 모바일 디바이스는 전면 및 후면을 포함하며; 카메라 및 디스플레이는 모바일 디바이스의 전면 상에 위치된다. 메모리는 프로세서 또는 하나 이상의 프로세서 또는 서버에 의해 실행 가능한 복수의 코드 섹션을 포함한다. 복수의 코드 섹션은 일련의 명령어를 포함한다. 일부 예에서, 명령어는 디스플레이에 의해 적어도 하나의 가시광 자극을 방출하는 것을 제공한다. 그 다음, 명령어는 사용자의 적어도 하나의 눈에 대응하는 이미지 데이터를 카메라로부터 수신하는 것을 제공한다. 그 다음, 명령어는 적어도 하나의 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 것을 제공한다. 그 다음, 명령어는 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 것을 제공한다.
일부 예에서, 명령어은 디스플레이에서 건강 상태를 출력하는 것을 추가로 제공한다.
일부 예에서, 적어도 하나의 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 것은 수신된 이미지 데이터를 사전 프로세싱하는 것을 포함한다.
일부 예에서, 수신된 이미지 데이터에 기초하여 적어도 하나의 동공 특징을 식별하는 것은 눈의 동공에 대응하는 제1 데이터 부분 및 눈의 홍채에 대응하는 제2 데이터 부분을 결정하기 위해 수신된 이미지 데이터를 세그먼트화하는 것을 포함한다.
일부 예에서, 적어도 하나의 동공 특징은 동공 반응 대기 시간(latency), 수축 대기 시간, 최대 수축 속도, 평균 수축 속도, 최소 동공 직경, 확장 속도, 75% 회복 시간, 평균 동공 직경, 최대 동공 직경, 수축 진폭, 수축 퍼센티지, 동공 이탈, 베이스라인 동공 진폭, 조명 후 동공 반응, 및 이들의 임의의 조합 중 적어도 하나를 포함한다.
일부 예에서, 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 것은 (1) 적어도 하나의 동공 특징 각각과 대응하는 건강한 동공 측정치 사이의 차이를 결정하는 것, 그리고 (2) 적어도 하나의 동공 특징 각각에 대해 결정된 차이에 기초하여 건강 상태를 결정하는 것을 추가로 포함한다. 예를 들어, 대응하는 건강한 동공 측정치는 프로세서에 의해 외부 측정 데이터베이스로부터 검색된다.
일부 예에서, 디스플레이에 의해 적어도 하나의 가시광 자극을 방출하는 것은 (1) 디스플레이에 의해 제공되는 광 자극이 없을 때 눈의 제1 이미지 데이터를 수신하는 것, (2) 제1 이미지 데이터에 기초하여 제공할 광속(luminous flux)의 양을 결정하는 것, (3) 결정된 광속의 양을 출력할 디스플레이의 영역을 결정하는 것, 및 (4) 결정된 디스플레이의 영역 상에 결정된 광속의 양을 출력하는 것을 포함한다. 일부 예에서, 눈의 제2 이미지 데이터는 광속을 출력한 후에 수신된다. 일부 예에서, 출력 광속은 제2 이미지 데이터에 기초하여 조정된다.
일부 예에서, 명령어는 수신된 이미지 데이터에 기초하여 제1 동공 반응에 태깅(tagging)하는 것을 추가로 제공한다. 그 다음, 제2 이미지 데이터가 수신된다. 그 다음, 명령어는 제2 이미지 데이터에 기초하여 조명 조건의 변화를 결정하는 것을 추가로 제공한다. 그 다음, 제2 동공 반응이 태깅된다.
일부 예에서, 명령어는 사용자가 눈을 감아야 한다는 지시를 디스플레이 상에 표시하는 것을 제공한다. 이는 사전 결정된 시간량 동안 눈을 감으라는 명령을 포함할 수 있다. 다른 예에서, 이는 사용자의 눈을 뜨게 하기 위해 톤(tone) 또는 진동을 기다리라는 명령을 포함할 수 있다. 그 후, 시스템은 카메라로부터 사용자의 적어도 하나의 눈에 대응하는 이미지 데이터를 수신할 수 있다. 일부 예에서, 시스템은 (예를 들어, 이미지에서 동공 또는 홍채를 식별함으로써) 사용자의 눈이 떴졌는지 여부 또는 떠진 시기를 결정하기 위해 이미지 데이터를 프로세싱할 수 있다. 그 후, 시스템은 적어도 하나의 동공 특징에 기초하여 사용자의 건강 상태를 결정하고 이를 디스플레이 상에 표시할 수 있다.
일부 예에서, 사용자에 대한 명령은 메시지를 갖는 디스플레이 상의 텍스트 기반 지시일 것이다. 다른 예에서, 시스템은 눈을 감으라는 오디오 명령을 사용자에게 제공할 것이다. 다른 예에서, 시스템은 텍스트 기반 메시지가 아닌 다른 시각적 지시를 사용자에게 제공할 것이다.
본 개시는 동공 광 반사를 평가하기 위한 예시적인 방법을 추가로 제공한다. 본 방법은 디스플레이에 의해 적어도 하나의 가시광 자극을 방출하는 단계를 제공한다. 그 다음, 본 방법은 카메라로부터 사용자의 눈에 대응하는 이미지 데이터를 수신하는 단계를 제공한다. 그 다음, 본 방법은 적어도 하나의 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 단계를 제공한다. 그 다음, 본 방법은 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 단계를 제공한다. 이러한 방법의 추가 예는 예시적인 시스템과 관련하여 상술한 바와 같다.
본 개시는 기계 실행 가능 코드를 포함하는 비일시적 기계 판독 가능 매체를 추가로 제공한다. 적어도 하나의 기계에 의해 실행될 때, 기계 실행 코드는 기계로 하여금 디스플레이에 의해 적어도 하나의 가시광 자극을 방출하게 한다. 그 다음, 코드는 카메라로부터 사용자의 눈에 대응하는 이미지 데이터를 수신하는 것을 제공한다. 그 다음, 코드는 적어도 하나의 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 것을 제공한다. 그 다음, 코드는 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 것을 제공한다. 이러한 코드의 추가 예는 예시적인 시스템과 관련하여 상술한 바와 같다.
다른 예시적인 실시예에서, 본 개시는 동공 광 반사를 평가하기 위한 다른 시스템을 제공한다. 시스템은 하드웨어 디바이스, 카메라, 디스플레이, 프로세서 및 메모리를 포함한다. 하드웨어 디바이스는 전면과 후면을 포함하며; 카메라 및 디스플레이는 하드웨어 디바이스의 전면 상에 위치된다. 메모리는 프로세서에 의해 실행 가능한 복수의 코드 섹션을 포함한다. 코드 섹션은 디스플레이에 의해 적어도 하나의 시각적 자극을 방출하기 위한 명령어를 포함한다. 명령어는 적외선 방출 디바이스에 의해 적어도 하나의 비가시광 방출하는 것을 추가로 제공한다. 그 다음, 명령은 카메라 또는 적외선 검출기로부터 사용자의 눈에 대응하는 이미지 데이터를 수신하는 것을 제공한다. 그 다음, 명령어는 적어도 하나의 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 것을 제공한다. 그 다음, 명령어는 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 것을 제공한다.
일부 예에서, 비가시광 방출은 700 nm 내지 1000 nm의 파장을 갖는다. 일부 예에서, 비가시광 방출은 원적외선 파장을 포함한다.
일부 예에서, 카메라는 적외선 카메라이다.
일부 예에서, 수신된 이미지 데이터에 기초하여 적어도 하나의 동공 특징을 식별하는 것은 (1) 수신된 이미지 데이터의 이미지 콘트라스트를 결정하는 것, (2) 이미지 콘트라스트가 임계 콘트라스트 수준보다 낮다고 결정하는 것, 및 (3) 사용자가 더 밝게 조명된 위치에서 제2 이미지 데이터를 제공하라는 프롬프트(prompt)를 디스플레이 상에 출력하는 것을 포함한다. 예를 들어, 적어도 하나의 동공 특징은 제2 이미지 데이터에 기초하여 결정된다.
일부 예에서, 적어도 하나의 동공 특징은 동공 반응 대기 시간, 수축 대기 시간, 최대 수축 속도, 평균 수축 속도, 최소 동공 직경, 확장 속도, 75% 회복 시간, 평균 동공 직경, 최대 동공 직경, 수축 진폭, 수축 퍼센티지, 동공 이탈, 베이스라인 동공 진폭, 조명 후 동공 반응, 및 이들의 임의의 조합 중 적어도 하나를 포함한다.
일부 예에서, 수신된 이미지 데이터에 기초하여 적어도 하나의 동공 특징을 식별하는 것은 눈의 동공에 대응하는 데이터 부분 및 눈의 홍채에 대응하는 데이터 부분을 결정하기 위해 수신된 이미지 데이터를 세그먼트화하는 것을 추가로 포함한다.
일부 예에서, 하드웨어 디바이스는 헤드셋이다.
일부 예에서, 하드웨어 디바이스는 스마트폰이다.
위의 개요는 본 개시의 각각의 실시예 또는 모든 양태를 나타내는 것으로 의도되지 않는다. 오히려, 상술한 개요는 본원에 제시된 새로운 양태 및 특징 중 일부의 예를 제공할 뿐이다. 본 개시의 위의 특징 및 이점, 그리고 다른 특징 및 이점은 첨부된 도면 및 첨부된 청구항과 관련하여 이해될 때 본 발명을 수행하기 위한 대표적인 실시예 및 모드의 다음의 상세한 설명으로부터 용이하게 명백할 것이다.
첨부된 도면은 본 발명의 실시예를 예시하고, 설명과 함께 본 발명의 원리를 설명하고 예시하는 역할을 한다. 도면은 예시적인 실시예의 주요 특징을 도식적인 방식으로 예시하려고 의도된 것이다. 도면은 실제 실시예의 모든 특징이나 도시된 요소의 상대적인 치수를 도시하도록 의도되지 않았으며 축척에 맞춰 도시되지 않았다.
도 1은 본 개시의 일부 구현에 따른 예시적인 시스템(100)을 도시한다.
도 2는 본 개시의 일부 구현에 따른 동공 반응을 측정하기 위한 예시적인 시스템(200)을 도시한다.
도 3은 본 개시의 일부 구현에 따른 동공 특징을 식별하고 분석하기 위한 예시적인 방법(300)을 도시한다.
도 4a는 본 개시의 일부 구현에 따른 하위 단계로 분리된 예시적인 동공 반응을 도시한다.
도 4b는 본 개시의 일부 구현에 따른 건강한 피험자와 건강하지 않은 피험자 사이에 비교된 예시적인 동공 반응을 도시한다.
도 5는 본 개시의 일부 구현에 따른 평균 측정된 동공 반응을 도시한다.
도 6a는 본 개시의 일부 구현에 따른 인지 부하에 대한 예시적인 동공 반응을 도시한다.
도 6b는 본 개시의 일부 구현에 따른 인지 부하에 대한 예시적인 동공 반응을 도시한다.
도 7은 본 개시의 일부 구현에 따른 경도 인지 장애(mild cognitive impairment)의 함수로서 예시적인 동공 반응을 도시한다.
도 8은 본 개시의 일부 구현에 따른 예시적인 동공 세그먼트화 방법을 도시한다.
도 9는 본 개시의 일부 구현에 따른 예시적인 적목 반사(red eye reflex)를 도시한다.
도 10은 본 개시의 일부 구현에 따른 예시적인 각막 광 반사를 도시한다.
도 11은 본 개시의 일부 구현에 따른 예시적인 동공 수축을 도시한다.
도 12는 본 개시의 일부 구현에 따른 적절한 조명 및 공간 배향을 자동으로 검출하는 예시적인 소프트웨어 애플리케이션 구현을 도시한다.
도 13은 본 개시의 일부 구현에 따른 예시적인 눈 경계 검출을 도시한다.
도 14는 본 개시의 일부 구현에 따른 광속(luminous flux)을 결정하기 위한 예시적인 방법을 도시한다.
도 15는 본 개시의 일부 구현에 따른 제2 동공 반응을 식별하기 위한 예시적인 방법을 도시한다.
도 16은 본 개시의 일부 구현에 따른 비가시광으로 동공 반응을 측정하기 위한 예시적인 방법을 도시한다.
도 17은 본 개시의 일부 구현에 따른 적절한 이미지 콘트라스트를 결정하기 위한 예시적인 방법을 도시한다.
도 18은 본 개시의 일부 구현에 따른 가시광과 비가시광 사이의 동공-홍채 세그먼트화에 대한 예시적인 데이터를 비교하는 것을 도시한다.
도 19는 본 개시의 일부 구현에 따른 예시적인 홍채 인식을 도시한다.
도 20은 본 개시의 일부 구현에 따른 공막을 식별할 때 예시적인 정규화 데이터를 도시한다.
도 21은 본 개시의 일부 구현에 따른 눈꺼풀 매개(mediate) 자극으로 동공 반응을 측정하기 위한 예시적인 방법을 도시한다.
도 22a는 본 개시의 일부 구현에 따른 알코올 및 커피 소비 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
도 22b는 본 개시의 일부 구현에 따른 알코올 및 커피 소비 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
도 23a는 본 개시의 일부 구현에 따른 알코올, 항히스타민제, 오피오이드(opioid) 진통제 및 커피 소비 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
도 23b는 본 개시의 일부 구현에 따른 알코올, 항히스타민제, 오피오이드 진통제 및 커피 소비 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
도 24a는 본 개시의 일부 구현에 따른 알코올 소비 및 아침 신체 스트레칭 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
도 24b는 본 개시의 일부 구현에 따른 알코올 소비 및 아침 신체 스트레칭 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
본 발명은 첨부된 도면을 참조하여 설명되며, 여기서 유사한 참조 번호는 유사하거나 동등한 요소를 지정하기 위해 도면 전체에 걸쳐 사용된다. 도면은 축척대로 도시된 것이 아니며, 단지 본 발명을 예시하기 위해 제공된다. 본 발명의 몇몇 양태는 예시를 위한 예시적인 애플리케이션을 참조하여 아래에 설명된다. 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 상세 사항, 관계 및 방법이 제시됨을 이해해야 한다. 그러나 관련 기술 분야의 통상의 기술자는 본 발명이 하나 이상의 특정 상세 사항 없이 또는 다른 방법으로 실시될 수 있음을 쉽게 인식할 것이다. 다른 예에서, 공지된 구조 또는 동작은 본 발명을 모호하게 하는 것을 피하기 위해 상세하게 도시되지 않는다. 일부 행위는 다른 순서로 및/또는 다른 행위 또는 이벤트와 동시에 발생할 수 있기 때문에 본 발명은 행위 또는 이벤트의 예시된 순서에 의해 제한되지 않는다. 또한, 본 발명에 따른 방법을 구현하기 위해 예시된 모든 행위 또는 이벤트가 요구되는 것은 아니다.
개요
본 개시는 동공 반응을 측정하기 위한 시스템 및 방법에 관한 것이다. 예를 들어, 일부 예에서, 광이나 디스플레이의 플래시로 자극을 제공하는 대신 시스템은 사용자의 눈꺼풀을 이용하여 동공을 암순응시키고 주변 광을 사용하여 자극을 매개할 수 있다(본원에서 "눈꺼풀 매개 반응(eyelid mediated response)" 또는 "EMD "). 따라서, 사용자가 눈꺼풀을 감으면, 동공이 어두움에 익숙해지는 암순응 프로세스를 거쳐 효과적으로 동공을 확장시킬 것이다. 이는 광 자극이 인가/허용되기 전(예를 들어, 사용자가 눈을 뜨기 전) 베이스라인으로서의 역할을 하여, 일부 예에서 광 기반 자극을 별도로 인가하지 않고(예를 들어, 모바일 디바이스 후면 상의 플래시를 사용하지 않고) 대기 시간 및 다른 측정 및 수축을 용이하게 하므로, 사용자가 전향 카메라를 사용할 수 있게 한다.
예를 들어, 이 예에서, 시스템은 사전 결정된 시간량 동안 또는 사용자가 톤을 듣거나 진동을 느낄 때까지 사용자가 눈을 감으라는 명령을 표시할 수 있다. 이는 눈을 감았을 때와 눈을 떴을 때(따라서 방의 모든 주변 광이 사용자의 눈에 들어갈 수 있게 함) 사용자의 눈에 들어오는 광 사이의 콘트라스트가, 발명자(들)에 의해 사용자가 알코올이나 다른 약물을 소비한 후 동공 반사를 트리거링하고 동공 반사의 차이를 검출하는 데 충분한 것으로 보여졌기 때문에 매우 유리하다.
다른 예시적인 시스템은 디바이스의 동일한 면 상에 디스플레이 및 카메라를 제공하고; 디스플레이는 가시광 자극을 제공하여 사용자의 눈을 자극하고 동공 반사를 촉진한다. 카메라는 동시에 동공 반사의 이미지 데이터를 수신한다. 따라서, 본 개시에 따른 예시적인 디바이스는 건강 전문가 또는 비건강 전문가인 사용자에 의해 사용될 수 있는 현재의 시스템 및 방법보다 더 확장 가능하고(접근 가능하고, 저렴하고, 편리하고) 더 정확한(객관적이고 정량적인) 시스템을 제공할 수 있다. 예를 들어, 이전 시스템에서는, 스마트폰 후면 상의 후향 카메라와 플래시를 사용하여 동공 광 반사를 측정하려고 시도되었지만, 사용자는 해당 시스템을 사용하여 PLR을 자체 측정할 수 없고, 따라서 두 번째 측정-조작자에 대한 의존을 필요로 하며 복수의 측정-조작자로 인한 잠재적인 종단 측정 불일치가 있었다. 그러나, 모바일 디바이스의 전면은 플래시를 포함하고 있지 않아 동공 광 반사를 초기화하기 위한 자극을 생성할 수 없기 때문에 이전 시스템에서는 전향 카메라를 사용하려고 시도하지 않았다.
따라서, 본원에 설명된 방법 및 특징에 기초하여, 자극을 제공하기 위해 스마트 폰 또는 유사한 디바이스의 전면 상의 디스플레이가 이용될 수 있다는 것이 발견되었다. 이는 전향 카메라와 디스플레이를 사용함으로써 사용자 스스로가 스마트폰이나 다른 관련 디바이스를 사용하여 보다 정확하고 빈번하게 동공 광 반사 측정을 수행할 수 있게 하므로 매우 유리하다. 이는 더 저렴하고 사용하기 쉽다는 등의 이유로 개시된 시스템을 일반적으로 더 확장할 수 있게 한다. 예를 들어, 디스플레이가 또한 디바이스의 전면 상에 있기 때문에 사용자는 다른 사람의 도움 없이도 눈을 올바르게 정렬할 수 있다. 이는 다른 간병인이 측정을 수행할 필요가 없기 때문에 사용자가 자주 측정을 수행할 수 있게 한다. 따라서, 시스템은 사용자가 데이터를 더 자주 수집하고 건강 상태에 대한 종단 데이터(longitudinal data)를 얻을 수 있게 한다(반면, 베이스라인 및 베이스라인으로부터의 편차를 확립하는 것을 포함하여 종단 데이터가 필요한 특정 조건을 식별하는 데 단일 측정으로는 충분하지 않을 수 있다). 또한, 디스플레이를 이용하여 자극을 제공하는 것은 표시될 수 있는 강도 및 컬러 범위가 주어지면 시스템이 자극의 보다 정밀한 제어 및 가변성을 가질 수 있게 할 것이다. 마지막으로, 적외선 검출을 이용한 일부 실시예에서, 이러한 시스템은 측정 광이 동공의 2차 반응을 유발하지 않기 때문에 - 이는 디스플레이가 후향 플래시보다 더 낮은 최대 강도를 갖기 때문에 2차 반응이 충분한 동공 광 반사를 기록하는 능력을 금지할 수 있으므로 중요함 - 적외선 검출이 눈에 의해 생성되는 충분한 동공 반응을 허용하므로 특히 유리할 수 있다. 일부 예에서, 개시된 시스템은 스마트폰 또는 다른 휴대용 컴퓨팅 디바이스를 포함한다. 이러한 시스템은 빈번하고 정확한 데이터 수집을 가능하게 하며, 이는 사용자 건강에 대한 중요한 정량적 데이터를 제공할 수 있다. 일부 예에서, 본원에 추가로 논의되는 바와 같이, 본 개시는 사용자에 대한 베이스라인 동공 메트릭 측정치를 생성하는 데 사용될 수 있는 종단 건강 데이터의 수집을 제공한다. 따라서, 본 개시는 질병 및/또는 외상 진행을 모니터링하고/모니터링하거나 개별화된 종단 건강 베이스라인을 확립하는 데 사용될 수 있는 사전 진단, 외상 전 및/또는 질병 전 측정치를 제공한다.
일부 예에서, 가시적 자극은 완전한 동공 반사를 촉진하기에 충분한 광자 에너지를 생성한다. 예시적인 방법은 광 강도 임계값에 도달하기 전에 데이터를 수집하는 단계, 및 동공 반응에 영향을 미치는 다른 인자의 함수로서 동공 메트릭을 결정하는 단계를 추가로 포함한다. 전향 디스플레이 및 전향 카메라의 사용은 개시된 시스템이 이미지 캡처 동안 주변 조명 조건을 제어하여 첫 번째 의도적인 동공 반응을 측정할 때 2차의 우발적 동공 반응이 개시되지 않도록 보장할 수 있다. 일부 예에서, 예시적인 방법은 주변 광 수준이 검출된 동공 메트릭에 미치는 효과를 설명하기 위해 주변 광 수준을 검출한다. 일부 예에서, 광 강도 임계값에 도달하기 전에 수집된 데이터는 사용자의 동공 메트릭에 대한 베이스라인 값을 제공한다.
본 개시의 일부 예는 얼굴을 조명하기 위해 가시적 자극을 사용한 다음 이미지 캡처를 위해 비가시 방출을 사용하는 것을 추가로 제공한다. 비가시적인 것의 사용은 데이터를 변질시키는 의도하지 않은 자극 반사를 피한다. 또한, 동공 광 반사를 촉진하기 위해 광 자극 강도와 주변 조명 조건 사이에 필요한 높은 수준의 콘트라스트로 인해, 일부 예에서는 조명이 어두운 조건에서 평가를 수행하는 것이 유리할 수 있다. 그러나, 일부 예에서는 방의 어두움이 고품질 눈 이미지를 캡처하는 데 방해가 될 수 있으므로 조명이 어두운 영역에서 평가를 수행하는 것이 문제가 된다. 예를 들어, 특히 더 많이 착색되거나 더 어두운 홍채를 갖는 개인의 경우, 동공과 홍채 구성 요소 사이에 최소한의 콘트라스트가 경우가 종종 있다. 추출 및 메트릭 계산을 위해 특징을 적절하게 세그먼트화하기 위해 이러한 2개의 특징 간의 구별이 중요하다. 적외선 카메라 또는 다른 적외선 하드웨어는 효과적인 특징 세그먼트화를 위해 고해상도 동공 이미지를 추가로 제공한다.
동공 메트릭 측정을 위한 시스템
도 1은 본 개시의 일부 구현에 따른 예시적인 시스템(100)을 제공한다. 일부 예에서, 시스템(100)은 스마트 폰, 스마트 워치, 태블릿, 컴퓨팅 디바이스, 헤드 기어, 헤드 세트, 가상 현실 디바이스, 증강 현실 디바이스, 또는 물리적 신호를 수신하고 해석할 수 있는 임의의 다른 디바이스이다. 시스템(100)은 하우징(110), 디스플레이(112), 카메라(114), 스피커(118), 진동 모터(120) 및 센서(116)를 포함한다. 도 1은 시스템(100)의 전면을 도시한다. 시스템은 또한 하우징(110)(미도시)의 후면 상에 카메라(114)를 포함할 수 있다.
하우징(110)은 디스플레이(112), 카메라(114), 스피커(118), 진동 모터(120) 및 센서(116)를 위한 케이스를 제공한다. 하우징(110)은 예를 들어, 프로세서, 메모리, 무선 통신 요소 및 본 기술 분야의 통상의 기술자에 의해 용이하게 고려되는 임의의 다른 요소를 포함하는 시스템(100)의 임의의 컴퓨팅 구성 요소(미도시)를 추가로 포함한다. 컴퓨팅 구성 요소는 본원에 추가로 논의되는 임의의 프로세스를 완료하도록 구성된 임의의 소프트웨어를 추가로 포함한다.
디스플레이(112)는, 예를 들어, 스마트폰, 스마트 워치, 광학 헤드셋 또는 임의의 다른 디바이스의 스크린이다. 일부 예에서, 디스플레이(112)는 LCD 스크린, OLED 스크린, LED 스크린 또는 이미지, 텍스트 또는 다른 유형의 그래픽 디스플레이를 보여주는 본 기술 분야에 알려진 바와 같은 임의의 다른 유형의 전자 디스플레이이다. 예를 들어, 스크린은 복수의 발광 다이오드 또는 복수의 픽셀을 생성하기 위한 다른 수단을 제공한다. 각각의 픽셀은 광 자극을 표시한다.
디스플레이(112)는 가시광을 방출하도록 구성된다. 일부 예에서, 디스플레이(112)는 디스플레이(112)의 표면 영역의 일부 상에 광을 방출하고; 다른 예에서, 디스플레이(112)는 디스플레이(112)의 모든 표면 영역 상에 광을 방출한다. 디스플레이(112)에 의해 방출된 광은, 자동으로 광을 방출하고 가시 자극을 증가 또는 감소시키도록 제어될 수 있다. 일부 예에서, 디스플레이(112)는 카메라(114)에 의해 캡처된 이미지 데이터를 보여준다. 디스플레이(112)는 또한 사용자에게 텍스트 및 메시지를 표시할 수 있다. 일부 예에서, 디스플레이(112)는 카메라(114)로부터 출력된 이미지 데이터의 라이브 피드(live feed)를 표시할 수 있다.
카메라(114) 또는 카메라들(114)은 카메라(114) 전방 시야의 이미지 데이터를 수신한다. 일부 예에서, 카메라(114)는 사진 및/또는 비디오 데이터를 수신한다. 일부 예에서, 카메라(114)는 연속적인 사진 데이터를 수신한다(예를 들어, 초, 밀리초 또는 마이크로초의 간격으로). 일부 예에서, 카메라(114)는 가시광 카메라이다. 일부 예에서, 카메라(114)는 적외선 카메라이고 적외선 방출기를 포함한다. 일부 예에서, 카메라(114)는 특정 자극의 검출에 기초하여 이미지 데이터(예를 들어, 사용자의 얼굴, 사용자의 눈, 사용자의 동공 및/또는 사용자의 홍채) 캡처를 자동으로 개시한다. 일부 예에서, 카메라(114)는 복수의 카메라이다.
센서(116)는 예를 들어, 광 센서, 근접 센서, 주변 센서 및/또는 적외선 센서 중 임의의 것을 포함한다. 일부 예에서, 센서(116)는 카메라(114)에 통신 가능하게 커플링되고 카메라(114)에 의해 캡처된 이미지 데이터를 개시 및/또는 종료하도록 구성된다. 도시된 바와 같이, 센서(116)는 카메라(114)와 시스템(100)의 동일한 면 상에 있다. 일부 예에서, 센서(116)는 카메라(114)에 근접하게 배치된다.
도 2는 본 개시의 일부 구현에 따른 사용자의 얼굴의 이미지 데이터를 수신하도록 구성된 예시적인 시스템(200)을 도시한다. 시스템(200)은 시스템(100), 카메라(114), 사용자의 눈(202), 사용자의 머리(204) 및 카메라 시야(206)를 포함한다. 시스템(100) 및 카메라(114)는 도 1과 관련하여 위에서 논의된 바와 같을 수 있다. 도 2는 카메라(114)가 사용자(204)를 향하도록 시스템(100)이 위치될 수 있다는 것을 도시한다. 예를 들어, 사용자(204)의 눈(202)은 카메라(206)의 시야에 있을 수 있다. 사용자(204)가 시스템(100)을 사용자의 얼굴 전방에 위치시킬 때 본 개시의 다양한 실시예가 수행될 수 있다.
동공 반응을 분석하기 위한 방법
동공 광 반사(Pupillary Light Reflex; PLR)는 자율 신경계 기능의 중요한 메트릭으로서의 역할을 할 수 있는 광에 대한 반응으로 동공의 수축 및 후속 확장을 설명한다. PLR의 측정치는 신경계(및 잠재적으로 다른 시스템)의 다양한 신경계 경로의 이상을 나타내는 지표로 사용될 수 있으며 후속적으로 진행되는 질병의 검출 목적으로 사용될 수 있다. 본원에 설명되는 바와 같이, "건강 상태"는 동공 광 반사 측정 자체를 포함할 수 있다.
예를 들어, 알코올 중독, 계절성 정서 장애, 정신분열증 및 범불안 장애와 같은 정신 건강 장애, 알츠하이머병 및 파킨슨병, 자폐 스펙트럼 장애뿐만 아니라 당뇨병과 연관된 녹내장 및 자율 신경 장애는 PLR의 이상(anomaly)을 유발할 수 있다. 아래에 설명된 방법은 스마트폰 또는 유사한 디바이스를 사용하여 수행되는 PLR의 하나의 구성 요소의 이러한 하나의 측정을 설명한다. 일부 실시예에서, 스마트폰은 PLR 측정을 위한 표현형(phenotypic) 데이터를 캡처할 수 있을 뿐만 아니라, 로컬로 그리고 실시간으로 데이터를 프로세싱할 수도 있다. 유사하게, 눈/얼굴로부터 측정된 다른 정량화 가능한 특징 추출(예를 들어, 공막 컬러 및 침착 밀도)도 로컬로 프로세싱될 수 있다. 따라서, 사용자의 프라이버시가 더 잘 보호되고 측정에 걸리는 시간이 감소될 수 있다. 본 방법 및 시스템은 또한 동공의 동적으로 변하는 직경의 계산을 허용할 수 있다. 방법 및 시스템은 실시간 검출 통계 편차를 검출하기 위한 보다 견고한 베이스라인을 생성할 수 있다. 이러한 편차는 측정이 인과적으로 연결된 생리계의 이상 징후일 수 있다.
본원에 설명된 PLR 측정은, 운동 피질을 통해 신경을 통해 프로세싱된 후 눈이나 눈들의 측정 가능한 깜박임(수의 신경계(voluntary nervous system) 경로에서 발생하는 생리학적 변화의 측정일 수 있음)을 유발하는 사용자에 의해 판독되는 스크린 상에 투사된 "깜박임"이라는 단어에 대한 반응에서의 사용자의 깜박임 속도의 수의 반사, 공막(눈의 흰색이 컬러 구배를 적색 또는 황색으로 변경함) 다른 눈 특징 및 홍채 및 각막 고리(예를 들어, 콜레스테롤 침착 및 심혈관 위험) 및 얼굴/눈으로부터 추출된 몇몇 다른 측정된 특징을 포함하지만 이에 한정되지 않는 다른 측정과 시간 및 공간적으로 커플링될 수 있다. 이러한 특징은 사용자에 의해 공간적 및 시간적 근접성 내에서 측정되어 보다 효율적인 사용자 경험을 제공할 수 있으며, 사용자의 생활 환경(예를 들어, 가정 또는 비의료 환경)으로부터 편리하고 저렴하며 액세스 가능하게 개별 기준으로 양적 및 종단적으로(시간 내내) 측정되고 베이스라인-확립될 수 있다. 이러한 데이터는 의료 환경에 들어가기 전에 다양한 생리계(예를 들어, 신경, 심장 등)에 대한 통찰력을 본원에 설명된 바와 같이 대량의 통계적으로 중요한 규모로 생성할 수 있다.
도 3은 본 개시의 다양한 실시예에 따라 수행될 수 있는 예시적인 방법(300)을 도시한다. 방법(300)은 도 1 및 도 2와 관련하여 논의된 바와 같이 시스템(100 및 200) 상에서 수행될 수 있다. 일부 예에서, 방법(300)은 어두운 방, 희미하게 조명된 방, 자연 채광이 있는 방, 또는 임의의 다른 환경에서 수행된다. 일부 예에서, 방법(300)은 예를 들어, 광과 같은 외부 변수가 최소이고 제어 가능한 경우 사용자에 의해 밤에 또는 취침 시간 전에 수행되는 것을 포함하여 반복적으로 수행된다.
방법(300)은 일부 예에서 디스플레이(예를 들어, 도 1의 디스플레이(112) 또는 센서(116))에 의해 가시광 자극을 방출하거나 사용자가 사전 결정된 시간량 동안 눈을 감아야 한다는 지시를 디스플레이 상에 제공하여 광 자극을 제공함으로써 310에서 개시된다. 예를 들어, 광 자극은 동공 수축을 유발한다. 일부 예에서, 동공 수축은 가시광 자극과 주변 광 수준 사이의 콘트라스트가 증가함에 따라 증가한다. 제공된 가시광 자극의 양은 아래에 추가로 논의되는 도 4의 방법(1400)에 의해 결정될 수 있다.
310의 일부 예에서, 가시광 자극은, 카메라(예를 들어, 도 1의 시스템(100)의 카메라(114))가 사용자의 얼굴(예를 들어, 도 2의 사용자(204))이 적절한 공간적 거리에 있음을 검출할 때 자동으로 방출된다. 다른 예에서, 스크린은 사용자의 얼굴이 검출되면 눈을 감으라는 메시지를 사용자에게 표시할 수 있다. 일부 예에서, 디스플레이는 먼저 임박한 디스플레이 광 자극이 있을 것이라는 통지를 방출한다. 도 12를 간단히 참조하면, 예를 들어, 디스플레이는 사용자의 얼굴의 실시간 캡처된 이미지 데이터를 보여주고 사용자의 특징이 적절하게 검출되었다는 시각적 그래픽을 제공할 수 있다. 일부 예에서, 디스플레이는 도 1의 디스플레이(112)이다. 예를 들어, 원(1202)은 사용자의 눈 또는 코 상에 배치될 수 있다. 도 13을 간단히 참조하면, 디스플레이는 사용자의 눈, 입 및 코에 대한 예시적인 경계 박스를 보여준다.
다시 도 3을 참조하면, 일부 예에서, 310은 먼저 동공을 검출하는 것을 제공한다. 동공이 검출되지 않으면, 사용자는, 설정이 방법(300)에 대한 기준을 충족하지 않는다는 통지를 받는다.
그 후, 방법(300)은 320에서 사용자의 눈에 대응하는 이미지 데이터를 수신하는 것을 제공한다. 예시적인 이미지 데이터는 비디오 및/또는 사진 데이터를 포함한다. 일부 예에서, 이미지 데이터는 일정 기간에 걸쳐 수집된다(예를 들어, 도 1의 카메라(114)에 의해 수집된다). 일부 예에서, 비디오는 30 내지 60 프레임/초 또는 더 높은 프레임 레이트로 기록된다. 320의 일부 예에서, 정지 이미지의 세트가 카메라에 의해 생성된다. 320의 일부 예에서, 이미지 데이터는 그레이-스케일 비디오/이미지 세트로서 캡처되거나, 수신된 후에 그레이스케일로 변환된다.
320의 일부 예에서, 적목 반사, 동공 반응, 홍채 및 공막 데이터, 눈 추적 데이터 및 피부 데이터와 같은 특정한 시각적 자극이 포함된다.
그 후, 방법(300)은 330에서 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하도록 진행된다.
330의 일부 예에서, 수신된 이미지 데이터는 데이터를 필터링하기 위해 먼저 사전 프로세싱된다. 데이터 사전 프로세싱의 예시적인 유형은 아래에서 추가로 논의된다. 데이터를 사전 프로세싱하기 위한 간략한 예시적인 프로토콜에서, 320의 이미지 데이터는 이미지의 영역을 얻기 위해 잘리고 필터링된다. 예를 들어, 이미지는 밝기, 컬러 및 채도에 대해 설정된 임계값에 기초하여 필터링된다. 그 다음, 이미지 데이터는 그레이 스케일로 변환되어 동공과 홍채 간의 콘트라스트를 개선하고 동공-홍채 경계가 구분된다. 330의 일부 예에서, 형상 분석이 사전 선택된 원형도(circularity) 임계값에 기초하여 이미지 데이터를 필터링하기 위해 수행된다. 예를 들어, 픽셀은 형상 분석을 수행하기 위해 윤곽 및 볼록 형상에 대해 스캐닝된다. 330의 일부 예에서, 베이스라인 이미지는 사전 프로세싱을 돕기 위해 320의 수신된 이미지 데이터와 비교된다.
일부 예에서, 330은 이미지 데이터에서 검출된 바와 같이 동공 및 홍채 영역의 표면적을 결정하는 것을 추가로 제공한다. 예를 들어, 이미징 분석 소프트웨어 알고리즘은 각각의 이미지 사이의 경과 시간을 평가하여 일련의 기록된 이미지에 걸쳐 동공 크기 파라미터를 결정하여 시간 경과에 따라 동공 크기가 변하는 레이트를 결정한다.
일부 예에서, 식별 정보는 330에서 센서 데이터로부터 선택적으로 제거된다. 다르게 말하면, 가장 관련성이 관심 있는 핵심 표현형 특징이 미가공 이미지 데이터로부터 추출될 수 있다. 예시적인 특징은, 동공 속도(예를 들어, 크기 및 방향), 공막 컬러, 조직 염증의 측정 및/또는 다른 특성을 포함한다. 이러한 특징은 기본 미가공 데이터로부터 관련 메트릭을 추출한 후 스칼라 숫자로 표현될 수 있다. 식별될 수 있는 사용자의 이미지는 이용되지 않는다.
일부 예에서, 330은 추가 데이터가 필요한지를 결정하는 것을 제공한다. 예를 들어, 필요한 측정 유형과 적절한 유형의 측정치를 캡처하기 위한 사용자 명령을 식별하기 위해 디스플레이에 경보가 제공된다.
330의 일부 예에서, 특징은, (1) 동공이 예를 들어, 밀리초로 측정된 광 자극에 반응하는 데 걸리는 시간을 포함하는 동공 반응 지연 시간; (2) 관찰된 최대 동공 직경인 최대 직경; (3) 수축 기간 동안 관찰된 최대 속도인 최대 수축 속도(maximum constriction velocity; MCV); (4) 전체 수축 기간 동안 관찰된 평균 속도인 평균 수축 속도(average constriction velocity; ACV); (5) 관찰된 최소 직경인 최소 동공 직경; (6) 전체 확장 기간 동안 관찰된 평균 속도인 확장 속도; (7) 동공이 초기 직경 값의 75%에 도달하는 시간인 75% 회복 시간; (8) 시계열에서 취해진 모든 직경 측정치의 평균인 평균 직경; (9) 동공 이탈; (10) 베이스라인 동공 진폭; (11) 조명 후 동공 반응; (12) 최대 동공 직경; (13) 본 기술 분야에 알려진 바와 같은 임의의 다른 동공 반응 측정치; 및 (14) 이들의 조합을 포함한다. 330의 일부 예에서, 유사한 메트릭이 홍채에 대해 결정된다.
예를 들어, 수축 지연 시간은 수축(t플래시) - 수축(t초기)로 측정된다. 예를 들어, 수축 속도는 동공이 밀리미터/초로 수축하는 레이트의 측정이다. 예를 들어, 수축 진폭은 (광 노출 전 직경최대) - (광 노출 후 직경최소)로 측정된다. 예를 들어, 수축 퍼센티지는 수축 진폭을 직경최대의 퍼센티지로서 취하여 측정된다. 예를 들어, 확장 속도는 동공이 밀리미터/초로 확장하는 레이트의 측정이다. 위에 나열된 많은 특징은 본 기술 분야의 통상의 기술자에 의해 용이하게 고려되는 바와 같이, 제1 이미지에서 동공의 직경, 제2 이미지에서 동공의 직경 및 두 이미지 간의 시간 길이를 평가하여 도출될 수 있다. 또한, 본 기술 분야의 통상의 기술자는 확장 대기 시간, 확장 속도, 확장 진폭 및 확장 퍼센티지가 320에서 제공된 데이터에 기초하여 유사하게 계산될 수 있다는 것을 쉽게 이해할 것이다.
추가 특징은 예를 들어, 스크린 투사된 단어 "깜빡임"에 대한 수의 반사 속도(수의 신경계 경로의 측정치일 수 있음), 공막(눈의 흰색에서 황변까지) 컬러 특징, 홍채 및 각막 고리 특징(콜레스테롤 침착 및 심혈관 위험) 및 얼굴/눈으로부터 추출된 몇몇 다른 측정된 특징을 포함한다.
330의 일부 예는 수집된 이미지 데이터의 관찰된 궤적에 기초하여 동공 측정치를 내삽하거나 외삽하는 것을 제공한다.
그 다음, 방법(300)은 340에서, 330에서 식별된 동공 특징에 기초하여 건강 상태를 결정하는 것을 제공한다. 일부 예에서, 건강 상태는 동공 광 반사 측정치 자체 또는 다른 임상적으로 관련된 동공 측정 또는 특징일 것이다. 340의 일부 예에서, 330에서 결정된 바와 같은 특징은 이상(abnormality)을 식별하기 위해 건강한 개인의 대응하는 값과 비교된다. 일부 예에서, 특징은 사용자의 종단 데이터와 비교되며; 확립된 종단 베이스라인(개인)으로부터 현재 측정된 값의 변동은 질병 상태 또는 질병에 대한 성능 측정을 나타낼 수 있다. 340의 일부 예에서, 개별 사용자 베이스라인은 시스템(200)의 종단 사용에 걸쳐 확립되고, 330에서 식별된 동공 특징이 확립된 개별 베이스라인으로부터 1.5 표준 편차 또는 다른 사전 결정된 임계 편차만큼 벗어날 때 통지가 제공된다. 예를 들어, 임계 편차는 질병 상태에 따라 다르다. 일부 예에서, 340은 개별 사용자가 방법(300)에 따라 20개의 개별 PLR 측정을 제공할 때까지 건강한 개인의 보편적인 또는 외부 데이터베이스에 의존한다.
방법(300)의 일부 예에서, 이미지 데이터는 사용자의 양쪽 눈의 데이터를 포함한다. 330에서, 각각의 동공의 반사는 별도로 분석되지만, 340에서, 각각의 눈 사이의 다양한 동공 광 반사가 질병 상태(예를 들어, 뇌졸중)를 말해줄 수 있기 때문에 두 눈의 특징은 건강 상태를 결정하기 위해 함께 분석된다.
방법(300)의 일부 실시예에서, 수신된 데이터에 기초하여 경보가 제공된다. 예를 들어, 질병에 대한 디지털 마커가 검출되면 시스템(100)에 의해 사전 질병 검출 경보가 수신되고, 예를 들어, 디스플레이(112) 상에 제시된다. 일부 실시예에서, 오디오 경보가 그래픽 경고를 보완하거나 대체할 수 있다. 따라서, 사용자는 발병하는 질병, 장애 또는 질병 전조를 인식하고 추가 조치를 취할 수 있다. 신체 검사를 위해 의사에게 연락하라는 제안과 같이 상술한 다른 정보도 수신 및 제시될 수 있다.
도 2의 시스템(200) 및 도 3의 방법(300)의 일부 예에서, 스마트폰은 손에 그리고 제어된 주변 광을 갖는 실내에서 사용자의 얼굴로부터 자연스럽게 제어된 보기 공간 거리에 보유된다(예를 들어, 다른 거리가 가능할 수 있지만, 사용자의 얼굴로부터 수평으로 6 내지 24 인치 또는 6 내지 12 인치 내, 눈의 높이으로부터 수직으로 6 인치 내 그리고 사용자의 코의 (사용자에 대해 우측에서 좌측으로) 수평으로 6 인치 내). 일부 실시예에서, 제어된 시간량(예를 들어, 적어도 5초) 동안 스마트폰을 이 위치에 보유하는 것은, 기록 동안 스마트폰 상의 터치스크린 또는 다른 광원으로부터 또는 사전 결정된 시간량 동안 사용자가 눈을 감아야 한다는 것을 나타내는 디스플레이로부터 제공된 광의 짧은 강렬한 플래시의 자극에 의해 촉진될 때 HD에서 초 당 60+ 또는 120+ 프레임으로 피험자의 얼굴(특히 눈 및 동공의 반사)을 비디오 기록하기 위해 (센서 및 소프트웨어를 통해) 앱을 활성화할 것이다. 일부 예에서, 광의 플래시는 초점이 맞춰져 있고, 그 기원과 동공에 도달하는 광의 강도 둘 모두로부터 알려진 강도는 또한 소스와 동공으로부터의 거리의 제곱과의 알려진 역 관계에 의해 추론될 수 있다. 따라서, 사용자의 얼굴 이미지는 강렬한 광의 짧은 플래시 전, 도중 및 후에 캡처된다. 일부 실시예에서, 기록은 광의 플래시 또는 사용자가 눈을 뜨도록 지시받기 전 적어도 1초 및 5초 이하에서 개시되고 광의 플래시 또는 사용자가 눈을 뜬 후 적어도 3초 및 8초 이하 동안 계속된다. 참고로, 동공에 도달하는 강도는 동공과 광원 사이의 거리의 제곱과의 알려진 역 관계에 의해 추론될 수 있다.
예시적인 동공 반응 곡선
도 4a는 예시적인 동공 반응 곡선 및 해당 곡선의 상이한 지점에서 식별될 수 있는 다양한 특징을 도시한다. 예를 들어, 이러한 특징은 위에서 논의된 방법(300)과 관련하여 분석된다. 도 4a는 광 자극이 제공될 때 베이스라인 동공 직경이 먼저 검출되고; MCV, MCA 및 동공 이탈이 후속하여 평가된다는 것을 예시한다. 광 자극이 꺼지면, 조명 후 동공 반응(post-illumination pupil response; PIPR)이 평가될 수 있다.
도 4b는, (1) 대기 시간, (2) 수축 속도, (3) 수축 진폭, (4) 수축 퍼센티지 및 (5) 확장 속도를 포함하는 다른 예시적인 PLR 곡선을 도시한다. 점선은 실선으로 도시된 정상 PLR 곡선보다 증가된 대기 시간, 더 느린 속도 및 감소된 진폭을 갖는 비정상 PLR 곡선을 도시한다.
데이터 사전 프로세싱 및 프로세싱
330의 일부 예에서, 수신된 이미지 데이터는 사전 프로세싱된다. 예시적인 사전 프로세싱 기술이 여기에서 논의된다.
시퀀스의 프레임은 동공의 자연스러운 변동, 홍채의 컬러 분산뿐만 아니라 디바이스 자체에 의해 유발된 분산의 시스템의 노이즈를 제거하기 위해 평활화된다. 가우스 평활화 연산자가 이미지를 약간 흐리게 하고 노이즈를 감소시키는 데 사용될 수 있다. 2D 가우스 식은 이하의 형태를 갖는다:
Figure pct00001
식 1
여기서, 시그마는 분포의 표준 편차이며, 이는 다음에 의해 주어질 수 있다:
Figure pct00002
식 2
여기서 x는 i번째 PLR 측정치, μ는 평균(mean) PLR, 그리고 N은 PLR 측정의 전체 수이다. 일부 실시예에서, +/- 1 표준 편차 또는 +/- 1.5 표준 편차와 같이 확률적으로 중요한 PLR의 특정 측정치는 이상이 신경계에서 검출되었다는 경보를 트리거링한다. 이러한 일부 실시예에서, 경보는 특정 질병 전 상태에 대한 것일 수 있다. 다른 실시예에서, 경보는 단순히 이상이 검출되었음을 나타낼 수 있다.
본 개시의 일부 예에서, PLR은 평활 푸리에(Fourier) 변환으로 표현된다. 예를 들어, 평활화된 그레이스케일 프레임의 히스토그램 표현을 사용할 때, 임계 함수는 이미지를 이진화한다. 이러한 임계 함수는 히스토그램 상의 어두운 픽셀과 밝은 픽셀 사이의 구분에 의해 결정될 수 있다. 이에 기초하여, 이미지의 흰색 부분은 1로, 이미지의 검은색 부분은 0으로 라벨링하여 동공으로부터 공막을 구분하는 방식으로 이미지가 이진화될 수 있다. 이는 분석을 위해 동공을 명료하게 나타내는 흰색 원을 갖는 검은색 정사각형을 효과적으로 생성한다. 동공은 일반적으로 타원 형상이지만, 축을 평균화하여 원으로 표현될 수 있다. 직경은 서로 가장 멀리 떨어진 2개의 흰색 픽셀 사이의 픽셀로 측정될 수 있다. 이러한 픽셀 측정치는 눈 부근에 있는 알려진 치수의 기준점을 사용하여 밀리미터로 변환될 수 있다. 예를 들어, 얼굴로부터의 스마트폰의 깊이는 스마트폰의 도트 프로젝터를 사용하여 결정될 수 있다.
광의 함수로서 동공 직경 플럭스의 관점에서 동공 광 반사를 설명하는 미분 식은 다음과 같이 작성될 수 있다:
Figure pct00003
식 3
Figure pct00004
식 4
D는 동공의 직경(mm)으로 측정되며, Φ(t - τ)r은 시간 t에서 망막에 도달하는 광의 강도를 나타낸다. 따라서, 비디오의 데이터로부터의 데이터(예를 들어, 각각의 프레임에서 동공을 나타내는 흰색 원의 직경, 프레임 사이의 시간 및 픽셀과 밀리미터 사이의 변환)를 사용하여, 위의 미분 식을 이용하여 동공 속도를 결정할 수 있다. 광의 플래시(직경 감소) 및 회복(직경 증가)에 반응하는 동공 속도 모두가 결정될 수 있다.
일부 예에서, 사전 프로세싱은 각각의 개인의 눈의 영역을 포함하도록 푸티지(footage)를 자르는 것을 포함한다. 이는 알려진 사람 얼굴 구조의 간단한 휴리스틱(heuristic)을 적용하여 구현될 수 있다. 그 다음, 푸티지는 프로세싱을 위해 제출될 수 있으며, 이러한 프로세싱은 예를 들어, 수신된 시각적 자극을 하나씩 프로세싱될 일련의 이미지로 분해하는 것을 포함한다. 이미지 캡처 동안 안경의 수차, 깜박임 및 작은 손 움직임을 제거하기 위해 이미지가 조작된다. 윤곽 구배의 엔트로피를 사용하는 동공 경계 검출은, 각 동공의 크기를 추출하고 시각화될 수 있는 데이터 시리즈를 생성하는 데 사용될 수 있다.
일부 실시예에서, 눈 추적기(eye tracker)는 다른 수준의 확장으로 눈의 프레임을 캡처하는 데 사용될 수 있다. 사용자는 각 프레임의 동공 직경에 수동으로 태깅(tagging)할 수 있다. 태깅된 데이터를 사용하여, 세그먼트화 모델이 태깅된 동공을 사용하여 훈련될 수 있다. 예를 들어, U-넷(Net) 또는 유사한 서비스가 직경이 추론될 수 있는 형상을 출력하는 데 사용될 수 있다. 비디오의 기록된 프레임을 프로세싱하고 시간 경과에 따른 동공 확장을 그래프로 나타내기 위해 파이프라인이 구현될 수 있다.
데이터 프로세싱의 일부 예에서, 색조(hue), 채도 및 밝기 값이 수신된 이미지 데이터를 필터링하는 데 사용된다. 예를 들어, 픽셀이 60보다 큰 "V" 값(밝기를 나타냄)을 갖는 경우 픽셀이 필터링될 수 있다. 다른 예에서, 픽셀은 LAB 값에 기초하여 필터링될 수 있으며, 여기서 "L"은 픽셀의 밝기를 나타내고, "A" 및 "B"는 컬러 반대 값(color-opponent value)을 나타낸다. 동공은 눈의 가장 어두운 특징이기 때문에, 50보다 큰 "L" 값을 갖는 픽셀은 필터링 아웃되어, 상대적으로 더 어둡고 동공을 포함할 가능성이 더 높은 픽셀만 남길 수 있다.
추가의 예시적인 프로세싱 단계는, (1) 필터링된 이미지를 복제하고, 관심 영역(region of interest; ROI)만을 보여주기 위해 필터링된 것을 폐기하는 단계, (2) 필터링된 ROI 픽셀을 그레이 스케일로 변환하는 단계, (3) 예를 들어, 45보다 큰 L 값을 갖는 픽셀을 필터링함으로써 밝기 또는 강도 값에 기초하여 그레이 스케일 픽셀을 필터링하는 단계, (4) 윤곽 및 볼록 형상에 대해 나머지 픽셀을 스캐닝하는 단계, (5) 픽셀의 그레이 스케일 값에서 증분 구배에 대해 픽셀을 스캐닝하는 단계, (6) 윤곽에 기초하거나 윤곽에 의해 정의된 형상을 구성하는 단계, (7) 크기 및 원형도에 기초하여 해당 형상을 필터링하는 단계, (8) 동공 영역 및 홍채 영역의 표면적을 결정하는 단계 및 (9) 시간 경과에 따라 2개의 영역에서의 상대 변화를 결정하는 단계를 포함한다.
원형도에 기초한 필터링의 일부 예에서, 디바이스는 1.0 원형도 값이 아니거나 그 부근에 있지 않는 값을 필터링한다. 예를 들어, 원은 1.0 또는 1.0 부근의 원형도 값을 가지며, 길쭉한 타원은 0.25 부근의 원형도 값을 가질 수 있다.
동공 특징에 기초한 건강 상태 예측
도 3의 방법(300)의 340의 다양한 양태는 사용자가 다양한 질병 상태, 질병 중증도 또는 다른 건강 질환을 갖는지를 식별하는 데 사용될 수 있다. 아래의 도 5 내지 도 7은 예시적인 건강 상태에 대응하는 예시적인 데이터를 예시한다.
도 5는 평균 측정된 동공 반응이 알츠하이머병과 상관됨을 도시한다. 예를 들어, 도 5는 대기 시간, MCV, MCA 및 진폭이 인지적으로 건강한 환자 그룹과 알츠하이머병 환자 그룹 사이에 상당한 차이를 가짐을 도시한다.
도 6a 및 도 6b는 본 개시의 일부 구현에 따른 인지 부하에 대한 예시적인 동공 반응을 도시한다. 도 6a 및 도 6b는 정신 감각 동공 반응과 알츠하이머병이 상관됨을 예시한다. 인지 부하는 피험자가 3, 6 또는 9자리 범위를 기억할 수 있는지에 의해 측정된다. 도 6a 및 도 6b는 인지 부하가 증가함에 따라, 기억 상실 단일 영역 경도 인지 장애(single-domain mild cognitive impairment; S-MCI) 그룹이 인지 건강 대조 그룹(control group; CN)보다 상당히 더 큰 동공 확장을 보여주었다는 것을 예시한다. 또한, 특정 인지 부하에서, 다중 영역 경도 인지 장애(multi-domain mild cognitive impairment; M-MCI) 그룹은 인지 정상 그룹 및 S-MCI 그룹 모두보다 상당히 더 적은 확장을 보였다. 이는 그룹의 능력을 훨씬 넘어서는 인지 부하를 나타낸다.
도 7은 본 개시의 일부 구현에 따른 경도 인지 장애의 함수로서 예시적인 동공 반응을 도시한다. 예를 들어, 이러한 데이터는 3자리 부하로부터 6자리 부하까지 반응하여 동공 확장이 증가하지만, 9자리 부하에서 용량에 도달하여 감소함을 보여준다. 따라서, 본 개시는 더 낮은 인지 능력을 갖는 개인이 더 낮은 부하에서 더 큰 동공 확장을 나타내고 더 높은 부하에서 더 작은 동공 확장을 보일 것으로 고려한다.
동공 세그먼트화
본 개시는 동공 세그먼트화 방법을 제공한다. 눈의 이미지 데이터는 동공, 홍채, 공막의 3개의 주요 부분으로 세그먼트화될 수 있다. 이미지 세그먼트화 알고리즘이 원하는 세그먼트화를 제공하기 위해 사용될 수 있다.
도 8은 예시적인 동공 세그먼트화 프로세스를 도시한다. 먼저 눈의 그레이스케일 이미지가 수신된다. 그 다음, 각 픽셀의 그레이 수준에 기초하여 밸런싱된 히스토그램이 생성된다. 예를 들어, 밸런싱된 히스토그램 임계 세그먼트화, K-평균(means) 클러스터링 또는 에지 검출 및 영역 채우기가 사용될 수 있다. 예시적인 밸런싱된 히스토그램 세그먼트화 알고리즘은 픽셀이 동공에 대응하는지 결정하기 위해 임계 그레이 수준을 설정한다. 동공에 대응하는 픽셀은 가장 어두운 픽셀일 것이다.
일 예에서, K-평균 클러스터링은 초기 클러스터 중심으로서 k개의(예를 들어, k는 이 예에서 4개의) 데이터 값을 선택한다. 각 클러스터 중심과 각 데이터 값 사이의 거리가 결정된다. 각 데이터 값은 가장 가까운 클러스터에 할당된다. 그 다음, 모든 클러스터의 평균이 업데이트되고 더 이상 클러스터링이 가능하지 않을 때까지 프로세스가 반복된다. 각 클러스터는 동공의 픽셀을 포함하는 클러스터를 결정하기 위해 분석되어 세그먼트화 결과를 얻는다. 이러한 방법은 검은 동공, 흰색 공막, 유색 홍채 및 피부 배경의 다른 컬러를 갖는 눈의 4개의 주요 부분에 기초한 배경으로부터 관심 영역을 세그먼트화하는 데 사용될 수 있다.
도 8에 도시된 방법은 이미지를 향상시키고 동공의 지배적인 픽셀을 링크하는 에지 검출 및 영역 채우기를 추가로 제공한다. 특정 형상과 크기의 구멍이 세그먼트화의 최종 결과를 얻기 위해 채워진다.
세그먼트화 후, 픽셀로 측정된 동공의 면적이 결정된다. 이러한 픽셀 측정은 이미지 데이터를 수집한 카메라의 스케일에 기초하여 물리적 크기(예를 들어, 밀리미터)로 변환된다.
적목 반사
도 9는 본 개시의 일부 구현에 따른 예시적인 적목 반사 데이터 수집을 도시한다. 예를 들어, 사용자 눈의 망막에서 적색 반사를 강조 표시하는 이미지 데이터가 수집된다. 그 다음, 본 개시는 적색 반사가 희미한지(사시증(Strabismus) 또는 망막모세포종(retinoblastoma)의 징후일 수 있음), 반사가 황색인지(코트(Coat)병의 징후일 수 있음) 및/또는 반사가 백색인지 또는 아이샤인(eyeshine)을 포함하는지(망막모세포종, 백내장, 망막 박리 및/또는 눈 감염의 징후일 수 있음) 결정하는 것을 제공한다. 따라서, 이러한 방법은 도 3의 방법(300)의 330 및 340에 따라 건강 상태를 결정하는 데 사용되는 특징을 제공할 수 있다.
각막 광 반사
도 10은 본 개시의 일부 구현에 따른 예시적인 각막 광 반사 데이터 수집을 도시한다. 예를 들어, 사시증(눈의 오정렬)의 정도를 캡처하는 이미지 데이터가 수집된다. 그 후, 본 개시는, 캡처된 데이터가 (A) 동공의 중심에 있는 작은 광 도트; 및 눈의 오정렬을 예시하는, 동공의 중심으로부터 도트 배치의 (B), (C) 및 (D) 편차 중 임의의 것을 포함하는지 결정하는 것을 제공한다. 따라서, 이러한 방법은 도 3의 방법(300)의 330 및 340에 따라 건강 상태를 결정하는 데 사용되는 특징을 제공할 수 있다.
동공 직경 측정
도 11은 예시적인 동공 직경 측정을 도시한다. 예를 들어, 1112 및 1122는 각각 피험자(1110 및 1120)에 대한 베이스라인 동공 직경을 도시한다. 피험자(1110)는 건강하고 피험자(1120)는 알츠하이머병을 갖고 있다. MCV 및 MCA가 본원에 논의된 방법에 기초하여 계산될 수 있다.
시각적 자극의 양 결정
도 14의 방법(1400)은 디스플레이에서 제공하기 위한 시각적 자극의 양을 결정하기 위한 예시적인 방법을 제공한다. 예를 들어, 방법(1400)은 도 3의 방법(300)의 단계 310의 일부로서 수행된다. 일부 예에서, 방법(1400)은 도 1 및 도 2의 시스템(100 및 200) 상에서 각각 수행된다. 일부 예에서, 디스플레이 자극은 사용자가 눈을 뜨고 있다는 결정 또는 경과된 시간에 기초하여, 사용자가 눈을 뜨기 전 또는 눈을 뜨고 있을 때 디스플레이로부터 광 자극을 제공함으로써 눈꺼풀 매개 반응과 함께 이용될 것이다. 따라서, 눈을 감을 때 동공의 암순응, 눈을 뜨는 것 및 광 자극의 조합은 일부 실시예에서 충분한 동공 광 반사를 트리거링하는 데 필요할 수 있는 더 큰 광 자극을 제공하도록 조합될 것이다.
방법(1400)은 1410에서 광 자극이 제공되지 않을 때 제1 이미지 데이터를 수신함으로써 개시된다. 예를 들어, 시스템(100)의 카메라(114)는 디스플레이(112) 또는 센서(116)로부터 광 자극을 제공하지 않고 사용자의 이미지 데이터를 수신한다.
방법(1400)은 1410으로부터 수신된 제1 이미지 데이터에 기초하여, 1420에서 제공할 광속의 양을 결정하는 것을 제공한다.
1420의 일부 예에서, 디스플레이로부터 출력되는 광의 유형도 결정된다. 예를 들어, 표시될 광의 파장(또는 가시광 스펙트럼 내의 광의 컬러)이 결정된다. 사용자의 각각의 눈은 다른 컬러로 활성화되는 멜라닌 색소 수용체를 갖는다. 따라서, 1420은 광의 파장(또는 컬러)을 제어하여 사용자의 눈과 특정 수용체 경로에 있는 특정 멜라닌 색소 수용체를 활성화시키는 것을 제공한다. 일부 예에서, 이러한 경로는 특정 수용체 경로에 의해 매개되는 질병의 묘사를 허용한다. 이는 또한 주변 광 결정에 기초할 수 있다. 따라서, 시스템은 주변 광의 양 및 주변 광의 파장에 기초하여 자극으로서 디스플레이의 출력을 변조할 수 있다.
그 후, 방법(1400)은 1430에서 광속을 출력하기 위해 디스플레이의 면적을 결정하는 것을 제공한다. 일부 예에서, 전체 디스플레이 표면적이 사용된다. 다른 예에서, 디스플레이 표면적의 일부만이 사용된다.
방법(1400)의 일부 예에서, 광속의 양 및 광속을 출력하기 위한 디스플레이의 면적(예를 들어, 1420 및 1430)은 동시에 또는 임의의 순서로 결정된다.
그 후, 방법(1400)은 1440에서 디스플레이의 결정된 면적에 대한 결정된 광속의 양을 출력하는 것을 제공한다.
방법(1400)의 일부 예에서, 광속이 출력된 후에 눈의 추가 이미지 데이터가 수신된다. 일부 예에서, 광속은 수신된 이미지 데이터에 기초하여 조정된다.
복수의 동공 반응 식별
본 개시의 일부 예에서, 복수의 동공 반응을 식별하기 위한 방법이 제공된다. 예를 들어, 이러한 방법은 (예를 들어, 도 3의 방법(300) 동안) 의도하지 않은 동공 자극에 의해 이미지 데이터 세트가 변질되었는지를 식별한다. 도 15는 본 개시의 일부 구현에 따른 의도하지 않은 동공 반응을 식별하고 태깅하기 위한 예시적인 방법(1500)을 도시한다. 예를 들어, 방법(1500)은 도 3의 방법(300) 이전, 도중 및/또는 이후에 수행될 수 있다.
도 15의 방법(1500)은 1510에서 수신된 이미지 데이터에 기초하여 제1 동공 반응을 태깅하는 단계를 우선 제공한다. 예를 들어, 제1 동공 반응은 본원에서 논의된 바와 같은 동공 특징 중 임의의 것에서의 변화를 포함한다.
방법(1500)은 1520에서 원래 수신된 이미지 데이터 이후에 제2 이미지 데이터를 수신하는 단계를 제공한다.
방법(1500)은 1530에서 조명 조건의 변화를 결정하는 단계를 제공한다. 예를 들어, 조명 조건의 변화는 1510으로부터 수신된 이미지 데이터와 1520으로부터 수신된 제2 이미지 데이터 간의 밝기 차이에 기초하여 결정될 수 있다.
그 후, 방법(1500)은 1540에서 제2 이미지 데이터에 제2 동공 반응을 태깅하는 단계를 제공한다. 예를 들어, 제2 이미지 데이터가 일련의 이미지인 경우, 1540은 조명 조건의 변화에 대해 추후에 동시에 또는 시간적으로 가깝게 발생하는 이미지 또는 이미지들을 식별하는 단계를 제공한다. 일부 예에서, 제2 동공 반응은 본 명원에서 논의된 동공 특징 중 임의의 하나로서 식별된다.
적외선 측정 구현
본 개시는 비가시광 자극 및/또는 적외선 카메라를 사용한 이미지 캡처를 추가로 제공한다. 예를 들어, 도 1의 센서(116), 적외선 방출기 및/또는 디스플레이(112)는 비가시광 방출을 제공할 수 있다. 일부 예에서, 카메라(114)는 적외선 카메라이고 하나 이상의 적외선 광 방출기를 포함한다. 도 16은 도 1 및 도 2의 시스템(100 및/또는 200) 상에서 각각 수행될 수 있는 예시적인 방법(1600)을 도시한다. 이는 스크린 기반 가시광 자극을 추가로 이용하는 어두운 방에서 눈꺼풀 매개 반응을 제공하는 것을 포함하여 본원에 개시된 다양한 실시예에 유용할 수 있다. 따라서, 사용자가 어둡거나 희미한 조명의 방에 남아 있는 임의의 광을 차단하기 위해 눈을 감을 것이므로, 이는 어두운 방의 스크린 기반 자극이 훨씬 더 높은 콘트라스트를 갖게 할 것이다.
방법(1600)은 1610에서 디스플레이(예를 들어, 도 1의 디스플레이(112) 또는 센서(116))에 의해 가시광 자극을 방출하는 단계를 제공한다. 예를 들어, 가시광 자극은 1000 nm보다 큰 파장을 갖는다. 가시광 자극은 사용자의 얼굴을 향한다. 이러한 가시 자극은 사용자의 눈에서 동공 반응을 개시하도록 구성된다.
그 후, 방법(1600)은 1620에서 디스플레이(예를 들어, 도 1의 디스플레이(112) 또는 센서(116), 예를 들어 적외선 방출기)에 의해 비가시광 자극을 방출하는 단계를 제공한다. 비가시광 자극은 충분히 높은 이미지 콘트라스트(동공-홍채 세그먼트화를 위해 충분히 높음)를 유발하기에 충분하게 사용자의 얼굴을 조명하도록 구성된다. 따라서, 1620은 일반적으로 적외선 광에 의해 제공되는 높은 이미지 콘트라스트를 사용한다. 예를 들어, 1620에서 제공되는 비가시광 자극은 600 nm 내지 1000 nm의 파장을 갖는 광 자극이다.
1620이 충분히 높은 이미지 콘트라스트를 제공하기에 충분한 조명을 제공하기 때문에, 방법(1600)은 단계 1610에서 가시 자극에만 의존하는 방법(예를 들어, 도 3의 방법(300)을 포함함)보다 더 적은 가시적인 자극을 필요로 한다. 따라서, 방법(1600)은 1610에서 제공된 가시 자극이 사용자의 얼굴을 조명할 필요가 없기 때문에 동공 반응을 보다 정확하게 트리거링할 수 있다.
방법(1600)은 1630에서 사용자의 눈에 대응하는 이미지 데이터를 수신하는 단계를 추가로 제공한다. 일부 예에서, 수신된 이미지 데이터는 이미지 또는 비디오의 세트이다. 일부 예에서, 이미지 세트는 일정 기간(예를 들어, 1분, 2분, 3분에 걸쳐) 동안 규칙적인 간격(예를 들어, 초, 밀리초 및/또는 마이크로초로 측정된 간격)으로 수집된다. 일부 예에서, 1630에서 수신된 이미지 데이터는 적외선 카메라로부터 수신된다.
방법(1600)은 1640에서 동공 특징을 식별하기 위해 이미지 데이터를 프로세싱하는 단계를 추가로 제공한다. 예를 들어, 수신된 이미지 데이터는 도 3의 방법(300)의 330과 관련하여 논의된 방법 중 임의의 방법에 따라 프로세싱된다. 그 후, 방법(1600)은 1650에서 식별된 동공 특징에 기초하여 건강 상태를 결정하는 단계를 제공한다. 예를 들어, 건강 상태는 도 3의 방법(300)의 340과 관련하여 논의된 임의의 방법에 따라 결정된다.
따라서, 방법(1600)은 동공 반응 결과를 추가의 의도하지 않은 자극과 혼동하는 것을 피한다.
적절한 조명 조건 식별
본 개시의 일부 예는 조명 조건이 본원에서 논의된 다양한 동공 특징을 결정하기에 적절한 품질의 이미지 데이터를 제공하기에 충분한지를 자동으로 검출하는 것을 제공한다. 도 17은 본 개시의 제시된 개시의 일부 구현에 따른 조명 조건을 평가하기 위한 예시적인 방법(1700)을 도시한다. 방법(1700)은 도 1 및 도 2의 시스템(100 및/또는 200)에 의해 각각 수행될 수 있다. 일부 예에서, 방법(1700)은 도 3 및 도 16의 방법(300) 및/또는 방법(1600) 이전, 이후 및/또는 도중에 수행된다.
방법(1700)은 1710에서 수신된 이미지 데이터의 이미지 콘트라스트를 결정하는 단계를 제공한다. 예를 들어, 이미지 콘트라스트는 본 기술 분야에 알려진 바와 같이, 밝기, 컬러, 채도 및/또는 임의의 다른 시각적 사진 분석 수단과 관련하여 결정된다.
그 후, 방법(1700)은 1720에서 이미지 콘트라스트가 임계 콘트라스트 수준보다 낮은지를 결정하는 단계를 제공한다. 예를 들어, 1720은 제공된 이미지 데이터에 기초하여 동공-홍채 세그먼트화가 수행될 수 있는지를 결정하는 단계를 제공한다. 일부 예에서, 1720은 동공-홍채 세그먼트화가 특정 정확도 임계값 및/또는 신뢰도 측정으로 수행될 수 있는지를 결정하는 단계를 제공한다.
그 후, 방법(1700)은, 1730에서 자극이 사용자의 눈꺼풀(예를 들어, 사용자가 눈을 감거나/뜨는 것)에 의해 매개되는 주변 광인 경우, 사용자가 더 희미하게 조명된 위치 또는 더욱 밝게 조명된 위치에서 제2 이미지 데이터를 제공하게 하는 프롬프트를 출력하는 단계를 제공한다.
방법(1600)과 함께 사용될 때, 방법(1700)은 사용자가 동공 세그먼트화를 위한 높은 콘트라스트를 제공하기에 충분하게 희미하게 조명된 위치에 있음을 보장하는 단계를 제공한다.
실험 데이터 - 적외선 광
도 18은 가시광에서 촬영된 이미지 세트(이미지 세트(1810 및 1830))와 적외선 광에서 촬영된 이미지 세트(이미지 세트(1820 및 1840)) 사이에서 비교된 예시적인 이미지 데이터를 도시한다. 이미지 세트(1820 및 1840)는 가시광에서 촬영된 이미지 세트(1810 및 1830)보다 피험자의 동공과 홍채 사이의 훨씬 더 명료한 묘사를 보여준다. 특히, 이미지 세트(1830)는 어두운 홍채로 촬영되며, 동공과 홍채의 컬러의 유사 및 둘 사이의 낮은 콘트라스트로 인해 동공 세그먼트화가 거의 불가능하다. 따라서, 도 18은 비가시 자극으로 이미지 데이터를 수집하는 도 16의 방법(1600) 및 동공-홍채 이미지 콘트라스트가 충분히 높음을 보장하는 도 17의 방법(1700)의 유용성을 예시한다.
눈꺼풀 매개 반응 구현
도 21은 사용자의 눈꺼풀을 이용하여 동공을 암순응시키고 주변 광을 사용하여 자극을 매개하면서(본원에서 "눈꺼풀 매개 반응") 개시된 시스템 및 방법을 구현하는 방식의 상세한 예를 제공하는 흐름도이다. 따라서, 사용자가 눈꺼풀을 감을 때 동공이 어두움에 익숙해져서 동공을 효과적으로 확장시키는 암순응 프로세스를 동공이 거칠 것이다. 이는 광 자극이 인가되기 전(예를 들어, 사용자가 눈을 뜸) 베이스라인으로서의 역할을 하여, 대기 시간 측정 및 최대 구성을 용이하게 한다.
예를 들어, 이 예에서, 시스템은 사전 결정된 시간량 동안 또는 사용자가 톤을 듣거나 진동을 느낄 때까지 사용자가 눈을 감으라는 명령을 표시할 수 있다. 이는 눈을 감았을 때와 눈을 떴을 때(따라서, 어둡거나 희미하게 조명된 방에서 스크린 기반 자극 또는 방의 모든 주변 광이 사용자의 눈에 들어오는 것을 허용함) 사용자의 눈에 들어오는 광 사이의 콘트라스트가 동공 반사를 트리거링하기에 충분할 가능성이 높으므로 매우 유리하다.
예를 들어, 통상의 보기 거리에서 디스플레이로부터 방출되는 통상적으로 최대 럭스(예를 들어, 200 럭스(lux))는 충분한 동공 광 반사를 트리거링하기에 충분하지 않을 수 있다(예를 들어, 300 럭스 이상이 필요할 수 있음). 그러나, 정상적인 조명 조건에서 뜬 상태와 감은 상태에서 눈에 들어오는 광 사이의 콘트라스트는 동공 광 반사를 트리거링하기에 충분할 것이다. 그렇지 않으면, 주변 광이 너무 밝을 수 있으므로 주변 광으로서 동공 광 반사를 생성하기 위해 주변 광과 광 자극 사이의 충분한 콘트라스트를 보장하기 어렵다. 따라서, 눈꺼풀 매개 구현은 추가 광 자극(예를 들어, 광의 플래시 또는 밝아진 디스플레이)의 필요성을 우회할 수 있다. 다른 예에서, 눈꺼풀 매개 자극은 사용자가 충분한 시간량 동안 눈을 감았을 때로부터 베이스라인 확장이 개시될 때 디스플레이가 반응을 트리거링하기에 충분한 추가 자극을 제공하도록 할 수 있다.
따라서, 일부 예에서 이러한 시스템을 사용하면, 디바이스에 의해 제공될 광 기반 자극에 대한 필요성이 없다. 따라서, 사용자는 (플래시가 필요하지 않기 때문에) 디스플레이가 사용자를 향하게 전화기를 보유할 수 있다. 또한, 디스플레이는 사용자의 눈에 광 자극을 제공할 필요가 없으며, 일부 예에서 후향 카메라가 눈꺼풀 매개 동공 반응을 평가하는 데 이용될 수 있다. 또한, 눈꺼풀 매개 반응을 이용하는 것은, 이것이 사용자에게 더 편안할 수 있기 때문에, 동공 반사를 유발할 만큼 충분히 밝은 사용자의 눈에서의 플래싱 광보다 더 바람직할 수 있다. 다른 예에서, 디스플레이로부터의 광 자극과 결합하여 사용자의 눈을 감는 것은 동공 광 반사를 트리거링하기에 충분할 수 있다.
또한, 이 방법은 사용자가, 눈을 감고 암순응된 상태로부터 눈을 뜬 후 반사를 트리거링하기에 충분한 주변 광을 갖는 임의의 충분히 조명되거나 밝은 방에서 사용자가 방법을 쉽게 구현할 수 있게 한다. 도 21은 이러한 방법을 구현하는 예를 제공한다. 일부 예에서, 시스템은 먼저 디스플레이(112) 상에 이미지 데이터의 라이브 피드를 제공하여, 사용자가 본원에 설명된 바와 같이 카메라(114) 전방에서 (예를 들어, 사용자가 그 내부에 눈을 정렬하도록 라이브 이미지 데이터 상에 표시되는 원 또는 화살표로) 적절하게 눈을 정렬할 수 있다. 다른 예에서, 후향 카메라가 이용될 수 있고 사용자에 대한 피드백은 순전히 사용자에게 언제 눈을 뜨고 감아야 하는지, 그리고 언제 눈이 후향 카메라와 적절하게 정렬되는지를 알려주는 오디오 또는 진동일 수 있다.
다음으로, 시스템은 사용자가 눈을 감아야 한다는 지시를 제공할 수 있다(2110). 이는 디스플레이(112) 상에 표시된 텍스트 기반 메시지를 포함할 수 있다. 예를 들어, 디스플레이(112)는 "[3, 10, 15] 초 동안 눈을 감으세요 또는 톤을 들을 때까지[또는 진동을 느낄 때까지] 눈을 감으세요"라는 텍스트를 표시할 수 있다. 그 후, 시스템은 3초(또는 4초, 10초, 15초 또는 동공 광 반사를 트리거링하기에 충분한 다른 적절한 시간) 동안 타이머를 개시하고 설정 시간이 경과한 후 카메라(114)로부터 출력된 이미지 데이터를 기록하기 시작할 수 있다. 다른 예에서, 시스템은 설정 시간이 경과한 후에 톤을 울리거나 진동 모터에 에너지를 공급하여 사용자가 눈을 뜰 수 있음을 통지할 것이다(2120). 이러한 예에서, 시스템은 톤 또는 진동이 개시되면 또는 그 직전에 이미지 데이터 기록을 개시한다.
일부 예에서, 시스템은, 이것(예를 들어, 동공, 홍채 또는 안구의 다른 특징을 식별하기 위한 컴퓨터 비전)이 사용자의 눈 중 적어도 하나가 떠져 있고 검출된다는 것을 결정하거나 또는 사용자의 눈이 감긴 프레임을 필터링할 때까지 이미지 데이터를 프로세싱할 수 있다. 이는, 시스템이 (사용자의 눈이 여전히 감겨 있는 동안 카메라(114)의 기록을 개시함으로써) 사용자의 눈이 떠져 있는 첫 번째 프레임을 식별할 수 있게 하고 따라서 동공 광 반사의 전부 또는 대부분을 캡처할 수 있게 하기 때문에 중요할 수 있다.
일부 예에서, 이는 사용자의 눈을 완전히 뜨기 전에 또는 사용자의 눈을 완전히 뜨지 않은 경우에 동공의 부분 이미지에 기초하여 동공 직경을 결정하는 것을 포함할 수 있다. 예를 들어, 시스템은 부분 직경으로부터 동공의 전체 직경을 외삽하거나 다르게 추정할 수 있다. 예를 들어, 보이는 동공의 원 각도가 360 도 미만인 경우, 알려진 수학 함수(예를 들어, 삼각법)가 전체 동공 직경을 추정하는 데 이용될 수 있다. 이는 보이는 동공의 작은 부분(예를 들어, 가시 원 각도의 90도)으로부터 동공 직경을 결정하는 것을 포함할 수 있다. 일부 예에서, 동공 직경의 부분 측정 추정의 정확도는 예를 들어, 동공 광 반사의 정량적 측정을 포함하여 건강 상태의 계산에 이용하기에 충분히 높을 수 있다.
또한, 시스템은 사용자의 눈이 카메라 또는 스크린 상의 특정 지점에 적절하게 초점이 맞춰진 프레임을 또한 식별할 수 있으므로 동공 직경의 정확한 측정이 수행될 수 있다. 시스템은 사용자가 시선을 집중해야 하는 디스플레이 상의 지시(예를 들어, 화살표)를 포함할 수 있다. 다른 예에서, 시스템은 사용자의 시선의 방향을 결정하고 이러한 측정에 기초하여 동공 직경을 근사화할 수 있다.
또한, 시스템은, 사용자의 눈이 충분한 기간 동안 충분히 떠져 있는 채로 캡처된 충분한 프레임을 결정하기 위해 프레임을 계속 모니터링할 수 있다(예를 들어, 사용자가 너무 빨리 눈을 감는 경우). 동공 광 반사 또는 다른 관련 동공 특징을 결정하기 위해 캡처된 사용 가능한 프레임 수가 충분하지 않은 경우, 프로세스는 다시 시작될 것이다.
다음으로, 시스템은 사용자(320)의 눈에 대응하는 시각 데이터를 수신할 수 있고 시스템은 도 3과 관련하여 본원에 설명된 것과 동일한 방식으로 이미지 데이터를 프로세싱할 수 있다. 이는 동공 특징(330)을 식별하기 위해 이미지 데이터를 프로세싱하고 사용자(340)의 건강 상태를 결정하기 위해 동공 특징을 프로세싱하는 것을 포함한다.
실험 데이터 예: 눈꺼풀 매개 스마트폰 애플리케이션의 사용
본 발명자(들)는, 이러한 구현이 PLR을 트리거링하고 특정 약물의 사용을 검출하기에 충분한지를 결정하기 위해 눈꺼풀 매개 스마트폰 애플리케이션의 예를 테스트하였다. 따라서, 몇몇 핵심 약물의 소비 후 눈꺼풀 매개 반응 기반 애플리케이션을 사용하여 몇몇 핵심 메트릭에 걸쳐 PLR을 측정하여 생성된 데이터는, 이것이 눈꺼풀 매개 반응 기반 애플리케이션을 사용하여 테스트될 때 본원에 설명된 예상 생리학적 효과와 일치함을 보여준다. 따라서, 데이터는, 눈꺼풀 매개 구현이 PLR을 평가하기 위한 통상의 확립된 방법과 일치하는 동공 광 반사를 효과적으로 평가하고 추가로 환자에 의한 특정 약물 소비를 검출하기에 충분한 자극을 효과적으로 전달할 수 있음을 나타낸다.
예를 들어, 도 22a는 눈꺼풀 매개 기반 애플리케이션을 사용하여 알코올 및 커피 소비 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다. 예를 들어, 도 22a는, 커피가 베이스라인에 비해 속도를 현저히 증가시켰고 알코올은 속도를 늦췄음을 도시한다. 따라서, 도 22a는 스마트 폰 또는 모바일 디바이스 상의 눈꺼풀 매개 반응 기반 애플리케이션이 환자가 알코올을 소비했는지를 결정하는 데 이용될 수 있음을 확인하며; 도 22b는 눈꺼풀 매개 애플리케이션을 사용하여 알코올 및 커피 소비 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시하고; 도 23a는 눈꺼풀 매개 애플리케이션을 사용하여 알코올, 항히스타민제, 오피오이드 진통제 및 커피 소비 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시하고; 도 23b는 눈꺼풀 매개 애플리케이션을 사용하여 알코올, 항히스타민제, 오피오이드 진통제 및 커피 소비 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시하고; 도 24a는 눈꺼풀 매개 애플리케이션을 사용하여 알코올 소비 및 아침 신체 스트레칭 후 좌측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시하고; 도 24b는 눈꺼풀 매개 애플리케이션을 사용하여 알코올 소비 및 아침 신체 스트레칭 후 우측 동공 운동의 특정 메트릭에 대한 영향을 예시하는 PLR 데이터를 도시한다.
실험 데이터: 눈꺼풀 매개 애플리케이션을 사용한 PLR 데이터의 재현성
아래의 표 1은 평활화 기술을 적용한 후 눈꺼풀 매개 애플리케이션을 사용하여 우측 눈과 좌측 눈 사이의 프로세싱된 재현성을 예시한다. 표 1의 높은 스코어는 메트릭이 눈 사이에서 재현성이 높기 때문에 EMD 매개가 PLR 세션 내에서 매우 정확함을 나타낸다.
프로세싱된 재현성 설명 스코어
PLR MCV 우측 및 좌측 MCV 사이의 퍼센트 차이의 평균 78%
PLR MCA 우측 및 좌측 MCA 사이의 퍼센트 차이의 평균 84%
PLR ACV 우측 및 좌측 ACA 사이의 퍼센트 차이의 평균 70%
표 1: 눈 사이 ACV 측정의 정밀도를 보여주는 눈꺼풀 매개 애플리케이션을 사용하여 우측 눈과 좌측 눈 사이의 메트릭의 프로세싱된 재현성.
아래의 표 2는 평활화 기술을 적용한 후 눈꺼풀 매개 애플리케이션을 사용하여 시간 경과에 따른 프로세싱된 표준 편차를 나타낸다. 높은 스코어는 시간 경과에 따른 메트릭의 안정성과 재현성을 나타낸다.
프로세싱된 표준 편차 설명 스코어
PLR MCV 사람들 간의 MCV 표준 편차 0.85
PLR MCA 사람들 간의 MCA 표준 편차 0.30
PLR ACV 사람들 간의 ACV 표준 편차 0.39
표 2: 눈꺼풀 매개 애플리케이션을 사용하여 시간 경과에 따른 메트릭의 프로세싱된 표준 편차.
따라서, 표 1 및 표 2는 눈꺼풀 매개 애플리케이션을 사용하는 PLR 메트릭의 시간 경과에 따른 눈 사이의 재현성을 나타낸다. 따라서, 본원에 개시된 시스템 및 방법은 PLR의 특징을 측정하는 데 신뢰성 있게 사용될 수 있다.
추가 소프트웨어 구현
예시적인 소프트웨어 애플리케이션
본 개시는 클라이언트 디바이스용 디스플레이 상에서 사용자의 핵심 얼굴 부분에 대한 정렬 마크를 갖는 템플릿을 렌더링하는 예시적인 건강 애플리케이션을 고려한다. 건강 애플리케이션은 사용자에게 스마트 폰 스크린 상에 표시되는 정렬 마크와 핵심 얼굴 부분을 정렬하도록 지시한다. 사용자의 얼굴 부분은, 3차원 공간에서 시간 경과에 따라 이러한 얼굴 부분이 고정된 상태로 유지되고 사용자에 의해 자발적 또는 비자발적으로 변경될 수 없다는 점을 감안할 때 깊이와 각도의 삼각 측량 일관성을 보장하기 위해 정렬을 위해 선택된다. 클라이언트 디바이스는 측정이 이루어지려고 할 때 녹색 광과 같은 지시자를 제공할 수 있다. 건강 애플리케이션은 클라이언트 디바이스 상에 광을 플래싱하고 센서 중 하나인 고해상도 카메라로 사용자 눈의 비디오를 캡처한다. 건강 애플리케이션은 비디오를 사용하여 동공 직경 반사 속도 - 사용자 눈의 동공 직경이 광에 반응하여 수축한 후 정상 베이스라인 크기로 다시 확장되는 속도 - 를 결정한다. 따라서, 동공 속도에 대한 활성 표현형 데이터가 캡처된다. 동공 속도는 발병 중인 질병, 장애 또는 특정 신경계 장애에 대한 질병 전조가 존재하는지를 결정하는 데 사용될 수 있다. 또한, 카메라 사용으로 인해 다른 표현형 데이터가 캡처될 수 있다. 예를 들어, 눈의 공막 컬러가 보일 수 있다. 눈 공막의 컬러는 다양한 발병 중인 질병, 장애 또는 질병 전조가 사용자에게 존재하는지를 결정하는 데 사용될 수 있다. 황색을 갖는 눈 공막은 황달을 나타낼 수 있다. 눈 공막의 적색화는 눈의 혈관 수축으로 인한 심혈관 문제를 나타낼 수 있다. 유사하게, 빈도와 일시의 맥락에서 고려되는 공막의 적색화는 물질 남용을 나타낼 수 있다. 눈의 동공 주변의 고리에 있는 다른 표현형 특징은 통상적으로 심혈관 문제와 관련된 콜레스테롤 침착을 나타낼 수 있다. 사용자 얼굴의 색소 침착이나 점 성장의 변화는 흑색종(melanoma)과 같은 피부 질환을 나타낼 수 있다. 따라서, 단일 활성 테스트는 복수의 질병과 관련된 복수의 표현형 특징의 정량화된 측정로서 데이터를 생성할 수 있다.
PLR을 측정하기 위해, 사용자는 카메라에서 눈을 정렬하기 위한 명령을 받는다. 이는 추가 이미지 프로세싱 및 동공 측정을 위한 적절한 이미지 크기를 제공한다. 카메라 세션이 개시되어 사용자의 얼굴을 검출하고 사용자 눈의 이미지를 얻는다. 배경 컬러와 전화기 밝기(전향 카메라를 사용하는 경우)가 조정(또는 토치레벨(torchLevel) 조정)되어 다양한 수준의 밝기/어두움을 생성한다. 이미지는 세그먼트화, 동공 직경 획득 및 동공 수축 속도 측정 시간 추적을 포함하여 실시간으로 프로세싱될 수 있다. 마지막으로, 양쪽 눈에 대한 반응 시간, 수축 속도, 동공 감김 퍼센티지를 포함하는 측정 결과가 사용자에게 제시될 수 있다.
자동 얼굴 검출
코끝과 2개의 동공을 사용하여 자동 얼굴 검출이 가능하다. 일부 실시예에서, 위에서 언급한 제어된 공간 거리가 뷰파인더 상의 3개의 적색 삼각형 도트(동공용 2개, 코끝용 1개)와 사용자의 얼굴을 정렬하는 사용자에 의해 달성된다. 기계 비전을 통해, 동공은 적색 도트와 정렬되어 인식되고 코끝(코 피부의 RGB 컬러 기준)은 코끝과 정렬된다. 그 후, 주변 광 센서를 사용하여 측정에 혼란스러운 변수를 추가할 수 있는 임의의 주변 광(노이즈)을 확인한다. 정렬(깊이/각도) 및 조명이 충분하다면, 적색 도트가 녹색으로 바뀌고, 특정 시간량이 지나면 측정이 이루어질 준비가 되었음이 사용자에게 통지된다. 도 12는 이러한 프로세스를 나타낸다.
플래시가 제공되고 비디오가 캡처된다. 얼굴 검출은 비디오의 하나 이상의 프레임을 사용하여 수행될 수 있다. 따라서, 위에서 비디오를 캡처한 후, 기계 비전 기반 알고리즘 지원으로 스마트폰은 자동으로 코끝의 픽셀 기반 위치뿐만 아니라 2개의 동공(스크린 상에 투영될 수도 있음)을 검출하여 측정이 삼각 측량 및 공간적으로 일관성이 있도록 보장한다. 이러한 3개의 기준 지점의 특별한 기하 형태와 거리는 시간이 지남에 따라 얼굴 근육에 의해 자발적 또는 비자발적으로 변경될 수 없어, 제어 및 일관성을 추가로 보장한다.
이러한 측정의 얼굴 검출/기계 비전 부분은 개방형 소스 및/또는 사유 소프트웨어를 사용하여 수행될 수 있다. 따라서, (도 12 및 도 13에 도시된 바와 같이) 얼굴과 눈이 검출될 수 있다. 일부 실시예에서, 입력 비디오/비디오 프레임은 그레이스케일이다. 비디오에서 얼굴이 검출되면, 시스템은 얼굴 좌표 내에서 눈을 검출하기 위해 진행될 것이다. 얼굴이 검출되지 않으면, 주어진 비디오가 효과적인 검출을 위한 기준을 충족시키지 않는다고 사용자에게 통지될 것이다.
실시간으로 사전 캡처 단계 동안 사용자를 안내하는 얼굴 인식 알고리즘이 사용될 수 있다. 일부 실시예에서, 이는 OpenCV(Open Source Computer Vision Library), ARKit(Augmented Reality Kit) 또는 다른 얼굴 인식 메커니즘을 사용하여 달성될 수 있다. 얼굴 인식을 사용하여, 이미지 상의 눈 위치가 식별될 수 있으며 사용자는 디바이스를 조작하여 원하는 위치에 카메라를 위치시키도록 지시를 받는다. 카메라가 위치되면, 이미지 데이터 캡처 단계가 발생할 수 있다. 최신 스마트폰은 300 니트(nit)(1 칸델라/m2) 이상을 방출하는 용량을 가질 수 있다. 비디오 푸티지는 10 내지 20초 정도로 짧을 수 있으며 PLR 분석을 위한 충분한 데이터를 캡처하기에 충분할 수 있다. 최신 스마트폰 카메라(들)(예를 들어, 도 1의 카메라(114))는 스크린 플래시 이전, 도중 및 이후에 비디오를 캡처하는 데 사용된다.
일부 실시예에서, 얼굴 및 눈 인식과 조합된 얼굴 캡처는 또한 PLR 측정을 수행하는 데 사용될 수 있다. 비전 프레임워크(Vision Framework)와 같은 일부 얼굴 인식 프레임워크는 요청을 생성하고 해당 요청의 결과를 해석하여 실시간으로 사람의 얼굴을 검출 및 추적할 수 있다. 이러한 도구는 이미지에서 (눈 및 입과 같은) 얼굴 특징을 찾고 식별하는 데 사용될 수 있다. 얼굴 랜드마크 요청은 먼저 입력 이미지에서 모든 얼굴을 찾은 다음, 각각을 분석하여 얼굴 특징을 검출한다. 다른 실시예에서, 예를 들어, 증강 현실 세션을 통한 얼굴 추적이 사용될 수 있다. 이러한 하나의 메커니즘의 예는 ARKit이다. 이러한 메커니즘을 사용하여, 사용자의 얼굴은 전향 카메라 시스템으로 검출될 수 있다. 카메라 이미지는 증강 현실 세션을 구성하고 실행함으로써 뷰에서 가상 콘텐츠와 함께 렌더링될 수 있다. 이러한 메커니즘은 사용자 얼굴의 크기, 형상, 토폴로지 및 현재 표정 및 특징과 매칭되는 거친 3D 메시 기하 형태를 제공할 수 있다. 이러한 하나의 메커니즘이 이미지를 캡처하고 분석하는 데 사용될 수 있거나, 복수의 메커니즘이 결합될 수 있다. 예를 들어, 하나는 이미지를 캡처하는 데 사용되고 다른 하나는 이미지를 분석하는 데 사용된다.
개시의 컴퓨터 및 하드웨어 구현
본원의 개시는 임의의 유형의 하드웨어 및/또는 소프트웨어로 구현될 수 있고, 사전 프로그래밍된 범용 컴퓨팅 디바이스일 수 있다는 것을 먼저 이해해야 한다. 예를 들어, 시스템은 서버, 퍼스널 컴퓨터, 휴대용 컴퓨터, 씬(thin) 클라이언트 또는 임의의 적절한 디바이스 또는 디바이스들을 사용하여 구현될 수 있다. 본 개시 및/또는 그 구성 요소는 단일 위치에 있는 단일 디바이스일 수 있거나 전기 케이블, 광섬유 케이블 또는 무선 방식과 같은 임의의 통신 매체를 통해 임의의 적절한 통신 프로토콜을 사용하여 함께 연결되는 단일 또는 복수의 위치에 있는 복수의 디바이스일 수 있다.
또한, 본 개시는 특정 기능을 수행하는 복수의 모듈을 갖는 것으로 본원에서 예시되고 논의된다는 점에 유의해야 한다. 이러한 모듈은 단지 명확성을 목적으로 기능에 기초하여 개략적으로 예시되는 것일 뿐, 특정 하드웨어 또는 소프트웨어를 나타낼 필요는 없다. 이와 관련하여, 이러한 모듈은 논의된 특정 기능을 실질적으로 수행하도록 구현된 하드웨어 및/또는 소프트웨어일 수 있다. 또한, 모듈은 원하는 특정 기능에 기초하여 본 개시 내에서 함께 결합되거나 추가 모듈로 분할될 수 있다. 따라서, 본 개시는 본 발명을 제한하는 것으로 해석되어서는 안되며, 단지 그의 하나의 예시적인 구현을 예시하는 것으로 이해되어야 한다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 구현에서, 서버는 데이터(예를 들어, HTML 페이지)를 (예를 들어, 클라이언트 디바이스에 데이터를 표시하고 클라이언트 디바이스와 상호 작용하는 사용자로부터 사용자 입력을 수신하기 위해) 클라이언트 디바이스로 송신힌다. (예를 들어, 사용자 상호 작용의 결과로) 클라이언트 디바이스에서 생성된 데이터는 서버에서 클라이언트 디바이스로부터 수신될 수 있다.
본 명세서에 설명된 주제의 구현은 백-엔드(back-end) 구성 요소, 예를 들어, 데이터 서버를 포함하거나, 미들웨어 구성 요소, 예를 들어, 애플리케이션 서버를 포함하거나, 프론트-엔드 구성 요소, 예를 들어, 본 명세서에 설명된 주제의 구현과 사용자가 상호 작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터, 또는 이러한 백-엔드, 미들웨어 또는 프론트-엔드 구성 요소 중 하나 이상의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 예를 들어, 통신 네트워크와 같은 디지털 데이터 통신의 임의의 형태 또는 매체에 의해 상호 연결될 수 있다. 통신 네트워크의 예는 근거리 네트워크(local area network; "LAN") 및 광역 네트워크(wide area network; "WAN"), 상호-네트워크(예를 들어, 인터넷) 및 피어-투-피어 네트워크(예를 들어, 애드 혹(ad hoc) 피어-투-피어 네트워크)를 포함한다.
본 명세서에 설명된 주제 및 동작의 구현은 본 명세서에 개시된 구조 및 그 구조적 등가물을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 설명된 주제의 구현은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 프로세싱 장치에 의해 실행되거나 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로 구현될 수 있다. 대안적으로 또는 추가적으로, 프로그램 명령은 인공적으로 생성된 전파된 신호, 예를 들어, 데이터 프로세싱 장치에 의한 실행을 위해 적절한 수신기 장치로 송신하기 위한 정보를 인코딩하도록 생성된 기계-생성 전기, 광학 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 디바이스, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수 있거나 이에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파 신호는 아니며, 컴퓨터 저장 매체는 인공적으로 생성된 전파 신호에 인코딩된 컴퓨터 프로그램 명령의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 구성 요소 또는 매체(예를 들어, 복수의 CD, 디스크 또는 다른 저장 디바이스)이거나 이에 포함될 수 있다.
본 명세서에 설명된 동작은 하나 이상의 컴퓨터 판독 가능 저장 디바이스에 저장되거나 다른 소스로부터 수신된 데이터에 대해 "데이터 프로세싱 장치"에 의해 수행되는 동작으로 구현될 수 있다.
"데이터 프로세싱 장치"라는 용어는 예를 들어, 프로그래밍 가능한 프로세서, 컴퓨터, 칩 상의 시스템, 또는 상술한 것의 복수 또는 조합을 포함하여 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스 및 기계를 포함한다. 장치는 예를 들어 필드 프로그램 가능 게이트 어레이(field programmable gate array; FPGA) 또는 주문형 집적 회로(application-specific integrated circuit; ASIC)와 같은 특수 목적 논리 회로를 포함할 수 있다. 장치는 또한 하드웨어 외에, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 플랫폼 간 런타임 환경, 가상 머신 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라스트럭처와 같은 다양한 상이한 컴퓨팅 모델 인프라스트럭처를 실현할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일 또는 인터프리팅된 언어, 선언적 또는 절차적 언어를 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램 또는 모듈, 구성 요소, 서브루틴, 객체 또는 컴퓨팅 환경에서의 사용에 적합한 다른 유닛을 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있지만 반드시 그런 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일부, 해당 프로그램에 전용인 단일 파일 또는 복수의 조정된 파일(예를 들어, 하나 이상의 모듈, 서브-프로그램 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되거나 복수의 사이트에 걸쳐 분산되고 통신 네트워크에 의해 상호 연결된 복수의 컴퓨터에서 실행되도록 배포될 수 있다.
본 명세서에 설명된 프로세스 및 논리 흐름은, 입력 데이터에 대해 동작하고 출력을 생성함으로써 액션을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 프로세스 및 논리 흐름은 예를 들어, 필드 프로그램 가능 게이트 어레이(field programmable gate array; FPGA) 또는 주문형 집적 회로(application-specific integrated circuit; ASIC)와 같은 특수 목적 논리 회로에 의해 수행될 수 있고 장치도 이로 구현될 수 있다.
컴퓨터 프로그램의 실행에 적절한 프로세서는 예를 들어, 범용 및 특수 목적 마이크로프로세서 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리나 랜덤 액세스 메모리 또는 둘 모두로부터 명령과 데이터를 수신할 것이다. 컴퓨터의 필수 요소는 명령에 따라 액션을 수행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 광-자기 디스크 또는 광 디스크를 포함하거나 이로부터 데이터를 수신하거나 이로 데이터를 전송하거나 둘 모두를 수행하도록 동작 가능하게 커플링된다. 그러나, 컴퓨터가 이러한 디바이스를 가질 필요는 없다. 또한, 컴퓨터는 예를 들어, 몇 가지만 들자면 모바일 전화, 퍼스널 디지털 어시스턴트(personal digital assistant; PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(Global Positioning System; GPS) 수신기 또는 휴대용 저장 디바이스(예를 들어, 범용 직렬 버스(universal serial bus; USB) 플래시 드라이브)와 같은 다른 디바이스에 내장될 수 있다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적절한 디바이스는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스; 예를 들어, 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 자기-광 디스크; 및 CD ROM 및 DVD-ROM 디스크를 포함하여, 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보완되거나 이에 통합될 수 있다.
결론
상술한 다양한 방법 및 기술은 본 발명을 수행하기 위한 다양한 방식을 제공한다. 물론, 설명된 모든 목적 또는 이점이 반드시 본원에 설명된 임의의 특정 실시예에 따라 달성될 수 있는 것은 아님을 이해해야 한다. 따라서, 예를 들어, 본 기술 분야의 통상의 기술자는 본원에 교시되거나 제안된 바와 같은 다른 목적 또는 이점을 반드시 달성하지 않으면서 본원에 교시된 하나의 이점 또는 이점의 그룹을 달성하거나 최적화하는 방식으로 방법이 수행될 수 있음을 인식할 것이다. 다양한 대안이 본원에 언급된다. 일부 실시예는 구체적으로 하나, 다른 것, 또는 몇몇 특징을 포함하는 반면, 다른 실시예는 하나, 다른 것 또는 몇몇 특징을 구체적으로 배제하는 반면, 또 다른 실시예는 하나, 다른 것, 또는 몇몇 유리한 특징을 포함함으로써 특정의 특징을 완화한다는 것을 이해해야 한다.
또한, 통상의 기술자는 상이한 실시예로부터 다양한 특징의 적용 가능성을 인식할 것이다. 유사하게, 위에서 논의된 다양한 요소, 특징 및 단계뿐만 아니라 각각의 이러한 요소, 특징 또는 단계에 대한 다른 알려진 등가물이 본원에 설명된 원리에 따라 방법을 수행하기 위해 본 기술 분야의 통상의 기술자에 의해 다양한 조합으로 채용될 수 있다. 다양한 요소, 특징 및 단계 중에서, 일부는 구체적으로 포함되고 나머지는 다양한 실시예에서 구체적으로 배제될 것이다.
본 출원이 특정 실시예 및 예의 맥락에서 개시되었지만, 본 출원의 실시예가 구체적으로 개시된 실시예를 넘어 다른 대안적인 실시예 및/또는 그 용도 및 수정 및 등가물로 확장된다는 것이 본 기술 분야의 통상의 기술자에 의해 이해될 것이다.
일부 실시예에서, 용어 "일(a)" 및 "일(an)" 및 "상기(the)" 및 본 출원의 특정 실시예를 설명하는 맥락에서 (특히 이하의 청구항 중 특정의 맥락에서) 사용되는 유사한 참조는 단수와 복수를 모두 포함하는 것으로 해석될 수 있다. 본원에서 값의 범위에 대한 언급은 단지 해당 범위 내에 속하는 각각의 개별 값을 개별적으로 참조하는 약칭 방법으로서 역할을 하도록 의도된 것이다. 본원에 달리 나타내지 않는 한, 각각의 개별 값은 본원에 개별적으로 인용된 것처럼 본 명세서에 통합된다. 본원에 설명된 모든 방법은 본원 달리 나타내지 않거나 문맥상 명백히 모순되지 않는 한 임의의 적절한 순서로 수행될 수 있다. 본원의 특정 실시예와 관련하여 제공된 임의의 그리고 모든 예 또는 예시적인 언어(예를 들어, "~와 같은")의 사용은 단지 본 출원을 더 잘 설명하기 위해 의도된 것이며 달리 청구된 본 출원의 범위에 대해 제한을 가하지 않는다. 본 명세서의 어떠한 언어도 본 출원의 실시에 필수적인 임의의 청구되지 않은 요소를 나타내는 것으로 해석되어서는 안 된다.
본 출원의 특정 실시예가 본원에 설명되어 있다. 이러한 실시예에 대한 변형은 상술한 설명을 읽을 때 본 기술 분야의 통상의 기술자에게 명백해질 것이다. 통상의 기술자는 이러한 변형을 적절하게 채용할 수 있고, 본원에 구체적으로 설명된 것과는 다르게 본 출원이 실시될 수 있다는 것이 고려된다. 따라서, 본 출원의 많은 실시예는 적용 가능한 법률이 허용하는 바에 따라 본원에 첨부된 청구항에 인용된 주제의 모든 수정 및 등가물을 포함한다. 또한, 본원에서 달리 나타내지 않거나 문맥상 명백하게 모순되지 않는 한, 모든 가능한 변형에서 상술한 요소의 임의의 조합은 본 출원에 포함된다.
주제의 특정 구현이 설명되었다. 다른 구현도 이하의 청구항의 범위 내에 있다. 일부 경우에, 청구항에 인용된 액션이 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 달성할 수 있다. 또한, 첨부 도면에 도시된 프로세스는 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 반드시 필요로 하는 것은 아니다.
이로써, 본원에 참조된 모든 특허, 특허 출원, 특허 출원 공보 및 다른 자료, 예를 들어 기사, 서적, 사양, 간행물, 문서, 사물 등은, 동일한 것과 연관된 임의의 출원 파일 경과, 본 문서와 일치하지 않거나 충돌하는 임의의 동일한 것, 또는 본 문서와 현재 또는 나중에 연관되는 청구항의 가장 넓은 범위에 제한적인 영향을 미칠 수 있는 임의의 동일한 것을 제외하고는, 모든 목적을 위해 그 전체가 이러한 참조에 의해 본원에 통합된다. 예를 들어, 통합된 자료 중 임의의 것과 연관된 용어의 설명, 정의 및/또는 용도와 본 문서와 연관된 것 사이에 임의의 불일치 또는 충돌이 있는 경우, 본 문서의 용어의 설명, 정의 및/또는 용도가 우선할 것이다.
마지막으로, 본원에 개시된 본 출원의 실시예는 본 출원의 실시예의 원리를 예시하는 것임을 이해해야 한다. 채용될 수 있는 다른 수정도 본 출원의 범위 내에 있을 수 있다. 따라서, 제한이 아닌 예로서, 본원의 교시에 따라 본 출원의 실시예의 대안적인 구성이 이용될 수 있다. 따라서, 본 출원의 실시예는 정확하게 도시되고 설명된 것으로 제한되지 않는다.

Claims (32)

  1. 동공 광 반사를 평가하기 위한 시스템으로서,
    전면 및 후면을 포함하는 디바이스;
    상기 디바이스의 상기 전면 상에 위치된 카메라;
    상기 디바이스의 상기 전면 상에 위치된 디스플레이;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 복수의 코드 섹션을 내부에 저장한 메모리를 포함하고, 상기 복수의 코드 섹션은,
    사용자가 눈을 감도록 요청하는 지시를 상기 디스플레이 상에 표시하고;
    사용자의 적어도 하나의 눈에 대응하는 이미지 데이터를 상기 카메라로부터 수신하고;
    적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터를 프로세싱하고;
    상기 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하기 위한 명령어들을 포함하는, 시스템.
  2. 청구항 1에 있어서,
    상기 명령어들은 상기 디스플레이에서 상기 건강 상태를 출력하는 것을 추가로 제공하는, 시스템.
  3. 청구항 1에 있어서,
    상기 건강 상태는 동공 광 반사, 커피 소비, 알코올 중독 수준, 오피오이드(opioid) 중독 수준, 항히스타민(anti-histamine) 소비 수준 또는 커피 소비 수준을 포함하는, 시스템.
  4. 청구항 1에 있어서,
    상기 사용자가 눈을 감도록 요청하는 지시를 상기 디스플레이 상에 표시하는 것은 사전 결정된 시간 동안 사용자가 눈을 감도록 요청하는 텍스트 기반 메시지를 표시하는 것을 포함하는, 시스템.
  5. 청구항 1에 있어서,
    상기 사용자가 눈을 감아야 한다는 지시를 상기 디스플레이 상에 표시하는 것은 눈을 뜨라는 가청 지시를 들을 때까지 사용자가 눈을 감도록 요청하는 텍스트 기반 메시지를 표시하는 것을 포함하는, 시스템.
  6. 청구항 5에 있어서,
    상기 명령어들은 상기 사용자가 눈을 감아야 한다는 상기 지시를 상기 디스플레이 상에 표시한 후 사전 결정된 시간이 경과한 후 스피커를 통해 소리를 출력하는 것을 추가로 제공하는, 시스템.
  7. 청구항 6에 있어서,
    상기 이미지 데이터는 상기 소리를 출력한 후에 수신되는, 시스템.
  8. 청구항 7에 있어서,
    상기 명령어들은 상기 사용자의 눈이 떠져 있는지를 결정하기 위해 상기 이미지 데이터를 프로세싱하는 것을 추가로 제공하는, 시스템.
  9. 청구항 1에 있어서,
    상기 사용자가 눈을 감아야 한다는 지시를 상기 디스플레이 상에 표시하는 것은 상기 디바이스가 진동할 때까지 상기 사용자가 눈을 감도록 요청하는 텍스트 기반 메시지를 표시하는 것을 포함하는, 시스템.
  10. 청구항 9에 있어서,
    상기 명령어들은 상기 사용자가 눈을 감아야 한다는 상기 지시를 상기 디스플레이 상에 표시한 후 사전 결정된 시간이 경과한 후 진동 모터에 에너지를 공급하는 것을 추가로 제공하는, 시스템.
  11. 청구항 1에 있어서,
    상기 명령어들은 상기 디스플레이 상에 상기 카메라로부터 출력된 이미지 데이터의 라이브 피드(live feed)를 표시하는 것을 추가로 제공하는, 시스템.
  12. 청구항 11에 있어서,
    상기 명령어들은 한 쌍의 원 또는 다른 마킹(marking)들을 상기 디스플레이 상에 표시하고, 상기 사용자가 상기 한 쌍의 원 또는 상기 다른 마킹들과 눈을 정렬해야 한다는 지시를 표시하는 것을 추가로 제공하는, 시스템.
  13. 청구항 12에 있어서,
    상기 명령어들은 상기 이미지 데이터의 상기 라이브 피드에서 식별된 상기 사용자의 눈이 상기 한 쌍의 원 내에 있을 때를 결정하는 것을 추가로 제공하는, 시스템.
  14. 청구항 13에 있어서,
    사용자가 눈을 감아야 한다는 지시를 상기 디스플레이 상에 표시하는 것은 상기 사용자의 눈이 상기 한 쌍의 원 내에 있다고 결정한 후에 개시되는, 시스템.
  15. 청구항 1에 있어서,
    상기 수신된 이미지 데이터에 기초하여 적어도 하나의 동공 특징을 식별하는 것은 상기 적어도 하나의 눈의 동공에 대응하는 제1 데이터 부분들 및 상기 적어도 하나의 눈의 홍채에 대응하는 제2 데이터 부분들을 결정하기 위해 상기 수신된 이미지 데이터를 세그먼트화하는 것을 추가로 포함하는, 시스템.
  16. 청구항 1에 있어서,
    상기 적어도 하나의 동공 특징은 동공 반응 대기 시간, 수축 대기 시간, 최대 수축 속도, 평균 수축 속도, 최소 동공 직경, 확장 속도, 75% 회복 시간, 평균 동공 직경, 최대 동공 직경, 수축 진폭, 수축 퍼센티지, 동공 이탈, 베이스라인 동공 진폭, 조명 후 동공 반응, 및 이들의 임의의 조합 중 적어도 하나를 포함하는, 시스템.
  17. 청구항 1에 있어서,
    상기 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 것은,
    상기 적어도 하나의 동공 특징 각각과 대응하는 건강한 동공 측정치 사이의 차이를 결정하는 것으로서, 상기 대응하는 건강한 동공 측정치는 상기 프로세서에 의해 외부 측정 데이터베이스로부터 검색되는, 차이를 결정하는 것; 및
    상기 적어도 하나의 동공 특징 각각과 상기 대응하는 건강한 동공 측정치에 대한 결정된 차이에 기초하여 상기 건강 상태를 결정하는 것을 추가로 포함하는, 시스템.
  18. 청구항 1에 있어서,
    사용자가 눈을 감도록 요청하는 지시를 상기 디스플레이 상에 표시하는 것은 주변 광이 동공 광 반사를 트리거링하기에 충분히 밝은지를 먼저 결정한 후에 개시되는, 시스템.
  19. 청구항 1에 있어서,
    상기 수신된 이미지 데이터에 기초하여 적어도 하나의 동공 특징을 식별하는 것은,
    상기 수신된 이미지 데이터의 이미지 콘트라스트(contrast)를 결정하는 것;
    상기 이미지 콘트라스트가 임계 콘트라스트 수준보다 낮다고 결정하는 것; 및
    상기 사용자가 더 밝게 조명된 위치에서 제2 이미지 데이터를 제공하라는 프롬프트(prompt)를 상기 디스플레이 상에 출력하는 것을 추가로 포함하는, 시스템.
  20. 청구항 1에 있어서,
    상기 디바이스는 헤드셋, 스마트폰 또는 둘 모두를 포함하는, 시스템.
  21. 동공 광 반사를 평가하는 방법으로서,
    사용자가 눈을 감아야 한다는 제1 지시를 제공하는 단계;
    사용자의 적어도 하나의 눈에 대응하는 이미지 데이터를 카메라로부터 수신하는 단계;
    적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터를 프로세싱하는 단계; 및
    상기 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 단계를 포함하는, 방법.
  22. 청구항 21에 있어서,
    상기 지시는 디스플레이 상에 표시되는 텍스트 기반 메시지, 시각적 메시지 또는 스피커를 통해 방출되는 오디오 메시지 중 적어도 하나를 포함하는, 방법.
  23. 청구항 21에 있어서,
    상기 이미지 데이터는 사용자의 눈이 떠져 있는 프레임들을 식별하도록 필터링되는, 방법.
  24. 청구항 21에 있어서,
    적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터를 프로세싱하는 단계는 동공 광 반사를 결정하고 환자의 알코올 또는 카페인 소비를 결정하는 단계를 추가로 포함하는, 방법.
  25. 청구항 21에 있어서,
    적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터를 프로세싱하는 단계는 동공 광 반사가 트리거링되었는지를 결정하는 단계를 추가로 포함하는, 방법.
  26. 청구항 25에 있어서,
    상기 사용자가 제1 사전 결정된 시간량 후에 눈을 떠야 한다는 지시를 제공하는 단계를 추가로 포함하는, 방법.
  27. 청구항 26에 있어서,
    상기 동공 광 반사가 트리거링되지 않은 경우, 상기 사용자가 눈을 감아야 한다는 제2 지시를 제공하는 단계;
    상기 사용자가 상기 제1 사전 결정된 시간량보다 긴 제2 사전 결정된 시간량 후에 눈을 떠야 한다는 제3 지시를 제공하는 단계;
    사용자의 적어도 하나의 눈에 대응하는 이미지 데이터의 제2 세트를 상기 카메라로부터 수신하는 단계;
    적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터의 제2 세트를 프로세싱하는 단계; 및
    상기 적어도 하나의 동공 특징에 기초하여 건강 상태를 결정하는 단계를 추가로 포함하는, 방법.
  28. 기계 실행 가능 코드를 포함하는 비일시적 기계 판독 가능 매체로서,
    상기 기계 실행 가능 코드는 적어도 하나의 기계에 의해 실행될 때, 상기 기계로 하여금,
    사용자가 눈을 감도록 요청하는 지시를 디스플레이 상에 표시하고;
    사용자의 적어도 하나의 눈에 대응하는 이미지 데이터를 카메라로부터 수신하고;
    적어도 하나 이상의 프로세서를 사용하여, 적어도 하나의 동공 특징을 식별하기 위해 상기 이미지 데이터를 프로세싱하고;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 동공 특징에 기초하여 동공 광 반사를 결정하게 하는, 비일시적 기계 판독 가능 매체.
  29. 청구항 28에 있어서,
    상기 카메라는 적외선 카메라를 포함하는, 비일시적 기계 판독 가능 매체.
  30. 청구항 28에 있어서,
    상기 카메라는 디바이스의 후면 상에 위치되고, 디스플레이가 상기 디바이스의 전면 상에 위치되는, 비일시적 기계 판독 가능 매체.
  31. 청구항 28에 있어서,
    프로세스가,
    상기 사용자가 눈을 감도록 요청하는 상기 지시를 상기 디스플레이 상에 나타낸 후 사전 결정된 시간량임을 나타내는 타임 스탬프들로 상기 이미지 데이터로부터 프레임들의 세트를 식별하는 것을 추가로 포함하는, 비일시적 기계 판독 가능 매체.
  32. 청구항 28에 있어서,
    프로세스가 상기 사용자의 동공이 동공 특징을 평가하기에 충분히 가시적인 프레임을 식별하기 위해 상기 이미지 데이터가 필터링되는 것을 추가로 포함하는, 비일시적 기계 판독 가능 매체.
KR1020227009861A 2019-08-28 2020-07-02 동공 반응을 평가하기 위한 시스템 및 방법 KR20220054827A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962892977P 2019-08-28 2019-08-28
US62/892,977 2019-08-28
PCT/US2020/040671 WO2021040886A1 (en) 2019-08-28 2020-07-02 Systems and methods for evaluating pupillary responses

Publications (1)

Publication Number Publication Date
KR20220054827A true KR20220054827A (ko) 2022-05-03

Family

ID=74685989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009861A KR20220054827A (ko) 2019-08-28 2020-07-02 동공 반응을 평가하기 위한 시스템 및 방법

Country Status (8)

Country Link
US (1) US20220361744A1 (ko)
EP (1) EP4021276A4 (ko)
JP (1) JP2022546092A (ko)
KR (1) KR20220054827A (ko)
CN (1) CN114502059A (ko)
AU (1) AU2020337151A1 (ko)
CA (1) CA3148601A1 (ko)
WO (1) WO2021040886A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102609684B1 (ko) * 2023-02-23 2023-12-05 주식회사 아스트론 동공 반응 지수를 계산하고 디스플레이 하는 자동 동공 반응 검사 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180667B (zh) * 2021-04-29 2022-09-23 南昌虚拟现实研究院股份有限公司 认知负荷评估方法、装置、存储介质及计算机设备
US20220405489A1 (en) * 2021-06-22 2022-12-22 X Development Llc Formulating natural language descriptions based on temporal sequences of images
TWI836827B (zh) * 2022-12-29 2024-03-21 國立臺北科技大學 眼部影像擷取處理裝置
WO2024189727A1 (ja) * 2023-03-13 2024-09-19 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN118471438A (zh) * 2024-04-08 2024-08-09 北京阿叟阿巴科技有限公司 一种虚拟数字形象孤独症康复干预系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196872A (en) * 1989-12-11 1993-03-23 Pulse Medical Instruments Data acquistion and pupil tracking apparatus for an ophthalmologocial instrument
AU2003302746A1 (en) * 2002-12-19 2004-07-14 Christopher J. Kolanko Method for diagnosing a disease state using ocular characteristics
CN102068237A (zh) * 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
US7810928B2 (en) * 2008-02-26 2010-10-12 Konan Medical Usa, Inc. Evaluating pupillary responses to light stimuli
CA2985097A1 (en) * 2015-05-05 2016-11-10 Wolfgang Fink Smartphone-based handheld ophthalmic examination devices
EP3471595A4 (en) * 2016-06-16 2019-07-17 Hadasit Medical Research Services and Development Ltd. DEVICE AND METHOD FOR DETERMINING THE PUPIL SIZE IN A PERSON WITH CLOSED EYELIDERS
RU2630742C1 (ru) * 2016-07-18 2017-09-12 Самсунг Электроникс Ко., Лтд. Способ, система и устройство для биометрического распознавания радужной оболочки глаза

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102609684B1 (ko) * 2023-02-23 2023-12-05 주식회사 아스트론 동공 반응 지수를 계산하고 디스플레이 하는 자동 동공 반응 검사 장치

Also Published As

Publication number Publication date
CN114502059A (zh) 2022-05-13
WO2021040886A1 (en) 2021-03-04
CA3148601A1 (en) 2021-03-04
US20220361744A1 (en) 2022-11-17
JP2022546092A (ja) 2022-11-02
EP4021276A1 (en) 2022-07-06
EP4021276A4 (en) 2023-08-30
AU2020337151A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
KR20220054827A (ko) 동공 반응을 평가하기 위한 시스템 및 방법
US10441160B2 (en) Method and system for classifying optic nerve head
JP5607640B2 (ja) 眼の特徴の画像を得る方法と装置
US10034605B2 (en) Systems, methods, and devices for detection and diagnosis of brain trauma, mental impairment, or physical disability
JP6530239B2 (ja) 両眼計測装置、両眼計測方法、及び両眼計測プログラム
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
US20220218198A1 (en) Method and system for measuring pupillary light reflex with a mobile phone
US11642068B2 (en) Device and method to determine objectively visual memory of images
JP2021534948A (ja) 眼底画像定量分析の前置処理方法および記憶装置
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
JP5171094B2 (ja) 自律神経機能又は／及びストレス度評価装置
Bernard et al. Eyelid contour detection and tracking for startle research related eye-blink measurements from high-speed video records
JP2024138331A (ja) 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体
Itier Attention to eyes in face perception
US20220287607A1 (en) Systems and methods for evaluating pupillary response
JP7107725B2 (ja) 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
US20230284974A1 (en) Systems and methods for diagnosing, assessing, and quantifying sedative effects
Gómez-Díaz et al. Improvement in the Digital Acquisition of the Pupillary Response to Controlled Stimulation by means of Computational Tools and Low-Cost Optoelectronics Device
Hardee The fearful face and beyond: fMRI studies of the human amygdala