KR20200069842A - 안구 위치 및 비틀림 측정을 위한 방법 및 장치 - Google Patents

안구 위치 및 비틀림 측정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200069842A
KR20200069842A KR1020180157362A KR20180157362A KR20200069842A KR 20200069842 A KR20200069842 A KR 20200069842A KR 1020180157362 A KR1020180157362 A KR 1020180157362A KR 20180157362 A KR20180157362 A KR 20180157362A KR 20200069842 A KR20200069842 A KR 20200069842A
Authority
KR
South Korea
Prior art keywords
image
pupil
iris
eyeball
torsion
Prior art date
Application number
KR1020180157362A
Other languages
English (en)
Inventor
유제광
김선규
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020180157362A priority Critical patent/KR20200069842A/ko
Publication of KR20200069842A publication Critical patent/KR20200069842A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 안구를 촬영한 영상의 분석을 통해 측정 대상인이 바라보고 있는 위치와 그때의 안구 상태를 측정할 수 있는 안구 위치 및 비틀림 측정을 위한 방법 및 장치에 관한 것으로, 상세하게는, a) 선택된 하나의 이미지로부터 동공의 위치를 파악하는 단계; b) 파악된 동공의 위치를 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 안구의 회전 위치를 계산하는 단계; c) 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환하는 단계; d) 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출하는 단계; e) 추출된 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 단계; 및 f) 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 e)단계에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 단계;를 포함하는 것이 특징이다.

Description

안구 위치 및 비틀림 측정을 위한 방법 및 장치{Apparatus and methods for measurement of eye gaze and torsion}
본 발명은 안구를 촬영한 영상의 분석을 통해 측정 대상인이 바라보고 있는 위치와 그때의 안구 상태를 측정할 수 있는 안구 위치 및 비틀림 측정을 위한 방법 및 장치에 관한 것이다.
사람의 시선은 사람의 생각이나 어떠한 행동의 의도를 파악하는데 많은 도움을 줄 수 있기에 예전부터 사람이 어느 곳을 바라보고 있는지를 알아내기 위하여 다양한 방법을 사용해 왔다.
그리고 사람의 안구는 단순히 평면상에서 회전 운동을 하는 것이 아니기에 단순히 시선이 어느 곳을 바라보는지가 전부가 아니라 안구가 같은 곳을 바라보더라도 바라보는 축을 중심으로 안구가 회전을 할 수 있는데, 이러한 회전 양상을 추적하는 것은 임상적으로 큰 의미가 있는 행동이다.
연산 능력이 충분하지 못하였던 예전에는 주로 각막 부착형 코일을 이용하여 전자기파를 탐지하는 방식으로 안구운동을 추적하였다.
이러한 종래 기술은 추적을 당하는 사람에게 상당히 불편한 방식이라, 점차 컴퓨터의 연산능력이 발전하면서 최근에는 대부분 안구의 영상을 촬영한 뒤 이러한 영상을 컴퓨터 알고리즘을 통하여 분석하는 방식으로 시선을 추적하는 방법이 주류로 사용되고 있다.
코일을 사용하지 않고 영상을 기반으로 추적을 하는 방식은 측정 대상자에게 별도로 측정 장치를 눈에 삽입하는 등의 행동을 요구하지 않아 측정 대상자가 훨씬 편한 상태로 측정에 응할 수 있게 된다.
최근에는 영상을 분석하여 시선을 추적한다는 기본적인 원리는 대체로 같이 공유하지만, 오차를 줄이기 위해서 세부적인 부분을 어떻게 개선하느냐에 따라 시선 추적의 정확도가 크게 달라지기에 시선 추적의 정확도 향상을 위해 지속해서 다양한 방식으로의 개선이 이루어져 왔다.
이에 안구운동과 같은 생체신호를 측정함에 있어 시선 추적의 오차를 줄이면서도 보다 정확하게 시선이 향하는 방향과 안구의 비틀림 정도 등을 측정하기 위한 수단이 요구되어 왔다.
대한민국 등록특허공보 제10-0628921호(2006.09.27.)
따라서 본 발명은 안구 운동을 측정함에 있어 시선 추적의 오차를 줄이면서 보다 정확하게 시선이 향하는 방향과 안구의 비틀림 정도 등을 측정할 수 있는 안구 위치 및 비틀림 측정을 위한 방법 및 장치를 제공하고자 함이다.
상술한 문제점들을 해결하기 위한 수단으로 본 발명의 안구 위치 및 비틀림 측정을 위한 방법은, a) 선택된 하나의 이미지로부터 동공의 위치를 파악하는 단계; b) 파악된 동공의 위치를 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 안구의 회전 위치를 계산하는 단계; c) 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환하는 단계; d) 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출하는 단계; e) 추출된 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 단계; 및 f) 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 e)단계에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 단계;를 포함하는 것이 특징이다.
하나의 예로써, 상기 a) 단계 이전에, 크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후, 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 계산하는 단계; 및 계산된 왜곡 특성을 촬영되는 이미지에 역으로 계산 및 적용하여 상기 선택된 하나의 이미지에 대한 왜곡을 보정하는 단계;를 더 포함하는 것이 특징이다.
하나의 예로써, 상기 a) 단계는, 추출한 이미지에서 동공을 원으로 가정하여 동공의 제 1위치를 파악하는 단계; 및 파악된 동공의 제 1위치에서 동공이 바라보고 있는 위치를 계산하는 단계;를 포함하는 것이 특징이다.
하나의 예로써, 상기 d) 단계에서는, 상기 c) 단계에서 변환된 이미지로부터 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행하여 홍채에 해당하는 부분만을 남겨놓는 것이 특징이다.
한편 본 발명의 안구 위치 및 비틀림 측정을 위한 장치는, 안구를 촬영하기 위한 카메라; 상기 카메라에서 촬영된 영상에서 선택된 하나의 이미지로부터 동공의 위치를 파악하는 위치파악부; 상기 위치파악부에서 파악된 동공의 위치를 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 안구의 회전 위치를 계산하는 회전위치산출부; 안구의 회전 위치가 계산된 상태의 이미지에서 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환하는 제 1이미지변환부; 상기 제 1이미지변환부에서 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출하는 홍채영역추출부; 상기 홍채영역추출부에서 추출한 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 제 2이미지변환부; 및 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 제 2이미지변환부에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 비틀림산출부;를 포함하는 것이 특징이다.
하나의 예로써, 크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 사전에 계산하며, 상기 카메라에서 촬영된 영상에서 선택된 하나의 이미지에 계산된 왜곡 특성을 역으로 계산 및 적용하여 이미지의 왜곡을 보정하고 이를 상기 위치파악부로 전달하는 왜곡보정부;를 더 포함하는 것이 특징이다.
하나의 예로써, 상기 위치파악부는, 추출한 이미지에서 동공을 원으로 가정하여 동공의 제 1위치를 파악하며, 파악된 동공의 제 1위치에서 동공이 바라보고 있는 위치를 계산하는 것이 특징이다.
하나의 예로써, 상기 홍채영역추출부는, 상기 제 1이미지변환부에서 변환한 이미지로부터 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행하여 홍채에 해당하는 부분만을 남겨놓는 것이 특징이다.
본 발명의 안구 위치 및 비틀림 측정을 위한 방법 및 장치는 안구 운동을 측정함에 있어 시선 추적의 오차를 줄이면서 보다 정확하게 시선이 향하는 방향과 안구의 비틀림 정도 등을 측정할 수 있도록 한다.
이에 안구 운동 추적기를 사용하고 있는 모든 분야에서 더욱 높은 정밀도를 갖는 결과 데이터를 취득할 수 있게 되며, 이를 통하여 더 넓은 응시 범위에서 더욱 더 정확한 측정값을 얻을 수 있고, 특히 기존에는 넓은 범위에서 정확한 값을 취득하기가 어려웠던 비틀림값을 보다 정확하게 측정할 수 있게 되는 효과가 도출된다.
도 1은 본 발명의 일 실시 예에 따른 안구 위치 및 비틀림 측정을 위한 장치의 구성을 나타내는 블록도.
도 2는 본 발명의 일 실시 예에 따른 홍채 영역 추출 구성을 나타내는 도면.
도 3은 본 발명의 일 실시 예에 따른 안구의 비틀림 운동 측정 구성을 나타내는 도면.
도 4는 발명의 일 실시 예에 따른 안구 위치 및 비틀림 측정을 위한 방법의 구성을 나타내는 블록도.
이하, 본 발명의 구성 및 작용을 첨부된 도면에 의거하여 좀 더 구체적으로 설명한다. 본 발명을 설명함에 있어서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
도 1은 본 발명의 일 실시 예에 따른 안구 위치 및 비틀림 측정을 위한 장치의 구성을 나타내는 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 홍채 영역 추출 구성을 나타내는 도면이며, 도 3은 본 발명의 일 실시 예에 따른 안구의 비틀림 운동 측정 구성을 나타내는 도면이다.
본 발명의 안구 위치 및 비틀림 측정을 위한 장치는 도 1에 도시된 바와 같이 카메라(100)와 위치파악부(200)와 회전위치산출부(300)를 포함하여 구성될 수 있다.
상기 카메라(100)는 하나 이상 구비되어 촬영 대상자의 안구를 촬영하고 촬영한 영상을 출력한다.
이때 카메라(100)는 출력 영상에 있어 왜곡을 최소화할 수 있도록 사전에 캘리브레이션을 수행한 것일 수 있다.
즉 고품질의 카메라라 하더라도 광학적인 특성상 왜곡이 존재할 수 밖에 없기 때문에 이러한 왜곡을 사전에 측정하여 보정을 위해 필요한 값들을 측정해야 하는 것이다.
이에 본 발명에서는 왜곡보정부(110)를 더 포함하여 카메라(100)에서 촬영된 영상에서 선택된 하나의 이미지에 대한 왜곡을 보정할 수 있다.
예를 들면 왜곡보정부(110)는 크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 사전에 계산할 수 있다.
그리고 왜곡보정부(110)는 카메라(100)에서 촬영된 영상에서 선택된 하나의 이미지에 계산된 왜곡 특성을 역으로 계산 및 적용하여 이미지의 왜곡을 보정하고 이를 위치파악부(200)로 전달함으로써, 왜곡되지 않은 이상적인 촬영 결과물에 대한 분석을 실시하여 결과적으로 보다 신뢰도 있는 결과 데이터를 취득할 수 있게 된다.
상기 위치파악부(200)는 카메라(100)에서 촬영된 영상에서 선택된 하나의 이미지로부터 동공의 위치를 파악할 수 있다.
이때 선택된 하나의 이미지는 앞서 설명한 바와 같이 왜곡보정부(110)를 통해 왜곡이 보정된 이미지일 수 있다.
구체적으로 위치파악부(200)는 추출한 이미지에서 동공을 원으로 가정하여 동공의 제 1위치를 파악하며, 파악된 동공의 제 1위치에서 동공이 바라보고 있는 위치를 계산할 수 있다.
즉 위치파악부(200)는 동공의 위치를 파악하기 위해 소모되는 계산량을 줄이기 위하여 먼저 동공을 원으로 가정하여 제 1위치를 파악한다. 상기 제 1위치는 동공의 대략적인 위치를 의미한다. 그리고 위치파악부(200)는 대략적인 위치의 파악이 완료 된 이후, 보다 높은 정확도로 현재 바라보고 있는 위치를 계산한다.
이때 대략적인 동공의 위치를 파악하는 절차에서는 컨볼루션 계산, 문턱값 계산, 신경망학습 등 공지의 방법 중 선택된 하나의 방법을 적용하여 대략적으로 동공을 포함하는 범위를 좁힐 수 있도록 하는 것이 바람직하다.
회전위치산출부(300)는 위치파악부(200)에서 안구의 회전 위치의 계산이 완료되면 파악된 동공의 위치를 경계선 필터와 LANSAC 등의 방법을 통해 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 보다 정확한 안구의 회전 위치를 계산할 수 있다.
한편 본 발명의 안구 위치 및 비틀림 측정을 위한 장치는 도 1에 도시된 바와 같이 제 1이미지변환부(400)와, 홍채영역추출부(500)와 제 2이미지변환부(600) 및 비틀림산출부(700)를 더 포함하여 구성될 수 있다.
제 1이미지변환부(400)는 회전위치산출부(300)를 통해 안구의 회전 위치가 계산된 상태의 이미지에서 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환할 수 있다.
즉 제 1이미지변환부(400)는 안구의 회전 위치의 계산이 완료되면, 보다 정확한 안구의 비틀림값 계산을 위해 안구가 마치 카메라(100)를 정면으로 바라보고 있는 것처럼 이미지 변환을 수행하게 되는데, 이를 위해 홍채 부분을 평평하다고 가정한 뒤, Perspective Reprojection 변환을 사용하여 눈이 마치 정면을 바라보고 있는 것처럼 이미지를 변환한다.
상기 Perspective Reprojection 변환은 원근법을 적용하여 객체를 변환하는 이미지 변환기법 중 하나로, 평행 투영이 그대로 평행선을 따라 투영되는 반면에, 원근 투영은 실제 비율에 맞추어서 사실과 같은 크기로 객체가 변환되도록 하는 것이다. 이때 Perspective Projection 구현을 위해서는 삼각형의 닮음을 이용하여 이미지가 투영되는 면을 변환시킬 수 있다.
홍채영역추출부(500)는 제 1이미지변환부(400)에서 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출할 수 있다.
예를 들면, 홍채영역추출부(500)는 도 2에 도시된 바와 같이 제 1이미지변환부(400)에서 변환한 이미지로부터 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행하여 홍채에 해당하는 부분만을 남겨놓으므로써 홍채 영역에 해당되는 이미지만을 추출할 수 있다.
이때 제 1이미지변환부(400)의 이미지 처리 과정은 도 2에 도시된 순서에 한정되지 않음은 당연하다.
제 2이미지변환부(600)는 홍채영역추출부(500)에서 추출한 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환할 수 있다.
그리고 비틀림산출부(700)는 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 제 2이미지변환부(600)에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산할 수 있다.
여기서, '안구의 비틀림 운동(torsional eye movement)'이란 안구의 시선 방향에 따라 결정되는 시선축을 중심으로 안구가 회전하는 운동을 의미한다.
즉 홍채 부분만 남겨지게 되면 이를 극좌표계 변환을 이용해 도 3에 도시된 바와 같이 직사각형과 같은 형태로 변환한다. 이렇게 변환된 이미지를 먼저 기준이 되는 특정 위치를 바라볼때를 기준으로 삼아, 그 외의 다른 위치를 볼 때 이 이미지가 얼마나 돌아갔는지를 패턴매칭기법을 사용하여 계산할 수 있다.
이상에서 설명한 안구 위치 및 비틀림 측정을 위한 장치는 독립적인 영상 처리 장치이거나, 스마트폰과 같이 카메라가 구비된 모바일 단말에 설치되어 촬영된 영상을 분석하도록 구현되는 응용프로그램(application) 중 어느 하나일 수 있다.
도 4는 발명의 일 실시 예에 따른 안구 위치 및 비틀림 측정을 위한 방법의 구성을 나타내는 블록도이다.
이하에서는 도 4를 참조하여 본 발명의 안구 위치 및 비틀림 측정을 위한 방법을 설명한다.
먼저, 카메라(100) 등을 통해 촬영된 촬영 대상자의 안구 영상에서 선택된 하나의 이미지로부터 동공의 위치를 파악하는 과정을 수행한다.(S100)
이때 출력 영상에 있어 왜곡을 최소화할 수 있도록 사전에 카메라(100)에 대한 캘리브레이션을 수행하는 과정이 선행적으로 이루어지는 것이 바람직하다.
예를 들면, 크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후, 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 계산하는 과정을 수행할 수 있다.
그리고 계산된 왜곡 특성을 촬영되는 이미지에 역으로 계산 및 적용하여 상기 선택된 하나의 이미지에 대한 왜곡을 보정하는 과정을 수행할 수 있다.
동공의 위치를 파악하는 과정에서는 계산량을 줄이기 위하여 먼저 동공을 원으로 가정하여 제 1위치를 파악하고, 제 1위치의 파악이 완료 된 이후 보다 높은 정확도로 현재 바라보고 있는 위치를 계산한다. 이때 상기 언급된 제 1위치는 동공의 대략적인 위치를 의미한다.
또한 이 과정(S100)에서는 컨볼루션 계산, 문턱값 계산, 신경망학습 등 공지의 방법 중 선택된 하나의 방법을 적용하여 대략적으로 동공을 포함하는 범위를 좁힐 수 있도록 한다.
이처럼 좁혀진 범위 안에서 경계선 필터와 LANSAC 등의 방법을 통해 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 보다 정확한 안구의 회전 위치를 계산한다.(S200)
안구의 회전 위치의 계산이 완료 이후에는 안구의 회전 위치가 계산된 상태의 이미지에서 홍채 부분을 평면을 가정하고 안구가 정면을 바라보도록 이미지를 변환하는 과정을 수행한다.(S300)
이 과정(S300)은 보다 정확한 안구의 비틀림값 계산을 위해 안구가 마치 카메라를 정면으로 바라보고 있는 것처럼 이미지를 변환하는 것으로, 본 발명의 일 실시 예에서는 홍채 부분을 평평하다고 가정한 뒤, Perspective Reprojection 변환을 사용하여 눈이 마치 정면을 바라보고 있는 것처럼 이미지를 변환할 수 있다.
이후로는 변환된 이미지에서 오직 홍채 영역에 해당되는 이미지만을 추출하게 되는 바, 이를 위해 변환된 이미지에서 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행함으로써 홍채에 해당하는 부분만을 남겨놓는다.(S400)
마지막으로 상기 과정에서 추출된 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 과정을 수행하며(S500), 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 과정을 수행한다.(S600)
즉 홍채 부분만 남겨지게 되면 이를 극좌표계 변환을 이용해 직사각형과 같은 형태로 변환하도록 하고, 이렇게 변환된 이미지를 먼저 기준이 되는 특정 위치를 바라볼때를 기준으로 삼아, 그 외의 다른 위치를 볼 때 이 이미지가 얼마나 돌아갔는지를 계산하는 것이다.
이 과정(S600)에서 사용되는 산출 알고리즘은 공지 기술을 통해 다양하게 실시될 수 있으나, 본 발명의 일 실시 예에 따르면 패턴매칭(Pattern matching)기법을 사용하여 계산할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야만 할 것이다.
100 : 카메라 200 : 위치파악부
300 : 회전위치산출부 400 : 제 1이미지변환부
500 : 홍채영역추출부 600 : 제 2이미지변환부
700 : 비틀림산출부

Claims (8)

  1. a) 선택된 하나의 이미지로부터 동공의 위치를 파악하는 단계;
    b) 파악된 동공의 위치를 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 안구의 회전 위치를 계산하는 단계;
    c) 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환하는 단계;
    d) 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출하는 단계;
    e) 추출된 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 단계; 및
    f) 직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 e)단계에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 단계;를 포함하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 방법.
  2. 제 1항에 있어서,
    상기 a) 단계 이전에,
    크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후, 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 계산하는 단계; 및
    계산된 왜곡 특성을 촬영되는 이미지에 역으로 계산 및 적용하여 상기 선택된 하나의 이미지에 대한 왜곡을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 방법.
  3. 제 1항에 있어서,
    상기 a) 단계는,
    추출한 이미지에서 동공을 원으로 가정하여 동공의 제 1위치를 파악하는 단계; 및
    파악된 동공의 제 1위치에서 동공이 바라보고 있는 위치를 계산하는 단계;를 포함하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 방법.
  4. 제 1항에 있어서,
    상기 d) 단계에서는,
    상기 c) 단계에서 변환된 이미지로부터 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행하여 홍채에 해당하는 부분만을 남겨놓는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 방법.
  5. 안구를 촬영하기 위한 카메라;
    상기 카메라에서 촬영된 영상에서 선택된 하나의 이미지로부터 동공의 위치를 파악하는 위치파악부;
    상기 위치파악부에서 파악된 동공의 위치를 타원 매칭하고, 안구의 3차원 회전에 관한 모델을 이용하여 안구의 회전 위치를 계산하는 회전위치산출부;
    안구의 회전 위치가 계산된 상태의 이미지에서 홍채 부분을 평면으로 가정하고 안구가 정면을 바라보도록 이미지 변환하는 제 1이미지변환부;
    상기 제 1이미지변환부에서 변환한 이미지로부터 홍채 영역에 해당되는 이미지만 추출하는 홍채영역추출부;
    상기 홍채영역추출부에서 추출한 홍채 영역에 해당되는 이미지를 극좌표계 변환을 이용하여 직사각형 형태로 변환하는 제 2이미지변환부; 및
    직사각형 형태의 홍채 영역 이미지에 있어 특정 위치를 바라볼 때를 기준 위치로 설정하고, 상기 제 2이미지변환부에서 직사각형 형태로 변환된 이미지와 상기 기준 위치를 비교하여 안구의 비틀림 운동을 계산하는 비틀림산출부;를 포함하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 장치.
  6. 제 5항에 있어서,
    크기와 구성이 사전 설정된 체커보드 무늬의 판을 다양한 위치와 각도로 촬영한 후 촬영된 판의 왜곡된 정도를 각각의 이미지별로 계산 및 취합하여 카메라의 왜곡 특성을 사전에 계산하며, 상기 카메라에서 촬영된 영상에서 선택된 하나의 이미지에 계산된 왜곡 특성을 역으로 계산 및 적용하여 이미지의 왜곡을 보정하고 이를 상기 위치파악부로 전달하는 왜곡보정부;를 더 포함하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 장치.
  7. 제 5항에 있어서,
    상기 위치파악부는,
    추출한 이미지에서 동공을 원으로 가정하여 동공의 제 1위치를 파악하며, 파악된 동공의 제 1위치에서 동공이 바라보고 있는 위치를 계산하는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 장치.
  8. 제 5항에 있어서,
    상기 홍채영역추출부는,
    상기 제 1이미지변환부에서 변환한 이미지로부터 홍채와 동공간의 경계를 추출하고, 홍채와 공막의 경계를 추출하며, 눈썹 탐지 및 제거, 빛 반사 탐지 및 제거, 눈꺼풀 탐지 및 제거를 수행하여 홍채에 해당하는 부분만을 남겨놓는 것을 특징으로 하는 안구 위치 및 비틀림 측정을 위한 장치.
KR1020180157362A 2018-12-07 2018-12-07 안구 위치 및 비틀림 측정을 위한 방법 및 장치 KR20200069842A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180157362A KR20200069842A (ko) 2018-12-07 2018-12-07 안구 위치 및 비틀림 측정을 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180157362A KR20200069842A (ko) 2018-12-07 2018-12-07 안구 위치 및 비틀림 측정을 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200069842A true KR20200069842A (ko) 2020-06-17

Family

ID=71405921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157362A KR20200069842A (ko) 2018-12-07 2018-12-07 안구 위치 및 비틀림 측정을 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200069842A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100628921B1 (ko) 2004-07-20 2006-09-27 재단법인서울대학교산학협력재단 안구의 비틀림 운동 측정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100628921B1 (ko) 2004-07-20 2006-09-27 재단법인서울대학교산학협력재단 안구의 비틀림 운동 측정 방법

Similar Documents

Publication Publication Date Title
US11017205B2 (en) Three-dimensional finger vein recognition method and system
EP3413234B1 (en) Gaze-tracking device, gaze-tracking method, program, and computer-readable medium
US20130076884A1 (en) Method and device for measuring an interpupillary distance
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
US10628948B2 (en) Image registration device, image registration method, and image registration program
CN102830793A (zh) 视线跟踪方法和设备
CN109272557B (zh) 一种单相机单光源视线追踪系统眼球参数标定方法
US12056274B2 (en) Eye tracking device and a method thereof
US20220207919A1 (en) Methods, devices and systems for determining eye parameters
JP2013127621A (ja) 鑑賞者の着用メガネの補正レンズの屈折力を推定する方法及び装置
CN107240128B (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
Schnieders et al. Reconstruction of display and eyes from a single image
Karakaya A study of how gaze angle affects the performance of iris recognition
Santos-Villalobos et al. ORNL biometric eye model for iris recognition
WO2019136588A1 (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
JPH0351407B2 (ko)
JP2020162759A (ja) 視線計測装置
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
CN109074471A (zh) 一种基于主动外观模型的虹膜区域分割方法及装置
KR20200069842A (ko) 안구 위치 및 비틀림 측정을 위한 방법 및 장치
CN112419399A (zh) 一种图像测距方法、装置、设备和存储介质
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US11751764B2 (en) Measuring a posterior corneal surface of an eye
CN115997159A (zh) 使用移动设备确定眼睛旋转中心的位置的计算机实施的方法、移动设备以及计算机程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application