KR101898414B1

KR101898414B1 - 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템

Info

Publication number: KR101898414B1
Application number: KR1020180047505A
Authority: KR
Inventors: 홍성광; 임은천; 박정혜
Original assignee: 한림대학교 산학협력단
Priority date: 2018-04-24
Filing date: 2018-04-24
Publication date: 2018-09-12
Also published as: US11779257B2; US20200345288A1; WO2019208848A1

Abstract

본 발명은 안구 움직임 측정 방법으로서, (a) 표준화된 안진검사항목을 제시하고 상기 안진검사항목에 따른 안구의 영상을 수신하는 단계; (b) 상기 안구의 영상으로부터 동공 및 홍채를 인식하는 단계; (c) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 산출하는 단계; (d) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 기초로, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 판단하는 단계; 및 (e) 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 딥러닝 모델링을 통해 어지럼증에 대한 진단 결과를 생성하는 단계를 포함한다.

Description

3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템{A 3-DIMENSIONAL MEASUREMENT METHOD FOR EYE MOVEMENT AND FULLY AUTOMATED DEEP-LEARNING BASED SYSTEM FOR VERTIGO DIAGNOSIS}

본 발명은 어지럼 진단 기술에 관한 것으로서, 보다 상세하게는, 어지럼 진단에 사용되는 비디오안진기를 통해 촬영된 안구 움직임 영상을 처리 하여 안구 움직임의 수평 및 수직 변화량, 및 회전의 방향성을 획득하고 이를 통해 진단적 정보를 제공하는 안구 움직임 측정 및 진단 방법 및 시스템에 관한 것이다.

어지럼증은 크게 중추 혹은 말초 신경계에 기인한 것으로 나눠질 수 있으며, 특정 어지럼증의 경우 특이한 형태의 안구 움직임 패턴을 가지고 있는 것으로 알려져 있다. 인체의 세반고리관(Semicircular canal)은 3차원 공간하에서의 X, Y, Z 를 중심축으로 하는 회전 각가속도를 인지하며 이석기관은(Otolith organs) 수평과 수직의 선상 가속도를 인지하여 이에 대한 신호를 중추신경계로 전달하는 자이로센서의 역할을 수행한다. 두위변화에 따라 중추신경계로 전달된 이러한 전정신호는 시각과 연관되어 몸이 움직일 때마다 균형을 유지하게하는 전정안구반사를 유발하며 만약 세반고리관이나 이석기관 그리고 이를 지배하는 전정신경 혹은 이와 연관된 중추 구조물의 이상이 생긴다면 적절한 전정안구반사가 일어나지 않아 인체는 균형을 유지하기 어렵게 된다. 따라서 어지럼을 호소하는 환자들의 경우 전정안구반사의 이상으로 특이적인 안구운동이 유발되기 때문에 임상에서는 두위변화에 따른 안구움직임의 이상 여부를 판단하여 진단에 이용한다.

안구는 전정 반사 운동에 대해 수평 및 수직의 2축에 대한 움직임, 그리고 회전 움직임이라는 3차원의 운동 형태를 가진다. 현재까지 상용화된 안구 운동량의 측정은 검사자의 눈을 통한 검사, 프렌젤(Frenzel) 안경, 전기 안진기나 비디오 안진기를 통하여 수행되었다. 그러나, 검사자가 직접 관찰하거나 프렌젤 안경을 사용하는 방법은 안진의 변화량이 클 때는 안구의 움직임이 관찰될 수 있으나, 그 반대의 경우에 측정이 어려운 문제가 있다. 그럼에도 불구하고, 비디오 안진기는 현재까지 진단적 방법으로 널리 사용되고 있으며, 여기에는 사용자가 비디오를 통해 안구운동을 관찰하여 진단하는 방법과 비디오 안진기에 안진의 검사 장치를 달아 그래프를 통해 수평, 수직, 회전 운동에 대한 3축 측정을 표시하여 이를 진단에 사용하는 방법이 있다. 그러나 후자의 경우 객관적인 측정이 가능한 장점이 있으나 3축 분석을 위해서는 내부에 장착한 별도의 이미지 센서를 통해 획득한 영상을 처리하여 3축의 안구 운동량을 측정하게 된다. 따라서 내부에 장착된 이미지 센서의 해상도와 프레임율, 이미지 처리 정확도에 따라서 민감도가 결정되고, 또한 안구 운동의 각 축에 따라 측정된 각속도(deg/sec)를 별도로 측정해야 하는 기술적 문제 때문에 가격이 고가이어서 일반적으로 사용되기 어려운 문제가 있다. 반면 이러한 기능이 없는 단순 비디오 안진기는 상대적으로 저렴하여 널리 이용되고 있으나 이를 통한 진단에는 고도의 훈련이 필요하다.

한편 소뇌경색의 중추성 어지럼 환자는 초기 말초성 어지럼의 환자의 증상과 비슷하게 나타나기 때문에 이를 진단하기 어려운 경우가 있다. 이 경우 안진의 관찰은 초기에 시행한 MRI 보다 진단적 민감도가 우월한것으로 입증된 바 있어 어지럼 환자들에 있어 안진의 관찰과 정확한 해석은 중요한 의미를 가진다.

한국등록특허 제10-1297330호 한국공개특허 제10-2004-0107677호

본 발명의 목적은 이미지 센서로부터 획득된 영상을 처리하여 안구의 움직임을 3축으로 측정하고 안구의 움직임을 기초로 가능성 있는 진단을 결정하여 사용자에게 제공하는 안구 움직임 측정 및 진단 방법 및 시스템을 제공하는데 있다.

본 발명의 목적은 진단적 검사를 위해 시행한 여러 안진검사에서 유발된 안구운동을 이미지 센서로부터 획득하고, 획득된 영상을 처리하여 기준위치로부터 안구의 동공이 움직인 수평/수직 변화량에 대한 속도와 방향을 측정하고, 안구의 홍채가 움직인 회전 방향 변화량에 대한 속도와 방향을 측정하여 어지럼증 진단을 위한 양적 측정 지표를 제시하고 딥러닝 기술을 적용하여 가능성 있는 진단을 자동으로 출력하는 안구 움직임 측정 및 진단 방법 및 시스템을 제공하는데 있다. 특히 중추성 어지럼에서 나타나는 특징적인 안진의 양상을 판단하여 이에 대한 정보를 제공할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제1 측면은, 안구 움직임 측정 및 진단 방법으로서, (a) 안진의 관찰을 위해 표준화된 검사 항목을 순차적으로 제시하고 각 검사 항목에 대해 얻어진 안구의 영상을 수신하는 단계; (b) 상기 안구의 영상으로부터 동공 및 홍채를 인식하는 단계; (c) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 산출하는 단계; (d) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 기초로, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 판단하는 단계; 및 (e) 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증에 대한 진단 결과를 생성하는 단계를 포함한다.

바람직하게, 상기 (a) 단계는, 상기 표준화된 검사 항목의 검사 순서 및 검사 방법에 대한 정보를 순차적으로 출력하고 검사 시행을 지시하는 단계를 포함할 수 있다.

바람직하게, 상기 (b) 단계는, 상기 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별하는 단계; 상기 원의 형태를 갖는 객체가 있는 경우에는, 상기 원의 형태를 갖는 객체 내부의 픽셀 평균값을 이용하여 동공 이외의 영역에 대한 픽셀 값을 제거하는 단계; 및 상기 동공 이외의 영역에 대한 픽셀 값이 제거된 동공추정영역의 중심으로부터 바깥방향으로 진행하면서 각 픽셀 값을 수집하고, 수집된 픽셀 값을 이용하여 동공 영역을 결정하는 단계를 포함할 수 있다.

바람직하게, 상기 (b) 단계는, 상기 원의 형태를 갖는 객체에서 상기 동공 영역을 제외한 영역을 홍채 영역으로 결정하는 단계; 및 상기 홍채 영역을 수평 또는 수직 이미지로 변환하는 단계를 포함할 수 있다.

바람직하게, 상기 (c) 단계는, 상기 동공의 중심위치와 기저장된 기준중심위치를 비교하여, 상기 동공의 중심위치의 수평 변화성분 및 수직 변화성분을 계산하는 단계; 및 상기 홍채의 수평 또는 수직 이미지와 기저장된 기준이미지를 비교하여, 상기 홍채의 수평 또는 수직 이미지와 상기 기준이미지의 일치되는 위치 간의 차이를 기초로 회전 운동량을 계산하는 단계를 포함할 수 있다.

바람직하게, 상기 기준중심위치 및 기준이미지는, 상기 수신한 안구의 영상에서 원의 형태를 갖는 객체가 최초로 식별된 경우, 해당 안구의 영상에서 인식된 동공의 중심위치 및 해당 안구의 영상에서 인식된 홍채의 수평 또는 수직 이미지로 설정될 수 있다.

바람직하게, 상기 (d) 단계는, (a) 단계 내지 (c) 단계가 반복 수행되면서 저장된 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로, 특정 방향의 변화성분의 값을 양수 및 음수로 분리하고 기설정된 빈도수보다 낮은 빈도수를 가지는 변화성분의 값을 제거한 후, 3축 방향에 대한 대푯값을 산출하는 단계; 및 상기 3축 방향에 대한 대푯값을 기초로 상기 3축 방향에 대한 변화값 및 방향성을 결정하는 단계를 포함할 수 있다.

바람직하게, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 출력하는 단계를 더 포함하되, 상기 (a) 단계 내지 (c) 단계가 반복 수행되면서 산출되는 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량이 출력될 수 있다.

바람직하게, 상기 (e) 단계는, 상기 (a) 단계 내지 (d) 단계가 반복 수행되면서 획득된 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 패턴을 생성하는 단계; 상기 패턴을 기초로 딥러닝 모델을 정의하는 단계; 및 상기 정의된 딥러닝 모델을 이용하여, 특정 환자에 대한 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증의 진단명을 결정하는 단계를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제2 측면은, 영상 처리 장치 및 진단 장치를 포함하는 안구 움직임 측정 및 진단 시스템에 있어서, 상기 영상 처리 장치는 안구의 영상을 수신하는 영상 수신부; 상기 안구의 영상으로부터 동공을 인식하는 동공 인식부; 상기 안구의 영상으로부터 홍채를 인식하는 홍채 인식부; 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 산출하는 변화량 계산부; 및 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 기초로, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 판단하는 변화량 처리부를 포함하고, 상기 진단 장치는 상기 영상 처리 장치로부터 전달받은 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증에 대한 진단 결과를 생성한다.

바람직하게, 상기 동공 인식부는, 상기 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별하고, 상기 원의 형태를 갖는 객체가 있는 경우에는, 상기 원의 형태를 갖는 객체 내부의 픽셀 평균값을 이용하여 동공 이외의 영역에 대한 픽셀 값을 제거하고, 상기 동공 이외의 영역에 대한 픽셀 값이 제거된 동공추정영역의 중심으로부터 바깥방향으로 진행하면서 각 픽셀 값을 수집하고, 수집된 픽셀 값을 이용하여 동공 영역을 결정할 수 있다.

바람직하게, 상기 홍채 인식부는, 상기 원의 형태를 갖는 객체에서 상기 동공 영역을 제외한 영역을 홍채 영역으로 결정하고, 상기 홍채 영역을 수평 또는 수직 이미지로 변환할 수 있다.

바람직하게, 상기 변화량 계산부는, 상기 동공의 중심위치와 기저장된 기준중심위치를 비교하여, 상기 동공의 중심위치의 수평 변화성분 및 수직 변화성분을 계산하고, 상기 홍채의 수평 또는 수직 이미지와 기저장된 기준이미지를 비교하여, 상기 홍채의 수평 또는 수직 이미지와 상기 기준이미지의 일치되는 위치 간의 차이를 기초로 회전 운동량을 계산할 수 있다.

바람직하게, 상기 변화량 처리부는, (a) 단계 내지 (c) 단계가 반복 수행되면서 저장된 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로, 특정 방향의 변화성분의 값을 양수 및 음수로 분리하고 기설정된 빈도수보다 낮은 빈도수를 가지는 변화성분의 값은 제거한 후, 3축 방향에 대한 대표값을 산출하고, 상기 3축 방향에 대한 대표값을 기초로 상기 3축 방향에 대한 변화값 및 방향성을 결정할 수 있다.

바람직하게, 상기 안구 움직임 측정 및 진단 시스템은, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 출력하는 출력 장치를 더 포함하되, 상기 출력 장치는, 상기 영상 수신부, 동공 인식부, 홍채 인식부, 및 변화량 계산부에서의 동작이 반복 수행되면서 산출되는 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 출력할 수 있다.

바람직하게, 상기 진단 장치는, 상기 영상 처리 장치의 영상 수신부, 동공 인식부, 홍채 인식부, 변화량 계산부, 및 변화량 처리부에서의 동작이 반복 수행되면서 획득된 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 패턴을 생성하는 패턴 생성부; 상기 패턴을 기초로 딥러닝 모델을 정의하는 모델 정의부; 및 상기 정의된 딥러닝 모델을 이용하여, 특정 환자에 대한 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증의 진단명을 결정하는 모델 실행부를 포함할 수 있다.

상기한 바와 같이 본 발명에 의하면, 안구의 회전 운동을 분석하여 소프트웨어적인 처리만으로 저가의 비디오 안진기를 통해서도 수평/수직 및 회전에 해당하는 3축의 안구 운동을 정확히 감별할 수 있는 효과가 있다.

또한, 육안으로 식별하기 어려운 신호를 수치화하여 제공하고, 안구의 움직임이 상하좌우 어떤 방향성을 가지고 있는지를 객관적인 지표로서 방향의 경향과 방향을 제공하는 바 더욱 쉽고 정확하게 증상을 감별할 수 있는 효과가 있다.

또한, 안구의 움직임을 분석하여 가능성 있는 진단명을 제시하는 바, 신경외과 전문의가 없는 응급실 등에서 중추성과 말초성 어지럼을 구분하는 경우 효과적으로 사용될 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 안구 움직임 측정 시스템을 나타내는 구성도이다.
도 2는 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 진단 장치를 나타내는 블록도이다.
도 4는 일 실시예에 따른 안구 움직임 측정 및 진단 방법을 나타내는 흐름도이다.
도 5 내지 9는 동공 영역 및 홍채 영역을 인식하는 방법을 설명하기 위한 예시도이다.
도 10 내지 14는 수평 및 수직 변화량, 및 회전 운동량을 산출하는 방법을 설명하기 위한 예시도이다.
도 15 및 16은 어지럼증에 대한 진단 결과를 생성하는 방법을 설명하기 위한 예시도이다.

이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 안구 움직임 측정 및 진단 시스템을 나타내는 구성도이다.

도 1을 참조하면, 안구 움직임 측정 및 진단 시스템(100)은 이미지 센서(110), 영상 처리 장치(120), 출력 장치(130), 및 진단 장치(140)를 포함한다.

이미지 센서(110)는 안구의 움직임을 영상화하는 장치이다. 바람직하게, 이미지 센서(110)는 환자가 어두운 환경에 있는 경우(예를 들어, 고글을 착용하거나 암실에 있는 경우)에는 발광다이오드(Light-emitting diode, LED)를 통해 반사되는 영상을 획득하고, 환자가 밝은 환경에 있는 경우에는 가시광선을 통해 반사되는 영상을 획득할 수 있다. 본 발명에서 사용되는 이미지센서(110)는 그 종류에 제한을 두지 않는다.

영상 처리 장치(120)는 이미지 센서(110)로부터 제공받은 안구의 영상을 처리하여 안구 움직임을 측정하는 장치이다. 바람직하게, 영상 처리 장치(120)는 이미지 센서(110)로부터 제공받은 안구의 영상에서 동공과 홍채를 인식하고, 동공과 홍채의 움직임 변화량을 분석하고, 최종적으로 움직임의 방향과 속도를 제공할 수 있다. 일 실시예에서, 영상 처리 장치(120)는 사용자 인터페이스를 구비하여 안구의 영상에 대한 개별 프레임의 실시간 안구 움직임 측정 정보를 제공할 수 있다. 예를 들어, 수평, 수직 및 회전에 대한 특정 시점의 순간 속도와 방향에 대한 정보, 동공 중심의 위치, 홍채 영역의 이미지, 홍채 영역의 이미지나 전체 이미지의 모든 픽셀들에 대한 픽셀 평균, 안구를 원이 아닌 타원으로 근사 했을 때의 타원 각도, 홍채 영역을 둘러싼 사각형의 크기 등을 실시간으로 확인시켜줄 수 있다.

출력 장치(130)는 영상 처리 장치(120)를 통하여 제공받은 안구 움직임의 측정 정보를 출력하는 장치이다. 바람직하게, 출력 장치(130)는 실시간으로 개별 프레임별로 안구 움직임 측정값을 출력하거나 최종적으로 분석된 안구 움직임 정보에 대한 분석값과 이를 나타낼 수 있는 기호를 출력할 수 있다. 여기에서는 출력 장치(130)가 별도로 구비된 경우를 설명하였으나, 출력 장치(130)는 영상 처리 장치(120) 또는 이하 설명할 진단 장치(140)의 사용자 인터페이스로서 영상 처리 장치(120) 또는 진단 장치(140)에 구비될 수도 있다.

진단 장치(140)는 영상 처리 장치(120)로부터 제공받은 안구의 움직임에 대한 수치화된 대푯값들을 패턴화하고 패턴을 기반으로 어지럼증을 진단하는 장치이다. 바람직하게, 진단 장치(140)는, 영상 처리 장치(120)에서 안구의 움직임에 대한 하나의 영상 내의 모든 프레임들이 처리된 후에 획득된 수평, 수직, 및 회전의 대푯값들을 수신할 수 있고, 특정 환자에 대한 다수의 안구의 영상(예를 들어, 환자의 다양한 자세별 안구의 영상)으로부터 획득된 대푯값들을 패턴화 하고, 이를 기초로 딥러닝 모델을 이용하여 어지럼증 진단을 수행할 수 있다. 여기에서, 진단 장치(140)를 통하여 수행된 어지럼증의 진단 결과, 즉, 가장 높은 확률의 진단명 또는 개별 진단명별 확률은 출력 장치(130)를 통하여 출력될 수 있다.

도 2는 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.

도 2를 참조하면, 영상 처리 장치(120)는 영상 수신부(121), 동공 인식부(122), 홍채 인식부(123), 변화량 계산부(124), 변화량 처리부(125), 및 제어부(126)를 포함한다. 바람직하게, 제어부(126)는 영상 수신부(121), 동공 인식부(122), 홍채 인식부(123), 변화량 계산부(124), 및 변화량 처리부(125)의 동작 및 데이터의 흐름을 제어한다. 이하에서는, 도 4를 참조하여, 영상 처리 장치(120)의 각 구성에서 수행되는 동작을 보다 구체적으로 설명한다.

도 4를 참조하면, 영상 수신부(121)는 안구의 영상을 수신한다(단계 S410). 먼저, 사용자가 표준화된 안진검사를 할 수 있도록 순차적으로 검사항목이 제시되고 이를 시행할 것이 지시된다. 즉, 사용자(의사)에게 순차적인 검사 순서와 검사 방법을 제공하는 기능이 출력될 수 있고, 이는 영상 처리 장치(120) 또는 진단 장치(140)에서 수행될 수 있다. 예를 들면 환자가 비디오 안진기를 착용하고 검사를 시작할 때 진단 장치(140)에서는 진행할 검사를 “1)자발안진검사 2)주시안진검사 3)두진후안진검사 4)체위변화성안진검사”와 같이 순서대로 안내하고 각 검사를 시행할 것을 사용자에게 알리며, 각 검사항목에 대한 검사방법은 그림과 글로써 출력될 수 있다.

이를 통해 각 검사항목에 대한 검사가 완료되면, 각 검사 항목에 따르는 안진의 데이터가 수신될 수 있고, 바람직하게, 영상 수신부(121)는 각 검사의 수행에 따라 이미지 센서(110)에서 획득된 안구의 영상을 이미지 센서(110)로부터 수신한다. 여기에서, 영상 수신부(121)는 이미지 센서(110)로부터 획득되는 실시간 영상을 수신하거나, 또는 이미지 센서(110)로부터 획득되어 기저장된 영상을 수신할 수 있다.

동공 인식부(122)는 안구의 영상으로부터 동공을 인식하고, 홍채 인식부(123)는 안구의 영상으로부터 홍채를 인식한다(단계 S420). 바람직하게, 동공 인식부(122)는 먼저 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별할 수 있다. 여기에서, 원의 형태를 갖는 객체가 있는지 여부를 식별하는 데에는 Circle Hough Transform(CHT)과 같은 영상처리 기법이 적용될 수 있다. 보다 구체적으로, 동공 인식부(122)는 안구의 영상에서 원의 형태를 갖는 영역이 있는지 여부를 식별하여, 원의 형태를 갖는 영역이 있는 경우에는 열린상태, 원과 유사한 영역이 없는 경우에는 닫힌상태로 설정할 수 있다. 여기에서, 열린상태 또는 닫힌상태로 설정된 정보는 영상 처리 장치(120)와 연결된 출력장치(130)에 표시될 수 있다.

바람직하게, 동공 인식부(122)는 원의 형태를 갖는 객체가 있는 것으로 식별된 경우(즉, 열린상태로 설정된 경우), 원의 형태를 갖는 객체 내부의 픽셀 평균값을 이용하여 동공 이외의 영역에 대한 픽셀 값을 제거한다. 보다 구체적으로, 동공 인식부(122)는 원의 형태를 갖는 객체에 대한 회색조 변환을 통해 모든 픽셀값이 0-255의 범위에 있도록 변형한 다음, 원으로 인식이 되는 객체가 있는 경우 이를 동공으로 판단하여, 해당 원을 둘러싸는 사각형 영역을 추출한다. 사각형 영역의 대부분은 동공에 해당하므로 동공 인식부(122)는 사각형 영역 안의 모든 픽셀값에 대한 평균(mean)을 산출하고, 여기에서, 해당 평균 값은 통계적 의미의 기대치로써 동공을 특징짓는 경계값(threshold)이 된다. 그 다음, 동공 인식부(122)는 사각형 영역 안의 픽셀 중 경계값보다 큰 값을 가지는 픽셀을 백색으로 변환하여 해당 사각형 영역 안에 오직 동공에 해당하는 픽셀들만 흑색으로 남도록 한다. 즉, 경계값을 기준으로 사각형 영역 안의 픽셀에 대한 이진화를 수행하여 동공 이외의 영역에 대한 픽셀 값이 제거되도록 하는 것이다.

바람직하게, 동공 인식부(122)는 동공 이외의 영역에 대한 픽셀 값이 제거된 동공추정영역의 중심으로부터 바깥방향으로 진행하면서 각 픽셀 값을 수집하고, 수집된 픽셀 값을 이용하여 동공 영역을 결정할 수 있다. 보다 구체적으로, 도 5를 참조하면, 동공 인식부(122)는 동공추정영역의 중심으로부터 바깥방향으로 확산해 나가면서 0-360도를 일정한 단위로 분할한 정해진 각도들에 대해서 수평으로는 코사인 함수와 수직으로는 사인 함수를 적용하여 진행되는 방향의 픽셀 위치에서의 값들을 수집한다. 예를 들어, 정해진 각도가 90도라고 하면 사인(sin) 90도는 1이고, 코사인(cos) 90도는 0인바, 동공의 중심 좌표를 (0,0)이라고 할 때 상대좌표 (1,0)만큼 떨어진 위치가 다음 좌표이며, (0,0) 과 (1,0) 좌표에서의 두 픽셀 값들의 차이가 기설정된 차이값을 초과하는 경우에는 확산을 멈추고 정해진 각도에 대한 픽셀 좌표의 위치가 저장될 수 있다. 이렇게 획득된 정해진 각도에 대한 픽셀 좌표들의 위치를 타원으로 근사하면 해당 영역이 도 6에 도시된 바와 같이 동공 영역으로 결정될 수 있다. 도 6에서 파란색 원은 동공 영역에 해당하고 빨간색 원은 동공의 중심점에 해당한다. 이 때 타원으로 근사했을 경우, 수평선 또는 수직선을 기준으로 타원 각도가 계산될 수 있다.

동공 영역이 결정된 후, 홍채 인식부(123)는 원의 형태를 갖는 객체에서 동공 영역을 제외한 영역을 홍채 영역으로 결정할 수 있다. 여기에서, 도 7을 참조하면, 홍채 영역(720)은 동공 영역(710)이 제외된 평면 토로스 형태에 해당한다. 그 다음, 홍채 인식부(123)는 홍채 영역을 수평 또는 수직 이미지로 변환할 수 있다. 보다 구체적으로, 홍채 인식부(123)는 도 8에 검은색 원으로 도시된 바와 같이 동공 인식부(122)에서 획득된 동공 영역을 기설정된 일정크기로 확대하고, 확대된 해당 영역에서 동공 인식부(122)에서 획득된 동공 영역을 제거하여, 홍채 영역을 결정할 수 있다. 그 다음, 홍채 인식부(123)는 홍채 영역을 좌표계 변환하여 수평 또는 수직의 이미지로 변환할 수 있고, 예를 들어, 홍채 영역의 수직 이미지는 도 9에 도시된 바와 같다.

일 실시예에서, 안구의 영상에서 원의 형태를 갖는 객체가 최초로 식별된 경우에는, 단계 S420에서 인식된 동공 영역의 중심위치 및 홍채 영역의 수평 또는 수직 이미지는 기준중심위치 및 기준이미지로 설정되어, 이하 단계 S430에서 변화량 값을 산출할 때 기준값이 될 수 있다. 보다 구체적으로, 영상 수신부(121)가 이미지 센서(110)로부터 안구의 영상을 수신하기 이전에는 안구의 영상에 대하여 닫힌상태로 초기화되고, 영상 수신부(121)가 영상을 수신하여 동공 인식부(122)가 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별함에 따라, 원의 형태를 갖는 객체가 있는 것으로 식별되면 열린상태로 설정된다. 닫힌상태에서 열린상태로 변경되는 때의 해당 안구의 영상으로부터 인식된 동공의 중심위치는 기준중심위치로 설정되고, 해당 안구의 영상으로부터 인식된 홍채의 수평 또는 수직 이미지는 기준이미지로 저장되는 것이다. 기준중심위치 및 기준이미지가 저장된 후, 영상 수신부(121)를 통하여 다음 안구의 영상이 수신되면 해당 안구의 영상에서 다시 동공 및 홍채가 인식되고, 이하에서 설명할 단계 S430을 통하여 동공 및 홍채의 움직임이 계산될 수 있다.

변화량 계산부(124)는 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 산출한다(단계 S430). 바람직하게, 변화량 계산부(124)는 동공의 중심위치와 기저장된 기준중심위치를 비교하여, 동공의 중심위치의 좌/우 이동량에 해당하는 수평 변화성분 및 상/하 이동량에 해당하는 수직 변화성분을 계산할 수 있다. 예를 들어, 수평 변화성분은 도 10에 도시된 바와 같고, 수직 변화성분은 도 11에 도시된 바와 같으며, 도 10에서 x축은 시간, y축은 동공 중심의 절대적 수평 변화값이고, 도 11에서 x축은 시간 y축은 동공 중심의 절대적 수직 변화값을 나타낸다. 이와 같이 계산된 수평 변화성분 및 수직 변화성분은 변화량 계산부(124)에 저장될 수 있다. 저장된 수평 변화성분 및 수직 변화성분은 안구의 수평/수직 운동 방향 및 속도를 계산하기 위하여 미분되고, 미분값은 변화량 처리부(125)로 전달된다. 예를 들어, 도 10에 도시된 수평 변화성분의 미분값은 도 12에 도시된 바와 같고, 도 11에 도시된 수직 변화성분의 미분값은 도 13에 도시된 바와 같다. 여기에서, 수평 변화성분의 미분값 및 수직 변화성분의 미분값은 각각 동공의 수평 변화량 및 수직 변화량에 해당한다.

또한, 변화량 계산부(124)는 홍채의 수평 또는 수직 이미지와 기저장된 기준이미지를 비교하여, 홍채의 수평 또는 수직 이미지와 기준이미지의 일치되는 위치 간의 차이를 기초로 회전 운동량을 계산할 수 있다. 예를 들어, 홍채의 수직 이미지는 홍채 영역에 대한 이미지를 수직방향으로 특정 너비를 가지도록 분할함으로써 획득되는바, 너비는 같고 수직 좌표 값이 다른 다수의 홍채의 수직 이미지들이 획득된다. 이와 같은 홍채의 수직 이미지를 기준으로 기준이미지에 대하여 이미지 검색을 수행하여 일치되는 좌표가 있는 경우에는, 도 14에 도시된 바와 같이, 해당 좌표의 수직 좌표값과 홍채의 수직 이미지의 좌표의 수직 좌표 값을 차이가 계산될 수 있고, 도 14에서 x축은 시간, y축은 홍채 움직임을 통해 얻어진 회전 변화값을 나타낸다. 이와 같이 계산된 차이값은 수평 및 수직 변화성분과는 다르게 미분되지 않고 바로 변화량 처리부(125)로 전달된다. 여기에서, 기준 이미지와 홍채의 수평 또는 수직 이미지의 좌표에 대한 차이값이 회전 운동량에 해당한다.

변화량 처리부(125)는 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로, 안구의 3축 방향에 대한 변화값 및 방향성을 판단한다(단계 S440). 바람직하게, 단계 S410 내지 S430은 반복 수행되고, 반복 수행에 따라 저장된 복수의 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로, 변화량 처리부(125)는 특정 방향의 변화성분의 값을 양수 및 음수로 분리하고 기설정된 빈도수보다 낮은 빈도수를 가지는 변화성분의 값을 제거한 후, 3축 방향에 대한 대푯값을 산출할 수 있다. 여기에서, 3축 방향에 대한 대푯값은 단계 S410 내지 S440의 반복 수행에 따라 환자의 다양한 자세별 영상에 대하여 산출될 수 있다.

보다 구체적으로, 변화량 처리부(125)는 영상 수신부(121)를 통하여 영상의 수신이 종료되면, 즉, 더 이상의 영상이 수신되지 않으면 동영상이 종료된 것으로 간주하고, 변화량 계산부(124)로부터 전달받은 수평 및 수직 변화성분의 미분값(도 12 및 도 13), 및 차이값(도 14)에 대해서 도 12 내지 도 14에 도시된 중간 직선을 0으로 하고, 상하좌우 특정 방향으로의 성분의 값을 양수 또는 음수로 분리하고 빈도가 낮은 수치는 제거한 다음, 모든 양수에 대해서 및 모든 음수에 대해서 각각 합을 계산하거나 또는 적분하여, 계산된 절대값이 큰 값들을 3축 방향의 대푯값으로 한다. 예를 들어, 모든 수평 변화성분의 미분값에 대해서 양수에 해당하는 값들의 합이 48이고, 음수에 해당하는 값들의 합이 -30인 경우, 대푯값은 48이고 방향은 우측방향을 나타낸다.

이와 같인 획득된 3축 방향에 대한 대푯값을 기초로 변화량 처리부(125)는 3축 방향에 대한 변화값 및 방향성을 결정할 수 있고, 예를 들어, 3축 방향에 대푯값이 수평방향 -13, 수직방향 30, 회전방향 -3으로 획득되었다면, 변화값은 왼쪽 -13, 및 상향 30으로 결정될 수 있고, 방향성은 반시계방향 -3으로 결정될 수 있다.

일 실시예에서, 단계 S440을 통하여 획득된 안구의 3축 방향에 대한 변화값 및 방향성은 영상 처리 장치(120)의 출력부(도면에 도시되지 않음) 또는 출력 장치(130)를 통하여 출력될 수 있다. 또한, 단계 S410 내지 S430의 반복 수행에 따라 산출되는 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량은 그 값이 산출될 때마다, 또는 일정한 주기로 출력부 또는 출력 장치(130)를 통하여 출력될 수 있다.

다음으로, 단계 S440을 통하여 획득된 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증에 대한 진단 결과가 생성되고(단계 S450), 단계 S450은 영상 처리 장치(120)로부터 획득된 안구의 3축 방향에 대한 변화값 및 방향성에 대한 정보를 제공받아 진단 장치(140)에서 수행되는 동작인바, 이하 도 3을 참조하여 단계 S450에 대하여 상세하게 설명한다.

도 3은 일 실시예에 따른 진단 장치(140)를 나타내는 블록도로서, 도 3을 참조하면, 진단 장치(140)는 패턴 생성부(141), 모델 정의부(142), 모델 실행부(143), 및 제어부(144)를 포함한다. 여기에서, 제어부(144)는 패턴 생성부(141), 모델 정의부(142), 및 모델 실행부(143)의 동작 및 데이터의 흐름을 제어한다.

바람직하게, 영상 처리 장치(120)로부터 다수의 동영상에 대한 안구의 3축 방향에 대한 변화값 및 방향성, 즉, 수평, 수직, 및 회전의 대푯값을 수신하면, 진단 장치(140)의 패턴 생성부(141)는 환자의 다양한 자세별 동영상에 대하여 획득된 3축에 대한 대푯값들을 통합 및 조합하여 하나의 대표패턴을 생성하고 저장할 수 있다. 여기에서, 패턴을 이루고 있는 3축에 대한 대푯값들이 나타내는 의미는 반드시 수평, 수직, 및 회전에 해당하는 것이 아니고 경우에 따라 다양하게 변화될 수 있다. 예를 들어, 총 10개의 자세별 동영상에 대한 3축 대푯값들을 수신한 경우, 도 15에 도시된 바와 같이, 패턴은 3축 대푯값들을 밝기로 표현한 격자들로 구성될 수 있고, 총 10개의 자세는 너비 방향으로 배치되고 각 자세에 대한 3축의 대푯값에 대해서 각각 2개씩 총 6개의 격자를 높이 방향으로 배치함으로써 총 30개의 격자들로 구성된 하나의 패턴이 생성될 수 있다. 도 15에서는 3축 대푯값들을 밝기로 표현한 경우를 도시하였으나 표현 형태는 격자의 크기 또는 격자의 색상 등 다양하게 변형 가능하다. 여기에서, 대표패턴들은 훈련(training), 검증(validation), 및 테스트(test) 집합으로 구분하여 저장되고, 임의의 순서로 불려질 수 있다.

바람직하게, 모델 정의부(142)는 패턴 생성부(141)에서 생성된 대표패턴들에 대해 딥러닝 훈련을 수행하기 위한 딥러닝 모델을 정의하고 훈련을 수행할 수 있다. 딥러닝 모델은 패턴과 진단명과의 사상을 위한 다양한 종류의 모델이 이용될 수 있고, 예를 들어, 컨볼루션 신경망이 이용될 수 있다. 또한, 진단명은 카테고리형 데이터이나 수치형으로 변환될 수 있고, 모델 정의부(142)는 뉴런과 가중치의 조합으로 표현되는 딥러닝 모델에 대하여 훈련 최적화 알고리즘, 모델의 구조와 훈련 데이터의 저장 및 불러오기 방식, 및 다양한 하이퍼파라미터 등을 정의하고, 정의한 내용을 기반으로 딥러닝 훈련을 수행할 수 있다.

딥러닝 모델의 개별 처리 단위는 뉴런이고 딥러닝 모델은 뉴런이 연결된 신경망이라는 구조를 가지고 있다. 개별 뉴런은 가중치에 해당하는 수치를 포함하며 한 뉴런에서 다음 뉴런으로 연결되는 부분은 활성화 함수로 표현된다. 활성화 함수는 비선형 함수로, 예를 들어, sigmoid, tanh, ReLU 등의 함수가 있으며, 해당 함수들은 한 뉴런에서 다음 뉴런으로 값이 전달될 때 값을 어떠한 형태로 변환하여 전달할지 결정한다. 신경망 구조는 격자의 행렬(w)로 표현될 수 있고, 예를 들어, 패턴 생성부(141)에서 얻은 훈련데이터를 X라고 하고 어지럼증 진단명을 Y라고 할 때, 이를 사상하는 함수, 즉, 타겟 함수는 Y=wX의 형태를 가진다. 여기에서, 타겟 함수는 입력된 패턴 X에 대해 특정 예측값 Y를 결과물로서 내게 된다. 특정 환자에 대해 전문의가 진단한 내용을 진실로 가정하여 y로 표현하면, 진실값 y와 딥러닝 모델 예측값 Y 사이에는 차이가 있을 수 있고, 이 차이는 현실과 모델의 오류로서 손실(loss)이라고 하며, 딥러닝 훈련은 역전사 기법 등을 사용하여 이러한 손실 값을 줄여 나가는 과정이다. 하나의 훈련 데이터는 하나의 대표패턴과 전문의가 진단한 어지럼증 진단명으로 이뤄지고, 딥러닝 훈련은 전체 데이터에 대해 한꺼번에 이뤄지지 않고 배치(batch)에 해당하는 작은 훈련 단위로 쪼개어져서 이뤄질 수 있다. 반복적인 역전사 기법은 개별 배치에 대해 수행되며, 훈련 집합과 진단명을 사상하는 모델의 에러가 감소하는지 여부, 및 모델의 진단 정확도가 상승하는지 여부는 각각 훈련 손실값(loss)과 검증 정확도(validation accuracy)를 통해 확인될 수 있다. 이 때 이전 모델보다 손실값이 감소하거나 정확도가 상승한 경우에는 전체 모델 또는 모델을 나타내는 가중치 행렬 값이 임의의 장소에 저장되도록 할 수 있다.

바람직하게, 모델 실행부(143)는 모델 정의부(142)를 통하여 정의된 딥러닝 모델을 이용하여 새로운 환자의 동영상을 통해 획득한 패턴에 대해 진단을 수행할 수 있다. 모델 실행부(143)는 모델 정의부(142)에서 생성한 모델 중 가장 손실이 적고 검증 정확도가 높은 모델을 불러올 수 있고, 도 16에 도시된 바와 같이, 다양한 어지럼증 진단명에 대한 개별적인 확률을 크로스엔트로피 계산법 등으로 계산하여 각 진단명 중에서 가장 높은 확률을 가지는 진단명(Left Anterior Canal BPPV(Benign paroxysmal positional vertigo))을 결정할 수 있고, 어느 정도의 확률로 특정 어지럼증 증상을 가지고 있는지 결정할 수 있다. 여기에서, 결정된 진단명은 진단 결과로서 출력 장치(130)에 출력될 수 있다.

한편, 본 발명의 일 실시예에 따른 안구 움직임 측정 및 진단 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

전술한 본 발명에 따른 안구 움직임 측정 및 진단 방법 및 시스템에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

100: 안구 움직임 측정 시스템
110: 이미지 센서
120: 영상 처리 장치
121: 영상 수신부 122: 동공 인식부
123: 홍채 인식부 124: 변화량 계산부
125: 변화량 처리부 126: 제어부
130: 출력 장치
140: 진단 장치
141: 패턴 생성부 142: 모델 정의부
143: 모델 실행부 144: 제어부

Claims

(a) 각 검사 항목을 제시하고 상기 각 검사 항목에 대하여 획득된 안구의 영상을 검사별로 수신하는 단계;
(b) 상기 안구의 영상으로부터 동공 및 홍채를 인식하는 단계;
(c) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 산출하는 단계;
(d) 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 기초로, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 판단하는 단계; 및
(e) 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증에 대한 결과를 생성하는 단계를 포함하는 안구 움직임 측정 방법.
제1항에 있어서, 상기 (b) 단계는,
상기 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별하는 단계;
상기 원의 형태를 갖는 객체가 있는 경우에는, 상기 원의 형태를 갖는 객체 내부의 픽셀 평균값을 이용하여 동공 이외의 영역에 대한 픽셀 값을 제거하는 단계; 및
상기 동공 이외의 영역에 대한 픽셀 값이 제거된 동공추정영역의 중심으로부터 바깥방향으로 진행하면서 각 픽셀 값을 수집하고, 수집된 픽셀 값을 이용하여 동공 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 안구 움직임 측정 방법.
제2항에 있어서, 상기 (b) 단계는,
상기 원의 형태를 갖는 객체에서 상기 동공 영역을 제외한 영역을 홍채 영역으로 결정하는 단계; 및
상기 홍채 영역을 수평 또는 수직 이미지로 변환하는 단계를 포함하는 것을 특징으로 하는 안구 움직임 측정 방법.
제1항에 있어서, 상기 (c) 단계는,
상기 동공의 중심위치와 기저장된 기준중심위치를 비교하여, 상기 동공의 중심위치의 수평 변화성분 및 수직 변화성분을 계산하는 단계; 및
상기 홍채의 수평 또는 수직 이미지와 기저장된 기준이미지를 비교하여, 상기 홍채의 수평 또는 수직 이미지와 상기 기준이미지의 일치되는 위치 간의 좌표의 차이를 기초로 회전 운동량을 계산하는 단계를 포함하는 것을 특징으로 하는 안구 움직임 측정 방법.
제4항에 있어서, 상기 기준중심위치 및 기준이미지는,
상기 수신한 안구의 영상에서 원의 형태를 갖는 객체가 최초로 식별된 경우, 해당 안구의 영상에서 인식된 동공의 중심위치 및 해당 안구의 영상에서 인식된 홍채의 수평 또는 수직 이미지로 설정되는 것을 특징으로 하는 안구 움직임 측정 방법.
제1항에 있어서, 상기 (d) 단계는,
(a) 단계 내지 (c) 단계가 반복 수행되면서 저장된 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로,
특정 방향의 변화성분의 값을 양수 및 음수로 분리하고 기설정된 빈도수보다 낮은 빈도수를 가지는 변화성분의 값을 제거한 후, 3축 방향에 대한 대푯값을 산출하는 단계; 및
상기 3축 방향에 대한 대푯값을 기초로 상기 3축 방향에 대한 변화값 및 방향성을 결정하는 단계를 포함하는 것을 특징으로 하는 안구 움직임 측정 방법.
제1항에 있어서,
상기 안구의 3축 방향에 대한 변화값 및 방향성을 출력하는 단계를 더 포함하되, 상기 (a) 단계 내지 (c) 단계가 반복 수행되면서 산출되는 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량이 출력되는 것을 특징으로 하는 안구 움직임 측정 방법.
제1항에 있어서, 상기 (e) 단계는
상기 (a) 단계 내지 (d) 단계가 반복 수행되면서 획득된 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 패턴을 생성하는 단계;
상기 패턴을 기초로 딥러닝 모델을 정의하는 단계; 및
상기 정의된 딥러닝 모델을 이용하여, 특정 환자에 대한 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증의 진단명을 결정하는 단계를 포함하는 것을 특징으로 하는 안구 움직임 측정 방법.
영상 처리 장치 및 진단 장치를 포함하는 안구 움직임 측정 시스템에 있어서,
상기 영상 처리 장치는,
각 검사 항목에 대하여 획득된 안구의 영상을 수신하는 영상 수신부;
상기 안구의 영상으로부터 동공을 인식하는 동공 인식부;
상기 안구의 영상으로부터 홍채를 인식하는 홍채 인식부;
상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 산출하는 변화량 계산부; 및
상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 기초로, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 판단하는 변화량 처리부를 포함하고,
상기 진단 장치는, 상기 영상 처리 장치로부터 전달받은 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증에 대한 결과를 생성하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제9항에 있어서, 상기 동공 인식부는,
상기 안구의 영상에서 원의 형태를 갖는 객체가 있는지 여부를 식별하고,
상기 원의 형태를 갖는 객체가 있는 경우에는, 상기 원의 형태를 갖는 객체 내부의 픽셀 평균값을 이용하여 동공 이외의 영역에 대한 픽셀 값을 제거하고,
상기 동공 이외의 영역에 대한 픽셀 값이 제거된 동공추정영역의 중심으로부터 바깥방향으로 진행하면서 각 픽셀 값을 수집하고, 수집된 픽셀 값을 이용하여 동공 영역을 결정하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제10항에 있어서, 상기 홍채 인식부는,
상기 원의 형태를 갖는 객체에서 상기 동공 영역을 제외한 영역을 홍채 영역으로 결정하고,
상기 홍채 영역을 수평 또는 수직 이미지로 변환하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제9항에 있어서, 상기 변화량 계산부는,
상기 동공의 중심위치와 기저장된 기준중심위치를 비교하여, 상기 동공의 중심위치의 수평 변화성분 및 수직 변화성분을 계산하고,
상기 홍채의 수평 또는 수직 이미지와 기저장된 기준이미지를 비교하여, 상기 홍채의 수평 또는 수직 이미지와 상기 기준이미지의 일치되는 위치 간의 좌표의 차이를 기초로 회전 운동량을 계산하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제12항에 있어서, 상기 기준중심위치 및 기준이미지는,
상기 수신한 안구의 영상에서 원의 형태를 갖는 객체가 최초로 식별된 경우, 해당 안구의 영상에서 인식된 동공의 중심위치 및 해당 안구의 영상에서 인식된 홍채의 수평 또는 수직 이미지로 설정되는 것을 특징으로 하는 안구 움직임 측정 시스템.
제9항에 있어서, 상기 변화량 처리부는,
(a) 단계 내지 (c) 단계가 반복 수행되면서 저장된 동공의 수평 및 수직 변화량, 및 홍채의 회전 운동량을 기초로,
특정 방향의 변화성분의 값을 양수 및 음수로 분리하고 기설정된 빈도수보다 낮은 빈도수를 가지는 변화성분의 값은 제거한 후, 3축 방향에 대한 대표값을 산출하고,
상기 3축 방향에 대한 대표값을 기초로 상기 3축 방향에 대한 변화값 및 방향성을 결정하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제9항에 있어서,
상기 안구 움직임 측정 시스템은, 상기 안구의 3축 방향에 대한 변화값 및 방향성을 출력하는 출력 장치를 더 포함하되,
상기 출력 장치는, 상기 영상 수신부, 동공 인식부, 홍채 인식부, 및 변화량 계산부에서의 동작이 반복 수행되면서 산출되는 상기 동공의 수평 및 수직 변화량, 및 상기 홍채의 회전 운동량을 출력하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제9항에 있어서, 상기 진단 장치는,
상기 영상 처리 장치의 영상 수신부, 동공 인식부, 홍채 인식부, 변화량 계산부, 및 변화량 처리부에서의 동작이 반복 수행되면서 획득된 상기 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 패턴을 생성하는 패턴 생성부;
상기 패턴을 기초로 딥러닝 모델을 정의하는 모델 정의부; 및
상기 정의된 딥러닝 모델을 이용하여, 특정 환자에 대한 안구의 3축 방향에 대한 변화값 및 방향성을 기초로 어지럼증의 진단명을 결정하는 모델 실행부를 포함하는 것을 특징으로 하는 안구 움직임 측정 시스템.
제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.