KR101745774B1 - 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템 - Google Patents

Abstract

안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템이 제시된다. 본 발명에서 제안하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법은 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계, 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계, 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계를 포함할 수 있다.

Description

안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템{Method and System for Recognition of Eye-Character based on Tracking Technique of Electro Oculogram Gaze}

본 발명은 눈동자의 움직임을 포착해 사용자가 응시하는 지점을 추정하는 시선 트래킹 방법 및 시스템에 관한 것이다.

시선 트래킹 기술은 눈동자의 움직임을 포착해 사용자가 응시하는 지점을 추정하는 기술로, 현재 신경과학, 심리학, 임상과학 연구, 마케팅 조사(웹페이지 및 제품의 사용자 평가), 신경질병 진단 및 안구 마우스 등의 다양한 분야에서 응용되고 있다.

현재 시선 트래킹은 크게 두 가지의 방법으로 이루어지고 있다.

가) 비디오 기반의 시선 트래킹 기술은 얼굴 전면부에 카메라를 부착하고 눈동자의 움직임을 촬영하여 응시 지점을 추정한다.

나) 안구전도 시선 트래킹 기술은 눈의 주변부에 전극을 부착하여 안구의 움직임에 따라 발생하는 전기신호를 측정하여 이 전기신호의 크기로 응시 지점을 추정한다.

앞서 말한 비디오 기반의 기술은 사용자가 얼굴 전면부에 카메라를 부착해야 해서 시야의 일부가 가려지거나 고가의 안구인식용 카메라를 필요로 한다는 한계점이 있다. 그리고, 눈을 감고 있을 때는 안구의 움직임을 측정할 수 없다. 또한, 안구전도 방식에 비해 상대적으로 고비용이라는 단점이 있다.

반면, 안구전도 방식은 시야를 가리지 않고 눈의 움직임을 측정할 수 있으며 눈을 감고 있을 때에도 안구의 움직임을 측정하는 것이 가능하나, 전자에 비해 상대적으로 낮은 정확도를 가지고 있다고 알려져 있다.

ALS(루게릭 병)와 같은 병을 앓는 환자들의 경우 사지가 마비되어 자기 의사표현이 힘들다. 이러한 사지마비 환자들은 사지마비 환자를 위한 눈글 입력 시스템을 이용하여 보호자의 도움을 받아 글자판을 응시하여 원하는 말을 전달하거나, 보호자가 한 글자씩 읽어주었을 때 반응 하는 글자를 찾는 방식으로 의사 전달을 하고 있다. 이러한 방식의 의사전달은 환자가 하고자 하는 말이 있을 때 반드시 간병인이나 보호자의 도움을 받아야만 한다는 한계가 있어 환자뿐 아니라 보호자에게도 불편함을 주고 있다. 여기에서, 눈글은 사용자가 시선을 이용하여 나타내는 글씨, 문양 또는 이와 유사한 다른 예들을 포함하는 것으로 정의한다.

기존 시중에 나와 있는 시선 트래킹을 이용한 마우스 및 키보드가 있으나 이들은 모두 고비용인 비디오 기반의 시선 트래킹 기술을 이용한 것으로 환자 및 환자의 가족에게 많은 비용부담을 안겨주고 있다. 따라서, 이러한 환자들을 위한 새로운 의사표현의 방법을 이용한 상대적으로 저비용으로 구현할 수 있는 안구전도 기반의 시선 트래킹 눈글 입력 시스템을 필요로 한다.

또한, 시선 분석 기술은 최근 시장 조사 및 뉴로마케팅 분야에서 응용되고 있는 기술로 사용자의 시선을 추적하여 상품가치 평가와 사용자의 사고 흐름을 파악하는 데에 이용되고 있다.

그리고 HCI 응용을 위한 새로운 입력 시스템에 있어서, 최근 뇌파, 심전도 및 모션 인식과 같은 다양한 생체/신체 기반의 정보를 인간-컴퓨터 상호작용(HCI)에 응용하여 이로부터 사람의 행동이나 의도를 읽어내는 기술이 늘어나고 있다.

안구전도 분석은 안구의 움직임에 따라 바뀌는 눈 자체의 전기장을 눈 주위에 전극을 붙여 측정하는 생체계측 방식이다. 눈 주위에 붙인 두 쌍의 전극(한 쌍은 가로 성분, 또 다른 한 쌍은 세로 성분의 전기장을 측정하기 위해 사용)으로부터 눈의 움직임이나 깜박임에 대한 정보를 얻을 수 있다.

기존에는 (1) EEG(뇌파) 측정 시 안구전도를 함께 측정하여 눈으로부터 유입되는 잡음 및 외부 신호 제거에 이용하거나, (2) 눈동자의 움직임을 이용한 휠체어의 제어(전후좌우 움직임), (3) 행동 인식 등에 이용되어 왔고, 최근 안구전도를 이용한 시선 트래킹 기술 개발이 시도되고 있다.

시선 트래킹 기술에는 센서 부착 방식, 비디오 기반 시선 트래킹 기술, 안구전도 기반 시선 트래킹 기술 등이 있다.

센서 부착 방식은 안구의 표면에 전자기/광학적 센서가 부착된 콘택트렌즈와 같은 장치를 착용하여 시선을 추적하는 방식이다. 정확한 측정을 위해서는 눈이 움직이는 동안 센서가 눈의 표면에서 미끄러져 이동하지 않아야 하기 때문에 각막에 센서를 밀착시켜야 한다. 이러한 방식의 센서들은 매우 정확한 시선 추적 성능을 보이고 있다.

비디오 기반 시선 트래킹 기술은 비디오카메라를 이용하여 안구로부터 적외선이 반사되어 나오는 각을 측정하는 방식이다. 빛이 반사되어 나온 각으로부터 안구의 회전각을 계산해낸다. 주로 각막에서 반사되는 빛을 추적하거나, 동공 중심을 계속해서 추적하는 방식으로 시선을 트래킹한다. 카메라를 사용하기 때문에 얼굴의 전면부에 카메라 마운트를 부착하여 눈의 움직임을 촬영하게 된다.

안구전도 기반 시선 트래킹 기술은 안구전도 신호의 크기로부터 시선의 위치를 추정하는 방법이다. 종래기술에서는 이를 이용하여 눈의 움직이는 방향과 깜박임을 이용해 상하/좌우로 커서를 이동시키는 것과 같은 HCI 구현이나, 눈으로 그린 간단한 형태의 도형을 인식하는 연구가 보고되어 있으나 이를 시선 트래킹 수준까지 발전시킨 기술은 없었다.

본 발명이 이루고자 하는 기술적 과제는 안구전도 시선 트래킹 기술에 있어서, 복잡한 시선의 이동 패턴을 인식하여 다양한 분야들에서 사용자의 시선 이동 분석을 위한 방법 및 시스템을 제공하는데 있다. 또한, 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 방법 및 시스템을 제공하고자 한다.

일 측면에 있어서, 본 발명에서 제안하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법은 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계, 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계, 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계를 포함할 수 있다.

안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계는 상기 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 입력 받는 단계, 입력 받은 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거하는 단계, 상기 잡음을 제거한 후, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 기준 드리프트를 제거하는 단계, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 눈 깜빡임을 검출하는 단계를 포함할 수 있다.

상기 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계는 모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정할 수 있다.

상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구할 수 있다.

상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계는 미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식할 수 있다.

상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻을 수 있다.

상기 눈글은 좌표의 중심이 미리 정해진 좌표에 오도록 조정되고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정되는 표준화 과정을 거칠 수 있다.

상기 표준화 과정을 거친 눈글은 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식할 수 있다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템은 사용자의 안구주위 피부에 부착한 전극으로부터 안구전도 신호를 입력 받는 입력부, 상기 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리부, 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 실시간 추정부, 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 눈글 후처리 및 인식부를 포함할 수 있다.

상기 전처리부는 상기 입력부로부터 입력 받은 안구전도 신호의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거하고, 기준 드리프트를 제거하고, 눈 깜빡임을 검출할 수 있다.

상기 실시간 추정부는 모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정할 수 있다.

상기 실시간 추정부는 상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구할 수 있다.

상기 눈글 후처리 및 인식부는 미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식할 수 있다.

상기 눈글 후처리 및 인식부는 상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻을 수 있다.

상기 눈글 후처리 및 인식부는 상기 눈글을 좌표의 중심이 미리 정해진 좌표에 오도록 조정하고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정하는 표준화 과정을 수행하고, 상기 표준화 과정을 거친 눈글을 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식할 수 있다.

본 발명의 실시예들에 따르면 안구전도를 이용해 알파벳과 같은 섬세한 움직임이 요구되는 기하학적인 패턴을 그릴 때 생기는 궤적을 추적할 수 있다. 그리고, 안구전도 신호 측정을 통해 눈의 움직임으로 쓰는 알파벳(다시 말해, 눈글)을 입력 받고, 이를 높은 정확도로 인식할 수 있다. 또한, 사지마비 환자를 대상으로 하는 의사소통 시스템 및 일반인에게 새로운 사용자 경험을 제공하는 HCI 시스템으로의 응용이 가능하다.

도 1은 본 발명의 일 실시예에 따른 안구전도 시선 트래킹 기술 기반 눈글 인식 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 안구전도 신호의 측정 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 안구전도 신호의 크기와 안구 회전각 사이의 상관관계 측정 결과를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 실제의 눈 움직임과, 간단한 방법으로 재구성된 눈글을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 눈글의 후처리 방법 개요도 및 후처리 이후 재구성된 눈글을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 안구전도로 측정한 눈글(알파벳 소문자)의 예시를 나타내는 도면이다.

종래기술에 따른 안구전도 분석 중 외부 신호의 유입에 있어서, 안구전도 신호에는 눈의 움직임에 의한 전기장의 변화만 측정되는 것이 아니라 뇌파(EEG)와 근전도(EMG), 외부 전력원이나 주위 환경에 의한 잡음 또한 유입되어 측정이 된다. 따라서 이러한 외부 신호를 효과적으로 제거할 필요가 있다.

그리고, 종래기술에 따른 안구전도 분석 중 눈 깜박임에 의한 신호왜곡에 있어서, 사용자가 눈을 깜박이는 동안 안구전도 신호는 급격히 증가했다가 다시 원래의 크기로 돌아오는 특성을 가지고 있다. 따라서 눈을 깜박이는 경우 실제로 눈을 움직이지 않았는데도 마치 눈을 크게 움직인 것처럼 신호가 나타나게 된다.

또한, 종래기술에 따른 안구전도 분석 중 드리프트(Drift)의 발생 및 일관성 저하 문제에 있어서, 안구전도 신호는 실제로는 눈을 움직이지 않고 있어도 신호의 크기가 조금씩 변화하는(선형적으로 증가/감소 혹은 싸인 함수와 같은 곡선의 형태) 드리프트(Drift)가 발생한다. 따라서 눈의 움직임 정보를 정확하게 얻기 위해서는 드리프트(Drift)에 의한 신호 변화를 상쇄시켜 줄 필요가 있다.

종래기술에 따른 시선 트래킹 기술 중 센서 부착 방식은 콘택트렌즈와 같은 센서를 각막에 직접 부착해야 하는 침습적 방법이다. 반복해서 사용하게 될 경우 각막 표면이나 눈꺼풀 안쪽 면에 상처를 낼 수 있다는 단점을 가지고 있다.

그리고, 종래기술에 따른 시선 트래킹 기술 중 비디오 기반 시선 트래킹 기술은 얼굴의 전면부에 카메라를 부착하므로 시야의 일부가 가려져 자연스러운 시선의 이동이 어렵다. 최근 안경 형태로 간소화된 장비가 개발되고 있으나 여전히 눈의 촬영을 위해 안구와 카메라 사이의 최소한의 거리가 보장되어야 하므로 본질적인 불편함은 해소되지 못하고 있다. 더불어, 사용자의 눈동자를 지속적으로 촬영해야 하므로 눈을 감고 있거나, 주위 환경이 어두워 촬영이 힘든 경우에는 시선 트래킹이 힘들다.

그리고, 종래기술에 따른 시선 트래킹 기술 중 안구전도 기반 시선 트래킹 기술에 있어서, 현재까지의 안구전도 기반 시선 트래킹 기술은 상하/좌우 눈 움직임을 파악하거나 간단한 형태의 도형 패턴을 그리고 인식하는 것을 보여주었으나 패턴의 단순성에 비해서 높은 성능을 보여주지는 못했고, 글을 쓰는 것과 같은 복잡한 패턴을 안구전도 기반 실시간 시선 트래킹으로 인식한 예는 없었다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 안구전도 시선 트래킹 기술 기반 눈글 인식 방법을 설명하기 위한 흐름도이다.

안구전도 시선 트래킹 기술 기반 눈글 인식 방법은 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계(110), 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계(120), 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계(130)를 포함할 수 있다. 여기에서, 눈글은 사용자가 시선을 이용하여 나타내는 글씨, 문양 또는 이와 유사한 다른 예들을 포함하는 것으로 정의한다.

단계(110)에서, 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리를 수행할 수 있다. 단계(110)는, 상기 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 입력 받는 단계(111), 입력 받은 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거하는 단계(112), 상기 잡음을 제거한 후, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 기준 드리프트를 제거하는 단계(113), 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 눈 깜빡임을 검출하는 단계(114)를 포함할 수 있다.

먼저, 단계(111)에서 상기 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 입력 받을 수 있다. 도 3을 참조하여 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 안구전도 신호의 측정 방법을 설명하기 위한 도면이다.

도 3a를 참조하면, 전극은 눈의 위(311a)와 아래(312a), 그리고 좌(321a), 우(322a)에 하나씩 부착하며, 기준이 되는 레퍼런스는 양쪽 귀의 뒤쪽(331a, 332a)에 부착한다. 기준이 되는 레퍼런스 전극의 위치는 상황에 따라 바뀔 수 있다.

도 3b는 측정된 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 계산하는 수식을 나타낸다.

도 3c를 참조하면, 사용자(310c)의 전면에는 특정 크기의 패널, 다시 말해 모니터(320c)rk 준비되어 있으며, 사용자(310c)는 시선이 특정 글자의 모양을 구성하도록 눈을 움직인다. 여기에서 글자를 쓰는 대상은 패널 외의 임의의 물체가 될 수 있다.

단계(112)에서, 입력 받은 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거할 수 있다. 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 얻어 우선적으로 필터를 이용하여 잡음을 제거할 수 있다. 필터는 예를 들어, 메디안 필터(median filter)를 이용할 수 있다.

단계(113)에서, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 기준 드리프트(baseline drift)를 제거할 수 있다.

그리고 단계(114)에서, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 눈 깜빡임을 검출할 수 있다. 예를 들어, 해당 신호에 대해서 MSDW 방법을 사용하여 눈을 깜박인 구간을 제거할 수 있다. 이를 통해 기존 안구전도 분석의 문제점이었던 외래 유입 신호 및 인공물에 의한 안구전도 신호 변화를 제거해 줄 수 있다.

다음으로 단계(120)에서, 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정할 수 있다. 이때, 모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정할 수 있다. 상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구할 수 있다.

안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 사용자는 모니터를 바라보는 상태로 안구전도를 측정하게 된다. 예를 들어, 모니터 상에 흰색의 점 하나가 위치를 바꾸어가며 나타나게 되며, 사용자는 이 점을 머리를 움직이지 않고 눈동자만을 움직여 바라보도록 지시 받는다. 이때 모니터 상의 점을 바라볼 때의 가로 성분 안구전도 신호와 세로성분 안구전도 신호를 서로 다른 모니터의 지점 마다 측정한다. 이렇게 각 모니터의 지점에 대해서 가로/세로 안구전도 신호의 평균적인 전압크기를 구한다.

모니터 상의 N개의 서로 다른 지점에 대해서 측정을 했다면, N개의 각 지점에서의 가로 성분 안구전도 평균과 세로 성분 안구전도 평균을 구할 수 있다. 그리고 각 점의 위치를 알고 있으므로 모니터 상의 각 위치에서의 안구전도 신호 크기를 얻을 수 있다. 도 4를 참조하여 상세히 설명한다.

도 4는 본 발명의 일 실시예에 따른 안구전도 신호의 크기와 안구 회전각 사이의 상관관계 측정 결과를 나타내는 도면이다.

도 4a는 본 발명의 일 실시예에 따른 가로 방향으로의 안구전도 신호의 크기와 안구 회전각 사이의 상관관계 측정 결과를 나타내는 도면이고, 도 4a는 본 발명의 일 실시예에 따른 세로 방향으로의 안구전도 신호의 크기와 안구 회전각 사이의 상관관계 측정 결과를 나타내는 도면이다.

위에서 설명한 바와 같이, 가로-세로 방향으로의 안구 회전 각도와 가로-세로 안구전도 크기를 도 4(N=9에 대해서 측정한 예)과 같이 3차원 좌표 상에 표시하고 이 좌표들을 선형 필터링(Linear fitting)하여 안구 회전각과 안구전도 크기 사이의 관계식을 구할 수 있다.

안구전도 신호의 크기와 안구 회전각 사이의 관계를 수학식1과 같이 나타낼 수 있다. 수학식1 에서 식(1)이 위에서 측정한 3차원 평면의 방정식이 된다. 이때, 위 3차원 평면의 선형 필터링(Linear fitting) 결과로부터 변환행렬 T를 구할 수 있다. 이후, T의 역행렬을 사용하여 안구전도 신호 값에 곱해줌으로써 안구전도 신호의 크기로부터 안구 회전각을 추정해 낼 수 있다. 다시 말해, 식(2)의 관계식을 통해 실시간으로 얻어지는 안구전도 신호의 크기로부터 현재 사용자가 바라보고 있는 시선의 위치를 추정할 수 있다.

수학식1

한편, 눈글 인식을 위한 목적 하에서, 사용자가 바라보고 있는 시선의 위치는 보다 간단한 방법으로 구현될 수 있다. 그 수식은 수학식2와 같다.

수학식2

이러한 방식으로 재구성된 눈글은 실제 글자와 비교하여 글자의 크기가 작고 오른쪽으로 갈수록 아래로 쳐지는 왜곡이 발생하지만, 이 왜곡은 글자의 후처리 및 인식 단계에서 '표준화(normalization)'와 템플릿 비교(Template Matching) 방법을 사용하여 해결 가능하다.

단계(130)에서, 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식할 수 있다. 이때, 미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식할 수 있다. 상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻을 수 있다. 상기 눈글은 좌표의 중심이 미리 정해진 좌표에 오도록 조정되고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정되는 표준화 과정을 거친다. 상기 표준화 과정을 거친 눈글은 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식할 수 있다. 도 5 내지 도 6을 참조하여 상세히 설명한다.

도 5는 본 발명의 일 실시예에 따른 실제의 눈 움직임과, 간단한 방법으로 재구성된 눈글을 나타내는 도면이다. 도 5a는 실제 눈의 움직임을 나타내는 도면이고, 도 5b는 간단한 방법으로 재구성된 눈글을 나타내는 도면이다.

앞서 설명한 방법을 이용하여 안구전도 신호의 크기로부터 사용자의 시선 위치를 추정할 수 있다. 이렇게 얻어진 사용자의 시선위치를 실시간으로 처리하여 추적하도록 하면 사용자는 시선이 추적되는 상태에서 눈의 움직임으로 글자를 쓸 수 있다. 제안하는 방법을 이용하면 실시간으로 시선을 추적할 수 있으며 종래 안구전도 시선 트래킹 기술로 불가능했던 알파벳과 같은 복잡한 패턴도 입력이 가능하다.

예를 들어, 본 발명에서는 사용자가 처음 중앙을 응시하고 있다가 8초 사이에 눈의 움직임으로 글자를 쓰게 되고, 8초 이내에 글자를 모두 쓴 경우 마지막 지점을 응시하고 기다리게 된다.

사용자가 글자를 쓴 시점을 파악하여 글자를 쓴 부분만의 신호를 잘라내기 위해서, 후처리 과정을 거친다. 이때 글을 쓰기 전과 후로는 한 점을 응시하고 있거나 눈을 깜박이기만 할 뿐, 시선을 이동하지 않으므로 시선이 이동하기 시작하는 첫 지점과 시선이 이동한 마지막 지점을 기점으로 앞과 뒤를 잘라내면 글자를 쓴 구간만을 얻을 수 있다.

도 6은 본 발명의 일 실시예에 따른 눈글의 후처리 방법 개요도 및 후처리 이후 재구성된 눈글을 나타내는 도면이다.

신호를 처리하는 과정을 도 6에 나타내었으며, 여기서는 알파벳 소문자 z의 예를 들었다. 그림의 왼쪽에 보이는 것과 같이 가로 성분 안구전도 신호(도 6a) 및 세로 성분 안구전도 신호(도 6b)를 각각 분석해 글자를 쓴 부분만의 신호를 오른쪽(도 6c)과 같이 얻어낸다. 이 신호를 글자의 x, y 좌표로 나타내어 재구성해보면 오른쪽 상단(610)에 보이는 것과 같이 글자를 쓰는 동안 시선의 움직임을 추적한 결과를 얻을 수 있다.

이렇게 쓰인 글자는 쓸 때마다 글자의 크기와 쓴 위치가 조금씩 바뀔 수 있기 때문에 인식 알고리즘의 성능향상을 위해 표준화(normalization) 과정이 필요하다. 예를 들어, 각 글자는 (x, y) 좌표의 중심(0, 0)에 오도록 조정되며, 크기가 가로, 세로 1인 사각형 안에 들어오도록 조정된다. 이렇게 함으로써 눈글 인식의 성능을 향상시킬 수 있다.

이렇게 표준화된 눈글 데이터를 기존 손글 인식에 이용되는 방법인 DTW(Dynamic Time Warping), DPW(Dynamic Positional Warping) 등을 이용해 템플릿(다시 말해, 이전에 같은 사용자가 썼던 눈글 데이터)과 비교한다. 입력된 눈글 데이터와 가장 비슷한 템플릿을 찾아 그 템플릿의 라벨로 분류를 함으로써 입력된 눈글 데이터가 무슨 글자인지 인식할 수 있다.

도 7은 본 발명의 일 실시예에 따른 안구전도로 측정한 눈글(알파벳 소문자)의 예시를 나타내는 도면이다.

다시 말해, 도 7은 본 발명에서 제시한 안구전도 시선 트래킹을 적용하여 눈글을 그릴 때 시선의 궤적을 추적한 결과의 예이다. 제시된 예는 한 사람이 알파벳 소문자 a부터 z까지를 눈으로 쓴 것이며, 전처리 및 후처리를 거친 뒤 표준화(normalization)가 된 상태이다. 보이는 바와 같이 외관상으로 사람이 보았을 때 글자 간의 뚜렷한 구분이 가능하다.

표 1은 DTW 방식을 이용한 눈글 인식의 예 및 성능 분석 결과이다.

<표 1>

표 1은 글자 인식 알고리즘을 14명의 피험자로부터 얻은 눈글 데이터에 적용한 예이다. 각 피험자로부터 5 세트의 알파벳 소문자를 그린 눈글 데이터를 얻었으며, 각 사람에 대해 나올 수 있는 모든 테스트―템플릿 조합에 대해 눈글 인식을 수행하여 평균적인 정확도를 구하였다. 이 결과는 실제로 본 발명이 제시한 방법으로 눈글을 인식하는 것이 가능함을 보여준다.

도 2는 본 발명의 일 실시예에 따른 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템의 구성을 나타내는 도면이다.

본 실시예에 따른 눈글 인식 시스템(200)은 프로세서(210), 버스(220), 네트워크 인터페이스(230), 메모리(240) 및 데이터베이스(250)를 포함할 수 있다. 메모리(240)는 운영체제(241) 및 분자 데이터 암호화 루틴(242)을 포함할 수 있다. 프로세서(210)는 입력부(211), 전처리부(212), 실시간 추정부(213), 눈글 후처리 및 인식부(214)를 포함할 수 있다. 다른 실시예들에서 눈글 인식 시스템(200)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 눈글 인식 시스템(200)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.

메모리(240)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(240)에는 운영체제(241)와 눈글 인식 루틴(242)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(230)를 통해 메모리(240)에 로딩될 수도 있다.

버스(220)는 눈글 인식 시스템(200)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(220)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

네트워크 인터페이스(230)는 눈글 인식 시스템(200)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(230)는 눈글 인식 시스템(200)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.

데이터베이스(250)는 눈글 인식을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 2에서는 눈글 인식 시스템(200)의 내부에 데이터베이스(250)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.

프로세서(210)는 기본적인 산술, 로직 및 눈글 인식 시스템(200)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(240) 또는 네트워크 인터페이스(230)에 의해, 그리고 버스(220)를 통해 프로세서(210)로 제공될 수 있다. 프로세서(210)는 입력부(211), 전처리부(212), 실시간 추정부(213), 눈글 후처리 및 인식부(214)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(240)와 같은 기록 장치에 저장될 수 있다.

입력부(211), 전처리부(212), 실시간 추정부(213), 눈글 후처리 및 인식부(214)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.

눈글 인식 시스템(200)은 추출부(211), 입력부(211), 전처리부(212), 실시간 추정부(213), 눈글 후처리 및 인식부(214)를 포함할 수 있다.

입력부(211)는 사용자의 안구주위 피부에 부착한 전극으로부터 안구전도 신호를 입력 받을 수 있다. 이때, 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 입력 받을 수 있다.

전처리부(212)는 상기 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출할 수 있다. 입력 받은 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거할 수 있다. 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 얻어 우선적으로 필터를 이용하여 잡음을 제거할 수 있다. 필터는 예를 들어, 메디안 필터(median filter)를 이용할 수 있다. 그리고, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 기준 드리프트(baseline drift)를 제거할 수 있다.

마지막으로, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 눈 깜빡임을 검출할 수 있다. 예를 들어, 해당 신호에 대해서 MSDW 방법을 사용하여 눈을 깜박인 구간을 제거할 수 있다. 이를 통해 기존 안구전도 분석의 문제점이었던 외래 유입 신호 및 인공물에 의한 안구전도 신호 변화를 제거해 줄 수 있다.

실시간 추정부(213)는 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정할 수 있다. 실시간 추정부(213)는 모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정할 수 있다. 상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구할 수 있다.

눈글 후처리 및 인식부(214)는 상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식할 수 있다. 이때, 미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식할 수 있다. 상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻을 수 있다.

상기 눈글 후처리 및 인식부(214)는 상기 눈글을 좌표의 중심이 미리 정해진 좌표에 오도록 조정하고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정하는 표준화 과정을 수행할 수 있다. 그리고, 상기 표준화 과정을 거친 눈글을 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 안구전도 시선 트래킹 기술 기반 눈글 인식 방법에 있어서,
   안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계;
   안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계; 및
   상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계
   를 포함하고,
   상기 안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 단계는,
   모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 각각 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정하며, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호를 각각 분석하여 각 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기를 구하고, 각 상기 평균 전압크기와 안구 회전각 사이의 관계를 통해 상기 안구의 회전 각도를 실시간으로 추정하며,
   상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계는,
   상기 안구의 회전 각도를 이용하여 상기 사용자의 시선 위치를 실시간으로 처리하여 추적함에 따라 상기 사용자가 안구의 움직임을 이용하여 눈글을 그릴 때 시선의 궤적을 추적하여 후처리 후 글자를 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
2. 제1항에 있어서,
   안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리 단계는,
   상기 사용자의 안구주위 피부에 부착한 전극으로부터 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 입력 받는 단계;
   입력 받은 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거하는 단계;
   상기 잡음을 제거한 후, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 기준 드리프트를 제거하는 단계; 및
   상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호에서 눈 깜빡임을 검출하는 단계
   를 포함하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
3. 삭제
4. 제1항에 있어서,
   상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
5. 제1항에 있어서,
   상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 단계는,
   미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
6. 제5항에 있어서,
   상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
7. 제5항에 있어서,
   상기 눈글은 좌표의 중심이 미리 정해진 좌표에 오도록 조정되고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정되는 표준화 과정을 거치는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
8. 제7항에 있어서,
   상기 표준화 과정을 거친 눈글은 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 방법.
9. 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템에 있어서,
   사용자의 안구주위 피부에 부착한 전극으로부터 안구전도 신호를 입력 받는 입력부;
   상기 안구전도 신호를 입력 받아 잡음을 제거 및 기준 드리프트를 제거하고 눈 깜빡임을 검출하는 전처리부;
   안구의 회전각과 실제 시선 위치 사이의 상관관계를 측정하기 위해 상기 안구전도 신호의 크기로부터 안구의 회전 각도를 실시간으로 추정하는 실시간 추정부; 및
   상기 안구의 회전 각도를 이용하여 사용자가 쓴 눈글을 후처리하고, 인식하는 눈글 후처리 및 인식부
   를 포함하고,
   상기 실시간 추정부는,
   모니터 상에 나타나는 점들의 위치를 상기 사용자가 바라볼 때의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호를 각각 상기 모니터 상에 나타나는 점들의 서로 다른 지점 마다 측정하며, 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호를 각각 분석하여 각 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기를 구하고, 각 상기 평균 전압크기와 안구 회전각 사이의 관계를 통해 상기 안구의 회전 각도를 실시간으로 추정하며,
   상기 눈글 후처리 및 인식부는,
   상기 안구의 회전 각도를 이용하여 상기 사용자의 시선 위치를 실시간으로 처리하여 추적함에 따라 상기 사용자가 안구의 움직임을 이용하여 눈글을 그릴 때 시선의 궤적을 추적하여 후처리 후 글자를 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.
10. 제9항에 있어서,
    상기 전처리부는,
    상기 입력부로부터 입력 받은 안구전도 신호의 가로 성분 안구전도 신호와 세로 성분 안구전도 신호에서 필터를 이용하여 잡음을 제거하고, 기준 드리프트를 제거하고, 눈 깜빡임을 검출하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.
11. 삭제
12. 제9항에 있어서,
    상기 모니터 상에 나타나는 점들의 서로 다른 지점에 대하여 상기 가로 성분 안구전도 신호와 상기 세로 성분 안구전도 신호의 평균 전압크기 및 상기 모니터 상에 나타나는 점들의 서로 다른 지점 각각의 신호 크기를 구하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.
13. 제9항에 있어서,
    상기 눈글 후처리 및 인식부는,
    미리 정해진 시간 이내의 상기 사용자의 시선을 추적함으로써 상기 사용자가 쓴 눈글을 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.
14. 제13항에 있어서,
    상기 눈글 후처리 및 인식부는,
    상기 사용자의 시선이 이동하기 시작하는 첫 지점과 상기 사용자의 시선이 이동한 마지막 지점을 기점으로 앞의 신호와 뒤의 신호를 잘라내어 상기 사용자가 쓴 눈글의 신호 구간만을 얻는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.
15. 제13항에 있어서,
    상기 눈글 후처리 및 인식부는,
    상기 눈글을 좌표의 중심이 미리 정해진 좌표에 오도록 조정하고, 상기 눈글의 크기가 미리 정해진 크기의 범위 안에 들어오도록 조정하는 표준화 과정을 수행하고,
    상기 표준화 과정을 거친 눈글을 미리 저장된 눈글 데이터와 비교하여 가장 비슷한 눈글 데이터 찾아 라벨로 분류함으로써 상기 사용자가 쓴 눈글이 무슨 글자인지 인식하는 것을 특징으로 하는 안구전도 시선 트래킹 기술 기반 눈글 인식 시스템.

Images