KR101811939B1 - 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법 - Google Patents

안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법 Download PDF

Info

Publication number
KR101811939B1
KR101811939B1 KR1020160001973A KR20160001973A KR101811939B1 KR 101811939 B1 KR101811939 B1 KR 101811939B1 KR 1020160001973 A KR1020160001973 A KR 1020160001973A KR 20160001973 A KR20160001973 A KR 20160001973A KR 101811939 B1 KR101811939 B1 KR 101811939B1
Authority
KR
South Korea
Prior art keywords
eye
signal
conduction signal
ocular
influence
Prior art date
Application number
KR1020160001973A
Other languages
English (en)
Other versions
KR20170082782A (ko
Inventor
장원두
임창환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020160001973A priority Critical patent/KR101811939B1/ko
Publication of KR20170082782A publication Critical patent/KR20170082782A/ko
Application granted granted Critical
Publication of KR101811939B1 publication Critical patent/KR101811939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A61B5/0496—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법이 개시된다. 안구전도 신호 보정 방법은, 사용자로부터 측정된 안구전도 신호를 획득하는 단계; 상기 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정하는 단계; 및 상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호를 보정하는 단계를 포함한다.

Description

안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법{A SIMPLIFIED METHOD TO CALIBRATE EOG SIGNAL FOR GAZE TRACKING}
아래의 설명은 안구전도 신호를 이용하여 시선의 위치를 추적하는 기술에 관한 것이다.
시선 위치 추적이란 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다. 시선 위치 추적의 장점으로는 기존 마우스 작동 방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 제공할 수 있다는 편의성, 가상 현실 환경에서 사용자의 시선 방향에 따라 뷰 화면을 조정함으로써 제공하는 몰입감 들이 있을 수 있다.
시선 추적 기술의 일례로서, 한국 공개특허공보 제10-2012-0127790호(공개일 2012년 11월 26일) "시선추적 시스템 및 그 방법"에는 사용자의 관심대상을 정확하게 파악하여 검색한 후 그 정보를 사용자에게 용이하게 제공하는 기술이 개시되어 있다.
안구전도 신호 획득 시 보다 간편하게 신호를 보정할 수 있는 신호 보정 방법을 제공한다.
2개 지점을 바라볼 때에 측정된 안구전도 신호를 이용하여 시선을 안정적으로 추정할 수 있는 신호 보정 방법을 제공한다.
컴퓨터로 구현되는 안구전도 신호 보정 방법에 있어서, 사용자로부터 측정된 안구전도 신호를 획득하는 단계; 상기 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정하는 단계; 및 상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호를 보정하는 단계를 포함하는 안구전도 신호 보정 방법을 제공한다.
일 측면에 따르면, 상기 획득하는 단계는, 시선을 수평으로 움직일 때의 안구전도 신호를 획득할 수 있다.
다른 측면에 따르면, 상기 획득하는 단계는, 상기 사용자의 눈의 상/하/좌/우에 부착된 전극으로부터 상기 안구전도 신호를 획득할 수 있다.
또 다른 측면에 따르면, 상기 측정하는 단계는, 시선을 수평으로 움직일 때의 안구전도 신호를 통해 유입되는 외부 신호의 정도를 추정할 수 있다.
또 다른 측면에 따르면, 상기 측정하는 단계는, 상기 사용자의 눈의 위와 아래에 부착된 전극으로부터 획득한 안구전도 신호의 차를 나타내는 세로 방향 요소(vertical component)의 표준 편차를 이용하여 상기 외부 신호의 영향력을 측정할 수 있다.
또 다른 측면에 따르면, 상기 보정하는 단계는, 상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호의 세로 방향 요소를 보정할 수 있다.
또 다른 측면에 따르면, 상기 측정하는 단계는, 상기 외부 신호의 영향력을 수학식 1을 통해 산출할 수 있다.
수학식 1:
Figure 112016001635039-pat00001
Figure 112016001635039-pat00002
(여기서,
Figure 112016001635039-pat00003
는 외부 신호의 영향력을,
Figure 112016001635039-pat00004
는 안구전도 신호의 세로 방향 요소를,
Figure 112016001635039-pat00005
는 안구전도 신호의 세로 방향 요소의 표준 편차를, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를,
Figure 112016001635039-pat00006
는 안구전도 신호의 가로 방향 요소를 의미한다.)
또 다른 측면에 따르면, 상기 보정하는 단계는, 수학식 2를 이용하여 상기 안구전도 신호의 세로 방향 요소를 보정할 수 있다.
수학식 2:
Figure 112016001635039-pat00007
(여기서,
Figure 112016001635039-pat00008
는 보정된 안구전도 신호의 세로 방향 요소를, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를,
Figure 112016001635039-pat00009
는 외부 신호의 영향력을,
Figure 112016001635039-pat00010
는 안구전도 신호의 가로 방향 요소를 의미한다.)
컴퓨터로 구현되는 안구전도 신호 보정 방법에 있어서, 사용자가 패턴을 시선으로 그릴 때 측정된 안구전도 신호를 획득하는 단계; 시선을 수평으로 움직일 때의 안구전도 신호를 통해 유입되는 외부 신호의 정도를 추정하는 단계; 및 상기 외부 신호의 영향력을 이용하여 상기 획득한 안구전도 신호의 세로 방향 요소를 보정하는 단계를 포함하는 안구전도 신호 보정 방법을 제공한다.
하나 이상의 프로세서들을 포함하는 컴퓨터 시스템에 있어서, 상기 하나 이상의 프로세서들은, 사용자로부터 측정된 안구전도 신호를 획득하는 획득부; 상기 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정하는 측정부; 및 상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호를 보정하는 측정부를 포함하는 컴퓨터 시스템을 제공한다.
본 발명의 실시예에 따르면, 2개 지점을 바라볼 때에 측정된 안구전도 신호를 이용하여 안구전도 신호의 보정을 보다 간편하게 함으로써 안구전도 신호를 보다 폭넓게 활용할 수 있으며 사용자 편의성을 증대시킬 수 있다.
도 1은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 블럭도이다.
도 3은 본 발명의 일 실시예에 있어서 안구전도 신호 보정 방법을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 있어서 타겟 패턴을 시선으로 그릴 때에 측정된 안구전도 신호의 예시를 도시한 것이다.
도 5는 본 발명의 일 실시예에 있어서 실험에 사용된 모델 패턴의 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법에 관한 것이다.
본 발명에서는 안구전도 신호 획득 시 기존의 방법에 비해 보다 간편하게 신호를 보정하는 방법을 제안한다. 기존의 방법이 신호 보정을 위해 최소 6회의 신호 측정이 필요한 것에 비해, 본 발명은 2회의 신호 측정만으로 안정적인 안구전도 신호의 획득이 가능하다는 장점이 있다.
안구전도 신호를 이용한 시선 트래킹은 안구전도 신호의 크기로부터 시선의 위치를 추정하는 것이다. 시선 추적 기술은 HCI(Human Computer Interface)에 쉽게 적용되어 사용될 수 있다.
일례로, 안구전도를 사용하는 시선 추적 기술은 사지마비 환자를 위한 눈글 입력 시스템에 의사 소통 보조 도구로서 적용될 수 있다. ALS(루게릭 병)와 같은 병을 앓는 환자들의 경우 사지가 마비되어 자기 의사표현이 힘들다. 이러한 사지마비 환자들은 보호자의 도움을 받아 글자판을 응시하여 원하는 말을 전달하거나, 보호자가 한 글자씩 읽어주었을 때 반응하는 글자를 찾는 방식으로 의사 전달을 하고 있다. 이러한 방식의 의사 전달은 환자가 하고자 하는 말이 있을 때 반드시 간병인이나 보호자의 도움을 받아야만 한다는 한계가 있어 환자뿐 아니라 보호자에게도 불편함을 주고 있다. 기존 시중에 나와 있는 시선 트래킹을 이용한 마우스 및 키보드가 있으나 이들은 모두 고비용인 비디오 기반의 시선 트래킹 기술을 이용한 것으로, 환자 및 환자의 가족에게 많은 비용 부담을 안겨주고 있다. 상대적으로 저비용으로 구현할 수 있는 안구전도 기반의 시선 트래킹 눈글 입력 시스템은 이러한 환자들을 위한 새로운 의사표현의 방법으로 이용될 수 있다.
다른 예로, 안구전도를 사용하는 시선 추적 기술은 HCI 응용을 위한 새로운 입력 시스템에 적용될 수 있다. 최근 뇌파, 심전도 및 모션 인식과 같은 다양한 생체/신체 기반의 정보를 인간-컴퓨터 상호작용(HCI)에 응용하여 이로부터 사람의 행동이나 의도를 읽어내는 기술이 늘어나고 있다. 본 발명에서 제시한 시선 추적 기술의 눈글 인식 시스템을 HCI에 적용하여 새로운 사용자 경험(UX: User Experience)을 제공할 수 있다.
본 발명에 따른 시선 추적 기술은 사지마비 환자를 대상으로 하는 안구전도 신호를 이용한 눈글 입력 시스템, 안구전도 기반 시선 분석 및 HCI에의 응용 등에 적용될 수 있다.
안구전도 분석
안구전도 분석 기술은 안구의 움직임에 따라 바뀌는 눈 자체의 전기장을 눈 주위에 전극을 붙여 측정하는 생체계측 방식이다. 눈 주위에 붙인 두 쌍의 전극(한 쌍은 가로 성분, 또 다른 한 쌍은 세로 성분의 전기장을 측정하기 위해 사용)으로부터 눈의 움직임이나 깜박임에 대한 정보를 얻을 수 있다.
기존에는 (1) EEG(뇌파) 측정 시 안구전도를 함께 측정하여 눈으로부터 유입되는 잡음 및 외부 신호 제거에 이용하거나, (2) 눈동자의 움직임을 이용한 휠체어의 제어(전/후/좌/우 움직임), (3) 행동 인식 등에 이용되어 왔고, 최근 안구전도를 이용한 시선 트래킹 기술 개발이 시도되고 있다.
안구전도를 사용하는 시선 추적 기술
안구전도 신호를 이용한 시선 트래킹 기술은 안구전도 신호의 크기로부터 시선의 위치를 추정하는 방법이다. 눈의 상/하에 붙여진 전극으로부터 얻어진 신호의 차(세로 요소)로부터 시선의 세로 움직임을 측정하고, 눈의 좌/우에 붙여진 전극으로부터 얻어진 신호의 차(가로 요소)로부터 시선의 가로 움직임을 추정하는 것이 일반적이다. 종래에는 이를 이용하여 눈의 움직이는 방향과 깜박임을 이용해 상하/좌우로 커서를 이동시키는 것과 같은 HCI 구현이나, 눈으로 그린 간단한 형태의 도형을 인식하는 연구가 보고되어 있다.
안구전도를 보정하는 기술
안구전도를 보정하기 위하여 아핀 변환(Affine transformation)을 사용하는 방법이 이용될 수 있다.
기존에는 피험자가 모니터 상에 존재하는 최소 6개에서 최대 24개의 서로 다른 지점을 바라보도록 하고, 이때 측정된 안구전도 신호를 아핀 변환을 사용하여 보정할 수 있다. 이와 같이, 안구전도 신호가 아핀 변환을 사용해서 보정될 수 있음은 여러 연구에서 발표된 바 있으며 널리 공지된 사실이다.
안구전도 신호를 보정하기 위해서는 사용자가 최소 6개에서 최대 24개의 지점을 바라볼 때에 측정된 안구전도 신호가 필요하며, 바라보아야 하는 지점의 수가 늘어날수록 기기의 사용에 앞선 준비 시간이 길어지고 사용자 불편이 가중되는 단점이 있다.
본 발명에서는 2개 지점을 바라볼 때에 측정된 안구전도 신호만으로 시선을 안정적으로 추정할 수 있는 신호 보정 방법을 제시한다.
도 1 내지 도 2는 실시예들에 따른 시스템을 도시한 것이고, 도 3 내지 도 5는 안구전도 신호 보정 방법의 실시예들의 다양한 양태들을 도시한 것이다.
도 1은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 도 1은 도 3 내지 도 5와 관련하여 설명되는 실시예들이 구현될 수 있는 컴퓨터 시스템(100)을 도시한 것이다.
도 1에 도시한 바와 같이, 컴퓨터 시스템(100)은 명령어들을 실행하고 픽셀 정보를 포함하는 정보를 처리하기 위한 임의의 컴퓨터 또는 전자 프로세서를 포함할 수 있는 프로세서(110)를 포함한다.
프로세서(110)는 명령어들의 임의의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(110)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(110)는 예를 들어 컴퓨터, 이동 컴퓨팅 장치, 스마트폰, 태블릿, 셋톱 박스 등에 포함될 수 있다. 프로세서(110)는 버스(140)를 통해 메모리(120)에 접속될 수 있다.
메모리(120)는 컴퓨터 시스템(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(120)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 동적 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(120)는 컴퓨터 시스템(100)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(120)는 예를 들어 안구전도 신호를 보정하기 위한 신호 처리 모듈의 명령어들을 포함하는 컴퓨터 시스템(100)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 시스템(100)은 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(110)를 포함할 수 있다.
버스(140)는 컴퓨터 시스템(100)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(140)는 예를 들어 컴퓨터 시스템(100)의 컴포넌트들 사이에, 예를 들어 프로세서(110)와 메모리(120) 사이에 데이터를 운반할 수 있다. 버스(140)는 컴퓨터 시스템(100)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(130)는 (예를 들어, 메모리(120)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 시스템(100)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(130)는 컴퓨터 시스템(100) 내의 프로세서(110)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(130)는 예를 들어 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(150)는 키보드, 마우스, 음성 명령 입력, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들은 입출력 인터페이스(150)를 통해 수신되거나, 및/또는 사용자의 눈에 부착된 전극들로부터 안구전도 신호가 입출력 인터페이스(150)를 통해 수신될 수 있다.
네트워크 인터페이스(160)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(160)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들은 네트워크 인터페이스(160)를 통해 수신되거나, 안구전도 신호 측정 장치로부터 신호 보정을 위한 안구전도 신호가 네트워크 인터페이스(160)를 통해 수신될 수 있다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터 시스템(100)의 프로세서(110)가 포함할 수 있는 구성요소의 예를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 컴퓨터 시스템(100)이 수행할 수 있는 안구전도 신호 보정 방법의 예를 도시한 순서도이다.
도 2에 도시된 바와 같이, 프로세서(110)는 획득부(211), 측정부(212), 및 보정부(213)를 포함할 수 있다. 이러한 프로세서(110)의 구성요소들은 도 3의 안구전도 신호 보정 방법이 포함하는 단계들(S310 내지 S330)을 수행하도록 컴퓨터 시스템(100)을 제어할 수 있으며, 이러한 제어를 위해 메모리(120)가 포함하는 운영체제와 적어도 하나의 프로그램의 코드를 실행하도록 구현될 수 있다.
안구전도 신호 보정 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
단계(S310)에서 획득부(211)는 사용자의 눈의 상/하/좌/우에 부착된 전극으로부터 사용자의 안구전도 신호를 획득할 수 있다. 본 발명에서는 안구전도 신호를 측정하기 위해 사용자의 눈 주위에 두 쌍의 전극을 부착한다. 이때, 눈의 상/하에 붙여진 전극으로부터 안구전도 신호의 세로 요소(vertical component)를 획득할 수 있고, 눈의 좌/우에 붙여진 전극으로부터 안구전도 신호의 가로 요소(Horizontal component)를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 있어서 각이 진 U자 모양의 타겟 패턴(target pattern)을 시선으로 그릴 때에 측정된 안구전도 신호를 도시한 것이다. 도 1에서 V는 수직 방향의 움직임을 의미하고, H는 수평 방향의 움직임을 의미한다.
도 4를 참조하면, 사용자가 시선을 수평으로 움직일 때에 안구전도 신호의 세로 요소에 외부 신호가 함께 유입되는 현상을 발견할 수 있으며, 이때 외부 신호는 사용자 시선의 가로 방향 움직임에서 비롯된 것임을 발견할 수 있다.
획득부(211)는 사용자가 타겟 패턴을 따라 시선을 움직일 때, 특히 시선을 수평으로 움직일 때 측정된 안구전도 신호를 획득할 수 있다.
단계(S320)에서 측정부(212)는 단계(S310)에서 획득한 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정할 수 있다. 이때, 외부 신호의 영향력
Figure 112016001635039-pat00011
는 수학식 1을 통해 산출될 수 있다.
Figure 112017078672631-pat00012
여기서,
Figure 112017078672631-pat00013
는 단계(S310)에서 획득한 안구전도 신호의 세로 방향 요소 값
Figure 112017078672631-pat00014
의 표준 편차를 의미한다.
안구전도 신호의 세로 방향 요소
Figure 112017078672631-pat00015
는 수학식 2와 같이 정의될 수 있다.
Figure 112017078672631-pat00016
이때, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를 의미하고, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를 의미한다. 그리고,
Figure 112016001635039-pat00017
는 안구전도 신호의 가로 방향 요소를 의미한다.
따라서, 측정부(212)는 시선을 수평으로 움직일 때의 안구전도 신호를 통해 유입된 외부 신호(세로 요소)의 정도를 추정할 수 있다.
단계(S330)에서 보정부(213)는 단계(S320)에서 측정된 외부 신호의 영향력
Figure 112016001635039-pat00018
을 이용하여 안구전도 신호를 보정할 수 있다. 특히, 보정부(213)는 외부 신호의 영향력
Figure 112016001635039-pat00019
을 사용하여 안구전도 신호의 세로 방향 요소를 보정할 수 있다.
보정된 안구전도 신호의 세로 방향 요소
Figure 112016001635039-pat00020
는 수학식 3과 같이 정의될 수 있다.
Figure 112016001635039-pat00021
이때, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를 의미하고, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를 의미한다. 그리고,
Figure 112016001635039-pat00022
는 외부 신호의 영향력을 의미하고,
Figure 112016001635039-pat00023
는 안구전도 신호의 가로 방향 요소를 의미한다.
상기한 안구전도 신호 보정 방법은 눈글 입력 시스템, 게임 인터페이스 등 안구전도 신호를 입력으로 하는 HCI 기술 분야에 적용될 수 있다.
안구전도 신호 보정 방법에 대한 실험 환경은 다음과 같다.
실험 환경
10명의 피험자를 대상으로 하여 데이터 A와 데이터 B를 획득한다.
데이터 A는 시선을 왼쪽에서 오른쪽으로 이동할 때 기록된 안구전도 신호를 이용하고(각 피험자 별 1회), 데이터 B는 안구전도 신호로 기록된 총 4개의 패턴을 이용한다(각 피험자 별 3회 기록, 1명 피험자에 대해서는 2회 기록).
실험에 사용되는 4개의 패턴은 도 5와 같다.
실험 방식
데이터 A로부터 외부 영향력의 정도(
Figure 112016001635039-pat00024
)를 개인 별로 추정하고, 이 값을 사용하여 데이터 B의 신호를 보정한다. 신호 보정의 정확도를 평가하기 위해서, 안구전도 신호의 세로 요소와 모델 패턴의 세로 요소 사이의 상관 계수를 계산하여 비교할 수 있다.
실험 결과
표 1은 각 패턴 별로 안구전도 신호의 세로 요소와 모델 패턴의 세로 요소 사이의 상관 계수(P1, P2, P3, P4)를 나타내고 있다.
P1 P2 P3 P4 Average
보정된 신호 0.97 ± 0.05 0.96 ± 0.08 0.98 ± 0.02 0.91 ± 0.09 0.95 ± 0.07
미보정 신호 0.92 ± 0.08 0.93 ± 0.08 0.92 ± 0.06 0.79 ± 0.20 0.90 ± 0.13
안구전도 신호는 각 사용자가 지정된 모델 패턴을 눈으로 그리는 동안 측정되므로 신호가 올바로 보정된 경우 상관 계수가 높아질 것으로 기대된다. 보정된 신호는 미보정 신호에 비해 상관 계수가 약 5% 포인트 상승하는 것을 알 수 있고, 통계 분석을 통해(Paired t-test) 상관 계수가 유의미하게 (10-7 미만) 상승하였음을 확인할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 안구전도 신호의 보정을 보다 간편하게 함으로써 안구전도 신호를 보다 폭넓게 활용할 수 있으며 사용자 편의성을 증대시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 컴퓨터 시스템에서 수행되는 안구전도 신호 보정 방법에 있어서,
    상기 컴퓨터 시스템은 획득부, 측정부, 및 보정부를 포함하고,
    상기 안구전도 신호 보정 방법은,
    상기 획득부에서, 사용자로부터 측정된 안구전도 신호를 획득하는 단계;
    상기 측정부에서, 상기 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정하는 단계; 및
    상기 보정부에서, 상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호를 보정하는 단계
    를 포함하고,
    상기 측정하는 단계는,
    상기 사용자의 눈의 위와 아래에 부착된 전극으로부터 획득한 안구전도 신호의 차를 나타내는 세로 방향 요소(vertical component)의 표준 편차를 이용하여 상기 외부 신호의 영향력을 측정하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
  2. 제1항에 있어서,
    상기 획득하는 단계는,
    시선을 수평으로 움직일 때의 안구전도 신호를 획득하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
  3. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 사용자의 눈의 상/하/좌/우에 부착된 전극으로부터 상기 안구전도 신호를 획득하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
  4. 제1항에 있어서,
    상기 측정하는 단계는,
    시선을 수평으로 움직일 때의 안구전도 신호를 통해 유입되는 외부 신호의 정도를 추정하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호의 세로 방향 요소를 보정하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
  7. 제1항에 있어서,
    상기 측정하는 단계는,
    상기 외부 신호의 영향력을 수학식 1을 통해 산출하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
    수학식 1:
    Figure 112017078672631-pat00025

    Figure 112017078672631-pat00026

    (여기서,
    Figure 112017078672631-pat00027
    는 외부 신호의 영향력을,
    Figure 112017078672631-pat00028
    는 안구전도 신호의 세로 방향 요소를,
    Figure 112017078672631-pat00029
    는 안구전도 신호의 세로 방향 요소의 표준 편차를, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를,
    Figure 112017078672631-pat00030
    는 안구전도 신호의 가로 방향 요소를 의미한다.)
  8. 제7항에 있어서,
    상기 보정하는 단계는,
    수학식 2를 이용하여 상기 안구전도 신호의 세로 방향 요소를 보정하는 것
    을 특징으로 하는 안구전도 신호 보정 방법.
    수학식 2:
    Figure 112016001635039-pat00031

    (여기서,
    Figure 112016001635039-pat00032
    는 보정된 안구전도 신호의 세로 방향 요소를, U는 눈의 위에 부착된 전극으로부터 측정된 안구전도 신호를, D는 눈의 아래에 부착된 전극으로부터 측정된 안구전도 신호를,
    Figure 112016001635039-pat00033
    는 외부 신호의 영향력을,
    Figure 112016001635039-pat00034
    는 안구전도 신호의 가로 방향 요소를 의미한다.)
  9. 삭제
  10. 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템에 있어서,
    상기 하나 이상의 프로세서들은,
    사용자로부터 측정된 안구전도 신호를 획득하는 획득부;
    상기 안구전도 신호로부터 유입되는 외부 신호의 영향력을 측정하는 측정부; 및
    상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호를 보정하는 보정부
    를 포함하고,
    상기 측정부는,
    상기 사용자의 눈의 위와 아래에 부착된 전극으로부터 획득한 안구전도 신호의 차를 나타내는 세로 방향 요소(vertical component)의 표준 편차를 이용하여 상기 외부 신호의 영향력을 측정하는 것
    을 특징으로 하는 컴퓨터 시스템.
  11. 제10항에 있어서,
    상기 획득부는,
    시선을 수평으로 움직일 때의 안구전도 신호를 획득하는 것
    을 특징으로 하는 컴퓨터 시스템.
  12. 제10항에 있어서,
    상기 획득부는,
    상기 사용자의 눈의 상/하/좌/우에 부착된 전극으로부터 상기 안구전도 신호를 획득하는 것
    을 특징으로 하는 컴퓨터 시스템.
  13. 제10항에 있어서,
    상기 측정부는,
    시선을 수평으로 움직일 때의 안구전도 신호를 통해 유입되는 외부 신호의 정도를 추정하는 것
    을 특징으로 하는 컴퓨터 시스템.
  14. 삭제
  15. 제10항에 있어서,
    상기 보정부는,
    상기 외부 신호의 영향력을 이용하여 상기 안구전도 신호의 세로 방향 요소를 보정하는 것
    을 특징으로 하는 컴퓨터 시스템.
KR1020160001973A 2016-01-07 2016-01-07 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법 KR101811939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160001973A KR101811939B1 (ko) 2016-01-07 2016-01-07 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001973A KR101811939B1 (ko) 2016-01-07 2016-01-07 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법

Publications (2)

Publication Number Publication Date
KR20170082782A KR20170082782A (ko) 2017-07-17
KR101811939B1 true KR101811939B1 (ko) 2017-12-22

Family

ID=59442901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001973A KR101811939B1 (ko) 2016-01-07 2016-01-07 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법

Country Status (1)

Country Link
KR (1) KR101811939B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564902B1 (ko) * 2020-11-26 2023-08-09 한양대학교 산학협력단 안구 전도 기반의 시선 추적 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이동훈 외 2인, "전신마비 환자를 위한 EOG 기반 디스플레이 상의 응시 좌표 산출," 재활복지공학회 논문지, 제5권, 제1호, 페이지 87-93, 2011.12.*

Also Published As

Publication number Publication date
KR20170082782A (ko) 2017-07-17

Similar Documents

Publication Publication Date Title
Cognolato et al. Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances
Lupu et al. Eye tracking mouse for human computer interaction
Abbott et al. Ultra-low-cost 3D gaze estimation: an intuitive high information throughput compliment to direct brain–machine interfaces
US9600934B2 (en) Augmented-reality range-of-motion therapy system and method of operation thereof
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
Islam et al. Cybersickness prediction from integrated hmd’s sensors: A multimodal deep fusion approach using eye-tracking and head-tracking data
Bang et al. New computer interface combining gaze tracking and brainwave measurements
KR101745774B1 (ko) 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
Rigas et al. Photosensor oculography: survey and parametric analysis of designs using model-based simulation
Mahmood et al. VR-enabled portable brain-computer interfaces via wireless soft bioelectronics
Shi et al. SalientGaze: Saliency-based gaze correction in virtual reality
KR101811939B1 (ko) 안구전도 신호로부터 안정적인 시선 추적을 가능하게 하는 간편한 신호 보정 방법
Hwang et al. Integration of eye tracking and lip motion for hands-free computer access
Frey 1 2 et al. EEG-based neuroergonomics for 3D user interfaces: opportunities and challenges
JP5483152B2 (ja) 眼電位を用いたマウスカーソル制御システム
Sakurai et al. Gaze estimation method using analysis of electrooculogram signals and kinect sensor
WO2018161896A1 (zh) 一种远程康复系统
CN113534945A (zh) 眼球追踪校准系数的确定方法、装置、设备及存储介质
CN115756173A (zh) 一种眼动追踪方法、系统、存储介质及计算设备
US11249596B2 (en) Providing an output signal by a touch-sensitive input unit and providing a trained function
Deng Multimodal interactions in virtual environments using eye tracking and gesture control.
CN113741682A (zh) 注视点的映射方法、装置、设备及存储介质
Buvanswari et al. Eye Scrutinized Wheelchair for People Affected with Tetraplegia
KR20210016790A (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
Stefanov Webcam-based eye gaze tracking under natural head movement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant