KR101987227B1

KR101987227B1 - 시선 추적 기반의 사용자 입력 데이터 분석 장치 및 방법

Info

Publication number: KR101987227B1
Application number: KR1020180152424A
Authority: KR
Inventors: 장윤; 유상봉; 정대교
Original assignee: 세종대학교산학협력단
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2019-06-10

Abstract

본 발명은 시선 추적 기반의 사용자 입력 데이터 분석 장치 및 그 방법에 관한 것으로서, 시선 추적기(Eye-Tracker)를 이용한 사용자 입력 데이터 분석 장치에 의해 수행되는 시선 추적 기반의 사용자 입력 데이터 분석 방법에 있어서, a) 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스의 손-쓰기 데이터와 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 조합한 제2 데이터베이스를 제공하는 단계; 및 b) 상기 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면, 상기 제2 데이터베이스에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 출력하는 단계를 포함하되, 상기 제2 데이터베이스는 상기 제1 데이터베이스에 의해 분류 가능한 제1 패턴에 해당하는 숫자 이미지를 기초로 생성된 제1 시선-쓰기 특징 데이터, 상기 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴에 해당하는 것으로, 시선- 쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선을 해당 숫자에 추가한 숫자 이미지와 상기 시선 움직임의 잔상이 없는 숫자 이미지를 포함하는 제2 시선-쓰기 특징 데이터 및 상기 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴에 해당하는 것으로, 시선-쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선을 추가한 숫자 이미지를 포함하는 제3 시선-쓰기 특징 데이터를 포함하는 것이다.

Description

시선 추적 기반의 사용자 입력 데이터 분석 장치 및 방법{APPRATUS FOR ANALYZING USER INPUT DATA BASED ON GAZE TRACKING AND METHOD THEREOF}

본 발명은 시선-쓰기 입력 인터페이스를 통해 사용자 시선 움직임으로 입력된 글자를 분류하기 위한 시선 추적 기반의 사용자 입력 데이터 분석 장치 및 그 방법에 관한 것이다.

사용자의 시선 추적에 기반한 시선 입력 인터페이스(Eye Gaze Interface, EGI) 시스템은 몸을 자유롭게 움직이지 못하는 사람들에게 의사소통과 컴퓨터를 사용할 수 있도록 하는 커뮤니케이션 수단으로 주목 받고 있다.

일반적으로 가장 많이 활용하는 시선 입력 인터페이스 기술에는 시선-타이핑 기술과 시선-제스처 기술이 있다.

먼저, 시선-타이핑 기술은 사용자에게 가상 키보드를 제공하고, 입력 방식에 따라 시선정지기반(Dwell-based), 시선정지자유(Dwell-free)의 입력 인터페이스로 구분될 수 있다.

시선정지기반(Dwell-based)의 시선-타이핑 기술은 사용자가 일정 시간 입력하고자 하는 키를 응시하여 문자를 입력하는 방식이다. 사용자가 눈의 움직임을 이용해 키 입력을 수행하기 위해서는 일정 시간 동안 가상 키보드의 특정 문자를 응시하고 있어야 하기 때문에 키입력 속도는 느리지만 정확도가 높다는 장점이 있다.

한편, 시선정지자유(Dwell-free)의 시선-타이핑 기술은 시선의 움직임을 통해 키를 입력받는 방식이다. 시선의 움직임으로 바로 키를 입력받을 수 있어 키입력 속도는 빠르지만 시선의 움직임에는 흔들림이 많을 뿐만 아니라 사용자가 의도치 않게 원하는 곳 이외의 공간을 바라볼 수 있기 때문에 정확도가 떨어지는 단점이 있다. 즉, 시선-제스처 기술은 주시점 탈현상(목표 주시점으로부터 실제의 주시점이 벗어나는 현상)의 발생으로 인하여 목표정보를 입력하거나 인지하는데 많은 심리적, 생리적 부담을 가중시키게 된다.

이러한 두 가지 방식의 시선 타이핑 기술에 대한 키입력 속도 혹은 정확도의 양자택일의 과제를 해결하기 위해, 많은 연구들이 속도와 정확도의 균형을 위한 방법을 찾고 있다.

한편, 시선-제스처 기술은 사용자 눈 움직임으로 패턴을 입력하는 방식이다. 일반적으로, 시선-제스처 기술은 3~6개의 포인트를 주고 시선이 움직이는 순서 혹은 시선의 움직임으로 만든 모양을 패턴으로 사용하여 입력 인터페이스를 수행한다.

시선-타이핑 기술은 사용자들에게 익숙한 가상 키보드를 제공해주기 때문에 쉽게 배울 수 있지만, 가상 키보드가 화면을 가리기 때문에 컴퓨터와 사람간의 상호작용 보다는 지속적인 입력 인터페이스 수단으로 주로 사용된다. 그러나, 시선-제스처 기술은 화면을 가리지 않기 때문에 컴퓨터와 사용자간의 상호작용이 필요한 환경에서 사용되지만, 사용자가 입력 패턴을 암기하고 있어야 하기 때문에 적은 수의 입력 패턴만을 활용할 수 있어 간단한 입력만이 가능하다는 문제점이 있다.

이와 같이, 사용자 시선 추적에 기반한 시선-타이핑 기술과 시선-제스처 기술의 단점을 해결하는 가장 간단한 방법은 눈으로 직접 글을 쓰는 것, 즉 시선-쓰기 방식을 사용하는 것이다.

하지만, 시선-쓰기 방식은 눈으로 직접 글을 써야 하기 때문에 글자의 구분이 어려워 정확도가 낮다. 일반적인 손-쓰기 글씨는 MNIST(Modified National Institute of Standards and Technology) 데이터베이스를 딥러닝 알고리즘의 훈련 데이터 (training data)로 활용하여 손-쓰기 글씨의 특징을 분류기가 학습함으로써 높은 분류 정확도를 보여준다.

그러나, 시선-쓰기 방식은 손-쓰기 방식과 다르게 눈의 움직이는 흐름이 모두 표시되어, 일반적인 손-쓰기 글씨와는 다른 모양으로 글자가 쓰여 진다. 따라서, 시선-쓰기 방식으로 문자를 입력하고 분류하기 위해서는 시선-쓰기의 특징을 분류기가 학습할 수 있는 데이터베이스가 필요하다.

하지만, 시선-쓰기를 위한 훈련 데이터 수집은 손-쓰기를 위한 훈련 데이터의 수집에 비해 환경적 요인, 참가자가 소모하는 시간과 노력이 더 크기 때문에 수집 자체에 많은 어려움이 있다.

따라서 시선-쓰기 입력 인터페이스 기술의 보급을 위해서는 학습을 위한 훈련 데이터 수집과 높은 정확도를 가진 분류기를 만드는 것이 가장 큰 과제라고 할 수 있다.

대한민국 등록특허 제 10-1671838호(발명의 명칭 : 시선 추적을 이용한 입력 장치)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 사용자의 시선 움직임에 따라 글자를 입력하는 시선-쓰기 입력 인터페이스를 별도의 데이터베이스를 수집하기 않고, 손 글씨와 시선-쓰기 글씨를 상호 분석하여 시선-쓰기로 작성된 글자의 특징을 MNIST 데이터베이스에 적용함으로써 시선-쓰기로 작성된 글자의 분류 정확도를 높일 수 있도록 하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 시선 추적 기반의 사용자 입력 데이터 분석 방법은, 시선 추적기(Eye-Tracker)를 이용한 사용자 입력 데이터 분석 장치에 의해 수행되는 시선 추적 기반의 사용자 입력 데이터 분석 방법에 있어서, a) 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스의 손-쓰기 데이터와 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 조합한 제2 데이터베이스를 제공하는 단계; 및 b) 상기 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면, 상기 제2 데이터베이스에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 출력하는 단계를 포함하되, 상기 제2 데이터베이스는 상기 제1 데이터베이스에 의해 분류 가능한 제1 패턴에 해당하는 숫자 이미지를 기초로 생성된 제1 시선-쓰기 특징 데이터, 상기 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴에 해당하는 것으로, 시선- 쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선을 해당 숫자에 추가한 숫자 이미지와 상기 시선 움직임의 잔상이 없는 숫자 이미지를 포함하는 제2 시선-쓰기 특징 데이터 및 상기 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴에 해당하는 것으로, 시선-쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선을 추가한 숫자 이미지를 포함하는 제3 시선-쓰기 특징 데이터를 포함하는 것이다.

본 발명의 일 실시예에 따른 시선 추적 기반의 사용자 입력 데이터 분석 장치는, 시선 추적기를 이용한 입력 인터페이스를 제공하는 사용자 입력 데이터 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 프로그램의 데이터베이스 모듈을 통해 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스의 손-쓰기 데이터와 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 조합한 제2 데이터베이스를 제공하고, 상기 프로그램의 시선-쓰기 입력 인터페이스 모듈을 통해 상기 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면 상기 제2 데이터베이스에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 출력하되, 상기 제2 데이터베이스는 상기 제1 데이터베이스에 의해 분류 가능한 제1 패턴에 해당하는 숫자 이미지를 기초로 생성된 제1 시선-쓰기 특징 데이터, 상기 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴에 해당하는 것으로, 시선- 쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선을 해당 숫자에 추가한 숫자 이미지와 상기 시선 움직임의 잔상이 없는 숫자 이미지를 포함하는 제2 시선-쓰기 특징 데이터 및 상기 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴에 해당하는 것으로, 시선-쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선을 추가한 숫자 이미지를 포함하는 제3 시선-쓰기 특징 데이터를 포함하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면, MNIST 데이터베이스를 활용하여 시선-쓰기 데이터를 학습하기 위한 훈련 데이터베이스를 생성함으로써 시선 시선-쓰기 입력 인터페이스를 위한 학습 데이터를 수집하기 위해 발생하는 시간과 노력을 절감할 수 있다.

또한, 본 발명은 MNIST 데이터베이스에 시선-쓰기 데이터의 특징을 적용하여 사용함으로써 시선-쓰기 학습을 위한 훈련 데이터의 부족 문제를 해결할 수 있고, 시선-쓰기 데이터의 분류 정확도를 향상시킬 수 있으며, 그로 인해 시선-쓰기 입력 인터페이스 기술 및 시선-쓰기 특징을 활용한 기술을 더 빠르게 발전 및 보급시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반의 사용자 입력 데이터 분석 장치를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 프로세서에 의한 시선 추적 기반의 사용자 입력 데이터 분석 방법을 수행하기 위한 프로그램을 실행하는 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 시선 추적 기반의 사용자 입력 데이터 분석 방법을 설명하는 순서도이다.
도 4는 본 발명의 일실시예에 따른 제1 데이터베이스와 제2 데이터베이스의 데이터를 이미지로 변환한 상태를 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 시선-쓰기 데이터의 분석 결과를 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 제1 데이터베이스에 시선-쓰기의 특징을 적용하는 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 CNN 분류기를 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반의 사용자 입력 데이터 분석 장치를 설명하는 도면이다.

도 1을 참조하면, 시선 추적 기반의 사용자 입력 데이터 분석 장치는 통신모듈(10), 메모리(20), 프로세서(30) 및 데이터베이스(40)를 포함한다.

통신 모듈(10)은 사용자 입력 데이터 분석 장치(10)와 송수신 신호를 처리하기 위해 필요한 통신 인터페이스를 제공한다.

메모리(20)는 시선 추적 기반의 사용자 입력 데이터 분석 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(30)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(20)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(30)는 시선 추적 기반의 사용자 입력 데이터 분석 방법을 제공하는 전체 과정을 제어한다. 프로세서(30)가 수행하는 각 단계에 대해서는 도 2및 도 3을 참조하여 후술하기로 한다.

여기서, 프로세서(30)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2는 본 발명의 일실시예에 따른 프로세서에 의한 시선 추적 기반의 사용자 입력 데이터 분석 방법을 수행하기 위한 프로그램을 실행하는 과정을 설명하는 도면이다.

프로세서(30)는 시선-쓰기 특징을 학습하기 위한 데이터베이스 모듈(100)과 시선-쓰기 입력 인터페이스 모듈(200)을 통해 사용자 단말(300)에 사용자가 시선으로 입력하고자 하는 숫자를 입력한다.

데이터베이스 모듈(100)은 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스(110)를 CNN 딥러닝 알고리즘의 훈련 데이터로 활용하여 시선-쓰기의 학습을 위한 훈련 데이터베이스로 변환하여 제2 데이터베이스(120)를 생성한다. 이때, 제1 데이터베이스(110)는 MNIST 데이터베이스이고, 제2 데이터베이스(120)는 시선-쓰기의 특징을 제1 데이터베이스(110)에 추가하여 시선-쓰기의 학습을 위한 훈련 데이터베이스로 변환하여 사용한다.

시선-쓰기 입력 인터페이스 모듈(200)은 사용자의 시선을 추적하는 시선 추적기(Eye-Tracker)(210)를 통한 사용자의 시선 추적 정보를 제2 데이터베이스(120)에 기초하여 CNN 분류기(220)를 통해 시선-쓰기 글자, 즉 숫자로 분류한다.

CNN분류기(220)에서 분류된 숫자는 출력기(230)를 통해 사용자 단말(300)에 전달된다. 시선-쓰기 입력 인터페이스 모듈(200)은 사용자 단말(300)과의 상호 인터랙션에 기반하여 사용자 시선 추적 정보에 대응하는 숫자를 입력할 수 있다.

도 3은 본 발명의 일 실시예에 시선 추적 기반의 사용자 입력 데이터 분석 방법을 설명하는 순서도이고, 도 4는 본 발명의 일실시예에 따른 제1 데이터베이스와 제2 데이터베이스의 데이터를 이미지로 변환한 상태를 설명하는 예시도이며, 도 5는 본 발명의 일 실시예에 따른 시선-쓰기 데이터의 분석 결과를 설명하는 도면이다.

도 3을 참조하면, 시선 추적 기반의 사용자 입력 데이터 분석 방법은, 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 수집하고, 시선-쓰기 데이터와 제1 데이터베이스(110)의 손-쓰기 데이터를 이미지 변환하여 두 데이터를 비교 분석한다(S110).

도 4에 도시된 바와 같이, 손-쓰기 데이터와 시선-쓰기 데이터를 비교하면, 시선-쓰기 데이터가 손-쓰기 데이터에 비해 각진 형태를 가지고, 숫자 4의 경우에 글자라기 보다는 화살표 도형에 가까운 형태를 갖는다.

이와 같이, 시선으로 글을 쓰는 방법에 따라 시선-쓰기 데이터와 손-쓰기 데이터의 결과가 다르기 때문에 제1 데이터베이스로 시선-쓰기 데이터를 모두 분류할 수 없다.

따라서, 시선 추적 기반의 사용자 입력 데이터 분석 방법에서는 손-쓰기 데이터 세트가 저장된 제1 데이터베이스를 그대로 활용할 수 없기 때문에 손-쓰기 데이터와 시선-쓰기 데이터를 비교하여 시선-쓰기 데이터의 특징 패턴들을 추출한다(S120).

먼저, 시선-쓰기 데이터의 특징 패턴이 손-쓰기 데이터 세트가 저장된 제1 데이터베이스에 의해 분류 가능한 제1 패턴인 경우, 제1 패턴에 해당하는 숫자를 제1 시선-쓰기 특징 데이터로 생성한다(S130, S140).

제1패턴은 숫자 쓰기 방식에 따라 숫자의 상단 또는 하단에 획이 추가 되어 적어도 하나 이상의 모양을 가지는 숫자 패턴으로서, 제1 시선-쓰기 특징 데이터는 1의 숫자 이미지에 해당하는 것이다. 즉, 도 5의 (b)에 도시된 바와 같이, 숫자 1은 쓰는 방법에 따라 상단에 우측 상향의 획이 추가되어 있는 형태 또는 하단에 수평 방향의 획이 추가되어 있는 형태 등 숫자 형태가 다양하게 달라지지만, 숫자 1에 대한 제1 시선-쓰기 특징 데이터에 해당하는 글씨체가 손-쓰기 데이터에도 있기 때문에 제1 시선-쓰기 특징 데이터는 제1 데이터베이스로 분류 가능하다.

시선-쓰기 데이터의 특징 패턴이 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴인 경우, 제2 패턴에 해당하는 숫자의 시선- 쓰기 동작시, 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선(L2-1, L2-2)을 추가한 숫자 이미지와 시선 움직임의 잔상이 없는 숫자 이미지를 제2 시선-쓰기 특징 데이터로 생성한다(S150).

만일, 제2 패턴은 도 5의 (c)에 도시된 바와 같이 시선 움직임의 잔상이 없는 경우 손-쓰기 데이터의 형태의 숫자 이미지를 가지고, 시선 움직임의 잔상이 있는 경우 숫자 인식이 불가능한 숫자 이미지를 가지며, 제2 시선-쓰기 특징 데이터는 5, 7의 숫자 이미지에 해당한다. 5의 숫자 이미지는 도 5의 (c-1), 7의 숫자 이미지는 도 5의 (c-4)에 도시된 바와 같이, 시선으로 글을 쓰는 과정에서 붉은 선, 즉 제1 표시선(L2-1, L2-2)이 시선 변경 포인트에 시선 움직임의 잔상으로 남아 5가 6으로 보이거나 7이 삼각형 모양으로 변하게 되고, 이렇게 변형된 숫자 이미지는 제1 데이터베이스에 분류가 불가능하다.

그러나, 도 5의 (c-2), (c-3) 및 (c-4)에 도시된 바와 같이, 시선-쓰기 동작시 5와 7의 숫자 이미지에 시선 움직임의 잔상이 남아 있지 않고, 도 5의 (c-5)에 도시된 바와 같이, 시선-쓰기 동작에 의해 사용자가 입력하고자 한 숫자와 동일한 숫자 모양이나 필기체 등은 제1 데이터베이스(110)에서 분류가 가능하다.

시선-쓰기 데이터의 특징 패턴이 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴인 경우, 제3 패턴에 해당하는 숫자의 시선-쓰기 동작시, 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선(L3)을 추가한 제3 시선-쓰기 특징 데이터를 생성한다(S160).

이러한 제3 패턴은 도 5의 (d)에 도시된 바와 같이, 시선 움직임의 잔상으로 인해 숫자 인식이 불가능한 숫자 패턴이고, 제3 시선-쓰기 특징 데이터는 4의 숫자 이미지에 해당한다. 4 숫자 이미지는 시선-쓰기 동작시 도 5의 (d-1) 및 (d-2)에 도시된 붉은 선(L3)과 같이 시선 변경 포인트에 시선 움직임에 의한 잔상이 남게 되고, 그로 인해 4 숫자 이미지가 위로 향하는 화살표 모양이 되어 제1 데이터베이스에서 구분할 수 없게 된다.

도 5의 (d-3)에 도시된 바와 같이 시선-쓰기 동작시 시선이 움직이는 라인과 4의 숫자가 겹치는 경우에, 제1 데이터베이스에서 4 숫자 이미지의 분류가 가능하지만, 매우 드물게 나타나는 현상이므로 예외 케이스로 구분하여 관리한다.

한편, 도 5의 (a)에 도시된 바와 같이, 제1 데이터베이스에 의해 분류 가능한 일반 특징 패턴에 해당하는 숫자 이미지를 제4시선-쓰기 특징 데이터로 하고, 제4 시선-쓰기 특징 데이터는 0, 2, 3, 6, 8, 9의 숫자 이미지에 해당한다(S170). 일반 특징 패턴에 해당하는 숫자 이미지는 제1 데이터베이스(110)에 저장된 손-쓰기 데이터에 비해 각진 형태를 가지고 있으며, 손-쓰기 데이터에도 각진 글씨체 형태를 포함하고 있으므로, 제1 데이터베이스(110)에 의해 분류가 가능하다.

시선 추적 기반의 사용자 입력 데이터 분석 방법은 제1 시선-쓰기 특징 데이터, 제2 시선 쓰기 특징 데이터, 제3 시선-쓰기 특징 데이터 및 제4 시선-쓰기 특징 데이터를 제1 데이터베이스(110)에 적용하여 시선-쓰기 학습을 위한 제2 데이터베이스(120)를 생성한다(S180).

시선-쓰기 입력 인터페이스 모듈은 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면, 제2 데이터베이스(120)에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 사용자 단말에 출력한다(S190).

한편 도 3의 단계 S110 내지 S190은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.

도 6은 본 발명의 일 실시예에 따른 제1 데이터베이스에 시선-쓰기의 특징을 적용하는 과정을 설명하는 도면이다.

도 6을 참조하면, 제1 내지 제3 시선-쓰기 특징 데이터를 제1 데이터베이스, 즉 MNIST 데이터베이스에 적용하기 위해서는 MNIST-NN 포맷에 맞춰 28X28 사이즈의 그레이 스케일(Gray-scale)의 샘플 이미지를 사용한다.

먼저, 도 6의 (a)에 도시된 바와 같이, 5의 숫자 이미지에 대한 시선-쓰기 특징 데이터를 제1 데이터베이스에 적용하기 위해서는 샘플 이미지를 6개의 구역으로 분할하고, 각 구역에 데이터의 다양성을 위해 무작위로 1개의 포인트(P1, P2, P3, P4, P5, P6)를 설정한 후 1~6의 순서대로 각 포인트를 연결하여 각진 형태의 5숫자 이미지를 산출한다.

각진 형태의 5 숫자 이미지에서 시선 변경 포인트에 해당하는 P2와 6를 연결하여 제1 표시선을 추가함으로써 시선 움직임에 의한 잔상을 적용하고, 이러한 시선-쓰기 특징이 추가된 5 숫자 이미지를 제1 데이터베이스에 추가한다.

한편, 도 6의 (b)에 도시된 바와 같이, 7 숫자 이미지는 시선 움직임으로 인해 연결되는 제1 표시선을 추가하기 위해, 샘플 이미지의 최하단에서 상방향 탐색시 최초 나타나는 P1포인트와 좌측 최외곽에서 오른쪽 방향 탐색시 최초 나타나는 P2 포인트를 찾은 후에 P1과 P2를 연결하여 제1 표시선을 추가한다.

즉, 7 숫자 이미지의 제1 표시선은 좌측 최상단에 위치한 포인트와 최하단에 위치한 포인트를 연결한 선분이고, 제1 표시선이 추가된 7숫자 이미지를 제1 데이터베이스에 추가한다.

도 6의 (c)에 도시된 바와 같이, 4숫자 이미지는 위에서 아래, 오른쪽에서 왼쪽으로 향하는 2번의 탐색을 통해 우측 최외곽에 위치한 P2포인트와 최상단에 위치한 P1 포인트를 찾은 후에 P1과 P2를 연결하여 제2 표시선을 추가하고, 제2 표시선이 추가된 4숫자 이미지를 제1 데이터베이스에 추가한다.

도 7은 본 발명의 일 실시예에 따른 CNN 분류기를 설명하는 도면이다.

도 7을 참조하면, CNN 분류기(220)는 시선-쓰기 학습을 위한 제2 데이터베이스(120)를 학습하여 시선-쓰기 숫자를 분류하는 것으로서, 숫자 이미지 데이터를 훈련하여 학습하기 위해 CNN 알고리즘을 사용한다.

CNN 분류기(220)는 MNIST-NN-포맷의28x28x1 크기의 이미지를 입력 데이터로 사용하고, 2개의 콘볼루션 레이어와 맥스 풀링 레이어로 구성된다. 첫 번째 콘볼루션 레이어는 32 사이즈의 필터와 5x5의 커널, ReLU 활성화 함수를 사용하고, 두 번째 콘볼루션 레이어는 필터 사이즈가 128인 것을 제외하고는 첫 번째 콘볼루션 레이어와 동일하다.

각 콘볼루션 레이어 후단에는 맥스 풀링 레이어가 각각 위치하며, 2개의 맥스 풀링 레이어의 스트라이드와 커널 사이즈는 2x2이다. 마지막으로 1024개의 노드의 완전 연결(Fully-connected) 레이어를 거쳐 0~9의 총 10개 클래스를 분류한다. 또한, CNN분류기(220)는 오버피팅을 방지하기 위하여 각 콘볼루션과 완전 연결(Fully-connected) 레이어에서 0.3의 비율로 드랍-아웃을 진행한다.

이와 같이, 본 발명의 일 실시예에는 시선-쓰기를 위한 훈련 데이터베이스(120)와 시선-쓰기를 분류하기 위한 CNN 분류기(220)를 통해 시선-쓰기 입력 인터페이스로 입력한 숫자를 0.9921의 분류 정확도로 인식할 수 있다.

이상에서 설명한 본 발명의 실시예에 따른 시선 추적 기반의 사용자 입력 데이터 분석 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 데이터베이스 모듈 110 : 제1 데이터베이스
120 : 제2 데이터베이스 200 : 시선-쓰기 입력 인터페이스 모듈
210 : 시선 추적기 220 : CNN 분류기
230 : 출력기

Claims

시선 추적기(Eye-Tracker)를 이용한 사용자 입력 데이터 분석 장치에 의해 수행되는 시선 추적 기반의 사용자 입력 데이터 분석 방법에 있어서,
a) 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스의 손-쓰기 데이터와 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 조합한 제2 데이터베이스를 제공하는 단계; 및
b) 상기 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면, 상기 제2 데이터베이스에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 출력하는 단계를 포함하되,
상기 제2 데이터베이스는 상기 제1 데이터베이스에 의해 분류 가능한 제1 패턴에 해당하는 숫자 이미지를 기초로 생성된 제1 시선-쓰기 특징 데이터, 상기 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴에 해당하는 것으로, 시선- 쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선을 해당 숫자에 추가한 숫자 이미지와 상기 시선 움직임의 잔상이 없는 숫자 이미지를 포함하는 제2 시선-쓰기 특징 데이터 및 상기 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴에 해당하는 것으로, 시선-쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선을 추가한 숫자 이미지를 포함하는 제3 시선-쓰기 특징 데이터를 포함하는 것인 사용자 입력 데이터 분석 방법.
제 1 항에 있어서,
상기 제1 데이터베이스는 MNIST(Modified National Institute of Standards and Technology) 데이터베이스인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 1 항에 있어서,
상기 제2 데이터베이스는,
상기 제1 데이터베이스에 저장된 손-쓰기 데이터에 비해 각진 형태를 가지고, 상기 제1 데이터베이스에 의해 분류 가능한 일반 특징 패턴에 해당하는 숫자 이미지를 포함하는 제4시선-쓰기 특징 데이터를 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 3 항에 있어서,
상기 제4 시선-쓰기 특징 데이터는 0, 2, 3, 6, 8, 9의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 1 항에 있어서,
상기 제1패턴은 시선-쓰기 동작에 따라 숫자의 상단 또는 하단에 획이 추가 되어 적어도 하나 이상의 형태를 가지고,
상기 제1 시선-쓰기 특징 데이터는 1의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 1 항에 있어서,
상기 제2 패턴은 상기 시선 움직임의 잔상이 없는 경우 상기 손-쓰기 데이터의 형태를 가지는 숫자 이미지이고, 상기 시선 움직임의 잔상이 있는 경우 숫자 인식이 불가능한 숫자 이미지이며,
상기 제2 시선-쓰기 특징 데이터는 5, 7의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 6 항에 있어서,
상기 a) 단계는,
a-1) 상기 제1 데이터베이스의 포맷에 적합한 그레이 스케일(Gray-scale)의 샘플 이미지를 사용하고, 상기 샘플 이미지를 복수 개의 구역으로 분할하는 단계;
a-2) 상기 분할된 각 구역마다 무작위로 포인트를 설정한 후 각 포인트를 연결하여 각진 형태의 숫자 모양을 산출하는 단계; 및
a-3) 상기 각진 형태의 숫자 모양에서 시선 변경 포인트에 해당하는 복수의 구역에 위치한 포인트를 서로 연결하여 제1 표시선을 추가하여 상기 제2 시선-쓰기 특징 데이터를 생성하는 단계를 더 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 7 항에 있어서,
상기 제2 시선-쓰기 특징 데이터가 5숫자 이미지인 경우, 상기 제1 표시선은 5숫자 모양의 좌측 최하단에 위치한 포인트와 좌측 최상단에 위치한 포인트를 연결한 선분이고,
상기 제2 시선-쓰기 특징 데이터가 7숫자 이미지인 경우, 상기 제1 표시선은 7 숫자 모양의 좌측 최상단에 위치한 포인트와 최하단에 위치한 포인트를 연결한 선분인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 1 항에 있어서,
상기 제3 패턴은 상기 시선 움직임의 잔상으로 인해 숫자 인식이 불가능한 숫자 이미지이고,
상기 제3 시선-쓰기 특징 데이터는 4의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 9 항에 있어서,
상기 a) 단계는,
a-4) 상기 제1 데이터베이스의 포맷에 적합한 그레이 스케일(Gray-scale)의 샘플 이미지를 제1 방향과 제2 방향으로 탐색하여 4 숫자 이미지의 시선 변경 포인트에 해당하는 복수의 구역의 포인트를 찾은 후, 해당 포인트를 연결한 제2 표시선을 추가하여 상기 제2 시선-쓰기 특징 데이터를 생성하는 단계를 더 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
제 10 항에 있어서,
상기 제2 표시선은 4 숫자 모양의 우측 최외곽에 위치한 포인트와 최상단에 위치한 포인트를 연결한 선분인, 시선 추적 기반의 사용자 입력 데이터 분석 방법.
시선 추적 기반의 사용자 입력 데이터 분석 장치에 있어서,
시선 추적기를 이용한 입력 인터페이스를 제공하는 사용자 입력 데이터 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 프로그램의 데이터베이스 모듈을 통해 손글씨로 작성된 손-쓰기 데이터를 저장한 제1 데이터베이스의 손-쓰기 데이터와 사용자의 시선 추적에 기반하여 작성된 시선-쓰기 데이터를 조합한 제2 데이터베이스를 제공하고,
상기 프로그램의 시선-쓰기 입력 인터페이스 모듈을 통해 상기 시선 추적기로부터 사용자의 시선 추적 정보가 입력되면 상기 제2 데이터베이스에 기반하여 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하여 출력하되,
상기 제2 데이터베이스는 상기 제1 데이터베이스에 의해 분류 가능한 제1 패턴에 해당하는 숫자 이미지를 기초로 생성된 제1 시선-쓰기 특징 데이터, 상기 제1 데이터베이스에 의한 분류 가능성 또는 분류 불가능성이 혼재하는 제2 패턴에 해당하는 것으로, 시선- 쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제1 표시선을 해당 숫자에 추가한 숫자 이미지와 상기 시선 움직임의 잔상이 없는 숫자 이미지를 포함하는 제2 시선-쓰기 특징 데이터 및 상기 제1 데이터베이스에 의해 분류가 불가능한 제3 패턴에 해당하는 것으로, 시선-쓰기 동작시 시선 변경 포인트에서 발생되는 시선 움직임의 잔상에 의한 제2표시선을 추가한 숫자 이미지를 포함하는 제3 시선-쓰기 특징 데이터를 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 12 항에 있어서,
상기 시선-쓰기 입력 인터페이스 모듈은,
사용자의 시선을 추적하여 사용자의 시선 추적 정보를 제공하는 시선 추적기;
상기 제2 데이터베이스에 기초하여 시선-쓰기 데이터를 훈련하여 학습하기 위해 CNN 알고리즘을 사용하고, 상기 CNN 알고리즘을 통해 사용자의 시선 추적 정보를 통해 입력된 숫자를 분류하는 CNN 분류기; 및
상기 분류된 숫자를 사용자 단말과의 상호 인터랙션에 기반하여 사용자 단말에 제공하는 출력기를 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 12 항에 있어서,
상기 제2 데이터베이스는,
상기 제1 데이터베이스에 저장된 손-쓰기 데이터에 비해 각진 형태를 가지고, 상기 제1 데이터베이스에 의해 분류 가능한 일반 특징 패턴에 해당하는 숫자 이미지를 포함하는 제4시선-쓰기 특징 데이터를 포함하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 14 항에 있어서,
상기 제4 시선-쓰기 특징 데이터는 0, 2, 3, 6, 8, 9의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 12 항에 있어서,
상기 제1패턴은 시선-쓰기 동작에 따라 숫자의 상단 또는 하단에 획이 추가 되어 적어도 하나 이상의 형태를 가지고,
상기 제1 시선-쓰기 특징 데이터는 1의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 12 항에 있어서,
상기 제2 패턴은 상기 시선 움직임의 잔상이 없는 경우 상기 손-쓰기 데이터의 형태를 가지는 숫자 이미지이고, 상기 시선 움직임의 잔상이 있는 경우 숫자 인식이 불가능한 숫자 이미지이며,
상기 제2 시선-쓰기 특징 데이터는 5, 7의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 17 항에 있어서,
상기 제2 시선-쓰기 특징 데이터가 5숫자 이미지인 경우, 상기 제1 표시선은 5숫자 모양의 좌측 최하단에 위치한 포인트와 좌측 최상단에 위치한 포인트를 연결한 선분이고,
상기 제2 시선-쓰기 특징 데이터가 7숫자 이미지인 경우, 상기 제1 표시선은 7 숫자 모양의 좌측 최상단에 위치한 포인트와 최하단에 위치한 포인트를 연결한 선분인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 12 항에 있어서,
상기 제3 패턴은 상기 시선 움직임의 잔상으로 인해 숫자 인식이 불가능한 숫자 이미지이고,
상기 제3 시선-쓰기 특징 데이터는 4의 숫자 이미지에 해당하는 것인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.
제 19 항에 있어서,
상기 제3 시선-쓰기 특징 데이터의 표시선은 4 숫자 모양의 우측 최외곽에 위치한 포인트와 최상단에 위치한 포인트를 연결한 선분인, 시선 추적 기반의 사용자 입력 데이터 분석 장치.