KR20200098150A - 시선추적 데이터 처리 방법 - Google Patents

Abstract

본 발명은 시선추적 데이터 처리 방법이 개시된다. 본 발명의 시선추적 데이터 처리 방법은, 제어부가 시선추적 프로그램으로부터 화면 이미지를 응시하는 시선을 추적한 시선추적 데이터를 입력받는 단계; 제어부가 시선추적 데이터에서 오류 값을 제거하고 항목을 분류하여 저장하는 단계; 제어부가 저장된 시선추적 데이터를 읽어와 화면과 매칭시켜 시각화하는 단계; 및 제어부가 시선추적 데이터를 시각화한 결과를 화면 이미지와 중첩하여 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

시선추적 데이터 처리 방법{METHOD FOR PROCESSING OF GAZE DETECTION DATA}

본 발명은 시선추적 데이터 처리 방법에 관한 것으로서, 보다 상세하게는 화면의 이미지를 응시하는 사용자의 시선추적 데이터를 입력받아 자동으로 분류하고, 이를 시각화하여 화면의 이미지와 응시 결과를 출력할 수 있도록 하는 시선추적 데이터 처리 방법에 관한 것이다.

일반적으로, 시선추적기술 및 시선방향 추출기술은 HCI(Human Computer Interface) 분야에서 새로운 사용자 입력 방법으로서 각광받고 있는 기술이다. 또한, 이 기술은 현재도 움직임이 불편한 장애우가 컴퓨터를 사용하게 하기 위한 도구로써 개발되어 상용화되어 활용되고 있다.

사람의 시선은 이외에도 특별한 관심이나 생체변화 등을 반영하고 있으므로 실험적으로는 사용자의 관심도에 따른 AUI(Attentive User Interface), 자동차를 운전할 때 졸음운전 방지를 위한 안전 시스템(Safety System) 등 방향 추적뿐만 아니라 다른 여러 분야에서도 많은 연구가 진행되고 있다.

한편, 시선추적 알고리즘은 세 가지 방식으로 분류될 수 있다.

첫 번째, 2차원 기술로 분류될 수 있는 방식으로는, 눈 주위의 전극을 이용하는 EOG(Electro-Oculographic Potential)방식, 광원의 위치에 따라 동공의 밝기가 변함을 이용하는 흑백 동공(bright and dark pupil)방식, 광원이 각막에 반사되는 점을 이용하는 동공 및 각막 반사(pupil and corneal reflection)방식, 광원이 눈의 여러 층을 통과해 굴절될 때의 차이점을 이용하는 듀얼 푸르키니에(dual Purkinje)방식, 컨택트 렌즈를 사용하는 서치코일(search coil)방식 등을 있다. 이러한 2차원 방식들은 3차원 시선 방향을 추출하는 것이 아니고 사용자의 머리 위치도 알 수 없기 때문에 3차원 기술에 비해 정확도가 떨어지고 주로 머리를 고정시킨 상태에서 시선 추적이 진행되어야 하는 문제점이 있다.

두 번째, 모델 기반 3차원 기술로 분류되는 방식은 사용자의 얼굴과 눈의 특징점들을 찾아내어 이를 기반으로 시선 추적을 하는 방식으로, 카메라의 시야(Field of View)에 얼굴 전체가 포함되어야 한다는 단점이 있다.

세 번째, 3차원 기술로 분류되는 방식은 헤드 트랙커(head tracker) 또는 스테레오 카메라 등을 이용해서 실제 사용자의 3차원 위치를 알아내어 3차원 시선 벡터를 추출해 내는 기술로써 가장 정확한 방법이다. 하지만 시선 벡터를 추출할 때 동공의 중심이나 반사점의 중심 등은 앞서 설명한 2차원 기술의 방식들을 사용하여 알아내야 한다. 또한, 카메라, 광원, 디스플레이 등의 위치가 미리 정해져서 3차원 상의 각 관계를 알고 있어야 한다.

종래의 시선 추적 장치들은 상용화된 제품이나 현재 연구되고 있는 기술 모두 매우 고가의 장비를 사용하고 사용법 또한 까다롭다. 스테레오 카메라인 경우 스테레오 카메라 조정(stereo camera calibration)이 선행되어야 하며, 적외선 광원을 이용하는 경우 광원의 위치를 미리 알아야 하기 때문에 지정된 위치에 광원을 설치한 후 다시 조정(calibration)을 수행해야 한다. 사용자마다의 특징을 반영하는 개인 조정(personal calibration)의 경우도 시스템마다 다르지만 시스템을 사용하기 전에 최소한 모니터 상의 지정된 여러 점을 반복해서 바라보고 이 값들을 저장해야 하는 불편함이 있다.

또한, EOG 방식의 경우 사용자가 시스템을 사용하기 전에 눈 주위에 여러 개의 전극을 붙여야 하며 정확도가 낮은 문제점이 있다. 서치코일 방식은 사용자가 눈에 특수 컨택트 렌즈를 장착해야 하기 때문에 불편하고 거부감을 느낄 수 있다. 듀얼 푸르키니에 방식의 경우, 정확도는 양호하지만 장비의 크기가 크고 엄청난 고가이다. 흑백동공 방식은 광원이 카메라의 광축과 바깥 축을 번갈아 깜박이게 되는데 이 둘과 획득하는 영상과의 동기화를 맞추는 일이 쉽지 않다. 동공 및 각막 반사방식은 주로 적외선 광원을 사용하기 때문에 사용자의 눈에 해롭지 않을 정도의 적당한 파워의 적외선을 사용해야 한다.

이외에도 여러 방식들이 존재하지만 대부분의 경우 사용자의 머리를 고정시켜야 하며, 움직임이 허용되더라도 최대한도 내에서 움직여야 하는 경우가 많다. 이에 따라 특히 사용자의 머리 움직임에 자유도를 주기 위해 팬/틸트/줌 카메라를 사용해서 별도의 머리 추적을 위한 카메라를 추가한 시스템이 제안되어 있다.

본 발명의 배경기술은 대한민국 등록특허공보 제0651104호(2006.11.22. 공고, 시선기반 컴퓨터 인터페이스 장치 및 방법)에 개시되어 있다.

이러한 다양한 방식을 통해 사용자의 시선추적을 수행한 후 수집된 시선추적 데이터를 분석하기 위해 수작업을 통해 수집된 시선추적 데이터에 포함된 오류 값들을 제거하여 유효한 데이터를 기반으로 분류하고 분석하여 이를 시각화 자료로 제작해야하지만 오류 값을 제거하기 위해 많은 시간이 소요되는 문제점이 있었다.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 화면의 이미지를 응시하는 사용자의 시선추적 데이터를 입력받아 자동으로 분류하고, 이를 시각화하여 화면의 이미지와 응시 결과를 출력할 수 있도록 하는 시선추적 데이터 처리 방법을 제공하는 것이다.

본 발명의 일 측면에 따른 시선추적 데이터 처리 방법은, 제어부가 시선추적 프로그램으로부터 화면 이미지를 응시하는 시선을 추적한 시선추적 데이터를 입력받는 단계; 제어부가 시선추적 데이터에서 오류 값을 제거하고 항목을 분류하여 저장하는 단계; 제어부가 저장된 시선추적 데이터를 읽어와 화면과 매칭시켜 시각화하는 단계; 및 제어부가 시선추적 데이터를 시각화한 결과를 화면 이미지와 중첩하여 출력하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서 시선추적 데이터는, 경과시간, X 좌표 값 및 Y 좌표 값을 포함하는 것을 특징으로 한다.

본 발명에서 시선추적 데이터를 저장하는 단계는, 제어부가 분류된 결과를 엑셀파일 형태로 저장하는 것을 특징으로 한다.

본 발명에서 시선추적 데이터를 시각화하는 단계는, 제어부가 시선추적 데이터의 Y 좌표 값을 시각화를 위한 Y 좌표 값으로 변환하여 매칭시키는 것을 특징으로 한다.

본 발명에서 시선추적 데이터를 시각화하는 단계는, 제어부가 시선추적 데이터의 X 좌표 값과 Y 좌표 값을 스캐터 그래프로 시각화하는 것을 특징으로 한다.

본 발명에서 시선추적 데이터를 시각화하는 단계는, 제어부가 시선추적 데이터의 X 좌표 값과 Y 좌표 값의 최대 값을 각각 표시부의 화면크기로 제한하여 시각화하는 것을 특징으로 한다.

본 발명에서 시선추적 데이터의 시각화한 결과를 출력하는 단계는, 제어부가 시선추적 데이터의 시각화 결과의 투명도를 낮추어 화면 이미지와 중첩하여 출력하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 시선추적 데이터 처리 방법은 화면의 이미지를 응시하는 사용자의 시선추적 데이터를 입력받아 자동으로 분류하고, 이를 시각화하여 화면의 이미지와 응시 결과를 출력할 수 있도록 함으로써, 수작업을 통해 분석하는 시간을 최소화할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선추적 데이터 처리장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법에 의해 저장되는 엑셀파일을 나타낸 예시화면이다.
도 4는 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법에 의해 출력되는 시각화 결과를 나타낸 예시화면이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 시선추적 데이터 처리 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 시선추적 데이터 처리장치를 설명하기 위한 블록 구성도이다.

도 1에 도시된 바와 같이 시선추적 데이터 처리장치는, 제어부(20)가 시선추적 프로그램을 구동시켜 표시부(40)를 통해 화면 이미지를 출력한다. 이후 카메라(10)를 통해 사용자가 표시부(40)의 화면 이미지를 응시하는 시선을 추적하고, 시선을 추적한 시선추적 데이터는 저장부(30)에 저장한다.

여기서, 제어부(20)는 시선추적 데이터에서 오류 값을 제거하고 항목을 분류하여 엑셀파일 형태로 저장부(30)에 저장하며, 저장된 시선추적 데이터를 읽어와 화면과 매칭시켜 시각화한 후 시선추적 데이터를 시각화한 결과를 화면 이미지와 중첩하여 표시부(40)에 출력할 수 있다.

이때 제어부(20)는 시선추적 데이터를 화면과 매칭시키기 위해 시선추적 데이터의 Y 좌표 값을 시각화를 위한 Y 좌표 값으로 변환할 수 있다. 예를 들어, 좌표의 영점에 따라 Y 좌표 값에 -1을 곱하여 변환할 수 있다.

또한, 제어부(20)는 시선추적 데이터의 X 좌표 값과 Y 좌표 값을 스캐터(scatter) 그래프로 시각화하고, 시선추적 데이터의 X 좌표 값과 Y 좌표 값의 최대 값을 각각 표시부(40)의 화면크기로 제한하여 표시부(40)의 화면에 표시되도록 할 수 있다.

이때 시각화한 결과는 투명도를 낮추어 화면 이미지와 중첩하여 출력함으로써, 사용자가 화면 이미지의 응시한 결과를 용이하게 분석할 수 있도록 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법에 의해 저장되는 엑셀파일을 나타낸 예시화면이며, 도 4는 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법에 의해 출력되는 시각화 결과를 나타낸 예시화면이다.

도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 시선추적 데이터 처리 방법에서는 먼저, 제어부(20)가 시선추적 프로그램으로부터 화면 이미지를 응시하는 사용자의 시선을 추적한 시선추적 데이터를 입력받는다(S10).

여기서, 시선추적 데이터는 경과시간, X 좌표 값 및 Y 좌표 값을 포함할 수 있다. 이때 시선추적 데이터에서 X 좌표 값과 Y 좌표 값은 좌측 상단의 영점으로부터의 픽셀 수를 나타낼 수 있다.

S10 단계에서 시선추적 데이터를 입력받은 후 제어부(20)는 시선추적 데이터에 포함된 오류 값을 제거하고 각각의 데이터를 항목별로 분류하여 도 3에 도시된 바와 같이 엑셀(excel)파일 형태로 저장부(30)에 저장한다(S20).

여기서, 제어부(20)는 음의 좌표 값을 오류 값으로 정의하고 삭제할 수 있으며, 시선추적 데이터의 각 항목을 엑셀파일의 각 필드로 분류하여 저장할 수 있다.

S20 단계에서 시선추적 데이터를 엑셀 파일 형태로 저장부(30)에 저장한 후 제어부(20)는 저장부(30)에 저장된 시선추적 데이터를 읽어와 화면과 매칭시켜 시각화한다(S30).

여기서, 제어부(20)는 시선추적 데이터의 Y 좌표 값을 시각화를 위한 Y 좌표 값으로 변환하여 매칭시킨다.

예를 들어, 시선추적 데이터의 X 좌표 값과 Y 좌표 값의 영점은 좌측 상단이지만, 시각화하기 위해 시선추적 데이터의 X 좌표 값과 Y 좌표 값을 스캐터(scatter) 그래프로 시각화할 경우 좌측 하단을 영점으로 X 좌표 값과 Y 좌표 값을 시각화한다.

따라서 시선추적 데이터의 Y 좌표 값에 -1을 곱하여 화면과 매칭시킬 수 있다.

또한, 제어부(20)는 시선추적 데이터를 시각화할 때 화면을 벗어나지 않도록 시선추적 데이터의 X 좌표 값과 Y 좌표 값의 최대 값을 각각 표시부(40)의 화면크기로 제한할 수 있다. 예를 들어, 화면크기가 1920 X 1080 픽셀일 경우, X 좌표의 최대 값을 1920으로 제한하고, Y 좌표의 최대 값을 1080으로 제한할 수 있다.

S30 단계에서 시선추적 데이터를 시각화 한 후 제어부(20)는 도 4에 도시된 바와 같이 시선추적 데이터를 시각화한 스캐터 그래프를 화면 이미지와 중첩하여 출력한다(S40).

여기서, 제어부(20)는 시선추적 데이터의 시각화 결과인 스캐터 그래프의 투명도를 낮추어 화면 이미지와 중첩하여 출력할 수 있다.

상술한 바와 같이, 본 발명의 실시예에 의한 시선추적 데이터 처리 방법에 따르면, 화면의 이미지를 응시하는 사용자의 시선추적 데이터를 입력받아 자동으로 분류하고, 이를 시각화하여 화면의 이미지와 응시 결과를 출력할 수 있도록 함으로써, 수작업을 통해 분석하는 시간을 최소화할 수 있다.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.

10 : 카메라
20 : 제어부
30 : 저장부
40 : 표시부

Claims (7)

1. 제어부가 시선추적 프로그램으로부터 화면 이미지를 응시하는 시선을 추적한 시선추적 데이터를 입력받는 단계;
   상기 제어부가 상기 시선추적 데이터에서 오류 값을 제거한 후 항목을 분류하여 저장하는 단계;
   상기 제어부가 저장된 상기 시선추적 데이터를 읽어와 화면과 매칭시켜 시각화하는 단계; 및
   상기 제어부가 상기 시선추적 데이터를 시각화한 결과를 상기 화면 이미지와 중첩하여 출력하는 단계를 포함하는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
2. 제 1항에 있어서, 상기 시선추적 데이터는, 경과시간, X 좌표 값 및 Y 좌표 값을 포함하는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
3. 제 1항에 있어서, 상기 시선추적 데이터를 저장하는 단계는, 상기 제어부가 분류된 결과를 엑셀파일 형태로 저장하는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
4. 제 1항에 있어서, 상기 시선추적 데이터를 시각화하는 단계는, 상기 제어부가 상기 시선추적 데이터의 Y 좌표 값을 시각화를 위한 Y 좌표 값으로 변환하여 매칭시키는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
5. 제 1항에 있어서, 상기 시선추적 데이터를 시각화하는 단계는, 상기 제어부가 상기 시선추적 데이터의 X 좌표 값과 Y 좌표 값을 스캐터 그래프로 시각화하는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
6. 제 1항에 있어서, 상기 시선추적 데이터를 시각화하는 단계는, 상기 제어부가 상기 시선추적 데이터의 X 좌표 값과 Y 좌표 값의 최대 값을 각각 표시부의 화면크기로 제한하여 시각화하는 것을 특징으로 하는 시선추적 데이터 처리 방법.
   
7. 제 1항에 있어서, 상기 시선추적 데이터의 시각화한 결과를 출력하는 단계는, 상기 제어부가 상기 시선추적 데이터의 시각화 결과의 투명도를 낮추어 상기 화면 이미지와 중첩하여 출력하는 것을 특징으로 하는 시선추적 데이터 처리 방법.

Images