KR100520050B1 - 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법 - Google Patents

Abstract

본 발명은 컴퓨터를 사용하는 사용자의 눈의 응시방향을 찾아내어 그 응시방향에 따라 컴퓨터 모니터 상에 마우스 포인터를 나타내고 움직임으로써 컴퓨터의 입력장치로 활용하는 시스템에 관한 것이다.

사용자의 머리의 움직임이 허용된 상황에서 시선방향을 검출하여 컴퓨터 모니터상의 어느 위치를 응시하고 있는 지를 검출할 수 있도록, 본 발명은, 사용자가 머리의 움직임을 검출하는 자기센서의 수신부와 눈의 움직임을 검출하는 카메라와 거울을 머리에 장착하고 이 장치로부터 모니터 스크린 상의 응시점을 추출하는 것에 그 특징이 있다.

본 발명의 시스템은 컴퓨터를 조작하는 새로운 형태의 인터페이스를 제공하는 효과가 있다.

Description

응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및 방법 {Head mounted computer interfacing device and method using eye-gaze direction}

본 발명은 머리에 장착하는 장치로서 눈 응시방향을 이용하여 컴퓨터를 조작하는 방법과 상기 방법을 실현시키기 위한 장치에 관한 것이다.

더욱 상세하게는 컴퓨터 사용자의 머리 움직임을 검출하기 위한 자기센서와 눈의 움직임을 검출하기 위한 CCD카메라와 거울을 사용자의 머리에 장착하고 머리의 움직임 데이터와 눈의 움직임 데이터를 바탕으로 여러가지 교정과정을 통해 눈의 응시방향을 계산하고 사용자의 응시방향과 컴퓨터 모니터와의 교점을 계산하여 눈의 응시방향을 컴퓨터 인터페이스로 활용할 수 있는 방법과 그 방법을 실현시키기 위한 장치에 관한 것이다.

눈 응시방향 추적장치에는 크게 착용형과 비착용형이 있는데, 비착용형은 사용자의 눈동자가 관측하는 센서의 관측 범위 안에 존재해야 한다는 단점이 있다.

또한, 기존의 착용형 눈 응시방향 추적방법들은 일반적으로 정확한 3차원 응시방향 벡터를 계산하지 않고 다른 변환관계를 추출하여 이를 통해 응시 방향의 대략적인 위치를 추정하여 왔다.

그러므로, 기존의 착용형 눈 응시방향 추적방법은 변환관계를 추출하여 이를 통해 계산되거나 통계적인 데이터 값을 기반으로 계산되어지기 때문에 응시방향의 오차가 크고 상대적으로 부정확한 응시방향을 계산해 내는 문제점이 있었다.

본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 매순간마다 컴퓨터 사용자의 머리와 눈의 움직임의 데이터를 추출하고 추출된 데이터를 미리 정해진 3차원 월드 좌표에서 표현하기 위한 여러가지 교정 방법들을 적용하여 좀 더 정확한 3차원 상의 응시방향 벡터를 계산할 수 있는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및 방법을 제공하는데 있다.

상술한 목적을 달성하기 위하여 본 발명은, 컴퓨터 사용자의 머리의 움직임을 추출하는 머리 움직임 검출수단과 상기 사용자의 눈동자 움직임을 추출하는 눈동자 움직임 검출수단; 상기 머리 움직임 검출수단으로부터 사용자 머리의 움직임을 3차원 월드 좌표계를 기준으로 추출하고, 상기 눈동자 움직임 검출수단으로부터 사용자 눈동자의 회전량을 추출하여, 그 추출된 데이터를 융합해서 사용자 눈의 응시방향을 결정하는 응시방향 추출수단; 및, 상기 응시방향 추출수단으로부터 3차원 월드 좌표계를 기준으로 사용자의 응시 방향벡터를 추출하고, 3차원 월드 좌표계를 기준으로 하여 계산된 모니터 평면과의 3차원 교점을 구하는 교점 추출수단을 포함하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치를 제공하고자 한다.

상술한 목적을 달성하기 위하여 본 발명은, 컴퓨터 사용자의 머리 움직임을 검출하는 단계; 상기 머리 움직임과는 독립적으로 사용자 눈동자의 움직임을 검출하는 단계; 상기 머리 움직임 검출과 눈동자 움직임 검출의 데이터 융합에 의해 사용자의 눈 응시방향을 3차원 월드 좌표계를 기준으로 검출하는 단계; 및, 상기 사용자의 눈 응시방향과 모니터 평면과의 교점을 3차원 월드 좌표계를 기준으로 모니터에 디스플레이하는 단계를 포함하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 방법을 제공하고자 한다.

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.

도 1a와 도 1b는 본 발명에 따른 눈 응시방향 기반의 컴퓨터 인터페이스 장치의 사용 예시도이다.

도시된 바와 같이, 컴퓨터 사용자가 모니터(17)의 원하는 곳을 바라보는 경우에 사용자 머리(14)의 고정 장치(11,11A)를 통해 장착된 자기센서 수신부(13)와 CCD 카메라(12,12A)의 센싱 데이터를 가지고, 즉, 자기센서 수신부(13)는 사용자 머리(14)의 위치와 회전량을 측정하고 CCD 카메라(12,12A)는 그 앞부분에 장착된 거울(15)에 반사되는 사용자 눈의 영상으로부터 눈의 움직임을 측정하여 사용자의 응시방향(16)을 계산해 내고 최종적으로 모니터(17) 평면위의 응시점(18)을 계산한다.

도 1a에서는 사용자의 이마와 뒷머리를 잇는 머리띠 형식의 고정 장치(11)를 보여주고 도 1b에서는 모자 형식의 고정 장치(11A) 보여준다.

이러한 고정 장치(11,11A)의 구조 차이에 의해 그에 적합한 CCD 카메라(12,12A)의 형태도 변화되게 된다.

상기한 구조 차이에 관계 없이 착용형이고 자기센서와 CCD 카메라의 조합인 장치이면 본 발명의 적용이 가능하므로 이하에서는 도 1a의 형태를 기준으로 설명하기로 한다.

도 2는 본 발명에 따른 눈 응시방향 기반의 컴퓨터 인터페이스 장치의 구성도이다.

도시된 바와 같이 인터페이스 장치는 사용자의 머리(14)에 장착하여 고정시키는 고정 장치(11)와, 머리의 움직임을 검출하는 자기센서 수신부(13)와, 눈(21)의 움직임을 검출하는 CCD 카메라(12)와, 거울(15)로 구성된다.

상기 자기센서는 자기장을 발산하는 발신부와 그 자기장을 수신하는 수신부(13)로 구성되고, 이 둘 사이의 상대적인 3차원 위치와 회전량을 자기센서 처리부(22)에서 계산하여 컴퓨터(24)로 전송한다.

사용자의 머리(14)에 장착되는 자기센서는 자기장을 수신하는 수신부(13)이고, 자기장을 발산하는 발신부는 3차원의 월드 좌표계로 선정하여 그 좌표계를 기준으로 사용자의 머리(14) 위치와 회전량 뿐만 아니라 모니터(17) 평면의 위치까지 계산하게 된다.

눈(21)의 움직임을 검출하는 CCD 카메라(12)는 거울(15)을 통해 컴퓨터 사용자의 눈(21)의 영상을 획득하여 이 영상 데이터를 영상 처리부(23)에 전송하고 영상 처리부(23)에서 본 발명에 따른 방법을 통해 눈(21)의 움직임을 나타내는 벡터를 계산하여 컴퓨터(24)로 전송한다.

이렇게 얻어진 머리(14)의 움직임 데이터와 눈(21)의 움직임 데이터를 통해 눈(21)의 응시방향 벡터(16)를 3차원 월드 좌표계를 기준으로 계산하게 되고 계산된 눈(21)의 응시방향 벡터(16)와 모니터(17) 평면과의 교점(18)을 계산함으로써 모니터(17) 평면상의 응시점(18)을 계산한다.

도 3은 눈 응시방향을 검출하고 모니터 평면과의 교점을 구하는 방법에 대한 순서도이다.

도 3은 본 발명 방법에 대한 순서도를 개략적으로 나타낸 것으로 본 발명의 방법은 크게 두 가지 과정으로 나뉘어 지는데, 첫째는 실시간으로 구동하기 전에 수행해야 될 교정과정(S10)이고, 두번째는 이러한 교정결과를 바탕으로 데이터를 실시간으로 계속해서 처리하는 처리과정(S20)이다.

상기 교정과정(S10)은 눈의 회전 중심점을 계산하는 단계(S11)와, 모니터 평면의 위치를 계산하는 단계(S12)와, 눈의 회전량과 눈 영상 위치간의 매칭관계를 획득하는 단계(S13)로 이루어진다.

상기 처리과정(S20)은, 매번 얻어지는 눈의 영상(S21-23)과 머리의 위치(S24)에 대한 자기센서 데이터를 바탕으로, 눈의 응시방향(16)을 계산하고(S25), 눈의 응시방향(16)과 모니터(17) 평면과의 교점(18)을 최종적으로 계산한다(S26).

도 4는 눈의 회전 중심점을 검출하는 교정방법을 설명하기 위한 예시도로서,상기 S11단계에서 자기센서 수신부를 기준으로 눈의 회전 중심점(41)의 3차원 좌표를 찾아내는 교정방법에 대한 도면이다.

컴퓨터 사용자가 눈(21A)을 움직이면서 3차원 위치를 알고 있는 교정기구부, 즉, 2개의 평행한 앞, 뒤 평면으로 구성되어 있는 기구부의 앞 평면상의 4개의 점(42,43,44,45)이 뒤 평면상의 4개의 점(46,47,48,49)과 각각 일치하도록 눈(21A)의 위치를 조정하면 우측 상단의 앞, 뒤 2개의 점(42,46)으로부터 3차원 방향 벡터가 생성되고, 같은 방법으로 좌측 상단 2개의 점(43,47), 우측 하단 2개의 점(44,48), 좌측 하단 2개의 점(45,49)들로부터 3차원 방향벡터가 모두 생성된다.

이렇게 생성된 4개의 벡터의 교점을 구함으로써 3차원 월드 좌표계를 기준으로 컴퓨터 사용자 눈의 회전 중심점(41)을 계산할 수 있고 이것을 기반으로 자기센서 수신부를 기준으로 눈의 회전 중심점(41)이 계산된다.

도 5는 모니터 평면의 3차원 위치를 검출하는 교정방법을 설명하기 위한 예시도로서, 상기 S12단계에서 모니터(17) 평면의 위치를 3차원 월드 좌표계를 기준으로 찾아내는 교정 방법에 대한 도면이다.

3차원 월드 좌표계는 자기센서 발신부(56) 좌표계(57)와 일치하므로 그 좌표계(57)를 기준으로 모니터(17) 평면의 3차원 위치를 알아야 한다.

이를 알아내기 위해 자기센서가 수신부(13)와 발신부(56)의 상대적인 위치를 제공한다는 점을 이용하여 모니터(17) 평면에서 일정한 간격(51)만큼 평면의 법선 방향으로 떨어진 3개 점(52,53,54)에 자기센서 수신부(13) 좌표계(55)를 위치시킨다.

이로부터 자기센서 발신부(56) 좌표계(57)로부터 3개 점(52,53,54)의 방향에 해당하는 3개 벡터를 계산하고, 상기 3개 벡터로부터 모니터(17) 평면의 3차원 위치를 자기센서 발신부(56) 좌표계(57)를 기준으로 계산한다.

도 6은 눈의 회전량과 획득한 눈 영상의 동공의 위치 변화간의 변환 관계를 획득하는 교정방법을 설명하기 위한 예시도이다.

S13단계에서, 사용자의 눈(21A) 회전 중심점(41)의 3차원 위치를 도 4에서 보여준 교정방법에 의해 알고 있으므로 그 회전 중심점(41)을 중심으로 적당한 회전량만큼 변화된 방향벡터와 모니터(17)와의 교점들(62)을 모니터(17)에 표시하여 사용자로 하여금 그 교점들(62)을 순서대로 응시하게 하고 카메라에서 얻어지는 눈(21A)의 영상(63)에서 동공의 중심 좌표들(64)을 저장한다.

도 6은 그 과정 중에서도 한 예를 보여주는 것으로 9개의 교점 중에서 가장 가운데 교점을 바라보고 있는 상태를 나타낸다.

이때 눈 응시방향 벡터(16)는 눈의 회전 중심점(41)과 3차원 상의 동공의 중심(61)을 잇는 벡터가 되고 그 벡터의 연장선은 모니터(17) 평면의 교점 중 하나와 만나게 된다.

이때 카메라에서 얻어진 눈의 영상(63)에서 그 순간의 눈의 동공 중심점을 저장할 수 있고 같은 방법으로 9개의 교점들(62)을 응시하는 방향벡터에 대해 9개의 눈의 동공 중심점(65)들을 저장한다.

도 7은 CCD카메라로 얻은 눈의 영상으로부터 눈의 회전벡터 계산방법을 설명하기 위한 예시도이다.

상기 도 6(S13단계)에서 보여주는 눈의 회전량과 획득한 눈 영상의 동공의 위치 변화간의 변환 관계를 계산하는 교정방법을 통해 모니터(17)에 표시된 9개의 교점들(62)을 응시한 동공(71)의 중심점 위치들(64A)을 저장하고 있다.

S23단계에서 이 데이터 중 가운데 점(76)을 기준으로 4개의 방향 단위 벡터(72,73,74,75)를 계산하고, 이를 바탕으로 실시간으로 CCD 카메라(12)로부터 얻어진 눈의 영상(63)에서 동공(71)의 중심점(65A)을 얻으면 그 중심점(65A)을 포함하는 사각형을 추출하여 그 사각형을 이루는 네 꼭지점과의 상대적 위치관계로부터 선형적으로 가로, 세로 내분하는 비율을 각각 구하고 네 꼭지점에 매칭되어 있는 눈의 회전량 값을 같은 비율로 가로, 세로로 내분하여 눈동자 회전량을 구한다.

도 8은 자기센서 데이터를 이용하여 머리의 3차원 위치와 회전량 계산방법을 설명하기 위한 예시도이다.

자기센서는 자기장을 발산하는 발신부(56)와 그 자기장을 감지하는 수신부(13)의 두 부분으로 나누어진다.

상기 두 부분의 상대적인 좌표 변환 관계(81)인 3차원 위치 정보와 3차원 회전 정보를 계산한다.

자기센서 발신부(56)의 좌표계(57)는 월드 좌표계로 설정하여 본 발명에 따른 방법을 수행하는데 있어서 기준 좌표계가 되고, 자기센서 수신부(13)의 좌표계(55)는 사용자 머리(14)에 고정되어 있어서 머리(14)의 이동이나 회전의 영향이 그대로 자기센서의 수신부(13)에 미치게 되어 자기센서 수신부(13)의 3차원 위치, 회전 정보를 아는 것으로 사용자 머리(14)의 3차원 위치, 회전 정보를 계산해 낸다(S24).

도 9는 눈의 응시방향과 모니터 평면위의 응시점 계산방법을 설명하기 위한 예시도이다.

상술한 바와 같은 교정방법을 통해, S11단계에서 눈의 회전 중심점(41)의 자기센서 수신부 좌표계(55)를 기준으로 한 상대적인 위치관계(92), S12단계에서 3차원 월드 좌표계(57)를 기준으로 한 모니터 평면(17A)의 상대적인 위치관계(93), S13단게에서 눈 영상에서 동공 중심점의 위치변화와 눈의 회전량(94,95)과의 변환 관계를 계산하고, 이를 바탕으로 S24단계에서 자기센서 수신부(13) 좌표계(55)와 3차원 월드 좌표계(57)와의 상대적인 좌표 변환 관계(81)로부터 눈동자의 좌표계(91)의 변환 관계를 계산한다.

눈의 응시 방향(18A)에 따라 변화하는 눈동자의 움직임은, S21단계에서 CCD 카메라(12)에 의해 영상으로 획득되어 지고, S23단계에서 그 영상(63)에서 눈 동공의 중심점(65A) 변화로부터 눈동자의 회전량(94,95)을 얻어내어, 3차원 월드 좌표계(57)에서 응시 방향 벡터(16)를 계산한다(S25).

따라서 그 응시 방향 벡터(16)와 모니터 평면(17A)과의 교점(18A) 역시 계산하여 구할 수 있고 모니터에 디스플레이할 수 있다(S26).

상기한 실시예들은 단지 예시의 목적으로 본 명세서에 기술한 것으로, 이를 바탕으로 한 변경이나 변화들이 가능하다는 것은 당업자에게는 명백하다.

예를 들어, 도 1a와 도 1b의 예시도에서 보여주는 차이와 같이 장치의 구조적인 변경은 이 이외의 여러 가지 구조적인 변경에도 적용이 가능하고, 눈의 회전 중심점을 찾기 위한 교정방법에서 적용되는 4개의 점들의 중첩은 더 많은 수로 증대되어 실시될 수 있으며 눈의 영상에서 동공 중심점의 위치 변화와 눈의 회전량과의 매칭관계를 알기 위한 교정방법에서도 9개의 점 대신 더 많은 수로 증대되어 실시될 수 있다.

따라서, 특허 청구범위 내에는 본 발명의 기술적 사상을 벗어나지 않는 모든 변경들 및 변화들이 포함된다.

이상에서 살펴본 바와 같이 본 발명에 의하면, 3차원 월드 좌표계로부터 상대적인 3차원 위치, 방향을 명확하게 계산할 수 있으므로 컴퓨터 모니터 평면만이 아닌 3차원 위치를 알고 있는 임의의 물체와도 교점을 계산할 수 있고, 비착용형 눈 응시 추적 시스템과는 다르게 전 방향의 작업 범위를 가지고 있다.

따라서 그 활용은 컴퓨터 인터페이스로의 활용이 가장 크고, 부수적으로 응시를 이용한 물체를 포인팅하는 시스템이나 모니터링 시스템에도 그 응용이 가능하다.

도 1a와 도 1b는 본 발명에 따른 눈 응시방향 기반의 컴퓨터 인터페이스 장치의 사용 예시도이다.

도 2는 본 발명에 따른 눈 응시방향 기반의 컴퓨터 인터페이스 장치의 구성도이다.

도 3은 눈 응시방향을 검출하고 모니터 평면과의 교점을 구하는 방법에 대한 순서도이다.

도 4는 눈의 회전 중심점을 검출하는 교정방법을 설명하기 위한 예시도이다.

도 5는 모니터 평면의 3차원 위치를 검출하는 교정방법을 설명하기 위한 예시도이다.

도 6은 눈의 회전량과 획득한 눈 영상의 동공의 위치 변화간의 변환 관계를 획득하는 교정방법을 설명하기 위한 예시도이다.

도 7은 CCD카메라로 얻은 눈의 영상으로부터 눈의 회전벡터 계산방법을 설명하기 위한 예시도이다.

도 8은 자기센서 데이터를 이용하여 머리의 3차원 위치와 회전량 계산방법을 설명하기 위한 예시도이다.

도 9는 눈의 응시방향과 모니터 평면위의 응시점 계산방법을 설명하기 위한 예시도이다.

Claims (11)

1. 컴퓨터 사용자의 머리의 움직임을 추출하는 머리 움직임 검출수단과 상기 사용자의 눈동자 움직임을 추출하는 눈동자 움직임 검출수단;

   상기 머리 움직임 검출수단으로부터 사용자 머리의 움직임을 3차원 월드 좌표계를 기준으로 추출하고, 상기 눈동자 움직임 검출수단으로부터 사용자 눈동자의 회전량을 추출하여, 그 추출된 데이터를 융합해서 사용자 눈의 응시방향을 결정하는 응시방향 추출수단;

   상기 응시방향 추출수단으로부터 3차원 월드 좌표계를 기준으로 사용자의 응시 방향벡터를 추출하고, 3차원 월드 좌표계를 기준으로 하여 계산된 모니터 평면과의 3차원 교점을 구하는 교점 추출수단;

   상기 3차원 월드 좌표계를 기준으로 모니터 평면의 위치를 찾아내는 교정수단; 및

   상기 눈동자 움직임 검출수단으로부터 얻어지는 눈 동공 중심의 움직임과 눈동자 회전 중심점을 기준으로 하는 눈의 회전량과의 매칭 관계를 찾아내는 교정수단;

   을 포함하되, 상기 머리 움직임 검출수단, 눈동자 움직임 검출수단 또는 응시방향 추출수단 중에서 어느 하나는 고정수단에 의해 사용자의 머리에 착용되어 고정됨을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치.
2. 삭제
3. 청구항 1에 있어서, 상기 고정수단은 사용자의 이마와 뒷머리를 잇는 머리띠 형식과 머리에 쓰는 모자 형식 중 하나인 것을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치.
4. 청구항 1에 있어서, 상기 머리 움직임 검출수단은 자기장을 수신하는 자기센서 수신부이고, 눈동자 움직임 검출수단은 CCD 카메라인 것을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치.
5. 청구항 4에 있어서, 상기 자기센서 수신부를 기준으로 사용자의 눈 회전 중심점 위치를 찾아내는 교정수단이 더 구비됨을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치.
6. 삭제
7. 삭제
8. 컴퓨터 사용자의 머리 움직임을 검출하는 단계;

   상기 머리 움직임과는 독립적으로 사용자 눈동자의 움직임을 검출하는 단계;

   상기 머리 움직임 검출과 눈동자 움직임 검출의 데이터 융합에 의해 사용자의 눈 응시방향을 3차원 월드 좌표계를 기준으로 검출하는 단계; 및

   상기 사용자의 눈 응시방향과 모니터 평면과의 교점을 3차원 월드 좌표계를 기준으로 모니터에 디스플레이하는 단계;

   를 포함하되, 상기 머리 움직임 검출이나 눈동자 움직임 검출 이전에,

   눈의 회전 중심점을 계산하는 제1교정단계와,

   모니터 평면의 위치를 계산하는 제2교정단계와,

   눈의 회전량과 눈 영상의 위치간의 매칭관계를 획득하는 제3교정단계

   를 수행하는 것을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 방법.
9. 삭제
10. 청구항 8에 있어서, 상기 사용자의 눈 응시방향을 계산하는 단계에서 요구되는 눈동자 회전 중심점을 3차원 월드 좌표계를 기준으로 추출함을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 방법.
11. 청구항 8에 있어서,

    상기 사용자의 눈 응시방향을 계산하는 단계에서 눈 동공 중심의 움직임과 눈동자 회전 중심점을 기준으로 하는 눈의 회전량과의 매칭 관계를 찾아냄을 특징으로 하는 응시방향 기반의 머리착용형 컴퓨터 인터페이스 방법.