KR100788057B1

KR100788057B1 - 바이오 마우스

Info

Publication number: KR100788057B1
Application number: KR1020060008967A
Authority: KR
Inventors: 나종화
Original assignee: 나종화; 김혁; 이동우; 최원석
Priority date: 2006-01-27
Filing date: 2006-01-27
Publication date: 2007-12-21
Also published as: KR20070078574A

Abstract

본 발명은 바이오 마우스 시스템 및 그 제어방법에 관한 것으로서, 더욱 상세하게는 현대 사회를 살아가는 모든 사람은 컴퓨터를 가까이 접할 기회가 매우 많으나, 신체 장애인들은 상기 컴퓨터를 사용함에 있어서, 입력도구 부제로 원활한 컴퓨터 사용을 하지 못하고 있는 바, 신체 장애인들에게 컴퓨터 활용을 쉽게 하기 위하여 코, 입과 같은 신체 일부를 사용하여 마우스 조작하는 바이오 마우스 시스템 및 그 제어방법에 관한 것으로 템플레이트 검색 대상 이미지 입력부와, 코끝 명암 저장부와, 템플레이트 코 이미지 저장부와, 코 마우스 템플레이트 정합부와, 코 마우스 이중 템플레이트 정합부와, 눈 후보영역부와, 히스토그램부 및 클릭부로 이루어짐으로써, 본 발명은 컴퓨터를 사용할 수 있는 능력이 있고 사용하고 싶어하는 장애인들이 취급하기 쉬운 마우스를 제공하여 컴퓨터 활용도를 높이는 효과가 있다.

마우스, 장애인, 컴퓨터, 템플레이트, 바이오, 이미지

Description

바이오 마우스 {bio-mouse}

도 1은 본 발명에 따른 코를 이용한 바이오 마우스 구성도,

도 2는 본 발명에 따른 템플레이트 검색 예시도,

도 3은 본 발명에 따른 혀를 이용한 바이오 마우스 구성도,

도 4는 본 발명에 따른 입술 후보영역 예시도,

도 5는 본 발명에 따른 도면 마우스 구성도,

도 6은 본 발명에 따른 도면 마우스 예시도이다.

* 주요 도면부호에 대한 설명 *

10 : 템플레이트 검색 대상 얼굴 이미지 입력부

20 : 템플레이트 코 이미지 저장부

30 : 코 마우스 템플레이트 정합부

40 : 코 마우스 이중 템플레이트 정합부

50 : 끝 명암 저장부 60 : 눈 후보영역부

70 : 히스토그램부 80, 170 : 클릭부

90 : 템플레이트 혀 이미지 저장부

100 : 혀 마우스 템플레이트 정합부

110 : 혀 120 : 입술 후보영역

130 : 도면영역 추출부 140 : 포인터 검색부

150 : 좌표 매핑부 160 : 포인터 상하운동 감지부

180 : 웹 카메라 190 : 모니터

200 : 도면

본 발명은 바이오 마우스 시스템 및 그 제어방법에 관한 것으로서, 더욱 상세하게는 현대 사회를 살아가는 모든 사람은 컴퓨터를 가까이 접할 기회가 매우 많으나, 신체 장애인들은 상기 컴퓨터를 사용함에 있어서, 입력도구 부제로 원활한 컴퓨터 사용을 하지 못하고 있는 바, 신체 장애인들에게 컴퓨터 활용을 쉽게 하기 위하여 코, 입과 같은 신체 일부를 사용하여 마우스 조작하는 바이오 마우스 시스템 및 그 제어방법에 관한 것이다.

종래의 마우스는 무선마우스, 유선마우스 및 광마우스 등 다양한 종류의 마우스가 있었으며 이와 같은 마우스는 유,무선으로 컴퓨터 본체와 연결되어 마우스에서 입력하는 명령을 본체에서 수행하고 있었다. 이에 따른 마우스는 정상인들을 중심으로 제작된 것이 대부분이였다.

상기 종래의 마우스는 컴퓨터를 사용할 수 있는 능력이 있고 사용하고 싶어하는 장애인들이 취급하기에 너무나 힘든 불편한 문제점이 있었다.

따라서, 본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로 본 발명의 목적은 장애인들의 컴퓨터 활용도를 높이기 위한 바이오 마우스 시스템 및 그 제어방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 제 1실시예에 따른 바이오 마우스는 웹 카메라로부터 연속적으로 전송받은 사람의 얼굴 이미지가 입력되는 템플레이트 검색 대상 이미지 입력부와, 사람의 움직임에 의하여 상기 얼굴 이미지 중에서 코 끝에 발생하는 명암을 저장하는 코끝 명암 저장부와, 상기 사람의 얼굴 이미지와 정합되어 마우스 포인트가 되는 코 이미지가 저장된 템플레이트 코 이미지 저장부와, 상기 코 이미지와, 얼굴 이미지를 정합하여 마우스 기능을 수행하는 코 마우스 템플레이트 정합부와, 상기 코 이미지, 얼굴 이미지 코 끝 명암이 저장된 이미지를 정합하여 마우스 기능을 수행하는 코 마우스 이중 템플레이트 정합부와, 눈의 깜박임으로 클릭을 감지하기 위한 눈 후보영역부와, 상기 눈 후보영역에서 눈 깜박임으로 발생하는 명도차로 클릭명령어를 발생하는 히스토그램부 및 상기 클릭명령어를 수행하는 클릭부로 이루어진 것을 특징으로 한다.

본 발명의 제 1 실시예에 따른 특징에 의하면 상기 템플레이트 정합부는 농담정규화 매칭법으로 정합한 것을 특징으로 한다.

본 발명의 제 1 실시예에 따른 특징에 의하면 상기 코 이미지는 가로. 세로 3배 확장한 이미지로 얼굴 이미지와 정합하는 것을 특징으로 한다.

본 발명의 제 1 실시예에 따른 특징에 의하면 상기 히스토그램부는 눈 깜박거림으로 발생하는 명도차를 이용하여 클릭명령을 제공하는 것을 특징으로 한다.

본 발명의 제 1 실시예에 따른 특징에 의하면 상기 클릭명령은 눈 깜박거림의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행되는 것을 특징으로 한다.

본 발명의 제 2 실시예에 따른 바이오 마우스는 웹 카메라로부터 연속적으로 전송받은 사람의 얼굴 이미지가 입력되는 템플레이트 검색 대상 이미지 입력부와, 상기 사람의 얼굴 이미지와 정합되어 마우스 포인트가 되는 혀 이미지가 저장된 템플레이트 혀 이미지 저장부와, 상기 혀 이미지와, 얼굴 이미지를 정합하여 마우스 기능을 수행하는 혀 마우스 템플레이트 정합부와, 눈의 깜박임으로 클릭을 감지하기 위한 눈 후보영역부와, 상기 눈 후보영역에서 눈 깜박임으로 발생하는 명도차로 클릭명령어를 발생하는 히스토그램부 및 상기 클릭명령어를 수행하는 클릭부로 이루어진 것을 특징으로 한다.

본 발명의 제 2 실시예에 따른 특징에 의하면 상기 템플레이트 정합부는 농담정규화 매칭법으로 정합한 것을 특징으로 한다.

본 발명의 제 2 실시예에 따른 특징에 의하면 상기 혀 이미지와, 얼굴 이미지를 정합은 혀와 입술의 붉은색 명도차로 정합하는 것을 특징으로 한다.

본 발명의 제 2 실시예에 따른 특징에 의하면 상기 히스토그램부는 눈 깜박 거림으로 발생하는 명도차를 이용하여 클릭명령을 제공하는 것을 특징으로 한다.

본 발명의 제 2 실시예에 따른 특징에 의하면 상기 클릭명령은 눈 깜박거림의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행되는 것을 특징으로 한다.

본 발명의 제 3 실시예에 따른 바이오 마우스는 도면이 사다리꼴로 보이는 4개의 점 중에서 좌우 각 두 쌍의 점을 이용하여 직선방정식에 의한 y축의 변화에 따라 x축의 변화값을 모니터상에 실제 영역이 표시하는 도면영역 추출부와, 상기 도면 위에 마우스 포인터 역할을 하는 스틱을 명암으로 구분하는 포인터 검색부와, 상기 도면영역 추출부와, 포인터 검색부에 의해서 마우스 포인터의 움직임을 사다리꼴 모양의 도면 윗변과 아랫변의 비율에 따라 모니터상의 사각형과 대칭시켜 이동거리를 모니터 화면 좌표와 매핑하는 좌표 매핑부와, 스틱의 포인터가 y축의 이동을 측정하여 y축이 감소하는 것을 인식하고 y축이 감소한 뒤 다시 증가함을 인식하여 다시 시작점으로 돌아오는 상하운동을 감지하여 클릭명령을 생성하는 포인터 상하운동 감지부와, 상기 클릭명령을 수행하는 클릭부로 이루어진 것을 특징으로 한다.

본 발명의 제 3 실시예에 따른 특징에 의하면 상기 클릭명령은 상하운동의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행되는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 코를 이용한 바이오 마우스 구성도로서, 상기 시스템은 템플레이트 검색 대상 얼굴 이미지 입력부(10)와, 템플레이트 코 이미지 저장부(20)와, 코 마우스 템플레이트 정합부(30)와, 코 마우스 이중 템플레이트 정합부(40) 및 코끝 명암 저장부(50)와, 눈 후보영역부(60)와, 히스토그램부(70)와, 클릭부(80)로 이루어지고 기술적으로는 코는 항상 얼굴의 중심부에 위치하고, 코 끝에는 급격히 변하는 명암이 나타나고, 회전이나 얼굴 움직임에도 명암의 변화가 없다는 이론과, 눈의 깜박임을 이용하여 클릭하는 이론을 바탕으로 코 마우스를 제작한 것이다.

더욱 상세하게 상기 템플레이트 검색 대상 얼굴 이미지 입력부(10)는 웹 카메라로부터 전송받은 사람의 얼굴 이미지(12)가 연속적으로 입력되는 것으로서, 즉 코 마우스는 사용자의 얼굴이 움직임에 따라 마우스 포인트가 움직이기 위해서는 우선적으로 도 2에 도시된 바와 같이 상기 사람의 얼굴 이미지(12)가 지속적으로 입력되어 하기 설명될 템플레이트 코 이미지 저장부(20)에 저장된 코 이미지와 정합이 이루어져야 함에 따라 웹 카메라로부터 사람의 얼굴 이미지가 입력된다.

상기 템플레이트 코 이미지 저장부(20)는 코 마우스를 사용하는 사용자의 코 이미지(11)를 화면 중앙에서 위치함에 있어서, 가장 바람직하게 가로 16, 세로 16 사이즈로 저장되고 상기 저장된 코 이미지(11)는 도 2에 도시된 바와 같이 상기 템플레이트 검색 대상 이미지 저장부(10)에 저장된 얼굴 이미지(12)의 좌상귀부터 한 픽셀씩 이동하여 순차적으로 검색하고 동일 이미지가 검색되면 이는 마우스 포인트가 되어 상기 템플레이트 검색 대상 얼굴 이미지 입력부(10)에 입력되는 사람의 코 이미지의 이동에 따라 마우스 포인트가 이동한다.

또한, 코 이미지(11)는 검색 대상이 되는 얼굴 이미지(12)와 비교하면 연산량이 너무 많아 속도가 현저하게 떨어짐으로 저장된 이미지의 가로 3배, 세로 3배 확장된 영역 내에서 비교하고 매 프레임마다 들어오는 얼굴 이미지에서 템플레이트 정합이 이루어지는데 들어오는 프레임 속도가 얼굴의 움직임 속도보다 빠르기 때문에 아무리 빨리 움직여도 확장 영역 안에 들어오는 것을 검색할 수 있다.

상기 코 마우스 템플레이트 정합부(30)는 템플레이트 검색 대상 얼굴 이미지 입력부(10)로부터 입력된 얼굴이미지와 템플레이트 코 이미지 저장부(20)의 코 이미지를 정합하여 마우스 기능을 수행하는 것이다. 즉 일종의 모델(model) 영상으로 검사할 영상이 주어졌을 때 미리 주어진 템플레이트 영상을 이용하여 검사할 연상 내부에 있는 유사한 영상패턴을 찾는 것이다. 이와 같이 템플레이트 정합을 하기 위해서는 도 2에 도시된 바와 같이 검색 대상이 되는 얼굴 이미지(12)와, 코 이미지(11)를 비교하여 검사할 영상의 모든 영역에서 비교 기준치를 선정한다.

한편, 상기 비교 기준치는 검사할 영상은 여러 가지 환경요인으로 영상 노이즈가 나타나게 되는데 이러한 노이즈에 영향을 받지 않도록 하고, 또한 기준치를 계산할 때 과도한 연산량이 요구되면 고속 영상처리가 어려움으로 연산량이 과도해지지 않도록 속도면을 고려해야 한다.

이에 따른 비교 기준치는 본 발명에서 농담정규화 정합법을 이용하였고 상기 농담정규화 정합법은 하기 [식 1]과 같이 주어지고 이는 코 이미지(11)와 얼굴 이미지(12)에서 취한 비교되는 부분의 영상이 각각 밝기의 평균에 대해 보상되어 이 부분을 뺀 나머지 부분만을 가지고 한다.

[식 1]

a(i, j) = g

[식 2]

g : 비교영역 부분

t : 템플레이트 영상

i, j : 수직 및 수평방향인덱스 픽셀좌표

a(i, j) : 입력영상에서 취한 비교부에서 평균 m을 뺀 밝기의 값

b(i, j) : 템플레이트 영상에서 평균밝기 t를 뺀 밝기의 값

M×N : 템플레이트 크기

즉 평균밝기를 빼서 정규화 시킨 두 영상을 [식 1]의 두 벡터 비교식을 이용하여 유사도를 검사하는 수식이 [식 2]이고 상기 식에 의해서 검색 대상이 되는 얼 굴 이미지(12)가 반복해서 계산이 필요한 부분은

의 세부분 뿐이므로 이 부분을 제외한 나머지 부분들은 미리 계산해 놓는다면 농담정규화 정합의 계산량을 크게 줄인다.

상기 코 마우스 이중 템플레이트 정합부(40) 및 코끝 명암 저장부(50)는 템플레이트 정합부(30)가 이미지내에서 같은 이미지를 잘 찾아내지만 저장된 코 이미지는 두 콧구멍과 코의 전체이미지를 가지고 있으므로 얼굴 회전시 이미지를 찾지 못하는 단점을 가지고 있음으로 코의 특징 중에서 코 끝의 명암이 급격히 변하고 그 명도값은 회전시에도 변화가 없다는 점을 이용하여 가장 바람직하게 가로 16 세로 16 이미지 내에서 가로 10 세로 10 사이즈의 코끝 명암만 포함하는 이미지를 코끝 명암 저장부(50)에 저장한다. 상기 코끝 이미지는 정면에서 명암이 급격하게 변하는 턱 또는 광대뼈를 인식하므로 정면에서는 안정적이지 못하다는 단점이 있기 때문에 코 이미지와 코끝 명암 이미지를 사용하여 정합한다.

따라서, 먼저 코 이미지를 통해 템플레이트 정합을 진행하고 얼굴의 회전 및 급격한 움직임에 의해서 템플레이트 이미지 매칭률이 0.42 이하가 되면 코끝 이미지를 통해 확장영역 내에서 템플레이트 정합을 재시도하고, 다시 정면을 바라보게 되면 코끝 이미지 매칭률이 0.6 이하로 떨어지면 코 이미지로 코를 검색한다.

이상 설명한 코 마우스의 프로그램 처리과정은 다음과 같다.

for( m = noseRegion.top ; m < noseRegion.bottom-Height ; m++ )

{

for( n = noseRegion.left ; n < noseRegion.right-Width ; n++ )

{

SumI = SI= ScT= 0.0f;

for( y = 0 ; y < Height ; y++ )

{

index = y*Width;

for( x = 0 ; x < Width ; x++ )

{

temp = (float)GrayBuf[ 3*((m+y)*m_width+(n+x)) ];

tpi = (float)noseTmp[ 3*(index+x) ]; // 코 템플레이트 이미지

SumI += temp;

SI += temp * temp ;

ScT += tpi*temp;

}

a1 = NoT*SI-SumI*SumI;

a2 = NoT*ST-SumT*SumT;

DeNomi = (float)( a1*a2 );

Nomi = ( NoT*ScT - SumI*SumT);

if ( DeNomi < 0.0001 )

CurCorr = 0;

else

CurCorr = Nomi*Nomi/DeNomi;

if ( CurCorr > MaxCorr)

{

MaxCorr = CurCorr;

OptPos.y = m;

OptPos.x = n;

}

상기 눈 후보영역부(60)는 상기 코 이미지가 얼굴의 중심에 있다는 점을 기준으로 얼굴 요소들의 지정학적 위치관계를 이용하여 눈 후보영역을 추출한 것으로서, 상기 얼굴 요소들의 지정학적 위치관계는 보통 사람 얼굴 내의 눈과 코와 입술에 대한 일반적인 길이 비에 대한 위치관계이다. 이와 같이 길이 비에 의해서 눈 후보영역을 코의 중심점으로부터 바람직하게 위로 30 픽셀, 왼쪽으로 30 픽셀 만큼의 위치가 눈 후보영역이다.

상기 히스토그램부(70)는 웹 카메라로부터 입력되는 영상의 Red , Green 성 분을 각각의 화소수의 총 합을 구해 그 차이로써 눈의 깜빡임을 찾는다. 이는 사람이 눈을 깜빡일 때에 눈을 한 번 감았다가 뜨는 동작이 발생하는데 눈을 한번 감을 경우에는 눈꺼풀이 찍히게 되는데 눈꺼풀의 Red 성분과 Green 성분을 이용하여 눈을 뜬 경우와 , 감은 경우에 발생하는 Red 와 Green 성분의 농도차를 비교하여 Red 와 Green 성분이 증가하였다가 감소하면 깜빡임으로 측정할 수 있으나, 사람에게 무의식적으로 눈 깜박임이 발생할 수 있음으로 이런 움직임은 측정하지 않고 의식적인 깜박임만을 받아 들이기 위해 눈깜박임을 두 번할 경우에 클릭하는 명령을 제공한다. 상기 클릭은 마우스 사용함에 있어서, 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 있을 수 있는 바, 눈의 깜박거림의 횟수에 의해서 설정된다.

상기 클릭부(80)는 히스토그램부(70)의 클릭명령을 수행하고, 또한 상기 템플레이트 정합부(30)과, 이중 템플레이트 정합부(40)에 의해서 마우스 이동이 발생한 후에 클릭될 수 있음으로 상기 템플레이트 정합부(30)과, 이중 템플레이트 정합부(40)와 연동되어 작용한다.

도 3은 본 발명에 따른 혀를 이용한 바이오 마우스 구성도로서, 상기 구성은 템플레이트 검색 대상 얼굴 이미지 입력부(10)와, 템플레이트 혀 이미지 저장부(90)와, 혀 마우스 템플레이트 정합부(100)와, 눈 후보영역부(60)와, 히스토그램부(70)와, 클릭부(80)로 이루어지고 기술적으로 혀는 입술보다 더 붉은 색을 포함하고 있고, 혀는 피부보다 더 붉은 색을 더 많이 포함하고 있으며 피부는 RGB 중 G 값이 더 많이 포함되어 있다는 이론을 바탕으로 혀 마우스를 제작한 것이다.

더욱 상세하게 상기 템플레이트 검색 대상 얼굴 이미지 입력부(10), 눈 후보 영역부(60), 히스토리그램부(70), 클릭부(80)는 상기 도 1에서 기술한 바 있으며 단지 차이점이 있다면 코가 하는 역할을 혀가 대신한다.

상기 템플레이트 혀 이미지 저장부(90)는 혀(110)를 이용하여 마우스기능을 하기 위해서는 코는 얼굴의 중심에 있다는 점을 착안하여 도 4에 도시된 바와 같이 입술 후보영역(120)을 바람직하게 코끝 중앙점 양쪽에 각각 15 픽셀, 그 세로로 20 픽셀의 영역을 설정한다. 상기 입술 후보영역(120)에서 붉은색 값을 갖는 Cr값이 154 이상인 값들에 대한 세로측 누적히스토그램과 가로측 히스토그램을 이용하면 혀(110)가 나타내는 부분의 히스토그램의 Cr값이 크게 증가함으로 도 4에 도시된 A, B, C, D와 같이 상하좌우를 찾을 수 있고 상기 A, B, C, D의 Cr값을 저장한다.

상기 혀 마우스 템플레이트 정합부(100)는 템플레이트 검색 대상 얼굴 이미지 입력부(10)로부터 입력된 얼굴이미지와, 상기 템플레이트 혀 이미지 저장부(90)에 저장된 혀 이미지를 정합하여 마우스 기능을 수행하는 것이다. 상기 정합은 도 1에 기술한 바 있는 코 마우스 템플레이트 전합부(30)와 동일한 방식으로 정합한다.

따라서, 혀 마우스 기능이 수행되기 위해서 고려되어야 할 점이 있는 바, 이는 혀 검색 후보영역에서 Cr값으로 혀를 검색할 때 말을 하거나, 하품 등의 입술의 움직임으로 인해 입술이 혀 검색 후보영역의 상하좌우를 지나치게 될 경우에 혀로 인식하게 되는 문제점이 있다. 상기 문제점을 해결하고자 혀 마우스 템플레이트 정합부(100)는 도 4에 도시된 A, B, C, D의 이미지가 실시간 입력되는 템플레이트 검색 대상 혀 이미지와 매칭율이 0.5 이상인 이미지가 있으면 그 이미지가 맞는 것으 로 판단하고 해당되는 위치로 마우스를 움직인다.

이상 설명한 혀 마우스의 프로그램 처리과정은 다음과 같다.

for(i = Wmin; i < Wmax; i++)

{ // 가로측 누적히스토그램

for(j = Hmin; j < Hmax; j++)

{

if(YcbcrBuf[3*(j*m_width + i)+2] > 154)

WRed[i-Wmin] += YcbcrBuf[3*(j*m_width + i)+2];

}

for(b = Hmin; b < Hmax; b++)

{ // 세로측 누적히스토그램

for(a = Wmin; a < Wmax; a++)

{

if(YcbcrBuf[3*(b*m_width + a)+2] > 154)

HRed[b-Hmin] += YcbcrBuf[3*(b*m_width + a)+2];

}

도 5는 본 발명에 따른 도면 마우스 구성도로서, 상기 도면 마우스는 도면영역 추출부(130)와, 포인터 검색부(140)와, 좌표 매핑부(150)와, 포인터 상하운동 감지부(160)와, 클릭부(170)로 이루어지고 기술적으로 도면은 흰색임으로 배경과 확연히 구분되고, 막대포인터의 끝부분과 도면은 색으로 구분되며 흰색도면과 모니터 좌표와 일치하도록 좌표를 매칭시키는 이론을 바탕으로 도면 마우스를 제작한 것이다.

더욱 상세하게 상기 도면영역 추출부(130)는 도 6에 도시된 바와 같이 웹 카메라(180)가 도면(200)보다 위쪽에 위치한다. 이때 도면(200)의 영상이 웹 카메라(180)를 통해서 입력되면 도면(200)의 모양이 웹 카메라(180)와 바닥에 놓인 도면(200)의 각도 때문에 사디리꼴 모양으로 보이게 되면 상기 사다리꼴 모양을 형성하는 A, B, C, D 4개의 점을 좌표값을 찾아 저장한다. 상기 B, D 점과 A, C점을 이용하여 직선 방정식을 구해서 y축의 변화에 따라 x축의 변화값을 구하여 y축과, x축의 변화로 실제 영역을 구해 그 안에서 마우스 포인터를 찾도록 한다.

이상 설명한 도면영역 추출부의 처리과정을 수행한다.

else

xx1 = 0;

RR.x1 = xx1;

RR.y1 = yy1;

yy2 = (((RR.r4.y-RR.r2.y)/(RR.r4.x-RR.r2.x))*(xx2-RR.r2.x))+RR.r2.y;

if(RR.r2.x != 0)

xx2 = (RR.r2.y - yy2)/ RR.r2.x;

else

xx2 = 0;

RR.x2 = xx2;

RR.y2 = yy2;

상기 포인터 검색부(140)는 도면(200) 위에 검은색 스틱을 검색하기 위한 것으로 도면(200)의 흰색과 스틱의 검은색을 구분하기 위하여 상기 설명한 이진화와, 라벨링(Labeling)방법을 이용한 것이다.

상기 라벨링은 특정이미지의 연결된 구성요소를 찾는데 쓰는 일반적인 방법으로 인접하여 연결되어 있는 모든 화소에 동일한 번호(라벨)를 부여하고 다른 연결 성분에는 또 다른 번호를 부여하는 작업을 한다. 전처리 과정에 상기 이진 영상 데이터 처리가 되어 있어야 하며 상기 이진화 영상 데이터 처리가 된 영상을 라벨링을 하면 인접하여 연결된 영역들은 서로 다른 번호가 각각 부여되어서 영역을 구분할 수 있도록 재구성되고, 라벨링된 영상에서 임의의 번호를 가진 영역만을 추출하면 영역분리가 이루어져 도면 내에서 스틱을 검색한다.

상기 좌표 매핑부(150)는 도면영역 추출부(130)와, 포인터 검색부(140)에 의해서 마우스 포인터가 움직이게 되면 실제 모니터(190)는 사각형임으로 접근할 수 없는 영역이 생기게 된다. 이에 따라 사다리꼴 모양의 도면(200)의 윗변과 아랫변의 비율에 따라 사각형과 대칭시킨다. 이때 상기 사디리꼴 모양은 도면(200)의 좌우가 대칭이 아니기 때문에 윗변의 절반에 해당하는 곳을 반으로 잘라 왼쪽과 오른쪽의 계산을 각각 다르게 한다. 상기 계산은 사다리꼴의 x축 한줄을 직사각형의 한 줄에 대칭 시키게 되고 여기서 화면의 해상도에 맞추어 픽셀당 포인터의 이동거리를 정해주어 화면좌표와 매핑한다.

이상 설명한 좌표 매핑부는 다음과 같은 처리과정을 수행한다.

int yx1 = (int)((i-MapRegion.y1)/MapRegion.x1);

MapRegion.firstx = yx1;

int yx2 = (int)((i-MapRegion.y2)/MapRegion.x2);

MapRegion.firsty = MapRegion.r3.y;

sety = 768 / (float)(MapRegion.r1.y - MapRegion.r3.y);

if(point.x < MapRegion.center)

{

setx = (float)1024 / (float)(MapRegion.center - yx1) /(float)2;

}

else

{

setx = 1024 / (float)(yx2 - MapRegion.center) /2;

}

SetCursorPos((int)((point.x - MapRegion.firstx) * setx),

768 - (int)((point.y - MapRegion.firsty) *sety));

상기 포인터 상하운동 감지부(160)는 스틱이 일정 웹 카메라를 통해서 실시간 입력되는 프레임이 도면(200)의 일정영역 안에서 이동하지 않고 정지하고 있는 경우에 스틱을 들었다 내리는 것이 웹 카메라(180)를 통하여 모니터(190)상에서 보면 위 아래로 움직이는 것으로 보인다. 이는 스틱의 포인터가 y축의 이동을 측정하여 y축이 감소하는 것을 인식하고 y축이 감소한 뒤 다시 증가함을 인식하여 다시 시작점으로 돌아오면 그것을 상하운동으로 감지하여 클릭명령을 생성하여 클릭부(70)로 전송한다.

상기 클릭부(170)는 포인터 상하운동 감지부(160)에서 생성된 클릭명령을 수행하고 좌표 매핑부(150)에 의해서 이동된 마우스 포인터의 클릭명령을 수행하며, 상기 클릭명령은 상하운동의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행된다.

이상 설명한 포인터 상하운동 감지부는 다음과 같은 처리과정을 수행한다.

*포인터 정지*

m_oldpoint.x = m_oldpoint.x + point.x;

m_oldpoint.y = m_oldpoint.y + point.y;

m_sumpoint.x = m_oldpoint.x / (m_count +1);

m_sumpoint.y = m_oldpoint.y / (m_count +1);

if(m_sumpoint.x >= point.x )

range.x = m_sumpoint.x - point.x;

if(m_sumpoint.y >= point.y )

range.y = m_sumpoint.y - point.y;

if(m_sumpoint.x < point.x )

range.x = point.x - m_sumpoint.x;

if(m_sumpoint.y < point.y )

range.y = point.y - m_sumpoint.y;

if(range.x < 5 && range.y < 5) {

if(m_count >= 10) {

stopcount++;

stoppoint = TRUE;

m_count = 0;

m_oldpoint.x = 0;

m_oldpoint.y = 0;

m_sumpoint.x = 0;

m_sumpoint.y = 0;

}

else

{

m_count++; }

}

else

{

m_count = 0;

stopcount = 0;

m_oldpoint.x = 0;

m_oldpoint.y = 0;

m_sumpoint.x = 0;

m_sumpoint.y = 0;

상하운동 감지

if(oldpoint.x == 0 && oldpoint.y ==0)

oldpoint = point;

if(stoppoint == TRUE)

{

if(oldpoint.y - point.y > 2

{

startpoint = point;

uppoint = TRUE;

}

if(uppoint == TRUE) //

{

if(point.x - startpoint.x > 2 )

{

mouse_event(MOUSEEVENTF_LEFTDOWN, 65535 * (startpoint.x/1024), 65535 * (startpoint.y/768), 0, 0);

mouse_event(MOUSEEVENTF_LEFTUP,65535 * (startpoint.x/1024), 65535* (startpoint.y/768), 0, 0);

stoppoint = FALSE;

}

지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐, 한정적인 것이 아님을 분명히 하며, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.

이상에서 설명한 바와 같이 본 발명은 컴퓨터를 사용할 수 있는 능력이 있고 사용하고 싶어하는 장애인들이 취급하기 쉬운 마우스를 제공하여 컴퓨터 활용도를 높이는 효과가 있다.

Claims

웹 카메라로부터 연속적으로 전송받은 사람의 얼굴 이미지가 입력되는 템플레이트 검색 대상 이미지 입력부와;

사람의 움직임에 의하여 상기 얼굴 이미지 중에서 코 끝에 발생하는 명암을 저장하는 코끝 명암 저장부와;

상기 사람의 얼굴 이미지와 정합되어 마우스 포인트가 되는 코 이미지가 저장된 템플레이트 코 이미지 저장부와;

상기 코 이미지와 얼굴 이미지를 정합하여 마우스 기능을 수행하는 코 마우스 템플레이트 정합부와;

상기 코 이미지, 얼굴 이미지 코 끝 명암이 저장된 이미지를 정합하여 마우스 기능을 수행하는 코 마우스 이중 템플레이트 정합부와;

눈의 깜박임으로 클릭을 감지하기 위한 눈 후보영역부와;

상기 눈 후보영역에서 눈 깜박임으로 발생하는 명도차에 의해 클릭명령을 제공하는 히스토그램부; 및

상기 클릭명령을 수행하는 클릭부로 이루어진 것을 특징으로 하는 바이오 마우스.
제 1항에 있어서, 상기 코 마우스 템플레이트 정합부는 농담정규화 매칭법으로 정합한 것을 특징으로 하는 바이오 마우스.
제 1항에 있어서, 상기 코 이미지는 가로 3배, 세로 3배 확장한 이미지로 얼굴 이미지와 정합하는 것을 특징으로 하는 바이오 마우스.
삭제
제 1항에 있어서, 상기 클릭명령은 눈 깜박거림의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행되는 것을 특징으로 하는 바이오 마우스.
웹 카메라로부터 연속적으로 전송받은 사람의 얼굴 이미지가 입력되는 템플레이트 검색 대상 이미지 입력부와;

상기 사람의 얼굴 이미지와 정합되어 마우스 포인트가 되는 혀 이미지가 저장된 템플레이트 혀 이미지 저장부와;

상기 혀 이미지와, 얼굴 이미지를 정합하여 마우스 기능을 수행하는 혀 마우스 템플레이트 정합부와;

눈의 깜박임으로 클릭을 감지하기 위한 눈 후보영역부와;

상기 눈 후보영역에서 눈 깜박임으로 발생하는 명도차에 의해 클릭명령을 제공하는 히스토그램부 및

상기 클릭명령을 수행하는 클릭부로 이루어진 것을 특징으로 하는 바이오 마우스.
제 6항에 있어서, 상기 혀 마우스 템플레이트 정합부는 농담정규화 매칭법으로 정합한 것을 특징으로 하는 바이오 마우스.
제 6항에 있어서, 상기 혀 이미지와, 얼굴 이미지를 정합은 혀와 입술의 붉은색 명도차로 정합하는 것을 특징으로 하는 바이오 마우스.
삭제
제 6항에 있어서, 상기 클릭명령은 눈 깜박거림의 횟수에 의해서 오른쪽 클릭버튼 클릭, 왼쪽 클릭버튼 클릭, 더블클릭이 수행되는 것을 특징으로 하는 바이오 마우스.
삭제
삭제