KR101709611B1 - 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법 - Google Patents

Abstract

본 발명은 안경 형태로 제작된 안경 디스플레이와, 안구의 움직임을 감지하는 안구추적카메라와 착용자의 손동작을 인식하는 손인식카메라가 장착된 스마트안경 스마트 안경과 이를 이용한 공간 터치 및 터치 보정 방법에 관한 것으로서, 보다 상세하게는 투과율을 임의대로 수정하는 필름이나 유리 가공한 부분을 갖는 안경과, 이 안경에 영상을 투시하는 빔 프로젝트가 장착된 안경이나, 투명 LCD를 부착한 안경형 디스플레이에 유저 인터페이스 영상을 표시하고, 이 영상을 기반으로 공간(또는 허공)에 손가락으로 터치하는 동작을 손인식카메라로 인식하고, 이 터치 동작의 정확도를 올리기 위해 안구추적카메라로 안구의 움직임을 추적하여 시선이 교착하는 X축과 Y축이 서로 다른 3개 교착점을 갖는 공간을 평면으로 인식하도록 하고, 이 평면에서 움직이는 손가락과 시선이 교체하는 부분을 터치한 것으로 인식하도록 하는 스마트 안경을 이용한 공간 터치 및 터치 보정 방법에 관한 것이다.

Description

디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법{Smart glasses with displayer/camera and space touch input/ correction thereof}

본 발명은 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 및 터치 보정 방법에 관한 것으로서, 상세하게는 안경 형태로 제작된 안경 디스플레이와, 안구의 움직임을 감지하는 안구추적카메라와 착용자의 손동작을 인식하는 손인식카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 및 터치 보정 방법에 관한 것이다.

보다 상세하게 본 발명은 투과율을 임의대로 수정하는 필름이나 유리 가공한 부분을 갖는 안경과, 이 안경에 영상을 투시하는 빔 프로젝트가 장착된 안경이나, 투명 LCD를 부착한 안경형 디스플레이에 유저 인터페이스 영상을 표시하고, 이 영상을 기반으로 공간(또는 허공)에 손가락으로 터치하는 동작을 손인식카메라로 인식하고, 이 터치 동작의 정확도를 올리기 위해 안구추적카메라로 안구의 움직임을 추적하여 시선이 교착하는 공간을 평면으로 인식하도록 하고, 이 평면에서 움직이는 손가락과 시선이 교체하는 부분을 터치한 것으로 인식하도록 하는 스마트 안경을 이용한 공간 터치 입력 및 보정 방법에 관한 것이다.

전기, 전자 기술이 발달함에 따라 다양한 통신기기나 컴퓨터가 개발되고 있다.

이러한 컴퓨터 중에는 휴대성을 중시하여 갖고 다니며 이용할 수 있는 컴퓨터인 웨어러블(wearable) 컴퓨터가 있으며, 이 웨어러블 컴퓨터는 입력 장치로는 음성 입력과 한손용 버튼이 사용되고, 출력 장치로는 단안용 헤드 마운트 디스플레이(HMD)를 갖추고 있으며, 컴퓨터 본체와 하드 디스크는 주머니에 장착할 수 있도록 되어 있다. 매뉴얼 등을 표시하여 양손을 이용하는 복잡한 작업을 지원하기도 하며, 사용자의 지각 확대와 정보 처리를 지원한다.

이러한 웨어러블 컴퓨터와 관련된 다양한 기술이 있고 그 예로는 특허문헌 1내지 3이 있다.

특허문헌 1은 외피와 내피가 착탈 가능한 형태로 된 의복으로써 여러 유형의 의복 외피와 호환 가능한 내피에 컴퓨터를 장착하도록 구성되고, 상기 컴퓨터는 메인장치와 다수의 주변기기, 메인장치로부터 인가되는 디지탈신호를 아날로그 신호로 변환하기 위한 신호변환모듈, 이 신호변환모듈로부터 제공되는 아날로그신호를 표시, 출력하기 위한 디스플레이모듈 및 전원장치로 구성되면서 각 장치가 착탈 가능하도록 구성되며, 내피의 전면 양측에는 전원장치 및 신호변환모듈을 탑재하기 위한 제1 및 제2 수납부가 형성되고, 그 후면에는 메인장치를 탑재하기 위한 제3수납부가 형성되며, 소매부분을 포함하는 내피의 상측부분에는 제1 내지 제3수납부에 수납된 장치와 상기 디스플레이모듈을 포함한 주변장치를 결합하는 케이블의 경로를 안내하기 위한 케이블 안내로가 형성되어 구성된 것이고,

특허문헌 2는 웨어러블 안경을 이용한 디스플레이 장치에 있어서, 웨어러블 안경에 탑재되어 착용자 시점의 제1 영상을 획득하는 카메라, 제1영상을 분석하여 웨어러블 안경의 가상 표시 영역을 결정하는 연산부, 웨어러블 안경과 연동 가능한 스마트 기기로부터 제2 영상을 수신하는 데이터 연동부 및 제2 영상을 가상 표시 영역에 디스플레이하는 디스플레이부를 포함하는 것이고,

특허문헌 3은 안경형 모니터로서, 외부의 배경 영상을 확대하거나 필터링하여 촬영하는 촬영 장치를 포함하며 안경형 모니터를 통하여 제공될 데이터를 입력받는 데이터 입력부와, 데이터를 영상 처리하여 안경형 모니터를 통하여 제공될 이미지 영상을 생성하는 영상 처리부와, 외부의 배경 영상의 투과 농도를 조절하는 전방 투과 농도 조절부와, 영상 처리부에서 전송되는 이미지 영상 또는 전방 투과 농도 조절부를 통하여 투과되는 배경 영상을 안경형 모니터의 사용자의 눈에 입사시키는 영상 입사부로 이루어진 것이다.

이러한 종래의 웨어러블 컴퓨터는 상기한 바와 같이 디스플레이용 모니터 역할을 하는 안경을 구비하고 있고, 이러한 안경은 공간에 손동작을 인식하는 방법으로 사용자 인터페이스로 사용하고 있다.

그러나 기 기존의 디스플레이 안경은 신호 입력을 위해 손동작을 할 때 마이크로소프트사의 키넥트와 같이 카메라를 마주보고 손동작(제스처)을 하여야 입력이 가능하여 신호 입력이 어렵고, 손의 전체 패턴을 감지하거나 큰 동작으로 움직이는 손을 감지하여 동작 인식하므로 손가락만을 감지하기 위해서는 별도로 손 움직임을 전달해 주는 데이터 글러브나 가속도 센서가 내장된 팔찌와 같은 것을 필요로 하므로 장치가 복잡해지는 문제가 있다.

또한 공간터치에서 있어서는 사람의 행동이 신호를 입력하기 위한 행동인지, 다른 일을 하기 위한 행동인지를 구분하기 어려워 오인식 되는 문제가 있었다.

더욱이, 웨어러블 컴퓨터는 집안이나 사무실과 같이 제약 없이 동작을 취할 수 있는 곳에서 사용하기 위한 것이 아니라, 이동 중에도 사용할 수 있어야 하지만 상기와 같은 입력 방식의 문제가 있어 이동 중에는 사용하는 데 많은 불편이 있었다.

1. 대한민국 특허공개 제2004-0099988호 2. 대한민국 특허등록 제1430614호 3. 대한민국 특허공개 제2013-0045002호

본 발명은 상기와 같은 문제점을 해소하기 위해 개발된 것으로, 보다 정확한 터치 신호 입력이 가능한 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법을 제공하는 것을 목적으로 한다.

보다 상세하게 본 발명은 사람이 무의식적으로 자신의 손이나 손가락 움직임을 주시하는 안구를 추적하는 카메라와, 손동작을 인식하는 카메라의 영상이 교차하는 교차점을 찾아 인식함으로써 사용자의 행동이 신호 입력을 위한 행동인지 다른 일을 위한 행동인지를 정확하게 인식하여 정확한 정보 입력이 가능하게 한 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법을 제공하는 것을 목적으로 한다.

상기한 바와 같은 목적을 달성하기 위한 스마트 안경은 디스플레이와 카메라가 장착되어 웨어러블 컴퓨터의 입출력 수단으로 사용되는 스마트 안경에 있어서, 렌즈의 일부에 빛의 진행을 여러 방향을 산란시키는 산란부를 구비한 것을 특징으로 한다.

상기 산란부는 렌즈를 가공하여 형성되거나, 투명필름을 부착하여 만들어질 수 있고, 투명필름을 이용할 경우 필름에 미세 홈을 형성하여 빛이 산란되게 할 수 있다.

상기 안경의 일측에는 렌즈에 영상을 조사하는 빔프로젝터를 더 구비하는 것이 바람직하고, 안구를 추적하는 안구추적카메라와, 손동작을 인식하기 위한 손인식카메라를 설치할 수 있다.

상기 안경의 일측에는 안경의 움직임을 감지하는 동작센서를 더 구비하여 안경을 착용한 사용자의 머리가 움직이는 각도에 따라 디스플레이를 온/오프하거나, 터치 여부를 인식하게 할 수도 있다.

본 발명의 다른 일 양상에 따른 스마트 안경을 이용한 공간 터치 입력 방법은 상기한 바와 같이, 산란부를 갖는 렌즈를 구비한 안경, 상기 안경의 일측에 설치되어 렌즈에 영상을 조사하는 빔프로젝터, 안경의 일측에는 안구를 추적하는 안구추적카메라 및 손동작을 인식하기 위한 손인식카메라를 구비한 스마트 안경을 이용한 공간 터치 입력 방법에 있어서, 상기 손인식카메라에서 촬영된 손가락의 이동 방향에 따라 스크린 터치 여부를 판단하는 것을 특징으로 한다.

상기 손인식카메라가 손가락이 영상의 양쪽 끝에서 안쪽으로 이동하는 것으로 인식하면 디스플레이가 터치되고, 상기 손인식카메라가 손가락이 영상의 안쪽에 양쪽 끝으로 이동하는 것으로 인식하면 디스플레이가 터치가 해제된 것으로 인식할 수 있다.

또 다른 스마트 안경을 이용한 공간 터치 입력 방법은 산란부를 갖는 렌즈를 구비한 안경, 상기 안경의 일측에 설치되어 렌즈에 영상을 조사하는 빔프로젝터, 안경의 일측에는 안구를 추적하는 안구추적카메라, 및 안경의 일측에는 손동작을 인식하기 위한 손인식카메라를 구비한 스마트 안경을 이용한 공간 터치 입력 방법에 있어서, 상기 손인식카메라에서 촬영된 손가락이 정지된 부분과, 상기 안구추적카메라에서 감지된 안구의 시선(또는 초점)이 고정된 부분이 겹친 부분이 터치부분으로 인식하는 것을 특징으로 한다.

이러한 스마트 안경을 이용한 공간 터치 입력 방법에 있어서, 터치부분의 인식은 안구 시선(또는 초점)과 손가락이 정지된 상태를 일정시간(10ms ~ 16ms) 유지하는 것을 인지하여야 한다.

상기 안구추적카메라와 손인식카메라는 안경의 좌측 또는 우측에만 설치되고, 손인식카메라의 중심축과 안구추적카메라의 중심축의 거리를 삼각함수로 시각차를 산출하고, 이를 기반으로 손가락의 움직임을 인식하여 터치하는 가상 평면으로 인식하게 할 수 있다.

상기 안구추적카메라와 손인식카메라는 안경의 양측에 설치되고, 두 안구추적카메라에서 감지된 두 안구의 시선(또는 초점)이 교차하는 부분을 터치하는 가상 평면으로 인식하게 할 수도 있다.

상기 손인식카메라에서 인식된 손동작을 영상에서 빠르게 추출하기 위해 손인식카메라의 초점을 변경하여 촬영되는 물체들의 외곽선이 뚜렷하게 변화는 것을 이용하여 손과 배경을 분리하는 것이 바람직하고, 배경이 배제된 영상들을 겹쳐서 일정한 색상이 일정한 부분에 유지되는지 확인하고 이를 이용하여 외곽선을 추출하고 이 추출된 이미지에서 손가락으로 인식하게 하는 것이 바람직하다.

추출한 손가락에 안구추적카메라에서 감지된 안구의 시선(또는 초점)이 고정되면 터치되었다고 알려주는 표식이 디스플레이 영상에 표시되어 사용자에게 터치를 확인시키는 것이 바람직하다.

상술한 바와 같이, 본 발명에 따른 스마트 안경 및 이를 이용한 공간 터치 입력 및 보정 방법은 보다 정확한 터치 신호 입력이 가능하게 하는 효과가 있다.

즉, 안구를 추적하는 카메라와, 손동작을 인식하는 카메라의 영상이 교차하는 교차점을 찾아 인식함으로 사용자의 시야내에 위치하는 공간의 특정 범위와 일정한 거리를 인식시킬 수 있는 X축과 Y축이 서로 다른 3개 이상의 교착점을 갖는 가상평면을 인식시키고 이 가상평면에 손가락과 안구의 교착점이 교착하는 사용자의 행동이 신호 입력을 위한 행동인지 다른 일을 위한 행동인지를 정확하게 인식하여 정확한 정보 입력이 가능하게 하는 효과가 있는 것이다.

도 1은 본 발명에 따른 스마트 안경의 구성도
도 2는 본 발명에 따른 스마트 안경의 산란부의 산란 원리를 설명한 렌즈 또는 필름의 단면도
도 3은 본 발명에 따른 스마트 안경을 이용한 공간 터치 입력 및 보정 방법에서 가상평면을 인식하는 과정을 설명하기 위한 도표와 그래프
도 4는 3개 이상의 점도 3에 도시한 바와 같은 방법에 의해 구해지 3점의 위치의 일예

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 웨어러블 컴퓨터용 안경에서 보다 정확한 터치 신호 입력이 가능하게 한다.

이러한 본 발명에 따른 스마트 안경은 통상적으로 웨어러블 컴퓨터용 디스플레이 수단으로 사용되는 안경과 동일 유사하게 디스플레이와 카메라가 장착되어 있으며, 디스플레이의 가상 평면 형성을 위해 산란부(10s)를 구비하고 있다.

상기 산란부(10s)는 디스플레이 되는 가상 평면이 보다 넓고 깨끗하게 표시되도록 디스플레이로부터 조사되는 영상의 빛을 산란시키기 위한 부분으로 렌즈 자체를 가공하여 빛이 산란되게 하거나, 투명필름을 부착하여 산란되게 할 수 있다.

이러한 산란부(10s)에서 영상이 산란되는 원리는 도 2에 도시한 바와 같이, 렌즈나 필름에 미세홈(10g)을 형성하여 빛을 굴절시켜 산란되게 한다.

상기와 같이 구성된 본 발명에 다른 스마트 안경(10)에는 렌즈에 영상을 조사하는 빔프로젝터(20)를 구비하고 있다.

상기 빔프로젝터(20)는 통상적으로 스마트 안경에 설치되어 렌즈에 영상을 조사하는 소형화된 빔프로젝터의 하나로 종래에 사용되는 것과 동일한 것으로, 이에 대한 상세한 설명은 생략한다.

본 발명에 따른 안경은 그 일측에는 안구를 추적하여 안구의 시선 방향을 확인하기 위한 안구추적카메라(30)와, 손동작을 인식하기 위한 손인식카메라(40)를 더 구비하고 있다.

이와 같이 안구추적카메라(30)와 손인식카메라(40)를 구비하여 이들로부터 촬영된 안구의 시선(또는 초점)과 손의 위치 정보를 연산하여 정확한 터치 정보를 입력할 수 있는 것이다.

즉, 이렇게 안구추적카메라(30)와 손인식카메라(40)를 이용하여 영상을 촬영하고 촬영된 영상을 이용하여 터치 정보를 입력하기 위해서는 먼저 가상 평면을 만들어야하고, 가상평면을 만들기 위해서는 두 가지의 기본 요소가 있어야 한다.

첫 째는 두 카메라(30, 40)의 거리로서, 이는 스마트 안경을 제작할 때 두 카메라(30, 40) 사이의 거리로부터 얻어질 수 있다.

두 번째는 두 개의 카메라에 감지되는 시선의 각도와 손의 각도가 필요하다. 이에 따라 손인식카메라(40)는 두개가 설치되는 것이 바람직하나 스마트 안경의 특성상 한쪽에 설치되어도 된다. 스마트 안경의 양쪽 끝단에 설치된 두 개의 손인식카메라(40)가 손가락을 인식하여 구하는 두 각도가 필요하거나, 안경의 우측이나 좌측 중 한 쪽에서 설치된 하나의 손인식카메라(40)에서 인식한 손가락 각도와 안구추적카메라(30)로부터 산출된 시선 즉, 안구의 초점의 각도가 필요하다.

먼저, 스마트 안경을 얼굴에 착용한 후, 스마트 안경의 안구 동작을 감지하는 안구추적카메라(30)가 안구의 중심으로부터 아래나 위 및 좌우로 어느 각도에 위치하는지를 인식시킨다. 이러한 안구 각도 인식은 안구 완전한 원형이라고 가정하여 상하, 좌우로 타원 형태로 된 비율을 계산하여 시선의 각도를 산출하는데, 초기 값이 안구추적카메라(30)와 안구의 기본 각도로 인식된다.

손인식카메라(40)가 손의 움직임을 촬영하고, 손가락의 모양을 추출한 후, 손가락 끝 좌표(X2, Y2)를 구하고, 이 좌표(X2, Y2)와 안구추적카메라(30)의 중심 좌표(x1,y1)까지 거리를 이용하여 각도를 구한다.

즉, x축거리(dx)는 (x2-x1)이고, y축 거리(dy0)는 (y2-y1)이며, 사이각(rad)은 atan(dx, dy)이다.

또한 상기에서 안구추적카메라(30)에서 산출된 각도와 손인식카메라(40)에서 산출된 각도를 이용하여 손가락의 위치를 산출하는데 이는 삼각함수와 삼각함수의 비율을 이용하여 거리를 산출한다.

먼저, 얼굴의 좌우를 x축으로, 상하를 y축으로 정하고, 안구의 x축, y축 각도를 구하며, 손인식카메라(40)의 영상에서 손가락의 x축, y축 각도를 구한다.

도 3의 (b)에 도시한 바와 같이, 손인식카메라(40)의 x축과 이루는 각∠PCG, 안구추적카메라(30)의 x축과 이루는 각 ∠PEG)과 두 각의 거리(CE)를 이용하여 손가락까지의 거리를 구하는 방법은 아래와 같다.

∠EPG = 90 - ∠PEG

∠CPG = 90 - ∠PCG

EG = sin(∠EPG)

CG = sin(∠CPG)

CG : (EG - CG) = x : CE

이렇게 비율로 산출한 밑변 CG값을 기준으로 삼각측정법을 이용하여 C에서 P까지의 거리를 산출할 수 있다.

이러한 방법으로 도 4에 도시한 바와 같이 3개 이상의 점을 선택하여 거리를 구하고, 이 점들의 평균 거리를 구하여 손인식카메라(40)로부터 가상평면까지의 거리를 산출하고, 산출된 거리 근처에서 손가락의 움직임이 감지되면 터치 동작을 하는 것으로 인식하여 자동으로 디스플레이를 전원을 켜는 동작과 같은 절전에서 벗어나는 동작을 하고, 이 가상평면에서 벗어나면 절전모드로 들어가는 동작을 할 수 있게 한다. 이때 y축은 거리보다 카메라 영상의 범위가 중요하고, 카메라 영상에서 손가락이 위치하는 범위를 직사각형 모양으로 범위를 설정하며, 설정된 범위가 가상평면이 위치하는 곳으로 터치가 이루어지는 곳이다.

또한 디스플레이 기능에서도 사람의 시각을 피해 특정 위치에 정보를 디스플레이 하도록 하여 착용자로 하여금 시각적 방해가 되지 않도록 할 수 있다.

상기와 같이 구성된 본 발명에 다른 스마트 안경은 안경의 움직임 즉, 안경을 착용한 사용자의 머리의 움직임을 감지하여 웨어러블 컴퓨터 또는 디스플레이를 제어할 수 있게 하는 것이 바람직하며, 이를 위해 상기 안경의 일측에는 안경의 움직임을 감지하는 동작센서(50)를 더 부기할 수 있다.

상기 동작센서(50)로는 다양한 것이 사용될 수 있으나 안경이 움직이는 속도를 감지할 수 있는 가속도 센서 등이 상용될 수 있다.

상기와 같이 구성된 본 발명에 따른 스마트 안경을 이용한 공간 터치 입력 방법은 손인식카메라(40)에서 촬영된 손가락의 이동 방향에 따라 스크린 터치 여부를 판단하는 것을 특징으로 한다.

상기 손인식카메라(40)에서 인식된 손가락의 이동 방향에 따라 디스플레이가 터치되고 터치되지 않은 것을 인식하는 방법은 다양하게 변형하여 실시 할 수 있으나 바람직한 일예는 손인식카메라(40)에서 인식된 손가락이 영상의 양쪽 끝에서 안쪽으로 이동하는 것으로 인식하면 디스플레이가 터치되고, 영상의 안쪽에서 양쪽 끝으로 이동하는 것으로 인식하면 디스플레이가 터치가 해제된 것으로 인식하게 할 수 있다.

또 다른 스크린 터치 여부를 판단하는 방법은 손인식카메라(40)에서 촬영된 손가락이 정지된 부분과, 상기 안구추적카메라(30)에서 감지된 안구의 시선(또는 초점)이 고정된 부분이 겹친 부분을 터치부분으로 인식하는 것이다.

이때 터치부분의 인식은 안구 시선(또는 초점)과 손가락이 정지된 상태를 일정시간 유지하여야 터치한 것으로 인식하는 것이 바람직하다. 즉, 터치 여부를 판단하는 시간이 지나치게 짧을 경우, 터치를 위한 손동작이 아닌 동작에서도 터치한 것으로 오 인식할 수 있으므로 안구 시선(또는 초점)과 손가락이 정지된 상태를 일정시간 예를 들면 10ms ~ 16ms 정도 유지하였을 때만 터치로 인식하게 하는 것이다.

상기 안구추적카메라(30)와 손인식카메라(40)는 안경의 좌측 또는 우측에만 설치될 수 있고, 이렇게 어느 일측에만 카메라들이 설치되었을 경우에는 손인식카메라(40)의 중심축과 안구추적카메라(30)의 중심축의 거리를 삼각함수로 시각차를 산출하고, 이를 기반으로 손가락의 움직임을 인식하여 터치하는 가상 평면으로 인식하는 것이 바람직하다.

또한, 상기 안구추적카메라(30)와 손인식카메라(40)는 안경의 양측에 모두 설치될 수 있고, 이때에는 두 안구추적카메라에서 감지된 두 안구의 시선(또는 초점)이 교차하는 부분을 터치하는 가상 평면으로 인식하게 하는 것이 바람직하다.

이러한 스마트 안경에서 상기 손인식카메라(40)에서 인식된 손동작을 영상에서 빠르게 추출하기 위해 손인식카메라(40)의 초점을 변경하여 촬영되는 물체들의 외곽선이 뚜렷하게 변화는 것을 이용하여 손과 배경을 분리하고, 이렇게 배경이 배제된 영상들을 겹쳐서 일정한 색상이 일정한 부분에 유지되는지 확인하고. 이를 이용하여 외곽선을 추출하며, 추출된 이미지에서 손가락으로 인식하는 것이다.

추출한 손가락에 안구추적카메라(30)에서 감지된 안구의 시선(또는 초점)이 고정되면 터치되었다고 알려주는 표식이 디스플레이 영상에 표시되어 사용자에게 터치를 확인시킬 수도 있다.

10: 렌즈 10s: 산란부 10g: 레이저홈
20: 빔프로젝터
30: 안구추적카메라
40: 손인식카메라
50: 동작센서

Claims (18)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 안경의 일측에 설치되어 렌즈에 영상을 조사하는 빔프로젝터, 안경의 일측에는 안구를 추적하는 안구추적카메라 및 안경의 일측에는 손동작을 인식하기 위한 손인식카메라를 구비하고, 웨어러블 컴퓨터의 입출력 수단으로 사용되는 스마트 안경을 이용한 공간 터치 입력 방법에 있어서,
    상기 손인식카메라에서 촬영된 손가락이 정지된 부분과, 상기 안구추적카메라에서 감지된 안구의 시선(또는 초점)이 고정된 부분이 겹친 부분이 터치부분으로 인식하고,
    터치부분의 인식은 안구 시선(또는 초점)과 손가락이 정지된 상태를 일정시간(10ms ~ 16ms) 유지하여야 하고,
    웨어러블 컴퓨터에서 인식하는 가상평면은 공간 터치로 인식된 X축과 Y축의 값이 다른 3개 이상의 좌표를 기반을 도형 형태로 인식되도록 하고,
    손인식카메라의 중심축과 안구추적카메라의 중심축의 거리를 삼각함수로 시각차를 산출하고, 이를 기반으로 손가락의 움직임을 인식하여 터치하는 제1가상 평면으로 인식하고,
    상기 안구추적카메라와 손인식카메라는 안경의 양측에 각각 설치되고,
    두 안구추적카메라에서 감지된 두 안구의 시선(또는 초점)이 교차하는 부분을 터치하는 제2가상 평면으로 인식하고,
    상기 손인식카메라에서 인식된 손동작을 영상에서 빠르게 추출하기 위해 손인식카메라의 초점을 변경하여 촬영되는 물체들의 외곽선이 뚜렷하게 변화는 것을 이용하여 손과 배경을 분리하고,
    배경이 배제된 영상들을 겹쳐서 일정한 색상이 일정한 부분에 유지되는지 확인하고 이를 이용하여 외곽선을 추출하고 이 추출된 이미지에서 손가락으로 인식하고,
    추출한 손가락에 안구추적카메라에서 감지된 안구의 시선(또는 초점)이 고정되면 터치되었다고 알려주는 표식이 디스플레이 영상에 표시되어 사용자에게 터치를 확인시키는 것을 특징으로 하는 스마트 안경을 이용한 공간 터치 입력 방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images