KR102308970B1 - 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법 - Google Patents

Abstract

본 발명은 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법에 관한 것이다.
본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공방법은, 상기 글라스형 웨어러블 디바이스가 상기 외부기기의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계(S100); 상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 사용자의 상기 외부기기의 화면을 터치조작하는 영상 또는 이미지를 획득하는 단계(S200); 상기 영상 또는 이미지를 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계(S300); 상기 외부기기로 상기 좌표정보를 전송하는 단계(S400); 및 상기 외부기기의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계(S500);를 포함한다.
본 발명에 따르면, 터치패널이 적용되지 않은 외부기기를 사용할 시에도 글라스형 웨어러블 디바이스와의 연동만으로 상기 외부기기의 터치조작을 구현할 수 있다.

Description

글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법 {SYSTEM AND METHOD FOR INPUTTING TOUCH SIGNAL BY WEARABLE GLASS DEVICE}

본 발명은 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법에 관한 것으로, 보다 자세하게는 글라스형 웨어러블 디바이스를 이용하여, 터치 디스플레이를 포함하지 않는 외부기기에 대한 사용자의 터치조작을 인식할 수 있도록 하는 시스템 및 방법에 관한 것이다.

최근 웨어러블 디바이스들이 등장하고 있다. 스마트폰과 연동되는 안경(Glass)형태로 등장하고 있으며, 스마트폰 없이도 독립적으로 작동할 수 있는 형태도 등장하고 있다.

기존에는 일반화면에 터치패널(touch panel)이라는 장치를 덧붙여서 기능을 발휘하는 터치스크린을 구현하여 터치 조작이 이루어진 위치에 입력신호가 입력될 수 있도록 하였다. 터치패널은 좌우상하로 눈에 보이지 않는 적외선이 흐르게 하여 화면에 수많은 사각형 격자가 생기도록 함으로써, 손끝이나 기타 물체로 이 격자에 접촉하면 그 위치를 파악할 수 있도록 하는 기능을 가지고 있다.

따라서, 터치패널을 포함하여 디스플레이가 제작되어야만 터치조작에 의해 신호를 입력할 수 있고, 일반 디스플레이에서는 터치조작을 구현할 수 없다.

본 발명의 목적은, 일반 디스플레이가 장착된 외부기기에 터치조작에 의한 신호입력이 가능하도록 구현하기 위해, 글라스형 웨어러블 디바이스가 상기 외부기기의 화면에 좌표정보를 부여하고, 획득한 영상 또는 이미지 내의 사용자가 터치조작하는 좌표를 인식하여 상기 외부기기에 입력신호를 제공하는 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법을 제공함에 있다.

상기 언급된 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공방법은, 상기 글라스형 웨어러블 디바이스가 상기 외부기기의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계; 상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 사용자의 상기 외부기기의 화면을 터치조작하는 영상 또는 이미지를 획득하는 단계; 상기 영상 또는 이미지를 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계; 상기 외부기기로 상기 좌표정보를 전송하는 단계; 및 상기 외부기기의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계;를 포함한다.

또한, 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 및 터치방향에 따라 터치에 의한 입력신호의 유형을 판단하는 단계;를 더 포함할 수 있다.

또한, 저장된 상기 외부기기에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 비율과 상기 영상 또는 이미지 내의 화면크기에 대한 손가락 크기의 비율을 비교하는 단계; 및 비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작으로 인식하는 단계;를 더 포함할 수 있다.

또한, 상기 사용자의 안구를 향해 설치된 제2카메라에 의해 상기 사용자의 눈깜박임을 인식하는 단계; 및 상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계;를 포함할 수 있다.

또한, 상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계는, 사용자의 눈깜박임 방식에 따라 입력신호를 구별하여 인식하는 것을 특징으로 할 수 있다.

또한, 상기 글라스형 웨어러블 디바이스가 상기 외부기기의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계는, 상기 외부기기의 화면전체 캡처이미지를 상기 글라스형 웨어러블 디바이스가 수신하여 상기 화면에 기준좌표를 설정하는 방식, 상기 글라스형 웨어러블 디바이스의 상기 제1카메라가 상기 외부기기의 전체화면을 인식하여 상기 화면에 기준좌표를 설정하는 방식 중 어느 하나에 의해 수행되는 것을 특징으로 할 수 있다.

또한, 상기 제1카메라가 획득한 영상 또는 이미지를 좌표가 적용된 기준 영상 또는 기준 이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 단계;를 더 포함할 수 있다.

본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 입력신호 제공시스템은, 사용자가 상기 외부기기의 화면을 터치조작하는 영상 또는 이미지를 획득하는 제1카메라; 상기 외부기기와 데이터 송수신을 행하는 무선통신부; 및 상기 외부기기의 전체화면 이미지에 기준좌표를 설정하는 기준좌표설정모듈, 및 상기 제1카메라가 획득한 영상 또는 이미지에서 사용자가 상기 터치조작하는 부분의 좌표를 인식하는 좌표인식모듈을 포함하는 제어부;를 포함한다.

또한, 상기 사용자의 안구를 향해 설치되어, 사용자의 상기 터치조작 여부 결정 및 상기 외부기기 내 입력신호 종류의 구별을 위한 사용자의 눈깜박임을 입력받는 제2카메라;를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 제1카메라가 획득한 영상 또는 이미지를 상기 기준 이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 이미지변환부;를 더 포함할 수 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 터치패널이 적용되지 않은 외부기기를 사용할 시에도 글라스형 웨어러블 디바이스와의 연동만으로 상기 외부기기의 터치조작을 구현할 수 있다.

둘째, 외부기기에 터치패널이 포함되어 터치스크린 기능이 가능한 경우, 외부기기의 가격이 증가한다. 따라서 사용자는 터치패널이 포함되지 않은 낮은 가격의 외부기기를 구입해서 동일한 터치스크린 기능을 구현할 수 있어, 비용 절감을 할 수 있다.

셋째, 상기 글라스형 웨어러블 디바이스에 의해 입력되는 영상 또는 이미지를 기준좌표가 설정된 이미지에 맞게 보정할 수 있어, 사용자가 다양한 자세 또는 방향에서 상기 외부기기의 화면을 주시하더라도 터치조작에 의한 신호입력이 이루어질 수 있다.

도 1은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 시스템의 내부구성도
도 2는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공방법에 대한 순서도
도 3은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 사용자의 터치조작을 영상 또는 이미지로 획득하는 예시도면
도 4는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 획득한 사용자의 터치조작 이미지의 예시도면
도 5은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템의 내부구성도

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 시스템의 내부구성도이고, 도 2는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공방법에 대한 순서도이다. 도 3은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 사용자의 터치조작을 영상 또는 이미지로 획득하는 예시도면이고, 도 4는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 획득한 사용자의 터치조작 이미지의 예시도면이다. 도 5은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템의 내부구성도이다.

도 1 내지 도 6에는 시스템(100), 사용자입력부(110), 어플리케이션(111), 키보드(112), 음성입력부(113), 터치패드(114), GPS신호부(115), 근거리통신(116), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍체인식센서(134), 심박검출센서(135), 근전도센서(136), 제어부(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(270), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 햅틱모듈(340)가 도시된다.

도 1은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 시스템의 내부구성도이다.

본 발명의 시스템(100)은 카메라부(120), 음성입력부(113), 사용자입력부(110), 센싱부(130), 출력부(300), 무선통신부(250), 메모리(260), 인터페이스부(270), 제어부(210), 전원공급부, 및 음성인식부(220)를 포함할 수 있다. 본 발명의 시스템은 상기 구성요소를 모두 포함할 필요는 없으며 일부 구성요소로만 구성될 수 있다. 또한, 이외의 추가적인 구성요소를 더 포함할 수도 있다.

카메라부(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라부(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라부(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.

음성입력부(113)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 이동통신부를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.

사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드, 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.

센싱부(130)는 디바이스의 개폐 상태, 디바이스의 위치, 사용자 접촉 유무 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.

센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍체인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서, 심전도센서, 거리센서 및 도플러레이더 등을 포함할 수 있다.

근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.

압력센서(133)는 디바이스에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 디바이스에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력시 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.

모션 센서는 가속도센서(132), 자이로센서(131), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 디바이스의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도센서(132)는 중력가속도의 변화를 인식하는 중력센서를 포함한다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.

심박검출센서(135)는 감성신호를 수집하기 위해 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.

홍체인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.

홍체인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교?판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다.

거리센서는 2점간 거리 측정방식, 3각 측량방식(적외선 이용식, 자연광 이용식), 초음파 방식 등이 있다. 종래의 3각측량의 원리와 같이, 2개의 경로에서 온 피측정물을 직각 프리즘으로 반사시켜 2개의 이미지 센서에 입사시켜 상대적 위치가 합치했을 때, 2점간의 거리가 표시된다. 이 경우, 자연광으로 하는 방법(수동식)과 적외선을 발사하여 행하는 방법이 있다. 초음파방식은 피측정물에 지향성이 날카로운 초음파를 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하여 거리를 아는 방식인데, 수신센서는 압전소자가 사용된다.

상기 도플러레이더는 레이더의 한 방식으로, 반사파의 위상변화 즉, 파의 도플러 효과를 이용한 레이더이다. 상기 도플러레이더는 펄스 변조되지 않는 사인파를 송ㆍ수신하는 연속파 레이더와 전자파 신호파형으로서 방형파에 펄스 변조된 전파를 사용하는 펄스 레이더가 있다.

연속파 레이더에서는 도플러 주파수 필터의 성능을 얻기 쉽게 하기 위해서 변조주파수를 비교적 높게 취하기 때문에 원거리를 대상으로 한 레이더에는 부적당하나, 도플러 주파수를 가청주파수대로 택함으로써 인체나 차량 등의 움직임을 안정감 있는 소리로서 재생할 수 있는 특징이 있다. 펄스 레이더는 펄스 송신에서 반사 에코 수신까지의 시간에 의해 목표까지의 거리를 계측한다. 송신 펄스폭 내에서 주파수 변조나 위상 변조를 가하는 펄스 압축 레이더라 일컬어지는 방식이 있다.

출력부(300)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력 모듈, 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.

디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.

한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.

이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.

디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.

음향출력 모듈(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력 모듈를 통해서도 출력될 수 있다.

햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈,및 GPS 모듈 등을 포함할 수 있다.

방송수신 모듈은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.

방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다.

방송수신 모듈은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈을 통해 수신된 방송신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.

이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.

근거리 통신 모듈(116)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.

비콘(Beacon)은 무선통신 장치로써 블루투스 4. 0 (BLE-Bluetooth Low Energy) 기반의 프로토콜을 사용해 매우 작은 주파수 시그널을 그들 주위에 전달한다. 블루투스 4. 0은 장치가 대략 5m~70m내의 디바이스들과 통신을 할 수 있으며, 배터리 수명에 거의 영향을 끼치지 않는 저전력이어서 전력 낭비를 최소화하여 블루투스를 항상 켤 수 있다.

GPS(Global Position System) 모듈(115)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.

메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.

메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

메모리(260)는 이하 저장부(260)로 표현될 수 있다.

인터페이스부(270)는 디바이스에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리(260) 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(270)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.

전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 제공방법에 대해 설명하기로 한다.

도 2는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공방법에 대한 순서도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기(400)의 입력신호 제공방법은, 상기 글라스형 웨어러블 디바이스가 상기 외부기기(400)의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계(S100); 상기 글라스형 웨어러블 디바이스의 제1카메라(121)가 상기 사용자의 상기 외부기기(400)의 화면을 터치조작하는 영상 또는 이미지를 획득하는 단계(S200); 상기 영상 또는 이미지를 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계(S300); 상기 외부기기(400)로 상기 좌표정보를 전송하는 단계(S400); 및 상기 외부기기(400)의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계(S500);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기(400)의 입력신호 제공방법을 순서대로 설명한다.

상기 글라스형 웨어러블 디바이스가 상기 외부기기(400)의 화면 이미지를 획득하고, 상기 화면 이미지에 기준좌표를 설정한다(S100). 상기 글라스형 웨어러블 디바이스가 사용자의 터치조작 위치를 인식하기 위해서는 각 위치에 좌표가 부여되어야 한다. 그러므로 외부기기(400) 전체 화면 이미지를 획득하여서, 상기 이미지에 기준좌표를 설정해두어야 한다.

상기 글라스형 웨어러블 디바이스가 상기 외부기기(400)의 화면 이미지를 획득하는 과정은, 상기 외부기기(400)의 화면전체 캡처이미지를 상기 글라스형 웨어러블 디바이스가 상기 외부기기(400)로부터 무선통신을 통해 수신하여 수행될 수 있다. 예를 들어, 상기 글라스형 웨어러블 디바이스와 연동되어 터치조작 기능을 구동하고자 할 때, 상기 외부기기(400)가 디스플레이 화면을 전체 캡쳐하여 무선통신을 통해 상기 글라스형 웨어러블 디바이스로 전송할 수 있다.

또한, 상기 글라스형 웨어러블 디바이스의 상기 제1카메라(121)가 상기 외부기기(400)의 전체화면 이미지를 획득하는 방식에 의해 수행될 수 있다. 상기 제1카메라(121)는, 상기 글라스형 웨어러블 디바이스의 일측에 구비되어 사용자가 주시하는 전방의 영상 또는 이미지를 획득하는 카메라이다. 즉, 상기 제1카메라(121)가 상기 외부기기(400)의 전체화면을 포함한 영상 또는 이미지를 획득하고, 상기 영상 또는 이미지에서 외부기기(400)의 화면 부분만을 추출할 수 있다. 또한, 화면이 사용자가 주시하는 방향(제1카메라(121)가 영상 또는 이미지를 획득하는 방향)과 수직이 되지 않아 왜곡이 발생하는 경우, 이미지 처리를 통해 수직방향의 이미지로 보정할 수 있다.

다만, 상기 글라스형 웨어러블 디바이스가 상기 외부기기(400)의 화면 이미지를 획득하는 과정은 이에 한정되지 아니하고, 다양한 방법이 적용될 수 있다.

그 후, 상기 화면 이미지에 기준좌표를 설정한다. 상기 디스플레이하는 부분과 상기 터치조작을 통해 신호를 입력하는 부분이 일치되지 않으면, 사용자가 디스플레이를 보고 터치조작을 수행할 때 원하는 부분에 상기 터치조작이 입력되지 않게 된다. 디스플레이하는 부분과 터치조작을 통해 신호를 입력하는 부분을 일치시키기 위해서는 상기 화면상의 각 위치가 구별될 수 있어야 한다. 그러므로 상기 외부기기(400) 화면이미지의 한쪽 모서리를 원점으로 설정하고 상기 화면이미지의 가로와 세로에 눈금좌표를 부여하여, 상기 화면이미지의 각 지점에 좌표정보를 부여한다. 다만, 상기 화면 이미지에 기준좌표를 설정하는 방법은 이에 한정되지 아니하고, 상기 화면의 특정 위치를 정의할 수 있는 다양한 방법이 적용될 수 있다.

상기 글라스형 웨어러블 디바이스의 제1카메라(121)가, 도 3 및 도 4에서와 같이, 상기 사용자의 상기 외부기기(400)의 화면을 터치조작하는 영상 또는 이미지를 획득한다(S200).

상기 영상 또는 이미지를 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악한다(S300). 예를 들어, 상기 사용자는 손톱 가운데에 해당하는 손가락 부분으로 상기 디스플레이의 터치조작을 수행하므로, 상기 글라스형 웨어러블 디바이스는 상기 사용자의 손톱을 인식한 후 손톱의 가운데 해당하는 위치를 파악하고 해당 위치의 좌표를 파악할 수 있다. 다만, 터치가 이루어진 부분의 좌표정보를 파악하는 방식은 이에 한정되지 않고, 상기 사용자의 손톱 가운데에 상기 글라스형 웨어러블 디바이스가 인식할 수 있는 표시를 부착하여 터치조작의 위치를 인식하는 방식 등 영상 또는 이미지 분석을 통해 터치 위치를 인식할 수 있는 다양한 방식이 적용될 수 있다.

상기 외부기기(400)로 상기 좌표정보를 전송한다(S400). 상기 글라스형 웨어러블 디바이스는 무선통신을 통해서 상기 외부기기(400)로 신호를 입력할 상기 화면의 좌표정보를 전송한다.

상기 외부기기(400)의 상기 좌표정보에 해당하는 부분에 입력신호를 제공한다(S500). 즉, 상기 외부기기(400)는 상기 수신한 신호를 신호처리하여, 상기 디스플레이 상의 상기 좌표에 입력신호가 입력되도록 한다.

또한, 본 발명의 일실시예는 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 및 터치방향에 따라 터치에 의한 입력신호의 유형을 판단하는 단계;를 더 포함할 수 있다. 일반적으로, 마우스 또는 터치패드와 같은 입력장치에 의해 입력하는 유형은 좌클릭, 우클릭, 더블클릭, 드래그 등이 있을 수 있다. 이를 터치조작으로 구현하기 위해서는 터치조작의 형태에 따라서 입력신호를 다르게 정의할 필요가 있다. 따라서 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양, 터치방향 등에 따라 각각의 입력신호를 정의할 수 있고, 상기 글라스형 웨어러블 디바이스는 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 또는 터치방향 등에 따라 입력신호의 유형을 판단할 수 있다.

또한, 저장된 상기 외부기기(400)에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 비율과 상기 영상 또는 이미지 내의 화면크기에 대한 손가락 크기의 비율을 비교하는 단계; 및 비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작으로 인식하는 단계;를 더 포함할 수 있다.

상기 글라스형 웨어러블 디바이스가 상기 제1카메라(121)에 의해 상기 영상 또는 이미지를 입력받아 터치조작여부를 판단할 경우, 2차원의 영상 또는 이미지이므로 터치조작에 해당하는 지 판단하기 어려울 수 있다. 따라서 상기 사용자의 손가락이 상기 외부기기(400)의 화면에 접촉 시의 영상 또는 이미지를 통해 화면크기에 대한 손가락 크기의 비율을 저장해두고, 상기 제1카메라(121)가 입력받은 영상 또는 이미지 내 화면크기에 대한 손가락 크기 비율과 비교하여 오차범위 내에 해당하는 지 판단한다. 상기 비율이 오차범위 내에 해당하면 상기 화면에 손가락이 접촉하여 터치조작이 이루어졌다고 판단할 수 있고, 오차범위 내에 해당하지 않으면 터치조작이 이루어지지 않았다고 판단할 수 있다.

또한, 상기 사용자의 안구를 향해 설치된 제2카메라(122)에 의해 상기 사용자의 눈깜박임을 인식하는 단계; 및 상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계;를 포함할 수 있다. 즉, 상기 사용자의 손가락 움직임의 터치조작 여부가 상기 제2카메라(122)에 의한 안구의 깜박임에 의해 결정되도록 할 수 있다. 예를 들어, 상기 사용자의 손가락 동작 시에 상기 사용자의 눈깜박임이 입력되면 터치조작으로 인식하고, 상기 사용자의 눈깜박임이 입력되지 않으면 터치조작으로 인식되지 않도록 할 수 있다.

또한, 상기 사용자의 터치조작이 사용자의 눈깜박임 방식에 따라 상이한 입력신호로 인식되도록 할 수 있다. 예를 들어, 상기 글라스형 웨어러블 디바이스가 양쪽 눈에 모두 착용하는 형태인 경우, 왼쪽 눈의 깜박임은 좌클릭 입력신호, 오른쪽 눈의 깜박임은 우클릭 입력신호, 왼쪽 눈의 두 번 깜박임은 더블클릭 입력신호, 왼쪽 눈을 감은 채 손가락을 이동하면 드래그 입력신호로 인식되도록 할 수 있다. 또한, 상기 글라스형 웨어러블 디바이스가 한쪽 눈에 착용하는 형태인 경우, 한번 깜박임은 좌클릭 입력신호, 두 번 깜박임은 더블클릭 입력신호, 세 번 깜박임은 우클릭 입력신호, 눈 감은 채 손가락이동은 드래그 입력신호로 인식되도록 할 수 있다. 다만, 이에 한정되지 않고, 상기 사용자의 눈깜박임 방식별로 입력신호를 대응시키는 다양한 방식이 적용될 수 있다.

또한, 상기 제1카메라(121)가 획득한 영상 또는 이미지를 상기 기준좌표가 설정된 화면이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 단계;를 더 포함할 수 있다. 상기 사용자는 상기 외부기기(400)의 화면을 항상 동일한 방향에서 주시하지 않으며, 뿐만 아니라 옆으로 누워서 상기 외부기기(400)를 사용하는 등 다양한 자세로 상기 외부기기(400)를 사용하기도 한다. 이 때 상기 외부기기(400)의 화면은 상기 기준좌표가 설정된 화면이미지와 상이하게 왜곡될 수 있으므로, 정확한 상기 터치조작의 좌표를 인식하기 위해서 상기 영상 또는 이미지를 변환할 필요가 있다. 따라서 상기 글라스형 웨어러블 디바이스의 제어부(210) 내 이미지변환모듈(213)가 기준좌표와 비교수행을 위해 상기 영상 또는 이미지의 변환을 수행한다.

예를 들어, 상기 영상 또는 이미지 내 화면의 크기 및 형태는 상기 기준좌표가 설정된 화면이미지와 동일하다. 먼저, 화면의 형태를 동일하게 변환하기 위해 상기 화면이미지의 형태와 상기 영상 또는 이미지의 형태를 비교하여 이미지 변환의 방식을 파악한다. 즉, 상기 영상 또는 이미지의 화면이 직사각형 형태가 아닌 우측편의 길이가 짧은 사다리꼴 형태라면 좌측에서 화면을 바라본 것임을 파악하고, 이를 고려하여 이미지를 변환할 수 있는 방식을 계산한다. 상기 변환방식에 따라 상기 기준좌표가 설정된 화면이미지와 동일한 방향의 화면으로 보정하여 형태를 맞춘 후, 화면 크기가 같아지도록 상기 영상 또는 이미지의 변환을 수행한다.

다만, 상기 영상 또는 이미지를 변환하는 방법은 이에 한정되지 않고, 상기 기준좌표가 설정된 화면이미지와 비교를 하여 위치좌표 파악이 가능하도록 하는 다양한 영상 또는 이미지 변환 방식이 적용될 수 있다.

도 5는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기(400)의 입력신호 제공시스템의 구성도이다. 다만, 도 6에 있어서, 기 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.

도 5를 참조하면, 본 발명의 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부기기(400)의 입력신호 제공시스템은, 제1카메라(121); 무선통신부(250); 제어부(210);를 포함한다.

상기 제1카메라(121)는, 상기 글라스형 웨어러블 디바이스의 전면부 일측에 구비되어 사용자의 정면의 영상 또는 이미지를 획득하는 카메라로, 사용자가 상기 외부기기(400)의 디스플레이를 터치조작하는 영상 또는 이미지를 획득하는 기능을 수행한다. 또한, 상기 제1카메라(121)는 상기 외부기기(400)의 전체화면을 인식하여 상기 화면에 기준좌표를 설정하기 위해 상기 외부기기(400)의 전체화면 이미지를 획득하는 기능을 수행할 수 있다.

상기 무선통신부(250)는 상기 외부기기(400)와 데이터 송수신을 행하는 기능을 수행한다. 상기 무선통신부(250)는 상기 외부기기(400) 화면상의 터치조작이 수행된 위치좌표를 상기 외부기기(400)로 전송하는 기능을 수행한다. 또한, 무선통신부(250)는, 상기 외부기기(400)의 화면에 기준좌표를 설정하기 위해, 상기 외부기기(400)의 화면전체 캡처이미지를 상기 외부기기(400)로부터 수신하는 기능을 수행할 수 있다.

상기 제어부(210)는 기준좌표설정모듈(211); 및 좌표인식모듈(212);을 포함할 수 있다.

상기 기준좌표설정모듈(211)은 상기 외부기기(400)의 전체화면 이미지에 기준좌표를 설정하는 기능을 수행한다. 즉, 상기 기준좌표설정모듈(211)은 상기 제1카메라(121)에 의해 획득된 상기 외부기기(400)의 전체화면 이미지 또는 상기 외부기기(400)로부터 수신한 상기 화면전체 캡처이미지에 기준좌표를 설정하는 기능을 수행한다. 상기 기준좌표 설정은, 예를 들어, 상기 외부기기(400)의 화면이미지의 가로 및 세로에 눈금좌표를 적용하여 상기 화면의 각 위치가 구별되도록 정의할 수 있다. 다만, 상기 기준좌표를 설정하는 방식은 이에 한정되지 아니한다.

상기 좌표인식모듈(212)은 상기 제1카메라(121)가 획득한 영상 또는 이미지에서 사용자가 상기 터치조작하는 부분의 좌표를 인식하는 기능을 수행한다. 즉, 상기 좌표인식모듈(212)은 상기 영상 또는 이미지를 분석하여 상기 외부기기(400)의 화면상 어느 위치에 터치조작이 이루어졌는지 인식하고, 상기 인식된 위치의 좌표를 파악하는 기능을 수행한다.

또한, 상기 제어부(210)는, 이미지변환모듈(213);를 더 포함할 수 있다. 상기 이미지변환모듈(213)는 상기 제1카메라(121)가 획득한 영상 또는 이미지를 상기 기준좌표가 설정된 화면이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 기능을 수행한다.

또한, 본 발명의 일실시예는 제2카메라(122);를 더 포함할 수 있다. 상기 제2카메라(122)는, 상기 글라스형 웨어러블 디바이스의 일측에 상기 사용자의 안구를 향해 구비되어, 사용자의 상기 터치조작 여부 결정 및 상기 외부기기(400) 내 입력신호 종류의 구별을 위한 사용자의 눈깜박임을 입력받는 기능을 수행한다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 터치패널이 적용되지 않은 외부기기(400)를 사용할 시에도 글라스형 웨어러블 디바이스와의 연동만으로 상기 외부기기(400)의 터치조작을 구현할 수 있다.

둘째, 외부기기(400)에 터치패널이 포함되어 터치스크린 기능이 가능한 경우, 외부기기(400)의 가격이 증가한다. 따라서 사용자는 터치패널이 포함되지 않은 낮은 가격의 외부기기(400)를 구입해서 동일한 터치스크린 기능을 구현할 수 있어, 비용 절감을 할 수 있다.

셋째, 상기 글라스형 웨어러블 디바이스에 의해 입력되는 영상 또는 이미지를 기준좌표가 설정된 이미지에 맞게 보정할 수 있어, 사용자가 다양한 자세 또는 방향에서 상기 외부기기(400)의 화면을 주시하더라도 터치조작에 의한 신호입력이 이루어질 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100 : 시스템 110 : 사용자입력부
111 : 어플리케이션 112 : 키보드
113 : 음성입력부 114 : 터치패드
115 : GPS신호부 116 : 근거리통신
120 : 카메라부 121 : 제1카메라
122 : 제2카메라 123 : 제3카메라
130 : 센싱부 131 : 자이로센서
132 : 가속도센서 133 : 압력센서
134 : 홍체인식센서 135 : 심박검출센서
136 : 근전도센서
210 : 제어부
211 : 기준좌표설정모듈 212: 좌표인식모듈
213 : 이미지변환모듈
220 : 음성인식부
230 : 상황평가모듈 240 : 음성-텍스트변환모듈
250 : 무선통신부 260 : 메모리
270 : 인터페이스부
300 : 출력부 310 : 디스플레이부
320 : 음향출력부 330 : 알람부
340 : 햅틱모듈
400 : 외부기기

Claims (10)

1. 글라스형 웨어러블 디바이스를 이용하여, 터치 디스플레이를 포함하지 않는 외부기기에 대한 사용자의 터치조작 인식방법에 있어서,
   상기 글라스형 웨어러블 디바이스가 상기 외부기기의 화면 이미지를 획득하고, 상기 화면 이미지에 기준좌표를 설정하는 제1 단계;
   상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 사용자의 상기 외부기기의 화면을 터치조작하는 영상 또는 이미지를 획득하는 제2 단계;
   상기 영상 또는 이미지를 분석하여 터치 조작을 인식하고, 터치 조작이 인식된 부분의 좌표정보를 파악하는 제3 단계;
   상기 외부기기로 상기 좌표정보를 전송하는 제4 단계; 및
   상기 외부기기의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 제5 단계;를 포함하며,
   상기 제3 단계는, 상기 외부기기에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 기 저장된 비율과 상기 영상 또는 이미지 내의 화면크기에 대한 손가락 크기의 비율을 비교하고, 비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작을 인식하는, 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
2. 제1항에 있어서,
   상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 또는 터치방향에 따라 터치에 의한 입력신호의 유형을 판단하는 단계;를 더 포함하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
3. 삭제
4. 제1항에 있어서,
   상기 사용자의 안구를 향해 설치된 제2카메라에 의해 상기 사용자의 눈깜박임을 인식하는 단계; 및
   상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계;를 포함하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
5. 제4항에 있어서,
   상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계는,
   사용자의 눈깜박임 방식에 따라 입력신호를 구별하여 인식하는 것을 특징으로 하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
6. 제1항에 있어서,
   상기 글라스형 웨어러블 디바이스가 상기 외부기기의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계는,
   상기 외부기기의 화면전체 캡처이미지를 상기 글라스형 웨어러블 디바이스가 수신하여 상기 화면에 기준좌표를 설정하는 방식, 상기 글라스형 웨어러블 디바이스의 상기 제1카메라가 상기 외부기기의 전체화면을 인식하여 상기 화면에 기준좌표를 설정하는 방식 중 어느 하나에 의해 수행되는 것을 특징으로 하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
7. 제1항에 있어서,
   상기 제1카메라가 획득한 영상 또는 이미지를 좌표가 적용된 상기 기준좌표가 설정된 화면 이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 단계;를 더 포함하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공방법.
8. 글라스형 웨어러블 디바이스를 이용하여, 터치 디스플레이를 포함하지 않는 외부기기에 대한 사용자의 터치조작 인식시스템에 있어서,
   사용자가 상기 외부기기의 화면을 터치조작하는 영상 또는 이미지를 획득하는 제1카메라;
   상기 외부기기와 데이터 송수신을 행하는 무선통신부; 및
   상기 외부기기의 전체화면 이미지에 기준좌표를 설정하는 기준좌표설정모듈, 및 상기 제1카메라가 획득한 영상 또는 이미지에서 사용자의 터치 조작을 인식하고, 터치 조작이 인식된 부분의 좌표를 인식하는 좌표인식모듈을 포함하는 제어부;를 포함하며,
   상기 좌표 인식 모듈은, 상기 외부기기에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 기 저장된 비율과 상기 영상 또는 이미지 내의 화면크기에 대한 손가락 크기의 비율을 비교하고, 비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작을 인식하는, 글라스형 웨어러블 디바이스를 이용한 입력신호 제공시스템.
9. 제8항에 있어서,
   상기 사용자의 안구를 향해 설치되어, 사용자의 상기 터치조작 여부 결정 및 상기 외부기기 내 입력신호 종류의 구별을 위한 사용자의 눈깜박임을 입력받는 제2카메라;를 더 포함하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공시스템.
10. 제8항에 있어서,
    상기 제어부는,
    상기 제1카메라가 획득한 영상 또는 이미지를 상기 기준좌표가 설정된 화면이미지와 동일한 방향에서 획득된 영상 또는 이미지로 변환하는 이미지변환모듈;를 더 포함하는 글라스형 웨어러블 디바이스를 이용한 입력신호 제공시스템.

Images