KR102300289B1

KR102300289B1 - 마우스 기능을 갖는 휴대 단말기 및 이를 이용한 마우스 커서의 제어방법

Info

Publication number: KR102300289B1
Application number: KR1020210000769A
Authority: KR
Inventors: 정현호
Original assignee: 정현호
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2021-09-09

Abstract

본 발명은 모바일 및 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서(cursor)의 실행(명령)과 이동(이동방향 및 이동간격)을 제어하는 마우스 기능을 갖는 휴대 단말기에 관한 것으로, 상세하게는, 대상기기들의 화면에 표시되는 마우스 커서의 현재 위치를 매칭을 통해 동기화시켜 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 현재 기준사물의 비접촉 특정정보와 위치 변동값을 분석하여 대상기기들의 화면에 표시되는 마우스 커서의 위치좌표로 적용하는 마우스 기능을 갖는 휴대 단말기 및 이를 이용한 마우스 커서의 제어방법에 관한 것이다.

Description

마우스 기능을 갖는 휴대 단말기 및 이를 이용한 마우스 커서의 제어방법{MOBILE DEVICE HAVING FUNCTION OF MOUSE AND METHOD FOR CONTROLLING MOUSE CURSOR USING THE SAME}

일반적으로, 마우스는 모바일 및 컴퓨터 등과 같은 기기들의 화면 상의 어떤 위치(장소)를 가리키거나, 혹은 그 위치로부터 다른 곳으로 이동하기 위해 사용되는 입력장치로서, 그 조작방식에 따라 특정한 위치에 갖다 놓고 버튼을 누르는 '클릭'과, 버튼을 누른 상태로 마우스를 끌고 다니는 '드래그'와, 버튼을 연속적으로 빠르게 두 번 누르는 '더블클릭' 등의 조작을 통해 여러 가지 동작을 수행할 수 있다.

마우스는 다양한 종류가 개발되었다. 예를 들어, 버튼의 종류에 따라 1∼3버튼식과, 기기와의 접속방법에 따라 시리얼, PS/2 및 USB식과, 동작방법에 따라 기계식(또는 볼식), 광학식 및 광학기계식으로 나뉜다. 1버튼식은 초기 매킨토시에서 사용된 애플 마우스를 말하고, 2버튼식은 IBM호환기종에 적합한 범용 마우스, 3버튼식은 유닉스 환경의 캐드캠 시스템에 많이 사용된다. 시리얼식은 직렬포트로 연결되고, PS/2식은 전용포트에 연결되며, USB식은 확장슬롯에 연결된다. 기계식은 볼을 이용한 방식, 광학식은 빛을 이용하는 방식, 광학기계식은 앞의 둘을 조합한 방식을 말한다. 이외에도, 트랙볼이라고 해서 본체에 부착된 노트북 컴퓨터 전용도 있다.

이러한 마우스는 초기 기계식 마우스인 볼 마우스가 주로 사용되었다. 볼 마우스는 사용하는 과정에서 바닥에 묻어 있는 먼지 등의 각종 이물질들이 볼과 케이스 사이에 삽입되거나 혹은 볼의 외면에 들러붙는 등의 원인으로 인해 감지 성능이 저하되는 문제가 있어 현재 대부분의 마우스는 광학식 마우스가 주로 사용되고 있다.

그러나, 종래기술에 따른 광학식 마우스는 빛의 반사를 이용하여 마우스의 위치 변화를 파악하는 방식으로 바닥면에 빛을 반사할 수 있는 물질을 필요로 한다. 즉, 종래기술에 따른 광학식 마우스는 반사가 잘 되지 않는 유리와 같은 재질의 바닥면에서 마우스의 위치 변화를 인식할 수 없기 때문에 마우스 패드 등이 필수적으로 요구되었고, 이로 인해 바닥면에 따른 장치적 및 공간적 제약이 따를 수 밖에 없다.

KR 10-1074087 B1, 2011. 10. 10. KR 10-2006-0018193 A, 2004. 08. 23.

따라서, 본 발명은 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 별도의 마우스 패드를 사용하지 않고도, 모바일이나 컴퓨터 등과 같은 대상기기의 화면에 표시되는 마우스 커서를 인식하고, 카메라(및/또는, 라이다)를 이용하여 현재 기준사물의 비접촉 특정정보와 위치 변동값을 분석하여 대상기기의 화면에 표시되는 마우스 커서에 일대일 매칭시켜 간편하게 적용할 수 있는 마우스 기능을 갖는 휴대 단말기 및 이를 이용한 마우스 커서의 제어방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 일 측면에 따른 본 발명은 통신 모듈을 매개로 모바일이나 컴퓨터와 같은 대상기기와 통신하여 상기 대상기기의 화면에 표시되는 마우스 커서를 원격으로 제어하는 휴대 단말기에 있어서, 설정된 간격으로 주변공간을 연속으로 촬영하여 순차적으로 영상을 획득하는 카메라; 상기 카메라의 동작을 제어하는 마우스 이동버튼; 상기 카메라를 통해 순차적으로 획득된 각각의 영상 내에 포함된 사물들 중 한 개 또는 복수 개의 사물을 각 영상마다 기준사물로 동일하게 추출하는 기준사물 추출부; 상기 기준사물 추출부에서 순차적으로 추출된 기준사물에 대한 위치 변동값을 시계열적으로 서로 비교하여 기준사물의 위치 변동값을 측정하는 위치 변동값 측정부; 상기 위치 변동값 측정부를 통해 측정된 기준사물에 대한 위치 변동값에 대응하여 상기 마우스 커서의 이동을 제어하는 제어신호를 생성하는 제어신호 생성부; 및 통신 모듈부를 매개로 대상기기와 통신하고, 상기 제어신호 생성부를 통해 생성된 제어신호에 대응하여 상기 마우스 커서의 명령실행 및 이동을 제어하는 커서 제어부를 포함하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기를 제공한다.

바람직하게, 상기 사물들은 상기 카메라를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품인 것을 특징으로 할 수 있다.

바람직하게, 상기 기준사물 추출부는 기설정된 사물의 특정정보를 토대로 각 영상 내에서 기준사물을 추출하고, 상기 기설정된 사물의 특정정보는 형상, 크기, 위치, 명암, 색상 또는 문자 중 적어도 어느 하나인 것을 특징으로 할 수 있다.

바람직하게, 상기 휴대 단말기에 설치되고, 상기 마우스 이동버튼의 터치동작에 연동하여동작하고, 상기 카메라가 촬영하는 동일한 주변공간을 설정된 간격으로 연속적으로 촬영하여 획득한 후, 순차적으로 획득된 각각의 영상을 상기 기준사물 추출부로 전송하는 라이다를 더 포함하는 것을 특징으로 할 수 있다.

바람직하게, 상기 카메라와 상기 라이다는 각각 상기 마우스 이동버튼이 터치상태로 유지되는 동안 주변공간을 설정된 시간간격으로 촬영하여 영상을 획득한 후 상기 마우스 이동버튼의 터치상태가 해제되면 촬영을 중지하는 것을 특징으로 할 수 있다.

바람직하게, 상기 마우스 이동버튼은 상기 휴대 단말기에 설치된 '마우스 앱'의 실행과 동시에 상기 휴대 단말기의 화면에 활성화되는 것을 특징으로 할 수 있다.

바람직하게, 상기 '마우스 앱'의 실행과 동시에 상기 휴대 단말기의 화면에 표시되는 좌측버튼 및 우측버튼; 상기 휴대 단말기에 구비된 마이크를 통해 입력되는 사용자 음성을 인식하는 음성 인식부; 및 상기 음성 인식부를 통해 인식된 사용자 음성에 따라 동작하여 상기 대상기기의 화면 상에서 한 번에 이동하는 상기 마우스 커서의 이동간격을 설정하는 레벨 설정부를 더 포함하는 것을 특징으로 할 수 있다.

바람직하게, 상기 제어신호 생성부는 상기 음성 인식부를 통해 인식된 사용자 음성에 대응하여 상기 레벨 설정부를 통해 설정된 상기 마우스 커서의 이동간격 만큼 상기 마우스 커서를 상하좌우방향 중 어느 한 방향으로 이동시키기 위한 제어신호를 생성하는 한편, 상기 좌측버튼 또는 상기 우측버튼의 터치동작과 동일한 제어신호를 생성하여 상기 커서 제어부로 출력하는 것을 특징으로 할 수 있다.

또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은 휴대 단말기에 설치된 앱을 실행하여 상기 휴대 단말기의 화면에 상기 휴대 단말기와 통신하는 대상기기의 화면에 표시되는 마우스 커서의 명령실행과 이동을 제어하는 좌측버튼, 우측버튼, 휠, 휠 상하버튼 및 마우스 이동버튼을 활성화하는 단계; 상기 마우스 이동버튼을 터치하여 상기 휴대 단말기에 구비된 카메라를 동작시키고, 상기 마우스 이동버튼이 터치상태로 유지되는 동안 설정된 시간간격으로 연속적으로 상기 카메라를 통해 주변공간을 촬영하여 순차적으로 영상을 획득하는 단계; 상기 카메라를 통해 순차적으로 획득된 각 영상에 포함된 사물들 중 적어도 어느 하나를 기준사물로 추출하되, 각 영상마다 동일한 사물을 기준사물로 추출하는 단계; 각 영상 내에서 추출된 기준사물의 위치를 순차적으로 추적 및 분석하여 현재 기준사물의 위치와 그 이전 기준사물의 위치를 비교하여 위치값에 변동이 있는 경우, 이동방향, 이동각도 및 이동거리를 포함하는 위치 변동값을 측정하는 단계; 및 상기 현재 기준사물의 위치 변동값을 상기 대상기기의 화면에 표시되는 마우스 커서에 적용하는 단계를 포함하는 것을 특징으로 하는 마우스 커서의 제어방법을 제공한다.

이상에서 설명한 바와 같이, 본 발명에 따른 마우스 기능을 갖는 휴대 단말기에 따르면, 대상기기들의 화면에 표시되는 마우스 커서의 현재 위치를 매칭을 통해 동기화시켜 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 현재 기준사물의 비접촉 특정정보와 위치 변동값을 추적 분석하여 대상기기들의 화면에 표시되는 마우스 커서에 일대일 매칭시켜 적용함으로써 종래와 같이, 별도의 마우스 패드를 사용하지 않고도, 카메라를 통해 획득된 영상을 이용하여 마우스의 위치 변동을 측정하여 대상기기의 화면에 표시되는 마우스 커서를 간편하게 제어할 수 있다.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 간략하게 도시한 도면.
도 2은 도 1에 도시된 휴대 단말기의 구성을 간략하게 도시한 도면.
도 3은 본 발명에 따른 카메라를 통해 촬영된 영상의 일례를 간략하게 도시한 도면.
도 4는 본 발명에 따른 기준사물의 이동값 측정과정을 간략하게 도시한 도면.
도 5는 도 1에 도시된 휴대 단말기와 통신하는 송수신기의 일례를 도시한 도면.
도 6은 본 발명의 실시예에 따른 마우스 커서 제어방법을 도시한 흐름도.

본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예에서, 잘 알려진 구성 요소, 잘 알려진 동작과 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면들을 참조하여 본 발명의 기술적 특징을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 간략하게 도시한 도면으로서, 설명의 편의를 위해 일례로 휴대 단말기로 스마트폰을 도시하였다.

도 1을 참조하면, 본 발명의 실시예에 따른 휴대 단말기(10)는 휴대가 용이한 휴대폰(핸드폰), 스마트폰 또는 테블릿 PC 등과 같은 모바일 단말기 중 어느 하나로서, 다른 모바일이나 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서(cursor)의 실행(명령)과 이동을 원격에서 제어하기 위한 마우스 기능을 구비한다.

이러한 본 발명의 실시예에 따른 휴대 단말기(10)는 내부에 프로세서와 메모리가 설치되어 있다. 그리고, 상기 메모리에는 본 발명의 기술적 특징인 마우스 기능을 구현하는 앱(application)(이하, '마우스 앱'이라 함)이 저장되어 있고, 상기 '마우스 앱'은 휴대 단말기(10)에서 실행 가능한 기록 매체의 형태를 이루고, 메모리에 저장된 프로그래밍 가능한 명령어 등에 의해 휴대 단말기(10) 내에서 실행된다.

상기 '마우스 앱'은 휴대 단말기(10)에 기설치되어 화면(10a)에 표시된다.

사용자가 휴대 단말기(10)의 화면(10a)에 표시된 상기 '마우스 앱'을 터치(클릭)하면, 상기 '마우스 앱'은 그 동작이 실행(활성화)되어 화면(10a)에는 기존 마우스의 좌우측버튼과 휠 버튼과 대응되도록 마우스의 명령어를 선택하거나 실행하기 위한 좌측버튼(11a), 우측버튼(11b), 휠(11c) 및 휠 상하버튼(11d)이 표시(활성화)된다.

좌측버튼(11a)과 우측버튼(11b)은 일반적인 마우스의 좌측버튼과 우측버튼과 같이, '클릭' 또는 '드래그' 방식으로 모바일이나 컴퓨터와 같은 대상기기들의 화면에 표시되는 마우스 커서(예컨대, 화살표)를 통해 명령어를 선택하거나 실행한다.

그리고, 휠(11c)과 휠 상하버튼(11d)은 좌측버튼(11a)과 우측버튼(11b)과 마찬가지로 기본적으로 대상기기의 화면을 상하로 이동시키거나 자동으로 이동시킨다. 예를 들어, 대상기기의 화면에 마우스 커서가 표시된 상태에서 휠(11c)을 누른 후 휠 상하버튼(11d)을 누르면 대상기기의 화면이 상하로 이동되거나 자동으로 이동된다.

이와 같이, 본 발명의 실시예에 따른 휴대 단말기(10)에서 좌측버튼(12a), 우측버튼(11b), 휠(11c) 및 휠 상하버튼(11d)은 기존 마우스에 구비된 좌측버튼, 우측버튼, 휠 및 휠 상하버튼과 동일함에 따라 그에 대한 자세한 설명은 생략하기로 한다.

그리고, 본 발명의 실시예에 따른 휴대 단말기(10)는 카메라(12)를 포함한다.

카메라(12)는 휴대 단말기(10)의 전방과 후방에 각각에 설치되거나 후방에만 설치될 수 있으며, 설치위치와 그 개수는 제한을 두지 않는다. 이러한 카메라(12)는 휴대 단말기(10)의 주변공간을 촬영하여 영상(이미지)을 획득하는 장치로서, 광각 카메라, 초광각 카메라 또는 망각 카메라 중 어느 하나일 수 있다. 이외에도, 어두운 공간이나, 혹은 야간에도 주변공간을 촬영할 수 있는 적외선 카메라를 포함할 수 있다.

카메라(12)는 상기 '마우스 앱'의 실행과 연동하여 동작한다. 예를 들어, 상기 '마우스 앱'의 실행과 동시에 화면(10a)에 표시되는 마우스 이동버튼(13)과 연동하여 동작하여 카메라(12)가 대향하는 전방측 주변공간을 촬영하여 영상을 획득한다.

도 2는 도 1에 도시된 휴대 단말기의 구성을 간략하게 도시한 도면이고, 도 3은 본 발명에 따른 카메라를 통해 촬영된 영상의 일례를 간략하게 도시한 도면이다.

도 2 및 도 3을 참조하면, 카메라(12)를 통해 주변공간을 촬영하여 획득한 영상(1)에는 촬영된 주변공간에 존재하는 다양한 객체들을 포함한다. 이때, 객체들은 사물들(#1~#7)을 의미하는 것으로, 예를 들어, 사물들(#1~#7)은 카메라(12)가 촬영하는 주변공간 내에 비치되어 있거나, 혹은 설치되어 있는 물건이나 물품일 수 있다.

사물들(#1~#7)은 카메라(13)를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품일 수 있다. 물론, 특정 물건이나 물품에 인쇄되어 있는 문자일 수도 있다. 즉, 영상(1)의 전체 배경에 각각 독립적인 형상을 갖고 비치 또는 설치된 물건이나 물품일 수 있다. 물론, 특정 물건이나 물품에 인쇄되어 있는 문자일 수도 있다.

예를 들어, 카메라(12)를 통해 촬영된 영상 내에 포함된 사물들(#1~#7)은 벽을 촬영하는 경우, 스위치, 콘센트 및 액자 등과 같이 벽에 비치되어 있거나 설치된 물건이나 물품일 수 있다. 책상 위를 촬영하는 경우에는 키보드, 필기구, 지우개, 안경, 노트, 조명, 시계 등과 같이 책상에 놓여져 있는 물건이나 물품일 수 있다.

이와 같이, 카메라(12)를 통해 촬영된 영상에는 카메라(12)가 촬영하는 장소의 공간 내에 존재하는 물건이나 물품과 같은 각종 사물들을 포함하고, 이때, 각종 사물들은 제한을 두지 않고 촬영공간에 따라 다양한 물건이나 물품을 포함할 수 있다.

도 2와 같이, 카메라(12)는 마우스 이동버튼(13)의 동작과 연동하여 동작한다.

카메라(12)는 마우스 이동버튼(13)을 클릭하면, 이와 연동하여 주변공간(전방측)을 촬영한다. 이때, 카메라(12)는 마우스 이동버튼(13)이 최초 터치(접촉)된 후 터치(접촉)상태로 유지되는 동안 설정된 시간간격으로 연속적으로 주변공간을 촬영한다.

마우스 이동버튼(13)과 연동하여 카메라(12)에 의해 순차적으로 촬영된 영상들은 프로세서인 중앙 처리부(14)를 통해 처리된다. 즉, 중앙 처리부(14)는 메모리에 저장된 프로그램에 따라 실행하여 카메라(12)에 의해 촬영된 영상을 처리한다. 즉, 카메라(12)에 의해 촬영된 영상에 포함된 기준사물의 비접촉 특정정보와 위치 변동값을 추적분석하여 대상기기들의 화면에 표시되는 마우스 커서의 이동좌표로 적용한다.

중앙 처리부(14)는 카메라(12)에 의해 촬영된 영상에 포함된 기준사물의 위치 변동값을 추적분석하고, 그 결과를 마우스 커서(C)에 반영하기 위해 기준사물 추출부(14a), 위치 변동값 측정부(14b), 제어신호 생성부(14c), 커서 제어부(14d)를 포함한다.

기준사물 추출부(14a)는 카메라(12)에서 연속적으로 촬영된 영상 내에 포함된 사물들 중 적어도 하나, 즉 한 개 또는 복수 개의 사물을 기준사물로 동일하게 추출한다. 이때, 기준사물 추출부(14a)는 기설정된 사물의 특정정보를 토대로 기준사물을 추출한다. 예를 들어, 상기 사물의 특정정보는 형상(모양), 크기, 위치, 명암(밝기), 색상, 문자 등과 같이 사물들을 서로 구분할 수 있는 특징은 모두 포함할 수 있다.

기설정된 사물의 특정정보를 적용하여 기준사물을 추출할 때, 영상 내에서 사물들이 쉽게 구분될 수 있는 순으로 사물의 특정정보에 대한 우선순위를 둘 수 있다.

예를 들어, 사물의 특정정보가 '형상'으로 기설정되어 있는 경우, 기준사물 추출부(14a)는 '사각형' → '원형' 순으로 우선 순위를 두고 기준사물을 추출할 수 있다. 즉, 영상 내에 사각형을 갖는 사물이 존재하지 않는 경우, 그 다음에는 원형을 갖는 사물을 기준사물로 추출할 수 있다. 이때, 원형을 갖는 사물이 영상 내에 복수 개가 존재하는 경우에는 모두 기준사물로 추출하거나 혹은 그 다음 사물의 특징, 예를 들면 크기, 위치, 명암, 색상 등의 순으로 한 개 또는 복수 개의 사물을 추출할 수 있다.

일례로, 도 3과 같은 영상(1)이 카메라(12)를 통해 촬영된 경우, 기준사물 추출부(14a)는 사물의 특정정보를 토대로 중 7개의 사물들(#1~#7) 중 적어도 한 개를 기준사물로 추출한다. 여기서는 일례로 '#1'을 기준사물로 추출된 것을 예로 도시하였다.

기준사물 추출부(14a)를 통해 추출된 기준사물은 기준사물로 추출됨과 동시에 모바일 및 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서와 일대일 매칭된다. 즉, 추출된 기준사물은 대상기기의 화면에 표시되는 마우스 커서와 동기화된다.

기준사물 추출부(14a)는 카메라(12)로부터 순차적으로 전송되는 각 영상마다 기준사물을 추출하고, 이때, 추출되는 기준사물은 각 영상마다 동일한 사물이 된다. 즉, 카메라(12)를 통해 최초 획득된 영상에서 기준사물이 최초로 추출된 후, 기준사물 추출부(14a)를 통해 추출되는 기준사물은 최초 추출된 기준사물과 동일하다.

기준사물 추출부(14a)를 통해 기준사물이 추출되면, 자동으로 추출된 기준사물의 위치값이 추출된다. 이때, 추출된 기준사물의 위치값은 휴대 단말기(10)와 접속된 대상기기의 화면에 표시되는 마우스 커서에 일대일 매칭된다. 이때, 기준사물 추출부(14a)는 기준사물의 위치값을 픽셀단위로 측정하여 위치좌표(X, Y)로 측정할 수 있다. 이를 통해 기준사물의 이동방향, 이동각도 및 이동거리 등을 추적분석할 수 있다.

도 4는 본 발명에 따른 기준사물의 이동값 측정과정을 간략하게 도시한 도면이다.

도 2 및 도 4를 참조하면, 카메라(12)는 마우스 이동버튼(13)이 터치상태로 유지되는 동안 설정된 시간간격으로 연속적으로 해당 주변공간을 촬영하여 시계열적(t-3, t-2, t-1, t)으로 영상을 획득하고, 이렇게 획득된 각 영상들은 촬영된 순으로 기준사물 추출부(14a)와 위치 변동값 측정부(14b)로 전송되어 순차적으로 처리된다.

위치 변동값 측정부(14b)는 기준사물 추출부(14a)에서 추출된 기준사물의 현재 위치값(t 위치값)과 그 이전에 전송된 기준사물의 이전 위치값(t-1 위치값)을 비교하여 기준사물의 위치에 시계열적으로 변동이 발생했는지를 추적분석한다. 만약, 기준사물의 현재 위치가 그 이전에 비해 변동된 경우, 이동거리를 변동값을 추적분석한다. 물론, 이동방향과 이동각도에 있어서도 변동이 있는 경우, 이들을 함께 측정한다.

이러한 기준사물에 대한 위치 변동값의 측정은 마우스 이동버튼(13)이 터치상태로 유지되는 동안 촬영된 영상에 대해 각각 수행한다. 예를 들어, 't', 't-1', 't-2'일 때 각각 실시하여 기준사물의 위치 변동값(d1, d2, d3)을 각각 산출하여 측정한다.

위치 변동값 측정부(14b)는 각 영상별 기준사물의 변동값(d1, d2, d3) 뿐만 아니라, 현재 기준사물의 위치 이동방향(상하좌우 방향)과 이동각도를 함께 측정한다. 즉, 위치 변동값 측정부(14b)는 기준사물에 대해 시계열적으로 이동방향, 이동각도 및 이동거리에 대한 정보를 측정한 후 제어신호 생성부(14c)로 각 영상마다 전송한다.

제어신호 생성부(14c)는 위치 변동값 측정부(14b)에서 전송된 기준사물의 이동방향, 이동각도 및 이동거리에 대한 정보에 대응하는 제어신호를 생성하여 커서 제어부(14d)로 전송한다. 이때, 제어신호 생성부(14c)에서 생성되는 제어신호는 대상기기의 화면에 표시되는 마우스 커서의 이동방향, 이동각도 및 이동거리를 제어하는 명령어가 된다.

커서 제어부(14d)는 제어신호 생성부(14c)에서 생성된 제어신호를 통신 모듈부(15)를 통해 해당 대상기기로 전송하여 대상기기의 화면(2)에 표시되는 마우스 커서(C)를 제어한다. 즉, 위치 변동값 측정부(14b)에서 측정된 기준사물의 이동방향, 이동각도 및 이동거리는 각각 해당 대상기기의 화면(2)에 표시되는 커서(C)에 그대로 적용되고, 이에 따라 커서(C)는 이에 대응하는 방향, 각도 및 거리로 이동한다.

통신 모듈부(15)는 휴대 단말기(10)에 구비된 근거리 통신모듈인 블루투스 모듈일 수 있으며, 상기 '마우스 앱'을 실행함과 동시에 활성화되어 대상기기들과 접속된다.

한편, 도 2와 같이, 본 발명의 실시예에 따른 휴대 단말기(10)는 카메라(12)에서 촬영된 영상 내에서 기준사물의 움직임이 미세하여 위치 변동값의 측정이 어렵거나 불가능한 경우, 이를 보완하기 위한 장치로 라이다(lidar, 16)를 더 포함할 수 있다.

라이다(16)는 2차원 또는 3차원 영상센서로서, 휴대 단말기(10)에 추가로 설치되어 카메라(12)의 촬영각도에 대응하는 주변공간에 레이저 펄스를 조사하고, 주변공간의 사물에서 반사되어 돌아오는 펄스를 수신하여 주변공간을 촬영(스캔)한다.

라이다(16)는 카메라(12)와 마찬가지로 마우스 이동버튼(13)이 터치된 후 터치상태로 유지되는 동안 설정된 시간간격으로 순차적으로 주변공간을 촬영하여 영상을 획득하고, 이렇게 획득된 영상은 카메라(12)를 통해 촬영된 영상을 처리하는 방법과 동일한 방법으로, 기준사물 추출부(14a)와 위치 변동값 측정부(14b)를 통해 처리되어 커서 제어부(14d)와 통신 모듈부(15)를 통해 마우스 커서(C)에 그대로 적용된다.

위치 변동값 측정부(14b)는 카메라(12)를 통해 촬영된 영상을 통해 기준사물의 위치 변동값을 측정하는 것이 어려운 경우, 라이다(16)를 통해 얻어진 영상을 통해 기준사물의 위치 변동값을 측정하여 커서 제어부(14d)를 통해 커서(C)를 제어한다.

이때, 위치 변동값 측정부(14b)는 카메라(12)를 통해 얻어진 영상을 통해 기준사물의 위치 변동값을 측정하는 방법과 동일한 방법으로 라이다(15)를 통해 얻어지는 영상을 처리하여 기준사물의 위치 이동방향, 이동각도 및 이동거리를 측정한다.

예를 들어, 위치 변동값 측정부(14b)는 카메라(12)에서 촬영된 영상에서 추출된 기준사물에 대한 위치 변동값에 변동이 없는 경우, 라이다(16)를 통해 촬영된 영상에서 추출된 동일 기준사물에 대한 위치 변동값을 참조한다. 그리고, 라이다(16)의 영상에서 추출된 기준사물에서 위치 변동값에 변동이 발생된 경우에는 이를 반영하여 제어신호 생성부(14c)를 통해 커서(C)의 제어신호를 생성하여 출력한다.

한편, 도 1 내지 도 3과 같이, 본 발명의 실시예에 따른 휴대 단말기(10)는 사용자의 음성을 인식하여 해당 대상기기의 화면에 표시되는 마우스 커서(C)를 제어하기 위해 휴대 단말기(10)에 구비된 마이크(미도시)로 입력되는 사용자 음성을 인식하여 처리하는 음성 인식부(14e) 및 레벨 설정부(14f)를 더 포함할 수 있다. 이때, 음성 인식부(14e)는 마이크기능과 음성을 분석하는 분석기능을 포함할 수도 있다.

상기 '마우스 앱'을 실행하면, 휴대 단말기(10)의 화면(10a)에는 음성 인식버튼이 추가로 표시될 수 있고, 상기 음성 인식버튼을 터치하거나, 혹은 별도로 특정 단어의 음성이 인식되면, 휴대 단말기(10)는 음성동작 제어모드로 진입할 수 있다.

본 발명의 실시예에 따른 휴대 단말기(10)는 좌측버튼(11a) 및 우측버튼(11b)을 직접 조작하지 않고, 음성으로 해당 대상기기의 화면에 표시되는 커서(C)를 제어하기 위해 도 2와 같이, 음성 인식부(14e) 및 레벨 설정부(14f)를 포함한다.

음성 인식부(14e)는 사용자의 음성을 인식하는 음성 인식센서일 수 있으며, 사용자 음성을 인식 및 분석하여 대상기기의 화면에 표시되는 커서(C)의 명령을 실행한다.

예를 들어, 음성 인식부(14e)를 통해 인식된 사용자 음성이 제1 명령어인 "레벨"에 해당하는 단어인 경우, 레벨 설정부(14f)는 휴대 단말기(10)에 구비된 스피커(미도시)를 통해 "레벨을 설정하세요"라는 안내멘트를 출력하고, 이후, 음성 인식부(14e)로 '1'에서 '10' 중 어느 하나의 아라비안 숫자가 인식되면 해당 아라비안 숫자에 대응하는 단계별 레벨로, 커서(C)의 이동간격이 설정된다. 이때, 각 아라비안 숫자는 화면을 구성하는 픽셀의 개수에 해당하는 것으로, '1'은 하나의 픽셀을 의미한다.

예를 들어, 음성 인식부(14e)를 통해 '1'이 인식되면, '레벨1'로 설정되고, '2'가 인식되면, '레벨2'로 설정된다. 이때, 레벨 설정시 사용되는 단어는 아라비안 숫자로 제한되지 않고, 다양한 단어 및 언어를 사용하여 설정할 수 있다. 이러한 방식으로, 커셔(C)의 이동거리를 '레벨1'에서 '레벨10'까지 각각 설정할 수 있다.

'레벨1'로 설정된 경우, 커셔(C)는 한 번에 1개의 픽셀 간격만큼 이동하고, '레벨2'로 설정된 경우, 2개의 픽셀 간격만큼 이동한다. 그리고, '레벨10'로 설정된 경우에에는 10개의 픽셀 간격만큼 이동한다. 물론, 각 레벨마다 2개의 픽셀 간격만큼 이동하도록 설정할 수 있으며, 레벨에 따른 픽셀 간격은 제한을 두지 않는다.

레벨 설정부(14f)를 통해 커셔(C)의 이동간격에 대한 설정이 완료된 상태에서, 음성 인식부(14e)를 통해 제2 명령어, 예컨대, "마우스"가 인식되면, 중앙 처리부(14)는 음성동작 제어모드로 진입한다. 그리고, 이후, 음성 인식부(14e)를 통해 제3 명령어, 예컨대, "상", "하", "좌", "우" 중 어느 하나의 단어가 인식되면, 제어신호 생성부(14c)는 이와 대응하는 제어신호를 생성하여 커서 제어부(14d)로 출력한다.

예를 들어, 레벨 설정부(14f)를 통해 커서(C)가 한번에 이동할 수 있는 간격이 "레벨2"로 기설정된 상태에서, 커서(C)의 이동방향을 결정하는 단어로서, "상"이 음성 인식부(14e)를 통해 인식되면, 제어신호 생성부(14c)는 커서(C)가 상측으로 2개의 픽셀 간격만큼 이동되도록 하는 제어신호를 생성하여 커서 제어부(14d)로 출력한다.

또한, 중앙 처리부(14)가 음성동작 제어모드로 진입한 상태에서, 음성 인식부(14e)를 통해 제4 명령어, 예컨대, "클릭"이라는 단어가 인식된 후, 제5 명령어, 예컨대 "좌클릭" 또는 "우클릭"이 인식되면, 제어신호 생성부(14c)는 이와 대응하는 제어신호를 생성한다.

예를 들어, 음성 인식부(14e)에 의해 제5 명령어로서, "좌클릭"이 인식되면, 제어신호 생성부(14c)는 좌측버튼(11a)의 클릭동작과 동일한 제어신호를 생성하여 커서 제어부(14d)로 전송한다. 그리고, "우클릭"이 인식되면, 제어신호 생성부(14c)는 우측버튼(11b)의 클릭과 동일한 제어신호를 생성하여 커서 제어부(14d)로 전송한다.

또한, 중앙 처리부(14)가 음성동작 제어모드로 진입한 상태에서, 음성 인식부(14e)를 통해 제6 명령어, 예컨대 "탭"이라는 단어가 인식되면, 제어신호 생성부(14c)는 키보드의 탭 키와 동일하게 커서(C)를 한 칸씩 우측으로 이동시키는 제어신호를 생성한다.

한편, 본 발명의 실시예에 따른 휴대 단말기(10)는 내부전원을 공급하는 배터리(미도시)를 더 포함할 수 있다. 이때, 상기 배터리는 충전용 배터리일 수 있고, 외부전원을 공급받아 충전하여 공급한다.

도 5는 도 1에 도시된 휴대 단말기와 통신하는 송수신기의 일례를 도시한 도면이다.

도 5를 참조하면, 본 발명의 실시예에 따른 휴대 단말기(10)는 상기 마우스 앱의 실행과 동시에 활성화되는 통신 모듈부(15)를 매개로 모바일이나 컴퓨터 등과 같은 대상기기의 접속포트에 접속되는 송수신기(3)를 통해 대상기기와 무선 접속된다. 이때, 송수신기(3)는 일례로, USB 타입으로 대상기기의 접속포트에 접속될 수 있다.

도 6은 본 발명의 실시예에 따른 마우스 커서 제어방법을 도시한 흐름도이다.

도 6을 참조하면, 먼저, 휴대 단말기(10)에 설치된 '마우스 앱'을 실행한다(S1).

'마우스 앱'을 실행하면, 도 1과 같이, 휴대 단말기(10)의 화면(10a)에는 대상기기의 화면에 표시되는 마우스 커서(C)의 명령실행과 이동을 원격에서 제어할 수 있도록 좌측버튼(11a), 우측버튼(11b), 휠(11c), 휠 상하버튼(11d) 그리고 마우스 이동버튼(13)이 활성화된다(S2). 즉, 좌측버튼(11a), 우측버튼(11b), 휠(11c), 휠 상하버튼(11d) 그리고 마우스 이동버튼(13)을 터치하면 기프로그램화된 프로세스에 따라 명령이 실행된다.

이어서, 휴대 단말기(10)의 화면(10a) 상에서 마우스 이동버튼(13)을 터치하면, 마우스 이동버튼(13)과 연동하여 카메라(12)(및/또는 라이다(16))는 주변공간을 촬영하여 영상을 획득한다(S3). 이때, 카메라(12)를 이용하여 주변공간을 촬영할 때, 영상에 포함된 사물들 간의 구분이 용이하도록 촬영공간을 결정하는 것이 유리하다.

카메라(12)를 이용하여 주변공간을 촬영하는 동작은, 사용자가 마우스 이동버튼(13)을 터치하는 동작과 연동하여 자동으로 수행된다. 그리고, 마우스 이동버튼(13)의 터치와 동시에 카메라(12)를 통해 획득된 영상과 해당 대상기기의 화면에 표시되는 커서(C)는 자동 매칭되고, 추후 커서(C)는 추출된 기준사물과 동기화된다.

이어서, 카메라(12)를 통해 획득된 영상에 존재하는 사물들 중 적어도 어느 하나를 기준사물로 추출한다(S4). 이때, 상기 기준사물의 추출은 사물의 특정정보, 예를 들면, 형상(모양), 크기, 위치, 명암(밝기), 색상, 문자 등과 같이 사물들을 서로 쉽게 구분하고 인식할 수 있는 특징 중 어느 하나를 이용하여 추출할 수 있다.

이어서, 순차적으로 촬영된 영상 내에서 기준사물의 위치를 추적하여 현재 기준사물의 위치와 그 이전 기준사물의 위치를 비교하여 위치값에 변동이 있는 경우, 그 위치 변동값, 즉 이동방향, 이동각도 및 이동거리 등을 산출하여 측정한다(S5).

이어서, 현재 기준사물의 위치 변동값을 해당 대상기기의 화면에 표시된 커서(C)에 적용한다(S5). 즉, 최종 기준사물의 위치 변동값에 대응하도록 커서(C)를 이동시킨다.

도 6에 도시된 마우스 커서의 제어방법은 '마우스 앱'을 통해 실행되고, 이때, '마우스 앱'은 휴대 단말기(10)의 프로세서에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 기록 매체의 형태(또는 컴퓨터 프로그램 제품)로 구현될 수 있다.

여기에서, 상기 기록 매체라 함은 컴퓨터 저장 매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)를 포함할 수 있다. 그리고, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있는데, 예를 들어, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 도 6와 같은 마우스 커서의 제어방법을 구현하기 위해 전체 또는 일부가 컴퓨터에 의해 실행 가능한 명령어를 포함하며, 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다.

이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

1 : 영상
2 : 화면(대상기기)
C : 커서
#1~#7 : 사물
10 : 휴대 단말기
10a : 화면(휴대 단말기)
11a : 좌측버튼
11b : 우측버튼
11c : 휠
11d : 휠 상하버튼
12 : 카메라
13 : 마우스 이동버튼
14 : 중앙 처리부
14a : 기준사물 추출부
14b : 위치 변동값 측정부
14c : 제어신호 생성부
14d : 커서 제어부
15 : 통신 모듈부
16 : 라이다
14e : 음성 인식부
14f : 레벨 설정부

Claims

통신 모듈을 매개로 모바일이나 컴퓨터와 같은 대상기기와 통신하여 상기 대상기기의 화면에 표시되는 마우스 커서를 원격으로 제어하는 휴대 단말기에 있어서,
설정된 간격으로 주변공간을 연속으로 촬영하여 순차적으로 영상을 획득하는 카메라;
상기 카메라의 동작을 제어하는 마우스 이동버튼;
상기 카메라를 통해 순차적으로 획득된 각각의 영상 내에 포함된 사물들 중 한 개 또는 복수 개의 사물을 각 영상마다 기준사물로 동일하게 추출하는 기준사물 추출부;
상기 기준사물 추출부에서 순차적으로 추출된 기준사물에 대한 위치 변동값을 시계열적으로 서로 비교하여 기준사물의 위치 변동값을 측정하는 위치 변동값 측정부;
상기 위치 변동값 측정부를 통해 측정된 기준사물에 대한 위치 변동값에 대응하여 상기 마우스 커서의 이동을 제어하는 제어신호를 생성하는 제어신호 생성부; 및
통신 모듈부를 매개로 대상기기와 통신하고, 상기 제어신호 생성부를 통해 생성된 제어신호에 대응하여 상기 마우스 커서의 명령실행 및 이동을 제어하는 커서 제어부;
를 포함하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 1 항에 있어서,
상기 사물들은 상기 카메라를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품인 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 1 항에 있어서,
상기 기준사물 추출부는 기설정된 사물의 특정정보를 토대로 각 영상 내에서 기준사물을 추출하고, 상기 기설정된 사물의 특정정보는 형상, 크기, 위치, 명암, 색상 또는 문자 중 적어도 어느 하나인 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 1 항에 있어서,
상기 휴대 단말기에 설치되고, 상기 마우스 이동버튼의 터치동작에 연동하여동작하고, 상기 카메라가 촬영하는 동일한 주변공간을 설정된 간격으로 연속적으로 촬영하여 획득한 후, 순차적으로 획득된 각각의 영상을 상기 기준사물 추출부로 전송하는 라이다를 더 포함하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 4 항에 있어서,
상기 카메라와 상기 라이다는 각각 상기 마우스 이동버튼이 터치상태로 유지되는 동안 주변공간을 설정된 시간간격으로 촬영하여 영상을 획득한 후 상기 마우스 이동버튼의 터치상태가 해제되면 촬영을 중지하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 1 항에 있어서,
상기 마우스 이동버튼은 상기 휴대 단말기에 설치된 '마우스 앱'의 실행과 동시에 상기 휴대 단말기의 화면에 활성화되는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 6 항에 있어서,
상기 '마우스 앱'의 실행과 동시에 상기 휴대 단말기의 화면에 표시되는 좌측버튼 및 우측버튼;
상기 휴대 단말기에 구비된 마이크를 통해 입력되는 사용자 음성을 인식하는 음성 인식부; 및
상기 음성 인식부를 통해 인식된 사용자 음성에 따라 동작하여 상기 대상기기의 화면 상에서 한 번에 이동하는 상기 마우스 커서의 이동간격을 설정하는 레벨 설정부;
를 더 포함하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
제 7 항에 있어서,
상기 제어신호 생성부는 상기 음성 인식부를 통해 인식된 사용자 음성에 대응하여 상기 레벨 설정부를 통해 설정된 상기 마우스 커서의 이동간격 만큼 상기 마우스 커서를 상하좌우방향 중 어느 한 방향으로 이동시키기 위한 제어신호를 생성하는 한편, 상기 좌측버튼 또는 상기 우측버튼의 터치동작과 동일한 제어신호를 생성하여 상기 커서 제어부로 출력하는 것을 특징으로 하는 마우스 기능을 갖는 휴대 단말기.
휴대 단말기에 설치된 앱을 실행하여 상기 휴대 단말기의 화면에 상기 휴대 단말기와 통신하는 대상기기의 화면에 표시되는 마우스 커서의 명령실행과 이동을 제어하는 좌측버튼, 우측버튼, 휠, 휠 상하버튼 및 마우스 이동버튼을 활성화하는 단계;
상기 마우스 이동버튼을 터치하여 상기 휴대 단말기에 구비된 카메라를 동작시키고, 상기 마우스 이동버튼이 터치상태로 유지되는 동안 설정된 시간간격으로 연속적으로 상기 카메라를 통해 주변공간을 촬영하여 순차적으로 영상을 획득하는 단계;
상기 카메라를 통해 순차적으로 획득된 각 영상에 포함된 사물들 중 적어도 어느 하나를 기준사물로 추출하되, 각 영상마다 동일한 사물을 기준사물로 추출하는 단계;
각 영상 내에서 추출된 기준사물의 위치를 순차적으로 추적 및 분석하여 현재 기준사물의 위치와 그 이전 기준사물의 위치를 비교하여 위치값에 변동이 있는 경우, 이동방향, 이동각도 및 이동거리를 포함하는 위치 변동값을 측정하는 단계; 및
상기 현재 기준사물의 위치 변동값을 상기 대상기기의 화면에 표시되는 마우스 커서에 적용하는 단계;
를 포함하는 것을 특징으로 하는 마우스 커서의 제어방법.