KR20120061169A - 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템 - Google Patents

터치스크린을 갖는 단말기를 이용한 목적물 제어시스템 Download PDF

Info

Publication number
KR20120061169A
KR20120061169A KR1020100122193A KR20100122193A KR20120061169A KR 20120061169 A KR20120061169 A KR 20120061169A KR 1020100122193 A KR1020100122193 A KR 1020100122193A KR 20100122193 A KR20100122193 A KR 20100122193A KR 20120061169 A KR20120061169 A KR 20120061169A
Authority
KR
South Korea
Prior art keywords
touch screen
terminal
gesture
program
input
Prior art date
Application number
KR1020100122193A
Other languages
English (en)
Inventor
박원영
Original Assignee
(주)오픈오브젝트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오픈오브젝트 filed Critical (주)오픈오브젝트
Priority to KR1020100122193A priority Critical patent/KR20120061169A/ko
Publication of KR20120061169A publication Critical patent/KR20120061169A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H04B1/401—Circuits for selecting or indicating operating mode

Abstract

본 발명은 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템에 관한 것으로, 더욱 상세하게는 스마트폰의 터치스크린을 통해 제스처를 입력시켜, 무선 원격적으로 목적물의 동작을 제어하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템에 관한 것이다.
본 발명은 단말기(11)의 터치스크린(111)상에 활성화된 사용자인터페이스(12)로 사전에 설정 저장된 특정 터치입력이벤트가 입력되면, 제어부(13)가 입력된 터치입력이벤트에 해당하는 제어신호를 통신 경로를 통해 송출하고, 송출된 신호를 목적물(1)에 마련된 제어신호처리부(14)가 수신하여 목적물(1) 동작신호로 변환 제공하는 것을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템이다.

Description

터치스크린을 갖는 단말기를 이용한 목적물 제어시스템{OBJECT CONTROL SYSTEM USING THE MOBILE WITH TOUCH SCREEN}
본 발명은 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템에 관한 것으로, 더욱 상세하게는 스마트폰의 터치스크린을 통해 제스처를 입력시켜, 무선 원격적으로 목적물의 동작을 제어하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템에 관한 것이다.
일반적으로, 터치스크린은 접속표시화면을 의미하며, 구체적으로는 화면을 건드려 사용자가 건드린 위치를 찾아내는 화면을 말한다. 구체적으로는 터치 스크린(touch Screen) 또는 터치 패널은 각종 디스플레이를 채용하는 정보통신기기와 사용자 간에 대화를 하는 여러 방식 중 하나로서, 사용자가 키보드나 마우스 등과 같은 부가적인 주변기기 없이 사용자의 손이나 펜(Pen)으로 화면을 직접 접촉함으로써 기기와 인터페이스할 수 있는 입력장치이다.
이러한 터치스크린이 적용된 전자기기로는 PDA(Personal Digital Assistant), 노트북, 스마트폰 등을 예로 들 수 있다.
여기서, 상기 스마트폰(Smartphone)은 PC와 같은 기능과 더불어 고급 기능을 제공하는 휴대 전화를 일컬으며, 산업 표준에 대한 정의는 없다. 예로, 어떤 사람들에게 스마트폰은 응용 프로그램 개발자를 위한 표준화된 인터페이스와 플랫폼을 제공하는 완전한 운영 체제 소프트웨어를 실행하는 전화로 볼 수도 있겠고, 어떤 사람들에게 스마트폰은 전자 우편ㆍ인터넷 전자책 읽기 기능ㆍ내장형 키보드나 외장 USB 키보드ㆍVGA 단자를 갖춘 고급 기능이 있는 전화로 비칠 수 있다.
이와 같이, 스마트폰은 전화 기능이 있는 소형 컴퓨터라 볼 수 있으며, 무선인터넷을 이용하여 인터넷에 직접 접속할 수 있을 뿐 아니라, 여러 가지 브라우징 프로그램을 이용하여 다양한 방법으로 접속할 수 있는 점, 사용자가 원하는 애플리케이션을 직접 제작할 수도 있는 점, 다양한 애플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있는 점, 그리고 같은 운영체제(OS)를 가진 스마트폰 간에 애플리케이션을 공유할 수 있는 점 등이 기존 피처 폰(feature phone)과 비교하였을 때 장점이라 할 수 있다.
상기와 같은 스마트폰의 기본적인 사용법은 일반 휴대전화와 비슷하나, 키패드와 전자펜 입력방식을 모두 지원하여 문자입력이 한층 편리하다. 휴대전화에 비해 대용량 메모리를 채택하고 운영체제를 탑재하여 다양한 프로그램 및 데이터 사용이 가능하며, 프로그램의 지속적인 추가와 삭제가 모두 가능하다는 점에서 일반 휴대전화와 비슷하다. 두뇌 역할을 하는 운영체제가 탑재되어 있다는 점에서 PDA와 유사하지만, PDA는 개인정보관리 기능이 추가되는 반면, 스마트폰은 네트워크를 이용한 서비스의 이용에 초점을 맞추고 있다는 점에서 차별화된다.
상기와 같은 스마트폰의 장점과 차별성을 통해, 전 세계적으로 휴대폰의 단말기 시장은 성장이 정체되고 스마트폰의 시장규모 및 비중은 앞으로 꾸준히 상승될 것으로 보고 있으며, 국내에서도 2009년 I-Phone의 출시와 삼성전자의 옴니아2의 출시를 통한 스마트폰에 대한 보급이 대중화되었다. 또한 2010년에는 기존의 윈도우모바일 폰을 비롯한 다양한 안드로이드 폰 등의 출시하여 스마트폰에 대한 보급이 확산되고 있는 실정이다.
이와 더불어 스마트폰에서 사용할 수 있는 다수의 게임, SNS, 모바일 오피스 및 각종 응용어플리케이션이 개발되어 보급되고 있지만, 이러한 어플리케이션의 대부분은 스마트폰 내에서만 활용되고 있는 실정이며, 스마트폰의 스마트한 기능을 다른 시스템 즉, TV 및 PC를 포함하여 자동차, 홈네트워크 시스템 및 산업용 임베디드 시스템 등의 입력, 제어 및 연동에 대한 어플리케이션의 개발은 미비한 실정이다.
최근에는 스마폰을 이용하여 TV 및 PC등을 제어하는 기능 즉, 리모트컨트롤이 어플리케이션으로 소개되었으나, 이는 채널버튼ㆍ볼륨버튼ㆍ기능버튼 등의 정형화된 UI를 제공하는 버튼 조작형 리모트컨트롤로서, 통상의 리모트컨트롤을 스마트폰에 구현한 정도에 불과한 것이며, 복잡한 메뉴 트리나 명령을 수행하여야 하는 문제점이 있다.
그러므로, 스마트폰의 스마트한 기능을 최대한 살려 사용자에게 직관적인 인터페이스를 제공하는 기술이 요구되고 있다.
본 발명은 상기와 같은 문제점과 요구사항을 고려하여 창출된 것으로, 시스템에 종속적인 단말기를 사용하여 입력하는 제어시스템을 스마트폰 제어시스템으로 대체함으로써, 많은 공간을 차지하는 키보드나 단말장치를 설치할 수 없는 환경에서 유비쿼터스 시대의 핵심단말기로써 단순하고 직관적인 인터페이스를 제공하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템을 제공하는데 목적을 두고 있다.
구체적으로, 본 발명은 스마트폰의 무선통신기능을 이용하여 TV, PC와 같은 목적물(타깃장치)에 대하여 스마트폰이 스마트제어기로서의 기능을 할 수 있게 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템을 제공하는데 목적을 두고 있다. 또한, 터치스크린을 갖는 단말기에서 해당 프로그램을 통해 발생된 제어 신호를 수신할 수 있는 다양한 디바이스(TV, PC등)에 설치되는 클라이언트 지원 시스템을 제공하는데 목적을 두고 있다.
상기와 같은 목적 달성을 위한 본 발명은 단말기의 터치스크린상에 활성화된 사용자인터페이스로 사전에 설정 저장된 특정 터치입력이벤트가 입력되면, 제어부가 입력된 터치입력이벤트에 해당하는 제어신호를 송출하고, 송출된 신호를 목적물에 마련된 제어신호처리부가 수신하여 목적물 동작신호로 변환 제공함을 특징으로 한다.
상기와 같은 과제해결수단에 의한 본 발명은 기존의 TV 리모컨, PC의 마우스나 키보드가 지니고 있는 기본적인 제어의 기능 외에 제스처를 이용하여 특정 기능을 수행할 수 있는 기능을 포함함으로써, 복잡한 메뉴 트리나 명령을 수행하는 대신에 사용자에게 직관적인 인터페이스를 제공할 수 있게 한다.
또한, 무선통신 종류 중 블루투스를 사용함으로 제어를 할 수 없는 환경에서 기존의 장치를 대체 할 수 있는 효과를 가질 수 있으며, 이를 이용한 홈네트워크를 위한 제어, 산업용 임베디드 시스템에서 케이블 연장의 수고로움과 비용 절감 효과를 얻을 수 있다.
또한, 각 시스템에 종속적인 단말기를 사용하는 외에 스마트폰을 만능 제어로 사용함으로써, 많은 공간을 차지하는 키보드나 단말장치를 설치할 수 없는 환경에서 유비쿼터스 시대의 핵심 단말기의 대체용으로 단순하고 직관적인 인터페이스를 제공할 수 있다.
도 1은 본 발명의 구성을 간략히 도시한 블럭도.
도 2는 본 발명의 구성을 보다 구체적으로 도시한 블럭도.
이와 같이 제시하는 첨부 도면을 참고로 하여 본 발명을 구체적으로 설명하면 다음과 같다.
먼저, 본 발명은 첨부 도면 도 1 및 도 2에 도시된 바와 같이, 단말기(11)의 터치스크린(111)상에 활성화된 사용자인터페이스(12)로 사전에 설정 저장된 특정 터치입력이벤트가 입력되면, 제어부(13)가 입력된 터치입력이벤트에 해당하는 제어신호를 통신 경로를 통해 송출하고, 송출된 신호를 목적물(1)에 마련된 제어신호처리부(14)가 수신하여 목적물(1) 동작신호로 변환 제공하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템일 수 있다.
여기서, 본 발명 중 상기 단말기(11)는 스마트폰을 포함한 통신 가능한 터치스크린(111) 또는 터치패드를 갖는 단말기일 수 있다.
상기, 단말기(11)는 예시적으로, 스마트폰 이외에 PDA일 수도 있고 내비게이션일 수도 있고 테블릿컴퓨터(예 : 아이패드 또는 갤럭시탭)일 수도 있고 목적물 전용 단말기일 수도 있다.
한편, 본 발명 중 상기 터치입력이벤트는 터치스크린(111) 상에서 행하여지는 제스처(Gesture)에 의한 무브먼트(Movement)일 수 있다.
상기, 제스처에 의한 무브먼트는 문자 또는 숫자 쓰기, 일반 탭(Tap), 드래그(Drag), 플릭(Flick), 밀기, 끌기를 포함한 터치스크린(111) 상에서의 포인트 또는 위치이동값의 입력일 수 있다.
또한, 상기 터치입력이벤트는 회전, 줌인/아웃, 스크롤, 더블 클릭 등에 한정된 제스처만을 지원하는 기존 멀티터치 디바이스만을 지원하는 것이 아닌, 사용자 정의 제스처를 지원하는 멀티터치 장치, 거리센서, 카메라장치 및 통신장치를 활용한 입력이벤트일 수 있으며, 따라서, 센서링 프로그램은 스마트 입력장치 및 여러 센서링 악세서리 디바이스를 통해 제공되어지는 것이 바람직하다.
또 한편, 본 발명 중 상기 사용자인터페이스(12)는 사용자와 컴퓨터가 정보를 주고받기 위해 사용자와 프로그램이 상호 작용할 수 있도록 하는 프로그램의 일부분으로서, 터치스크린(111) 통해 사용자에게 리모트컨트롤에 따른 입력창을 제공하고, 터치스크린(111)을 통해 사용자의 제스처가 입력되면, 제스처에 따른 위치변화값을 판독할 수 있는 포인트 데이터를 제공하여 제스처의 수집 및 등록기능을 수행하는 프로그램 자체 또는 프로그램에 의해 활성화되는 화면 또는 프로그램이 저장된 메모리 또는 어플리케이션 자체일 수 있다.
이때, 상기 사용자인터페이스(12)는 다수의 목적물(1)을 사전 등록하는 목적물등록메뉴와, 각 목적물별 기능을 사전 등록하는 기능등록메뉴와, 각 목적물별 제스처데이터입력창을 포함하여 구성될 수 있으며, 그 밖의 기능별 메뉴 및 실행창은 목적물 내지는 기능에 따라 적절히 설계변형 적용이 가능하다.
또한, 상기 사용자인터페이스는 스마트폰 터치 입력 이벤트에 대한 필터링을 처리하고, 다양한 OS/플랫폼에 적용할 수 있도록 명확하게 구분된 포팅 레이어(porting layer)로 정의되고, 등록된 터치 동작을 인식하여 제스처 이벤트를 발생시키고, 제스처 등록 기능을 제공하고, 제스처 처리와 일반 탭(tap), 드래그(drag), 플릭(flick) 이벤트를 입력 처리하고, 입력 타이밍, 좌표 등에 대한 민감도 설정 및 오차범위 조절 기능을 제공하고, 제스처 동작을 기술하기 위한 기본 토큰 및 처리 구문을 정의하며, 스크립트 프로그래밍 방식의 제스처 정의 및 편집 기능을 제공하는 프로그램 자체 또는 프로그램에 의해 활성화되는 화면 또는 프로그램이 저장된 메모리 또는 어플리케이션 자체일 수 있다.
이러한 본 발명의 사용자인터페이스(12)는 종래 키보드에서 명령을 입력하여 프로그램을 작동시키는 커맨드 라인 인터페이스(command­line interface)와, 메뉴 선택에 의한 명령으로 작동시키는 메뉴 방식 인터페이스(menu­driven interface)와, 광/펜 마우스 또는 컨트롤 볼 또는 조이스틱 등의 위치 지정 도구를 사용하여 도형 표시 프로그램을 작동시키는 그래픽 사용자 인터페이스와 차별화된 사용자인터페이스이다.
또 한편, 본 발명 중 상기 제어부(13)는 사용자인터페이스(12)에 기능에 따른 사전 등록창을 제공하여, 입력되는 제스처 데이터를 기능별로 등록 저장하고, 이후 입력되는 제스처 데이터를 등록 저장된 비교값과 비교하여 해당 기능의 제어신호를 출력하는 데이터처리 프로그램 그 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서일 수 있다.
이때, 상기 제어부(13)는 터치스크린(111)에 활성화된 사용자인터페이스(12)를 통해 입력되는 제스처 데이터의 좌표값을 연산하여 움직임 데이터값을 산출하는 연산수단을 포함할 수 있다.
또한, 상기 제어부(13)는 실시예적으로, PC스마트제어프로그램 또는/및 TV스마트제어프로그램을 포함할 수 있다.
상기, PC스마트제어프로그램은 단말기(11)에서 동작하는 PC 용 마우스/키보드/제스처 제어 프로그램으로서, 단말기(11)의 터치패널 입력을 해석하여 마우스 이동, 왼쪽 클릭, 오른쪽 클릭, 더블 클릭, 휠업, 휠 다운 등의 마우스 기본 기능을 제공하고, 키보드의 기능으로 표준 키보드가 제공하는 키입력 기능을 제공하고, 영어, 한국어 입력과 같은 입력 로케일에 대한 처리를 제공하고, 제스처 프로파일러 모듈과 연동하여 제스처 기반 입력 기능을 구현하고, 제스처 등록/편집 기능을 사용하기 위한 설정 화면을 제공하며, 주요 기능에 대해 사전 정의된 제스처를 제공할 수 있는 단독실행형 어플리케이션일 수 있다.
또한, 상기 TV스마트제어프로그램은 단말기(11)에서 동작하는 TV 용 키패드/제스처 제어 프로그램으로서, TV 리모콘이 제공하는 음량조절, 채널변경기능, 선호채널 등록 기능을 구현하고, 제스처 프로파일러 모듈과 연동하여 제스처 기반 입력 기능을 구현하고, 주요 기능을 터치 제스처로 빠르게 입력할 수 있는 사용자 인터페이스를 구현하고, 제스처 등록/편집 기능을 사용하기 위한 설정 화면을 제공하며, 주요 기능에 대해 사전 정의된 제스처를 제공할 수 있는 단독실행형 어플리케이션일 수 있다.
여기서, 상기 사용자인터페이스(12)는 제어부(13)에 포함되어 제어부(13)의 제어를 받을 수도 있고, 상기 각 제어프로그램의 기능 일부는 시스템의 사용성 향상 및 안정화를 고려하여 사용자인터페이스(12)에 포함될 수도 있다.
더불어, 상기 제어부(13)는 목적물(1)의 동작 상태 및 동작에 따른 출력상태를 제어신호처리부(14)로부터 데이터 또는 이미지(동영상 포함)를 제공받아 터치스크린(111) 상에 출력하거나, 메모리에 저장하는 프로그램을 더 탑재할 수도 있다.
이때, 상기 제어부(13)에는 목적물(1)의 동작상태 및 동작에 따른 출력상태네 대한 신호를 처리하거나 편집하는 프로그램을 더 포함할 수 있다.
또 한편, 본 발명 중 제어부(13)에서 출력되는 제어신호가 송출되는 통신 경로는 음성과 데이터 송/수신과 같은 기본적인 유/무선 통신을 제외한, 근거리 통신 예컨대, 블루투스(Bluetooth) 또는 IrDA(Infrared Data Association) 또는 RFID(Radio-Frequency IDentification) 중 어느 하나를 포함한 통신 경로 또는 통신일 수 있다.
상기, 블루투스는 정보 기기들 간에 반경 10m 안에서 선이 없이도 빠른 속도로 정보를 주고받을 수 있게 하는 근거리 무선 데이터 통신망(쌈지무선망)이다.
상기, IrDA는 PAN과 같은 비교적 짧은 범위의 데이터 교환에 사용되는 물리적 통신프로토콜로서, 자유공간 광학통신 같은 예로서 매우 짧은 범위를 커버 한다.
상기, RFID는 전파를 이용해 먼 거리에서 정보를 인식하는 기술을 말하며, RFID 태그(이하 태그)와 RFID 판독기(이하 판독기)가 요구된다. 상기 태그는 안테나와 집적 회로로 이루어지는데, 집적 회로 안에 정보를 기록하고 안테나를 통해 판독기에게 정보를 송신한다. 이 정보는 태그가 부착된 대상을 식별하는데 이용된다.
또한, 상기 통신 경로는 와이파이(WiFi , 미국무선랜협회)를 기반으로 하는 통신모듈일 수도 있다. 상기, 와이파이 통신모듈은 무선접속장치(AP)가 설치된 곳의 일정 거리 안에서 초고속 인터넷을 할 수 있는 근거리통신망(LAN)과 접속 경로를 제공할 수 있다.
또 한편, 본 발명 중 상기 제어신호처리부(14)는 단말기(11)에서 송출된 신호를 수신하는 수신모듈을 포함하되, 목적물(1)을 구동제어하는 프로그램 또는 장치가 인식 가능한 동작신호로 변환 제공하는 프로그램 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서일 수 있으며, 이러한 프로그램 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서가 탑재된 모듈일 수 있다.
이때, 상기 제어신호처리부(14)는 실시예적으로, PC응답처리클라이언트 또는/및 TV응답처리클라이언트를 포함할 수 있다.
상기, PC응답처리클라이언트는 PC에서 동작하는 마우스/키보드/제스처 응답 처리 프로그램으로서, 단말기(11) 상에서 구동되는 PC 스마트 제어 프로그램에서 보낸 커맨드를 처리하여 PC 운영체제가 이해할 수 있는 입력 이벤트를 발생시키고, 마우스 이벤트, 키보드 이벤트 및 사용자가 등록한 프로그램 제어 이벤트 발생 기능을 제공하고, 기존 처리 프로세스에 대한 간섭을 최소화하여 일반 키보드/마우스 장치와 함께 사용 가능하게 하며, Microsoft Windows OS가 설치된 PC 환경에서 구동되는 서비스 실행파일(deamon) 형식일 수 있다.
또한, 상기 TV응답처리클라이언트는 목적물(1)인 TV에서 동작하는 키/제스처 응답 처리 모듈로서, 단말기(11) 상에서 구동되는 TV용 키패드/제스처 제어 프로그램이 보내는 데이터를 TV 리모콘이 생성하는 키 버튼에 대한 정보로 변환하는 기능을 수행하고, TV에서 이용되는 RS232/485와 같은 직렬통신으로 변환하는 기술이 적용될 수 있으며, AD 보드 상에서 함수의 형태로 개발되어진 것일 수 있다.
이와 같이 구성되는 본 발명의 작용을 실시예를 통해 구체적으로 설명하면 다음과 같다.
먼저, 본 발명은 사용자가 단말기(11)에서 사용자인터페이스(12)를 기동시켜 활성화하고, 이러한 상태에서, 목적물등록메뉴를 선택하여 PC와 TV를 목적물로 등록시키고 저장한다.
이후, 해당 목적물(1)에 대한 제어 기능을 수행할 수 있도록 기능과 기능에 대한 제스처를 등록시키게 되는데, 예시적으로, PC를 목적물로 하여 마우스 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 기능등록메뉴에서 마우스 기능을 선택하고, 왼쪽/오른쪽버튼클릭 또는 더블클릭, 휠 업/다운에 대한 각각의 제스처를 등록시킨다.
예를 들어, 마우스의 왼쪽버튼클릭 또는 더블클릭 기능등록일 경우, 사용자인터페이스(12)의 입력창 중 왼쪽 영역을 원터치 또는 더블 터치하고, 마우스의 오른쪽버튼클릭 또는 더블클릭 기능등록일 경우, 사용자인터페이스(12)의 입력창 중 오른쪽 영역을 원터치 또는 더블 터치하며, 휠 업/다운 기능등록일 경우, 사용자인터페이스(12)의 입력창 중간 부분 또는 어떠한 부분이든지 눌러서 위로 올리거나 내리는 제스처를 입력시켜 등록한다.
한편, 예시적으로, TV를 목적물로 하여 리모컨 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 기능등록메뉴에서 리모컨 기능을 선택하고, 채널, 볼륨, 선호채널등에 대한 각각의 제스처를 등록시킨다.
예를 들어, 리모컨의 채널선택 기능등록일 경우, 사용자인터페이스(12)의 입력창을 상하로 밀거나 상부면 또는 하부면을 터치하고, 리모컨의 볼륨선택 기능등록일 경우, 사용자인터페이스(12)의 입력창을 좌우로 밀거나 좌측면 또는 우측면을 터치한다.
상기에서의 채널선택 기능등록 방식은 채널의 순차적 선택이 이루어지도록 하는 것이고, 직접 숫자를 입력하여 채널을 선택할 수도 있다.
상기와 같은 기능등록절차를 거쳐 입력된 데이터는 제어부(13)의 메모리에 저장되고, 차후에 입력되는 제스처 데이터의 비교값으로 이용되어, 해당 제스처에 대한 기능과 관련된 제어신호를 제어부(13)가 출력한다.
예를 들어, PC를 목적물로 하는 마우스 기능의 경우, 사용자인터페이스(12)에서 마우스 기능을 선택하고, 원하는 기능에 대한 제스처를 시행한다.
예를 들어, 마우스의 왼쪽버튼클릭 또는 더블클릭 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 입력창 중 왼쪽 영역을 원터치 또는 더블 터치하고, 마우스의 오른쪽버튼클릭 또는 더블클릭 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 입력창 중 오른쪽 영역을 원터치 또는 더블 터치하며, 휠 업/다운 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 입력창 중간 부분 또는 어떠한 부분이든지 눌러서 위로 올리거나 내리는 제스처를 시행한다.
한편, 예시적으로, TV를 목적물로 하는 리모컨 기능일 경우, 사용자인터페이스(12)에서 리모컨 기능을 선택하고, 원하는 기능에 대한 제스처를 시행한다.
예를 들어, 리모컨의 채널선택 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 입력창을 상하로 밀거나 상부면 또는 하부면을 터치하거나, 숫자를 직접입력하고, 리모컨의 볼륨선택 기능을 수행하고자 할 경우, 사용자인터페이스(12)의 입력창을 좌우로 밀거나 좌측면 또는 우측면을 터치한다.
그리하면, 제어부(13)가 해당 제스처 데이터를 입력받아, 좌표값의 변화 상태를 인지하여 위치변화값을 산출하고, 산출된 값을 통해 어떠한 제스처인지를 판단 후, 해당 제스처에 대한 기능 제어신호를 출력하고, 출력된 제어신호를 전술한 통신경로를 통해 송출하며, 송출된 신호는 해당 목적물(1)에 마련된 제어신호처리부(14)의 수신모듈을 통해 수신되어지고, 수신된 신호는 목적물(1)을 구동제어하는 프로그램 또는 장치가 인식 가능한 동작신호로 변환제공되어, 목적물(1)의 동작이 제어된다.
다음으로는, 본 발명의 제스처 입력 및 처리와 관련한 세부적인 사항을 설명하면 다음과 같다.
* 제스처 프로파일러
- 스마트폰에서 제공되는 터치 기능을 기반으로 한 사용자 제스처 생성 기능 구현.
- 마우스, 키패드의 기능 또는 PC의 특정 프로그램에 대한 기능이나 TV의 특정 기능을 사용자가 등록하는 기능 구현.
- 스마트폰에서 멀티 터치 제공시 멀티터치 제스처 지원.
- 제스처의 시작은 터치를 시작할 때 발생하고, 제스처의 끝은 터치가 끝난 후 250msec 후에 발생하도록 구현.
- 숫자 7이나 알파벳 T와 같이 두 개 이상의 터치가 순간적으로 이어지는 경우에도 제스처 등록 기능 구현.
* 위치 변경 모듈
- 추적된 점의 상태가 정확히 반영될 수 있도록 보정해 주는 기능 구현.
- 다점 터치에 대하여 특정 점 상태 변경에 대하여 이를 적절히 반영.
- 다양한 스마트폰 및 디바이스의 해상도 변경에 따라 자동 변경.
* 제스처 인식 모듈
- 등록된 제스처의 특징 변수들을 바탕으로 사용자의 제스처 모델을 생성하고 인식.
- 제스처 벡터 생성, 학습, 인식, 정보 저장, 정보 서비스 등의 모듈화 작업을 통해 성능 향상.
- 제스처 모델 생성 및 인식에서 노이즈를 제거하는 알고리즘 개발 및 실용화 수준의 성능 확보.
* 터치 가속 인식 모듈
- 핑거터치에 대한 반응감도를 계산하여 제어신호의 연속 송신 기능 구현.
다음으로는, 본 발명의 논리적 시스템의 구성을 설명하면 다음과 같다.
1. 단말기시스템 레이아웃
Figure pat00001
단말기제어프로그램은 표1과 같이 임의 스마트폰 OS에서 지원하는 미들웨어 상에서 개발되어진다. 이때 지원받을 하드웨어 기능은 크게 LCD(터치 이벤트)와 블루투스(제어 디바이스와의 통신)부분이다.
2. PC 시스템 레이아웃
Figure pat00002
PC 응답처리클라이언트는 표2와 같이 윈도우의 경우 MFC를 이용하여 개발되어진다. 이때 지원받을 하드웨어 기능은 크게 HMI(키보드, 마우스 제어)와 블루투스(단말기제어프로그램과의 통신) 부분이다.
3. TV 시스템 레이아웃
Figure pat00003
4. 스마트제어프로그램 구조
Figure pat00004
Figure pat00005
단말기제어프로그램은 표4와 같이 터치가속인식모듈, 제스처인식모듈, 제스처프로파일러, 위치변경모듈, 통신모듈, 데이터 매핑부로 구성된 프레임웍 하에서 제어대상디바이스별 어플리케이션이 구동된다.
5. 터치가속인식모듈
터치감도의 세기를 구간별로 정의된 임계치 내에서 정의하여 연속하여 제어 신호를 발생시킨다.
6. 제스처인식모듈
등록된 제스처의 특징 변수들을 바탕으로 사용자의 제스처 모델을 생성하고 인식한다. 구체적인 내역은 제스처 모델 생성 및 인식, 제스처 인식 시스템 모듈화, 혼동을 일으키는 특징에 대한 거절 기능이 포함된다.
7. 제스처 프로파일러
터치 수의 증가에 최적화된 제스처 특징 변수 알고리즘을 모듈화한다. 구체적인 개발 내역은 터치수와 제스처 특징 변수에 대한 반영, 경제적 비용 절감의 효과를 볼 수 있다.
8. 위치변경모듈
다양한 단말기의 LCD 좌표계와 해상도에 대하여 각기 다른 디바이스의 좌표계와 해상도에 맞게 적절한 위치를 계산한다.
9. 통신모듈
단말기(11)와 목적물(1) 시스템 간의 통신을 위한 인터페이스로서, 실시예적으로는 전술한 바와 같이, 블루투스 통신 규격을 준수한 하드웨어 및 장치 프로그램으로 구성한다. Wi-Fi와 같은 통신 인터페이스의 추가에 대한 확장성을 고려할 수도 있다.
10. 매핑데이터
스마트폰에서 제공되는 파일시스템을 이용하여 제스처와 매핑된 제어신호를 암호화하여 저장한다.
11. 디바이스별 어플리케이션 기능
TV 용 디폴트 제어 이벤트 : 채널변경, 볼륨조절, 화면설정, 선호채널등록.
PC 용 디폴트 제어 이벤트 : 마우스제어, 키보드제어, 산업용 PC의 경우 특정 어플리케이션 실행/종료.
12. PC응답처리클라이언트 구조
Figure pat00006
13. 제어이벤트등록 어플리케이션
현재 윈도우상에 설치된 특정 어플리케이션을 표5와 같이하여 제어이벤트로 추가/편집할 수 있다.
14. TV 응답처리클라이언트 구조
Figure pat00007
15. TV 블루투스 통신 인터페이스 하드웨어 구조
Figure pat00008
이와 같이 되는 본 발명은 기존의 TV 리모컨, PC의 마우스나 키보드가 지니고 있는 기본적인 제어의 기능 외에 제스처를 이용하여 특정 기능을 수행할 수 있는 기능을 포함함으로써, 복잡한 메뉴 트리나 명령을 수행하는 대신에 사용자에게 직관적인 인터페이스를 제공한다.
또한, 본 발명은 무선통신 종류 중 블루투스를 사용함으로 제어를 할 수 없는 환경에서 기존의 장치를 대체 할 수 있는 효과를 가질 수 있으며, 이를 이용한 홈네트워크를 위한 제어, 산업용 임베디드 시스템에서 케이블 연장의 수고로움과 비용 절감 효과를 얻는다.
또한, 본 발명은 각 시스템에 종속적인 단말기를 사용하는 외에 스마트폰을 만능 제어로 사용함으로써, 많은 공간을 차지하는 키보드나 단말장치를 설치할 수 없는 환경에서 유비쿼터스 시대의 핵심 단말기의 대체용으로 단순하고 직관적인 인터페이스를 제공한다.
이상, 본 발명을 본 발명의 원리를 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 그와 같이 도시되고 설명된 그대로의 구성 및 작용으로 한정되는 것이 아니다.
그 밖에도, 첨부된 청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다.
예를 들어, 큰 공간을 차지하는 키보드나 단말장치를 설치할 수 없는 환경에서의 제어로의 사용을 통한 공간의 제약이 없는 스마트한 입력 장치, 다수의 동일한 시스템 환경에서 블루투스 장치 ID 관리 구현을 통한 통합적인 제어로의 활용, 여러 종류의 시스템 환경의 다양한 제어에 대한 만능제어로의 활용, 복잡한 케이블 환경에서 키보드 및 마우스 제어를 스마트폰으로 입력을 통한 시스템 환경의 단순화 목적으로 활용될 수 있으며, 기술은 산업현장, 공공장소, 홈네트워크 분야 등 다양한 분야에 적용하여 사용할 수 있다.
예를 들어, 다양한 시스템에 대한 만능제어로서의 활용할 수 있는 홈 네트워크 분야, 공장 자동화 시스템의 시스템 제어로의 활용, 옥외 광고시스템의 AS 관리 및 이상상태 발생 시 제어로서의 활용, 백화점, 대형 건물 등의 엘리베이터 등에 설치된 광고 시스템에 대한 제어로의 활용, 지하철, 역사 등의 안내정보 시스템에 대한 제어로의 활용, 운전 중 비운전자에 의한 내비게이션 제어 및 제어로서의 활용,산업현장 분야의 임베디드 시스템에 대한 제어로서의 활용, CCTV, 방범 등의 순찰 시 방범 시스템에 대한 분야, 학교, 교회 등의 공공장소에서의 TV 등의 제어로서의 활용, 전시장 곳곳에 설치된 TV, 티켓 발매 시스템 등의 제어로의 활용, 모니터 등의 출력장치가 부착된 시스템에 대한 AS 활동 시 제어로 활용될 수 있다.
따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
10 : 목적물 제어시스템 11 : 단말기
111 : 터치스크린 12 : 사용자인터페이스
13 : 제어부 14 : 제어신호처리부
1 : 목적물

Claims (11)

  1. 단말기(11)의 터치스크린(111)상에 활성화된 사용자인터페이스(12)로 사전에 설정 저장된 특정 터치입력이벤트가 입력되면, 제어부(13)가 입력된 터치입력이벤트에 해당하는 제어신호를 통신 경로를 통해 송출하고, 송출된 신호를 목적물(1)에 마련된 제어신호처리부(14)가 수신하여 목적물(1) 동작신호로 변환 제공하는 것을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  2. 제 1항에 있어서,
    상기, 단말기(11)는 스마트폰을 포함한 통신 가능한 터치스크린(111) 또는 터치패드를 갖는 것임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  3. 제 1항에 있어서,
    상기, 단말기(11)는 스마트폰 또는 PDA 또는 내비게이션 또는 테블릿컴퓨터 중 어느 하나임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  4. 제 1항에 있어서,
    상기, 터치입력이벤트는 터치스크린(111) 상에서 행하여지는 제스처에 의한 무브먼트임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  5. 제 4항에 있어서,
    상기, 제스처에 의한 무브먼트는 문자 또는 숫자 쓰기, 일반 탭, 드래그, 플릭, 밀기, 끌기를 포함한 터치스크린(111) 상에서의 포인트 또는 위치이동값의 입력임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  6. 제 1항에 있어서,
    상기, 사용자인터페이스(12)는 터치스크린(111) 통해 사용자에게 리모트컨트롤에 따른 입력창을 제공하고, 터치스크린(111)을 통해 사용자의 제스처가 입력되면, 제스처에 따른 위치변화값을 판독할 수 있는 포인트 데이터를 제공하여 제스처의 수집 및 등록기능을 수행하는 프로그램 자체 또는 프로그램에 의해 활성화되는 화면 또는 프로그램이 저장된 메모리 또는 어플리케이션 자체임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  7. 제 1항에 있어서,
    상기, 사용자인터페이스(12)는 다수의 목적물(1)을 사전 등록하는 목적물등록메뉴와, 각 목적물별 기능을 사전 등록하는 기능등록메뉴와, 각 목적물별 제스처데이터입력창을 포함하여 구성됨을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  8. 제 1항에 있어서,
    상기, 제어부(13)는 사용자인터페이스(12)에 기능에 따른 사전 등록창을 제공하여, 입력되는 제스처 데이터를 기능별로 등록 저장하고, 이후 입력되는 제스처 데이터를 등록 저장된 비교값과 비교하여 해당 기능의 제어신호를 출력하는 데이터처리 프로그램 그 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  9. 제 8항에 있어서,
    상기, 제어부(13)는 터치스크린(111)에 활성화된 사용자인터페이스(12)를 통해 입력되는 제스처 데이터의 좌표값을 연산하여 움직임 데이터값을 산출하는 연산수단을 더 포함하는 것을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  10. 제 1항에 있어서,
    상기, 제어부(13)에서 출력되는 제어신호가 송출되는 통신 경로는 음성과 데이터 송/수신과 같은 기본적인 유/무선 통신경로 또는 근거리 통신인 블루투스 또는 IrDA 또는 RFID 중 어느 하나이거나, 무선인터넷인 Wi-Fi임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
  11. 제 1항에 있어서,
    상기, 제어신호처리부(14)는 단말기(11)에서 송출된 신호를 수신하는 수신모듈을 포함하되, 목적물(1)을 구동제어하는 프로그램 또는 장치가 인식 가능한 동작신호로 변환 제공하는 프로그램 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서이거나, 이러한 프로그램 자체 또는 프로그램이 저장된 메모리 또는 프로그램이 탑재된 마이크로프로세서가 탑재된 모듈임을 특징으로 하는 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템.
KR1020100122193A 2010-12-02 2010-12-02 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템 KR20120061169A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100122193A KR20120061169A (ko) 2010-12-02 2010-12-02 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100122193A KR20120061169A (ko) 2010-12-02 2010-12-02 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템

Publications (1)

Publication Number Publication Date
KR20120061169A true KR20120061169A (ko) 2012-06-13

Family

ID=46611790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100122193A KR20120061169A (ko) 2010-12-02 2010-12-02 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템

Country Status (1)

Country Link
KR (1) KR20120061169A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007810A (zh) * 2013-02-27 2014-08-27 昆达电脑科技(昆山)有限公司 输入输出系统的作业执行方法及输入输出系统
WO2015069304A1 (en) * 2013-11-05 2015-05-14 Intuit Inc. Remote control of a desktop application via a mobile device
KR101588372B1 (ko) * 2014-10-31 2016-01-25 동국대학교 산학협력단 멀티 터치 응용프로그램 개발을 위한 제스처 데이터 제공 방법 및 시스템
CN110604590A (zh) * 2018-11-21 2019-12-24 深圳迈瑞生物医疗电子股份有限公司 一种基于超声设备的控制方法以及超声设备
KR20220093502A (ko) * 2020-12-28 2022-07-05 주식회사 위젯누리 사용자단말을 통한 타 단말 원격제어 제공 방법
KR102521821B1 (ko) * 2022-08-26 2023-04-13 백남칠 시각장애인용 무인단말기 제어장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007810A (zh) * 2013-02-27 2014-08-27 昆达电脑科技(昆山)有限公司 输入输出系统的作业执行方法及输入输出系统
WO2015069304A1 (en) * 2013-11-05 2015-05-14 Intuit Inc. Remote control of a desktop application via a mobile device
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
US10635180B2 (en) 2013-11-05 2020-04-28 Intuit, Inc. Remote control of a desktop application via a mobile device
US10635181B2 (en) 2013-11-05 2020-04-28 Intuit, Inc. Remote control of a desktop application via a mobile device
KR101588372B1 (ko) * 2014-10-31 2016-01-25 동국대학교 산학협력단 멀티 터치 응용프로그램 개발을 위한 제스처 데이터 제공 방법 및 시스템
CN110604590A (zh) * 2018-11-21 2019-12-24 深圳迈瑞生物医疗电子股份有限公司 一种基于超声设备的控制方法以及超声设备
KR20220093502A (ko) * 2020-12-28 2022-07-05 주식회사 위젯누리 사용자단말을 통한 타 단말 원격제어 제공 방법
KR102521821B1 (ko) * 2022-08-26 2023-04-13 백남칠 시각장애인용 무인단말기 제어장치
WO2024043578A1 (ko) * 2022-08-26 2024-02-29 (주)건융아이비씨 시각장애인용 무인단말기 제어장치

Similar Documents

Publication Publication Date Title
US10928988B2 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
US8588758B2 (en) Interfacing a mobile device with a computer
US20150077362A1 (en) Terminal with fingerprint reader and method for processing user input through fingerprint reader
US20140071049A1 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
CN102306059A (zh) 基于触控输入的手持数字电视通用遥控器
KR20120061169A (ko) 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템
KR20140111790A (ko) 가상 키보드에서 난수를 이용한 키 입력 방법 및 장치
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的系统和方法
US20140164186A1 (en) Method for providing application information and mobile terminal thereof
KR20140036532A (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
EP2998838B1 (en) Display apparatus and method for controlling the same
WO2022017421A1 (zh) 交互方法、显示装置、发射装置、交互系统及存储介质
US9285915B2 (en) Method of touch command integration and touch system using the same
KR101961786B1 (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치
KR101844651B1 (ko) 모바일 클라우드 컴퓨팅 클라이언트 환경에서 3d 터치를 이용한 모바일 기기의 마우스 입력장치 및 입력방법
KR20150080831A (ko) 스마트기기 간 양방향 원격 입출력 제어가 가능한 가상키보드
CN110874141A (zh) 图标移动的方法及终端设备
KR101555830B1 (ko) 셋톱박스 시스템 및 셋톱박스 리모컨 기능 제공 방법
TWI517686B (zh) 一種觸控無線通訊裝置與數位電視之座標控制系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application