KR20150099653A - 가상 입력 처리 방법 및 장치 - Google Patents

가상 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150099653A
KR20150099653A KR1020140020532A KR20140020532A KR20150099653A KR 20150099653 A KR20150099653 A KR 20150099653A KR 1020140020532 A KR1020140020532 A KR 1020140020532A KR 20140020532 A KR20140020532 A KR 20140020532A KR 20150099653 A KR20150099653 A KR 20150099653A
Authority
KR
South Korea
Prior art keywords
touch
input
visual object
interface
visual
Prior art date
Application number
KR1020140020532A
Other languages
English (en)
Other versions
KR101565237B1 (ko
Inventor
마종범
Original Assignee
주식회사 엠웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠웍스 filed Critical 주식회사 엠웍스
Priority to KR1020140020532A priority Critical patent/KR101565237B1/ko
Publication of KR20150099653A publication Critical patent/KR20150099653A/ko
Application granted granted Critical
Publication of KR101565237B1 publication Critical patent/KR101565237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서의 일 실시 예는 가상 입력 처리 방법 및 장치에 관한 것으로, 본 명세서의 일 실시 예에 따르는 터치 기반 장치의 터치 입력을 이용한 가상 입력 처리 방법은, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계, 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계, 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함할 수 있다. 본 명세서의 적어도 일부의 실시 예에 따르면 사용자가 편리하게 가상 입력을 처리할 수 있다.

Description

가상 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR HANDLING VIRTUAL INPUT}
본 명세서의 적어도 일부의 실시 예는 가상 입력 처리 방법 및 장치에 관한 것이다.
컴퓨터는 현대 생활을 논할 때 빼놓고 생각할 수 없는 중요한 위치를 차지하고 있다. 기술의 발전에 따라 전통적 의미의 컴퓨터뿐만 아니라 이른바 스마트 폰 및 태블릿 PC 등도 널리 사용되고 있다.
전통적 의미의 컴퓨터, 예를 들어 데스크톱 컴퓨터나 서버용 컴퓨터는 개인용, 업무용으로 널리 사용되고 있다. 데스크톱 컴퓨터는 같은 성능의 스마트 폰이나 태블릿 PC에 비하여 저렴하게 제작할 수 있는 장점이 있다. 즉, 같은 가격이라면 데스크톱 컴퓨터의 성능이 스마트 폰이나 태블릿 PC의 성능보다 우수한 것이 일반적이다. 서버용 컴퓨터는 안전성과 처리 성능이 스마트 폰이나 태블릿 PC에 비해 우수한 경우가 많다. 반면에, 스마트 폰이나 태블릿 PC는 휴대가 간편한 장점이 있다.
사용자가 가정이나 직장에서 사용하는 컴퓨터에 접근하기 위해서는 그 컴퓨터 앞에 앉아서 키보드나 마우스 등의 입력 장치를 이용해야 한다. 다만 사용자는 가정이나 직장 밖에서도 가정/직장의 컴퓨터를 이용하기 원할 수 있다. 이런 요구 때문에 원격 데스크톱과 같은 기술/방식이 개발되었다.
원격 데스크톱 기술은 원격 컴퓨터를 이용해 제어 대상 컴퓨터를 제어하는 인터페이스를 제공한다. 원격 데스크톱 기술에 따르면 제어 대상 컴퓨터의 화면이 원격 컴퓨터를 통해 제공되며, 원격 컴퓨터를 통한 입력이 제어 대상 컴퓨터에게 전달되어 제어 대상 컴퓨터가 원격 컴퓨터를 통한 입력에 따라 동작한다.
원격 컴퓨터를 통한 접속이 아닌 원격의 스마트 폰이나 태블릿 PC를 통한 원격 제어를 고려할 수도 있다. 원격 컴퓨터는 제어 대상 컴퓨터의 입력 장치와 유사한 마우스, 키보드 등을 구비한다. 하지만 스마트 폰이나 태블릿 PC 등 터치 기반 장치는 보통 실제 마우스나 키보드를 구비하지 않는다. 따라서 사용자는 터치 기반 장치에 터치 입력을 가하여 원격 컴퓨터를 제어해야 한다. 원격 컴퓨터가 일반 데스크톱 컴퓨터나 서버용 컴퓨터인 경우 마우스/키보드를 이용한 입력에 최적화돼 있다. 따라서 터치 입력을 효과적으로 처리하지 않으면 사용자가 큰 불편을 겪을 수 있다.
KR 10-2013-0140266 A
본 명세서의 적어도 일부의 실시 예는 사용자에게 편리한 가상 입력 방식과 관련이 있다.
본 명세서의 일 실시 예에 따르는 터치 기반 장치의 터치 입력을 이용한 가상 입력 처리 방법은, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계, 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계, 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함할 수 있다.
터치 입력을 이용하여 가상 입력을 처리하는 터치 기반 장치는, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 표시부, 터치 입력을 수신하는 터치센서부, 상기 터치센서부가 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하고, 상기 터치센서부가 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 제어부 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 통신부를 포함할 수 있다.
본 명세서의 일 실시 예에 따르는 전자 장치가 읽을 수 있는 프로그램 코드를 저장하는 저장매체는, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계, 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계, 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함하는 방법을 수행하는 프로그램 코드를 저장할 수 있다.
본 명세서의 일 실시 예에 따르는 프로그램 코드를 송신하는 송신 방법은, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계, 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계, 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함하는 방법을 수행하는 프로그램 코드, 또는 상기 프로그램 코드를 설치하기 위한 설치 프로그램 코드를 획득하는 단계 및 상기 프로그램 코드 또는 상기 설치 프로그램 코드를 송신하는 단계를 포함할 수 있다.
본 명세서의 일 실시 예에 따르는 프로그램 코드를 송신하는 송신 장치는, 버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계, 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계, 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계 및 상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함하는 방법을 수행하는 프로그램 코드, 또는 상기 프로그램 코드를 설치하기 위한 설치 프로그램 코드를 획득하는 제어부 및 상기 프로그램 코드 또는 상기 설치 프로그램 코드를 송신하는 통신부를 포함할 수 있다.
본 명세서의 적어도 일부의 실시 예에 따르면 사용자가 편리하게 가상 입력을 처리할 수 있다.
도 1은 본 명세서의 일 실시 예에 따르는 원격 제어 시스템의 망 구성도이다.
도 2는 본 명세서의 일 실시 예에 따르는 터치 기반 장치(200)의 블록구성도이다.
도 3은 본 명세서의 일 실시 예에 따르는 터치 기반 장치(200)의 가상 입력 처리 과정의 순서도이다.
도 4는 본 명세서의 일 실시 예에 따르는 기본 인터페이스(400)를 나타낸다.
도 5는 본 명세서의 일 실시 예에 따르는 확장 인터페이스(500)를 포함하는 인터페이스를 나타낸다.
도 6a 내지 도 6c는 본 명세서의 제1 실시 예에 따르는 가상 키보드 인터페이스들을 나타낸다.
도 7a 내지 도 7c는 본 명세서의 제2 실시 예에 따르는 가상 키보드 인터페이스들을 나타낸다.
도 8은 본 명세서의 일 실시 예에 따르는 송신 장치(800)의 블록구성도이다.
도 9는 본 명세서의 일 실시 예에 따르는 가상 입력 인터페이스 프로그램 설치 과정의 순서도이다.
이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 명세서가 속하는 기술 분야에 익히 알려져 있고 본 명세서와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 명세서의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
이하, 본 명세서의 실시 예들에 의하여 가상 입력 처리 방법 및 장치를 설명하기 위한 도면들을 참고하여 본 명세서에 대해 설명하도록 한다.
도 1은 본 명세서의 일 실시 예에 따르는 원격 제어 시스템의 망 구성도이다. 도 1을 참조하면 본 명세서의 일 실시 예에 따르는 원격 제어 시스템은 터치 기반 장치(200), 통신망(120) 및 제어 대상 장치(130)를 포함한다. 터치 기반 장치(200)와 제어 대상 장치(130)는 통신망(120)을 통해 연결된다. 통신망(120)는 예를 들어 무선 랜(LAN), 유선 랜, 롱 텀 에볼루션(LTE; Long-Term Evolution), LTE-A(LTE-Advanced), 코드분할다중접속(CDMA; Code Division Multiple Access), 광대역 CDMA(W-CDMA), GSM(Global System for Mobile Communications), 와이브로(Wibro), 기타 현재까지 알려졌거나 미래에 알려질 통신방식으로 연결될 수 있다. 터치 기반 장치(200)와 제어 대상 장치(130)는 예를 들어 인터넷 프로토콜(IP)을 통해 통신할 수 있다.
사용자는 터치 기반 장치(200)를 통해 제어 대상 장치(130)를 원격에서 제어할 수 있다. 터치 기반 장치(200)는 사용자에게 제어 대상 장치(130)를 제어할 수 있는 인터페이스 및 제어 대상 장치(130)의 정보 화면을 제공한다. 사용자가 인터페이스를 통해 제어 입력을 가하면, 터치 기반 장치(200)는 사용자의 제어 입력을 변환하여 제어 신호 제어 대상 장치(130)에게 송신한다. 제어 대상 장치(130)는 변환된 제어 신호에 따라 동작하고 동작 화면을 터치 기반 장치(200)에게 제공한다.
터치 기반 장치(200)는 터치스크린을 구비한 장치이다.
터치 기반 장치(200)는 예를 들어 iOS나 안드로이드를 운영체제로 사용하는 장치가 될 수 있다. 반대로 제어 대상 장치(130)는 윈도우즈를 운영체제로 사용하는 장치가 될 수 있다. 다만 이러한 운영체제의 사용은 예시적인 것에 불과하며, 각 장치는 다른 운영체제를 사용할 수도 있다.
터치 기반 장치(200)는 주로 모바일 장치나 태블릿 장치 등 휴대성이 강조된 장치가 될 수 있다. 이 경우 보통 하드웨어적 마우스나 하드웨어적 키보드는 사용되지 않으며, 터치 기반 장치(200)에 구비된 터치 스크린이 입력장치의 대부분의 기능을 수행한다. 반대로 제어 대상 장치(130)는 터치 스크린을 구비하지 않는 경우가 많고 일반적인 데스크톱 컴퓨터가 될 수 있다. 이 경우 제어 대상 장치(130)는 하드웨어적 마우스나 하드웨어적 키보드와 연결되어 입력을 수신하며, 제어 대상 장치(130)의 인터페이스 또한 하드웨어적 마우스나 하드웨어적 키보드를 사용할 경우에 맞도록 설계돼 있다. 따라서 터치 기반 장치(200)를 이용해 제어 대상 장치(130)를 제어하려는 경우 터치 입력으로 쉽게 하드웨어적 키보드/마우스 입력을 입력할 수 있도록 별도의 인터페이스를 제공할 필요가 있다.
도 2는 본 명세서의 일 실시 예에 따르는 터치 기반 장치(200)의 블록구성도이다.
도 2를 참조하면 본 명세서의 일 실시 예에 따르는 터치 기반 장치(200)는 통신부(210), 터치스크린부(230), 저장부(250) 및 제어부(260)를 포함한다.
통신부(210)는 제어 대상 장치(130)로부터 전달된 신호를 수신하여 제어부(260)에게 전달한다. 또한 통신부(210)는 제어부(260)의 제어에 따라 신호를 제어 대상 장치(130)에게 전달한다. 통신부(210)는 터치 기반 장치(200)가 사용하는 통신 프로토콜에 따라 신호 송수신을 위해 필요한 신호 변환을 수행한다. 통신부(210)는 제어 대상 장치(130)와 연결을 수립하고, 제어 대상 장치(130)의 원격 화면 데이터를 수신하여 제어부(260)에게 전달하며, 제어부(260)의 제어에 따라 제어 입력에 관한 신호를 제어 대상 장치(130)에게 전달한다.
저장부(250)는 터치 기반 장치(200)의 동작을 위해 필요한 데이터를 저장한다. 저장부(250)는 사용자 입력 인터페이스 및 원격 데스크톱 연결을 위해 필요한 프로그램 및 데이터(예를 들어, 그래픽 사용자 인터페이스에 사용되는 이미지)를 저장할 수 있다.
터치스크린부(230)는 터치센서부(231) 및 표시부(232)를 포함한다.
터치센서부(231)는 사용자의 터치 입력을 감지한다. 터치센서부(231)는 정전용량 방식(capacitive overlay), 압력식 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 실시 예의 터치센서부(231)로 구성될 수 있다. 터치센서부(231)는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(260)에게 전송한다. 상기 감지 신호는 사용자가 터치를 입력한 좌표 데이터를 포함한다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서부(231)는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(260)로 전송한다.
특히, 터치센서부(231)는 본 명세서의 실시 예에 따라 화면을 확대하기 위한 사용자 입력을 감지할 수 있다. 화면을 확대하기 위한 사용자 입력은 터치(멀티 터치 포함), 드래그, 핀치 아웃(pinch out) 중 어느 하나 이상이 될 수 있다. 여기서 핀치 아웃 입력은, 복수의 지점의 터치가 유지되면서 미리 설정된 속도 이상의 속도로, 미리 설정된 거리 이상, 서로 멀어지는 방향으로 이동한 후 터치가 종료되는 입력을 의미한다. 예를 들어 두 손가락이 터치된 상태에서 바깥쪽으로 튕기듯 터치 지점을 이동시키는 경우 핀치 아웃 입력이 될 수 있다. 또한 터치센서부(231)는 후술하는 터치 기반 장치(200)를 위한 인터페이스를 통해 입력되는 터치 입력을 감지한다.
표시부(232)는 터치 기반 장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(232)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 표시부(232)는 터치 기반 장치(200)의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 애플리케이션 화면을 출력하는 기능을 수행한다. 또한 표시부(232)는 제어부(260)의 제어에 따라 화면을 확대해서 표시할 수 있다. 표시부(232)는 특히 원격 데스크톱 연결을 통해 제어 대상 장치(130)로부터 제공되는 제어 대상 장치(130)의 가상 화면을 표시할 수 있다.
제어부(260)는 터치 기반 장치(200)의 각 구성부를 제어한다. 제어부(260)는 특히 통신부(210)를 통해 수신한 제어 대상 장치(130)의 가상 화면을 표시부(232)에 전달하여 표시하도록 할 수 있다. 또한 제어부(260)는 터치센서부(231)를 통해 입력되는 터치 입력을 해석/변환하여 제어 대상 장치(130)를 제어하기 위한 신호로 변환하여 통신부(210)를 통해 제어 대상 장치(130)에게 송신한다.
터치 기반 장치(200)의 구체적인 구성 및 동작에 대해서는 도 3 내지 도 7c를 참조하여 후술한다.
도 3은 본 명세서의 일 실시 예에 따르는 터치 기반 장치(200)의 가상 입력 처리 과정의 순서도이다.
도 3을 참조하면 단계 310에서 통신부(210)는 제어 대상 장치(130)와의 연결을 수립한다. 사용자는 제어 대상 장치(130)의 IP 주소나 도메인 네임, 기타 제어 대상 장치(130)의 식별 정보를 입력 및/또는 선택하고 연결을 지시하는 터치 입력을 입력할 수 있다. 그에 따라 통신부(210)는 제어 대상 장치(130)와 연결을 수립한다. 여기서 연결은 원격 데스크톱 서비스 제공을 위한 연결이다. 연결을 위해 사용자 식별자(ID) 및 사용자 암호(Password)가 사용될 수 있다. 사용자는 ID 및 사용자 암호를 입력하여 원격 데스크톱 연결을 시도할 수 있다. 연결이 수립되면, 통신부(210)는 제어 대상 장치(130)의 화면 데이터를 실시간으로 수신하여 표시부(232)에 전달하고, 표시부(232)는 화면 데이터에 따라 제어 대상 장치(130)의 화면을 표시한다.
단계 320에서 터치 기반 장치(200)는 기본 인터페이스를 제공한다. 기본 인터페이스는 예를 들어 도 4의 기본 인터페이스(400)와 유사한 형태가 될 수 있다. 기본 인터페이스(400) 및 그 동작 방식에 대해서는 도 4 내지 도 7c를 참조하여 후술한다. 사용자는 기본 인터페이스(400)를 표시하기 위해 별도의 입력을 할 수 있다. 즉, 터치 기반 장치(200)는 사용자의 제어 입력에 따라 기본 인터페이스(400)를 표시할 수도 있다.
단계 330에서 터치 기반 장치(200)는 기본 인터페이스 또는 기타 인터페이스를 통해 입력되는 사용자 입력을 처리한다. 단계 340에서 터치 기반 장치(200)는 제어 대상 장치(130)의 화면 데이터를 수신하여 표시한다. 단계 330 및 단계 340은 사용자가 기본 인터페이스(400) 제공을 종료하도록 하는 터치 입력을 입력하거나 제어 대상 장치(130)와의 연결이 종료될 때까지 반복된다. 사용자가 기본 인터페이스(400) 제공을 종료하도록 하는 터치 입력을 입력하면 단계 330은 생략되고 단계 340만이 반복하여 수행될 수도 있다.
단계 330 및 단계 340은 실질적으로 동시에 수행되거나 반대 순서로 수행될 수도 있다.
도 4는 본 명세서의 일 실시 예에 따르는 기본 인터페이스(400)를 나타낸다.
기본 인터페이스(400)는 왼쪽 버튼 시각 객체(410), 오른쪽 버튼 시각 객체(420), 스크롤 시각 객체(430), 확장 시각 객체(440), 종료 시각 객체(450) 및 둘 이상의 커서 위치 시각 객체(460)를 포함할 수 있다. 도 4의 기본 인터페이스는 예시적인 것에 불과하다, 특히 종료 시각 객체(450)는 생략되고 다른 종료 방식이 제공될 수도 있다. 또한 스크롤(430) 시각 객체가 생략되어 스크롤 기능이 생략될 수도 있다. 제어 대상 장치(130)가 버튼이 하나인 마우스를 사용하는 장치인 경우 왼쪽 버튼 시각 객체(410) 및 오른쪽 버튼 시각 객체(420) 중 어느 하나만이 사용될 수도 있다. 확장 시각 객체(440)가 생략되고 도 5와 같은 확장 인터페이스는 사용되지 않을 수도 있다. 다만 도 4의 실시 예에서는 왼쪽 버튼 시각 객체(410), 오른쪽 버튼 시각 객체(420), 스크롤 시각 객체(430), 확장 시각 객체(440), 종료 시각 객체(450) 및 둘 이상의 커서 위치 시각 객체(460)를 모두 포함한 실시 예를 설명한다.
기본 인터페이스(400)는 둘 이상의 커서 위치 시각 객체(460)를 포함한다. 터치 기반 장치(200)는 둘 이상의 커서 위치 시각 객체(460) 중 어느 하나에 대한 터치 입력을 수신하면 터치 입력된 커서 위치 시각 객체(460)를 활성화한다. 이후 왼쪽 버튼 시각 객체(410)나 오른쪽 버튼 시각 객체(420)가 터치되면 터치 기반 장치(200)는 활성화된 커서 위치 시각 객체(460)가 지시하는 위치에 대해 버튼 누름 입력을 지시하는 신호를 생성하여 제어 대상 장치(130)에게 송신한다. 어느 하나의 커서 위치 시각 객체(460)가 활성화되면 터치 기반 장치(200)는 활성화된 커서 위치 시각 객체를 비활성화 상태의 커서 위치 시각 객체와 구분되도록 시각적 표시를 할 수 있다. 예를 들어 터치 기반 장치(200)는 활성화된 커서 위치 시각 객체를 다른 커서 위치 시각 객체에 비하여 더 선명한 색으로 표시하거나 활성화된 커서 위치 시각 객체의 색상을 다른 커서 위치 시각 객체의 색상과 구분되도록 할 수 있다. 또한 터치 기반 장치(200)는 활성화된 커서 위치 시각 객체의 표시가 깜빡이도록 할 수도 있다.
도 4의 실시 예에서는 네 개의 커서 위치 시각 객체(460)가 사용되었고, 네 개의 커서 위치 시각 객체(460) 각각이 정사각형의 각 꼭지점을 지시한다. 하지만 커서 위치 시각 객체(460)는 두 개 이상이기만 하면 본 실시 예를 실시할 수 있다. 네 개의 커서 위치 시각 객체(460) 각각이 정사각형의 각 꼭지점을 지시하는 경우 제어 대상 장치(130)의 원격 화면(가상 화면) 끝 부분에 대한 입력을 수행하고자 할 때 편리하게 활용할 수 있다. 예를 들어 제어 대상 장치(130)의 원격 화면 오른쪽 위 끝의 창 닫기 버튼을 클릭하려는 경우 사용자는 오른쪽 위의 커서 위치 시각 객체(460)를 선택하고 기본 인터페이스(400)를 이동시켜 오른쪽 위의 커서 위치 시각 객체(460)가 창 닫기 버튼 위에 위치하도록 할 수 있다. 이후 사용자는 왼쪽 버튼 시각 객체(410)를 터치하여 창 닫기 버튼에 연관된 동작이 수행되도록 할 수 있다.
네 개의 커서 위치 시각 객체(460)는 네 개의 커서 위치 시각 객체(460) 각각이 지시하는 커서 위치가 이루는 정사각형의 내부에 위치할 수 있다. 이 경우 기본 인터페이스(400)가 화면 끝 부근에 위치하더라도 커서 위치 시각 객체(460)를 터치하는 것이 용이해진다. 도 4에서, 네 개의 커서 위치 시각 객체(460)가 지시하는 지점은 각 커서 위치 시각 객체(460)의 가장 바깥쪽 지점이 될 수 있다.
네 개의 커서 위치 시각 객체(460)는 정사각형이 아닌 직사각형의 각 꼭지점을 지시할 수도 있다. 이 경우 네 개의 커서 위치 시각 객체(460)가 지시하는 커서 위치가 이루는 직사각형의 각 변은 제어 대상 장치(130)의 화면의 각 변과 평행하게 설정될 수 있다.
터치 기반 장치(200)는 기본 인터페이스(400)의 왼쪽 버튼 시각 객체(410) 위치에서 터치 입력을 수신하면 활성화된 커서 위치 시각 객체(460)가 가리키는 지점에 왼쪽 버튼 누름 입력을 지시하는 신호를 제어 대상 장치(130)에게 송신한다. 마찬가지로 터치 기반 장치(200)는 기본 인터페이스(400)의 오른쪽 버튼 시각 객체(420) 위치에서 터치 입력을 수신하면 활성화된 위치 시각 객체(460)가 가리키는 지점에 오른쪽 버튼 누름 입력을 지시하는 신호를 송신한다. 여기서는 두 개의 버튼을 가지는 가상 마우스를 가정하였으나, 셋 이상의 버튼을 가지는 가상 마우스나 하나의 버튼을 가지는 가상 마우스에 대해서도 도 4와 같은 인터페이스가 사용될 수 있다. 이 경우 가상 마우스의 버튼 수에 따라 버튼 시각 객체의 수가 달라질 것이다. 왼쪽 버튼 시각 객체(410), 오른쪽 버튼 시각 객체(420)는 각각 왼쪽 버튼, 오른쪽 버튼을 형상화한 아이콘을 포함할 수 있다.
또한 터치 기반 장치(200)는 기본 인터페이스(400)의 왼쪽 버튼 시각 객체(410) 위치에서 터치 입력이 종료되면 왼쪽 버튼 누름이 해제됐음을 지시하는 신호를 제어 대상 장치(130)에게 송신한다. 마찬가지로 터치 기반 장치(200)는 기본 인터페이스(400)의 오른쪽 버튼 시각 객체(420) 위치에서 터치 입력이 종료되면 오른쪽 버튼 누름이 해제됐음을 지시하는 신호를 제어 대상 장치(130)에게 송신한다.
사용자가 왼쪽 버튼 시각 객체(410)를 터치한 뒤 미리 설정된 시간 이내에 터치를 종료하면(손가락을 화면에서 떼면) 클릭 입력으로 처리될 수 있다. 즉 탭(tap) 입력이 클릭 입력으로 변환될 수 있다. 마찬가지로 탭 입력이 미리 설정된 시간 이내에 두 번 이상 반복되는 더블 탭 입력은 더블 클릭 입력으로 처리될 수 있다. 기본 인터페이스(400)가 활성화되지 않은 상태에서, 또는 기본 인터페이스(400) 외부 위치에 대한 더블 탭 입력은 화면 확대를 위한 입력으로 처리될 수도 있다. 하지만 기본 인터페이스(400)가 활성화된 상태에서 왼쪽 버튼 시각 객체(410) 또는 오른쪽 버튼 시각 객체(420) 위치에서의 더블 탭 입력은 더블 클릭 입력으로 처리될 수 있다.
사용자가 왼쪽 버튼 시각 객체(410)를 터치한 뒤 터치 상태를 유지한 채로 터치 지점을 이동하는 경우 터치 기반 장치(200)는 기본 인터페이스(400)가 표시되는 위치를 사용자의 터치 지점 이동에 따라 이동시킨다. 또한 터치 기반 장치(200)는 기본 인터페이스(400)의 이동에 상응하는 커서의 이동에 관한 지시 신호를 제어 대상 장치(130)에게 전달한다. 즉 사용자가 왼쪽 버튼 시각 객체(410)를 터치한 뒤 터치 상태를 유지한 채로 터치 지점을 이동하는 경우 제어 대상 장치(130)에 대한 드래그 입력으로 처리될 수 있다. 오른쪽 버튼 시각 객체(420)의 경우도 마찬가지이다.
도 4의 실시 예에서 왼쪽 버튼 시각 객체(410)는 커서 위치 시각 객체(460)가 지시하는 지점을 꼭지점으로 하는 사각형 내부에 위치한다. 또한 오른쪽 버튼 시각 객체(420)는 커서 위치 시각 객체(460)가 지시하는 지점을 꼭지점으로 하는 사각형 외부, 오른쪽에 위치한다. 사용자는 왼쪽 버튼을 더 자주 사용하므로 왼쪽 버튼을 사각형 내부에 위치시카고 오른쪽 버튼은 실제 마우스의 버튼 위치에 따라 사각형 외부 오른쪽에 배치시킨 것이다. 하지만 왼쪽 버튼 시각 객체(410)와 오른쪽 버튼 시각 객체(420)의 배치는 실시 예에 따라 달라질 수 있다.
터치 기반 장치(200)는 스크롤 시각 객체(430)에 대한 터치가 입력된 후 터치 상태가 유지되는 동안 터치 위치가 이동되면 그 터치 위치의 이동에 따라 스크롤을 지시하는 신호를 생성하여 제어 대상 장치(130)에게 전달한다. 예를 들어 터치 위치가 위쪽으로 이동하면 상향 스크롤, 터치 위치가 아래쪽으로 이동하면 하향 스크롤 신호가 전달될 수 있다. 도 4의 실시 예에서 스크롤 시각 객체(430)는 두 개이고 두 스크롤 시각 객체(430) 사이에 왼쪽 버튼 시각 객체(410)가 위치한다. 상하 스크롤이 주로 사용되므로 왼쪽 버튼 시각 객체(410)의 상단과 하단에 두 스크롤 시각 객체(430)를 배치시킬 수 있다. 도 4의 스크롤 시각 객체(430) 배치는 일 실시 예에 불과하며, 스크롤 시각 객체(430)가 하나만 배치되거나 다른 위치에 배치될 수도 있다.
사용자가 스크롤 시각 객체(430)를 터치한 후 터치를 유지한 채로 터치 지점을 이동시키면 터치 기반 장치(200)는 스크롤을 지시하는 신호를 제어 대상 장치(130)에게 전달한다. 이 경우 기본 인터페이스(400)는 이동하지 않는다. 사용자가 기본 인터페이스(400) 중 스크롤 시각 객체(430) 이외의 부분을 터치한 후 터치를 유지한 채로 터치 지점을 이동시키면 터치 기반 장치(200)는 커서 이동을 지시하는 신호를 제어 대상 장치(130)에게 전달한다. 상술한 바와 같이 사용자가 버튼 시각 객체(410, 420)를 터치한 후 터치를 유지한 채로 터치 지점을 이동시키면 드래그 입력으로 처리된다. 사용자가 기본 인터페이스(400) 중 스크롤 시각 객체(430) 및 버튼 시각 객체(410, 420)를 제외한 부분을 터치한 후 터치를 유지한 채로 터치 지점을 이동시키면 단순한 커서 이동 입력으로 처리된다.
터치 기반 장치(200)는 종료 시각 객체(450) 위치에 터치 입력을 수신하면 기본 인터페이스(400) 제공을 종료한다. 기본 인터페이스(400)의 사용을 바라지 않는 경우 사용자는 종료 시각 객체(450)를 터치하여 기본 인터페이스(400) 표시를 종료시킬 수 있다.
도 5는 본 명세서의 일 실시 예에 따르는 확장 인터페이스(500)를 포함하는 인터페이스를 나타낸다.
터치 기반 장치(200)는 확장 시각 객체(440) 위치에 터치 입력을 수신하면 확장 인터페이스(500)를 더 제공한다. 그에 따라 도 5와 같은 인터페이스가 제공될 수 있다. 도 5에서 확장 인터페이스는 오른쪽 버튼 시각 객체(420)의 오른쪽에 배치되었다. 하지만 다른 실시 예에 따르면 확장 인터페이스는 다른 곳에 배치될 수도 있다.
도 5를 참조하면 확장 인터페이스(500)는 제1 키보드 시각 객체(510), 제2 키보드 시각 객체(520) 및 기본 배율 시각 객체(530)를 포함한다.
터치 기반 장치(200)는 기본 배율 시각 객체(530) 위치에 터치 입력을 수신하면 제어 대상 장치(130)의 화면을 기본 배율로 표시한다. 상술한 바와 같이 제어 대상 장치(130)는 서버용 컴퓨터나 업무용, 개인용 컴퓨터가 될 수 있다. 이와 같은 제어 대상 장치(130)는 모니터를 통해 화면을 출력한다. 또한 제어 대상 장치(130)는 가상 화면 데이터를 제공할 때도 모니터 크기에 맞도록 화면 데이터를 제공한다. 터치 기반 장치(200)는 모니터에 비해 작은 크기의 표시부(232)를 포함할 수 있다. 이 경우 표시부(232)가 제어 대상 장치(130)의 전체 가상 화면을 한꺼번에 표시하는 경우 가상 화면의 세부 항목이 제대로 확인되지 않을 수 있다. 따라서 사용자는 여러 방법으로 가상 화면이 확대 표시되도록 제어할 수 있다. 다만 가상 화면의 표시를 원래의 배율로 되돌리는 경우 기본 배율 시각 객체(530)를 터치할 수 있다.
터치 기반 장치(200)는 제1 키보드 시각 객체(510) 위치에 터치 입력을 수신하면, 제1 가상 키보드(예를 들어 기본 키보드) 인터페이스를 표시할 수 있다. 또한 터치 기반 장치(200)는 제2 키보드 시각 객체(520) 위치에 터치 입력을 수신하면, 제2 가상 키보드(예를 들어 기능 키 키보드) 인터페이스를 표시할 수 있다. 각 키보드 시각 객체에 대해 상응하는 가상 키보드 인터페이스가 정해져 있으며 터치 기반 장치(200)는 선택된 키보드 시각 객체에 상응하는 가상 키보드 인터페이스를 제공할 수 있다.
변형 예에 따르면 제1 키보드 시각 객체(510)나 제2 키보드 시각 객체(520)가 생략될 수 있다. 또한 셋 이상의 키보드 시각 객체가 사용될 수도 있다.
도 6a 내지 도 6c는 본 명세서의 제1 실시 예에 따르는 가상 키보드 인터페이스들을 나타낸다. 예를 들어 터치 기반 장치(200)는 제1 키보드 시각 객체(510) 위치에 터치 입력을 수신하면 도 6a와 같은 가상 키보드를 제공할 수 있고, 제2 키보드 시각 객체(520) 위치에 터치 입력을 수신하면 도 6b와 같은 가상 키보드를 제공할 수 있다.
도 6a를 참조하면 가상 키보드 인터페이스는 기본 키보드 인터페이스(610) 및 제1 보조 키 인터페이스(620)를 포함한다. 기본 키보드 인터페이스(610)는 터치 기반 장치(200)에서 기본적으로 제공되는 키보드 인터페이스이다. 터치 기반 장치(200)의 특성 상 제어 대상 장치(130)의 제어를 위해 사용될 수 있는 키보드 키 중 일부는 기본 키보드 인터페이스(610)에 포함되지 않는다. 예를 들어 일반 윈도우즈 OS를 위한 키보드에서 사용될 수 있는 F1, F2 키나 ctrl 키, alt 키, esc 키, Home 키 등의 기능키는 안드로이드 OS(또는 iOS)를 위한 기본 키보드에는 포함되지 않으며 터치 기반 장치(200)에서는 사용되지 않는다. 이러한 기능키 중 일부는 제1 보조 키 인터페이스(620)를 통해 입력될 수 있다. 도 6a를 참조하면 제1 보조 키 인터페이스(620)는 Tab 키 입력 버튼, Esc 키 입력 버튼, Shift 키 입력 버튼, Ctrl 키 입력 버튼, 윈도우즈 키 입력 버튼 및 Alt 키 입력 버튼을 포함한다. 또한 제1 보조 키 인터페이스(620)는 원격 데스크톱 연결 해제를 위한 키(Disconnect) 및 키보드 표시 중단을 위한 키(Done)를 포함한다.
또한 제1 보조 키 인터페이스(620)는 보조 키 표시 시각 객체(630) 및 조합 키 표시 시각 객체(640)를 포함한다. 보조 키 표시 시각 객체(630) 및 조합 키 표시 시각 객체(640) 중 일부는 생략될 수도 있다.
터치 기반 장치(200)는 보조 키 표시 시각 객체(630) 위치에 터치 입력을 수신하면 기본 키보드 인터페이스(610) 위치에 제2 보조 키 인터페이스(650)를 표시/제공한다. 터치 기반 장치(200)는 기본 키보드 인터페이스(610) 위에 제2 보조 키 인터페이스(650)를 덮어쓰거나 기본 키보드 인터페이스(610)의 표시를 중단하고 그 위치에 제2 보조 키 인터페이스(650)를 표시할 수도 있다.
제2 보조 키 인터페이스(650)는 터치 기반 장치(200)에서 사용되지 않는 키 중 일부를 포함할 수 있다. 도 6b의 예에서 제2 보조 키 인터페이스(650)는 F1~F12 키, 숫자 패드 키를 포함할 수 있다. 특히 숫자 패드 키는 101키 키보드의 숫자 패드 부분 배치와 유사한 형태로 배치될 수 있다. 터치 기반 장치(200)는 제2 보조 키 인터페이스(650) 중 어느 한 키 위치에 터치 입력을 수신하면 터치된 키에 상응하는 입력을 지시하는 신호를 제어 대상 장치(130)에게 송신한다. 제2 보조 키 인터페이스(650)를 통해 사용자는 더 쉽게 터치 기반 장치(200)가 지원하지 않는 보조 키들을 입력할 수 있다.
터치 기반 장치(200)는 조합 키 표시 시각 객체(630) 위치에 터치 입력을 수신하면 기본 키보드 인터페이스(610) 위치에 조합 키 인터페이스(660)를 표시/제공한다. 터치 기반 장치(200)는 기본 키보드 인터페이스(610) 위에 조합 키 인터페이스(660)를 덮어쓰거나 기본 키보드 인터페이스(610)의 표시를 중단하고 그 위치에 조합 키 인터페이스(660)를 표시할 수도 있다.
조합 키 인터페이스(660)는 기본 키보드 인터페이스(610)의 키들 및 제1 보조 키 인터페이스(620)의 키들 중 둘 이상을 조합한 입력을 지시하는 키들을 포함한다. 도 6c의 예에서 조합 키 인터페이스(660)는 ctrl 키와 alt키의 조합, ctrl 키와 a키의 조합 등을 포함할 수 있다. 터치 기반 장치(200)는 조합 키 인터페이스(660) 중 어느 한 키 위치에 터치 입력을 수신하면 터치된 키에 상응하는 조합 키 입력을 지시하는 신호를 제어 대상 장치(130)에게 송신한다. 조합 키 인터페이스(660)를 통해 사용자는 더 쉽게 둘 이상의 키들의 조합을 입력할 수 있다.
도 7a 내지 도 7c는 본 명세서의 제2 실시 예에 따르는 가상 키보드 인터페이스들을 나타낸다. 예를 들어 터치 기반 장치(200)는 제1 키보드 시각 객체(510) 위치에 터치 입력을 수신하면 도 7a와 같은 가상 키보드를 제공할 수 있고, 제2 키보드 시각 객체(520) 위치에 터치 입력을 수신하면 도 7b와 같은 가상 키보드를 제공할 수 있다.
도 7a의 기본 키보드 인터페이스(710)는 도 6a의 기본 키보드 인터페이스(610)에 대응된다. 도 7a의 제1 보조 키 인터페이스(720)는 도 6a의 제1 보조 키 인터페이스(620)에 대응된다. 도 7a의 보조 키 표시 시각 객체(730)는 도 6a의 보조 키 표시 시각 객체(630)에 대응된다. 도 7a의 조합 키 표시 시각 객체(740)는 도 6a의 조합 키 표시 시각 객체(640)에 대응된다.
도 7b를 참조하면, 터치 기반 장치(200)는 보조 키 표시 시각 객체(730) 위치에 터치 입력을 수신하면, 제2 보조 키 인터페이스(750)를 기본 키보드 인터페이스(710) 대신 표시한다. 이는 도 6b의 제2 보조 키 인터페이스(650)에 대응된다.
도 7c를 참조하면, 터치 기반 장치(200)는 조합 키 표시 시각 객체(740) 위치에 터치 입력을 수신하면, 조합 키 인터페이스(760)를 제1 보조 키 인터페이스(720) 위치에 대신 표시할 수 있다.
이와 같이 조합 키 인터페이스(660, 760)나 제2 보조 키 인터페이스(650, 750)이 표시되는 위치는 실시 예에 따라 달라질 수 있다.
도 8은 본 명세서의 일 실시 예에 따르는 송신 장치(800)의 블록구성도이다. 송신 장치(800)는 통신부(810), 제어부(820) 및 저장부(830)를 포함할 수 있다. 저장부(830)는 도 1 내지 도 7c를 참조하여 상술한 실시 예 들 중 일부를 수행하기 위한 프로그램, 및/또는 그 프로그램을 설치하기 위한 설치 패키지(설치 프로그램)을 저장한다. 이하 "도 1 내지 도 7c를 참조하여 상술한 실시 예 들 중 일부를 수행하기 위한 프로그램, 및/또는 그 프로그램을 설치하기 위한 설치 패키지(설치 프로그램)"을 가상 입력 인터페이스 프로그램이라 칭한다.
송신 장치(800) 시스템을 이용하는 개발자 또는 송신 장치(800)의 관리자는 가상 입력 인터페이스 프로그램을 저장부(830)에 저장할 수 있다. 통신부(810)를 통해 가상 입력 인터페이스 프로그램을 요청하는 요청 메시지를 수신하면 제어부(820)는 가상 입력 인터페이스 프로그램을 통신부(810)를 통해 요청 메시지의 발신자에게 전달한다.
도 9는 본 명세서의 일 실시 예에 따르는 가상 입력 인터페이스 프로그램 설치 과정의 순서도이다.
단계 910에서 터치 기반 장치(200)는 송신 장치(800)에게 패키지 요청 메시지를 송신한다. 패키지 요청 메시지는 가상 입력 인터페이스 프로그램을 요청하는 메시지이다. 단계 920에서 송신 장치(800)는 터치 기반 장치(200)에게 가상 입력 인터페이스 프로그램(패키지)를 전달한다.
단계 930에서 터치 기반 장치(200)는 수신한 가상 입력 인터페이스 프로그램(패키지)를 설치한다. 설치가 불필요하고 수신한 가상 입력 인터페이스 프로그램을 그대로 실행할 수 있는 경우 단계 930은 생략될 수 있다. 단계 940에서 터치 기반 장치(200)는 사용자의 입력에 따라 가상 입력 인터페이스 프로그램을 실행하여 도 1 내지 도 7c를 참조하여 상술한 실시 예 중 적어도 일부에 해당하는 과정을 수행한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서의 일 실시 예에 따른 터치 기반 장치는 휴대폰, PDA(Personal Digital Assistant), 내비게이션(navigation), 디지털 방송 수신기, PMP(Portable Multimedia Player) 등과 같은 휴대용 전자기기 장치 중 일부를 포함할 수 있다.
본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
400: 기본 인터페이스 410: 왼쪽 버튼 시각 객체
420: 오른쪽 버튼 시각 객체 430: 스크롤 시각 객체
440: 확장 시각 객체 450: 종료 시각 객체
460: 커서 위치 시각 객체 500: 확장 인터페이스
510, 520: 키보드 시각 객체 530: 기본 배율 시각 객체
610, 710: 기본 키보드 인터페이스
620, 650, 720, 750: 보조 키 인터페이스
630, 730: 보조 키 표시 시각 객체 640, 740: 조합 키 표시 시각 객체
660, 760: 조합 키 인터페이스

Claims (14)

  1. 터치 기반 장치의 터치 입력을 이용한 가상 입력 처리 방법에 있어서,
    버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 단계;
    상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하는 단계;
    상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 단계; 및
    상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 단계를 포함하는 가상 입력 처리 방법.
  2. 제1항에 있어서,
    상기 둘 이상의 커서 위치 시각 객체는 정사각형의 각 꼭지점을 지시하는 시각 객체들을 포함하는 가상 입력 처리 방법.
  3. 제2항에 있어서,
    상기 버튼 시각 객체는 상기 정사각형 내부에 위치하는 것을 특징으로 하는 가상 입력 처리 방법.
  4. 제1항에 있어서, 상기 기본 인터페이스는 스크롤 시각 객체를 더 포함하고,
    상기 스크롤 시각 객체를 선택하는 터치 입력을 수신하면 상기 스크롤 시각 객체를 선택하는 터치 입력 이후 터치 상태가 유지되는 동안 터치 위치의 이동에 따라 스크롤을 지시하는 신호를 생성하는 단계; 및
    상기 생성된 스크롤을 지시하는 신호를 송신하는 단계를 더 포함하는 가상 입력 처리 방법.
  5. 제4항에 있어서, 상기 스크롤 시각 객체는 두 개이고 상기 두 개의 스크롤 시각 객체 사이에 상기 버튼 시각 객체가 위치하는 것을 특징으로 하는 가상 입력 처리 방법.
  6. 제1항에 있어서, 상기 기본 인터페이스는 확장 시각 객체를 더 포함하고,
    상기 확장 시각 객체를 선택하는 터치 입력을 수신하면 기본 배율 시각 객체를 포함하는 확장 인터페이스를 표시하는 단계; 및
    상기 기본 배율 시각 객체를 선택하는 터치 입력을 수신하면 화면을 기본 배율로 변경하여 표시하는 단계를 더 포함하는 가상 입력 처리 방법.
  7. 제1항에 있어서, 상기 기본 인터페이스는 확장 시각 객체를 더 포함하고,
    상기 확장 시각 객체를 선택하는 터치 입력을 수신하면 키보드 표시 시각 객체를 포함하는 확장 인터페이스를 표시하는 단계; 및
    상기 키보드 표시 시각 객체를 선택하는 터치 입력을 수신하면 가상 키보드 인터페이스를 표시하는 단계를 더 포함하는 가상 입력 처리 방법.
  8. 제7항에 있어서,
    상기 가상 키보드 인터페이스는 상기 터치 기반 장치에서 사용되는 기본 키를 포함하는 기본 키 인터페이스 및 상기 터치 기반 장치에서 사용되지 않는 제1 보조 키를 포함하는 제1 보조 키 인터페이스를 포함하는 것을 특징으로 하는 가상 입력 처리 방법.
  9. 제8항에 있어서,
    상기 보조 키 인터페이스는 보조 키 표시 시각 객체를 더 포함하고,
    상기 보조 키 표시 시각 객체를 선택하는 터치 입력을 수신하면 상기 터치 기반 장치에서 사용되지 않는 제2 보조 키를 포함하는 제2 보조 키 인터페이스를 표시하는 단계; 및
    상기 제2 보조 키 인터페이스의 제2 보조 키 중 어느 하나를 선택하는 터치 입력을 수신하면 선택된 제2 보조 키에 상응하는 입력 신호를 송신하는 단계를 더 포함하는 가상 입력 처리 방법.
  10. 제8항에 있어서,
    상기 보조 키 인터페이스는 조합 키 표시 시각 객체를 더 포함하고,
    상기 조합 키 표시 시각 객체를 선택하는 터치 입력을 수신하면 상기 제1 보조키 및 상기 기본 키 중 둘 이상의 키를 조합한 입력을 지시하는 조합 키를 포함하는 조합 키 인터페이스를 표시하는 단계; 및
    상기 조합 키 인터페이스의 조합 키 중 어느 하나를 선택하는 터치 입력을 수신하면 선택된 조합 키에 상응하는 입력 신호를 송신하는 단계를 더 포함하는 가상 입력 처리 방법.
  11. 터치 입력을 이용하여 가상 입력을 처리하는 터치 기반 장치에 있어서,
    버튼 시각 객체 및 둘 이상의 커서 위치 시각 객체를 포함하는 기본 인터페이스를 표시하는 표시부;
    터치 입력을 수신하는 터치센서부;
    상기 터치센서부가 상기 둘 이상의 커서 위치 시각 객체 중 어느 하나를 선택하는 터치 입력을 수신하면 상기 선택된 커서 위치 시각 객체를 활성화하고, 상기 터치센서부가 상기 버튼 시각 객체를 선택하는 터치 입력을 수신하면 상기 활성화된 커서 위치 시각 객체가 지시하는 위치에 버튼 누름 입력을 지시하는 신호를 생성하는 제어부; 및
    상기 생성된 버튼 누름 입력을 지시하는 신호를 송신하는 통신부를 포함하는 가상 입력 처리 장치.
  12. 전자 장치가 읽을 수 있는 프로그램 코드를 저장하는 저장매체에 있어서,
    상기 프로그램 코드는 제1항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램 코드를 포함하는 것을 특징으로 하는 저장 매체.
  13. 전자 장치가 읽을 수 있는 프로그램 코드를 송신하는 송신 방법에 있어서,
    제1항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램 코드, 또는 상기 프로그램 코드를 설치하기 위한 설치 프로그램 코드를 획득하는 단계; 및
    상기 프로그램 코드 또는 상기 설치 프로그램 코드를 송신하는 단계를 포함하는 송신 방법.
  14. 전자 장치가 읽을 수 있는 프로그램 코드를 송신하는 송신 장치에 있어서,
    제1항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램 코드, 또는 상기 프로그램 코드를 설치하기 위한 설치 프로그램 코드를 획득하는 제어부; 및
    상기 프로그램 코드 또는 상기 설치 프로그램 코드를 송신하는 통신부를 포함하는 송신 장치.
KR1020140020532A 2014-02-21 2014-02-21 가상 입력 처리 방법 및 장치 KR101565237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140020532A KR101565237B1 (ko) 2014-02-21 2014-02-21 가상 입력 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140020532A KR101565237B1 (ko) 2014-02-21 2014-02-21 가상 입력 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150099653A true KR20150099653A (ko) 2015-09-01
KR101565237B1 KR101565237B1 (ko) 2015-11-03

Family

ID=54241670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140020532A KR101565237B1 (ko) 2014-02-21 2014-02-21 가상 입력 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101565237B1 (ko)

Also Published As

Publication number Publication date
KR101565237B1 (ko) 2015-11-03

Similar Documents

Publication Publication Date Title
EP3175336B1 (en) Electronic device and method for displaying user interface thereof
KR102021048B1 (ko) 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
US20170351404A1 (en) Method and apparatus for moving icon, an apparatus and non-volatile computer storage medium
EP2738661A2 (en) Method for displaying applications and electronic device thereof
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
KR102270007B1 (ko) 단말 장치 및 단말 장치의 원격 제어 방법
CN106354373B (zh) 一种图标移动方法及移动终端
KR20120136796A (ko) 문자 입력 인터페이스 제공 방법 및 장치
KR102228335B1 (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
AU2012214993B2 (en) Method and apparatus for providing graphic user interface in mobile terminal
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US20150248213A1 (en) Method to enable hard keys of a device from the screen
JP2013198162A (ja) 仮想キーパッドを利用するモバイル端末の遠隔制御方法及び装置
EP2998838B1 (en) Display apparatus and method for controlling the same
JP2014071724A (ja) 電子機器、制御方法及び制御プログラム
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
JP2014048976A (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
JP5882279B2 (ja) 情報処理装置、方法及びプログラム
KR102095039B1 (ko) 터치 인터페이스를 제공하는 장치에서 터치 입력을 수신하는 방법 및 장치
CN107632761B (zh) 一种显示内容查看方法、移动终端和计算机可读存储介质
WO2014034369A1 (ja) 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体
US20190012045A1 (en) Seamless workflow between mobile applications on portable device
US20150062038A1 (en) Electronic device, control method, and computer program product
KR20150080831A (ko) 스마트기기 간 양방향 원격 입출력 제어가 가능한 가상키보드
KR101565237B1 (ko) 가상 입력 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 5