KR102015347B1 - 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치 - Google Patents

터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치 Download PDF

Info

Publication number
KR102015347B1
KR102015347B1 KR1020130001835A KR20130001835A KR102015347B1 KR 102015347 B1 KR102015347 B1 KR 102015347B1 KR 1020130001835 A KR1020130001835 A KR 1020130001835A KR 20130001835 A KR20130001835 A KR 20130001835A KR 102015347 B1 KR102015347 B1 KR 102015347B1
Authority
KR
South Korea
Prior art keywords
touch
mouse
panning
pointer
area
Prior art date
Application number
KR1020130001835A
Other languages
English (en)
Other versions
KR20140089874A (ko
Inventor
정석희
임민경
박홍주
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130001835A priority Critical patent/KR102015347B1/ko
Priority to AU2014200068A priority patent/AU2014200068B2/en
Priority to EP14150301.1A priority patent/EP2752759B1/en
Priority to US14/149,093 priority patent/US9223414B2/en
Priority to CN201410007000.4A priority patent/CN103914253B/zh
Priority to PCT/KR2014/000140 priority patent/WO2014107087A1/en
Priority to JP2014001092A priority patent/JP6378487B2/ja
Publication of KR20140089874A publication Critical patent/KR20140089874A/ko
Application granted granted Critical
Publication of KR102015347B1 publication Critical patent/KR102015347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 터치 디바이스에서 마우스 인터페이스(mouse interface)를 표시하고, 상기 마우스 인터페이스를 기반으로 입력되는 사용자의 마우스 제스처(mouse gesture)에 따른 마우스 기능 지원에 의해 원격의 장치를 제어할 수 있는 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치에 관한 것으로, 이러한 본 발명은 터치 디바이스에서 마우스 기능 제공 방법에 있어서, 패닝 영역과 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하는 과정; 상기 마우스 인터페이스를 통해 마우스 제스처를 입력받는 과정; 상기 마우스 제스처가 상기 패닝 영역에 입력된 경우 디스플레이 디바이스에 표시된 컨텐츠 화면의 패닝(panning) 동작을 처리하는 과정; 및 상기 마우스 제스처가 상기 포인터 이동 영역에 입력된 경우 디스플레이 디바이스에 표시된 마우스 포인터의 이동 동작을 처리하는 과정을 포함한다.

Description

터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING MOUSE FUNCTION USING TOUCH DEVICE}
본 발명은 터치 디바이스를 이용한 마우스(mouse) 기능 운용 방법 및 장치에 관한 것으로, 특히 기존 터치 디바이스에서 마우스 기능 사용에 따른 불편함을 없애고 개선된 사용성을 제공할 수 있는 터치 디바이스를 이용한 마우스 기능 운용 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰(Smart Phone), 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 휴대단말이 다양하게 출시되고 있다. 이러한 휴대단말은 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말들의 영역까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 대표적으로, 휴대단말은 음성통화 및 영상통화 등과 같은 통화 기능, SMS(Short Message Service)/MMS(Multimedia Message Service) 및 이메일 등과 같은 메시지 송수신 기능, 내비게이션 기능, 촬영 기능, 방송 재생 기능, 미디어(동영상 및 음악) 재생 기능, 인터넷 기능, 메신저 기능 및 소셜 네트워크 서비스(SNS, Social Networking Service) 기능 등의 다양한 기능들을 구비할 수 있다.
더욱이, 최근에는 휴대단말을 외부의 디스플레이 디바이스(예컨대, TV, 모니터 등)와 HDMI(High-Definition Multimedia Interface)로 연결하여 고해상도 컨텐츠를 큰 화면으로 쉽게 감상할 수 있는 기능이 제공되고 있다. 이때, 단순히 개인용 컴퓨터(PC, Personal Computer)의 컨텐츠(예컨대, 영화 컨텐츠, 사진 컨텐츠, 게임 컨텐츠, 인터넷 컨텐츠 등)를 감상할 때에는 멀리 원격에서 조작할 일이 드물다. 하지만, 휴대단말을 디스플레이 디바이스와 연결하여 다양한 컨텐츠를 즐기고자 하는 경우에는 원격에서 편하게 조작할 수 있는 원격 제어(remote control) 장치가 필수적이다. 이때, 종래에서는 무선 마우스(wireless mouse)나 무선 키보드(wireless keyboard)를 이용하여 원격에서의 조작을 지원하기는 하나, 이는 별도의 무선 마우스나 무선 키보드를 구비해야 하며, 거실 소파 등에 앉아서 사용하기에는 많은 불편함이 있다.
이에, 종래에서는 사용자가 소지하고 있는 휴대단말의 터치스크린(touch-screen)을 마우스 패드(mouse pad)와 같이 사용하는 방안이 제안되었다. 하지만, 이러한 종래의 기술은 노트북의 터치패드(touch-pad)와 같이 마우스 패드 영역과 마우스 좌/우 버튼만을 제공할 뿐이고, 마우스 패드 영역은 마우스 커서(mouse cursor)의 이동에만 국한되어 사용되고, 마우스 좌/우 버튼은 선택/메뉴로 사용되고 있다.
따라서 종래의 휴대단말을 사용하여 마우스 기능을 조작할 경우, 예를 들어 드래그 앤 드롭(Drag & Drop)을 위해서는 마우스 패드 영역을 터치하여 원하는 곳에 마우스 커서를 이동한 후 좌 버튼(Left button)을 입력한 상태에서 다시 마우스 패드 영역을 터치하여 드롭(Drop)하고자 하는 위치로 이동하고, 이후 좌 버튼에서 손을 떼는 복잡한 조작을 수행하여야 한다. 이는 노트북에 장착되어 있는 마우스 패드에서 동일하게 경험할 수 있는 불편함이 있다. 또한 종래의 휴대단말에서는 좌/우 화면 플릭(flick) 혹은 상/하 스크롤 시 조작이 불편하고, 브라우저(Browser)나 갤러리(Gallery)에서 화면을 이동하는 패닝(panning) 동작에서도 그 조작이 매우 불편한 문제점이 있다.
본 발명의 목적은 터치 디바이스를 이용하여 보다 효과적이고 기능적인 마우스 동작을 지원할 수 있는 터치 디바이스에서 마우스 기능 제공 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 터치 디바이스에서 마우스 기능을 지원함에 있어서 기존의 터치 디바이스의 마우스 조작에 대한 불편함을 해소하고 개선된 사용성을 제공할 수 있는 터치 디바이스에서 마우스 기능 제공 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 화면의 패닝 제어를 위한 패닝 영역과 마우스 포인터의 포인터 이동 제어를 위한 포인터 이동 영역을 화면 분할을 통해 구분하여, 마우스 기능 운용에 대한 편의성을 향상시킬 수 있는 터치 디바이스에서 마우스 기능 제공 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 터치 디바이스에서 마우스 기능을 지원하기 위한 최적의 환경을 구현하여 사용자의 편의성 및 터치 디바이스의 사용성을 향상시킬 수 있는 터치 디바이스에서 마우스 기능 제공 방법 및 장치를 제공함에 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 터치 디바이스에서 마우스 기능 제공 방법에 있어서, 패닝 영역과 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하는 과정; 상기 마우스 인터페이스를 통해 마우스 제스처를 입력받는 과정; 상기 마우스 제스처가 상기 패닝 영역에 입력된 경우 디스플레이 디바이스에 표시된 컨텐츠 화면의 패닝(panning) 동작을 처리하는 과정; 및 상기 마우스 제스처가 상기 포인터 이동 영역에 입력된 경우 디스플레이 디바이스에 표시된 마우스 포인터의 이동 동작을 처리하는 과정을 포함한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 터치 디바이스에 있어서, 마우스 모드에서 컨텐츠 화면의 패닝(panning)을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하는 표시부; 상기 마우스 인터페이스의 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 터치 이벤트 입력을 수신하는 터치감지부; 상기 마우스 인터페이스로부터 발생된 터치 이벤트를 전송하는 무선 통신부; 및 마우스 모드 실행 시 상기 패닝 영역 및 상기 포인터 이동 영역으로 화면 분할된 마우스 인터페이스 표시를 제어하고, 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하는 제어부를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 마우스 기능을 이용한 원격 제어 시스템에 있어서, 마우스 모드 실행 시 패닝 영역 및 포인터 이동 영역으로 화면 분할된 마우스 인터페이스를 표시하고, 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠 화면의 패닝(panning) 및 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하는 마스터 디바이스; 컨텐츠를 제공하고, 상기 마스터 디바이스의 제어 이벤트에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 처리하는 슬레이브 디바이스; 및 상기 슬레이브 디바이스의 상기 컨텐츠에 관련된 화면을 표시하는 디스플레이 디바이스를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 마우스 모드에서 컨텐츠 화면의 패닝(panning)을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하고, 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠의 화면 패닝 및 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.
상술한 바와 같이 본 발명에서 제안하는 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치에 따르면, 사용자 누구나 가지고 있는 스마트 폰 등의 터치 디바이스를 이용하여 쉽게 태블릿, 디스플레이 디바이스, TV 등을 조작할 수 있도록 한다. 본 발명에 따르면, 사용자는 태블릿, 디스플레이 디바이스, TV 등 원격의 장치를 무선 마우스나 무선 키보드 등과 같은 별도의 장치 없이, 사용자가 소지하고 있는 터치 디바이스를 통해 개선된 마우스 기능에 의해 손쉽게 원격의 장치들을 제어할 수 있다.
본 발명에 따르면, 화면의 패닝 동작과 마우스 포인터의 이동 동작을 위한 영역을 화면 분할을 통해 구분하여 제공함으로써, 직관적인 사용성을 제공하고, 양손을 모두 사용하는 데 편의성을 제공하여 복잡한 마우스 동작을 도시에 쉽게 수행할 수 있는 효과가 있다. 따라서 본 발명에 따르면, 터치 디바이스에서의 마우스 기능의 품질을 높일 수 있는 효과가 있다.
따라서 본 발명에 따르면, 터치 디바이스에서 마우스 기능을 지원하기 위한 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 터치 디바이스의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 모든 형태의 터치 디바이스 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.
도 1은 본 발명의 실시 예에 따른 마우스 기능이 운용되는 시스템의 구성을 개략적으로 도시한 도면이다.
도 2 내지 도 4는 본 발명의 실시 예에 따른 마스터 디바이스에서 마우스 기능 운용을 위해 제공하는 화면 인터페이스의 예시를 도시한 도면들이다.
도 5는 본 발명의 실시 예에 따른 마스터 디바이스의 구성을 개략적으로 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 슬레이브 디바이스의 구성을 개략적으로 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 마스터 디바이스에서 마우스 기능을 운용하는 방법을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 패닝 기능을 운용하는 방법을 도시한 흐름도이다.
도 9 내지 도 12는 본 발명의 실시 예에 따른 시스템에서 패닝 기능 운용에 따른 동작을 설명하기 위해 도시한 도면들이다.
도 13은 본 발명의 실시 예에 따른 마스터 디바이스에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다.
도 14는 본 발명의 실시 예에 따른 마스터 디바이스에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다.
도 15는 본 발명의 실시 예에 따른 슬레이브 디바이스에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다.
도 16은 본 발명의 실시 예에 따른 슬레이브 디바이스에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
제안하는 본 발명은 터치 디바이스에서 마우스 기능 제공 방법 및 장치에 관한 것이다. 본 발명의 실시 예에서는 사용자가 가지고 있는 스마트 폰(Smart Phone) 등과 같은 터치 디바이스를 이용하여 마우스(mouse) 기능을 보다 쉽게 이용할 수 있도록 하는 것으로, 기존의 터치 디바이스에서 마우스 기능에 대한 불편함을 없애고 개선된 사용성을 제공할 수 있도록 하는 터치 디바이스에서 마우스 기능 운용 방법 및 장치를 제안한다.
이러한 본 발명의 실시 예에 따르면, 터치 디바이스에서 마우스 인터페이스(mouse interface)를 표시하고, 상기 마우스 인터페이스를 기반으로 입력되는 사용자의 마우스 제스처(mouse gesture)에 따른 마우스 기능 지원에 의해 원격의 장치를 제어할 수 있다. 특히, 본 발명의 실시 예에 따르면, 상기 마우스 인터페이스는 컨텐츠의 화면 패닝(panning) 제어를 위한 패닝 영역(panning area)과 마우스 포인터(mouse pointer)(또는 마우스 커서(mouse cursor))의 제어를 위한 포인터 이동 영역(pointer move area)과 같이 적어도 2개의 구분된 기능 제어를 위한 분할된 영역들을 화면 분할을 통해 제공한다.
본 발명의 실시 예에서, 상기 패닝은 사용자가 터치 디바이스의 마우스 인터페이스(특히, 패닝 영역)에 입력하는 마우스 제스처에 따라 화면을 움직이는 기능(동작)(예컨대, 상하좌우 이동, 화면 전환, 내비게이션, 스크롤 등)을 나타낼 수 있다. 본 발명의 실시 예에서, 상기 컨텐츠는 영화 컨텐츠, 사진 컨텐츠, 게임 컨텐츠, 인터넷 컨텐츠 등을 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 마우스 기능이 운용되는 시스템의 구성을 개략적으로 도시한 도면이다.
상기 도 1을 참조하면, 본 발명의 시스템은 마스터 디바이스(Master Device)(100), 슬레이브 디바이스(Slave Device)(200), 그리고 디스플레이 디바이스(Display Device)(300)를 포함하여 구성되고, 이들 구성의 조합에 의해 마우스 기능을 지원한다.
마스터 디바이스(100)는 사용자가 휴대하는 장치로서, 터치스크린(touch-screen)에 의한 화면 표시 및 터치 입력을 지원하는 디바이스를 나타낼 수 있다. 특히, 마스터 디바이스(100)는 본 발명에서 마우스 기능 운용을 위한 화면 인터페이스(이하, 마우스 인터페이스)를 제공하며, 상기 마우스 인터페이스를 기반으로 마우스 포인터 이동 및 패닝 동작 등과 같이 마우스 기반의 기능을 제어하는 것과 관련된 이벤트를 발생한다. 즉, 상기 마스터 디바이스(100)는 본 발명의 실시 예에 따라 마우스 모드 실행 시 패닝 영역 및 포인터 이동 영역으로 화면 분할된 상기 마우스 인터페이스를 표시하고, 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하는 디바이스를 나타낸다.
본 발명의 실시 예에 따른 마스터 디바이스(100)는 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 마스터 디바이스(100)는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), PMP(Portable Multimedia Player), 미디어 플레이어(Media Player)(예컨대, MP3 플레이어), 휴대게임단말, 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 이러한 본 발명의 마스터 디바이스(100)의 구성에 대해 후술되는 도 5에서 구체적으로 설명하기로 한다.
슬레이브 디바이스(200)는 상기 디스플레이 디바이스(300)를 통해 표시될 수 있는 다양한 컨텐츠들을 저장한다. 슬레이브 디바이스(200)는 상기 도 1의 구성과 같이 마스터 디바이스(100) 및 디스플레이 디바이스(300)로 별도의 구성을 가질 수 있다. 또한 슬레이브 디바이스(200)의 역할은 상기 마스터 디바이스(100)에 포함되어 운용될 수 있고, 이러한 경우 슬레이브 디바이스(200)의 구성은 생략될 수도 있다. 또한 슬레이브 디바이스(200)는 디스플레이 디바이스(300)에 탑재되어 제공될 수도 있다. 즉, 본 발명에서 슬레이브 디바이스(200)는 디스플레이 디바이스(300)와 유선 인터페이스 또는 무선 인터페이스를 통해 연결되어, 연결된 인터페이스를 통해 디스플레이 디바이스(300)에게 컨텐츠를 전달하여 그의 표시가 이루어지도록 하는 디바이스를 나타낸다. 그리고 슬레이브 디바이스(200)는 본 발명의 실시 예에서 상기 마스터 디바이스(100)의 제어 이벤트에 따라 디스플레이 디바이스(300)에 표시된 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 처리할 수도 있다.
본 발명의 실시 예에 따른 슬레이브 디바이스(200)는 앞서 살펴본 마스터 디바이스(100)와 같이 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP, GPU, CPU를 사용하는 모든 디바이스를 포함할 수 있다. 또한 슬레이브 디바이스(200)는 디지털 카메라, 저장 매체(예컨대, 외장형 하드디스크 등), PC, 노트북 PC 등의 디바이스를 더 포함할 수 있다. 이러한 본 발명의 슬레이브 디바이스(200)의 구성에 대해 후술되는 도 6에서 구체적으로 설명하기로 한다.
디스플레이 디바이스(300)는 상기 마스터 디바이스(100) 또는 상기 슬레이브 디바이스(200)와 연결될 수 있고, 연결된 해당 디바이스로부터 제공되는 컨텐츠에 대응하는 화면을 표시한다. 특히, 디스플레이 디바이스(300)는 컨텐츠에 대한 화면을 표시하는 상태에서 마스터 디바이스(100)에서 발생되는 마우스 이벤트에 따라 화면 전환, 마우스 포인터 이동 등과 같은 마우스 운용에 관련된 화면을 표시할 수 있다. 본 발명의 실시 예에 따른 디스플레이 디바이스(300)는 모니터(monitor), 디지털 TV(Digital Television), DS(Digital Signage), 그리고 LFD(Large Format Display) 등과 같이 화면 디스플레이를 위한 다양한 디바이스를 포함할 수 있다.
본 발명의 실시 예에 따르면, 상기한 구성들 중 마스터 디바이스(100)와 디스플레이 디바이스(300)의 조합으로 운용될 수도 있고, 마스터 디바이스(100), 슬레이브 디바이스(200), 그리고 디스플레이 디바이스(300)의 조합으로 운용될 수도 있다.
마스터 디바이스(100)와 디스플레이 디바이스(300)에 의한 동작을 개략 살펴보면 다음과 같다.
마스터 디바이스(100)와 디스플레이 디바이스(300)의 조합의 경우, 마스터 디바이스(100)가 슬레이브 디바이스(200)의 역할을 포함하는 경우와, 디스플레이 디바이스(300)가 슬레이브 디바이스(200)의 역할을 포함하는 경우로 구분될 수 있다.
전자 및 후자의 경우에서, 마스터 디바이스(100)와 디스플레이 디바이스(300)는 유선 인터페이스(예컨대, HDMI(High-Definition Multimedia Interface)(표준형 HDMI, 미니 HDMI, 마이크로 HDMI) 및/또는 USB(Universal Serial Bus) 등) 및 무선 인터페이스(예컨대, Wi-Fi, 블루투스 등)를 통해 연결될 수 있다.
특히, 전자의 경우, 마스터 디바이스(100)와 디스플레이 디바이스(300)는 유선 인터페이스를 통해 마스터 디바이스(100)에 저장된 컨텐츠를 디스플레이 디바이스(300)에 전달하여 표시되도록 할 수 있다. 그리고 마스터 디바이스(100)는 디스플레이 디바이스(300)를 통해 컨텐츠가 표시된 상태에서 마우스 인터페이스를 이용한 사용자의 마우스 제어 이벤트에 대응하는 마우스 기능 운용을 처리할 수 있다.
반면, 후자의 경우, 디스플레이 디바이스(300)는 내장된 슬레이브 디바이스(200)로부터 컨텐츠를 제공받아 그의 화면을 표시한다. 그리고 마스터 디바이스(100)는 디스플레이 디바이스(300)에 내장된 슬레이브 디바이스(200)와 무선 인터페이스를 통해 연결되고 마우스 인터페이스를 이용한 사용자의 마우스 제어 이벤트에 대응하여 마우스 기능 운용을 처리할 수 있다.
마스터 디바이스(100), 슬레이브 디바이스(200), 그리고 디스플레이 디바이스(300)에 의한 동작을 개략 살펴보면 다음과 같다.
마스터 디바이스(100), 슬레이브 디바이스(200), 그리고 디스플레이 디바이스(300) 조합의 경우, 마스터 디바이스(100)와 슬레이브 디바이스(200)는 설정된 무선 인터페이스(예컨대, Wi-Fi, 블루투스 등)를 통해 연결될 수 있고, 슬레이브 디바이스(200)와 디스플레이 디바이스(300)는 유선 인터페이스(예컨대, HDMI, USB 등)를 통해 연결될 수 있다. 즉, 마스터 디바이스(100)는 슬레이브 디바이스(200)와 통신하여 마우스 인터페이스 기반의 사용자의 마우스 제어 이벤트를 전송할 수 있다. 슬레이브 디바이스(200)는 마스터 디바이스(100)와 통신하여 마우스 제어 이벤트를 수신하고, 디스플레이 디바이스(300)와 통신하여 저장된 컨텐츠를 전달할 수 있다.
예를 들어, 상기 슬레이브 디바이스(200)와 상기 디스플레이 디바이스(300)는 유선 인터페이스를 통해 연결되어 상기 슬레이브 디바이스(200)에 저장된 컨텐츠를 상기 디스플레이 디바이스(300)에 표시할 수 있다. 그리고 상기 마스터 디바이스(100)와 상기 슬레이브 디바이스(300)는 무선 인터페이스를 통해 연결되어 상기 디스플레이 디바이스(300)에 표시된 컨텐츠를 원격 제어할 수 있다.
이하에서는 본 발명의 시스템이, 마스터 디바이스(100), 슬레이브 디바이스(200), 그리고 디스플레이 디바이스(300)의 구성으로 운용되는 경우를 대표적인 예시로 설명한다. 즉, 마스터 디바이스(100)는 마우스 인터페이스를 제공하고 그에 따른 마우스 제어 이벤트를 발생하는 입력 수단으로 동작하고, 슬레이브 디바이스(200)는 다양한 컨텐츠를 제공하고, 상기 마스터 디바이스(100)의 마우스 제어 이벤트에 따른 마우스 기능을 반영하는 처리 수단으로 동작하고, 디스플레이 디바이스(300)는 슬레이브 디바이스(200)에서 제공된 컨텐츠를 표시하는 표시 수단으로 동작할 수 있다.
도 2 및 도 3은 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 마우스 기능 운용을 위해 제공하는 화면 인터페이스의 예시를 도시한 도면들이다.
상기 도 2 내지 도 4를 참조하면, 본 발명의 실시 예에 따른 마우스 인터페이스는 기능버튼 영역(400), 패닝 영역(panning area)(500), 그리고 포인터 이동 영역(pointer move area)(600)으로 구현될 수 있다. 특히, 본 발명의 마우스 인터페이스는 패닝 영역(500)과 포인터 이동 영역(600)이 구분되는 화면 분할 형태의 양손 마우스 제어 화면으로 구현될 수 있다. 상기 패닝 영역(500)과 포인터 이동 영역(600)의 위치는 사용자 설정에 따라 적응적으로 전환 가능하다.
본 발명의 마우스 인터페이스는 마스터 디바이스(100)의 가로모드 및 세로모드에 따라 도 2 및 도 3과 같이 가로 형태에 최적화된 가로모드의 마우스 인터페이스와 세로 형태에 최적화된 세로모드의 마우스 인터페이스로 적응적으로 전환될 수 있다. 또한 마우스 인터페이스는 사용자의 왼손모드 및 오른손모드를 지원하며, 해당 모드에 따라 좌/우(또는 상/하) 영역의 위치를 서로 변경될 수 있다.
상기 기능버튼 영역(400)은 사용자 설정에 따른 복수개의 기능 단축버튼들이 제공되는 영역을 나타낸다. 상기 기능버튼 영역(400)은 사용자의 마우스 제스처 입력을 수신하고, 상기 마우스 제스처에 따라 해당 단축버튼에 할당된 기능과 관련된 터치 이벤트를 발생하는 영역을 나타낸다. 예를 들어, 상기 기능버튼 영역(400)은 사용자의 탭 이벤트(Tap event)에 대응하여 단축버튼에 할당된 키보드(가상의 키패드), 뒤로 가기, 메뉴 표시, 검색, 홈(home) 이동 등과 같은 다양한 기능들의 바로 실행을 위한 영역을 나타낸다.
상기 패닝 영역(500)은 사용자의 마우스 제스처 입력을 수신하고, 상기 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 컨텐츠의 화면을 패닝하는 것과 관련된 터치 이벤트를 발생하는 영역을 나타낸다. 예를 들어, 상기 패닝 영역(500)은 사용자의 터치 다운(Touch Down), 터치 무브(Touch Move), 그리고 터치 업(Touch Up) 등의 터치 이벤트에 대응하여 마우스의 왼쪽 버튼을 누르고 화면 이동을 제어하는 것과 같은 기능 제어를 위한 영역을 나타낸다. 사용자는 상기 패닝 영역(500)을 통해 디스플레이 디바이스(300)에 표시된 컨텐츠의 다양한 화면에 대해 패닝을 손쉽게 수행할 수 있으며, 그 예로 화면의 상하좌우 이동, 플릭 이벤트(flick event)에 따른 좌/우 화면 전환, 화면 내의 리스트 스크롤, 컨텐츠 내비게이션 등을 간편하게 처리할 수 있다.
상기 포인터 이동 영역(600)은 사용자의 마우스 제스처 입력을 수신하고, 상기 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 마우스 포인터의 이동을 제어하는 것과 관련된 터치 이벤트를 발생하는 영역을 나타낸다. 예를 들어, 상기 포인터 이동 영역(600)은 사용자의 터치 다운, 터치 무브, 그리고 터치 업 등의 터치 이벤트에 대응하여 마우스의 왼쪽 버튼을 누르지 않고 마우스를 이동하는 것과 같은 기능 제어를 위한 영역을 나타낸다.
도 4는 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 마우스 기능 운용을 위해 제공하는 화면 인터페이스의 다른 예시를 도시한 도면이다.
상기 도 4를 참조하면, 본 발명의 마우스 인터페이스는 사용자 편의를 위해 다양한 형태로 제공될 수 있으며, 이러한 마우스 인터페이스의 형태는 사용자 설정에 따라 변경될 수도 있다.
상기 도 4에 도시된 바와 같이, 사용자의 직관성을 고려하여 패닝 영역(500)에는 해당 영역이 패닝 동작을 위한 영역임을 지시하는 아이템(예컨대, 손가락 형태 아이콘, 텍스트)이 표시될 수 있고, 포인터 이동 영역(600)에는 해당 영역이 포인터 이동을 위한 영역임을 지시하는 아이템(예컨대, 마우스 포인터 형태 아이콘, 텍스트)이 표시될 수 있다.
아울러, 기능버튼 영역(400)에 대해서도 상기 도 2 및 도 3과 같이 특정 아이콘으로 제공되거나, 도 4와 같이 텍스트로 제공될 수도 있다. 그리고 본 발명에서 기능버튼 영역(400)은 사용자 설정에 따라 마우스 인터페이스에서 그 표시가 생략될 수도 있다.
이하에서, 본 발명의 실시 예에 따른 디바이스의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 디바이스의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.
도 5는 본 발명의 실시 예에 따른 마스터 디바이스(100)의 구성을 개략적으로 도시한 도면이다. 특히, 상기 도 5에서는 상기 마스터 디바이스(100)가 터치스크린을 구비하는 터치 디바이스인 경우를 예시로 나타낸다.
상기 도 5를 참조하면, 본 발명의 마스터 디바이스(100)는 무선 통신부(110), 사용자 입력부(120), 터치스크린(130), 오디오 처리부(140), 저장부(150), 인터페이스부(160), 제어부(CONTROLLER)(170), 그리고 전원 공급부(180)를 포함하여 구성된다. 본 발명의 마스터 디바이스(100)는 도 5에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 마스터 디바이스(100)가 촬영 기능을 지원하는 경우 카메라 모듈의 구성이 더 포함될 수 있고, 본 발명의 실시 예에 따른 마스터 디바이스(100)가 이동통신 기능을 지원하지 않는 경우 상기 무선 통신부(110)의 일부 구성(예컨대, 이동통신 모듈)이 생략될 수도 있다.
무선 통신부(110)는 마스터 디바이스(100)와 무선 통신 시스템 사이 또는 마스터 디바이스(100)와 다른 디바이스 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, Wireless Local Area Network) 모듈(113), 근거리 통신 모듈(115), 위치 산출 모듈(117), 그리고 방송 수신 모듈(119) 등을 포함하여 구성될 수 있다. 특히, 무선 통신부(110)는 마스터 디바이스(100)와 슬레이브 디바이스(200)를 연결하여 마우스 제스처(예컨대, 터치 다운, 터치 무브, 터치 업에 따른 터치 이벤트)에 따른 신호를 전송한다.
이동통신 모듈(111)은 이동통신 네트워크 상에서 기지국, 외부의 단말, 및 다양한 서버들(예컨대, 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server) 등) 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 랜 모듈(113)은 무선 인터넷(internet) 접속 및 다른 휴대단말과 무선 랜 링크(link)를 형성하기 위한 모듈을 나타내는 것으로, 마스터 디바이스(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 무선 랜(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 그리고 HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 무선 랜 모듈(113)은 다른 휴대단말과 무선 랜 링크가 형성될 시 사용자 선택에 따라 저장된 컨텐츠를 다른 휴대단말로 전송하거나 수신 받을 수 있다.
근거리 통신 모듈(115)은 근거리 통신(short range communication)을 위한 모듈을 나타낸다. 근거리 통신 기술로 블루투스(Bluetooth), 블루투스 저에너지(BLE, Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다. 또한 근거리 통신 모듈(115)은 다른 휴대단말과 근거리 통신이 연결될 시 사용자 선택에 따른 컨텐츠를 다른 휴대단말로 전송하거나 수신 받을 수 있다.
위치 산출 모듈(115)은 마스터 디바이스(100)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(115)은 3개 이상의 기지국들로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(115)은 3개 이상의 위성들로부터 마스터 디바이스(100)의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 마스터 디바이스(100)의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
방송 수신 모듈(119)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다.
사용자 입력부(120)는 사용자가 마스터 디바이스(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(정압/정전), 조그 휠(jog wheel), 조그 스위치(jog switch) 등으로 구성될 수 있다. 상기 사용자 입력부(120)는 마스터 디바이스(100)의 외부에 버튼 형태로 구현될 수 있으며, 일부 버튼들은 터치 패널(touch panel)로 구현될 수도 있다.
터치스크린(130)은 입력 기능과 표시 기능을 동시에 수행하는 입출력 수단으로, 표시부(131)와 터치감지부(133)를 포함한다. 특히, 본 발명에서 상기 터치스크린(130)은 상기 표시부(131)를 통해 마우스 인터페이스를 표시 중에, 상기 터치감지부(133)에 의한 사용자의 마우스 기능 제어를 위한 터치 이벤트가 입력되면, 상기 터치 이벤트 입력을 상기 제어부(170)에게 전달한다. 그러면, 상기 제어부(170)는 후술하는 바와 같이 상기 터치 이벤트에 대응하여 마우스 기능과 관련된 제어 이벤트를 발생할 수 있다.
표시부(131)는 마스터 디바이스(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 마스터 디바이스(100)가 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시한다. 또한 표시부(131)는 마스터 디바이스(100)가 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 특히, 표시부(131)는 상기 도 2 및 도 3에서 살펴본 바와 같은 패닝 영역(500)과 포인터 이동 영역(600)으로 화면 분할된 마우스 인터페이스를 표시한다. 표시부(131)는 마스터 디바이스(100)의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시 및 가로모드와 세로모드 간의 변화에 따른 화면 전환 표시를 지원할 수 있다.
표시부(131)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
터치감지부(133)는 상기 표시부(131)에 안착될 수 있으며, 상기 터치스크린(130) 표면에 접촉하는 사용자의 터치 이벤트 입력(예컨대, 터치 다운(touch down), 터치 무브(touch move), 터치 업(touch up) 등)을 감지할 수 있다. 터치감지부(133)는 상기 터치스크린(130) 표면에 사용자의 터치 이벤트를 감지할 시, 상기 터치 이벤트가 발생된 좌표를 검출하고, 검출된 좌표를 상기 제어부(170)로 전송한다. 터치감지부(133)는 사용자에 의해 발생되는 터치 이벤트 입력을 감지하고, 감지된 터치 이벤트에 따른 신호를 생성하여 상기 제어부(170)로 전송한다. 이에 의해, 상기 제어부(170)는 상기 터치감지부(133)에서 전송되는 신호에 의해 터치 이벤트가 발생된 영역에 해당하는 기능을 수행할 수 있다. 특히, 상기 터치감지부(133)는 마스터 디바이스(100)의 마우스 모드에서 주어진 마우스 인터페이스를 통해 마우스 기능 제어를 위한 마우스 제스처(mouse gesture)(예컨대, 패닝 동작, 포인터 이동 동작 등)를 입력받을 수 있다. 터치감지부(133)는 표시부(131)의 특정 부위에 가해진 압력 또는 표시부(131)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치감지부(133)는 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치감지부(133)에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(170)로 전송한다. 이로써, 제어부(170)는 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.
오디오 처리부(140)는 제어부(170)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker)(141)로 전송하고, 마이크(MIC, microphone)(143)로부터 입력 받은 음성 등의 오디오 신호를 제어부(170)로 전달하는 기능을 수행한다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(170)의 제어에 따라 스피커(141)를 통해 가청음으로 변환하여 출력하고 마이크(143)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(170)로 전달할 수 있다.
스피커(141)는 마우스 모드, 통화 모드, 녹음(녹화) 모드, 미디어 컨텐츠 재생 모드, 방송수신 모드, 그리고 촬영 모드 등에서 무선 통신부(110)로부터 수신되거나, 또는 저장부(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(141)는 마스터 디바이스(100)에서 수행되는 기능(예컨대, 통화 연결 수신, 통화 연결 발신, 음악 파일 재생, 동영상 파일 재생, 촬영, 외부 출력 등)과 관련된 음향 신호를 출력할 수도 있다.
마이크(143)는 통화 모드, 녹음(녹화) 모드, 음성인식 모드, 그리고 촬영 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(111)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 그리고 마이크(143)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
저장부(150)는 제어부(170)의 처리 및 제어를 위한 프로그램(program)이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 전화번호, 메시지, 미디어 컨텐츠(예컨대, 음악 파일, 동영상 파일, 이미지 파일), 어플리케이션 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(150)에는 마스터 디바이스(100)의 기능 운용에 따른 사용 빈도(예컨대, 어플리케이션 사용 빈도, 미디어 컨텐츠 재생 빈도, 그리고 전화번호, 메시지 및 멀티미디어에 대한 사용 빈도 등), 중요도, 우선순위 및 선호도도 함께 저장될 수 있다. 저장부(150)에는 터치스크린(130) 상의 터치 입력 시 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관한 데이터를 저장할 수도 있다.
저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 마스터 디바이스(100)는 인터넷 상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(160)는 마스터 디바이스(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 마스터 디바이스(100) 내부의 각 구성 요소에 전달하거나, 마스터 디바이스(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다. 특히, 본 발명에서 상기 인터페이스부(160)는 외부 기기인 슬레이브 디바이스(200) 및 디스플레이 디바이스(300)와 유선 또는 무선으로 연결하기 위한 데이터 포트(data port)를 포함한다. 예를 들어, 상기 인터페이스부(160)는 마스터 디바이스(100)와 디스플레이 디바이스(300)를 연결하기 위한 HDMI(표준형 HDMI, 미니 HDMI, 마이크로 HDMI) 및/또는 USB 인터페이스를 포함할 수 있다. 또한 마스터 디바이스(100)와 디스플레이 디바이스(300) 또는 마스터 디바이스(100)와 슬레이브 디바이스(200)가 무선 랜(Wi-Fi)으로 연결될 시 상기 무선 랜이 상기 인터페이스부(160)에 포함될 수 있고, 마스터 디바이스(100)와 디스플레이 디바이스(300) 또는 마스터 디바이스(100)와 슬레이브 디바이스(200)가 블루투스로 연결될 시 상기 블루투스가 상기 인터페이스부(160)에 포함될 수 있다.
제어부(170)는 마스터 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화, 마우스 기능 등에 관련된 제어를 수행한다. 제어부(170)는 마우스 기능과 관련된 동작 처리를 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 본 발명에서 멀티미디어 모듈(미도시)은 제어부(170) 내에 구현될 수도 있고, 제어부(170)와 별도로 구현될 수도 있다.
제어부(170)는 본 발명의 실시 예에 따른 마우스 기능을 지원하기 위한 일련의 동작을 제어한다. 즉, 제어부(170)는 마우스 모드에서 컨텐츠 화면의 패닝을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스 표시를 제어한다. 그리고 제어부(170)는 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 위한 다른 제어 이벤트 발생을 제어한다. 즉, 제어부(170)는 상기 패닝 영역 기반의 마우스 제스처에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동과 관련된 동작을 처리하고, 상기 포인터 이동 영역 기반의 마우스 제스처에 따라 마우스 포인터의 이동 및 기능 실행과 관련된 동작을 처리할 수 있다.
그리고 제어부(170)는 상기 패닝 영역에서 상기 마우스 제스처를 검출할 시 상기 포인터 이동 영역의 상태를 확인하고, 상기 포인터 이동 영역이 터치 프레스(touch press) 상태가 아니면 상기 패닝 영역의 상기 마우스 제스처에 따라 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동을 함께 제어할 수 있다. 이때, 제어부(170)는 상기 마우스 제스처에 따른 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동 후, 상기 마우스 제스처가 해제될 시 상기 이동된 마우스 포인터를 이동 전 원래의 위치로 이동하여 복귀하도록 처리한다. 반면, 제어부(170)는 상기 포인터 이동 영역이 터치 프레스 상태이면 상기 패닝 영역의 상기 마우스 제스처에 따라 상기 컨텐츠 화면의 패닝만을 제어하고 상기 마우스 포인터의 위치가 고정되도록 제어한다.
이러한 제어부(170)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 마스터 디바이스(100)의 동작 예시 및 그의 제어 방법에서 설명될 것이다.
전원 공급부(180)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 마스터 디바이스(100)의 각 구성 요소들의 동작에 필요한 전원을 공급한다.
한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(170) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
여기서, 상기 기록 매체는 마우스 모드에서 컨텐츠 화면의 패닝을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하고, 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 입력된 마우스 제스처에 따라 컨텐츠의 화면 패닝 및 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.
도 6은 본 발명의 실시 예에 따른 슬레이브 디바이스(200)의 구성을 개략적으로 도시한 도면이다.
상기 도 6을 참조하면, 본 발명의 슬레이브 디바이스(200)는 무선 통신부(210), 저장부(250), 인터페이스부(260), 제어부(270), 그리고 전원 공급부(280)를 포함하여 구성된다. 본 발명의 슬레이브 디바이스(200)는 도 6에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다.
무선 통신부(210)는 슬레이브 디바이스(200)와 마스터 디바이스(100) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(210)는 무선 랜 모듈 및 근거리 통신 모듈 등을 포함하여 구성될 수 있다. 특히, 무선 통신부(210)는 슬레이브 디바이스(200)와 마스터 디바이스(100)를 연결하여 마스터 디바이스(100)의 마우스 제스처에 따른 신호를 수신한다.
저장부(250)는 제어부(270)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 미디어 컨텐츠(예컨대, 음악 파일, 동영상 파일, 이미지 파일), 리스트 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(250)에는 슬레이브 디바이스(200)의 기능 운용에 따른 사용 빈도(예컨대, 어플리케이션 사용 빈도, 미디어 컨텐츠 재생 빈도 등), 중요도, 우선순위 및 선호도도 함께 저장될 수 있다. 저장부(250)는 플래시 메모리 타입, 하드디스크 타입, 마이크로 타입, 및 카드 타입 등의 메모리와, 램(RAM), SRAM, 롬(ROM), PROM, EEPROM, 자기 메모리(MRAM), 자기 디스크, 및 광디스크 타입의 메모리 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
인터페이스부(260)는 슬레이브 디바이스(200)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 슬레이브 디바이스(200) 내부의 각 구성 요소에 전달하거나, 슬레이브 디바이스(200) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(260)에 포함될 수 있다. 특히, 본 발명에서 상기 인터페이스부(260)는 외부 기기인 적어도 하나의 디스플레이 디바이스(300)와 유선 또는 무선으로 연결하기 위한 데이터 포트를 포함한다. 예를 들어, 상기 인터페이스부(260)는 슬레이브 디바이스(200)와 디스플레이 디바이스(300)를 연결하기 위한 HDMI(표준형 HDMI, 미니 HDMI, 마이크로 HDMI) 및/또는 USB 인터페이스를 포함할 수 있다. 또한 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 무선 랜(Wi-Fi)으로 연결될 시 상기 무선 랜이 상기 인터페이스부(160)에 포함될 수 있고, 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 블루투스로 연결될 시 상기 블루투스가 상기 인터페이스부(160)에 포함될 수 있다.
제어부(270)는 슬레이브 디바이스(200)의 전반적인 동작을 제어한다. 예를 들어, 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 연결될 시 슬레이브 디바이스(200)에 저장된 컨텐츠를 디스플레이 디바이스(300)에게 제공하여 표시되도록 한다. 그리고 제어부(270)는 슬레이브 디바이스(200)와 마스터 디바이스(100)가 연결될 시 마스터 디바이스(100)에서 전송하는 마우스 제스처에 따른 제어 이벤트를 수신하여 그에 따라 컨텐츠의 화면 전환, 마우스 포인터 이동을 처리하고, 그를 위해 마스터 디바이스(100)와의 마우스 제어 동기화를 처리할 수 있다. 이러한 제어부(270)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 슬레이브 디바이스(200)의 동작 예시 및 그의 제어 방법에서 설명될 것이다.
전원 공급부(280)는 제어부(270)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 슬레이브 디바이스(200)의 각 구성 요소들의 동작에 필요한 전원을 공급한다.
도 7은 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 마우스 기능을 운용하는 방법을 도시한 흐름도이다.
상기 도 7을 참조하면, 제어부(170)는 마우스 모드를 실행하고(601단계), 그에 따른 마우스 인터페이스 표시를 제어한다(603단계). 예를 들어, 제어부(170)는 사용자가 마스터 디바이스(100) 조작에 의해 마우스 모드 실행을 요청하면, 그에 응답하여 마우스 모드를 실행하여 패닝 영역(500)과 포인터 이동 영역(600)으로 화면 분할된 마우스 인터페이스를 표시부(131) 상에 표시할 수 있다. 이때, 제어부(170)는 마우스 기능이 적용되는 컨텐츠를 가지는 대상의 디바이스(예컨대, 슬레이브 디바이스(200))와 동기화(synchronization) 과정을 수행할 수 있다. 예를 들어, 제어부(170)는 마스터 디바이스(100)와 슬레이브 디바이스(200) 간에 설정된 무선 인터페이스(예컨대, Wi-Fi)를 통해 원격 제어를 위한 통신을 연결하고, 슬레이브 디바이스(200) 간에 컨텐츠에 대응하는 마우스 제스처 처리를 위한 클럭(clock) 동기, 프레임(frame) 동기 등을 수행할 수 있다.
제어부(170)는 마우스 인터페이스가 표시된 상태에서, 마우스 인터페이스 상에 터치 다운이 입력되면(605단계), 상기 터치 다운이 입력된 터치 영역을 확인한다(607단계). 본 발명에서, 상기 터치 다운은 마우스 인터페이스의 특정 터치 영역에 특정 물체(예컨대, 사용자 손가락)가 터치되어 유지되는 프레스(press)되는 터치 이벤트를 나타낼 수 있다. 예를 들어, 제어부(170)는 터치 다운이 감지되면, 상기 터치 다운이 마우스 인터페이스의 패닝 영역(500)에 입력된 것인지 또는 포인터 이동 영역(600)에 입력된 것인지, 터치가 입력된 좌표를 이용하여 구분할 수 있다.
제어부(170)는 상기 터치 다운이 패닝 영역(500)에 입력되었는지 판단한다(609단계).
제어부(170)는 상기 터치 다운이 패닝 영역(500)에 입력된 것으로 판단하면(609단계의 YES) 패닝 제어 모드를 활성화 한다(611단계). 그리고 제어부(170)는 상기 패닝 제어 모드에서 터치 무브가 입력되면(613단계), 상기 터치 무브에 따라 패닝 제어 이벤트를 발생한다(615단계). 본 발명에서 상기 터치 무브는 상기 터치 다운된 사용자의 터치 입력이 패닝 영역(500)에서 특정 방향(예컨대, 상, 하, 좌, 우)으로 이동하는 터치 이벤트를 나타낼 수 있다. 예를 들어, 제어부(170)는 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 연결되어 디스플레이 디바이스(300)를 통해 표시되고 있는 컨텐츠 화면을 상하좌우 이동하는 패닝 기능 제어를 위한 제어 이벤트를 발생한다. 제어부(170)는 터치 업이 입력될 때까지 상기 터치 무브에 따른 패닝 제어를 수행하고(617단계), 만약 터치 업이 입력될 시 상기 패닝 제어 모드를 종료하고 다음 입력을 대기할 수 있다(619단계). 본 발명에서 상기 터치 업은 상기 터치 다운된 사용자의 터치 입력 또는 상기 터치 무브에 따른 사용자의 터치 입력이 마우스 인터페이스 상에서 해제(release)되는 터치 이벤트를 나타낼 수 있다.
제어부(170)는 상기 터치 다운이 패닝 영역(500)에 입력되지 않으면, 상기 터치 다운이 포인터 이동 영역(600)에 입력되었는지 판단한다(621단계).
제어부(170)는 상기 터치 다운이 포인터 이동 영역(600)에 입력된 것으로 판단하면(621단계의 YES) 포인터 제어 모드를 활성화 한다(623단계). 그리고 제어부(170)는 상기 포인터 제어 모드에서 터치 무브가 입력되면(625단계), 상기 터치 무브에 따라 포인터 제어 이벤트를 발생한다(627단계). 예를 들어, 제어부(170)는 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 연결되어 디스플레이 디바이스(300)를 통해 표시되고 있는 컨텐츠 화면 상에서 마우스 포인터를 이동하는 포인터 이동 제어를 위한 제어 이벤트를 발생한다. 제어부(170)는 터치 업이 입력될 때까지 상기 터치 무브에 따른 포인터 이동 제어를 수행하고(629단계), 만약 터치 업이 입력될 시 상기 포인터 제어 모드를 종료하고 다음 입력을 대기할 수 있다(619단계).
제어부(170)는 상기 터치 다운이 패닝 영역(500) 및 포인터 이동 영역(600)에 입력되지 않으면, 상기 터치 다운의 터치 입력에 따른 제어 이벤트를 발생한다(631단계). 예를 들어, 제어부(170)는 상기 터치 다운이 기능버튼 영역(400)의 특정 버튼에 입력된 경우, 터치 다운이 입력된 상기 특정 버튼에 대응하는 기능 제어 이벤트를 발생한다.
이상에서와 같이, 마스터 디바이스(100)의 제어부(170)는 마우스 인터페이스에서 마우스 제스처가 입력되는 영역에 따라 패닝 기능을 제어하거나 포인터 이동 기능을 제어할 수 있다. 예를 들어, 패닝 영역(500)에서 터치 다운, 터치 무브, 그리고 터치 업과 같은 마우스 제스처가 입력되는 경우에는, 마우스 왼쪽 버튼을 누르고 이동하는 동작과 같은 화면 이동 제어를 위한 이벤트를 발생할 수 있다. 또는 포인터 이동 영역(600)에서 터치 다운, 터치 무브, 그리고 터치 업과 같은 마우스 제스처가 입력되는 경우에는, 마우스 왼쪽 버튼을 누르지 않고 마우스를 이동하는 동작과 같은 포인터 이동 제어를 위한 이벤트를 발생할 수 있다.
도 8은 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 패닝 기능을 운용하는 방법을 도시한 흐름도이다.
상기 도 8을 참조하면, 제어부(170)는 마우스 인터페이스의 패닝 영역(500)에 터치 다운 입력을 감지하면(701단계) 패닝 제어 모드를 활성화 하고(703단계), 포인터 이동 영역(600)에 다른 터치가 프레스 상태인지 판단한다(705단계).
제어부(170)는 포인터 이동 영역(600)에 다른 터치가 프레스되고 있지 않으면(705단계의 NO), 포인터 복귀에 의한 패닝 제어 모드(포인터 복귀 모드) 제어를 결정한다(707단계). 본 발명에서 상기 포인터 복귀 모드는 패닝 동작 시 마우스의 포인터 이동 및 컨텐츠의 화면을 패닝하고, 패닝 완료 시 마우스의 포인터만을 처음 터치가 터치 다운된 지점으로 자동으로 복귀하는 모드를 나타낸다. 일반적으로, 패닝 동작 시에는 마우스의 포인터가 함께 이동하게 된다. 따라서 긴 리스트 등에서 연속적인 패닝 동작을 수행하기 위해서는 한 번 패닝 동작 후 다시 마우스의 포인터를 중간지점으로 이동시킨 후 다시 패닝 동작을 수행해야 하는 불편함이 있을 수 있다. 따라서 본 발명에서는 이러한 불편함을 해소하기 위해 터치 무브에 따른 패닝 동작 후 터치 업에 따라 패닝 동작을 완료할 시 처음에 터치 다운된 위치로 마우스의 포인터를 자동으로 복귀시켜 사용자 편의를 증대시킬 수 있다.
제어부(170)는 상기 포인터 복귀 모드에서 터치 무브가 입력되면(709단계), 마우스의 포인터 이동 및 패닝 동작을 제어한다(711단계). 예를 들어, 제어부(170)는 디스플레이 디바이스(300)를 통해 슬레이브 디바이스(200)의 컨텐츠가 표시되고 있는 화면에서, 마우스 포인터의 이동과 함께 상기 컨텐츠의 화면을 이동하는 패닝 제어 이벤트를 발생한다. 제어부(170)는 터치 업이 입력될 때까지 상기 터치 무브에 따른 패닝 제어를 수행한다(713단계).
제어부(170)는 터치 업이 입력될 시 상기 패닝 제어 모드를 종료하고(715단계), 상기 터치 무브에 따라 이동된 마우스의 포인터를 상기 터치 다운이 입력된 초기 위치로 자동 이동하는 제어 이벤트를 발생한다(717단계). 즉, 제어부(170)는 패닝 완료 시 패닝에 따라 이동된 마우스의 포인터를 초기의 위치로 복귀할 수 있으며, 이때, 패닝에 따라 이동된 화면은 이동 상태를 유지한다.
제어부(170)는 포인터 이동 영역(600)에 다른 터치가 프레스되고 있으면(705단계의 YES), 포인터 고정에 의한 패닝 제어 모드(포인터 고정 모드) 제어를 결정한다(719단계). 본 발명에서 상기 포인터 고정 모드는 패닝 동작 시 마우스의 포인터는 이동하지 않고 컨텐츠의 화면만을 패닝하는 모드를 나타낸다. 일반적으로, 패닝 동작 시에는 마우스의 포인터가 함께 이동하게 된다. 따라서 긴 리스트 등에서 연속적인 패닝 동작을 수행하기 위해서는 한 번 패닝 동작 후 다시 마우스의 포인터를 중간지점으로 이동시킨 후 다시 패닝 동작을 수행해야 하는 불편함이 있을 수 있다. 따라서 본 발명에서는 이러한 불편함을 해소하기 위한 다른 방법으로 패닝 영역(500)과 포인터 이동 영역(600) 각각을 통해 터치가 입력된 경우(멀티 터치(multi-touch)가 입력된 경우) 패닝 영역(500)의 터치 무브에 따른 패닝 동작 시 마우스의 포인터는 이동하지 않고 고정시켜 사용자 편의를 증대시킬 수 있다.
제어부(170)는 상기 포인터 고정 모드에서 터치 무브가 입력되면(721단계), 마우스의 포인터는 현재 위치에 고정하고 패닝 동작을 제어한다(723단계). 예를 들어, 제어부(170)는 디스플레이 디바이스(300)를 통해 슬레이브 디바이스(200)의 컨텐츠가 표시되고 있는 화면에서, 마우스의 포인터는 현재 위치에서 고정하고 상기 컨텐츠의 화면만을 이동하는 패닝 제어 이벤트를 발생한다. 제어부(170)는 터치 업이 입력될 때까지 상기 터치 무브에 따른 패닝 제어를 수행한다(725단계).
제어부(170)는 터치 업이 입력될 시 상기 패닝 제어 모드를 종료한다(727단계).
도 9 내지 도 11은 본 발명의 실시 예에 따른 시스템에서 패닝 기능 운용에 따른 동작을 설명하기 위해 도시한 도면들이다. 특히, 상기 도 9 내지 도 11에서는 포인터 복귀에 의한 패닝 제어 모드가 운용되는 경우의 예시를 나타낸다.
상기 도 9 내지 도 11을 참조하면, 상기 도 9는 슬레이브 디바이스(200)와 디스플레이 디바이스(300)가 유선 인터페이스(예컨대, HDMI)로 연결되고, 상기 디스플레이 디바이스(300)를 통해 상기 슬레이브 디바이스(200)의 컨텐츠의 화면이 표시되고 있는 상태의 예시를 나타낸다. 그리고 마스터 디바이스(100)와 슬레이브 디바이스(200)는 무선 인터페이스(예컨대, Wi-Fi)로 연결되고, 마스터 디바이스(100)에서는 마우스 모드에 따라 패닝 영역(500)과 포인터 이동 영역(600)으로 화면 분할된 마우스 인터페이스가 표시되고 있는 상태의 화면 예시를 나타낸다.
상기 도 9와 같은 상태에서, 사용자는 마스터 디바이스(100)의 마우스 인터페이스에서, 기능버튼 영역(400)을 통해 특정 단축 기능을 실행하는 동작을 입력할 수 있고, 패닝 영역(500)을 통해 컨텐츠의 화면을 패닝하는 패닝 동작을 입력할 수 있고, 포인터 이동 영역(600)을 통해 포인터(800)를 이동하는 동작을 입력할 수 있다. 본 발명에서 패닝 동작은 컨텐츠의 화면을 이동하는 동작을 포함하며, 패닝 영역(500)을 통해 입력되는 마우스 제스처의 형태 및 컨텐츠의 종류에 따라 좌/우 화면 전환(스크롤, 내비게이션), 상하 스크롤 또는 좌우 스크롤 등이 더 수행될 수도 있다.
상기 도 10은 상기 도 9와 같은 상태에서, 사용자가 상기 디스플레이 디바이스(300)에 표시된 컨텐츠의 화면을 패닝하기 위한 마우스 제스처(터치 다운, 터치 무브)를 입력하고 있는 상태와, 상기 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 컨텐츠의 화면이 패닝되고 있는 상태의 예시를 나타낸다. 상기 도 10에 도시된 바와 같이, 마스터 디바이스(100)의 마우스 인터페이스에서 패닝 영역(500)을 통해 사용자의 마우스 제스처(터치 다운, 터치 무브)가 입력되면, 상기 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 마우스의 포인터(800)의 이동과 함께 컨텐츠의 화면이 패닝 된다.
상기 도 11은 상기 도 9와 같은 상태에서, 사용자가 패닝을 완료한 경우의 예시를 나타낸다. 즉, 사용자가 상기 마스터 디바이스(100)의 마우스 인터페이스(특히, 패닝 영역(500))에 입력된 마우스 제스처를 해제(터치 업)한 경우의 예시를 나타낸다. 상기 도 11에 도시된 바와 같이, 마스터 디바이스(100)의 마우스 인터페이스에서 패닝 영역(500)에 입력된 터치가 터치 업될 시, 디스플레이 디바이스(300)에서 상기 도 9와 같이 이동된 마우스의 포인터(800)가 도 9와 같이 터치 다운이 입력되는 시점의 위치로 자동 복귀되어 나타날 수 있다. 이때, 상기 도 11의 디스플레이 디바이스(300)의 화면 예시와 같이 컨텐츠의 화면은 패닝 상태가 유지된다.
도 12는 본 발명의 실시 예에 따른 시스템에서 패닝 기능 운용에 따른 동작을 설명하기 위해 도시한 도면이다. 특히, 상기 도 12에서는 포인터 고정에 의한 패닝 제어 모드가 운용되는 경우의 예시를 나타낸다.
상기 도 9 및 도 12를 참조하면, 상기 도 12는 상기 도 9와 같은 상태에서, 사용자가 상기 디스플레이 디바이스(300)에 표시된 컨텐츠의 화면을 패닝하기 위한 마우스 제스처(터치 다운, 터치 무브)를 입력하고 있는 상태와, 상기 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 컨텐츠의 화면이 패닝되고 있는 상태의 예시를 나타낸다.
상기 도 12에 도시된 바와 같이, 특히 상기 도 12에서는 패닝 제어 시 패닝 영역(500)과 포인터 이동 영역(600) 모두에 사용자의 터치가 각각 입력되고 있는 상태로서, 마우스의 포인터(800)는 고정하여 이동하지 않고 컨텐츠의 화면만을 패닝하는 동작 상태를 나타낸 것이다. 즉, 마스터 디바이스(100)의 마우스 인터페이스에서 포인터 이동 영역(600)을 통해 사용자의 터치가 프레스되고 있는 상태에서 패닝 영역(500)을 통해 사용자의 마우스 제스처(터치 다운, 터치 무브)가 입력되면, 상기 패닝 영역(500)의 마우스 제스처에 따라 디스플레이 디바이스(300)에 표시된 마우스의 포인터(800)는 이동하지 않고 컨텐츠의 화면만 패닝 된다. 이는, 마우스의 휠(wheel)을 이용하여 스크롤(scroll)하는 동작에 대응될 수 있다. 또한 상기 도 12와 같은 포인터 고정에 의한 패닝 동작은 패닝 영역(500)에 먼저 터치가 입력되고, 이후에 포인터 이동 영역(600)에 다른 터치가 함께 입력되는 경우에도 동일하게 운용될 수도 있다.
한편, 일반적으로 패닝 시에는 마우스의 포인터(800)가 함께 이동하기 때문에 긴 리스트 등에서 연속 패닝 동작을 수행하기 위해서는 한 번 패닝 후 다시 마우스를 중간 지점으로 이동시킨 후 다시 패닝 해야 하는 불편함이 존재할 수 있다. 따라서 본 발명의 실시 예에서는 상기 불편함을 해소하기 위해 터치 업 하여 패닝 완료 시 터치 다운 했던 위치로 마우스의 포인터(800)를 자동으로 복귀시키는 방안과, 포인터 이동 영역(600)을 터치 한 상태에서 동시에 패닝 영역(500)을 이용하여 패닝하면 마우스의 포인터(800) 위치는 고정된 상태에서 컨텐츠의 화면만 패닝되도록 하는 방안을 제안한다.
이하에서는, 패닝 시 마우스의 포인터(800)를 복귀하는 방식 즉, 포인터 복귀에 의한 패닝 제어 모드를 운용하는 방법과, 패닝 시 마우스의 포인터(800)를 고정하는 방식 즉, 포인터 고정에 의한 패닝 제어 모드를 운용하는 방법에 대하여 구체적으로 살펴보기로 한다. 이때, 상기와 같은 본 발명의 패닝 제어 모드는 마스터 디바이스(100) 및 슬레이브 디바이스(200)에서 수행될 수 있으며, 각각의 동작에 대하여 구분하여 살펴보기로 한다.
먼저, 마스터 디바이스(100)에서 포인터 복귀에 의한 패닝 제어 모드와 포인터 고정에 의한 패닝 제어 모드를 운용하는 방법에 대하여 도 13 및 도 14를 참조하여 살펴보기로 한다.
도 13은 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다. 특히, 도 13은 마스터 디바이스(100)에서 포인터 복귀에 의한 패닝 제어 모드를 운용하는 동작을 나타낸 것이다.
상기 도 13을 참조하면, 마스터 디바이스(100)의 제어부(170)는 마우스 인터페이스의 패닝 영역(500)을 통해 터치 다운이 입력되면(1201단계), 상기 터치 다운이 입력된 좌표로부터 누적 좌표(dx, dy)를 생성한다(1203단계). 여기서, 최초 터치 다운에 따라 상기 누적 좌표는 (dx=0, dy=0)를 가질 수 있다. 그리고 제어부(170)는 상기 패닝 영역(500)의 터치 다운에 따른 터치 이벤트(예컨대, touch press)를 발생하여 슬레이브 디바이스(200)에게 전송한다(1205단계).
제어부(170)는 상기 터치 이벤트 발생 후 다음 터치 이벤트(예컨대, touch move, touch up) 입력을 대기한다(1207단계). 그리고 제어부(170)는 상기 다음 터치 이벤트가 입력되면, 상기 다음 터치 이벤트가 터치 무브에 해당하는지 터치 업에 해당하는지 판단한다(1209단계).
제어부(170)는 상기 다음 터치 이벤트가 터치 무브에 해당하면(1209단계의 Move), 상기 터치 무브에 따른 이동으로부터 누적 좌표(dx, dy)를 산출한다(1211단계). 예를 들어, 제어부(170)는 상기 터치 다운으로부터 생성된 누적 좌표(dx, dy)에 상기 터치 무브에 따라 이동된 좌표(dx, dy) 즉, x 방향의 단위 이동 거리 및 y 방향의 단위 이동 거리를 합산하여 누적 좌표(dx, dy)를 업데이트할 수 있다. 상기 누적 좌표는 상기 터치 무브에 따른 터치 이벤트에 따라 계속 누적되어 계산될 수 있다. 즉, 터치 무브에 따라 상기 누적 좌표는 (누적 dx = 누적 dx + 신규 dx, 누적 dy = 누적 dy + 신규 dy)를 가질 수 있다. 그리고 제어부(170)는 상기 터치 무브에 따른 터치 이벤트를 발생하여 슬레이브 디바이스(200)에게 전송한다(1213단계). 이후, 제어부(170)는 1207단계로 진행하여 터치 업이 입력될 때까지 상기한 동작을 제어한다.
제어부(170)는 상기 다음 터치 이벤트가 터치 업에 해당하면(1209단계의 Up), 상기 터치 업에 따른 터치 이벤트(예컨대, touch release)를 발생하여 슬레이브 디바이스(200)에게 전송한다(1215단계). 이때, 제어부(170)는 상기 터치 업이 검출될 시 속도 알고리즘(Velocity Algorithm)을 비활성화 즉, 마우스 포인터(800)의 이동에 적용하지 않는다(1217단계).
여기서, 일반적으로 속도(velocity)는 한 점이 어떤 방향으로 얼마나 빠르게 움직이는지를 나타내는 양을 말한다. 그리고 일반적으로 마우스의 포인터(800)를 이동(move) 시킬 경우 이동하는 거리(S)와 발생시간(T)에 따라 속도(V)를 적용하여, 긴 거리를 짧은 시간동안 움직여 속도가 일정 값 이상일 경우 실제 이동하는 거리보다 더 멀리 움직이도록 1보다 큰 스케일(Scale) 값을 곱하도록 되어 있다. 반대로, 짧은 거리를 긴 시간동안 움직여 속도가 일정 값 이하일 경우 실제 이동하는 거리보다 덜 움직이도록 1보다 작은 스케일 값을 곱하도록 되어 있다. 하지만, 본 발명에서와 같이 패닝 동작 시 마우스 포인터(800)를 제자리로 복귀시키기 위해서는 이러한 속도 알고리즘이 적용되지 않아야 한다. 따라서 본 발명의 실시 예에서는 포인터(800) 복귀에 의한 패닝 제어 모드 시에는 일시적으로 속도 알고리즘을 적용하지 않도록 한다.
제어부(170)는 상기 터치 무브에 따라 이동된 포인터(800)를 상기 터치 다운이 입력된 초기의 위치로 이동하기 위한 터치 이벤트(예컨대, reverse touch move)를 발생하여 슬레이브 디바이스(200)에게 전송한다(1219단계). 즉, 제어부(170)는 상기 1211단계에서 산출되는 누적 좌표(dx, dy)에 대응하는 차감 누적 좌표(-dx, -dy)를 생성하고, 그에 따른 터치 이벤트를 슬레이브 디바이스(200)에게 전송할 수 있다. 이에 의해, 패닝 동작에 따라 이동된 마우스의 포인터(800)가 이동된 거리만큼 역 이동하여 원래의 위치로 복귀되게 된다.
제어부(170)는 터치 업에 따른 포인터(800)의 복귀가 완료될 시 상기에서 일시 중단된 속도 알고리즘을 다시 활성화 한다(1221단계).
도 14는 본 발명의 실시 예에 따른 마스터 디바이스(100)에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다. 특히, 도 14는 마스터 디바이스(100)에서 포인터 고정에 의한 패닝 제어 모드를 운용하는 동작을 나타낸 것이다.
상기 도 14를 참조하면, 마스터 디바이스(100)의 제어부(170)는 마우스 인터페이스의 패닝 영역(500)을 통해 터치 다운이 입력되면(1301단계), 포인터 이동 영역(600)에 다른 터치가 입력(press) 중인지 판단한다(1303단계).
제어부(170)는 포인터 이동 영역(600)에 프레스 되고 있는 다른 터치 입력이 없으면(1303단계의 NO) 포인터 복귀에 의한 패닝 동작을 제어한다(1305단계). 즉, 제어부(170)는 앞서 도 12에서 살펴본 바와 같은 패닝 제어 모드를 제어한다.
제어부(170)는 포인터 이동 영역(600)에 프레스 되고 있는 다른 터치 입력이 있으면(1303단계의 YES) 상기 패닝 영역(500)의 싱글 터치 다운에 따른 싱글 터치 이벤트(예컨대, single touch down)를 발생하여 슬레이브 디바이스(200)에게 전송한다(1307단계). 즉, 제어부(170)는 포인터 이동 영역(600)에 특정 입력이 유지되고 있는 상태에서 패닝 영역(500)을 통해 터치 다운이 검출될 시 포인터 고정에 의한 패닝 동작을 결정하고 그에 따른 터치 이벤트를 발생할 수 있다. 즉, 제어부(170)는 포인터 이동 영역(600)에 대응하는 터치 이벤트는 생략하고, 패닝 영역(500)에 대응하여 컨텐츠 화면의 패닝만을 위한 터치 이벤트를 발생할 수 있다.
제어부(170)는 상기 터치 이벤트 발생 후 다음 터치 이벤트(예컨대, touch move, touch up) 입력을 대기한다(1309단계). 그리고 제어부(170)는 상기 다음 터치 이벤트가 입력되면, 상기 다음 터치 이벤트가 터치 무브에 해당하는지 터치 업에 해당하는지 판단한다(1311단계).
제어부(170)는 상기 다음 터치 이벤트가 터치 무브에 해당하면(1311단계의 Move), 상기 터치 무브에 따른 터치 이벤트를 발생하여 슬레이브 디바이스(200)에게 전송한다(1313단계). 이때, 제어부(170)는 상기 터치 무브에 따라 이동된 좌표를 생성하고, 그에 따른 터치 이벤트를 슬레이브 디바이스(200)에게 전송할 수 있다. 즉, 제어부(170)는 터치 무브가 입력될 시 상기 패닝 영역(500)의 터치 무브에 따른 마우스 포인터(800)의 이동 좌표는 고정하고 상기 터치 무브에 따라 이동된 좌표에 의한 컨텐츠 화면 패닝을 위한 터치 이벤트를 발생할 수 있다. 이에 의해, 패닝 동작 시 마우스 포인터(800)의 위치는 고정하고, 상기 터치 무브에 따라 컨텐츠의 화면의 패닝만 이루어질 수 있다. 이후, 제어부(170)는 1309단계로 진행하여 터치 업이 입력될 때까지 동작을 제어한다.
제어부(170)는 상기 다음 터치 이벤트가 터치 업에 해당하면(1311단계의 Up), 상기 터치 업에 따른 터치 이벤트(예컨대, touch release)를 발생하여 슬레이브 디바이스(200)에게 전송한다(1315단계).
다음으로, 슬레이브 디바이스(200)에서 포인터 복귀에 의한 패닝 제어 모드와 포인터 고정에 의한 패닝 제어 모드를 운용하는 방법에 대하여 도 15 및 도 16을 참조하여 살펴보기로 한다.
도 15는 본 발명의 실시 예에 따른 슬레이브 디바이스(200)에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다. 특히, 도 15는 슬레이브 디바이스(200)에서 포인터 복귀에 의한 패닝 제어 모드를 운용하는 동작을 나타낸 것이다.
상기 도 15를 참조하면, 슬레이브 디바이스(200)의 제어부(270)는 마스터 디바이스(100)로부터 패닝 영역(500)의 터치 다운에 따른 터치 이벤트를 수신할 수 있다(1401단계). 제어부(270)는 상기 터치 이벤트에 따라 현재 마우스의 포인터(800)의 위치를 저장한다(1403단계). 즉, 제어부(270)는 마스터 디바이스(200)의 터치 이벤트에 발생에 응답하여 마우스 포인터(800)의 현재 좌표를 근본 좌표(Origin coordinates)(Origin x, Origin y)로 저장할 수 있다.
제어부(270)는 상기 터치 이벤트 수신 후 다음 터치 이벤트 수신을 대기한다(1405단계). 그리고 제어부(270)는 상기 다음 터치 이벤트가 마스터 디바이스(100)로부터 수신되면, 상기 다음 터치 이벤트가 터치 무브에 해당하는지 터치 업에 해당하는지 판단한다(1407단계).
제어부(270)는 상기 터치 이벤트가 터치 무브에 해당하면(1407단계의 Move), 상기 터치 무브에 응답하여 마우스의 포인터(800)를 이동한다(1409단계). 이후, 제어부(270)는 1405단계로 진행하여 터치 업이 입력될 때까지 상기한 동작을 제어한다.
제어부(270)는 상기 다음 터치 이벤트가 터치 업에 해당하면(1407단계의 Up), 속도 알고리즘을 비활성화 즉, 마우스 포인터(800)의 이동에 적용하지 않는다(1411단계). 그리고 제어부(270)는 상기 터치 업에 응답하여 상기 포인터(800)를 상기 근본 좌표의 위치로 이동한다(1413단계). 즉, 제어부(270)는 상기 터치 무브에 따라 이동된 포인터(800)가 이동할 이동 좌표를 상기 저장된 근본 좌표로 설정하고, 상기 근본 좌표에 따른 위치로 상기 포인터(800)를 이동하여 원래의 위치로 복귀한다.
제어부(270)는 상기 터치 업에 따른 포인터(800)의 복귀가 완료될 시 상기에서 일시 중단된 속도 알고리즘을 다시 활성화 한다(1415단계).
도 16은 본 발명의 실시 예에 따른 슬레이브 디바이스(200)에서 패닝 제어 모드를 운용하는 방법을 도시한 흐름도이다. 특히, 도 16은 슬레이브 디바이스(200)에서 포인터 고정에 의한 패닝 제어 모드를 운용하는 동작을 나타낸 것이다.
상기 도 16을 참조하면, 슬레이브 디바이스(200)의 제어부(270)는 마스터 디바이스(100)로부터 패닝 영역(500)의 터치 다운에 따른 터치 이벤트를 수신할 수 있다(1501단계). 특히, 상기 도 15에서 포인터 이동 영역(600)에 프레스 되고 있는 다른 터치 입력이 있는 상태를 가정함에 따라, 제어부(270)는 마스터 디바이스(100)로부터 패닝 영역(500)의 싱글 터치 다운에 따른 싱글 터치 이벤트를 수신할 수 있다.
제어부(270)는 상기 싱글 터치 이벤트가 수신되면 현재 마우스 포인터(800)의 위치(예컨대, 포인터 좌표(Pointer x, Pointer y))에서 터치 다운 이벤트를 생성한다(1503단계). 이때, 제어부(270)는 마우스 포인터(800)의 현재 위치 즉, 포인터 좌표에서 마우스의 포인터(800)를 고정할 수 있다.
제어부(270)는 상기 포인터 좌표에 터치 다운 이벤트를 생성한 후 다음 터치 이벤트 수신을 대기한다(1505단계). 그리고 제어부(270)는 상기 다음 터치 이벤트가 마스터 디바이스(100)로부터 수신되면, 상기 다음 터치 이벤트가 터치 무브에 해당하는지 터치 업에 해당하는지 판단한다(1507단계).
제어부(270)는 상기 다음 터치 이벤트가 터치 무브에 해당하면(1507단계의 Move), 상기 터치 무브에 따른 이동으로부터 누적 좌표(dx, dy)를 산출한다(1509단계). 예를 들어, 제어부(170)는 상기 터치 다운으로부터 생성된 포인터 좌표(Pointer x, Pointer y)에 상기 터치 무브에 따라 이동된 좌표(New dx, New dy) 즉, x 방향의 단위 이동 거리 및 y 방향의 단위 이동 거리를 합산하여 누적 좌표(dx, dy)를 업데이트할 수 있다. 상기 누적 좌표는 상기 터치 무브에 따른 터치 이벤트에 따라 계속 누적되어 계산될 수 있다. 즉, 터치 무브에 따라 상기 누적 좌표는 (누적 dx = 누적 dx + 신규 dx, 누적 dy = 누적 dy + 신규 dy)를 가질 수 있다. 그리고 제어부(270)는 상기 터치 무브에 따른 터치 이벤트에 대해 현재 마우스 포인터(800)의 위치(예컨대, 포인터 좌표(Pointer x, Pointer y))와 상기 누적 좌표(dx, dy)가 합산된 위치(예컨대, Pointer x + dx, Pointer y + dy))에서 터치 무브 이벤트를 생성한다(1511단계). 이에 의해, 마우스의 포인터(800)는 고정하고, 상기 터치 무브 이벤트에 따른 컨텐츠의 화면 패닝만을 수행할 수 있다. 이후, 제어부(270)는 1505단계로 진행하여 터치 업이 입력될 때까지 상기한 동작을 제어한다.
제어부(270)는 상기 다음 터치 이벤트가 터치 업에 해당하면(1507단계의 Up), 현재 마우스 포인터(800)의 위치(예컨대, 포인터 좌표(Pointer x, Pointer y))와 상기 누적 좌표(dx, dy)가 합산된 위치(예컨대, Pointer x + dx, Pointer y + dy))에서 터치 업 이벤트를 생성한다(1513단계). 이에 의해, 마우스의 포인터(800)는 고정되고, 컨텐츠의 화면만이 패닝된 상태가 제공될 수 있다.
한편, 마스터 디바이스(100)의 마우스 인터페이스(특히, 패닝 영역(500))에서 처리하는 화면 크기(즉, 입력되는 사용자의 터치를 처리하기 위한 화면 크기)와 슬레이브 디바이스(200)에서 마스터 디바이스(100)에서 처리되어 전송되는 터치 이벤트에 따라 패닝을 처리하는 화면 크기(즉, 슬레이브 디바이스(200)가 가지는 가상의 화면 크기(예컨대, 디스플레이 디바이스(300)의 화면 크기))가 다를 수 있다. 그리고 마스터 디바이스(100)에서는 절대좌표(absolute coordinate) 대신 상대좌표(relative coordinates)를 사용하며, 슬레이브 디바이스(200)에서는 절대좌표를 사용할 수 있다.
즉, 상기 도 16에서 살펴본 바와 같이, 슬레이브 디바이스(200)는 마스터 디바이스(100)로부터 상대좌표에 의한 터치 이벤트를 수신하고, 수신된 터치 이벤트에 따른 상대좌표를 절대좌표로 변환하여 컨텐츠 화면의 패닝을 처리할 수 있다. 상기 절대좌표로 변환은 마스터 디바이스(100)로부터 수신된 상대좌표의 터치 이벤트를 현재 마우스 포인터(800)의 위치와 결합하여 절대좌표의 터치 이벤트로 변환하는 것을 나타낸다. 여기서, 슬레이브 디바이스(200)는 마스터 디바이스(100)와 슬레이브 디바이스(200)의 해상도의 비율을 고려하여 상대좌표를 절대좌표로 변환할 수 있다. 예를 들어, 슬레이브 디바이스(200)는 마스터 디바이스(100)의 해상도와 슬레이브 디바이스(200)가 가지는 해상도의 일정 비율을 절대좌표 계산에 반영(예컨대, 일정 비율을 곱하여 절대좌표 계산)할 수 있다.
예를 들어, 터치 다운에 따른 터치 이벤트의 경우, 마스터 디바이스(100)에서는 패닝 영역(500)의 특정 지점이 터치되어 마우스 동작(예컨대, 패닝)이 시작됨을 알리는 상대좌표의 터치 이벤트를 발생하고, 상기 상대좌표의 터치 이벤트를 슬레이브 디바이스(200)에 전달할 수 있다. 그러면, 슬레이브 디바이스(200)는 상기 터치 이벤트에 따른 상대좌표를 절대좌표로 변환하고, 변환된 절대좌표에 터치 다운이 입력되었음을 처리할 수 있다.
또한 터치 무브에 따른 터치 이벤트의 경우, 마스터 디바이스(100)에서는 패닝 영역(500)의 특정 지점에 입력된 터치가 다른 지점으로 이동되어 마우스 동작(예컨대, 패닝)이 진행 중임을 알리는 상대좌표의 터치 이벤트를 발생하고, 상기 상대좌표의 터치 이벤트를 슬레이브 디바이스(200)에 전달할 수 있다. 그러면, 슬레이브 디바이스(200)는 상기 터치 이벤트에 따른 상대좌표를 절대좌표로 변환하고, 변환된 절대좌표에 따라 터치 무브가 입력되었음을 처리할 수 있다. 일 예로, 마스터 디바이스(100)는 패닝 영역(500)을 통해 상기 터치 다운된 좌표(예컨대, (300, 400))에서 (310, 395) 좌표로 이동되는 터치 무브가 검출되면, 현재 마우스 포인터 좌표에서 x축으로 +10만큼, y축으로 -5만큼 마우스 포인터를 이동하는 상대좌표의 터치 이벤트를 발생한다. 슬레이브 디바이스(200)는 현재 마우스 포인터 좌표(예컨대, (500, 1000))에서, 상대좌표의 터치 이벤트에 대응하여 x축으로 +10만큼, y축으로 -5만큼 마우스 포인터를 이동하는 상대좌표의 터치 이벤트를 (510, 995)와 같이 절대좌표로 변환하고, 상기 변환된 (510, 995) 좌표로 마우스 포인터를 이동하는 절대좌표의 터치 이벤트를 발생한다.
터치 업에 따른 터치 이벤트의 경우, 마스터 디바이스(100)에서는 패닝 영역(500)의 특정 지점에서 입력된 터치가 해제되어 마우스 동작(예컨대, 패닝)이 종료됨을 알리는 상대좌표의 터치 이벤트를 발생하고, 상기 상대좌표의 터치 이벤트를 슬레이브 디바이스(200)에게 전달할 수 있다. 그러면, 슬레이브 디바이스(200)는 상기 터치 이벤트에 따른 상대좌표를 절대좌표로 변환하고, 변환된 절대좌표에 터치 업이 입력되었음을 처리할 수 있다.
이상에서와 같이 슬레이브 디바이스(200)가 마우스 포인터(800)의 고정 후 컨텐츠 화면(배경)만을 패닝하는 경우에 있어서, 슬레이브 디바이스(200)는 상기 마스터 디바이스(100)로부터 상대좌표의 터치 이벤트를 수신하고, 수신된 터치 이벤트를 현재 마우스 포인터의 위치와 결합하여 절대좌표의 터치 이벤트로 변환하고, 변환된 터치 이벤트에 의한 패닝을 처리할 수 있다.
한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 마스터 디바이스
200: 슬레이브 디바이스
300: 디스플레이 디바이스
400: 기능버튼 영역
500: 패닝 영역
600: 포인터 이동 영역
800: 포인터

Claims (21)

  1. 터치 디바이스에서 마우스 기능 제공 방법에 있어서,
    패닝 영역과 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하는 과정;
    상기 마우스 인터페이스를 통해 마우스 제스처를 입력받는 과정;
    상기 마우스 제스처가 상기 패닝 영역에 입력된 경우 디스플레이 디바이스에 표시된 컨텐츠 화면의 패닝(panning) 동작을 처리하는 과정; 및
    상기 마우스 제스처가 상기 포인터 이동 영역에 입력된 경우 디스플레이 디바이스에 표시된 마우스 포인터의 이동 동작을 처리하는 과정을 포함하고,
    상기 패닝 동작을 처리하는 과정은,
    상기 패닝 영역에 터치 다운이 입력될 시 상기 포인터 이동 영역의 상태를 확인하는 과정; 및
    상기 포인터 이동 영역이 터치 프레스(touch press) 상태가 아니면, 터치 무브에 대응하여 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동을 위한 제어 이벤트를 발생하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  2. 제1항에 있어서, 상기 표시하는 과정은
    마우스 모드 실행 요청에 응답하여 마우스 모드를 실행하는 과정;
    상기 컨텐츠를 가지는 슬레이브 디바이스와 동기화하는 과정; 및
    상기 패닝 영역과 상기 포인터 이동 영역으로 화면 분할된 상기 마우스 인터페이스를 표시하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  3. 제1항에 있어서, 상기 패닝 동작을 처리하는 과정은
    상기 패닝 영역을 통해 상기 터치 다운(touch down) 입력을 수신하는 과정;
    패닝 제어 모드를 활성화 하는 과정;
    상기 패닝 영역에서 상기 터치 무브(touch move) 입력을 수신하는 과정;
    상기 터치 무브에 대응하여 상기 컨텐츠 화면을 패닝하는 제어 이벤트를 발생하는 과정;
    상기 패닝 영역에서 터치 업(touch up) 입력을 수신하는 과정; 및
    상기 터치 업에 응답하여 상기 패닝 제어 모드를 종료하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  4. 삭제
  5. 제3항에 있어서, 상기 종료하는 과정은
    상기 터치 업에 응답하여 상기 마우스 포인터를 복귀하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  6. 제5항에 있어서, 상기 복귀하는 과정은
    상기 터치 다운이 입력될 시 상기 터치 다운이 입력된 제1 좌표를 확인하는 과정;
    상기 터치 무브가 입력될 시 상기 터치 무브에 따라 이동된 제2 좌표를 상기 제1 좌표에 누적하여 제3 좌표를 산출하는 과정;
    상기 터치 업이 입력될 시 상기 산출된 제3 좌표만큼 차감하는 과정; 및
    상기 차감된 좌표로 상기 마우스 포인터를 이동하여 복귀하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  7. 제6항에 있어서, 상기 차감하는 과정은
    상기 터치 업이 입력될 시 상기 마우스 포인터의 이동에 속도 알고리즘(Velocity Algorithm)의 적용을 생략하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  8. 제5항에 있어서, 상기 복귀하는 과정은
    슬레이브 디바이스가 상기 터치 디바이스로부터 패닝 영역의 터치 다운에 따른 터치 다운 이벤트를 수신하는 과정;
    상기 터치 다운 이벤트에 응답하여 마우스 포인터의 현재 위치를 저장하는 과정;
    상기 터치 디바이스로부터 패닝 영역의 터치 무브에 따른 터치 무브 이벤트를 수신하는 과정;
    상기 터치 무브 이벤트에 응답하여 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터를 이동하는 과정;
    상기 터치 디바이스로부터 패닝 영역의 터치 업에 따른 터치 업 이벤트를 수신하는 과정; 및
    상기 터치 업 이벤트에 응답하여 상기 마우스 포인터를 상기 저장된 위치로 이동하여 복귀하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  9. 제8항에 있어서,
    상기 터치 업 이벤트를 수신할 시 상기 마우스 포인터의 이동에 속도 알고리즘의 적용을 생략하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  10. 제3항에 있어서, 상기 패닝 동작을 처리하는 과정은
    상기 포인터 이동 영역이 터치 프레스 상태이면, 상기 터치 무브에 대응하여 상기 마우스 포인터의 고정 및 상기 컨텐츠 화면의 패닝을 위한 제어 이벤트를 발생하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  11. 제10항에 있어서, 상기 마우스 포인터의 고정 및 상기 컨텐츠 화면의 패닝은
    상기 패닝 영역과 상기 포인터 이동 영역에 터치가 입력된 경우, 상기 패닝 영역의 터치 다운에 따른 터치 이벤트를 발생하는 과정; 및
    상기 터치 무브가 입력될 시 상기 패닝 영역의 터치 무브에 따른 마우스 포인터의 이동 좌표는 고정하고 상기 터치 무브에 따라 이동된 좌표에 의한 컨텐츠 화면 패닝을 위한 터치 이벤트를 발생하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  12. 제10항에 있어서, 상기 마우스 포인터의 고정 및 상기 컨텐츠 화면의 패닝은
    슬레이브 디바이스가 상기 터치 디바이스로부터 패닝 영역의 터치 다운에 따른 터치 다운 이벤트를 수신하는 과정;
    상기 터치 다운 이벤트에 응답하여 마우스 포인터의 현재 위치에서 상기 마우스 포인터를 고정하는 과정;
    상기 터치 디바이스로부터 패닝 영역의 터치 무브에 따른 터치 무브 이벤트를 수신하는 과정; 및
    상기 터치 무브 이벤트에 응답하여 상기 마우스 포인터의 이동은 생략하고 상기 컨텐츠 화면을 패닝하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  13. 제12항에 있어서, 상기 패닝하는 과정은
    상기 터치 다운 이벤트로부터 상기 마우스 포인터의 현재 위치에 따른 포인터 좌표를 생성하는 과정;
    상기 포인터 좌표에 상기 터치 무브 이벤트에 따라 이동된 신규 좌표를 합산하여 누적 좌표를 산출하는 과정; 및
    상기 터치 무브 이벤트에 응답하여 상기 마우스 포인터는 상기 포인터 좌표에 고정하고 상기 누적 좌표에 따라 컨텐츠 화면을 패닝하는 과정을 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  14. 제13항에 있어서, 상기 패닝하는 과정은
    상기 슬레이브 디바이스는 마스터 디바이스로부터 상대좌표의 터치 이벤트를 수신하고, 수신된 터치 이벤트를 현재 마우스 포인터의 위치와 결합하여 절대좌표의 터치 이벤트로 변환하고, 변환된 터치 이벤트에 의한 패닝을 처리하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  15. 제2항에 있어서,
    상기 슬레이브 디바이스와 상기 디스플레이 디바이스가 유선 인터페이스를 통해 연결하여 상기 슬레이브 디바이스에 저장된 컨텐츠를 상기 디스플레이 디바이스에 표시하는 과정; 및
    상기 터치 디바이스와 상기 슬레이브 디바이스가 무선 인터페이스를 통해 연결되어 상기 디스플레이 디바이스에 표시된 컨텐츠를 원격 제어하는 과정을 더 포함하는 것을 특징으로 하는 터치 디바이스에서 마우스 기능 제공 방법.
  16. 터치 디바이스에 있어서,
    마우스 모드에서 컨텐츠 화면의 패닝(panning)을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하는 표시부;
    상기 마우스 인터페이스의 상기 패닝 영역 및 상기 포인터 이동 영역으로부터 터치 이벤트 입력을 수신하는 터치감지부;
    상기 마우스 인터페이스로부터 발생된 터치 이벤트를 전송하는 무선 통신부; 및
    마우스 모드 실행 시 상기 패닝 영역 및 상기 포인터 이동 영역으로 화면 분할된 마우스 인터페이스 표시를 제어하고, 상기 패닝 영역에 마우스 제스처를 검출할 시 상기 포인터 이동 영역의 상태를 확인하고, 상기 포인터 이동 영역이 터치 프레스(touch press) 상태가 아니면 상기 패닝 영역의 상기 마우스 제스처에 따라 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동을 함께 제어하고, 상기 포인터 이동 영역이 터치 프레스 상태이면 상기 패닝 영역의 상기 마우스 제스처에 따라 상기 컨텐츠 화면의 패닝을 제어하고, 상기 포인터 이동 영역에 상기 마우스 제스처를 검출할 시, 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하는 제어부를 포함하는 것을 특징으로 하는 터치 디바이스.
  17. 삭제
  18. 제16항에 있어서, 상기 제어부는
    상기 마우스 제스처에 따른 상기 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동 후, 상기 마우스 제스처가 해제될 시 상기 이동된 마우스 포인터를 이동 전 원래의 위치로 이동하여 복귀하는 것을 특징으로 하는 터치 디바이스.
  19. 마우스 기능을 이용한 원격 제어 시스템에 있어서,
    마우스 모드 실행 시 패닝 영역 및 포인터 이동 영역으로 화면 분할된 마우스 인터페이스를 표시하고, 상기 패닝 영역에 마우스 제스처가 입력되면, 상기 포인터 이동 영역의 상태를 확인하고, 상기 포인터 이동 영역이 터치 프레스(touch press) 상태가 아니면, 터치 무브에 대응하여 컨텐츠 화면의 패닝 및 상기 마우스 포인터의 이동을 위한 제어 이벤트를 발생하고, 상기 포인터 이동 영역에 상기 마우스 제스처가 입력되면, 마우스 포인터의 이동을 위한 다른 제어 이벤트를 발생하는 마스터 디바이스;
    컨텐츠를 제공하고, 상기 마스터 디바이스의 제어 이벤트에 따라 컨텐츠 화면의 패닝 및 마우스 포인터의 이동을 처리하는 슬레이브 디바이스; 및
    상기 슬레이브 디바이스의 상기 컨텐츠에 관련된 화면을 표시하는 디스플레이 디바이스를 포함하는 것을 특징으로 하는 마우스 기능을 이용한 원격 제어 시스템.
  20. 제19항에 있어서,
    상기 슬레이브 디바이스는 상기 디스플레이 디바이스와 유선 인터페이스 또는 무선 인터페이스를 통해 연결되어 상기 슬레이브 디바이스에 저장된 컨텐츠를 상기 디스플레이 디바이스에 표시하고,
    상기 마스터 디바이스는 상기 슬레이브 디바이스와 무선 인터페이스를 통해 연결되어 상기 디스플레이 디바이스에 표시된 컨텐츠를 원격 제어하는 것을 특징으로 하는 마우스 기능을 이용한 원격 제어 시스템.
  21. 마우스 모드에서 컨텐츠 화면의 패닝(panning)을 위한 패닝 영역 및 마우스 포인터의 이동을 위한 포인터 이동 영역으로 구분된 마우스 인터페이스를 표시하고, 상기 마우스 인터페이스를 통해 마우스 제스처가 상기 패닝 영역에 입력된 경우 상기 포인터 이동 영역의 상태를 확인하고, 상기 포인터 이동 영역이 터치 프레스(touch press) 상태가 아니면, 터치 무브에 대응하여 컨텐츠 화면의 패닝(panning) 및 상기 마우스 포인터의 이동을 위한 제어 이벤트를 발생하고, 상기 마우스 제스처가 상기 포인터 이동 영역에 입력된 경우 디스플레이 디바이스에 표시된 마우스 포인터의 이동 동작을 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130001835A 2013-01-07 2013-01-07 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치 KR102015347B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020130001835A KR102015347B1 (ko) 2013-01-07 2013-01-07 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
AU2014200068A AU2014200068B2 (en) 2013-01-07 2014-01-07 Method and apparatus for providing mouse function using touch device
EP14150301.1A EP2752759B1 (en) 2013-01-07 2014-01-07 Method and apparatus for providing mouse function using touch device
US14/149,093 US9223414B2 (en) 2013-01-07 2014-01-07 Method and apparatus for providing mouse function using touch device
CN201410007000.4A CN103914253B (zh) 2013-01-07 2014-01-07 使用触摸设备提供鼠标功能的方法和装置
PCT/KR2014/000140 WO2014107087A1 (en) 2013-01-07 2014-01-07 Method and apparatus for providing mouse function using touch device
JP2014001092A JP6378487B2 (ja) 2013-01-07 2014-01-07 タッチデバイスとこれを用いたマウス機能提供方法及びリモートコントロールシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001835A KR102015347B1 (ko) 2013-01-07 2013-01-07 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140089874A KR20140089874A (ko) 2014-07-16
KR102015347B1 true KR102015347B1 (ko) 2019-08-28

Family

ID=49989486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001835A KR102015347B1 (ko) 2013-01-07 2013-01-07 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치

Country Status (7)

Country Link
US (1) US9223414B2 (ko)
EP (1) EP2752759B1 (ko)
JP (1) JP6378487B2 (ko)
KR (1) KR102015347B1 (ko)
CN (1) CN103914253B (ko)
AU (1) AU2014200068B2 (ko)
WO (1) WO2014107087A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD754715S1 (en) * 2014-06-23 2016-04-26 Microsoft Corporation Display screen with graphical user interface
CN104345925A (zh) * 2014-11-25 2015-02-11 成都双奥阳科技有限公司 一种具有手柄的鼠标
US9641622B2 (en) * 2014-12-04 2017-05-02 Apple Inc. Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
KR101723271B1 (ko) * 2014-12-16 2017-04-04 인하대학교 산학협력단 이동 단말기, 이동 단말기를 구동하기 위한 방법 및 기록매체
CN104679469B (zh) * 2014-12-29 2019-02-26 合肥杰发科技有限公司 车载终端及其获取手持终端的屏幕分辨率的方法
CN105808113A (zh) * 2014-12-31 2016-07-27 富泰华工业（深圳）有限公司 用户界面的输入控制系统及方法
CN104703011B (zh) * 2015-03-20 2019-07-16 王海忠 带多点确认功能的触控遥控器及其控制方法
CN106208172B (zh) * 2015-04-30 2020-06-16 微软技术许可有限责任公司 移动客户端设备无线充电、通信及认证技术
KR101682527B1 (ko) * 2015-10-03 2016-12-06 (주)마이크로텍시스템 박형 햅틱 모듈을 이용한 마우스 겸용 터치 키패드
CN105630393B (zh) * 2015-12-31 2018-11-27 歌尔科技有限公司 一种触摸屏工作模式的控制方法和控制装置
CN105824435A (zh) * 2016-05-24 2016-08-03 深圳市百川海奇科技有限公司 一种可自定义按键的键盘
CN106095163B (zh) * 2016-05-30 2019-01-22 京东方科技集团股份有限公司 触控屏的驱动装置、显示装置
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端
KR102365678B1 (ko) * 2017-03-29 2022-02-21 삼성전자주식회사 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
CN107291235B (zh) * 2017-06-22 2021-09-21 三星电子（中国）研发中心 控制方法和装置
KR102500666B1 (ko) 2017-11-21 2023-02-16 삼성전자 주식회사 입력 인터페이스를 구성하는 방법 및 이를 사용하는 전자 장치
KR102621236B1 (ko) 2018-11-07 2024-01-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11782593B1 (en) 2019-06-09 2023-10-10 Advanced Electronic Design, Inc. Wireless personal protection device and methods of use
CN110908580B (zh) * 2019-11-11 2021-11-02 广州视源电子科技股份有限公司 控制应用的方法和装置
WO2021150216A1 (en) * 2020-01-22 2021-07-29 Hewlett-Packard Development Company, L.P. Interacting with accessibility events of a computing device
CN114442820A (zh) * 2020-10-30 2022-05-06 深圳Tcl新技术有限公司 一种基于激光交互的控制方法和计算机设备
KR102602034B1 (ko) * 2021-05-11 2023-11-15 엘지전자 주식회사 디스플레이 장치
CN113311971A (zh) * 2021-06-01 2021-08-27 王明烨 鼠标移动差异化的方法、系统及装置
CN113946208B (zh) * 2021-09-10 2023-03-28 荣耀终端有限公司 一种触控板操控方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090101417A1 (en) 2007-10-12 2009-04-23 Hiroyuki Suzuki Touch sensor
JP2010009533A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd 表示及び入力機能を備えた装置
US20100033353A1 (en) 2008-08-08 2010-02-11 Chi Mei Communication Systems, Inc. Electronic device and anti-misoperation method for key module
JP2010239251A (ja) * 2009-03-30 2010-10-21 Hitachi Ltd テレビ操作方法。

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850570B2 (ja) * 1998-12-11 2006-11-29 アルプス電気株式会社 タッチパッド及びタッチパッドによるスクロール制御方法
WO2003065190A2 (en) * 2002-01-29 2003-08-07 Meta4Hand Inc. Computer pointer control
JP2003330591A (ja) * 2002-05-08 2003-11-21 Toshiba Corp 情報処理装置およびコンピュータの操作方法
WO2005064439A2 (en) 2003-12-31 2005-07-14 France Telecom Dynamically modifiable virtual keyboard or virtual mouse interface
TWI236239B (en) * 2004-05-25 2005-07-11 Elan Microelectronics Corp Remote controller
KR101135898B1 (ko) * 2007-12-05 2012-04-13 삼성전자주식회사 리모트 컨트롤러 및 그 제어방법과 이를 가지는영상처리장치
US8754855B2 (en) * 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20100214218A1 (en) * 2009-02-20 2010-08-26 Nokia Corporation Virtual mouse
JP2011164953A (ja) * 2010-02-10 2011-08-25 Nec Corp 携帯用電子機器及び表示制御方法
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
KR20120034297A (ko) * 2010-10-01 2012-04-12 엘지전자 주식회사 이동 단말기 및 그에 따른 어플리케이션의 제어방법
WO2012065885A1 (en) * 2010-11-15 2012-05-24 Movea Smart air mouse
US8558790B2 (en) * 2012-03-04 2013-10-15 Lg Electronics Inc. Portable device and control method thereof
WO2013133478A1 (en) * 2012-03-04 2013-09-12 Lg Electronics Inc. Portable device and control method thereof
CN102662556A (zh) * 2012-03-07 2012-09-12 中兴通讯股份有限公司 计算机终端的控制方法、装置及系统
CN102819345A (zh) * 2012-06-25 2012-12-12 赵旭阳 双窗口触摸屏设备
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090101417A1 (en) 2007-10-12 2009-04-23 Hiroyuki Suzuki Touch sensor
JP2010009533A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd 表示及び入力機能を備えた装置
US20100033353A1 (en) 2008-08-08 2010-02-11 Chi Mei Communication Systems, Inc. Electronic device and anti-misoperation method for key module
JP2010239251A (ja) * 2009-03-30 2010-10-21 Hitachi Ltd テレビ操作方法。

Also Published As

Publication number Publication date
EP2752759A3 (en) 2017-11-08
CN103914253A (zh) 2014-07-09
CN103914253B (zh) 2018-09-18
AU2014200068A1 (en) 2014-07-24
US9223414B2 (en) 2015-12-29
JP2014132466A (ja) 2014-07-17
EP2752759A2 (en) 2014-07-09
AU2014200068B2 (en) 2019-01-31
US20140191960A1 (en) 2014-07-10
EP2752759B1 (en) 2018-10-31
WO2014107087A1 (en) 2014-07-10
JP6378487B2 (ja) 2018-08-22
KR20140089874A (ko) 2014-07-16

Similar Documents

Publication Publication Date Title
KR102015347B1 (ko) 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
US10635379B2 (en) Method for sharing screen between devices and device using the same
CN108845782B (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
JP6363365B2 (ja) タッチスクリーンを含む画面表示制御装置及び画面表示制御方法
KR102032449B1 (ko) 이미지 표시 방법 및 휴대 단말
US9569065B2 (en) Electronic device including projector and method for controlling the electronic device
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
WO2019024700A1 (zh) 表情展示方法、装置及计算机可读存储介质
JP6139397B2 (ja) マウス機能提供方法およびこれを具現する端末
CA2849616C (en) Device and method for generating data for generating or modifying a display object
US20150160834A1 (en) Portable apparatus and method for displaying a screen thereof
US20140035851A1 (en) Method for controlling user input and electronic device thereof
US20180329598A1 (en) Method and apparatus for dynamic display box management
KR102058461B1 (ko) 사용자 디바이스의 기능 처리 방법 및 장치
CN109582212B (zh) 用户界面显示方法及其设备
CN107390922B (zh) 虚拟触控方法、装置、存储介质及终端
EP2687972A2 (en) Techniques for programmable button on bezel of mobile terminal
KR102004986B1 (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
US20190235687A1 (en) Electronic device and operating method therefor
KR20140134088A (ko) 전자장치의 사용 방법 및 장치
US20210255765A1 (en) Display Control Method and Terminal
KR102375216B1 (ko) 어플리케이션의 표시 비율 변경 방법 및 이를 구현한 전자 장치
KR102160105B1 (ko) 사용자 인터페이스를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant