KR101885685B1 - 터치 디스플레이용 가상 제어기 - Google Patents

터치 디스플레이용 가상 제어기 Download PDF

Info

Publication number
KR101885685B1
KR101885685B1 KR1020137016815A KR20137016815A KR101885685B1 KR 101885685 B1 KR101885685 B1 KR 101885685B1 KR 1020137016815 A KR1020137016815 A KR 1020137016815A KR 20137016815 A KR20137016815 A KR 20137016815A KR 101885685 B1 KR101885685 B1 KR 101885685B1
Authority
KR
South Korea
Prior art keywords
finger
controller
virtual controller
computing device
virtual
Prior art date
Application number
KR1020137016815A
Other languages
English (en)
Other versions
KR20130133224A (ko
Inventor
오토 버케스
조셉 에이치 3세 매튜스
아비 가이저
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20130133224A publication Critical patent/KR20130133224A/ko
Application granted granted Critical
Publication of KR101885685B1 publication Critical patent/KR101885685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/609—Methods for processing data by generating or executing the game program for unlocking hidden game elements, e.g. features, items, levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

사용자의 손가락의 터치를 감지하도록 구성된 터치 센서를 포함하는 터치 감응 디스플레이를 갖는 컴퓨팅 장치와 함께 사용하기 위한 시스템 및 방법이 제공된다. 이러한 방법은 터치 센서를 통해 디스플레이 상에서 초기 손가락 하강 위치를 감지하는 단계, 및 상기 손가락 위치에서 가상 제어기에 대한 중립 위치를 설정하는 단계를 포함한다. 방법은 추가로 상기 초기 손가락 하강 위치에 대한 손가락의 후속 움직임을 감지하는 단계, 및 상기 초기 손가락 하강 위치에 대한 손가락의 후속 움직임에 기초해서 제어기의 입력 매개 변수를 결정하는 단계를 포함할 수 있다. 방법은 추가로 결정된 제어기의 입력 매개 변수를 나타내는 제어기의 입력 메시지를 생성하는 단계를 포함할 수 있다.

Description

터치 디스플레이용 가상 제어기{VIRTUAL CONTROLLER FOR TOUCH DISPLAY}
휴대용 게임 장치는 전세계에서 많은 사용자에 의해 애용되고 있다. 그러한 한 유형의 게임 장치는 제어부 상의 정확한 손가락 배치를 보강하기 위한 촉각 피드백을 사용자에게 제공하는 하드 버튼 제어부(hard button control)뿐만 아니라 사용자가 예를 들어 스타일러스를 이용하여 게임과 상호 작용할 수 있도록 해주는 터치 스크린을 포함한다. 그러한 장치의 하나의 결점은 하드 버튼이 장치에 귀중한 공간을 차지하여 디스플레이의 크기를 제한하며 하우징의 크기를 증대시키는 것이다. 작은 버튼은 특히 빠르게 진행되는 게임 플레이 중에 사용자가 작동시키기 종종 어렵기 때문에 하드 버튼의 크기를 줄이는 것은 해결해야할 과제이다. 더욱이, 또한 다기능 태블릿 컴퓨팅 장치 또는 이동 전화의 역할을 하는 게임 장치와 관련해서, 특히 게임 플레이를 위해 제공되는 장치의 전면에 있는 전용 버튼은 게임을 하지 않는 소비자에게는 장치의 유용성 또는 외형을 손상시킬 수 있다.
사용자의 손가락(digit)의 터치를 감지하도록 구성된 터치 센서를 포함하는 터치 감응 디스플레이를 갖는 컴퓨팅 장치와 함께 사용하기 위한 시스템 및 방법이 제공된다. 이러한 방법은 터치 센서를 통해 디스플레이 상에서 초기 손가락 하강 위치(initial digit down position)를 감지하는 단계, 및 상기 손가락 위치에서 가상 제어기에 대한 중립 위치를 설정하는 단계를 포함한다. 방법은 추가로 상기 초기 손가락 하강 위치에 대한 손가락의 후속 움직임을 감지하는 단계, 및 상기 초기 손가락 하강 위치에 대한 손가락의 후속 움직임에 기초해서 제어기의 입력 매개 변수를 결정하는 단계를 포함할 수 있다. 방법은 추가로 결정된 제어기의 입력 매개 변수를 나타내는 제어기의 입력 메시지를 생성하는 단계를 포함할 수 있다.
이러한 요약은 아래의 상세한 설명에서 더 설명되는 단순화된 형태의 개념의 선택을 소개하기 위해 제공된다. 이러한 요약은 청구된 발명 대상의 중요한 특징 또는 필수적인 특징을 식별하기 위해 의도된 것이 아니며, 청구된 발명 대상의 범위를 제한하는 데 사용되도록 의도된 것도 아니다. 더욱이, 청구된 발명 대상은 본 개시의 어떤 부분에서 언급된 어느 하나 또는 모든 결점을 해결하는 구현으로 제한되지 않는다.
도 1은 터치 디스플레이를 위한 가상 제어기를 도시한 일 실시예에의 컴퓨팅 장치의 사시도이다.
도 2는 도 1의 컴퓨팅 장치의 개략도이다.
도 3은 도 1의 가상 제어기에 대한 상대적인 움직임을 예시하는 중립 위치의 그래프이다.
도 4는 도 1의 가상 제어기에 대한 중립 위치의 재배치의 그래프이다.
도 5는 도 1의 제어 아이콘를 작동시킬 엄지 손가락 상승 이벤트(thumb up event)의 그래프이다.
도 6은 터치 감응 디스플레이를 위한 가상 제어기를 출력하도록 구성된 컴퓨팅 장치에 대한 방법을 예시한 흐름도이다.
도 1은 터치 감응 디스플레이를 위한 가상 제어기(14)를 도시하는 컴퓨팅 장치(10)의 일 실시예의 사시도이다. 컴퓨팅 장치(10)는 예를 들어 이동 전화, 태블릿 컴퓨터, 또는 다른 핸드헬드 컴퓨팅 장치로 구성될 수 있다. 컴퓨팅 장치(10)는 사용자의 손가락의 복수의 터치를 감지하도록 구성된 터치 센서를 포함하는 멀티터치 디스플레이(12)와 같은 터치 감응 디스플레이를 포함할 수 있으며, 이는 도 2에 대해 더욱 상세히 논의될 것이다. 더욱이, 컴퓨팅 장치(10)는 복수의 터치를 통해 사용자로부터 입력을 수신하도록 구성될 수 있으며, 가상 제어기(14)를 제어하기 위해 입력 방법을 구현할 수 있다. 이러한 방법은 도 6에 대해 상세히 설명될 것이다.
우선 도 1을 참조하면, 컴퓨팅 장치(10)는 사용자가 비디오 게임과 같은 프로그램을 제어할 수 있도록 하는 구성에서 멀티터치 디스플레이(12) 상에 가상 제어기(14)를 표시할 수 있다. 예시된 실시예에서, 가상 제어기(14)는 비디오 게임의 양태를 제어하는 데 사용될 수 있는 가상 조이스틱 제어기를 포함하는 게임 제어기이며, 이에 의해 게임 디스플레이 영역(16)에서 게임 플레이를 가능하게 한다. 일반적으로, 가상 제어기는 과도하게 시각적으로 게임 디스플레이 영역의 표시를 방해하지 않는 방식으로 제공된다. 다른 실시예에서, 가상 제어기의 입력 모듈은 스피커/마이크 유닛(26)을 통해 가상 제어기의 입력에 대응하는 청각적 피드백을 제공할 수 있다.
가상 제어기(14)는 사용자의 손가락의 복수의 터치에 응답할 수 있다. 예를 들어, 손가락은 일반적인 방향으로 움직일 수 있는 엄지 손가락(18)일 수 있으며, 이러한 움직임은 가상 제어기(14)에 의해 하나 이상의 제어기의 입력 매개 변수로 변환될 수 있다. 제어기의 입력 매개 변수는 엄지 손가락(18)의 움직임에 대응하는 방향, 속도 및/또는 상대 크기를 포함할 수 있다. 결과적으로, 일부 실시예에서, 하나 이상의 제어 아이콘(20)은 제어의 위치를 확인시켜주는 시각적인 표시를 사용자에게 제공할 수 있으며, 이 표시는 사용자가 자신의 손가락을 움직임에 따라 업데이트 된다.
하나 이상의 제어 아이콘(20)은 사용자가 게임의 여러 양태를 제어하도록 할 수 있는 하나 이상의 가상 제어기(14) 및/또는 하나 이상의 보조 제어기를 나타낼 수 있다. 제어 아이콘(20)은 제각기 가상 조이스틱, 버튼, D-패드 버튼, 슬라이더, 및 게임의 양태를 제어하기 위해 작동될 수 있는 어떤 다른 특징 중 하나 이상일 수 있다. 도 1에 예시된 실시예에서, 가상 제어기는 MICROSOFT® XBOX® 제어기를 구현한다는 것이 이해될 것이다. 다른 제어기 구현이 또한 활용될 수 있다.
일반적으로, 가상 제어기는 과도하게 시각적으로 게임 디스플레이 영역의 표시를 방해하지 않는 방식으로 제공된다. 따라서, 일부 실시예에서, 디스플레이에 게임 플레이 영역의 가시 영역을 최대화하기 위해 디스플레이에 제어기 아이콘이 제공되지 않는다. 다른 실시예에서, 아이콘은 아래에 게임 플레이를 나타내도록 부분적으로 투명할 수 있거나, 아이콘이 짧은 시간 동안 제공된 후에 사라질 수 있다.
도 2는 도 1의 컴퓨팅 장치(10)의 소프트웨어 및 하드웨어 구성 요소를 도시한 개략도이다. 컴퓨팅 장치(10)는 멀티터치 디스플레이(12), 프로세서(22), 메모리 유닛(24), 스피커/마이크 유닛(26) 및 대용량 저장 유닛(28)을 포함하며, 모두 하나 이상의 데이터 버스를 통해 서로 통신하도록 구성된다.
멀티터치 디스플레이(12)는 가시 이미지를 생성하기 위한 다양한 디스플레이 기술을 채용할 수 있으며, 예를 들어 그래픽 사용자 인터페이스(GUI)(32)를 포함할 수 있다. 멀티터치 디스플레이(12)는 액정 디스플레이(LCD) 또는 예를 들어 복수의 발광 픽셀로 구성되는 유기 발광 다이오드(OLED) 디스플레이로 구성될 수 있다. 멀티터치 디스플레이(12)는 추가로 터치 센서(30) 및 압력 센서(34)를 포함할 수 있다.
멀티터치 디스플레이(12)에 결합된 터치 센서(30)는 터치(36)와 같은 사용자의 손가락의 복수의 터치를 감지할 수 있다. 멀티터치 디스플레이(12)에 결합된 압력 센서(34)는 시간의 경과에 따라 손가락과 관련된 터치(36)의 영역의 변화, 또는 압력 증가와 관련된 전기적 특성의 변화로부터 압력을 감지할 수 있다. 멀티터치 디스플레이(12)는 본 개시의 범위에서 벗어나지 않고 추가적 또는 대안적인 센서를 포함할 수 있다.
대용량 저장 유닛(28)은 여기에 설명된 여러 기능을 달성하기 위해 메모리 유닛(24) 및 디스플레이(12)를 이용하여 프로세서(22)에 의해 실행될 수 있는 가상 제어기의 입력 모듈(42) 및 프로그램(38)을 포함하는 여러 다양한 프로그램 및 모듈을 포함할 수 있다. 더욱이, 대용량 저장 유닛(28)은 예를 들어 멀티터치 디스플레이(12) 상의 GUI(32)의 표시를 제어할 수 있는 디스플레이 출력(40)을 전송하도록 구성될 수 있는 하나 이상의 프로그램(38)을 저장할 수 있다.
컴퓨팅 장치(10)는 다양한 프로그램이 운영 체제 자원과 통신하고 이러한 자원을 활용하는 응용 프로그램 인터페이스(API)를 포함하는 운영 체제를 포함할 수 있다는 것이 이해될 것이다. 일부 실시예에서, 가상 제어기의 입력 모듈(42)은 컴퓨팅 장치에서 API(48)로 구현될 수 있다. 대안으로, 가상 제어기의 입력 모듈은 프로그램, 라이브러리, 서비스, 또는 컴퓨팅 장치(10) 상에서 실행되는 다른 소프트웨어 구성 요소로 구현될 수 있다.
가상 제어기의 입력 모듈(42)은 컴퓨팅 장치(10)의 프로세서(22)에 의해 실행될 수 있다. 가상 제어기의 입력 모듈(42)은 터치 센서(30), 압력 센서(34) 및/또는 추가적인 센서를 통해 멀티터치 디스플레이(12) 상에서 사용자의 복수의 손가락을 터치로 감지하며, 이러한 터치에 대응하는 움직임을 감지하도록 구성될 수 있다. 이런 식으로, 가상 제어기의 입력 모듈(42)은 하나 이상의 센서에 의해 수신 된 데이터를 변환하고, 이러한 데이터에 기초하여 제어기의 입력 메시지(46)를 생성하며, 이러한 메시지를 프로그램(38)으로 전송할 수 있다.
예를 들면, 가상 제어기의 입력 모듈(42)은 터치 센서(30)를 통해 멀티터치 디스플레이(12) 상의 초기 손가락 하강 위치를 감지할 수 있다. 추가적으로, 가상 제어기의 입력 모듈(42)은 초기 손가락 하강 위치에서 가상 제어기(14)에 대한 중립 위치를 설정할 수 있다. 다시 말하면, 가상 제어기의 입력 모듈(42)은 손가락이 멀티터치 디스플레이(12)를 접촉할 때 초기 터치를 감지할 수 있다. 더욱이, 가상 제어기의 입력 모듈(42)은 중립 위치에 고정되거나 제어 가능하게 중심에 둔 제어 아이콘을 표시하도록 구성될 수 있다. 중립 위치를 설정한 후, 가상 제어기의 입력 모듈(42)은 예를 들어 초기 손가락 하강 위치에 대한 손가락의 후속 움직임을 감지하도록 구성될 수 있다. 이러한 터치 및 움직임은 특히 도 3-6에 대해 더욱 상세히 논의될 것이다.
가상 제어기의 입력 모듈(42)은 예를 들어 초기 손가락 하강 위치에 대한 손가락의 후속 움직임에 따라 제어기의 입력 매개 변수(44)를 결정하도록 구성될 수 있다. 제어기의 입력 매개 변수(44)를 결정하는 것은 예를 들어 초기 손가락 하강 위치에 대한 손가락의 후속 움직임의 방향, 속도 및/또는 상대 크기를 결정하는 것을 포함할 수 있다. 더욱이, 결정된 제어기의 입력 매개 변수(44)를 나타내는 제어기의 입력 메시지(46)는 가상 제어기의 입력 모듈(42)에 의해 생성되고 프로그램(38)으로 전송될 수 있다. 제어기의 입력 메시지(46)는 가상 제어기의 입력 모듈과 프로그램(38) 사이의 통신 경로의 역할을 하며, 이러한 프로그램(38)은 상술한 바와 같이 비디오 게임 또는 다른 프로그램일 수 있다. 이러한 메시지는 감지된 후속 움직임, 및/또는 아래에 논의되는 여러 다른 제어기의 입력 매개 변수에 기초한 제어기의 입력 매개 변수(44)를 포함할 수 있다.
다른 제어기의 입력 매개 변수(44)의 일례로서, 제어기의 입력 메시지(46)는 후속 움직임 동안에 멀티터치 디스플레이(12)에 대한 손가락의 압력의 표시를 포함할 수 있으며, 압력은 압력 센서(34)로부터 수신된 신호에 기초하여 감지된다. 감지된 압력은 시간의 경과에 따라 손가락과 관련된 터치 영역의 변화, 또는 예를 들어 스트레인 게이지에 의해 감지된 전기적 특성의 변화에 기초할 수 있다.
추가적으로, 가상 제어기의 입력 모듈(42)은 다른 제어기, 예를 들어 가상 제어기(14)와 다른 게임의 양태를 제어할 수 있는 보조 제어기에 대한 사용자의 손가락의 복수의 터치를 감지할 수 있다. 이러한 보조 제어기는 도 5에 대해 더 상세히 논의되는 보조 제어 영역과 관련될 수 있다. 이러한 보조 제어기로부터의 출력에 기초한 제어기의 입력 매개 변수는 또한 제어기의 입력 메시지(46)에 포함될 수 있다.
상술한 바와 같이, 가상 제어기의 입력 모듈(42)은 응용 프로그램 인터페이스(API)(48)로 구현될 수 있다. 따라서, 예를 들면, 초기 손가락 하강 위치를 감지하고, 중립 위치를 설정하고, 후속 움직임을 감지하고, 제어기의 입력 매개 변수(44)를 결정하며, 제어기의 입력 메시지(46)를 생성하는 것은 컴퓨팅 장치(10)에서 실행되는 응용 프로그램 인터페이스(48)에 의해 수행될 수 있다. 더욱이, 응용 프로그램 인터페이스(48)는 제어기의 입력 메시지(46)를 컴퓨팅 장치(10)에서 실행되는 프로그램(38)으로 출력할 수 있다. 다른 실시예에서, 가상 제어기의 입력 모듈(42)은 드라이버 독립형(stand alone) 실행 가능한 프로그램, 라이브러리, 서비스 또는 다른 타입의 소프트웨어 구성 요소로 구현될 수 있다.
도 3은 도 1의 가상 제어기(14)에 대한 상대적인 움직임을 예시하는 중립 위치(50)의 그래프이다. 도시된 바와 같이, 사용자의 손가락은 초기 손가락 하강 위치에 대응하여 접촉하고, 상술한 바와 같이 초기 손가락 하강 위치에 중립 위치(50)를 설정할 수 있다. 사용자는 중립 위치(50)에 대한 움직임을 행하여 가상 제어기(14)를 제어할 수 있다. 예를 들면, 사용자가 후속 움직임을 행하여 손가락(digit)이 위치(52)로 이동되게 하거나, 손가락이 위치(54)로 이동되도록 후속 움직임을 행할 수 있다. 각각의 이동은 손가락이 다중-터치 디스플레이(12)와 계속 접촉하는 동안 발생할 수 있으며, 상이한 방식으로 프로그램(36)에 의해 해석되는 상이한 제어 입력으로 해석될 수 있다. 예를 들면, 위치(52)로의 후속 움직임은 가상 차량을 앞으로 조종하고 왼쪽으로 조종할 수 있는 반면에, 위치(54)로의 후속 움직임은 가상 차량을 후진시킬 수 있다. 후속 움직임이 설명된 것과 다른 위치에서 감지될 수 있다는 것이 이해될 것이다.
도 4는 도 1의 가상 제어기(14)에 대한 중립 위치(50)의 재배치의 그래프이다. 때때로, 사용자는 멀티터치 디스플레이(12)의 표면에서 손가락을 들어 올릴 수 있으며, 가상 제어기(14)를 계속 제어하기 위해 후속 손가락 하강 위치를 따를 수 있다. 가상 제어기를 재배치하지 않으면, 사용자는 컴퓨팅 장치에서의 자신의 파지(grip)가 후속 손가락 하강 위치에서 크리프(creep)를 일으킨다는 것을 발견할 수 있다. 결과적으로, 사용자는 부주의하게 가상 제어기를 잘못 건드려서, 불만족스러운 사용자 경험, 비디오 게임에서의 나쁜 결과 등으로 이어진다.
이러한 문제를 처리하기 위해, 가상 제어기의 입력 모듈(42)은 이러한 크리프가 감지될 때 중립 위치를 재배치하도록 구성된다. 이러한 재배치는 다음과 같이 구현될 수 있다. 도 4에 도시된 바와 같이, 사용자의 손가락은 초기 손가락 하강 위치에 대응하여 접촉하며, 상술한 바와 같이 초기 손가락 하강 위치에 가상 제어기(14)에 대한 중립 위치(50)를 설정할 수 있다. 가상 제어기의 입력 모듈(42)은 손가락 상승 이벤트(58)를 감지하도록 구성될 수 있으며, 손가락 상승 이벤트(58)는 예를 들어 미리 정해진 임계 기간 동안 손가락 및 멀티터치 디스플레이(12)의 접촉이 없는 것일 수 있다.
가상 제어기의 입력 모듈(42)은 제 1 및 2 후속 손가락 하강 위치를 감지하며, 중심에서 (50B, 50C)에 대응하는 위치, 또는 후속 손가락 하강 위치에 대한 다른 위치로 중립 위치를 재배치하여, 결과적으로 (14B, 14C)에 도시된 바와 같이 가상 제어기가 재배치되도록 구성될 수 있다.
일부 시나리오에서, 사용자는 중립 위치가 실질적으로 멀티터치 디스플레이(12)의 경계에 가까울 수 있도록 손가락을 배치할 수 있으며, 따라서 부분 가상 제어기가 될 수 있다. 이러한 문제를 해결하기 위해, 중립 위치에 대한 가장 가까운 허용 가능한 위치가 결정될 수 있고, 제어 아이콘이 가장 가까운 허용 가능한 위치에 표시될 수 있다. 따라서, 가상 제어기의 입력 모듈(42)은 손가락 하강 위치 및/또는 후속 손가락 하강 위치가 가상 제어기의 작동 가능한 영역이 경계에 의해 차단되게 하는 터치 감응 디스플레이의 경계에 인접한 영역에서 발생할 경우에 가장 가까운 허용 가능한 가상 제어기의 위치를 결정하도록 구성될 수 있다. 일부 실시예에서, 가장 가까운 허용 가능한 위치는 가상 제어기의 전체 작동 가능한 영역이 디스플레이에 배치될 수 있도록 하는 사용자의 손가락 하강 위치에 가장 가까운 위치일 것으로 간주될 수 있다. 이러한 특징은 선택적으로 사용자가 가상 제어기와 편안하게 될 수 있도록 예를 들어 초보자 모드(beginner mode) 중에 포함될 수 있다.
다른 예에서, 감지된 중립 위치는 가장 가까운 허용 가능한 위치를 결정하지 않고 거부될 수 있으며, 따라서 제어 아이콘이 가장 가까운 허용 가능한 위치에 표시되지 않을 수 있다. 다른 예에서는 부분 가상 제어기가 이용 가능하게 될 수 있다. 예를 들면, 사용자가 고급 모드를 선택하면, 부분 가상 제어기는 게임이 가상 제어기의 작동 가능한 영역의 부분을 방해하는 경계로 인해 기능이 감소하여 제어될 수 있도록 이용 가능하게 될 수 있다. 이 경우에, 가상 제어기는 가상 제어기의 작동 가능한 영역의 제어 아이콘의 부분 디스플레이를 포함할 수 있다. 따라서, 부분 가상 제어기는 사용자에게 가시적인 가상 제어기의 부분만으로부터 제어를 가능하게 할 수 있다. 마찬가지로, 디스플레이의 경계에 의해 차단되는 가상 제어기의 부분은 보이지 않는 곳에 있을 수 있고 작동하지 않을 수 있어, 기능을 감소시킬 수 있다.
도 5는 사용자가 상술한 가상 조이스틱과 같은 기본 제어 아이콘의 사용에 따라 보조 제어 아이콘을 작동하려고 시도할 때 감지될 수 있는 엄지 손가락 상승 이벤트의 그래프이다. 도 5에 도시된 바와 같이, 중립 위치(50)는 가상 제어기(14)를 제어하기 위해 설정될 수 있다. 일단 설정되면, 가상 제어기의 입력 모듈(42)은 손가락 상승 이벤트(58)를 감지할 수 있으며, 추가로 예를 들어 보조 제어 영역(56) 내의 손가락 터치(60)에서 후속 손가락 하강 위치를 감지할 수 있다.
보조 제어 영역(56)은 가상 버튼 또는 방향성 패드(D-패드) 제어기(62) 또는 다른 사용자 입력 메커니즘으로 구성될 수 있다. 따라서, 보조 제어 아이콘은 가상 버튼, D-패드 등의 모양에 대응하는 보조 제어 영역(56)에 표시될 수 있다. 이러한 보조 제어 아이콘을 표시함으로써, 가상 제어기의 입력 모듈(42)은 사용자에게 보조 제어 영역(56)의 위치의 표시를 제공할 수 있다. 더욱이, 가상 제어기의 입력 모듈(42)은 보조 제어 영역에서 사용자 손가락의 후속 위치 또는 상대 움직임에 따라 보조 제어 입력 매개 변수를 결정하도록 구성될 수 있다. 따라서, 가상 제어기의 입력 모듈(42)은 보조 제어 입력 매개 변수의 표시를 더 포함하기 위해 제어기의 입력 메시지(46)를 생성할 수 있다. 대안으로, 보조 제어 영역(56)은 다른 프로그램에 관련된 사용자 입력을 가능하게 하는 여러 다른 구성으로 구성될 수 있다는 것이 이해될 것이다.
일부 실시예에서, 보조 제어 영역에서 후속 손가락 하강 위치를 감지함과 동시에, 가상 제어기의 입력 모듈(42)은 중립 위치의 재배치를 억제하기 위해 구성될 수 있다. 이러한 상황에서, 가상 제어기의 입력 모듈은 의도되지 않은 크리프 때문이 아니라, 기본 제어의 역할을 하는 가상 제어로부터의 미리 정해진 거리 및 방향인 보조 제어를 제어하기 위한 사용자의 의도 때문에 사용자의 손이 이동하였다고 결정한다. 이러한 경우에, 가상 제어기의 입력 모듈은 가상 제어기를 재배치하지 못하게 하며, 대신에 사용자가 보조 제어 영역에 배치된 보조 제어와 상호 작용할 수 있도록 한다. 이러한 방식으로, 사용자는 예를 들어 기본 조이스틱 제어기와 보조 D-패드 제어기 사이에서 자신의 엄지 손가락을 앞뒤로 전환할 수 있다.
도 6은 멀티터치 디스플레이를 위한 가상 제어기(14)를 통해 입력을 수신하도록 구성된 컴퓨팅 장치에 대한 방법(600)을 예시한 흐름도이다. 방법(600)은 사용자의 손가락의 복수의 터치를 감지하도록 구성된 터치 센서를 포함하는 멀티터치 디스플레이와 같은 터치 감응 디스플레이를 갖는 컴퓨팅 장치와 함께 사용하기 위한 입력 방법일 수 있다. 방법(600)은 상술한 컴퓨팅 장치(10)의 소프트웨어 및 하드웨어 구성 요소 또는 다른 적절한 구성 요소를 이용하여 수행될 수 있다는 것이 이해될 것이다.
방법(600)은 (602)에서 시작하고, 터치 센서를 통해 터치 감응 디스플레이 상에서 초기 손가락 하강 위치를 감지하는 단계를 포함한다. 방법(600)은 (604)으로 전진하고, 상술한 바와 같이 손가락 하강 위치에서 가상 제어기에 대한 중립 위치를 설정하는 단계를 포함한다.
방법(600)은 (606)으로 진행하고, 초기 손가락 하강 위치에 대한 손가락의 후속 움직임을 감지하는 단계를 포함한다. 방법(600)은 (608)으로 전진하고, 초기 손가락 하강 위치에 대한 손가락의 후속 움직임에 기초해서 제어기의 입력 매개 변수를 결정하는 단계를 포함한다. 예를 들면, 제어기의 입력 매개 변수는 멀티터치 디스플레이에 표시되는 가상 조이스틱과 같은 제어 아이콘으로의 후속 움직임과 관련된 방향, 속도 및/또는 크기를 포함할 수 있다. 다른 제어기의 입력 매개 변수가 또한 상술한 바와 같이 감지될 수 있다.
방법(600)은 610으로 진행하고, 후속 움직임 중에 멀티터치 디스플레이에 대한 손가락의 압력을 감지하는 단계를 포함할 수 있다. 그래서, 방법(600)은 612으로 진행하고, 결정된 제어기의 입력 매개 변수를 나타내는 제어기의 입력 메시지를 생성하는 단계를 포함할 수 있으며, 추가로 감지된 압력의 표시를 포함할 수 있다.
612에서, 방법(600)은 비동기로 614 및 622의 양자로 진행할 수 있다. 622에서, 방법(600)은 제어기의 매개 변수를 포함하는 제어기의 입력 메시지를 컴퓨팅 장치에서 실행되는 프로그램으로 전송하는 단계를 포함한다. 일부 실시예에서, 단계(602-622)는 API에 의해 구현될 수 있지만, 단계(624)는 컴퓨팅 장치에서 실행되는 프로그램에 의해 구현될 수 있다. 따라서, 622에서 624로의 프로세스 흐름은 운영 체제/API 공간을 나가 프로그램 공간에 들어간다. 624에서, 방법은 이러한 프로그램에서 수신된 제어기의 입력 메시지에 따라 GUI 요소를 조정하는 단계를 포함할 수 있다. 624에서, 방법(600)은 종료하거나 대안적으로 입력을 계속 감지하도록 단계(606)로 루프할 수 있다.
단계(612)의 결론으로 복귀하면, 방법은 또한 614로 분기할 수 있으며, 여기서 방법은 예를 들어 미리 정해진 기간 동안 디스플레이와의 접촉이 없음을 감지함에 따라 손가락 상승 이벤트가 발생하였는지를 판단하는 것을 포함한다. 614에 대한 대답이 아니오이면, 방법(600)은 606으로 진행하며, 입력 감지를 다시 시작한다. 614에 대한 대답이 YES이면, 방법(600)은 616으로 진행하며, 후속 손가락 하강 위치를 감지하는 단계를 포함한다.
그 후, 방법(600)은 618으로 계속하며, 후속 손가락 하강 위치가 보조 제어 영역에서 감지되었는지를 판단하는 단계를 포함한다. 618에 대한 대답이 아니오이면, 방법(600)은 중립 제어기의 위치를 재설정하기 위해 604으로 진행한다. 다시 말하면, 604는 상술한 바와 같이 후속 손가락 하강 위치에서 가상 제어기에 대한 중립 위치를 재배치하는 단계를 포함할 수 있다.
618에 대한 대답이 예이면, 중립 위치는 재배치되지 않는다. 오히려, 방법(600)은 620으로 진행하며, 보조 제어 영역 내의 후속 손가락 하강 위치에 기초해서 보조 제어 입력 매개 변수를 결정하는 단계를 포함한다. 예를 들면, 보조 제어 아이콘은 D-패드 제어기로 구성될 수 있는 보조 제어 영역에 표시될 수 있으며, 예시적인 보조 제어 입력 매개 변수는 D-패드 제어기의 하강 이벤트일 수 있다. 다른 예가 또한 상술되었다. 620로부터, 방법(600)은 제어기의 입력 메시지를 생성하는 것이 보조 제어 입력 매개 변수의 표시를 포함할 수 있는 612로 복귀한다.
일부 실시예에서, 상술한 바와 같이, 방법(600)의 일부 부분은 컴퓨팅 장치에서 실행되는 API에 의해 수행될 수 있다. 예를 들면, API는 초기 손가락 하강 위치를 감지하고, 중립 위치를 설정하고, 후속 움직임을 감지하고, 제어기의 입력 매개 변수를 결정하며, 제어기의 입력 메시지를 생성하는 것을 수행할 수 있다.
일부 실시예에서, 상술한 바와 같이, 방법(600)의 어떤 부분은 손가락 하강 위치 및/또는 후속 손가락 하강 위치와 같은 손가락 터치가 가상 제어기의 작동 가능한 영역이 경계에 의해 차단되게 하는 터치 감응 디스플레이의 경계에 인접한 영역에서 발생할 경우에 가장 가까운 허용 가능한 가상 제어기의 위치를 결정하는 단계를 더 포함할 수 있다. 가장 가까운 허용 가능한 가상 제어기의 위치는 상술한 바와 같이 결정될 수 있다. 가상 제어기는 배치될 수 있으며, 제어 아이콘은 손가락 터치에 의해 감지된 중립 위치에서보다는 가장 가까운 허용 가능한 가상 제어기의 위치에서 표시될 수 있다. 다른 예에서, 감지된 중립 위치는 가장 가까운 허용 가능한 가상 제어기의 위치를 표시하지 않고 거부될 수 있거나, 가상 제어기는 상술한 바와 같이 부분적으로 볼 수 있고 작동할 수 있다.
상술한 시스템 및 방법은 사용자가 상대 입력을 수신하도록 구성되며, 또한 관련된 보조 제어부를 가질 수 있는 터치 감응 디스플레이에 표시되는 가상 제어기를 이용하는 프로그램과 상호 작용할 수 있도록 구현될 수 있다는 것이 이해될 것이다. 더욱이, 가상 제어기는 사용자의 손 위치의 어떤 변경을 추적하도록 중립 위치를 편리하게 재배치할 수 있으면서, 동시에 사용자는 장치를 그립하고 제어부를 작동시킨다. 결과적으로, 제어기의 미스스트라이크는 방지되고, 사용자 경험은 향상될 수 있다.
본 명세서에서 용어 "모듈", "프로그램" 및 "엔진"은 컴퓨팅 장치의 프로세서에 의해 실행될 때 하나 이상의 특정 기능을 수행하는 소프트웨어를 나타내는 데 사용된다. 이러한 용어는 예를 들어, 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드의 개별 또는 그룹을 포함하도록 의도된다. 여기에 설명된 실시예는 이러한 모듈, 프로그램 및 엔진의 일례의 구성을 보여주지만, 여기에 설명된 기능은 서로 다르게 구성된 소프트웨어 구성 요소에 의해 달성될 수 있다는 것이 이해될 것이다. 더욱이, 멀티터치 디스플레이는 디스플레이 상의 복수의 터치를 동시에 감지할 수 있는 디스플레이라는 것이 이해될 것이다.
이러한 특정 실시예 또는 예는 다수의 변형이 가능하기 때문에 본 명세서에 설명된 구성 및/또는 접근 방식은 본질적으로 예시적이며 제한적인 의미로 간주되지 않는다는 것이 이해되어야 한다. 여기에 설명된 특정 루틴 또는 방법은 다수의 처리 전략 중 하나 이상을 나타낼 수 있다. 이와 같이, 예시된 여러 동작은 예시된 시퀀스로 수행되고, 다른 시퀀스에서는 병렬로 수행되며, 또는 어떤 경우에는 생략될 수 있다. 마찬가지로, 상술한 프로세스의 순서는 변경될 수 있다.
본 개시의 발명 대상은 다양한 프로세스, 시스템 및 구성의 모든 신규하며 자명하지 않은 조합 및 하위 조합, 및 여기에 개시된 다른 특징, 기능, 동작, 및/또는 특성뿐만 아니라 이의 임의의 그리고 모든 균등물을 포함한다.

Claims (17)

  1. 사용자의 손가락의 터치를 감지하도록 구성된 터치 센서를 포함하는 터치 감응 디스플레이를 갖는 컴퓨팅 장치에서 사용하기 위한 입력 방법으로서,
    상기 컴퓨팅 장치의 프로세서에서 실행된 프로그램의 게임 플레이 중에,
    상기 터치 감응 디스플레이 상의 감지된 최초 손가락 하강 위치에 가상 제어기에 대한 중립 위치를 설정하는(establishing) 단계 -상기 가상 제어기는 가상 조이스틱 제어기임- 와,
    상기 중립 위치 설정 후에 손가락 상승 이벤트를 감지하는 단계와,
    후속 손가락 하강 위치를 감지하는 단계와,
    상기 후속 손가락 하강 위치와 상기 중립 위치가 설정된 상기 최초 손가락 하강 위치 사이의 크리프(creep)를 감지하는 단계와,
    상기 크리프 감지 시에 상기 후속 손가락 하강 위치에 상기 가상 제어기에 대한 상기 중립 위치를 재배치하는 단계와,
    상기 재배치 후에 상기 디스플레이의 경계가 상기 가상 제어기의 작동 가능한 영역의 일부분을 차단하는지를 판정하는 단계와,
    상기 가상 제어기의 작동가능한 영역에 제어 아이콘을 부분적으로 디스플레이하는 단계와,
    상기 디스플레이의 경계에 의해 차단된 상기 가상 제어기의 부분의 디스플레이 및 작동을 금지하는 단계를 포함하는
    입력 방법.
  2. 제 1 항에 있어서,
    상기 손가락 상승 이벤트는 미리 정해진 임계 기간 동안 상기 손가락과 상기 디스플레이가 접촉하지 않는 것인
    입력 방법.
  3. 제 1 항에 있어서,
    상기 손가락은 엄지손가락인
    입력 방법.
  4. 제 1 항에 있어서,
    상기 후속 손가락 하강 위치에 대한 상기 손가락의 후속 움직임에 기초하여 제어기 입력 매개 변수를 결정하는 단계를 더 포함하되,
    상기 제어기 입력 매개 변수를 결정하는 단계는 상기 후속 손가락 하강 위치에 대한 상기 손가락의 상기 후속 움직임의 방향, 속도 및 상대적인 크기 중 하나 이상을 결정하는 단계를 포함하는
    입력 방법.
  5. 제 4 항에 있어서,
    상기 중립 위치를 설정하는 단계, 상기 손가락 상승 이벤트를 감지하는 단계, 상기 후속 손가락 하강 위치를 감지하는 단계, 상기 크리프를 감지하는 단계, 상기 가상 제어기에 대한 상기 중립 위치를 재배치하는 단계, 상기 디스플레이의 경계가 상기 가상 제어기의 작동 가능한 영역의 일부분을 차단하는지를 판정하는 단계와, 상기 제어 아이콘을 부분적으로 디스플레이하는 단계와, 상기 디스플레이의 경계에 의해 차단된 상기 가상 제어기의 부분의 디스플레이 및 작동을 금지하는 단계는 상기 컴퓨팅 장치에서 실행된 응용 프로그램 인터페이스에 의해 수행되며,
    상기 방법은 상기 제어기의 입력 메시지를 상기 응용 프로그램 인터페이스로부터 상기 컴퓨팅 장치에서 실행되는 프로그램으로 출력하는 단계를 더 포함하는
    입력 방법.
  6. 제 4 항에 있어서,
    상기 후속 손가락 하강 위치의 감지 동안에 상기 터치 감응 디스플레이에 대한 상기 손가락의 압력을 감지하는 단계와,
    상기 감지된 압력의 표시를 포함하는 상기 제어기의 입력 메시지를 생성하는 단계를 더 포함하는
    입력 방법.
  7. 제 6 항에 있어서,
    상기 압력을 감지하는 단계는 시간의 경과에 따라 상기 손가락과 연관된 상기 터치의 영역의 변화로부터 압력을 결정하는 단계 또는 상기 터치 감응 디스플레이에 결합된 압력 센서로부터 압력을 결정하는 단계를 포함하는
    입력 방법.
  8. 제 1 항에 있어서,
    상기 가상 제어기는 가상 버튼 또는 방향성 패드로서 구성되는 보조 제어 영역을 포함하는
    입력 방법.
  9. 컴퓨팅 장치로서,
    사용자의 손가락의 터치를 감지하도록 구성된 터치 센서를 포함하는 터치 감응 디스플레이와,
    상기 컴퓨팅 장치의 프로세서에 의해 실행되는 가상 제어기의 입력 모듈을 포함하되,
    상기 가상 제어기의 입력 모듈은, 상기 컴퓨팅 장치의 프로세서에서 실행된 프로그램의 게임 플레이 중에,
    상기 터치 감응 디스플레이 상의 감지된 최초 손가락 하강 위치에 가상 제어기에 대한 중립 위치를 설정하고 -상기 가상 제어기는 가상 조이스틱 제어기임- 와,
    상기 중립 위치 설정 후에 손가락 상승 이벤트를 감지하며,
    후속 손가락 하강 위치를 감지하고,
    상기 후속 손가락 하강 위치와 상기 중립 위치가 설정된 상기 최초 손가락 하강 위치 사이의 크리프를 감지하며,
    상기 크리프 감지 시에 상기 후속 손가락 하강 위치에 상기 가상 제어기에 대한 상기 중립 위치를 재배치하고,
    상기 재배치 후에 상기 디스플레이의 경계가 상기 가상 제어기의 작동 가능한 영역의 일부분을 차단하는지를 판정하며,
    상기 가상 제어기의 작동가능한 영역에 제어 아이콘을 부분적으로 디스플레이하고,
    상기 디스플레이의 경계에 의해 차단된 상기 가상 제어기의 부분의 디스플레이 및 작동을 금지하도록 구성되는
    컴퓨팅 장치.
  10. 제 9 항에 있어서,
    상기 손가락은 엄지손가락인
    컴퓨팅 장치.
  11. 제 9 항에 있어서,
    상기 가상 제어기의 입력 모듈은 상기 중립 위치에 고정된 제어 아이콘을 표시하도록 구성되며, 상기 제어 아이콘은 사용자에게 제공되는 제어기 위치의 시각적 표시인
    컴퓨팅 장치.
  12. 제 9 항에 있어서,
    상기 컴퓨팅 장치는 모바일 전화기 또는 태블릿 컴퓨터로서 구성되는
    컴퓨팅 장치.
  13. 제 9 항에 있어서,
    상기 손가락 상승 이벤트는 미리 정해진 임계 기간 동안 상기 손가락과 상기 디스플레이가 접촉하지 않는 것인
    컴퓨팅 장치.
  14. 제 9 항에 있어서,
    상기 가상 제어기의 입력 모듈은 상기 후속 손가락 하강 위치에 대한 상기 손가락의 후속 움직임에 기초하여 제어기 입력 매개 변수를 결정하도록 구성되고,
    상기 제어기 입력 매개 변수를 결정하는 것은 상기 후속 손가락 하강 위치에 대한 상기 손가락의 상기 후속 움직임의 방향, 속도 및 상대적인 크기 중 하나 이상을 결정하는 것을 포함하는
    컴퓨팅 장치.
  15. 제 9 항에 있어서,
    상기 가상 제어기의 입력 모듈은 또한,
    상기 후속 손가락 하강 위치의 감지 동안에 상기 터치 감응 디스플레이에 대한 상기 손가락의 압력을 감지하고,
    상기 감지된 압력의 표시를 포함하는 상기 제어기의 입력 메시지를 생성하도록 구성되는
    컴퓨팅 장치.
  16. 제 15 항에 있어서,
    상기 가상 제어기의 입력 모듈은 또한, 시간의 경과에 따라 상기 손가락과 연관된 상기 터치의 영역의 변화로부터 압력을 결정하거나 또는 상기 터치 감응 디스플레이에 결합된 압력 센서로부터 압력을 결정함으로써 상기 손가락의 압력을 감지하도록 구성되는
    컴퓨팅 장치.
  17. 제 9 항에 있어서,
    상기 가상 제어기는 가상 버튼 또는 방향성 패드로서 구성되는 보조 제어 영역을 포함하는
    컴퓨팅 장치.
KR1020137016815A 2010-12-29 2011-12-27 터치 디스플레이용 가상 제어기 KR101885685B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/981,139 2010-12-29
US12/981,139 US9411509B2 (en) 2010-12-29 2010-12-29 Virtual controller for touch display
PCT/US2011/067426 WO2012092296A2 (en) 2010-12-29 2011-12-27 Virtual controller for touch display

Publications (2)

Publication Number Publication Date
KR20130133224A KR20130133224A (ko) 2013-12-06
KR101885685B1 true KR101885685B1 (ko) 2018-08-07

Family

ID=46380321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137016815A KR101885685B1 (ko) 2010-12-29 2011-12-27 터치 디스플레이용 가상 제어기

Country Status (8)

Country Link
US (2) US9411509B2 (ko)
EP (1) EP2659340B1 (ko)
JP (1) JP5951638B2 (ko)
KR (1) KR101885685B1 (ko)
CN (1) CN102609185B (ko)
HK (1) HK1172419A1 (ko)
TW (2) TW201714646A (ko)
WO (1) WO2012092296A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033808A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031411A1 (en) 1997-12-12 1999-06-24 Caterpillar Inc. Face seal assembly with interfitting load ring
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor
JP5379250B2 (ja) * 2011-02-10 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 入力装置、情報処理装置および入力値取得方法
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
US9132735B2 (en) * 2011-02-17 2015-09-15 George Black Electric car systems
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
CN103782263B (zh) * 2011-09-13 2017-02-15 索尼电脑娱乐公司 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法
WO2013067618A1 (en) 2011-11-09 2013-05-16 Research In Motion Limited Touch-sensitive display method and apparatus
US9218107B1 (en) 2011-12-30 2015-12-22 hopTo Inc. Cloud-based text management for cross-platform display
US9367931B1 (en) 2011-12-30 2016-06-14 hopTo Inc. Motion vectors for cross-platform display
US9454617B1 (en) 2011-12-30 2016-09-27 hopTo Inc. Client rendering
US9223534B1 (en) 2011-12-30 2015-12-29 hopTo Inc. Client side detection of motion vectors for cross-platform display
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
US9868062B2 (en) * 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
US9106612B1 (en) 2012-05-18 2015-08-11 hopTo Inc. Decomposition and recomposition for cross-platform display
US9124562B1 (en) 2012-05-18 2015-09-01 hopTo Inc. Cloud-based decomposition and recomposition for cross-platform display
KR101431581B1 (ko) * 2012-06-22 2014-09-23 성균관대학교산학협력단 모바일 단말기를 기반으로 한 가상 게임 컨트롤러 장치 및 이를 이용한 원격 컨트롤 시스템
JP5563633B2 (ja) 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9588515B2 (en) * 2012-12-31 2017-03-07 General Electric Company Systems and methods for remote control of a non-destructive testing system
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2014147511A (ja) 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
US9292157B1 (en) 2013-03-15 2016-03-22 hopTo Inc. Cloud-based usage of split windows for cross-platform document views
US9430134B1 (en) 2013-03-15 2016-08-30 hopTo Inc. Using split windows for cross-platform document views
KR101371660B1 (ko) * 2013-04-17 2014-03-10 인제대학교 산학협력단 가상 트랙볼을 이용한 터치스크린 제어방법
US20140327643A1 (en) * 2013-05-02 2014-11-06 Nvidia Corporation Display panel protection with overpressure sensor on mobile device
TWI514196B (zh) * 2013-08-05 2015-12-21 Ind Tech Res Inst 觸覺回饋裝置
TW201530421A (zh) * 2014-01-23 2015-08-01 Zeroplus Technology Co Ltd 用於智慧型手持裝置之透明輔助指向元件
KR102516422B1 (ko) * 2014-02-25 2023-03-31 주식회사 넥슨코리아 터치 입력에 의해 제어되는 단말 및 단말 제어 방법
KR20150107528A (ko) 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6990962B2 (ja) * 2014-06-09 2022-01-12 雅人 桑原 情報処理装置
JP2014208258A (ja) * 2014-06-12 2014-11-06 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9940774B2 (en) * 2014-09-08 2018-04-10 Bally Gaming, Inc. Multi-touch gesture gaming system and method
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
US10088993B2 (en) 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
US20160378251A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Selective pointer offset for touch-sensitive display device
JP6450350B2 (ja) * 2015-07-20 2019-01-09 ネオウィズ コーポレーション ゲーム制御方法、ゲーム制御装置、及びその記録媒体
US10484459B2 (en) * 2015-09-03 2019-11-19 Nvidia Corporation Dynamically providing host input control for streaming applications
US9977569B2 (en) 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
US9910563B2 (en) * 2016-01-29 2018-03-06 Visual Supply Company Contextually changing omni-directional navigation mechanism
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
JP2018010541A (ja) * 2016-07-14 2018-01-18 望月 貴里子 ユーザーインターフェース
CN107678662B (zh) * 2016-08-01 2020-12-29 腾讯科技（深圳）有限公司 一种基于按键的控制方法、装置及智能终端
JP6661513B2 (ja) * 2016-10-31 2020-03-11 株式会社バンク・オブ・イノベーション ビデオゲーム処理装置、及びビデオゲーム処理プログラム
WO2018091861A1 (en) * 2016-11-15 2018-05-24 Space Ape Games (Uk) Ltd Graphical user interface for single-input controls in a racing game on a touchscreen device
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
JP2018152042A (ja) * 2017-03-13 2018-09-27 ウィキパッド，インコーポレーテッド タッチスクリーンを支持する可撓性のブリッジを備えるゲームコントローラ
JP2018161446A (ja) * 2017-03-27 2018-10-18 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
JP6450794B2 (ja) * 2017-03-27 2019-01-09 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
US10369470B2 (en) * 2017-04-28 2019-08-06 PlayFusion Limited User interface control cluster for enhancing a gaming experience
KR102335141B1 (ko) * 2017-05-29 2021-12-03 주식회사 엔씨소프트 게임 입력 오류 보정 장치 및 방법
CN107426412B (zh) * 2017-06-09 2020-08-04 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
KR20190021774A (ko) * 2017-08-23 2019-03-06 삼성전자주식회사 터치 이벤트를 처리하는 전자 장치 및 그 제어 방법
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
CN111511449B (zh) * 2017-10-27 2024-10-15 流体技术股份有限公司 具有情境感知显示器的控制器
CN108579077B (zh) * 2018-03-12 2019-09-06 网易（杭州）网络有限公司 信息处理方法、装置、存储介质及电子设备
CN111801145B (zh) * 2018-03-29 2024-08-20 科乐美数码娱乐株式会社 信息处理装置以及在其中记录有用于信息处理装置的程序的记录介质
JP7037177B2 (ja) 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
JP6964884B2 (ja) * 2018-04-25 2021-11-10 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
WO2019235180A1 (ja) * 2018-06-06 2019-12-12 株式会社コナミデジタルエンタテインメント 記録媒体、及び、情報処理装置
CN109107151A (zh) * 2018-06-22 2019-01-01 网易（杭州）网络有限公司 虚拟对象控制方法及装置、电子设备、存储介质
US11045719B2 (en) * 2018-09-12 2021-06-29 King.Com Ltd. Method and computer device for controlling a touch screen
CN109395373B (zh) * 2018-09-14 2021-12-07 深圳市腾讯信息技术有限公司 对象控制方法和装置、存储介质及电子装置
WO2020094214A1 (en) * 2018-11-06 2020-05-14 Volvo Truck Corporation A finger-position sensitive human machine interface for handling a user input of a user and a method for handling a user input of a user of a finger-position sensitive human machine interface
JP7409770B2 (ja) * 2018-12-28 2024-01-09 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及び端末装置
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技（深圳）有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
US10872499B1 (en) * 2019-09-12 2020-12-22 Igt Electronic gaming machines with pressure sensitive inputs for evaluating player emotional states
JP7064789B2 (ja) * 2020-09-16 2022-05-11 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
CA3213026A1 (en) * 2021-03-10 2022-09-15 Bungie, Inc. Virtualized physical controller
JP7434601B2 (ja) 2021-05-14 2024-02-20 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ウィジェットの表示方法、装置、機器及びコンピュータプログラム
JP2023001762A (ja) * 2021-06-21 2023-01-06 株式会社アニプレックス ゲームをプレイヤに提供するプログラムおよび情報処理装置
US11745101B2 (en) * 2021-09-11 2023-09-05 Sony Interactive Entertainment Inc. Touch magnitude identification as input to game
CN114489457B (zh) * 2022-01-27 2024-01-19 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、可读介质和电子设备
WO2024172182A1 (ko) * 2023-02-15 2024-08-22 주식회사 엔씨소프트 컨트롤러를 자동으로 키매핑하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207144A1 (en) 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20110285636A1 (en) 2010-05-20 2011-11-24 Howard John W Touch screen with virtual joystick and methods for use therewith

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541866B2 (ja) 1997-08-21 2004-07-14 日立プリンティングソリューションズ株式会社 インクジェットヘッドの接着不良診断方法
JP4280314B2 (ja) 1997-11-27 2009-06-17 富士フイルム株式会社 画面表示部を有する機器の操作装置
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP4032404B2 (ja) 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US6572108B1 (en) 2002-01-30 2003-06-03 Radica China Ltd Game pad controller
US7780527B2 (en) 2002-05-14 2010-08-24 Atronic International Gmbh Gaming machine having three-dimensional touch screen for player input
JP4269155B2 (ja) 2003-06-25 2009-05-27 日本電気株式会社 ポインティングデバイス制御システムおよび電子機器
JP4127536B2 (ja) 2004-01-20 2008-07-30 任天堂株式会社 ゲーム装置及びゲームプログラム
JP3734820B1 (ja) 2004-09-03 2006-01-11 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
JP2006139615A (ja) 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
US20060111180A1 (en) 2004-11-25 2006-05-25 Zeroplus Technology Co., Ltd. Touch-control game controller
JP4748657B2 (ja) 2005-06-24 2011-08-17 任天堂株式会社 入力データ処理プログラムおよび入力データ処理装置
JP2009025848A (ja) 2005-11-08 2009-02-05 Panasonic Corp 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
US8882590B2 (en) 2006-04-28 2014-11-11 Nintendo Co., Ltd. Touch-controlled game character motion providing dynamically-positioned virtual control pad
KR20080076200A (ko) 2007-02-15 2008-08-20 오의진 터치스크린을 이용한 데이터 입력장치
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
JP2008217548A (ja) 2007-03-06 2008-09-18 Tokai Rika Co Ltd 操作入力装置
US8074178B2 (en) 2007-06-12 2011-12-06 Microsoft Corporation Visual feedback display
US9740386B2 (en) 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
WO2009089050A1 (en) 2008-01-08 2009-07-16 Cirque Corporation Game controller touchpad providing touch stick functionality and relative and absolute position input
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
KR20100027311A (ko) 2008-09-02 2010-03-11 황재엽 당구게임의 사용자인터페이스 제공 방법
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
JP5464684B2 (ja) 2008-09-19 2014-04-09 株式会社ソニー・コンピュータエンタテインメント 入力装置及び入力操作補助パネル
US8451236B2 (en) 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
KR20100134339A (ko) 2009-06-15 2010-12-23 주식회사 인프라웨어 터치스크린을 구비한 정보통신단말기에서 화면의 확대축소 인터페이스를 제공하는 방법 및 이를 구현한 프로그램을 담고 있는 정보기록매체
JP4932010B2 (ja) 2010-01-06 2012-05-16 株式会社スクウェア・エニックス ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
JP5237325B2 (ja) 2010-04-28 2013-07-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
JP5418532B2 (ja) 2011-03-29 2014-02-19 アイシン・エィ・ダブリュ株式会社 表示装置および表示装置の制御方法並びにプログラム
US8678927B2 (en) 2011-10-04 2014-03-25 Microsoft Corporation Game controller on mobile touch-enabled devices
US20130093690A1 (en) 2011-10-17 2013-04-18 Matthew Nicholas Papakipos Multi-Action Game Controller with Touch Screen Input Device
US9868062B2 (en) 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
JP5563633B2 (ja) 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207144A1 (en) 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20110285636A1 (en) 2010-05-20 2011-11-24 Howard John W Touch screen with virtual joystick and methods for use therewith

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033808A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치
US12032823B2 (en) 2019-08-22 2024-07-09 Lg Electronics Inc. Mobile terminal and electronic device having mobile terminal

Also Published As

Publication number Publication date
US20160328069A1 (en) 2016-11-10
US9817569B2 (en) 2017-11-14
HK1172419A1 (en) 2013-04-19
US20120169610A1 (en) 2012-07-05
TW201714646A (zh) 2017-05-01
KR20130133224A (ko) 2013-12-06
CN102609185B (zh) 2015-11-18
WO2012092296A2 (en) 2012-07-05
EP2659340A4 (en) 2017-11-15
CN102609185A (zh) 2012-07-25
WO2012092296A3 (en) 2012-11-29
JP2014506364A (ja) 2014-03-13
TWI568480B (zh) 2017-02-01
EP2659340A2 (en) 2013-11-06
US9411509B2 (en) 2016-08-09
TW201228694A (en) 2012-07-16
EP2659340B1 (en) 2023-02-22
JP5951638B2 (ja) 2016-07-13

Similar Documents

Publication Publication Date Title
KR101885685B1 (ko) 터치 디스플레이용 가상 제어기
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR101956410B1 (ko) 터치 가능한 모바일 기기 상의 게임 컨트롤러
EP2332023B1 (en) Two-thumb qwerty keyboard
KR101892315B1 (ko) 컴퓨팅 디바이스 내의 터치 이벤트의 예상
JP5529700B2 (ja) 情報処理装置、その制御方法、及びプログラム
CN111840988B (zh) 游戏技能触发方法、装置、游戏客户端及介质
WO2012070682A1 (ja) 入力装置及び入力装置の制御方法
CN110545889B (zh) 游戏系统、游戏控制装置以及程序
JP6447853B1 (ja) ゲーム制御装置、ゲームシステム、及びプログラム
CN104077013B (zh) 指令识别方法和电子设备
KR20220138377A (ko) 선택 가능 아이콘을 구비하는 디스플레이를 갖는 제어기
US20100038151A1 (en) Method for automatic switching between a cursor controller and a keyboard of depressible touch panels
JP7012780B2 (ja) ゲーム装置及びプログラム
JP5769841B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP5841023B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
TWI492095B (zh) A method of handling a computer by a portable calling device
JP2019188118A (ja) ゲーム制御装置、ゲームシステム、及びプログラム
JP6126639B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。
JP5523381B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR20120094728A (ko) 유저인터페이스 제공 방법 및 이를 이용한 휴대 단말기
JP6204414B2 (ja) ゲーム装置及びプログラム
JP5769765B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR20180103366A (ko) 반응형 유저 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant