KR101540366B1 - 하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어 - Google Patents

하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어 Download PDF

Info

Publication number
KR101540366B1
KR101540366B1 KR1020137018149A KR20137018149A KR101540366B1 KR 101540366 B1 KR101540366 B1 KR 101540366B1 KR 1020137018149 A KR1020137018149 A KR 1020137018149A KR 20137018149 A KR20137018149 A KR 20137018149A KR 101540366 B1 KR101540366 B1 KR 101540366B1
Authority
KR
South Korea
Prior art keywords
input
touch input
touch
control
detecting
Prior art date
Application number
KR1020137018149A
Other languages
English (en)
Other versions
KR20140043703A (ko
Inventor
에리크 피터 와스
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20140043703A publication Critical patent/KR20140043703A/ko
Application granted granted Critical
Publication of KR101540366B1 publication Critical patent/KR101540366B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 객체의 제어를 스위칭하는 방법은, 스크린 위에 객체를 디스플레이하는 단계; 제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계; 상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계; 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계; 및 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있는 것에 응답하여 상기 제1 터치 입력으로부터 상기 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 단계를 포함하여 제공된다.

Description

하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어{HANDING CONTROL OF AN OBJECT FROM ONE TOUCH INPUT TO ANOTHER TOUCH INPUT}
관련 출원에 대한 상호 참조
본 출원은, 미국 특허 출원 제13/006,337호(출원일: 2011년 1월 13일, 발명의 명칭: "HANDING CONTROL OF AN OBJECT FROM ONE TOUCH INPUT TO ANOTHER TOUCH INPUT")의 계속 출원이고 이로부터의 이득을 주장하며, 이 기초출원의 전체 내용 및 그 개시 사항은 그의 전문이 본 명세서에 참조로 병합된다.
기술 분야
본 발명은 일반적으로 터치패드 및 터치스크린 기술에 관한 것으로, 보다 상세하게는 하나 이상의 터치패드, 터치스크린 및/또는 다른 터치 감지 패널과 유저의 상호작용에 의해 디스플레이된 객체(object)의 제어 및/또는 움직임에 관한 것이다.
터치스크린은 디스플레이 영역 내 터치의 존재와 위치를 검출할 수 있는 디스플레이의 유형이다. 터치패드는 유저의 손가락(또는 다른 객체)의 움직임과 위치를 별개의 디스플레이 스크린 상의 상대적인 위치로 변환할 수 있는 특별한 면을 포함하는 포인팅 디바이스이다. 여러 유형의 전자 및 컴퓨팅 디바이스는 유저로 하여금 그래픽 유저 인터페이스와 상호작용하기 위한 것과 같은 디스플레이된 객체를 제어 및/또는 이동시킬 수 있게 하기 위해 터치스크린 또는 터치패드 기술을 사용한다.
본 발명의 목적은, 터치스크린, 터치패드, 또는 다른 유형의 터치 감지 패널과 같은 터치 감지 패널을 사용하여 디스플레이된 객체를 끊김없이 연속적으로 제어하는 방법을 제공하는 것이다.
일 실시예에서, 본 발명은 스크린 위에 객체를 디스플레이하는 단계, 제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계, 상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계, 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역(merge area) 내에 있는지를 결정하는 단계 및 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는 것에 응답하여 상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 단계를 포함하는 방법을 특징으로 할 수 있다.
다른 실시예에서, 본 발명은, 핸드헬드 사용을 위해 의도된 사이즈를 가진 하우징, 상기 하우징의 제1 면에 부착된 제1 터치 감지 패널, 및 상기 하우징에 포함된 프로세서 기반 시스템을 포함하고, 상기 시스템은, 스크린 위에 객체를 디스플레이하는 단계, 상기 제1 터치 감지 패널 위에 제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계, 상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 움직임을 스위칭하는 요청을 검출하는 단계, 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지를 결정하는 단계 및 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역에 있는 것에 응답하여 상기 제1 터치 입력으로부터 제2 터치 입력으로 객체의 제어를 스위칭하는 단계를 수행하도록 구성된, 장치를 특징으로 할 수 있다.
또 다른 실시예에서, 본 발명은 하나 이상의 컴퓨터 판독가능한 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체로서, 상기 컴퓨터 판독가능한 프로그램은, 프로세서 기반 시스템으로 하여금, 스크린 위에 객체를 디스플레이하는 단계, 제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계, 상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계, 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지를 결정하는 단계 및 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는 것에 응답하여 제1 터치 입력으로부터 제2 터치 입력으로 객체의 제어를 스위칭하는 단계를 실행하게 하도록 적응된 것인, 컴퓨터 판독가능한 저장 매체를 특징으로 할 수 있다.
본 발명에 따르면, 터치스크린, 터치패드, 또는 다른 유형의 터치 감지 패널과 같은 터치 감지 패널을 사용하여 디스플레이된 객체를 끊김없이 연속적으로 제어하는 방법이 제공된다.
본 발명의 여러 실시예의 상기 및 다른 측면, 특징 및 이점은 첨부 도면과 함께 제시된 이하 보다 상세한 설명으로부터 보다 명백해질 것이다.
도 1은 본 발명의 하나 이상의 실시예에 따라 객체를 디스플레이하는 예시적인 터치 감지 디바이스를 도시한 도면;
도 2는 본 발명의 여러 실시예에 따라 제1 입력과 제2 입력 사이에 제어를 스위칭하는 방법의 흐름도;
도 3은 일부 실시예에 따라 예시된 제1 입력과 제2 입력 사이에 제어를 스위칭하는 방법의 흐름도를 도시한 도면;
도 4는 본 발명의 일 실시예에 따라 예시된 제1 입력과 제2 입력 사이에 제어를 스위칭하는 대안적인 방법의 흐름도를 도시한 도면;
도 5a는 본 발명의 하나 이상의 실시예에 따라 객체를 디스플레이하는 예시적인 터치 감지 디바이스를 도시한 도면;
도 5b는 본 발명의 여러 실시예에 따라 객체의 제어를 피치하는 (pitching) 공정의 흐름도를 도시한 도면;
도 6은 본 발명의 여러 실시예에 따라 객체의 제어를 피치하는 공정의 흐름도를 도시한 도면;
도 7은 본 발명의 여러 실시예에 따라 본 발명의 방법 및 장치 중 하나 이상을 구현하는 시스템의 시스템도.
대응하는 참조 부호는 여러 도면에 걸쳐 대응하는 요소를 나타낸다. 이 기술 분야에 통상의 지식을 가진 자라면 도면에 있는 요소는 간략화와 명료화를 위해 예시된 것이고 반드시 축척에 맞게 그려진 것이 아니라는 것을 이해할 수 있을 것이다. 예를 들어, 도면에 있는 요소 중 일부의 치수는 본 발명의 여러 실시예의 이해를 보다 개선시키기 위하여 다른 요소에 비해 과장되어 있을 수 있다. 또한 상업적으로 실현가능한 실시예에서 유용하거나 필요한 일반적으로 잘 이해되는 요소는 본 발명의 여러 실시예의 설명을 덜 방해하기 위하여 종종 도시되지 않는다.
이하 상세한 설명은 제한하는 의미로 취해진 것이 아니라 예시적인 실시예의 일반적인 원리를 설명하기 위하여 이루어진 것일 뿐이다. 본 발명의 범위는 청구범위를 참조하여 결정되어야 한다.
터치스크린 기술을 사용할 수 있는 디바이스 유형의 일례는 스마트폰이나 휴대용 게임 디바이스와 같은 핸드헬드 디바이스이다. 이러한 디바이스는 이 디바이스의 기능을 제어하기 위한 터치스크린을 포함할 수 있다. 큰 디스플레이 영역을 유저에 제공하기 위하여, 유저 친화적인 기능 제어기 또는 다른 이유 때문에 디바이스는 유저가 한 손을 사용하여 전체 터치스크린을 횡단할 수 없도록 형성될 수 있다. 이런 상황에서 유저는 일부 곤란함을 초래함이 없이 디스플레이의 일측으로부터 디스플레이의 타측으로 객체를 종종 이동시킬 수 없다.
본 발명의 일부 실시예에서, 터치스크린, 터치패드, 또는 다른 유형의 터치 감지 패널과 같은 터치 감지 패널을 사용하여 디스플레이된 객체를 끊김없이 연속적으로 제어하는 방법이 제공된다. 디스플레이된 객체를 끊김없이 연속적으로 제어하는 것은 터치 감지 패널 상의 2개의 상이한 입력들 사이에 제어를 스위칭하는 것에 의해 제공된다. 일 실시예에서, 예를 들어, 본 발명은 유저의 오른손에 의해 제공된 제1 "터치 입력"으로부터 유저의 왼손에 의해 제공된 제2 "터치 입력"으로 제어를 스위칭하는 방법을 제공한다. 다른 실시예에서, 본 발명은 하나의 "터치 입력", 예를 들어, 유저의 오른손으로부터, 제2 "터치 입력", 즉 유저의 왼손으로 객체를 토스(toss)/피치(pitch)하는 방법을 제공한다.
제일 먼저 도 1을 참조하면, 객체를 디스플레이하는 예시적인 터치 감지 디스플레이는 본 발명의 하나 이상의 실시예에 따라 도시된다.
도시된 바와 같이 이 예시적인 실시예에서, 유저는 디바이스(100)에서 실행하는 애플리케이션과 상호작용한다. 디바이스(100)는 미도시된 외부 디바이스 또는 시스템을 위한 제어기 또는 핸드헬드 컴퓨팅 디바이스와 같은 임의의 유형의 디바이스를 포함할 수 있다. 핸드헬드 컴퓨팅 디바이스의 예로는 모바일 디바이스와 전화, 셀룰러 디바이스와 전화, 스마트폰, PDA(personal digital assistant), 태블릿 또는 패드 유형의 컴퓨터, 핸드헬드 컴퓨터 또는 단순히 "핸드헬드", 팜탑 디바이스와 컴퓨터, 휴대용 게임 및/또는 엔터테인먼트 디바이스, 포켓 퍼스널 컴퓨터, 등을 포함하나 이로 제한되지 않는다. 외부 디바이스 또는 시스템을 위한 제어기의 예로는 게임 시스템 제어기, 엔터테인먼트 시스템 제어기, TV 리모콘 등을 포함하나 이로 제한되지 않는다. 디바이스(100)에서 실행되는 애플리케이션은 게임 또는 다른 엔터테인먼트 애플리케이션과 같은 임의의 유형의 애플리케이션, 또는 이메일, 전화 또는 다른 통신 애플리케이션, 또는 어드레스 북(address book)과 같은 오거나이저(organizer) 또는 임의의 다른 유형의 애플리케이션을 포함할 수 있다.
디바이스(100)는 터치 감지 스크린을 가지는 직사각형 형상의 디바이스인 것으로 도시되고, 여기서 터치 감지 스크린은 조작될 때 애플리케이션을 보기 위한 디스플레이를 포함한다. 도시된 실시예에서, 핸드헬드 디바이스(100)는 하우징(102)을 포함하고, 핸드헬드 디바이스의 하우징(102)에 부착된 적어도 하나의 터치 감지 패널(120)을 더 포함한다. 일 실시예에서, 하우징(102)은 핸드헬드 사용에 의도된 사이즈를 구비할 수 있다. 일 실시예에서, 디바이스(100)는 아래에 더 상세히 설명된 하나 이상의 방법을 수행하도록 구성된 프로세서 기반 시스템을 더 포함할 수 있다. 일부 실시예에서, 디바이스(100)는 디바이스의 일측에 터치패드를 포함하고 애플리케이션을 보기 위해 디바이스의 타측에 종래의 (터치 비감지형) 디스플레이 스크린을 포함할 수 있다. 또 다른 실시예에서, 디바이스(100)는 터치패드만을 포함할 수 있고 애플리케이션은 TV와 같은 외부 디바이스 상에 디스플레이될 수 있다.
일반적으로, 일부 실시예에서, 슬라이드 이동(sliding move)은 오른손과 왼손의 손가락 사이를 유저가 스위칭할 수 있게 하는 방식으로 터치 감지 패널에서 행해질 수 있다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 임의의 디스플레이 스크린 상에 디스플레이될 수 있다. 유저는 디바이스(100)의 일측에 위치된 터치스크린 또는 디바이스(100)의 일측에 위치된 터치패드와 같은 디바이스(100)에 부착된 터치 감지 패널을 사용하여 제1 손가락을 사용하여 디스플레이된 객체를 선택하고 이동시킬 수 있다. 이 제1 손가락은 본 명세서에서 제1 터치 입력이라고 언급된다.
다음으로, 유저는 디스플레이된 객체를 핸드오프(hand-off)시키기를 원하는 제2 손가락으로 터치 감지 패널을 터치한다. 이 제2 손가락은 본 명세서에서 제2 터치 입력이라고 언급된다. 디바이스(100)와 연관된 처리 시스템은 객체를 이동시키는 제1 손가락을 추적하고, 2개의 손가락이 핸드오프가 일어나는 병합 영역과 터치할 때까지 유저의 제2 손가락을 무시한다. 이 지점 후에 시스템은 유저의 제2 손가락을 추적하고 제2 손가락의 움직임에 따라 객체를 이동시킨다.
일부 실시예에서, 제1 및 제2 터치 입력 사이의 스위칭은 온스크린 객체에 구속되지 않은 제2 터치 입력이 객체를 제어하고 있는 제1 터치 입력과 병합될 수 있게 하는 것에 의해 정확히 행해진다. 병합 시간에, 2개의 개별 터치는 단일 터치로 카운트된다. 객체를 제어한 제1 손가락이 터치 감지 패널을 더 이상 터치하지 않을 때, 핸드오프는 완료되고 "새로운"(즉, 제2) 손가락/터치가 이제 객체를 제어한다.
보다 구체적으로, 도 1을 참조하면, 일 실시예에서, 유저는 제1 터치 입력(130), 예를 들어, 도시된 왼손을 사용하여 디스플레이된 객체(110)를 제어한다. 도시된 바와 같이, 유저는 자기의 제1 손가락을 사용하여 제1 위치(1)로부터 제3 위치(3)로 객체를 이동시킬 수 있다. 도시된 바와 같이, 위치(3)에서 유저의 왼손은 완전히 연장된다. 따라서, 유저는 동일한 손을 사용하여 객체(110)를 더 제어하기 위하여 자기의 손을 연장해야 하고, 객체의 통제(grasp)를 잃을 수 있다.
일 실시예에서, 유저가 위치(3)에 있을 때 시스템은 객체의 핸드오프를 검출한다. 핸드오프 요청을 검출하는 상세의 예시적인 실시예는 도 2 내지 도 4에 대해 더 후술된다. 다음으로, 시스템은 객체(110)와 제2 입력 소스가 병합 영역(150) 내에 있는지를 결정하고, 객체의 제어는 제1 입력(130)으로부터 제2 입력(140)으로 스위칭된다. 일 실시예에서, 유저가 핸드오프가 일어날 수 있는 곳에 제2 입력을 두는 것을 돕기 위하여 제1 입력과 제2 입력의 표시(indication)가 유저에게 디스플레이될 수 있다. 예를 들어, 일 실시예에서, 객체는 디스플레이되고, 객체를 제어하는 입력의 위치를 나타낸다. 일 실시예에서, 제2 입력의 표시는 유저가 서로에 대하여 그리고 객체에 대하여 입력들의 위치를 볼 수 있도록 하기 위하여 스크린 상에 또한 디스플레이된다. 핸드오프 요청을 검출하면 시스템은 제1 입력으로부터 제2 입력으로 제어를 스위칭하는 공정을 시작한다.
도시된 바와 같이, 이 예시적인 실시예에서 유저의 제2 손(140)은 제2 입력을 나타낸다. 일 실시예에서, 유저의 제2 터치 입력(140)(오른손)의 위치는 시스템에 의해 결정되고, 제1 터치 입력(130)(왼손)의 위치 및/또는 객체(110)의 위치, 예를 들어, 위치(3)와 비교된다. 도 1의 예시적인 실시예에 도시된 바와 같이, 위치(3)에서 제1 입력, 제2 입력, 및 객체의 위치는 병합 영역(150) 내에 있다. 이 실시예에서, 유저는 제2 입력이 입력되고 스위치가 완료될 때까지 제1 입력으로 객체를 제어한다. 그리하여, 이 예시적인 실시예에서 객체가 위치(3)에 있을 때 시스템은 제1 입력(130), 즉, 유저의 왼손/손가락으로부터, 제2 입력, 즉 유저의 오른손/손가락(140)으로 객체의 제어를 스위치하는 것으로 진행한다.
다른 실시예에서, 유저는 객체의 제어가 제2 입력(140)으로 스위칭되기 전에 객체를 순간적으로 해제(release)할 수 있다. 이 실시예에서, 시스템은 제1 입력이 제거된 후 객체가 제1 입력의 마지막 위치에 유지되는 미리 결정된 시간을 허용할 수 있으며, 제2 입력이 입력될 때 제어는 제2 입력으로 스위칭될 수 있다. 이 실시예에서, 유저의 제2 터치 입력(140)(오른손)의 위치는 시스템에 의해 결정되고, 객체(110)의 위치, 예를 들어, 위치(3)와 비교된다. 일 실시예에서, 객체의 위치는 제1 입력의 마지막으로 알려진 위치이다. 이 실시예에서, 제2 입력이 객체의 위치, 예를 들어, 위치(3)에 도달할 때, 시스템은 제2 입력(140), 즉, 유저의 오른손/손가락(140)으로 객체의 제어를 제공하도록 진행한다.
일부 실시예에서, 도 1에 도시된 바와 같이, 후술되는 공정(200 및/또는 300)을 따라 제어가 스위칭된 후에, 제2 입력(140)은 객체의 제어를 시작할 수 있고, 도시된 바와 같이, 예를 들어, 위치(3)로부터 제2 및 제3 위치(4, 5)로 스크린을 가로질러 객체를 이동시킬 수 있다.
상기 예에서, 터치 입력은 터치 감지 패널과 터치하는 유저의 엄지 손가락을 포함할 수 있다. 이 터치 입력은 터치 감지 패널과 터치하는 임의의 손가락, 손, 발가락 또는 임의의 다른 신체 부분을 포함할 수 있는 것으로 이해되어야 한다. 또한 터치 입력은 스타일러스(stylus)와 같은 임의의 객체로 터치 감지 패널을 터치하는 것을 포함할 수 있는 것으로 더 이해되어야 한다.
이제 도 2를 참조하면, 제1 터치 입력과 제2 터치 입력 사이에 제어를 스위칭하는 간략화된 방법(200)의 흐름도가 예시된다. 제일 먼저, 단계(210)에서, 객체는 스크린 상에 디스플레이된다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 임의의 디스플레이 스크린 상에 디스플레이될 수 있다. 일 실시예에서, 스크린은 핸드헬드 디바이스에 부착된다. 일 실시예에서, 스크린은 핸드헬드 디바이스에 부착된다. 일 실시예에서, 스크린은 터치스크린 디스플레이일 수 있다. 다른 실시예에서, 스크린은 디바이스의 외부에 있다. 다음으로, 단계(220)에서 제1 터치 입력은 객체의 움직임을 제어하도록 수신된다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스는 하우징을 포함하고 핸드헬드 디바이스의 하우징에 부착된 적어도 하나의 터치 감지 패널을 더 포함한다. 일 실시예에서 이 패널은 디스플레이 능력을 더 포함하고, 이 실시예에서 객체는 터치 패널 상에 디스플레이된다. 일 실시예에서, 터치 입력은 유저가 스크린 상에 손가락을 대고 객체를 이동시키는 것에 의해 수신된다. 다른 실시예에서, 펜이나 스타일러스와 같은 대안적인 터치 입력 디바이스가 유저에 의해 사용될 수 있다. 단계(220)에서 시스템은 입력을 수신하고 터치 입력에 따라 객체의 움직임을 제어한다. 일 실시예에서, 예를 들어, 유저는 객체에 자기의 손가락을 대고 스크린을 가로질러 객체를 이동시키는 것에 의해 객체를 가이드한다.
다음으로, 단계(230)에서 핸드오프 요청이 핸드헬드 디바이스에서 검출된다. 예를 들어, 일 실시예에서, 요청은 유저의 제1 터치 입력이 객체의 제어를 지배(seize)하고 있을 때 검출된다. 즉, 일 실시예에서, 유저는 제1 손을 사용하여, 예를 들어 오른손을 사용하여 객체를 제어할 수 있고, 유저가 이 손을 사용하여 객체를 편안히 제어할 수 없는 지점에 도달할 수 있고, 이 지점에서 유저는 자기의 손을 들어 올릴 수 있고, 이러한 제어의 지배는 시스템을 트리거시켜 핸드오프 요청으로 인식하게 할 수 있다. 다른 실시예에서, 핸드오프 요청과 같은 시스템으로 해석될 수 있는 단일 또는 더블 클릭(double click)과 같은 미리 한정된 제스처(gesture)가 있을 수 있다.
또 다른 실시예에서, 시스템은 제1 입력에 의한 객체의 움직임 속도를 모니터링할 수 있고, 시스템이 객체의 움직임 속도의 허용되지 않는 변화를 검출할 때 이 변화는 핸드오프 요청으로 해석될 수 있다. 다른 실시예에서, 시스템은 터치 감지 패널 상의 제2 터치 입력을 검출하고, 이 검출은 제1 입력과 제2 입력 사이에 제어를 핸드오프하는 요청으로 해석된다. 예를 들어, 유저가 제1 터치 입력, 예를 들어, 제1 손가락을 사용하여 객체를 제어하는 일 실시예에서 어느 지점에서 유저는 터치 감지 패널 상에 다른 터치 입력, 예를 들어, 제2 손가락을 댈 수 있고, 시스템은 이것을 제1 터치 입력으로부터 제2 터치 입력으로 제어를 스위칭하는 요청으로 해석할 수 있다. 다른 실시예에서, 시스템은 객체가 미리 한정된 임계 영역을 통과하면 핸드오프 요청을 검출할 수 있다. 예를 들어, 일 실시예에서, 시스템은 하나의 손으로부터 다른 손으로 제어를 스위칭하는 것으로 결정될 수 있는 절반 지점(half way point)을 할당할 수 있다. 다른 실시예에서, 이 방법의 조합은 핸드오프 요청을 검출하기 위해 시스템에 의해 사용될 수 있다.
다음으로, 단계(240)에서, 시스템은 제2 입력이 병합 영역 내에 검출될 수 있는지 여부를 결정한다. 전술된 바와 같이, 일 실시예에서, 하나 또는 둘 모두의 제1 입력과 제2 입력은 터치 입력이다. 일 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이에 제어를 스위칭할 수 있는 영역으로 정의된다. 일 실시예에서, 병합 영역은 제2 입력이 객체에 인접한 위치에 있어 객체의 제어를 제2 입력으로 전달할 수 있는 영역을 정의한다. 일 실시예에서, 병합 영역은 실행되는 특정 애플리케이션 및/또는 전체 시스템에 대해 미리 한정된 영역일 수 있다. 즉, 애플리케이션 개발자 및 또는 시스템 개발자는 병합 영역으로 정의된 입력 패널 또는 스크린 상의 위치를 지정할 수 있다. 다른 실시예에서, 병합 영역은 제1 입력의 위치, 제2 입력의 위치, 및/또는 객체의 위치 중 하나 이상에 대하여 계산될 수 있다. 일 실시예에서 제1 입력, 제2 입력, 및/또는 객체의 위치는 요청이 검출된 때에 결정된다. 다른 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이의 거리, 객체와 제2 입력 사이의 거리, 제2 입력 주위의 반경, 제1 입력 주위의 반경, 객체 주위의 반경 또는 이들의 일부 조합으로 계산된다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임 속도 및 다른 변수들이 병합 영역을 계산할 때 고려될 수 있다.
단계(240)에서, 제2 입력이 병합 영역 내에서 검출되는 것으로 결정되면, 단계(250)에서 시스템은 객체의 제어를 제2 입력으로 스위칭한다. 일 실시예에서, 예를 들어, 단계(250)에서 객체의 제어는 제1 입력으로부터 해제되어 제2 입력으로 스위칭된다. 다른 실시예에서, 제1 입력은 객체를 해제할 수 있고, 제2 입력은 단계(250)에서 객체의 제어를 취득할 수 있다. 이 실시예에서, 객체가 제1 입력의 제어로부터 해제되면, 객체는 제어가 단계(250)에서 제2 입력으로 스위칭될 때까지 제1 입력의 마지막 위치에 유지될 수 있다.
이 단계가 완료된 후, 제2 입력은 예를 들어, 다른 핸드오프 요청이 검출될 때까지 애플리케이션에서 객체의 제어를 취득한다. 일 실시예에서, 단계(250) 이전에 객체가 제1 또는 제2 입력 중 어느 것에 의하여 제어되지 않는 시간 기간이 있을 수 있다. 일부 실시예에서 시스템은 제어가 제1 입력으로부터 제2 입력으로 스위칭될 때까지 이 시간 동안 객체를 자동으로 제어할 수 있다. 일 실시예에서, 자동 제어 동안, 객체의 위치는 제1 입력이 객체의 제어를 지배한 위치에서 고정될 수 있다. 다른 실시예에서, 시스템은 단계(210)에서 핸드오프 요청 전에 객체의 움직임의 속도 및/또는 움직임의 방향, 제2 입력의 위치, 애플리케이션의 상황, 미리 한정된 유저 또는 시스템 설정 등과 같은 여러 상이한 변수에 기초하여 객체를 자동으로 이동시킬 수 있다.
대안적으로, 제2 입력이 병합 영역에서 검출되지 않는 것으로 결정될 때 단계(260)에서 객체는 제어로부터 해제된다. 일 실시예에서, 시스템은 객체를 해제하기 전에 미리 결정된 시간 동안 대기할 수 있고, 이 동안 시스템은 위치가 병합 위치 내에 있는지 여부를 결정하기 위해 제2 입력의 위치를 연속적으로 모니터링할 수 있다. 다른 실시예에서, 시스템은 객체를 해제하기 전에 유저에 통지할 수 있다. 일 실시예에서, 객체가 해제된 후에 객체는 제1 입력에 의해 제어되기 전의 원래의 위치로 복귀된다. 다른 실시예에서, 객체는 현재 위치, 즉 해제된 후 제1 입력의 마지막 알려진 위치에 유지된다.
다음으로 도 3을 참조하면, 제1 입력과 제2 입력 사이에 제어를 스위칭하는 방법(300)의 보다 상세한 흐름도가 본 발명의 일 실시예에 따라 도시된다.
제일 먼저, 단계(310)에서 객체는 스크린 상에 디스플레이된다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 임의의 디스플레이 스크린 상에 디스플레이될 수 있다. 일 실시예에서, 스크린은 핸드헬드 디바이스에 부착된다. 일 실시예에서, 스크린은 터치 스크린 디스플레이일 수 있다. 다른 실시예에서, 스크린은 디바이스의 외부에 있을 수 있다. 다음으로, 단계(320)에서 제1 터치 입력은 객체의 움직임을 제어하도록 수신된다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스는 하우징을 포함하고, 핸드헬드 디바이스의 하우징에 부착된 적어도 하나의 터치 감지 패널을 더 포함한다. 일 실시예에서, 패널은 디스플레이 능력을 더 포함하고, 여기서 이 실시예에서, 객체는 터치 패널 상에 디스플레이된다. 일 실시예에서, 터치 입력은 유저가 패널 상에 손가락을 대고 객체를 이동시키는 것에 의해 수신된다. 다른 실시예에서, 펜과 같은 대안적인 터치 입력 디바이스는 유저에 의해 사용될 수 있다. 단계(320)에서 시스템은 입력을 수신하고 터치 입력에 따라 객체의 움직임을 제어한다. 일 실시예에서, 예를 들어, 유저는 자기의 손가락을 객체에 대고 스크린을 가로질러 객체를 이동시키는 것에 의해 객체를 가이드한다.
다음으로, 단계(330)에서 핸드오프 요청이 핸드헬드 디바이스에서 검출된다. 일 실시예에서, 핸드오프 요청은 제1 입력, 예를 들어, 제1 터치 입력, 및 제2 입력, 예를 들어, 제2 터치 입력으로부터 제어를 스위칭하는 공정을 시작한다. 일 실시예에서, 객체의 움직임을 제어하는 동안, 시스템은 핸드오프 요청이 검출될 때까지 객체, 제1 입력, 및 제2 입력 중 하나 이상을 연속적으로 모니터링할 수 있다. 일 실시예에서, 핸드오프 요청은 유저가 객체의 제어를 지배할 때 검출될 수 있다. 즉, 일 실시예에서, 유저는 제1 손, 예를 들어, 오른손을 사용하여 객체를 제어할 수 있고, 유저는 이 손을 사용하여 객체를 더 이상 편안하게 제어할 수 없는 지점에 도달할 수 있고, 이 지점에서 유저는 자기의 손을 들어 올릴 수 있고, 이 제어의 지배는 시스템을 트리거하여 핸드오프 요청을 인식하게 할 수 있다. 다른 실시예에서, 시스템에 의해 핸드오프 요청으로 해석될 수 있는 단일 또는 더블 클릭과 같은 미리 한정된 제스처가 있을 수 있다.
또 다른 실시예에서, 시스템은 제1 입력에 의한 객체의 움직임의 속도를 모니터링할 수 있고, 시스템이 객체의 움직임의 속도의 예기치 않는 변화를 검출할 때, 이 변화는 핸드오프 요청으로 해석될 수 있다. 다른 실시예에서, 시스템은 예를 들어 터치 감지 패널 또는 스크린에 입력된 제2 터치 입력과 같은 핸드헬드 디바이스에서 제2 입력을 검출하고, 이 검출은 제1 입력과 제2 입력 사이에 핸드오프 제어 요청으로 해석된다. 예를 들어, 유저가 제1 터치 입력, 예를 들어, 제1 손가락을 사용하여 객체를 제어하는 실시예에서, 어느 지점에서 유저는 다른 터치 입력, 예를 들어, 제2 손가락을 터치 감지 패널에 놓을 수 있고, 시스템은 이것을 제1 터치 입력으로부터 제2 터치 입력으로 제어를 스위칭하는 요청으로 해석할 수 있다. 다른 실시예에서, 시스템은 객체가 미리 한정된 임계 영역을 통과하면 핸드오프 요청을 검출할 수 있다. 예를 들어, 일 실시예에서, 시스템은 한 손으로부터 다른 손으로 제어를 스위칭하는 것으로 결정되는 절반 지점을 할당할 수 있다. 다른 실시예에서, 이 방법의 조합은 핸드오프 요청을 검출하기 위해 시스템에 의해 사용될 수 있다.
단계(330)에서, 핸드오프가 검출되면, 이 공정은 단계(340)로 이동한다. 그렇지 않으면, 시스템은 제1 입력에 따라 객체의 움직임을 계속 제어한다.
다음으로, 단계(340)에서, 시스템은 제2 입력이 검출되고 병합 영역 내에 있는지 여부를 결정한다. 일부 실시예에서, 제1 입력과 제2 입력의 표시는 유저가 핸드오프가 발생할 수 있는 제2 입력을 대는 것을 도와주기 위하여 유저에 디스플레이될 수 있다. 예를 들어, 일 실시예에서, 객체는 디스플레이되고 객체를 제어하는 입력의 위치를 나타낸다. 일 실시예에서, 제2 입력의 표시는 유저가 서로에 대하여 및 객체에 대하여 입력의 위치를 볼 수 있도록 스크린 상에 디스플레이된다. 전술된 바와 같이, 일 실시예에서, 하나 또는 둘 모두의 제1 입력과 제2 입력은 터치 입력이다. 일 실시예에서, 병합 영역은 제1 입력과 제2 입력 간에 제어를 스위칭할 수 있는 영역으로 정의된다. 일 실시예에서, 병합 영역은 제2 입력이 객체의 제어를 제2 입력으로 전달할 수 있도록 객체에 근접한 위치에 있는 영역을 정의한다. 일 실시예에서, 병합 영역은 핸드헬드 디바이스에서 실행되는 특정 애플리케이션 및/또는 전체 시스템에 대해 미리 한정된 영역일 수 있다. 즉, 애플리케이션 개발자 및 또는 시스템 개발자는 병합 영역으로 한정된 입력 패널 또는 스크린 상의 위치를 지정할 수 있다. 다른 실시예에서, 병합 영역은 제1 입력의 위치, 제2 입력의 위치 및/또는 객체의 위치 중 하나 이상에 대하여 계산될 수 있다. 일 실시예에서, 제1 입력, 제2 입력, 및/또는 객체의 위치는 요청이 검출될 때 결정된다. 일부 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이의 거리, 제2 입력 주위의 반경, 제1 입력 주위의 반경, 또는 이들의 일부 조합으로 계산될 수 있다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임 속도 및 다른 변수들이 병합 영역을 계산할 때 고려될 수 있다.
제2 입력이 병합 영역 내에 검출되지 않는 것으로 결정되면, 단계(345)에서 제1 입력이 객체를 여전히 제어하고 있는지 여부가 결정된다. 즉, 일 실시예에서, 시스템은 예를 들어 객체로부터 터치 입력을 들어올리는(lift) 것에 의해 객체의 제어를 지배하였는지 여부를 체크한다. 일 실시예에서, 제1 입력이 객체의 제어를 지배하면, 객체는 제어가 미리 결정된 시간의 양(t) 동안 지배되었던 위치에 유지된다. 일 실시예에서, 단계(345)에서 제1 입력이 객체의 제어를 지배한 것으로 결정되면, 단계(350)에서 객체는 제어로부터 해제된다. 일 실시예에서, 시스템은 객체를 해제하기 전에 유저에 통지할 수 있다. 일 실시예에서, 객체가 해제된 후에 객체는 제1 입력에 의해 제어되기 전의 원래의 위치로 복귀한다. 다른 실시예에서, 객체는 현재의 위치, 즉 해제된 후 제1 입력이 객체의 제어를 지배한 위치, 예를 들어 제1 입력의 마지막 알려진 위치에 유지된다.
한편으로 단계(345)에서 제1 입력이 객체를 여전히 제어하고 있는 것으로 결정되면, 시스템은 단계(340)로 복귀하고, 제2 입력이 검출되고 병합 영역 내 있는지 여부를 모니터링한다. 일 실시예에서, 시스템은 객체를 해제하기 전에 미리 결정된 시간 동안 대기할 수 있고, 이 동안 시스템은 제2 입력을 계속 모니터링하고 제2 입력의 위치를 모니터링하여 제2 입력이 검출되는지 및/또는 제2 입력의 위치가 병합 영역 내에 있는지 여부를 결정한다. 일 실시예에서, 시스템은, 객체가 제어되고 있는 한, 그 위치를 계속 모니터링할 수 있고, 제1 입력이 단계(345)에서 결정된 객체의 제어를 지배하면 객체를 해제할 수 있다.
대안적으로 단계(340)에서 제2 입력이 검출되고 병합 영역 내에 있는 것으로 결정되면, 단계(360)에서 제어는 제2 입력으로 스위칭되고 제1 입력은 들어올려질 수 있고 및 또는 객체의 제어를 지배할 수 있다. 하나 이상의 실시예에서, 단계(340) 및/또는 단계(360) 동안, 제1 입력/객체 및 제2 입력의 위치는 모니터링되고 제1 입력과 제2 입력의 위치가 제2 입력이 객체를 제어하고 있는, 예를 들어, 제2 입력이 객체와 터치하고 있는 것으로 결정되면, 제어는 제2 입력으로 스위칭된다. 단계(360)에서 일부 실시예에서, 객체의 제어는 제1 입력으로부터 해제되고 제2 입력으로 스위칭된다. 이 단계가 완료된 후에 제2 입력은 다른 핸드오프 요청이 검출될 때까지 애플리케이션에서 객체의 제어를 가진다.
다음으로, 도 4를 참조하면, 제1 입력과 제2 입력 사이에 제어를 스위칭하는 대안적인 방법(400)의 상세 흐름도가 본 발명의 일 실시예에 따라 예시된다.
제일 먼저, 단계(410)에서, 객체는 스크린 위에 디스플레이된다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 임의의 디스플레이 스크린 상에 디스플레이될 수 있다. 일 실시예에서, 스크린은 핸드헬드 디바이스에 부착된다. 일 실시예에서 스크린은 터치 스크린 디스플레이일 수 있다. 다른 실시예에서, 스크린은 디바이스의 외부에 있을 수 있다. 다음으로, 단계(420)에서 제1 터치 입력은 객체의 움직임을 제어하도록 수신된다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스는 하우징을 포함하고, 핸드헬드 디바이스의 하우징에 부착된 적어도 하나의 터치 감지 패널을 더 포함한다. 일 실시예에서, 패널은 디스플레이 능력을 더 포함하고, 이 실시예에서 객체는 터치 패널 상에 디스플레이된다. 일 실시예에서, 터치 입력은 유저가 패널에 손가락을 대고 객체를 이동시키는 것에 의해 수신된다. 다른 실시예에서, 펜과 같은 대안적인 터치 입력 디바이스가 유저에 의해 사용될 수 있다. 단계(420)에서 시스템은 제1 입력을 수신하고 제1 터치 입력에 따라 객체의 움직임을 제어한다. 일 실시예에서, 예를 들어 유저는 객체에 자기의 손가락을 객체 위에 대고 스크린을 가로질러 객체를 이동시키는 것에 의해 객체를 가이드한다.
다음으로, 단계(430)에서 핸드오프 요청이 핸드헬드 디바이스에서 검출된다. 일 실시예에서, 객체의 움직임을 제어하는 동안, 시스템은 핸드오프 요청이 검출될 때까지 객체, 제1 입력, 제2 입력 중 하나 이상을 계속적으로 모니터링할 수 있다. 일 실시예에서, 핸드오프 요청은 제1 입력, 예를 들어, 제1 터치 입력과, 제2 입력, 예를 들어, 제2 터치 입력으로부터 제어를 스위칭하는 공정을 시작한다. 일 실시예에서, 핸드오프 요청은 유저가 객체의 제어를 지배할 때 검출될 수 있다. 즉, 일 실시예에서, 유저는 제1 손, 예를 들어, 오른손을 사용하여 객체를 제어할 수 있고, 유저가 이 손을 사용하여 객체를 더 이상 편안하게 제어할 수 없는 지점에 도달할 수 있고, 이 지점에서 유저는 자기의 손을 들어올릴 수 있고, 이러한 제어의 지배는 시스템을 트리거하여 핸드오프 요청을 인식할 수 있다. 다른 실시예에서, 시스템에 의해 핸드오프 요청으로 해석될 수 있는 단일 또는 더블 클릭과 같은 미리 한정된 제스처가 있을 수 있다.
또 다른 실시예에서, 시스템은 제1 입력에 의한 객체의 움직임의 속도를 모니터링할 수 있고, 시스템이 객체의 움직임의 속도의 예기치 않는 변화를 검출할 때 이 변화는 핸드오프 요청으로 해석될 수 있다. 다른 실시예에서, 시스템은 예를 들어 터치 감지 패널 또는 스크린 상에 입력된 제2 터치 입력과 같은 핸드헬드 디바이스에서 제2 입력을 검출하고, 이 검출은 제1 입력과 제2 입력 간에 제어를 핸드오프하는 요청으로 해석된다. 예를 들어, 유저가 제1 터치 입력, 예를 들어, 제1 손가락을 사용하여 객체를 제어하고 있는 실시예에서, 어느 지점에서 유저는 다른 터치 입력, 예를 들어, 제2 손가락을 터치 감지 패널에 댈 수 있고, 시스템은 이것을 제1 터치 입력으로부터 제2 터치 입력으로 제어를 스위칭하는 요청으로 해석할 수 있다. 다른 실시예에서, 시스템은 객체가 미리 한정된 임계 영역을 통과하면 핸드오프 요청을 검출할 수 있다. 예를 들어, 일 실시예에서, 시스템은 한 손으로부터 다른 손으로 제어를 스위칭하는 것으로 결정된 절반 지점을 할당할 수 있다. 다른 실시예에서, 이러한 방법의 조합이 핸드오프 요청을 검출하기 위해 시스템에 의해 사용될 수 있다.
단계(430)에서 핸드오프가 검출되면 공정은 단계(440)로 이동한다. 그렇지 않으면 시스템은 제1 입력에 따라 객체의 움직임을 계속 제어한다.
다음으로, 단계(440)에서 시스템은 제2 입력이 검출되고 병합 영역 내에 있는지 여부를 결정한다. 일 실시예에서, 병합 영역은 제2 입력이 객체의 제어가 제2 입력으로 전달될 수 있도록 객체에 인접한 위치에 있는 영역을 정의한다. 일 실시예에서, 제1 입력과 제2 입력의 표시는 핸드오프가 발생할 수 있는 곳에 유저가 제2 입력을 대는 것을 도와주기 위하여 유저에 디스플레이될 수 있다. 예를 들어, 일 실시예에서, 객체는 디스플레이되고 객체를 제어하는 입력의 위치를 나타낸다. 일 실시예에서, 제2 입력의 표시는 유저가 서로에 대하여 및 객체에 대하여 입력의 위치를 볼 수 있도록 스크린 위에 또한 디스플레이된다. 전술된 바와 같이, 일 실시예에서, 하나 또는 둘 모두의 제1 입력과 제2 입력은 터치 입력이다. 일 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이에 제어를 스위칭할 수 있는 영역으로 정의된다. 일 실시예에서, 병합 영역은 객체의 제어를 제2 입력으로 전달할 수 있도록 제2 입력이 객체에 인접한 위치에 있는 영역을 정의한다.
일 실시예에서, 병합 영역은 핸드헬드 디바이스에서 실행되는 특정 애플리케이션 및/또는 전체 시스템에 대해 미리 한정된 영역일 수 있다. 즉, 애플리케이션 개발자 및 또는 시스템 개발자는 병합 영역으로 정의된 입력 패널 또는 스크린 위의 위치를 나타낼 수 있다. 다른 실시예에서, 병합 영역은 제1 입력의 위치, 제2 입력의 위치, 및/또는 객체의 위치 중 하나 이상에 대하여 계산될 수 있다. 일 실시예에서, 제1 입력, 제2 입력, 및/또는 객체의 위치는 요청이 검출될 때 결정된다. 일부 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이의 거리, 제2 입력 주위의 반경, 제1 입력 주위의 반경 또는 이들의 일부 조합으로 계산될 수 있다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임의 속도와 다른 변수들이 병합 영역을 계산할 때 고려될 수 있다.
제2 입력이 병합 영역 내에서 검출되지 않은 것으로 결정되면, 단계(445)에서 제1 입력이 객체를 여전히 제어하고 있는지 여부가 결정된다. 즉, 일 실시예에서, 시스템은 제1 입력이 예를 들어 객체로부터 터치 입력을 들어올리는 것에 의해 객체의 제어를 지배하였는지 여부를 알아보도록 체크한다. 일 실시예에서, 제1 입력이 객체의 제어를 지배하면, 객체는 제2 입력이 객체의 제어를 취득하게 하기 위하여 미리 결정된 시간의 양(t) 동안 제어를 지배한 위치에 유지된다.
일 실시예에서 미리 결정된 시간(t)은 시스템 또는 특정 프로그램, 예를 들어, 게임 애플리케이션에 의해 한정될 수 있다. 다른 실시예에서, 미리 결정된 기간은 유저에 의해 추가적으로 또는 대안적으로 주문가능할 수 있다. 다른 실시예에서 시스템 또는 애플리케이션은 시간에 따라 유저 특성에 기초하여 미리 한정된 기간을 조절할 수 있다. 예를 들어, 일 실시예에서 시스템은 유저가 입력들 간에 더 긴 지연 패턴을 구비하도록 결정하고 이 지연을 반영하기 위해 미리 결정된 시간을 조절할 수 있다.
일 실시예에서, 단계(445)에서 제1 입력이 객체의 제어를 지배한 것으로 결정되면, 단계(450)에서 미리 결정된 시간(t)이 경과되었는지 여부가 결정된다. 예를 들어, 일 실시예에서 제1 입력이 객체의 제어를 지배하면, 타이머는 객체가 입력에 의해 전혀 제어되고 있지 않고 경과된 시간을 추적하도록 개시될 수 있다. 일 실시예에서, 이 미리 결정된 기간 동안 객체는 제1 입력의 마지막으로 알려진 위치에 유지된다.
단계(450)에서, 시간이 경과된 것으로 결정되면, 공정이 단계(455)로 이동하고 객체는 제어로부터 해제된다. 일 실시예에서 시스템은 객체를 해제하기 전에 유저에 통지할 수 있다. 일 실시예에서 객체가 해제된 후에 공정은 제1 입력에 의해 제어되기 전의 원래의 위치로 복귀된다. 다른 실시예에서, 객체는 현재 위치에 유지되는데, 즉 해제된 후 제1 입력이 객체의 제어를 지배한 위치, 예를 들어 제1 입력의 마지막으로 알려진 위치에 유지된다.
한편, 단계(445)에서 제1 입력이 객체를 여전히 제어하고 있거나 또는 단계(450)에서 시간(t)이 경과되지 않은 것으로 결정되면, 시스템은 단계(440)로 복귀하고 제2 입력이 검출되고 병합 영역 내에 있는지 여부를 모니터링한다.
일 실시예에서, 시스템은, 제1 입력이 객체를 제어하는 한(단계 445) 또는 제1 입력이 객체의 제어를 지배한 이후 미리 결정된 시간이 경과되지 않은 한(단계 450), 제2 입력을 연속적으로 모니터링하고 제2 입력의 위치를 모니터링하여 제2 입력이 검출되는지 및/또는 제2 입력의 위치가 병합 내에 있는지 여부를 결정하고, 단계(445)와 단계(450)의 조건 중 그 어느 것도 충족되지 않으면 객체를 해제한다.
단계(440)에서 제2 입력이 검출되고 병합 영역 내에 있는 것으로 결정되면, 단계(460)에서 제어는 제2 입력으로 스위칭되고 제1 입력은 들어올려지고 또는 객체의 제어를 지배한다. 일부 실시예에서, 객체의 제어는 제1 입력으로부터 해제되고 제2 입력으로 스위칭된다. 이 단계가 완료되면, 다른 핸드오프 요청이 검출될 때까지 제2 입력이 애플리케이션에서 객체의 제어를 가진다.
하나 이상의 실시예에서, 단계(440) 및/또는 단계(460) 동안 제1 입력/객체 및 제2 입력의 위치가 모니터링되고 제1 입력 및 제2 입력의 위치가 제2 입력이 객체를 제어하고 예를 들어 제2 입력이 객체와 터치하고 있는 것으로 결정나면, 제어는 제2 입력으로 스위칭된다. 일 실시예에서, 제2 시간 기간(t2)은 제2 입력의 위치가 객체의 제어를 허용하는 객체에 대한 위치에 있는 것을 보장하도록 허용될 수 있다. 하나 이상의 실시예에서, 제1 입력과 제2 입력의 표시는 유저가 핸드오프가 발생할 수 있는 곳에 제2 입력을 대는 것을 도와주기 위하여 유저에 디스플레이될 수 있다. 예를 들어, 일 실시예에서, 객체가 디스플레이되고 객체를 제어하는 입력의 위치를 나타낸다. 일 실시예에서 제2 입력의 표시는 유저가 서로에 대하여 그리고 객체에 대하여 입력의 위치를 볼 수 있도록 스크린 상에 또한 디스플레이된다.
다음으로, 본 발명의 대안적인 실시예는 제어가 하나의 입력으로부터 제2 입력으로 피치/전달되는 것으로 기술된다.
일반적으로, 일부 실시예에서, 제1 터치 입력은 객체를 일정 거리 이동하게 하여 유저로 하여금 궤도 동안 제2 터치 입력으로 객체를 캐치할 수 있게 하는 방식으로 터치 감지 패널에서 객체를 제1 터치 입력을 토스하거나 피치할 수 있다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 있는 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 디스플레이 스크린 위에 디스플레이될 수 있다. 유저는 제1 손가락을 사용하여 디바이스(100)의 어느 측에 위치된 터치스크린이나 디바이스(100)의 어느 측에 위치된 터치패드와 같은 디바이스(100)에 부착된 터치 감지 패널을 사용하여 디스플레이된 객체를 선택하고 이동시킨다. 이 제1 손가락은 본 명세서에서 제1 터치 입력이라고 언급된다. 다음으로 제1 손가락은 예를 들어 객체를 스크린을 가로질러 일정 거리 이동하게 하는 터치 감지 패널에서 토스 운동을 생성하는 것에 의해 디스플레이된 객체의 피치 또는 토스를 야기할 수 있다.
다음으로, 유저는 디스플레이된 객체를 유저가 핸드오프하기를 원하는 제2 손가락으로 터치 감지 패널을 터치한다. 이 제2 손가락은 본 명세서에서 제2 터치 입력이라고 언급된다. 디바이스(100)와 연관된 처리 시스템은 피치에 따라 일정 거리를 횡단할 때 객체의 움직임을 추적하고, 객체와 제2 터치 입력이 병합할 때까지 유저의 제2 손가락을 무시하며, 이 병합하는 지점에서 제2 입력은 객체를 제어하기 시작한다. 이 지점 후에 시스템은 유저의 제2 손가락을 추적하고 제2 손가락의 움직임에 따라 객체를 이동시킨다.
도 5a를 참조하면, 객체를 디스플레이하는 예시적인 터치 감지 디바이스는 본 발명의 하나 이상의 실시예에 따라 예시된다.
예시된 바와 같이 이 예시적인 실시예에서, 유저는 디바이스(100)에서 실행되는 애플리케이션과 상호작용한다. 디바이스(100)는 하우징(102), 터치 감지 스크린(120)을 구비하는 직사각형 형상의 디바이스인 것으로 도시되고, 터치 감지 스크린(120)은 조작될 때 애플리케이션을 보기 위한 디스플레이를 포함한다. 다른 실시예에서, 디바이스(100)는 터치 패드만을 포함할 수 있으며 애플리케이션은 TV와 같은 외부 디바이스에 디스플레이될 수 있다. 또 다른 실시예에서, 디바이스(100)는 터치 능력을 구비하지 않을 수 있고, 유저는 롤링 볼, 푸시 버튼, 조이스틱 등과 같은 다른 제어 수단을 사용하여 객체를 제어할 수 있다. 예를 들어, 예시적인 실시예에서, 디바이스(100)는 핸드헬드 사용을 위해 의도된 사이즈를 가진 하우징(102)을 포함하며 핸드헬드 디바이스의 하우징에 부착된 적어도 하나의 터치 감지 패널(102)을 더 포함한다. 일 실시예에서, 디바이스(100)는 보다 상세히 후술되는 바와 같이 하나 이상의 방법을 수행하기 위해 하우징에 포함된 프로세서 기반 시스템을 더 포함할 수 있다. 디바이스에서 실행되는 애플리케이션은 예를 들어 전술된 애플리케이션의 유형 중 어느 하나와 같은 애플리케이션의 임의의 유형을 포함할 수 있다.
일 실시예에서, 예시된 바와 같이 유저는 제1 손(130), 예를 들어, 도 5a에 도시된 왼손을 사용하여 객체(110)를 제어한다. 도시된 바와 같이 유저는 자기의 제1 손가락을 사용하여 제1 위치(1)로부터 제2 위치(5)로 객체를 피치할 수 있다. 일 실시예에서, 유저는 위치(1)로부터 객체를 피치하여 피치는 스크린 상에서 예를 들어 위치(1)로부터 위치(5)로 객체를 일정 거리 이동시킬 수 있게 한다. 일 실시예에서, 객체는 스크린을 가로질러 이동하지만, 제2 입력(140)이 디바이스(100)에서 검출될 수 있다. 제2 입력을 검출하는 예시적인 공정은 도 5b 및 도 6에 대하여 아래에서 상세히 후술된다.
일 실시예에서, 시스템은 스크린을 가로질러 일정 거리 이동할 때 객체(110)의 위치를 회귀적으로(recursively) 모니터링한다. 일 실시예에서, 시스템은 객체(110)와 제2 입력 소스(140)가 병합 영역(150)에 있고 객체의 제어가 제2 입력(140)으로 스위칭되는지를 결정한다. 일 실시예에서, 병합 영역(150)은 유저에 디스플레이될 수 있다. 예를 들어, 유저는 제2 입력에 입력되는 영역을 결정하기 위하여 병합 영역을 볼 수 있다. 다른 실시예에서, 병합 영역은 유저에 디스플레이되지 않는다.
도시된 바와 같이, 이 예시적인 실시예에서 유저의 제2 손(140)은 제2 터치 입력을 나타낸다. 일 실시예에서, 유저의 제2 입력(140)(오른손)의 위치는 시스템에 의해 결정되고, 객체의 위치, 예를 들어, 위치(1), (2), (3), (4) 및 (5)와 비교된다. 도 5a의 예시적인 실시예에 도시된 바와 같이, 위치(5)에서 제2 입력의 위치와 객체의 위치는 병합 영역(150) 내에 있다. 그리하여, 이 예시적인 실시예에서 객체가 위치(5)에 있을 때 시스템은 제2 입력, 즉 유저의 오른손/손가락(140)으로 객체의 제어를 스위칭하는 것으로 진행한다. 일부 실시예에서, 제어는 후술되는 공정(500 및/또는 600)에 따라 스위칭된 후, 제2 입력(140)이 객체의 제어를 시작하고 스크린을 가로질러 객체를 이동시킬 수 있다.
다음으로, 도 5b를 참조하면, 객체의 제어를 피치하는 공정(500)의 흐름도가 여러 실시예에 따라 예시된다. 제일 먼저, 단계(505)에서 객체가 디스플레이된다. 예를 들어, 객체는 디바이스(100)에 부착된 터치 감지 또는 터치 비감지 디스플레이 스크린 또는 디바이스(100)의 외부에 터치 감지 또는 터치 비감지 디스플레이 스크린과 같은 디바이스(100)와 연관된 임의의 디스플레이 스크린 상에 디스플레이될 수 있다. 일 실시예에서, 객체는 핸드헬드 디바이스의 터치 감지 디스플레이 상에 디스플레이된다. 다른 실시예에서, 객체는 입력이 수신되는 터치 감지 디바이스 또는 터치 감지 패널과는 별개인 디스플레이 상에 디스플레이된다. 일 실시예에서, 객체의 디스플레이 동안 일정 시간 객체는 디바이스에 입력된 제1 입력에 의해 제어된다. 예를 들어, 일 실시예에서, 터치 감지 패널/디스플레이에서 제1 터치 입력은 객체의 움직임을 제어한다.
이 시간 동안 단계(510)에서, 제1 입력에 의한 객체의 피치가 디바이스에서 검출된다. 예를 들어, 일 실시예에서, 시스템은 제1 입력에 의한 객체의 움직임의 속도를 모니터링하고, 시스템이 객체의 움직임의 속도의 허용되지 않은 변화를 검출하면 이 변화는 피치로서 해석될 수 있다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임 및/또는 제어의 갑작스런 중지(halt)는 객체가 피치된 것을 나타낼 수 있다. 다른 실시예에서, 시스템에 의해 핸드오프 요청으로 해석될 수 있는 단일 또는 더블 클릭과 같은 미리 한정된 제스처가 있을 수 있다. 또 다른 실시예에서, 객체의 움직임 방향은 객체가 피치되는 것을 시스템에 통지할 수 있다. 일 실시예에서, 유저는 객체가 피치되고 있는 것을 시스템에 통지하는 피치 또는 토스 운동을 생성할 수 있다. 다른 실시예에서, 이들 및 다른 표시자의 조합은 피치를 검출하는데 시스템에 의해 사용될 수 있다.
일 실시예에서, 객체가 피치되고 있는 것을 검출할 때 시스템은 결정된 경로를 따라 객체의 자동 제어를 시작한다. 일 실시예에서, 객체의 피치는 스크린을 가로질러 일정 거리 객체가 이동할 수 있게 한다. 일 실시예에서, 객체가 이동하는 경로는 피치의 속도, 객체의 중량, 실행되는 특정 애플리케이션의 환경, 및 다른 유사한 값 중 하나 이상에 따라 결정된다. 예를 들어, 일 실시예에서, 유저는 객체가 이동하는 속도, 객체가 이동하는 거리, 또는 객체의 사영(projection)을 결정하는 설정을 조정하는 것에 의해 경로를 조절할 수 있다.
다음으로, 단계(520)에서, 시스템은 피치된 객체의 현재 위치를 결정한다. 일부 실시예에서, 피치에서 및/또는 피치 이전에 객체의 속도는 현재 위치를 결정하는데 사용된다. 다른 실시예에서, 객체의 중량은 현재 위치를 결정하는데 추가적으로 또는 대안적으로 사용될 수 있다. 또 다른 실시예에서, 애플리케이션 환경의 상황이 현재 위치를 결정하는데 사용될 수 있다. 예를 들어, 일 실시예에서 애플리케이션이 게임을 포함할 수 있고, 게임에서 다른 객체 및 또는 효과가 객체의 특성에 더하여 또는 그 대신에 고려될 수 있다. 일례로서, 일 실시예에서 시스템은 객체가 도로 블록(road block)을 가지는 거리를 통해 이동하는 것을 결정할 수 있다. 이 실시예에서, 이 도로 블록과 접촉한 결과 객체의 속도의 느려짐이 고려될 수 있다.
객체의 현재 위치가 결정되면, 공정은 단계(530)로 이동하고, 현재 위치와 제2 입력이 병합 영역 내에 있는지 여부를 결정한다. 전술된 바와 같이 일 실시예에서 병합 영역은 제1 입력과 제2 입력 간에 제어가 스위칭될 수 있는 영역으로 정의된다. 일 실시예에서 병합 영역은 실행되는 특정 애플리케이션에 대해 미리 한정된 영역일 수 있다. 다른 실시예에서 병합 영역은 제1 입력과 제2 입력 사이의 거리, 객체 위치와 제2 입력 사이의 거리, 제2 입력 주위의 반경, 객체 주위의 반경, 또는 이들의 일부 조합으로서 계산된다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임 속도 및 애플리케이션 내 객체 및/또는 다른 객체의 다른 특성이 병합 영역을 계산할 때 고려될 수 있다.
단계(530)에서 객체와 제2 입력의 위치가 병합 영역 내에 있는 것으로 결정되면, 단계(540)에서 객체의 제어는 제2 입력으로 스위칭된다. 이 단계가 완료된 후에, 다른 핸드오프 또는 피치가 검출될 때까지 제2 입력은 애플리케이션에서 객체의 제어를 가진다. 일 실시예에서, 단계(540) 이전에 객체가 제1 또는 제2 입력에 의해 제어되지 않는 시간 기간이 있을 수 있다. 예를 들어, 일 실시예에서, 제1 입력은 객체가 단계(510)에서 피치된 경우 객체의 제어를 해제할 수 있다. 일부 실시예에서, 시스템은 제어가 제2 입력으로 스위칭될 때까지 이 시간 동안 객체를 자동으로 제어할 수 있다. 일 실시예에서 시스템은 단계(510)에서 피치 이전의 객체의 움직임 속도 또는 움직임 시간, 피치 힘 및/또는 움직임 방향, 제2 입력의 위치, 애플리케이션의 상황, 미리 한정된 유저 또는 시스템 설정 등과 같은 여러 상이한 변수에 기초하여 스크린을 가로질러 일정 거리를 이동할 때 객체를 자동으로 제어할 수 있다. 일부 실시예에서, 그 궤도 동안 객체의 움직임은 또한 자동으로 조절될 수 있다. 예를 들어, 일 실시예에서, 평활화 효과가 객체의 평활한 움직임을 생성하기 위하여 객체에 적용될 수 있다. 다른 실시예에서, 객체의 실제 궤도 루트가 계산될 수 있다. 일 실시예에서, 이 실제 궤도가 일정 예기치 않은 루트 또는 도로 블록을 초래하는 경우 시스템은 객체가 의도된 목적지 위치에 도달하게 하도록 궤도를 자동으로 조절할 수 있다.
대안적으로, 단계(530)에서 제1 및 제2 입력이 병합 영역 내에 있지 않은 것으로 결정되면, 단계(550)에서 객체는 피치에 의해 의도된 거리를 횡단하였다면, 예를 들어 목적지 위치에 도달하였다면 제어로부터 해제된다. 일 실시예에서, 시스템은 객체를 해제하기 전에 미리 결정된 시간 동안 대기할 수 있고 이 동안 시스템은 객체와 제2 입력의 위치를 연속적으로 모니터링하고 그 위치들이 병합 영역 내에 있는지를 결정할 수 있다. 다른 실시예에서, 시스템은 객체를 해제하기 전에 유저에 통지할 수 있다. 일 실시예에서, 객체가 해제될 때 객체는 다른 입력이 객체를 제어하도록 입력될 때까지 최종 위치에 유지될 수 있다. 또 다른 실시예에서, 해제될 때 객체는 피치시에 원래의 위치, 즉 단계(510) 바로 전의 위치로 복귀될 수 있다.
다음으로, 도 6을 참조하면, 제1 입력으로부터 제2 입력으로 제어를 피치하는 공정(600)의 보다 상세한 흐름도가 일부 실시예에 따라 예시된다.
제일 먼저, 단계(610)에서, 객체가 디스플레이된다. 일 실시예에서, 객체는 핸드헬드 디바이스의 터치 감지 디스플레이 상에 디스플레이된다. 다른 실시예에서, 객체는 입력이 수신되는 터치 감지 디바이스 또는 터치 감지 패널과는 별개의 디스플레이 상에 디스플레이된다. 일 실시예에서, 디스플레이는 핸드헬드 디바이스의 외부에 있는 반면, 다른 실시예에서 이 디스플레이는 통합된다. 일 실시예에서, 객체를 디스플레이하는 동안 일정 시간에 객체는 디바이스에 입력되는 제1 입력에 의해 제어된다. 예를 들어, 일 실시예에서, 터치 감지 패널/디스플레이에서 제1 터치 입력은 객체의 움직임을 제어한다.
유저가 객체를 제어할 때, 단계(610)에서 객체는 단계(620)에서 피치가 검출될 때까지 연속적으로 모니터링된다. 예를 들어, 일 실시예에서, 객체의 위치, 속도, 움직임 방향 및 다른 특성이 모니터링된다. 나아가, 일부 실시예에서, 제1 입력의 제어 방식이 단계(610) 동안 모니터링될 수 있다. 일부 실시예에서, 시스템은 제1 입력에 의한 객체의 움직임 속도를 모니터링하고, 시스템이 객체의 움직임 속도의 예기치 않는 변화를 검출할 때 이 변화는 단계(620)에서 피치로 해석될 수 있다. 일 실시예에서, 제1 입력에 의한 객체의 움직임 및/또는 제어의 갑작스런 중지는 객체가 피치된 것을 나타낼 수 있다. 다른 실시예에서, 시스템에 의해 핸드오프 요청으로 해석될 수 있는 단일 또는 더블 클릭과 같은 미리 한정된 제스처가 있을 수 있다. 또 다른 실시예에서, 객체의 움직임 방향은 객체가 피치되고 있는 것을 시스템에 통지할 수 있다. 다른 실시예에서, 이들 및 다른 방법의 조합이 피치를 검출하기 위해 시스템에 의해 사용될 수 있다. 일 실시예에서, 시스템은 피치가 검출될 때까지 객체를 연속적으로 모니터링할 수 있다.
일 실시예에서, 객체의 피치는 객체로 하여금 스크린을 가로질러 경로를 횡단하게 한다. 일 실시예에서, 객체가 이동하는 경로는 여러 상이한 요인에 기초하여 결정된다. 여러 실시예에 따라 객체가 이동하는 경로는 피치의 속도, 객체의 중량, 애플리케이션 환경, 및 다른 유사한 값 중 하나 이상에 따라 결정된다. 예를 들어, 일 실시예에서, 유저는 객체가 이동하는 속도, 객체가 이동하는 거리 또는 객체의 사영을 결정하는 설정을 조정하는 것에 의해 경로를 조절할 수 있다. 일 실시예에서, 객체가 피치되고 있는 것을 검출할 때 시스템은 결정된 경로를 통해 객체의 자동적인 제어를 시작한다.
일 실시예에서, 피치가 단계(620)에서 검출되면, 시스템은 객체의 자동적인 제어를 시작할 수 있다. 예를 들어, 일 실시예에서, 제1 입력은 객체가 단계(620)에서 피치되면 객체의 제어를 해제할 수 있다. 일부 실시예에서, 시스템은 제어가 제2 입력으로 스위칭될 때까지 이 시간 동안 객체를 자동 제어할 수 있다. 일 실시예에서, 시스템은 단계(610)에서 피치 이전에 객체의 움직임 속도, 피치의 힘, 및/또는 움직임 방향, 제2 입력의 위치, 애플리케이션의 상황, 미리 한정된 유저 또는 시스템 설정 등과 같은 여러 상이한 변수에 기초하여 스크린을 가로질러 거리를 이동할 때 객체를 자동 제어할 수 있다. 일부 실시예에서 궤도 동안 객체의 움직임은 또한 자동 조절될 수 있다. 일 실시예에서, 평활화 효과가 객체의 평활한 움직임을 생성하기 위해 객체에 적용될 수 있다. 다른 실시예에서, 객체의 실제 궤도 루트가 계산될 수 있다. 일 실시예에서 이 실제 궤도가 일부 예기치 않는 루트 또는 도로 블록을 초래하는 경우 시스템은 객체가 의도된 목적지 위치에 도달하게 하기 위해 궤도를 자동 조절할 수 있다.
일단 피치가 단계(620)에서 검출되면, 시스템은 단계(630)로 이동된다. 단계(630)에서 시스템은 피치된 객체의 현재 위치를 모니터링한다. 즉, 시스템은 피치된 객체가 현재 위치된 위치를 결정한다. 일 실시예에서, 단계(630) 동안, 객체의 현재 위치는 객체가 이동을 중지할 때까지 또는 대안적으로 유저 입력이 객체의 제어를 시작할 때까지 스크린 상의 거리에 걸쳐 객체의 궤도/횡단 동안 회귀적으로 결정된다.
일 실시예에서, 객체의 위치는 피치에 응답하여 객체의 횡단 경로를 결정하는 것과 객체의 결정된 경로에 대하여 상이한 시간 간격으로 위치를 결정하는 것에 기초하여 결정된다. 일부 실시예에서, 피치의 시간 및/또는 피치 바로 이전에 객체의 속도는 객체의 현재 위치를 결정하는데 사용될 수 있다. 다른 실시예에서, 객체의 중량은 추가적으로 또는 대안적으로 위치를 결정하는데 사용될 수 있다. 또 다른 실시예에서, 애플리케이션 환경이 객체의 위치를 결정하는데 사용될 수 있다. 예를 들어, 일 실시예에서, 애플리케이션에서 다른 객체 및 또는 효과가 객체의 특성에 더하여 또는 그 대신에 고려될 수 있다. 일례로서, 일 실시예에서, 시스템은 객체가 도로 블록을 가지는 거리를 따라 이동하는지를 결정할 수 있다. 이 실시예에서, 이 도로 블록과 접촉한 결과 객체의 속도의 느려짐이 객체의 현재 위치를 결할 때 고려될 수 있다.
단계(630)에서 객체의 현재 위치를 결정한 후에, 공정은 단계(640)로 진행하고, 객체 위치와 제2 입력의 위치가 병합 영역 내에 있는지를 결정한다. 전술된 바와 같이, 일 실시예에서, 병합 영역은 제어가 제2 입력으로 스위칭될 수 있는 영역으로 정의된다. 일 실시예에서, 병합 영역은 애플리케이션에 대해 미리 한정된 영역일 수 있다. 다른 실시예에서, 병합 영역은 제1 입력과 제2 입력 사이의 거리, 목적지 위치와 제2 입력 사이의 거리, 제2 입력 주위의 반경, 목적지 위치 주위의 반경, 또는 이들의 일부 조합으로 계산된다. 일부 실시예에서, 제1 입력에 의한 객체의 움직임 속도 및 애플리케이션 내 객체 및/또는 다른 객체의 다른 특성이 병합 영역을 계산할 때 고려될 수 있다.
단계(640)에서, 객체와 제2 입력의 현재 위치가 병합 영역 내에 있지 않는 것으로 결정되면, 단계(650)에서 객체는 해제되고, 제2 입력이 검출될 때까지 제어되지 않는다. 일 실시예에서 단계(640)에서 결정은 객체가 움직임을 중지하고 및/또는 랜딩(land)할 때까지 회귀적으로 이루어진다. 즉, 일부 실시예에서, 단계(640)에서 객체 및 제2 입력의 현재 위치가 병합 위치 내에 있지 않은 것으로 결정되면, 단계(645)에서 시스템은 객체가 피치에 응답하여 여전히 움직이고 있는지 및/또는 횡단하고 있는지 여부를 결정한다. 단계(645)에서 객체가 여전히 움직이고 있는 것으로 결정되면, 공정은 단계(630)로 복귀하고 객체와 제2 입력의 위치가 병합 영역(단계 640) 내에 있거나 또는 객체가 스크린을 가로질러 움직이는 것을 중지한(645) 것으로 결정될 때까지 단계(630, 640, 645)를 회귀적으로 반복한다.
단계(645)에서 객체가 움직이는 것을 중지한 것으로 결정되면 객체는 해제된다. 일 실시예에서 객체가 해제되면, 다른 입력이 객체를 제어하기 위해 입력될 때까지 객체는 마지막 위치에 유지된다. 또 다른 실시예에서, 해제될 때 객체는 피치 시간에 원래의 위치, 즉 단계(620) 바로 이전의 위치로 복귀될 수 있다.
다음으로, 목적지 위치와 제2 입력의 위치가 병합 영역 내에 있는 것으로 결정되면, 단계(660)에서 시스템은 객체와 제2 입력의 위치를 연속적으로 모니터링하고 결정하여 이들 위치가 제어가 제2 입력으로 스위칭될 수 있는 위치에 있는지 여부를 결정할 수 있다. 단계(670)에서 시스템은 제2 입력이 객체의 위치에 있는지를 결정한다. 객체의 위치와 제2 입력의 위치가 동일한 것으로 결정되면, 시스템은 단계(280)로 이동하고 객체의 제어를 제2 입력으로 스위칭한다.
대안적으로, 단계(670)에서 객체가 제2 입력에 있지 않는 것으로 결정되면, 시스템은 단계(675)에서 객체가 피치에 응답하여 여전히 스크린을 가로질러 움직이고 있는지 여부를 결정한다. 일 실시예에서, 방법(600)에 따라 시스템은 객체와 제2 입력이 객체의 제어가 제2 입력으로 핸드오프될 수 있는 동일한 위치에 있을 때까지 또는 대안적으로 객체가 움직임을 중지할 때 즉 랜딩할 때 객체와 제2 입력의 움직임을 계속 회귀적으로 결정, 즉 모니터링한다. 임의의 지점에서 객체와 제2 입력의 위치를 모니터링하는 동안 제2 입력과 객체가 동일한 위치에 있는 것으로 결정되면(단계 670), 시스템은 단계(690)로 연속되고 객체의 제어를 제2 입력으로 스위칭한다.
대안적으로, 임의의 지점에서 움직임을 모니터링하는 동안, 단계(675)에서 객체가 움직임을 중지한 것으로 결정되면, 객체의 위치와 제2 입력이 객체의 제어가 스위칭될 수 있는 곳에 있지 않은 것으로 결정할 때, 단계(680)에서 객체가 해제된다. 일 실시예에서, 객체가 해제될 때 다른 입력이 객체를 제어하기 위해 입력될 때까지 객체는 최종 위치에 유지될 수 있다. 또 다른 실시예에서, 해제될 때 객체는 피치의 시간에 원래의 위치, 즉 단계(610) 바로 이전의 위치로 복귀될 수 있다.
일부 실시예에서, 객체와 제2 입력의 위치를 모니터링하는 동안 객체의 제어를 스위칭하기 위하여 객체의 위치는 제2 입력의 위치에 놓이도록 조절되어 제어를 스위칭할 수 있다. 즉, 일부 실시예에서 객체는 제2 입력의 위치에 있는 것으로 자동 이동될 수 있다. 전술된 바와 같이 일부 실시예에서 시스템은 제어가 제1 입력으로부터 제2 입력으로 스위칭되는 시간 동안 객체를 자동 제어할 수 있다. 이 실시예에서 객체의 위치는 제2 입력의 위치에 있는 것으로 자동 조정될 수 있다. 대안적으로, 일부 실시예에서 객체의 위치는 고정되어 있을 수 있고 유저는 제2 입력의 위치를 변화시키도록 프롬프트될 수 있다. 일 실시예에서, 객체의 위치는 제2 입력으로부터 미리 결정된 거리 내에 있을 때에만 조절된다. 일 실시예에서 시스템은 핸드오프 요청 전 객체의 움직임 속도 및/또는 움직임 방향, 제2 입력의 위치, 애플리케이션의 상황, 미리 한정된 유저 또는 시스템 설정 등과 같은 여러 상이한 변수에 기초하여 객체를 자동 이동할 수 있다.
객체의 위치가 제2 입력에 있는 것으로 조정된 후에 시스템은 단계(690)로 연속되고 객체의 제어를 제2 입력으로 스위칭한다.
전술된 바와 같이 디바이스(100)(도 1 및 도 5a)는 미도시된 외부 디바이스 또는 시스템을 위한 제어기 또는 핸드헬드 컴퓨팅 디바이스와 같은 임의의 유형의 디바이스를 포함할 수 있다. 많은 이러한 디바이스는 터치 감지 패널 기술을 사용하고 그리하여 본 발명의 실시예는 임의의 이러한 디바이스에서 구현될 수 있는 것으로 생각된다.
예를 들어, 일부 실시예에서, 디바이스(100)는 외부 게임 또는 엔터테인먼트 시스템을 제어하는데 사용되는 핸드헬드 게임 제어기를 포함할 수 있다. 전통적으로, 핸드헬드 게임 제어기는 컴퓨터 게임 내 객체를 제어하기 위해 유저에 제공된다. 일부 실시예에서, 디바이스(100)가 핸드헬드 게임 제어기를 포함하는 경우에, 디바이스(100)는 두 손을 사용하여 보유되고 본 발명의 하나 이상의 실시예에 따라 동작하는 하나 이상의 터치 감지 패널을 포함하는 것은 물론 버튼 및/또는 다른 제어 수단을 사용하여 유저에 의해 제어될 수 있도록 구성될 수 있다. 이 제어기는 플레이되는 게임 내 객체를 제어하는 수단으로 터치 감지 패널 기술을 사용한다. 예를 들어, 이 게임 제어기는 게임 내 객체를 제어하기 위해 터치패드 및/또는 터치스크린을 가지는 유저 인터페이스를 구비할 수 있다.
다른 예로서, 일부 실시예에서 디바이스(100)는 휴대용 게임 디바이스를 포함할 수 있다. 이 디바이스는 플레이되는 게임 내 객체를 제어하는 수단으로서 터치 감지 패널 기술을 또한 사용한다. 하나 이상의 터치 감지 패널은 본 발명의 하나 이상의 실시예에 따라 동작할 수 있다.
따라서 본 발명의 방법과 시스템은 본 명세서에 설명된 시스템과 방법의 하나 이상의 실시예를 사용할 수 있는 임의의 디바이스와 함께 사용될 수 있다. 터치 감지 패널 디바이스는 터치 기술을 사용하여 객체를 제어할 수 있다.
본 명세서에 기술된 방법과 기술은 예를 들어, 컴퓨터, 게임 콘솔, 엔터테인먼트 시스템 등을 포함하는 많은 상이한 유형의 시스템에서 사용되거나 구현되거나 및/또는 실행될 수 있다. 도 7을 참조하면, 임의의 이러한 구현에 사용될 수 있는 시스템(700)이 예시된다. 시스템(700)의 하나 이상의 성분은 예를 들어, 핸드헬드 디바이스와 같은 전술된 임의의 시스템 또는 디바이스를 구현하는데 사용될 수 있다. 그러나, 시스템(700) 또는 그 임의의 일부를 사용하는 것이 특히 요구되지 않는다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스는 시스템(700)의 하나 이상의 요소를 가지는 것으로 구현될 수 있다. 다른 실시예에서, 핸드헬드 제어기는 시스템(700)의 요소 중 일부를 사용하여 구현될 수 있는 반면, 시스템의 다른 요소는 핸드헬드 제어기와 연관되고 핸드헬드 제어기와 분리된 게임 콘솔에 존재할 수 있다.
예를 들어, 시스템(700)은 중앙 처리 유닛(CPU)(710), 랜덤 액세스 메모리(RAM)(720), 및 대용량 저장 유닛(730), 예를 들어, 디스크 드라이브를 포함할 수 있으나 이로 제한되지 않는다. 시스템(700)은 입력 디바이스(750)와 및 다른 입력 디바이스(760)와 같은 본 명세서에 기술된 다른 성분 중 어느 것에 연결되거나 이와 통합될 수 있다. 시스템(700)은 프로세서 기반 시스템의 일례를 포함한다. CPU(710)는 본 명세서에 설명된 방법 단계 및 기술을 실행하거나 이 실행을 지원하는데 사용될 수 있다. 일 실시예에서, 시스템(700)은 본 명세서에 설명된 방법 단계와 기술을 실행하거나 이 실행을 지원하기 위해 GPU를 더 포함할 수 있다.
일부 실시예에서, 입력 디바이스(740)는 터치 감지 패널/디스플레이를 포함할 수 있다. 나아가, 일 실시예에서, 시스템(700)은 버튼, 키보드, 마우스, 조이스틱 등과 같은 다른 입력 디바이스(750)를 포함한다. 다른 실시예에서, 다른 입력 디바이스(750)는 스테레오, 디스플레이, 광 방출기 등과 같은 출력 수단을 더 포함할 수 있다. 일 실시예에서, 입력 디바이스(740)와 및 다른 입력 디바이스(750) 중 하나 이상은 디스플레이 기능을 포함한다. 일 실시예에서, 여러 프로그램 컨텐츠, 이미지, 셰도우(shade), 조명(lighting) 등은 입력 디바이스(740)와 및 다른 입력 디바이스(750) 중 하나 이상에서 렌더링될 수 있다.
대용량 저장 유닛(730)은 임의의 유형의 컴퓨터 판독가능한 저장 매체 또는 기록 매체를 구비하거나 포함할 수 있다. 컴퓨터 판독가능한 저장 또는 기록 매체는 대용량 저장 유닛(730)에 고정될 수 있거나 대용량 저장 유닛(730)은 DVD(digital video disk), 블루레이 디스크(Blu-ray disc), 컴팩트 디스크(CD), USB 저장 디바이스, 플로피 디스크, 또는 다른 매체와 같은 외부 메모리(760)를 선택적으로 포함할 수 있다. 예를 들어, 대용량 저장 유닛(730)은 디스크 드라이브, 하드 디스크 드라이브, 플래시 메모리 디바이스, USB 저장 디바이스, 블루레이 디스크 드라이브, DVD 드라이브, CD 드라이브, 플로피 디스크 드라이브 등을 포함할 수 있다. 대용량 저장 유닛(730) 또는 외부 메모리(760)는 본 명세서에 설명된 방법 및 기술을 구현하는 프로그램 코드 또는 매크로를 저장하는데 사용될 수 있다.
따라서, 외부 메모리(760)는 본 명세서에 설명된 방법과 기술을 구현하는 프로그램 코드를 저장하는데 사용될 수 있는 대용량 저장 유닛(730)과 함께 선택적으로 사용될 수 있다. 그러나, RAM(720), 대용량 저장 유닛(730), 또는 외부 메모리(760)와 같은 저장 디바이스 중 어느 것이 단독으로 또는 조합으로 이 프로그램 코드를 저장하는데 사용될 수 있다. 예를 들어, 이 저장 디바이스 중 어느 것은 콘솔, 시스템, 컴퓨터, 또는 다른 프로세서 기반 시스템으로 하여금 본 명세서에 설명된 방법, 코드 및/또는 기술 중 어느 것의 단계를 실행하거나 수행하게 하는 컴퓨터 프로그램을 저장하거나 구현하는 유형적인 컴퓨터 판독가능한 저장 매체로 기능할 수 있다. 나아가, RAM(720), 대용량 저장 유닛(730) 또는 외부 메모리(760)와 같은 저장 디바이스 중 어느 것은 임의의 필요한 데이터베이스(들), 제스처, 리스트, 매크로, 등을 저장하는데 사용될 수 있다.
일부 실시예에서, 프로세서 기반 장치는 전술된 단계, 방법, 및/또는 기술 중 어느 것을 실행하거나 수행하는데 사용될 수 있다. 그러므로, 일부 실시예에서, 본 발명은 컴퓨터로 하여금 본 명세서에 설명된 실시예, 방법, 접근법 및/또는 기술 중 임의의 하나 이상에 수반된 하나 이상의 단계를 포함하는 단계를 수행하거나 실행하게 하는 매체에 구현된 컴퓨터 프로그램 및 컴퓨터에 입력하기 위해 컴퓨터 프로그램을 구현하는 매체를 포함하는 컴퓨터 프로그램 제품을 제공한다.
예를 들어, 일부 실시예에서, 본 발명은 프로세서 기반 시스템은 프로세서 기반 시스템으로 하여금, 스크린 위에 객체를 디스플레이 하는 단계, 제1 터치 입력에 응답하여 객체의 움직임을 제어하는 단계, 상기 제1 터치 입력으로부터 제2 터치 입력으로 객체의 제어를 스위칭하는 요청을 검출하는 단계, 제1 터치 입력의 위치와 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계, 및 제1 터치 입력의 위치와 제2 터치 입력의 위치가 병합 영역 내에 있는 것에 응답하여 제1 터치 입력으로부터 제2 터치 입력으로 객체의 제어를 스위칭하는 단계를 실행하게 하도록 적응된 하나 이상의 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체를 제공한다.
다른 실시예에서, 본 발명은 프로세서 기반 시스템으로 하여금, 스크린 위에 객체를 디스플레이하는 단계, 객체를 제어하는 제1 터치 입력으로부터 객체의 피치를 검출하는 단계로서, 상기 피치는 객체로 하여금 스크린 위에 일정 거리를 이동하게 하는 것인, 검출하는 단계, 상기 객체의 위치와 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계, 및 상기 객체와 제2 터치 입력의 위치가 병합 영역 내에 있는 것으로 결정될 때 제2 터치 입력으로 객체의 제어를 스위칭하는 단계를 실행하게 하도록 적응된 하나 이상의 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체를 제공한다.
본 명세서에 설명된 기능 유닛 중 많은 것은 그 구현의 독립성을 보다 구체적으로 강조하기 위하여 모듈로 식별되었다. 예를 들어, 모듈은 주문 VLSI 회로 또는 게이트 어레이, 논리 칩, 트랜지스터 또는 다른 이산 성분과 같은 기성품 반도체를 포함하는 하드웨어 회로로 구현될 수 있다. 모듈은 또한 전계 프로그래밍가능한 게이트 어레이, 프로그래밍가능한 어레이 로직, 프로그래밍가능한 로직 디바이스 등과 같은 프로그래밍가능한 하드웨어 디바이스에서 구현될 수 있다.
모듈은 여러 유형의 프로세서에 의해 실행하기 위해 소프트웨어로 구현될 수도 있다. 실행가능한 코드의 식별된 모듈은 예를 들어 객체, 절차, 또는 기능으로 구성될 수 있는 컴퓨터 명령의 하나 이상의 물리적 또는 논리적 블록을 예를 들어 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행가능성은 물리적으로 함께 위치될 필요가 없으나, 논리적으로 함께 결합될 때 모듈을 포함하고 모듈에 대해 언급된 목적을 달성하는 상이한 위치에 저장된 상이한 명령을 포함할 수 있다.
사실, 실행가능한 코드의 모듈은 단일 명령 또는 많은 명령일 수 있고, 상이한 프로그램 중에서 여러 메모리 디바이스에 걸쳐 여러 상이한 코드 세그먼트에 걸쳐 균일하게 분배될 수 있다. 유사하게, 동작 데이터는 모듈 내에 본 명세서에 식별되고 예시될 수 있고 임의의 적절한 형태로 구현될 수 있고 임의의 적절한 유형의 데이터 구조로 구성될 수 있다. 동작 데이터는 단일 데이터 세트로 수집될 수 있거나 또는 상이한 저장 디바이스를 포함하는 상이한 위치에 걸쳐 분배될 수 있고, 적어도 부분적으로 단지 시스템이나 네트워크에 전자 신호로 존재할 수 있다.
본 명세서에 걸쳐 "일 실시예" 또는 "실시예" 또는 이와 유사한 언어를 언급하는 것은 실시예와 관련하여 설명된 특정 특징, 구조 또는 특징이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 어구 "일 실시예에서", "실시예에서", 및 이와 유사한 언어를 언급하는 것은 반드시 그런 것은 아니지만 모두 동일한 실시예를 말하는 것일 수 있다.
나아가, 본 발명의 설명된 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 이하 상세한 설명에서, 프로그래밍, 소프트웨어 모듈, 유저 선택, 네트워크 트랜잭션, 데이터베이스 질문, 데이터베이스 구조, 하드웨어 모듈, 하드웨어 회로, 하드웨어 칩 등과 같은 수 많은 특정 상세는 본 발명의 실시예의 철저한 이해를 제공하도록 제공된다. 그러나, 이 기술 분야에서 통상의 지식을 가진 자라면 본 발명은 하나 이상의 특정 상세 없이 또는 다른 방법, 성분, 물질 등과 함께 실시될 수 있는 것으로 인식할 수 있을 것이다. 다른 예에서, 잘 알려진 구조, 물질, 또는 동작은 본 발명의 측면을 불명확하게 하지 않게 하기 위하여 상세히 도시되거나 기술되지 않는다.
본 명세서에 개시된 발명은 특정 실시예, 그 예시 및 응용에 의하여 기술되었으나, 수 많은 변형과 변경이 청구범위에 제시된 본 발명의 범위를 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자에 의해 이루어질 수 있을 것이다.

Claims (26)

  1. 스크린 위에 객체를 디스플레이하는 단계;
    제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계;
    상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계;
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계; 및
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있는 것에 응답하여 상기 제1 터치 입력으로부터 상기 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 병합 영역을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 병합 영역은 미리 한정된 영역인 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 병합 영역은 상기 요청이 검출될 때 상기 제1 터치 입력의 위치를 둘러싸는 영역을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 병합 영역은 상기 제1 터치 입력과 상기 제2 터치 입력을 둘러싸는 영역을 포함하며, 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치 사이의 거리는 미리 결정된 범위 내에 있는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 병합 영역은 상기 요청이 검출될 때에 상기 제2 터치 입력의 위치를 둘러싸는 영역을 포함하는 것을 특징으로 하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 상기 객체가 상기 제1 터치 입력에 의해 제어되고 있을 때 상기 제2 터치를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 상기 제1 터치 입력의 위치가 임계값 핸드오프 위치에 도달하였는지를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 상기 객체의 속도를 모니터링하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 요청을 검출하는 단계는 미리 결정된 시간 동안 상기 객체의 속도의 감소를 검출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 미리 결정된 시간 동안 상기 객체의 움직임의 중지를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있지 않은 것으로 결정되면 상기 객체를 해제하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 터치 입력과 상기 제2 터치 입력은 제1 터치 감지 패널에서 입력되는 것을 특징으로 하는 방법.
  14. 제13항에 있어서, 상기 제1 터치 감지 패널은 터치 감지 디스플레이를 포함하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서, 상기 터치 감지 디스플레이는 상기 스크린을 포함하는 것을 특징으로 하는 방법.
  16. 핸드헬드 사용을 위해 의도된 사이즈를 가진 하우징;
    상기 하우징의 제1 면에 부착된 제1 터치 감지 패널; 및
    상기 하우징에 포함된 프로세서 기반 시스템을 포함하되,
    상기 프로세서 기반 시스템은,
    스크린 위에 객체를 디스플레이하는 단계;
    상기 제1 터치 감지 패널에서 제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계;
    상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계;
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계; 및
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있는 것에 응답하여 상기 제1 터치 입력으로부터 상기 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 단계를 수행하도록 구성된 것을 특징으로 하는 장치.
  17. 제16항에 있어서, 상기 프로세서 기반 시스템은 상기 병합 영역을 결정하도록 더 구성된 것을 특징으로 하는 장치.
  18. 제16항에 있어서, 상기 병합 영역은 상기 요청을 검출할 때 결정되는 것을 특징으로 하는 장치.
  19. 제16항에 있어서, 상기 병합 영역은 미리 한정된 영역인 것을 특징으로 하는 장치.
  20. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 상기 객체가 상기 제1 터치 입력에 의해 제어되고 있을 때 상기 제2 터치 입력을 검출하는 단계를 포함하는 것을 특징으로 하는 장치.
  21. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 요청을 검출하는 단계는 상기 제1 터치 입력의 위치가 임계값 핸드오프 위치에 도달하였는지를 검출하는 단계를 포함하는 것을 특징으로 하는 장치.
  22. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 프로세서 기반 시스템은 상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있지 않은 것으로 결정되면 상기 객체를 해제하도록 더 구성된 것을 특징으로 하는 장치.
  23. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 터치 감지 패널은 터치 감지 디스플레이를 포함하는 것을 특징으로 하는 장치.
  24. 제23항에 있어서, 상기 터치 감지 디스플레이는 상기 디스플레이를 포함하는 것을 특징으로 하는 장치.
  25. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 스크린은 상기 장치의 외부에 있는 것을 특징으로 하는 장치.
  26. 하나 이상의 컴퓨터 판독가능한 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체로서,
    상기 컴퓨터 판독가능한 프로그램은 프로세서 기반 시스템으로 하여금
    스크린 위에 객체를 디스플레이하는 단계;
    제1 터치 입력에 응답하여 상기 객체의 움직임을 제어하는 단계;
    상기 제1 터치 입력으로부터 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 요청을 검출하는 단계;
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 병합 영역 내에 있는지 여부를 결정하는 단계; 및
    상기 제1 터치 입력의 위치와 상기 제2 터치 입력의 위치가 상기 병합 영역 내에 있는 것에 응답하여 상기 제1 터치 입력으로부터 상기 제2 터치 입력으로 상기 객체의 제어를 스위칭하는 단계를 실행하도록 구성된 것을 특징으로 하는 컴퓨터 판독가능한 저장 매체.
KR1020137018149A 2011-01-13 2012-01-06 하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어 KR101540366B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/006,337 US8907903B2 (en) 2011-01-13 2011-01-13 Handing control of an object from one touch input to another touch input
US13/006,337 2011-01-13
PCT/US2012/020495 WO2012096845A1 (en) 2011-01-13 2012-01-06 Handing control of an object from one touch input to another touch input

Publications (2)

Publication Number Publication Date
KR20140043703A KR20140043703A (ko) 2014-04-10
KR101540366B1 true KR101540366B1 (ko) 2015-07-29

Family

ID=46490395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137018149A KR101540366B1 (ko) 2011-01-13 2012-01-06 하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어

Country Status (4)

Country Link
US (1) US8907903B2 (ko)
KR (1) KR101540366B1 (ko)
CN (2) CN103314346B (ko)
WO (1) WO2012096845A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150051278A (ko) * 2013-11-01 2015-05-12 삼성전자주식회사 오브젝트 이동 방법 및 이를 구현하는 전자 장치
KR20150104302A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
CN104076986B (zh) * 2014-07-25 2015-12-09 上海逗屋网络科技有限公司 一种用于多点触摸终端的触摸控制方法与设备
JP6500406B2 (ja) * 2014-12-01 2019-04-17 セイコーエプソン株式会社 入出力制御装置、入出力制御プログラム
CN108710460B (zh) * 2018-05-15 2019-06-25 广州视源电子科技股份有限公司 元素控制方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US7825909B2 (en) * 2005-10-04 2010-11-02 Nintendo Co., Ltd. Storage medium storing object movement control program and information processing apparatus

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130778B1 (en) 1985-12-06 2006-10-31 Media Digital, Inc. Computer touch screen radio station control system
CA2002912A1 (en) 1988-11-14 1990-05-14 William A. Clough Portable computer with touch screen and computer system employing same
US5119079A (en) 1990-09-17 1992-06-02 Xerox Corporation Touch screen user interface with expanding touch locations for a reprographic machine
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5231698A (en) 1991-03-20 1993-07-27 Forcier Mitchell D Script/binary-encoded-character processing method and system
JP2827612B2 (ja) 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US7345675B1 (en) 1991-10-07 2008-03-18 Fujitsu Limited Apparatus for manipulating an object displayed on a display device by using a touch screen
US5848187A (en) 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5342047A (en) 1992-04-08 1994-08-30 Bally Gaming International, Inc. Touch screen video gaming machine
US5889236A (en) 1992-06-08 1999-03-30 Synaptics Incorporated Pressure sensitive scrollbar feature
US5821930A (en) 1992-08-23 1998-10-13 U S West, Inc. Method and system for generating a working window in a computer system
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5612719A (en) 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US5428805A (en) 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5555104A (en) 1993-03-10 1996-09-10 Canon Kabushiki Kaisha Operation unit of electronic equipment utilizing visually displayed functions on a touch screen
JPH07200150A (ja) 1993-12-28 1995-08-04 Casio Comput Co Ltd ペン入力装置
US6084569A (en) 1994-03-18 2000-07-04 Avid Technology, Inc. Editing interface
US5526422A (en) 1994-06-20 1996-06-11 At&T Corp. System and method for cleaning the display screen of a touch screen device
US5618232A (en) 1995-03-23 1997-04-08 Martin; John R. Dual mode gaming device methods and systems
US5575717A (en) 1995-08-18 1996-11-19 Merit Industries, Inc. System for creating menu choices of video games on a display
US5694150A (en) 1995-09-21 1997-12-02 Elo Touchsystems, Inc. Multiuser/multi pointing device graphical user interface system
US5996080A (en) 1995-10-04 1999-11-30 Norand Corporation Safe, virtual trigger for a portable data capture terminal
US6049329A (en) 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
US5818451A (en) 1996-08-12 1998-10-06 International Busienss Machines Corporation Computer programmed soft keyboard system, method and apparatus having user input displacement
EP0922275A4 (en) 1996-08-28 2002-08-21 Via Inc SYSTEMS AND METHODS RELATING TO A TOUCH SCREEN
IL119955A0 (en) 1997-01-01 1997-04-15 Advanced Recognition Tech An instruction and/or identification input unit
US6608637B1 (en) 1997-04-23 2003-08-19 Nortel Networks Limited Multitasking graphical user interface
US6073036A (en) 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US5977957A (en) 1997-05-22 1999-11-02 Ericsson Inc. Adaptive sampling of touch screen input
US5910802A (en) 1997-06-11 1999-06-08 Microsoft Corporation Operating system for handheld computing device having taskbar auto hide
US5910800A (en) 1997-06-11 1999-06-08 Microsoft Corporation Usage tips for on-screen touch-sensitive controls
US5950045A (en) 1997-06-20 1999-09-07 Sharp Kabushiki Kaisha Input device
US6157372A (en) 1997-08-27 2000-12-05 Trw Inc. Method and apparatus for controlling a plurality of controllable devices
US6624832B1 (en) 1997-10-29 2003-09-23 Ericsson Inc. Methods, apparatus and computer program products for providing user input to an application using a contact-sensitive surface
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
KR100595925B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6154214A (en) 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US6130665A (en) 1998-04-01 2000-10-10 Telefonaktiebolaget Lm Ericsson Touch screen handling
US6313853B1 (en) 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6211856B1 (en) 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6278443B1 (en) 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US6359572B1 (en) 1998-09-03 2002-03-19 Microsoft Corporation Dynamic keyboard
US6633746B1 (en) 1998-11-16 2003-10-14 Sbc Properties, L.P. Pager with a touch-sensitive display screen and method for transmitting a message therefrom
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6411283B1 (en) 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
JP4316733B2 (ja) 1999-06-30 2009-08-19 富士通コンポーネント株式会社 座標入力装置及び記憶媒体
US6639584B1 (en) 1999-07-06 2003-10-28 Chuang Li Methods and apparatus for controlling a portable electronic device using a touchpad
US6335725B1 (en) 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
GB2353184A (en) 1999-08-13 2001-02-14 Nokia Mobile Phones Ltd Disabling a touch sensitive display screen when a call is established
JP3998376B2 (ja) 1999-09-10 2007-10-24 富士通株式会社 入力処理方法及びそれを実施する入力処理装置
US6597345B2 (en) 2000-03-03 2003-07-22 Jetway Technologies Ltd. Multifunctional keypad on touch screen
US7009626B2 (en) 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
US6956562B1 (en) 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
US6784873B1 (en) 2000-08-04 2004-08-31 Peter V. Boesen Method and medium for computer readable keyboard display incapable of user termination
JP4197220B2 (ja) 2000-08-17 2008-12-17 アルパイン株式会社 操作装置
US7224991B1 (en) 2000-09-12 2007-05-29 At&T Corp. Method and system for handwritten electronic messaging
US7003308B1 (en) 2000-09-12 2006-02-21 At&T Corp. Method and system for handwritten electronic messaging
US6501464B1 (en) 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US6791536B2 (en) 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
US6897853B2 (en) 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
US6590568B1 (en) 2000-11-20 2003-07-08 Nokia Corporation Touch screen drag and drop input technique
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
JP2002259060A (ja) 2001-02-15 2002-09-13 Internatl Business Mach Corp <Ibm> 複数の入力デバイスを備えたコンピュータシステム、入力システム、デバイス管理プログラム、デバイス設定プログラム、ダブルクリック伝達方法、および記憶媒体
US7446783B2 (en) 2001-04-12 2008-11-04 Hewlett-Packard Development Company, L.P. System and method for manipulating an image on a screen
US6661409B2 (en) 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US6690365B2 (en) 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
GB0201074D0 (en) 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
US7250939B2 (en) 2002-03-19 2007-07-31 Aol Llc Display motion multiplier
US6882337B2 (en) 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
DK1376839T3 (da) 2002-06-17 2004-03-15 Magnetek Spa Elektrisk spændingsforsyning med ensretter
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2004104594A (ja) 2002-09-11 2004-04-02 Toshiba Corp デジタルスチルカメラ及びユーザ指示入力方法
FI20021682A (fi) 2002-09-20 2004-03-21 Nokia Corp Menetelmä laitteen lukitustilan avaamiseksi ja elektroninen laite
US7158123B2 (en) 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
JP3811128B2 (ja) 2003-01-31 2006-08-16 株式会社東芝 情報処理装置およびポインタの操作方法
US7103852B2 (en) 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
TWM240050U (en) 2003-04-02 2004-08-01 Elan Microelectronics Corp Capacitor touch panel with integrated keyboard and handwriting function
WO2005001611A2 (en) 2003-05-30 2005-01-06 Privaris, Inc. A system and methods for assignation and use of media content subscription service privileges
US20040263484A1 (en) * 2003-06-25 2004-12-30 Tapio Mantysalo Multifunctional UI input device for moblie terminals
JP4338513B2 (ja) 2003-12-26 2009-10-07 アルパイン株式会社 入力制御装置及び入力受付方法
CN101390034B (zh) 2004-01-29 2012-03-14 辛纳普蒂克斯有限公司 采用二维定位设备产生一维信号的方法及装置
US7319457B2 (en) 2004-02-12 2008-01-15 Sentelic Corporation Method of scrolling window screen by means of controlling electronic device
US7348998B2 (en) 2004-04-28 2008-03-25 Eastman Kodak Company Method for orienting a digital image on a display of an image display device
US7224292B2 (en) 2004-04-29 2007-05-29 Research In Motion Limited Reduced keyboard letter selection system and method
WO2006009813A1 (en) * 2004-06-18 2006-01-26 Microth, Inc. Stroke-based data entry device, system, and method
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
TWI244592B (en) 2004-08-27 2005-12-01 Mitac Technology Corp Portable electronic device
US7489305B2 (en) 2004-12-01 2009-02-10 Thermoteknix Systems Limited Touch screen control
US7432916B2 (en) 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
US7825902B2 (en) * 2005-03-31 2010-11-02 Avego Technologies General Ip (Singapore) Pte. Ltd. Controller, system and method for identifying a number of interactions with a computer input area
US7259373B2 (en) 2005-07-08 2007-08-21 Nexgensemi Holdings Corporation Apparatus and method for controlled particle beam manufacturing
KR100640808B1 (ko) 2005-08-12 2006-11-02 엘지전자 주식회사 촬상 이미지의 듀얼 디스플레이 기능을 갖는 이동통신단말기 및 그 방법
US7443316B2 (en) 2005-09-01 2008-10-28 Motorola, Inc. Entering a character into an electronic device
JP2007158919A (ja) 2005-12-07 2007-06-21 Fujifilm Corp 画像表示装置及び画像表示方法
US7480870B2 (en) 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7786975B2 (en) 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
KR100798301B1 (ko) 2006-09-12 2008-01-28 엘지전자 주식회사 스크롤 방법 및 이를 이용하는 이동통신 단말기
JP4033226B1 (ja) * 2006-09-27 2008-01-16 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
KR100774927B1 (ko) 2006-09-27 2007-11-09 엘지전자 주식회사 이동통신 단말기, 메뉴 및 아이템 선택방법
US7602378B2 (en) 2006-10-26 2009-10-13 Apple Inc. Method, system, and graphical user interface for selecting a soft keyboard
US7642933B2 (en) 2006-11-30 2010-01-05 Motorola, Inc. Methods and devices for keypress validation in a slider form factor device
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
JP4326568B2 (ja) * 2007-02-20 2009-09-09 任天堂株式会社 情報処理装置および情報処理プログラム
US7941758B2 (en) 2007-09-04 2011-05-10 Apple Inc. Animation of graphical objects
EP2235612B1 (en) * 2008-01-15 2012-08-01 Pixcir Microelectronics Co., Ltd. Device for quantifying an electric unbalance and touch detection system incorporating it
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
JP4904375B2 (ja) * 2009-03-31 2012-03-28 京セラ株式会社 ユーザインタフェース装置及び携帯端末装置
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
US8743053B2 (en) * 2009-08-31 2014-06-03 Adobe Systems Incorporation Restricting cursor movement to track an existing path
US20110074694A1 (en) * 2009-09-25 2011-03-31 Peter William Rapp Device and Method for Jitter Reduction on Touch-Sensitive Surfaces and Displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US7825909B2 (en) * 2005-10-04 2010-11-02 Nintendo Co., Ltd. Storage medium storing object movement control program and information processing apparatus

Also Published As

Publication number Publication date
CN103314346B (zh) 2016-11-09
CN103500038B (zh) 2017-04-12
KR20140043703A (ko) 2014-04-10
US8907903B2 (en) 2014-12-09
WO2012096845A1 (en) 2012-07-19
CN103314346A (zh) 2013-09-18
CN103500038A (zh) 2014-01-08
US20120182224A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
US9110584B2 (en) Controlling a cursor on a touch screen
KR101540366B1 (ko) 하나의 터치 입력으로부터 다른 터치 입력으로 객체의 처리 제어
TWI569171B (zh) 手勢辨識
KR101956410B1 (ko) 터치 가능한 모바일 기기 상의 게임 컨트롤러
US9886131B2 (en) Determining what input to accept by a touch sensor after intentional and accidental lift-off and slide-off when gesturing or performing a function
JP6641570B2 (ja) マルチタッチ仮想マウス
US7167162B2 (en) Apparatus and method for controlling a screen pointer
KR102011565B1 (ko) 비접촉 제스처 인식 시스템 및 그 방법
TW201207692A (en) Touch sensing on three dimensional objects
KR20070113025A (ko) 터치스크린 장치 및 이의 작동방법
JP2008511876A (ja) タッチパッド上のスクロールおよびエッジモーションの改良された方法
EP1969450A1 (en) Mobile device and operation method control available for using touch and drag
WO2018193711A1 (ja) タッチセンサ式電子デバイス、及びセンサ制御方法
CN108553892B (zh) 虚拟对象控制方法、装置、存储介质及电子设备
AU2015410106B2 (en) Trackpads and methods for controlling a trackpad
US10732759B2 (en) Pre-touch sensing for mobile interaction
WO2012119548A1 (zh) 控制方法、控制装置、显示装置以及电子设备
US20150091803A1 (en) Multi-touch input method for touch input device
CN102681702B (zh) 控制方法、控制装置以及电子设备
TWI628572B (zh) 具有局部觸控功能的觸控裝置與方法
CN102681653B (zh) 信息提示方法、信息提示装置以及电子设备
KR101468970B1 (ko) 터치 스크린 디스플레이 입력을 통한 객체 스크롤 방법 및 장치
KR102219385B1 (ko) 사용자 인터페이스 장치 및 이의 동작 방법
JP6578468B2 (ja) 情報処理装置、移動制御方法及びプログラム
TWI522776B (zh) 電子裝置及其解除鎖定的方法與電腦程式產品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180712

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190711

Year of fee payment: 5