KR20150143495A - 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법 - Google Patents

멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법 Download PDF

Info

Publication number
KR20150143495A
KR20150143495A KR1020157029427A KR20157029427A KR20150143495A KR 20150143495 A KR20150143495 A KR 20150143495A KR 1020157029427 A KR1020157029427 A KR 1020157029427A KR 20157029427 A KR20157029427 A KR 20157029427A KR 20150143495 A KR20150143495 A KR 20150143495A
Authority
KR
South Korea
Prior art keywords
user
panning
input
point
display device
Prior art date
Application number
KR1020157029427A
Other languages
English (en)
Other versions
KR102086193B1 (ko
Inventor
나단 폴럭
로렌 거스트
어로스 바트리스빅
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150143495A publication Critical patent/KR20150143495A/ko
Application granted granted Critical
Publication of KR102086193B1 publication Critical patent/KR102086193B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에서, 그래픽 디스플레이 장치는 여러 손가락을 사용하는 패닝 입력으로부터 스케일링 움직임을 제거하기 위해 하나 이상의 임계값의 집합을 사용할 수 있다. 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신할 수 있다. 그래픽 디스플레이 장치는 사용자 입력으로부터 패닝 움직임을 검출할 수 있다. 그래픽 디스플레이 장치는 스케일링 임계값에 기초하여 사용자 입력으로부터 스케일링 움직임을 필터링할 수 있다. 그래픽 디스플레이 장치는 그래픽 사용자 인터페이스의 패닝을 사용자에게 제시할 수 있다.

Description

멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법{DETECTION OF PAN AND SCALING DURING MULTI-FINGER TOUCH INTERACTIONS}
컴퓨팅 장치의 입력 메카니즘은 제공되는 상호작용의 복잡성 및 사용의 용이성을 증가시켰다. 터치 스크린은 사용자가 그래픽 사용자 인터페이스에서 단지 하나의 손가락만을 이용하여 쉽게 패닝(pan) 및 스케일링할 수 있게 해준다. 예를 들어, 사용자는 터치 스크린 상에 손가락을 위치시키고 그 손가락을 스크린을 가로질러 드래그하여, 패닝을 나타낸다. 또한, 사용자는 이미지에서의 스케일링이 요구됨을 나타내기 위해 스크린을 두 번 탭 할 수 있다.
본 요약은 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들의 집합을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약은 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구대상의 범위를 결정하는데 사용되려는 것도 아니다.
이하에서 설명되는 실시예들은 여러 손가락을 사용하는 패닝 입력으로부터 스케일링 움직임을 제거하기 위해 하나 이상의 임계값의 집합을 사용하는 것에 관한 것이다. 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(first bio-point) 및 제2 바이오 포인트을 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신할 수 있다. 그래픽 디스플레이 장치는 사용자 입력으로부터 패닝 움직임을 검출할 수 있다. 그래픽 디스플레이 장치는 스케일링 임계값에 기초하여 사용자 입력으로부터 스케일링 움직임을 필터링(filter out)할 수 있다. 그래픽 디스플레이 장치는 그래픽 사용자 인터페이스의 패닝을 사용자에게 제시할 수 있다.
전술한 및 다른 장점 및 특징이 얻어질 수 있는 방식을 설명하기 위해, 보다 구체적인 설명이 제공되고 첨부한 도면에 예시되어 있는 특정 실시예를 참조하여 기술될 것이다. 이들 도면은 단지 전형적인 실시예를 나타내며 따라서 본 발명의 범주를 제한하는 것으로 간주되어서는 안된다는 것을 이해해야 하고, 실시예들은 첨부한 도면을 사용하여 보다 자세하고 구체적으로 설명될 것이다.
도 1은 컴퓨팅 장치의 일 실시예를 블록도로 나타낸다.
도 2a 및 도 2b는 사용자 인터페이스와의 멀티 핑거 상호작용의 일 실시예를 블록도로 나타낸다.
도 3은 멀티 핑거 사용자 입력 상호작용을 나타내는 상태 머신의 일 실시예를 블록도로 나타낸다.
도 4는 그래픽 사용자 인터페이스를 위한 사용자 입력을 수신하는 방법의 일 실시예를 흐름도로 나타낸다.
도 5는 패닝 움직임을 검출하는 방법의 일 실시예를 흐름도로 나타낸다.
도 6은 방사상 차이(radial differential)를 결정하는 방법의 일 실시예를 흐름도로 나타낸다.
도 7은 속도 비(velocity ratio)를 계산하는 방법의 일 실시예를 흐름도로 나타낸다.
실시예들이 이하에서 자세히 설명된다. 특정 실시예가 설명되어 있지만, 이것은 단지 예시를 위한 것임을 이해해야 한다. 당업자라면, 본 발명의 청구대상의 사상 및 범주를 벗어나지 않으면서 다른 구성요소 및 구성이 사용될 수 있음을 알 것이다. 실시예들은 머신 구현 방법, 적어도 하나의 프로세서를 위한 방법을 지시하는 명령어들의 집합이 저장되어 있는 유형의 머신 판독가능 매체, 또는 그래픽 디스플레이 장치일 수 있다.
사용자는 때때로 터치 스크린 상의 그래픽 사용자 인터페이스를 패닝한다. 패닝은 가시 프레임(visual frmae)을 초과하는 콘텐츠를 보기 위해 그래픽 사용자 인터페이스의 가시 프레임의 선형 움직임이다. 가시 프레임은 터치 스크린 상에서 사용자에게 보여질 수 있는 그래픽 사용자 인터페이스의 부분이다. 사용자는 패닝 움직임 입력을 나타내기 위해 터치 스크린을 가로질러 하나 이상의 손가락을 미끄러뜨릴 수 있다.
사용자는 때때로 터치 스크린상의 그래픽 사용자 인터페이스를 스케일링 인 또는 아웃을 수행할 수 있다. 스케일링은 가시 프레임을 초과하는 콘텐츠를 보기 위해 또는 콘텐츠를 보다 자세히 보기 위해 그래픽 사용자 인터페이스의 가시 프레임의 확장 또는 축소이다. 사용자는 스케일링 움직임 입력을 나타내기 위해 터치 스크린 상에서 손가락을 멀리 이동시킬 수 있고 또는 손가락을 함께 모을 수 있다.
사용자가 터치 스크린 상에서의 패닝 움직임을 나타내기 위해 다수의 손가락을 사용하는 경우, 사용자는 우발적으로 스케일링 움직임을 나타낼 수 있다. 그래픽 디스플레이 장치는 스케일링 움직임이 차분 임계값 또는 비율 임계값과 같은 스케일링 임계값을 초과하지 않는다면 사용자 입력으로부터 스케일링 움직임을 필터링할 수 있다.
그래픽 디스플레이 장치는 하나 이상의 손가락 사이의 변경 거리를 나타내는 방사상 차이(radial differential)를 계산할 수 있다. 임의의 조작을 위해, 그래픽 디스플레이 장치는 스크린 상에서의 접촉을 나타내는 입력 형상을 계산할 수 있다. 방사상 차이는 제1 조작자 이벤트 이후에 발생하는 입력 형상의 입력 반경의 변화이다. 다수의 손가락을 사용하여 패닝을 수행하는 경우, 사용자는 접촉 간의 거리를 언제나 사소하게 변경시켜, 입력 형상의 확장 또는 축소를 야기할 수 있다. 이들 변경은 방사상 차이 값의 작은 변화를 야기할 수 있지만, 방사상 차이가 차이 임계값 아래라면, 그래픽 디스플레이 장치는 스케일링을 일정하게 유지할 수 있다. 접촉의 수가 달라지는 경우, 그래픽 디스플레이 장치는 초기 입력 형상을 새로운 입력 형상으로 재설정할 수 있다.
이와 달리, 그래픽 디스플레이 장치는 패닝 속도에 대비되는 방사상 속도를 계산할 수 있다. 방사상 속도는 입력 반경이 변경되는 속도이다. x-속도 및 y-속도는 입력 형상의 중심점이 수평 및 수직 방향으로 이동하는 속도이다. 그래픽 디스플레이 장치는 이들 값을 결합하여 2차원 공간에서의 선형적인 중심점 속도를 계산할 수 있다. 그래픽 디스플레이 장치는 패닝 속도에 대한 방사상 속도의 비율에 지수 평활법을 적용할 수 있다. 이러한 평활화된 팽창 비가 비율 임계값보다 작은 경우, 그래픽 디스플레이 장치는 스케일링을 일정하게 유지할 수 있다.
예를 들어,
Figure pct00001
선 속도가 0인 경우,
Figure pct00002
는 비율 임계값보다 큰 것으로 간주될 수 있고 스케일링이 활성화될 수 있다. 이 경우, 그래픽 디스플레이 장치는 N(t)을 매우 큰 수(>가장 큰 자연수 (N(t))로 설정하여, 감소값(decay)이 계속 계산될 수 있다.
그래픽 디스플레이 장치는 차이 임계값 비교와 비율 임계값 비교를 OR 논리를 이용하여 수행할 수 있다. 어느 하나의 임계값이 만족되지 않는 경우, 그래픽 디스플레이 장치는 스케일링 움직임을 필터링할 수 있다.
따라서, 일 실시예에서, 그래픽 디스플레이 장치는 다수의 손가락을 사용하는 패닝 입력으로부터 스케일링 움직임을 제거하기 위해 하나 이상의 임계값의 집합을 이용할 수 있다. 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트 및 제2 바이오 포인트를 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신할 수 있다. 그래픽 디스플레이 장치는 사용자 입력으로부터 패닝 움직임을 검출할 수 있다. 그래픽 디스플레이 장치는 스케일링 임계값에 기초하여 사용자 입력으로부터 스케일링 움직임을 필터링할 수 있다. 그래픽 디스플레이 장치는 그래픽 사용자 인터페이스의 패닝을 사용자에게 제시할 수 있다.
도 1은 그래픽 디스플레이 장치로서 동작할 수 있는 예시적인 컴퓨팅 장치(100)의 블록도를 나타낸다. 컴퓨팅 장치(100)는 하드웨어, 소프트웨어, 펌웨어 및 시스템 온 칩 기술 중 하나 이상을 결합하여 그래픽 디스플레이 장치를 구현할 수 있다. 컴퓨팅 장치(100)는 버스(110), 프로세서(120), 메모리(130), 데이터 저장소(140), 입력 장치(150), 출력 장치(160) 및 통신 인터페이스(170)를 포함할 수 있다. 버스(110), 또는 다른 컴포넌트 상호연결부는 컴퓨팅 장치(100)의 컴포넌트들 간의 통신을 허용한다.
프로세서(120)는 명령어들의 집합을 해석하여 실행하는 적어도 하나의 종래의 프로세서 또는 마이크로프로세서를 포함할 수 있다. 메모리(130)는 프로세서(120)에 의해 실행되는 명령어 및 정보를 저장하는 랜덤 액세스 메모리(RAM) 또는 다른 타입의 동적 데이터 저장소일 수 있다. 메모리(130)는 프로세서(120)에 의한 명령어의 실행 동안 사용되는 임시 변수 또는 다른 중간 정보도 저장할 수 있다. 데이터 저장소(140)는 프로세서(120)를 위한 정적 정보 및 명령어를 저장하는 종래의 ROM 장치 또는 다른 유형의 정적 데이터 저장소를 포함할 수 있다. 데이터 저장소(140)는 예를 들어 디지털 비디오 디스크와 같은 자기 또는 광학 기록 매체와 같은 임의의 타입의 유형의 머신 판독가능 매체, 및 그의 대응하는 드라이브를 포함할 수 있다. 유형의 머신 판독가능 매체는 신호와는 대조적으로, 머신 판독가능 코드 또는 명령어를 저장하는 물리적 매체이다. 본 명세서에서 설명되는 컴퓨터 판독가능 매체 상에 저장되는 명령어는 전파 또는 전송되는 명령어와는 구분될 수 있는데, 그 이유는 전파라는 것은, 컴퓨터 판독가능 매체가 명령어를 저장하는 경우와 같이 명령어를 저장하는 것과는 대조적으로, 명령어를 전달하기 때문이다. 따라서, 특별히 언급하지 않는다면, 이와 같이 또는 유사한 형식으로 명령어들이 저장된 컴퓨터 판독가능 매체/매체들은 데이터 저장 또는 유지될 수 있는 유형의 매체를 지칭한다. 데이터 저장소(140)는 하나 이상의 프로세서에 의해 실행되는 경우 이 하나 이상의 프로세서로 하여금 방법을 수행하게 하는 방법을 지시하는 명령어들의 집합을 저장할 수 있다. 데이터 저장소(140)는 데이터베이스 또는 데이터베이스 인터페이스일 수 있다.
입력 장치(150)는 사용자가 컴퓨팅 장치(100)에 정보를 입력할 수 있도록 해주는 하나 이상의 종래의 메카니즘, 예를 들어 키보드, 마우스, 음성 인식 장치, 마이크, 헤드셋, 터치 스크린(152), 트랙 패드(154), 제스처 인식 장치(156) 등을 포함할 수 있다. 출력 장치(160)는 디스플레이(162), 프린터, 하나 이상의 스피커, 헤드셋, 또는 메모리, 혹은 자기 또는 광학 디스크와 같은 매체 및 이에 대응하는 디스크 드라이브를 비롯하여, 사용자에게 정보를 출력하는 하나 이상의 종래의 메카니즘을 포함할 수 있다. 터치 스크린(152)은 디스플레이(162)로도 동작할 수 있고, 트랙 패드(154)는 단지 입력을 수신할 수 있다. 통신 인터페이스(170)는 컴퓨팅 장치가 다른 장치 또는 네트워크와 통신할 수 있게 해주는 임의의 송수신기형 메카니즘을 포함할 수 있다. 통신 인터페이스(170)는 네트워크 인터페이스 또는 송수신기 인터페이스를 포함할 수 있다. 통신 인터페이스(170)는 무선, 유선 또는 광학 인터페이스일 수 있다.
컴퓨팅 장치(100)는 프로세서(120)가 예를 들어 메모리(130), 자기 디스크, 또는 광학 디스크와 같은 컴퓨터 판독가능 매체에 포함된 일련의 명령어들을 실행하는 것에 응답하여 전술한 기능을 수행할 수 있다. 이러한 명령어는 데이터 저장소(140)와 같은 또 다른 컴퓨터 판독가능 매체로부터, 또는 통신 인터페이스(170)를 통해 별도의 장치로부터 메모리(130) 내로 판독될 수 있다.
도 2a는 사용자 인터페이스와의 이전의 멀티-핑거 상호작용(200)의 일 실시예를 블록도로 나타낸다. 사용자는 하나 이상의 손가락을 터치 스크린(152) 또는 트랙 패드(154)에 위치시킬 수 있다. 이들 손가락 각각은 바이오 포인트(210)로 동작할 수 있다. 바이오 포인트(210)는 사용자 이동 인터페이스가 사용자 입력을 수신하기 위해 검출할 수 있는, 사용자에게 물리적으로 연결된 참조 포인트이다. 제스처 캡처 장치(156)는 또한 예를 들어 사용자의 손, 팔, 다리, 얼굴 또는 보철과 같은 하나 이상의 바이오 포인트(210)를 이용하여 사용자 입력을 결정할 수 있다.
터치 스크린(152), 트랙 패드(154) 또는 제스처 캡처 장치(156)와 같은 사용자 이동 인터페이스는 다수의 바이오 포인트(210)를 이용하여, 원형 또는 다각형과 같은 사용자 입력을 나타내는 입력 형상(220)을 생성할 수 있다. 예를 들어, 사용자는 두 손가락을 사용자 이동 인터페이스에 위치시켜, 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 생성할 수 있다. 사용자 이동 인터페이스는 원형의 입력 형상(220)을 생성하여, 제1 바이오 포인트(210) 및 제2 바이오 포인트는 원형의 중심점(230)를 지나 원형을 이등분하는 지름을 생성한다.
또 다른 예에서, 사용자는 사용자 이동 인터페이스 상에 세 개의 손가락을 위치시킬 수 있다. 이들 세 손가락은 제1 바이오 포인트(210), 제2 바이오 포인트(210) 및 제3 바이오 포인트(210)를 생성할 수 있다. 사용자 이동 인터페이스는 원형 또는 타원형인 다른 형상의 입력 형상(220)을 생성할 수 있는데, 세 개의 바이오 포인트(210) 각각은 원형의 둘레에 위치한다. 이와 달리, 사용자 이동 인터페이스는 삼각형의 입력 형상(220)을 생성할 수 있는데, 세 개의 바이오 포인트(210)는 삼각형의 모서리에 위치한다. 사용자 이동 인터페이스는 추가의 바이오 포인트(210)를 사용하여 네 개의 바이오 포인트(210)를 갖는 사각형 또는 다섯 개의 바이오 포인트(210)를 갖는 오각형과 같은 다른 입력 형상(220)을 생성할 수 있다.
사용자 이동 인터페이스는 입력 형상(220)의 중심점(230)을 결정할 수 있다. 이 중심점(230)은 바이오 포인트(210) 각각으로부터 비교적 등거리에 위치할 수 있다. 사용자 이동 인터페이스는 중심점(230)을 추적하여 중심점(230) 이동에 기초하여 패닝 움직임을 검출할 수 있다. 중심점(230) 이동의 속도도 추적되어 중심점 속도를 계산할 수 있다. 사용자 이동 인터페이스는 중심점(230)과 바이오 포인트(210) 사이의 거리를 나타내는, 입력 형상(220)의 입력 반경(240)을 계산할 수 있다.
도 2b는 사용자 인터페이스와의 후속하는 멀티-핑거 상호작용(250)의 일 실시예를 블록도로 나타낸다. 사용자는 손가락 중 하나 이상을 이동시켜, 입력 반경(240)이 확장 또는 축소되게 할 수 있다. 이러한 입력 반경(240)의 변화는 방사상 차이(260)로 지칭될 수 있다. 방사상 차이(260)는 그래픽 사용자 인터페이스 상에서 스케일링 인할지 또는 스케일링 아웃할지를 결정하는데 사용될 수 있다. 사용자 이동 인터페이스는 또한 입력 형상(220)의 방사상 속도를 추적하여, 입력 반경(240)이 확장 또는 축소되는 속도를 결정할 수 있다. 방사상 속도는 중심점 속도 또는 패닝 속도로 나뉘어질 수 있어, 속도 비를 결정할 수 있다.
도 3은 멀티-핑거 사용자 입력 상호작용을 나타내는 상태 머신(300)의 일 실시예를 블록도로 나타낸다. 사용자가 한 손가락과 같은 단 하나의 바이오 포인트(210)를 사용하는 경우, 사용자 이동 인터페이스는 단일 바이오 포인트 패닝 상태(302)에 있게 될 수 있다. 사용자가 바이오 포인트 증가(304)에 바이오 포인트(210)를 추가하는 경우, 사용자 이동 인터페이스는 멀티 포인트 패닝 상태(306)로 변경될 수 있다. 멀티 포인터 패닝 상태(306)로부터, 사용자가 바이오 포인트 감소(308)에서 바이오 포인트(210)를 감소시키는 경우, 사용자 이동 인터페이스는 다시 단일 포인트 패닝 상태(302)로 변경될 수 있다.
멀티 포인트 패닝 상태(306)로부터, 방사상 차이가 차이 임계값보다 작고(RD<DT) 속도 비가 비율 임계값보다 작은(VR<RT) 경우(310), 사용자 이동 인터페이스는 멀티 포인트 패닝 상태(306)에 머무를 수 있다. 멀티 포인트 패닝 상태(306)로부터, 방사상 차이가 차이 임계값보다 작지만(RD<DT) 속도 비가 비율 임계값보다 큰(VR>RT) 경우(312), 사용자 이동 인터페이스는 멀티 포인트 패닝 상태(306)에 머무를 수 있다. 멀티 포인트 패닝 상태(306)로부터, 방사상 차이가 차이 임계값보다 크지만(RD>DT) 속도 비가 비율 임계값보다 작은(VR<RT) 경우(314), 사용자 이동 인터페이스는 멀티 포인트 패닝 상태(306)에 머무를 수 있다. 멀티 포인트 패닝 상태(306)로부터, 방사상 차이가 차이 임계값보다 크고(RD>DT) 속도 비가 비율 임계값보다 큰(VR>RT) 경우(316), 사용자 이동 인터페이스는 멀티 포인트 패닝 및 스케일링 상태(318)로 변경될 수 있다.
멀티 포인트 패닝 및 스케일링 상태(318)로부터, 속도 비가 속도 임계값보다 큰(VR>RT) 경우(320), 사용자 이동 인터페이스는 멀티 포인트 패닝 및 스케일링 상태(318)에 머무를 수 있다. 멀티 포인트 패닝 및 스케일링 상태(318)로부터, 속도 비가 속도 임계값보다 작은(VR<RT) 경우(322), 사용자 이동 인터페이스는 멀티 포인트 패닝 상태(306)로 되돌아 갈 수 있다. 멀티 포인트 패닝 및 스케일링 상태(318)로부터, 사용자가 바이오 포인트 감소(324)에서 바이오 포인트(210)를 감소시키는 경우, 사용자 이동 인터페이스는 단일 포인트 패닝 상태(302)로 되돌아 갈 수 있다.
도 4는 사용자 이동 인터페이스의 사용자 입력을 수신하는 방법(400)의 일 실시예를 흐름도로 나타낸다. 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신할 수 있다(블록 402). 그래픽 디스플레이 장치는 사용자 입력으로부터 패닝 움직임을 검출할 수 있다(블록 404). 그래픽 디스플레이 장치는 사용자 입력에 기초하여 패닝 움직임을 결정할 수 있다(블록 406). 그래픽 디스플레이 장치는 패닝 움직임으로부터 패닝 벡터를 검출할 수 있다(블록 408). 그래픽 디스플레이 장치는 패닝 벡터와 함께 패닝 움직임을 레일링(rail)할 수 있다(블록 410). 패닝 움직임을 레일링하게 되면 이 패닝 움직임은 패닝 벡터의 방향으로 이동되도록 고정된다. 그래픽 디스플레이 장치는 사용자 입력을 나타내는 입력 형상의 방사상 차이(360)를 계산할 수 있다(블록 412). 그래픽 디스플레이 장치는 방사상 차이(360)를 차이 임계값에 비교할 수 있다(블록 414). 방사상 차이(360)가 차이 임계값보다 큰 경우(블록 416), 그래픽 디스플레이 장치는 중심점 속도 및 방사상 속도에 기초하여 속도 비를 계산할 수 있다(블록 418). 그래픽 디스플레이 장치는 속도 비를 비율 임계값에 비교할 수 있다(블록 420). 속도 비가 비율 임계값보다 작은 경우(블록 422), 그래픽 디스플레이 장치는 스케일링 임계값에 기초하여 사용자 입력으로부터 스케일링 움직임을 필터링할 수 있다(블록 424). 그래픽 디스플레이 장치는 그래픽 사용자 인터페이스의 패닝을 사용자에게 제시할 수 있다(블록 426).
그래픽 디스플레이 장치는 차이 임계값을 최적화하기 위해 차이 이력(differential history)을 유지할 수 있다(블록 428). 비율 이력은 방사상 차이를 추적할 수 있고 또한 방사상 차이가 차이 임계값을 초과하였는지를 추적할 수 있다. 그래픽 디스플레이 장치는 비율 임계값을 최적화하기 위해 비율 이력을 유지할 수 있다(블록 430). 비율 이력은 속도 비를 추적할 수 있고 또한 속도 비가 비율 임계값을 초과하였는지를 추적할 수 있다. 차이 이력 및 비율 이력은 초기에 스케일링을 의도하였음을 또는 의도하지 않았음을 나타내는 최종적인 스케일임 움직임을 재입력함으로써 사용자가 입력을 계속 이어갔는지를 추적할 수 있다. 그래픽 디스플레이 장치는 차이 임계값을 조정하기 위해 차이 이력을 이용할 수 있다. 그래픽 디스플레이 장치는 비율 임계값을 조정하기 위해 비율 이력을 사용할 수 있다.
도 5는 패닝 움직임을 검출하는 방법(500)의 일 실시예를 흐름도로 나타낸다. 그래픽 디스플레이 장치는 사용자 입력에서 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 검출할 수 있다(블록 502). 그래픽 디스플레이 장치는 사용자 입력에서 제3 바이오 포인트(210)를 검출할 수 있다(블록 504). 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)에 기초하여 입력 형상(220)을 결정할 수 있다(블록 506). 그래픽 디스플레이 장치는 입력 형상(220)의 중심점(230)을 결정할 수 있다(블록 508). 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트 및 제2 바이오 포인트로부터의 입력 형상의 중심점 이동에 기초하여 사용자 입력으로부터 패닝 움직임을 계산할 수 있다(블록 510).
도 6은 방사상 차이를 결정하는 방법(600)의 일 실시예를 흐름도로 나타낸다. 그래픽 디스플레이 장치는 사용자 입력에서 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 검출할 수 있다(블록 602). 그래픽 디스플레이 장치는 사용자 입력에서 제3 바이오 포인트(210)를 검출할 수 있다(블록 604). 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)에 기초하여 입력 형상(220)을 결정할 수 있다(블록 606). 그래픽 디스플레이 장치는 입력 형상(220)의 중심점(230)을 결정할 수 있다(블록 608). 그래픽 디스플레이 장치는 입력 형상(220)의 방사상 차이를 계산할 수 있다(블록 610).
도 7은 속도 비를 결정하는 방법(700)의 일 실시예를 흐름도로 나타낸다. 그래픽 디스플레이 장치는 사용자 입력에서 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)를 검출할 수 있다(블록 702). 그래픽 디스플레이 장치는 사용자 입력에서 제3 바이오 포인트(210)를 검출할 수 있다(블록 704). 그래픽 디스플레이 장치는 적어도 제1 바이오 포인트(210) 및 제2 바이오 포인트(210)에 기초하여 입력 형상(220)을 결정할 수 있다(블록 706). 그래픽 디스플레이 장치는 입력 형상(220)의 중심점(230)을 결정할 수 있다(블록 708). 그래픽 디스플레이 장치는 중심점 속도에 기초하여 패닝 속도를 계산할 수 있다(블록 710). 그래픽 디스플레이 장치는 입력 형상(220)의 방사상 속도를 계산할 수 있다(블록 712). 그래픽 디스플레이 장치는 중심점 속도 및 방사상 속도에 기초하여 속도 비를 계산할 수 있다(블록 714).
본 발명은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부한 청구항에 정의된 본 발명은 전술한 바와 같은 특정 특징 또는 동작들에 반드시 국한될 필요는 없다. 그 보다, 전술한 특정 특징 및 동작들은 청구 대상 및 실시예를 구현하기 위한 예시적인 형식으로 개시되어 있다.
본 발명의 범주 내의 실시예들은 컴퓨터 실행가능 명령어들 또는 데이터 구조를 운반하는 또는 저장하는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 이러한 컴퓨터 판독가능 저장 매체는 범용 또는 특수 목적의 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 제한이 아닌 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 데이터 저장소, 또는 컴퓨터 실행가능 명령어 형태의 바람직한 프로그램 코드 수단 또는 데이터 구조를 운반 또는 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 전술한 것들의 조합도 컴퓨터 판독가능 저장 매체의 범주 내에 포함되어야 한다.
실시예들은 또한 작업들이 통신 네트워크를 통해 (유선 링크, 무선 링크 또는 이들의 임의의 조합에 의해) 링크되는 로컬 및 원격 처리 장치에 의해 수행되는 분산형 컴퓨팅 환경에서도 구현될 수 있다.
컴퓨터 실행가능 명령어는 예를 들어 범용 컴퓨터, 특수 목적의 컴퓨터, 또는 특수 목적의 처리 장치로 하여금 소정의 기능 또는 기능 그룹을 수행하게 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는 독립적으로 또는 네트워크 환경에서 컴퓨터에 의해 실행되는 프로그램 모듈을 포함한다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트 및 데이터 구조 등을 포함한다. 데이터 구조 및 프로그램 모듈과 연관된 컴퓨터 실행가능 명령어는 본 명세서에서 설명한 방법의 단계들을 실행하기 위한 프로그램 코드 수단의 예를 나타낸다. 이러한 실행가능 명령어 또는 연관된 데이터 구조의 특정 시퀀스는 이러한 단계에서 설명된 기능을 구현하기 위한 대응하는 동작들의 예를 나타낸다.
전술한 설명들은 특정 세부사항을 포함할 수 있지만, 이들 설명은 본 발명의 청구대상을 제한하는 것으로 해석되어서는 안된다. 전술한 실시예들의 다른 구성도 본 발명의 범주의 일부이다. 예를 들어, 본 발명의 원리는 각 사용자가 개별적으로 이러한 시스템을 전개할 수 있는 각각의 개별 사용자들에게 적용될 수 있다. 이것은 다수의 가능한 애플리케이션 중 어떤 것도 전술한 기능을 사용하지 않더라도 각 사용자가 본 발명의 이점을 활용할 수 있게 해준다. 전자 장치들의 다수의 예시 각각은 콘텐츠를 다양한 방식으로 처리할 수 있다. 실시예들은 반드시 하나의 시스템에서 모든 최종 사용자에 의해 사용될 필요는 없다. 따라서, 주어진 임의의 특정 예시보다, 첨부한 청구항 및 이들의 등가물만이 본 발명을 규정해야 한다.

Claims (10)

  1. 적어도 제1 바이오 포인트 및 제2 바이오 포인트를 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신하는 단계와,
    상기 사용자 입력으로부터 패닝 움직임을 검출하는 단계와,
    스케일링 임계값에 기초하여 상기 사용자 입력으로부터 스케일링 움직임을 필터링하는 단계와,
    그래픽 사용자 인터페이스의 패닝을 사용자에게 제시하는 단계
    를 포함하는 머신 구현 방법.
  2. 제1항에 있어서,
    적어도 상기 제1 바이오 포인트 및 상기 제2 바이오 포인트에 기초하여 입력 형상을 결정하는 단계를 더 포함하는 머신 구현 방법.
  3. 제1항에 있어서,
    입력 형상의 중심점을 결정하는 단계를 더 포함하는 머신 구현 방법.

  4. 제1항에 있어서,
    중심점 이동에 기초하여 상기 패닝 움직임을 계산하는 단계를 더 포함하는 머신 구현 방법.
  5. 제1항에 있어서,
    입력 형상의 방사상 차이(radial differential)를 계산하는 단계와,
    상기 방사상 차이를 차이 임계값에 비교하는 단계
    를 더 포함하는 머신 구현 방법.
  6. 제1항에 있어서,
    중심점 속도 및 방사상 속도에 기초하여 속도 비를 계산하는 단계와,
    상기 속도 비를 비율 임계값에 비교하는 단계
    를 더 포함하는 머신 구현 방법.
  7. 제1항에 있어서,
    상기 패닝 움직임으로부터 패닝 벡터를 검출하는 단계와,
    상기 패닝 벡터를 따라 상기 패닝 움직임을 레일링(rail)하는 단계
    를 더 포함하는 머신 구현 방법.
  8. 하나 이상의 프로세서에 의해 실행되는 경우 상기 하나 이상의 프로세서로 하여금 방법을 수행하게 하는 명령어들의 집합이 저장되어 있는 유형의 머신 판독가능 매체로서,
    상기 방법은
    적어도 제1 바이오 포인트 및 제2 바이오 포인트를 갖는 사용자 이동 인터페이스에서의 사용자 입력을 수신하는 단계와,
    적어도 상기 제1 바이오 포인트 및 상기 제2 바이오 포인트로부터의 입력 형상의 중심점 이동에 기초하여 상기 사용자 입력으로부터 패닝 움직임을 검출하는 단계와,
    스케일링 임계값에 기초하여 상기 사용자 입력으로부터 스케일링 움직임을 필터링하는 단계와,
    그래픽 사용자 인터페이스의 패닝을 사용자에게 제시하는 단계
    를 포함하는 유형의 머신 판독가능 매체.
  9. 적어도 제1 바이오 포인트 및 제2 바이오 포인트를 갖는 사용자 입력을 수신하는 입력 장치와,
    상기 사용자 입력으로부터 패닝 움직임을 검출하고 비율 임계값에 기초하여 상기 사용자 입력으로부터 스케일링 움직임을 필터링하는 프로세서와,
    그래픽 사용자 인터페이스의 패닝을 사용자에게 제시하는 디스플레이
    를 포함하는 그래픽 디스플레이 장치.
  10. 제9항에 있어서,
    상기 입력 장치는 터치 스크린, 트랙 패드 및 제스처 인식 장치 중 적어도 하나인
    그래픽 디스플레이 장치.
KR1020157029427A 2013-04-15 2013-09-09 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법 KR102086193B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/862,489 2013-04-15
US13/862,489 US9910579B2 (en) 2013-04-15 2013-04-15 Detection of pan and scaling during multi-finger touch interactions
PCT/US2013/058665 WO2014171961A1 (en) 2013-04-15 2013-09-09 Detection of pan and scaling during multi-finger touch interactions

Publications (2)

Publication Number Publication Date
KR20150143495A true KR20150143495A (ko) 2015-12-23
KR102086193B1 KR102086193B1 (ko) 2020-03-06

Family

ID=49261744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157029427A KR102086193B1 (ko) 2013-04-15 2013-09-09 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법

Country Status (7)

Country Link
US (1) US9910579B2 (ko)
EP (1) EP2987069B1 (ko)
JP (1) JP6212201B2 (ko)
KR (1) KR102086193B1 (ko)
CN (1) CN105190516B (ko)
TW (1) TW201439885A (ko)
WO (1) WO2014171961A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087423A (ko) * 2016-11-25 2019-07-24 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
KR20190109551A (ko) * 2017-03-15 2019-09-25 미쓰비시덴키 가부시키가이샤 터치 제스처 판정 장치, 터치 제스처 판정 방법, 터치 제스처 판정 프로그램, 및 터치 패널 입력 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210045B1 (ko) * 2013-12-12 2021-02-01 삼성전자 주식회사 전자장치의 입력 제어장치 및 방법
JP7191792B2 (ja) * 2019-08-23 2022-12-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283739A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Contact grouping and gesture recognition for surface computing
KR20110112831A (ko) * 2009-01-05 2011-10-13 스마트 테크놀러지스 유엘씨 제스처 인식 방법 및 이 방법을 이용하는 대화형 입력 시스템
JP2013257775A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチセンサ
US9235338B1 (en) * 2013-03-15 2016-01-12 Amazon Technologies, Inc. Pan and zoom gesture detection in a multiple touch display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1058924B1 (en) 1998-01-26 2012-06-13 Apple Inc. Method and apparatus for integrating manual input
US7075513B2 (en) 2001-09-04 2006-07-11 Nokia Corporation Zooming and panning content on a display screen
US7242387B2 (en) 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7825797B2 (en) * 2006-06-02 2010-11-02 Synaptics Incorporated Proximity sensor device and method with adjustment selection tabs
JP2008070968A (ja) 2006-09-12 2008-03-27 Funai Electric Co Ltd 表示処理装置
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8368646B2 (en) * 2007-12-07 2013-02-05 Robert Welland User interface devices
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US8291341B2 (en) 2008-05-28 2012-10-16 Google Inc. Accelerated panning user interface interactions
US8176438B2 (en) 2008-09-26 2012-05-08 Microsoft Corporation Multi-modal interaction for a screen magnifier
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
TW201222344A (en) 2010-11-16 2012-06-01 Elan Microelectronics Corp Method for continuing a multi-finger gesture on a touch panel
WO2014014806A1 (en) * 2012-07-15 2014-01-23 Apple Inc. Disambiguation of multitouch gesture recognition for 3d interaction
TWI456458B (zh) * 2012-09-03 2014-10-11 Acer Inc 電子裝置以及相關之控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110112831A (ko) * 2009-01-05 2011-10-13 스마트 테크놀러지스 유엘씨 제스처 인식 방법 및 이 방법을 이용하는 대화형 입력 시스템
US20100283739A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Contact grouping and gesture recognition for surface computing
JP2013257775A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチセンサ
US9235338B1 (en) * 2013-03-15 2016-01-12 Amazon Technologies, Inc. Pan and zoom gesture detection in a multiple touch display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087423A (ko) * 2016-11-25 2019-07-24 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
KR20190109551A (ko) * 2017-03-15 2019-09-25 미쓰비시덴키 가부시키가이샤 터치 제스처 판정 장치, 터치 제스처 판정 방법, 터치 제스처 판정 프로그램, 및 터치 패널 입력 장치

Also Published As

Publication number Publication date
US9910579B2 (en) 2018-03-06
JP2016515741A (ja) 2016-05-30
WO2014171961A1 (en) 2014-10-23
TW201439885A (zh) 2014-10-16
CN105190516B (zh) 2019-03-08
EP2987069A1 (en) 2016-02-24
CN105190516A (zh) 2015-12-23
JP6212201B2 (ja) 2017-10-11
US20140310625A1 (en) 2014-10-16
EP2987069B1 (en) 2020-09-16
KR102086193B1 (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
US10234953B1 (en) Cross-device interaction through user-demonstrated gestures
US20130009865A1 (en) User-centric three-dimensional interactive control environment
AU2015209319B2 (en) Enhanced window control flows
JP2016500872A (ja) アプリケーションとの対話処理としてのマルチモード・ユーザー表現およびユーザー感覚量
RU2581013C2 (ru) Способ и устройство для обнаружения вводов при помощи жестов
CN109416570B (zh) 使用有限状态机和姿态语言离散值的手部姿态api
US10147400B2 (en) Display control device, display control method, and display control program
JP2014517975A (ja) 対象のあいまい性の除去及び修正
KR20150143495A (ko) 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법
US8570305B2 (en) Smoothing of touch input
KR102224932B1 (ko) 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
Osunkoya et al. Gesture-based human-computer-interaction using Kinect for windows mouse control and powerpoint presentation
US20140108982A1 (en) Object placement within interface
US20140111551A1 (en) Information-processing device, storage medium, information-processing method, and information-processing system
KR20160019449A (ko) 간접 입력의 명확화 기법
CN106547339B (zh) 计算机设备的控制方法和装置
TW201913299A (zh) 終端設備的操作方法、裝置以及電子設備
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
US20160124602A1 (en) Electronic device and mouse simulation method
US20170336881A1 (en) Discrete cursor movement based on touch input region
US20140317538A1 (en) User interface response to an asynchronous manipulation
US10350493B2 (en) Information processing program and information processing method
US11983802B2 (en) Systems and methods for annotating a scene to include digital objects
TWI588697B (zh) 產生用於不連續游標動作的觸控輸入圖徵之技術
JP2023138023A (ja) 描画方法及び描画プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant