KR102228335B1 - 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 - Google Patents

그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 Download PDF

Info

Publication number
KR102228335B1
KR102228335B1 KR1020217000428A KR20217000428A KR102228335B1 KR 102228335 B1 KR102228335 B1 KR 102228335B1 KR 1020217000428 A KR1020217000428 A KR 1020217000428A KR 20217000428 A KR20217000428 A KR 20217000428A KR 102228335 B1 KR102228335 B1 KR 102228335B1
Authority
KR
South Korea
Prior art keywords
user interface
touch
selecting
sliding
touch input
Prior art date
Application number
KR1020217000428A
Other languages
English (en)
Other versions
KR20210005753A (ko
Inventor
맹훠이 후앙
지홍 궈
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20210005753A publication Critical patent/KR20210005753A/ko
Application granted granted Critical
Publication of KR102228335B1 publication Critical patent/KR102228335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

그래픽 사용자 인터페이스(Graphical User Interface)를 표시하는 멀티-터치 디스플레이를 포함하는 전자 기기에서 실행되는 상기 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법은, 상기 멀티-터치 디스플레이에서 두 개의 동시의 터치 입력들을 감지하는 단계; 및 상기 두 개의 동시의 터치 입력들에 따라 상기 표시된 그래픽 사용자 인터페이스의 일 부분을 선택하는 단계;를 포함하고, 상기 동시의 터치 입력들 각각은 슬라이딩 터치 입력이고, 상기 슬라이딩 터치 입력 중 제1 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제1 시작 위치로부터 제1 종료 위치로 인가되고, 상기 슬라이딩 터치 입력 중 제2 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제2 시작 위치로부터 제2 종료 위치로 인가되며, 상기 선택하는 단계는, 상기 제1 시작 위치, 상기 제1 종료 위치, 상기 제2 시작 위치, 및 상기 제2 종료 위치를 기초하여 일 부분을 선택하는 단계를 더 포함한다.

Description

그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 {METHOD OF SELECTION OF A PORTION OF A GRAPHICAL USER INTERFACE}
본 발명은 일반적으로 그래픽 사용자 인터페이스에 관한 것으로, 보다 구체적으로는 멀티-터치 디스플레이에 표시된 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법에 관한 것이다.
모바일 핸드셋들(mobile handsets)은 데스크탑에 비하여 본질적으로 부족한 그래픽 사용자 인터페이스(GUI)를 갖는다. 작은 화면들과 작은 키보드들은 사용자의 주머니에 맞는 모바일 핸드셋들의 전형이다. 최근의 소위 스마트폰들은 사용자 경험을 단순화하기 위한 시도에서 모바일 핸드셋에 터치 스크린의 사용을 도입하였다. 예를 들어, 아이폰(iPhone®)의 터치 인터페이스는 모바일 핸드셋 산업에 대변혁을 일으키고, 완전히 새로운 모바일 사용자 경험을 가져왔다.
기존의 스마트 폰들에서, 애플리케이션 프로그램들(AP)은 터치 입력들을 사용하여 제어될 수 있다. 다른 터치 입력들은 다른 방식으로 AP를 제어할 수 있다. 예를 들어, 아이폰의 예를 이용하면, 복수의 AP 아이콘들을 포함하는 데스크탑(desktop) GUI는 AP 자체로 간주될 수 있다. AP 아이콘을 터치하는 사용자는 터치된 아이콘에 대응되는 AP를 실행하도록 데스크탑 GUI를 제어할 수 있다. 데스크탑 GUI를 가로지르는 슬라이딩 모션, 또는 드래그 터치 입력은, 지금까지 숨겨진 AP 아이콘들의 또 다른 세트를 표시하도록 데스크탑 GUI를 다르게 제어할 수 있다. 사용자는 관심 있는 응용 프로그램을 선택하기 위하여 AP 아이콘들의 페이지들을 검색하는 느낌을 갖는다. 어떤 AP 아이콘상의 연장된 터치 입력 또는 클러치 입력은 모든 아이콘들이 자신의 위치 주위에서 쉐이킹을 시작하도록 할 수 있다. 클러치 입력에 관련된 제어는 데스크탑 GUI 매니지먼트를 오픈한다. 그런 다음 사용자는 데스크탑으로부터 애플리케이션들을 삭제하거나 데스크탑 레이아웃의 주위에서 이동시킬 수 있다.
이러한 방법이 사용자 경험을 용이하게 하는 경우, 이동 가능하거나 그렇지 않은 전자 기기의 터치 인터페이스들을 사용하여 혁신할 수 있는 많은 분야가 오늘날 아직까지도 남아 있다.
실제로, 데스크탑 GUI 및 터치 인터페이스 GUI에서의 사용자 경험은 데스크탑 GUI의 장점에 대하여 종종 매우 다르다. GUI의 일 부분 또는 스크린샷과 같은 전체 GUI의 선택은 데스크탑 GUI에서 직관적인 동작이다. 종종, 데스크탑 키보드는 사용자가 하나의 키를 누르는 것에 의해 스크린샷을 생성할 수 있도록 허용하는 명확하게 식별된 "스크린샷"키를 보유한다. 예를 들어, 안드로이드(AndroidTM) GUI와 같은 터치 인터페이스와 비교하면, 동시에 두 개의 버튼들을 누르는 것에 의하여 동일한 결과가 획득되고, 사용자는 그 이전에 주의 깊게 상기 제스처에 대한 사용자 가이드를 읽지 않았을 경우 사용자가 그와 같은 결과를 얻을 수 없다는 것은 직관적이지 않다는 것이다. 주로 터치 제스처 기반의 GUI에 대하여 버튼들을 누르는 동작을 고려하는 것은 직관에 반대되는 것으로 간주될 수 있다.
단지 데스크탑 GUI상에서 마우스 등과 같은 포인팅 장치를 이용하여 GUI의 일 부분을 선택하는 것은 매우 직관적이다. 데스크탑 GUI (그리고 데스크탑 AP)의 대부분은 마우스를 이동하면서 마우스에서 좌클릭을 유지하는 것을 GUI상의 마우스 커서의 최초(즉, 좌클릭이 검출 될 때) 위치와 마우스의 사용자 이동에 따른 커서의 실제 위치에 의해 정해진 GUI의 직사각형 부분을 선택하는 것으로 반응한다. 반대로, 터치 인터페이스 GUI에서, 사용자는 그렇게 쉽게 GUI의 일 부분의 선택을 얻을 수 없다. 예를 들어, 터치 GUI에서, 사용자는 원하는 부분의 스크린샷을 직접적으로 획득하는 직관적인 방법이 없기 때문에, 전체 GUI의 스크린샷을 생성하고, 그런 다음 GUI의 원하는 부분에 대하여 획득된 스크린샷을 크롭(crop)할 필요가 있다.
보다 일반적으로, 다른 터치 입력들은, 특히 GUI의 일 부분의 선택에 있어서, 터치 스크린들 또는 패널들과 같이 사용자 경험(user experience)을 증대하는데 이용될 수 있다.
오늘날 터치 인터페이스 GUI의 일 부분의 간단하고 직관적인 선택을 위한 필요성은 여전히 존재한다. 터치 인터페이스 GUI의 부분들을 선택하는 경우에 있어 새로운 사용자 경험이 더 필요하게 된다.
종래 기술의 단점을 극복하는 것 및/또는 개선하는 것이 본 시스템의 목적이다.
본 시스템은 그래픽 사용자 인터페이스(Graphical User Interface)를 표시하는 멀티-터치 디스플레이를 포함하는 전자 기기에서 실행되는 상기 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법에 있어서, 상기 멀티-터치 디스플레이에서 두 개의 동시의 터치 입력들을 감지하는 단계 및 상기 두 개의 터치 입력들에 따라 상기 표시된 그래픽 사용자 인터페이스의 일 부분을 선택하는 단계를 포함하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법과 관련된다.
상기 방법은 바람직하게 사용자가 예를 들어 두 개의 손가락을 조합한 하나의 단일 제스처를 이용하여 GUI의 일부분을 선택하는 것을 허용한다. 이들 두 손가락으로 두개의 동시의 터치 입력들을 수행함으로써, 사용자는 GUI의 원하는 부분을 쉽게 선택할 수 있고, 예를 들어 상기 GUI의 스크린 샷을 쉽게 수행할 수 있다.
본 시스템은 또한 본 시스템의 그래픽 유저 인터페이스의 일 부분을 선택하는 방법을 실행하는 수단을 가지는 전자 기기와 관련된다.
마지막으로, 본 발명의 목적은 컴퓨터 프로그램, 특히 본 발명의 그래픽 사용자 인터페이스 객체의 일 부분을 선택하는 방법을 실행하기에 적합한, 정보 매체 또는 메모리상의 컴퓨터 프로그램들에 관한 것이다. 이 프로그램들은 임의의 프로그래밍 언어를 사용할 수 있고, 소스 코드, 이진 코드의 형식일 수 있고, 또는 소스 코드와 부분적으로 컴파일된 형식과 같은 오브젝트 코드 사이의 중간 코드, 또는 본 발명에 따른 방법들을 실행하기 위한 임의의 다른 바람직한 형식일 수 있다.
정보 매체는 프로그램을 저장할 수 있는 임의의 개체 또는 기기일 수 있다. 예를 들어, 매체는 ROM과 같은 스토리지 수단들, 예를 들어 CD ROM 또는 마이크로 전자 회로 ROM, 또는 예를 들어 디스켓 (플로피 디스크)이나 하드 디스크와 같은 다른 자기 저장 수단들을 포함할 수 있다.
본 발명에 따른 방법은 바람직하게 사용자가 예를 들어 두 개의 손가락을 조합한 하나의 단일 제스처를 이용하여 GUI의 일부분을 선택하는 것을 허용한다. 이들 두 손가락으로 두 개의 동시의 터치 입력들을 수행함으로써, 사용자는 GUI의 원하는 부분을 쉽게 선택할 수 있고, 예를 들어 상기 GUI의 스크린 샷을 쉽게 수행할 수 있다.
본 발명은 첨부된 도면을 참조하여 예시적으로 더욱 상세하게 설명된다.
도 1은 본 시스템의 일 실시예에 따른 전자 기기를 도시한다.
도 2a는 본 시스템의 일 실시예에 따른 예시적 프로세스의 흐름도를 도시한다.
도 2b는 본 시스템의 상보적인(complementary) 실시예에 따른 예시적 프로세스의 흐름도를 도시한다.
도 3a 내지 3d는 본 시스템의 실시예들에 따른 터치 입력들의 예시적인 도면을 도시한다.
도 4a 내지 4d는 본 시스템의 실시예들에 따른 GUI의 부분의 선택을 도시한다.
도 4e 및 4f는 본 시스템의 실시예들에 따른 GUI의 부분의 선택을 도시한다.
도 5a 및 5b는 본 시스템의 일 실시예에 따른 텍스트를 포함하는 GUI의 부분의 선택을 도시한다.
다음은 상기 언급된 특징과 장점뿐만 아니라 기타 내용을 설명할 이하의 도면들이 참조된 예시적인 실시 예에 대한 설명이다. 이하의 설명에서는, 제한보다는 설명의 목적으로, 예시적인 세부 사항들이 아키텍처, 인터페이스, 기술들, 요소(element) 속성들 등으로 설명된다. 그러나 이러한 세부 사항들로부터 벗어난 다른 실시예들도 첨부된 청구항들의 범위 내에 있는 것으로 이해될 수 있음은 관련 기술 분야의 통상의 기술자들에게 명백할 것이다. 또한, 명확성을 위하여, 공지된 장치들, 회로들, 도구들, 기술들 및 방법들의 상세한 설명은 본 시스템의 설명을 모호하게 하지 않도록 생략된다. 도면들은 예시적 목적들을 위해 포함되며, 본 시스템의 범위를 나타내지 않는 것으로 명확히 이해되어야 한다. 첨부 도면에서, 상이한 도면들에서 유사한 참조 번호들은 유사한 구성 요소들을 지정할 수 있다.
여기에서 사용된 렌더링(rendering) 및 그에 의한 조형물(formatives)이라는 것은 디지털 미디어 또는 그래픽 사용자 인터페이스 (GUI)와 같은 컨텐츠를 제공하는 것을 지칭하고, 따라서 시각 및/또는 청각과 같은 적어도 하나의 사용자 감각에 의하여 인지될 수 있다. 예를 들어, 본 시스템은 사용자가 볼 수 있고 사용자와 상호작용될 수 있도록 디스플레이 기기상에 사용자 인터페이스를 렌더링할 수 있다. 렌더링은 또한, 예를 들어, 사용자 기기상에서 브라우저 애플리케이션을 위한 서버 측에서 생성된 지도 표시와 같이, 디스플레이에 앞서 GUI 생성에 필요한 모든 동작들을 포함할 수 있다.
여기에 설명된 시스템, 전자 기기(들), 방법, 사용자 인터페이스 등은 종래 기술 시스템들에서의 문제점들을 다룬다. 본 시스템의 일 실시예에 따라, 전자 기기는 터치 입력들을 통하여 애플리케이션 프로그램(AP)을 제어하기 위한 GUI를 제공한다. 이하의 설명에서, 모바일 기기 또는 핸드셋들이 기준이 될 수 있다. 통상의 기술자는 본 설명을 이하에서 터치 감지 디스플레이 또는 터치 감지 스크린으로도 언급되는 터치 감지 패널을 제시하는 어떠한 전자 기기에도 쉽게 적용할 수 있다. 멀티-터치 디스플레이는 동시에 하나 이상의 터치 입력을 감지할 수 있는 터치 디스플레이로서 이해되어야 한다. 따라서, GUI와 상호 작용하기 위한 사용자 입력들 또는 사용자 제스처는 멀티 터치 입력들을 포함할 수 있다.
그래픽 사용자 인터페이스(GUI)는 본 시스템의 일 실시예에 따라 제공될 수 있다:
- 모바일 기기의 컴퓨터 시스템의 부분으로서, 디바이스 프로세서상에서 로컬하게 실행되는 애플리케이션 프로그램(AP)에 의해, 및/또는,
- 상기 애플리케이션을 호스팅하는 웹-기반 서버와 같은, 네트워크에 접속된 기기에 의해 제공되는 바와 같이, GUI는 웹-기반 서버에 연결된 로컬 애플리케이션 프로그램을 통하여 모바일 기기에서 렌더링된다. 구글 지도(Google Maps ®)와 같은 애플리케이션은 현재 그러한 접근 방식을 이용하여 구현된다.
제공된 시각적 환경은 프로세서에 의해, 사용자가 다수의 다른 유형들의 터치 입력을 제공하는데 이용할 수 있는 모바일 기기의 디스플레이 기기, 즉 터치 감지 패널(줄여서 터치 패널 )상에 표시될 수 있다.
GUI는 사용자가 컴퓨터, 휴대용 기기, 가전제품, 사무기기 등과 같은 전자 기기들과 상호 작용하는데 사용되는 사용자 인터페이스의 일종이다. GUI들은 일반적으로 운영 체제, 애플리케이션 등의 다양한 시각적 메타포들(metaphors)을 묘사하는 비주얼 이미지들 및 텍스트 이미지들을 렌더링하는데 이용되고, 디스플레이 기기상에 렌더링을 포함하는 프로세서/컴퓨터에서 구현된다. 또한, GUI들은 프로그램들, 파일들과 그래픽 이미지를 갖는 운영 기능들, 객체들 또는 벡터 표현들을 나타낼 수 있다. 그래픽 이미지들은 윈도우들, 필드들, 대화 상자들, 메뉴들, 아이콘들, 버튼들, 커서들, 스크롤 바들, 지도들 등을 포함할 수 있다. 이러한 이미지들은 미리 정의된 레이아웃들로 배열될 수 있고, 또는 사용자에 의하여 취해지는 특정 동작들을 제공하기 위하여 (기기 자체에 의하여 또는 웹-기반 서버에 의하여) 동적으로 생성될 수 있다. 일반적으로, 사용자는 기능들과 태스크들, 즉, 그 것들과 연관된 제어들을 개시하기 위하여 다양한 그래픽 이미지들을 선택 및/또는 활성화할 수 있다. 예로서, 사용자는 윈도우를 열거나 닫거나 최소화하거나 최대화하는 버튼, 또는 특정 애플리케이션 프로그램을 시작하는 아이콘을 선택할 수 있다. 다른 예로서, GUI는 메뉴 아이템들, 풀-다운 메뉴 아이템들, 아이콘들, 팝-업 윈도우들 등 마이크로소프트(Microsoft Corporation)에서 제공되는 바와 같은 WindowsTM 운영 체제 GUI 및/또는 애플(Apple, Inc.)에서 제공되는 바와 같은 iPhoneTM, MacBookTM, iMacTM 등에서 제공되는 OS XTM 운영 체제 GUI 및/또는 구글(GoogleTM)에서 제공되는 AndroidTM 운영 체제 GUI, 또 다른 운영 체제 내에서 표현될 수 있는 윈도우 환경에서 제공되는 전형적인 것들을 포함할 수 있는 윈도우 환경을 포함하는 전형적인 사용자 인터페이스를 제공할 수 있다.
이하의 설명에서는, 애플리케이션 프로그램(AP) - 또는 소프트웨어 - 은 사용자 또는 다른 애플리케이션 프로그램에 대한 하나 이상의 기능들 또는 태스크들을 수행할 목적으로, 컴퓨터의 수단들에 의해 조작되고, 기능들을 수행하는 어떠한 도구로 간주 될 수 있다. AP와 상호 작용하거나 제어하기 위하여, 상기 AP의 GUI는 모바일 기기 디스플레이 상에 표시될 수 있다.
도 1은 본 시스템에 사용된 예시적인 전자 기기 또는 모바일 기기(110)의 도면이다. 모바일 기기(110)는 디스플레이 기기(111), 프로세서(112), 상기 디스플레이 기기의 컨트롤러(113), 및 입력 기기(115)를 포함한다. 모바일 기기(110)는 예를 들어 데스크탑 컴퓨터 또는 노트북(laptop computer), 모바일 기기, PDA(personal digital assistant) 등일 수 있다.
본 시스템에서, GUI상에서 렌더링 되는 애플리케이션 프로그램의 조작과 사용자 상호 작용은 표시된 인터페이스를 제어하는 프로세서(112)에 동작 가능하게 결합된 현재 멀티-터치 패널인 디스플레이 기기(111), 또는 스크린을 이용하여 수행될 수 있다.
프로세서(112)는 애플리케이션 프로그램의 유형, 즉 내재된 또는 웹-기반, 에 따라 디스플레이 기기(111)상에서 GUI의 렌더링 및/또는 표시를 제어할 수 있다. 프로세서(112)는 또한, 본 방법에 따라 사용자 항목들을 조정할 수 있다. 애플리케이션 프로그램과 상호작용하기 위한 사용자 항목들은 터치 패널(111)과의 상호작용을 통하여 제공될 수 있다.
멀티-터치 패널(111) (줄여서, 터치 패널 또는 터치 디스플레이)은 스타일러스(stylus)와 같은 다른 기기들 또는 하나 이상의 사용자의 손가락들과 상호작용할 수 있는 입력 장치로 볼 수 있다. 하나 이상의 사용자의 터치로부터 수신된 입력은 프로세서(112)로 전송된다. 멀티-터치 패널은 터치들(의 위치)을 감지하고 프로세서(112)에 보고하도록 구성되고, 프로세서(112)는 애플리케이션 프로그램과 현재 표시된 GUI에 따라 복수의 터치들을 해석할 수 있다. 예를 들어, 프로세서(112)는 특정 터치에 따라, AP의 제어와 같은, 태스크를 시작할 수 있다.
멀티-터치 디스플레이의 감지 기술에 따르면, "터칭(touching)"이라는 용어는 이하에서 예를 들어 "터칭", "호버링(hovering)", "푸싱(pushing)", "프레싱(pressing)" 또는 사용된 감지 기술에 적응된 어떤 다른 용어로서 해석되어야 한다.
상보적(complementary) 일 실시예에서, 멀티-터치 패널과 디스플레이 소자는 분리된 소자들일 수 있다. 대안적으로, 멀티-터치 패널은 투명하고 디스플레이 소자 위에 놓일 수 있다. 그렇지 않으면, 본 시스템은 디스플레이 소자와 멀티-터치 패널 또는 소자 사이를 구별하여 구현될 수 있다. 그러나 간략화를 위해, 이하에서, 디스플레이 소자와 멀티-터치 패널은 멀티-터치 디스플레이, 분리 여부, 멀티-터치 패널과 멀티-터치 디스플레이 용어가 다르지 않게 사용되는 것으로 여겨지는 것이 고려될 수 있다.
컨트롤러(113), 즉 전용 프로세서, 는 컴퓨터 시스템의 메인 프로세서(112)에 대한 요청을 감소시키고, 로컬하게 복수의 터치들을 처리하기 위하여 사용될 수 있다. 멀티-터치 패널(111)은 용량성 감지(capacitive sensing), 저항성 감지(resistive sensing), 표면 탄성파 감지(surface acoustic wave sensing), 압력 감지(pressure sensing), 광학 감지(optical sensing), 및/ 또는 유사한 것들 등을 포함하는 감지 기술들에 기초할 수 있으며, 이에 한정되는 것은 아니다. 이하에서는, 단순화하기 위하여, 기준은 패널(111)을 터치하는 사용자의 하나 이상의 손가락이고, 스타일러스와 같은 다른 장치들은 사용자의 손가락 대신에 사용될 수 있다.
본 시스템에서, 터치 입력들의 다른 형식들은 터치 패널(111)을 통하여 모니터링될 수 있다. 예를 들어, 터치 패널(111)은 단일 점 감지 또는 다중 점 감지에 기초할 수 있다. 다중 감지 또는 멀티-터치 디스플레이는 동시에 발생하는 다중 터치들을 구별할 수 있는 반면, 단일 점 감지는 오직 단일 터치를 구별할 수 있다.
본 시스템에서, 일단 터치 입력의 형식이 캡처되고 식별되면, 캡처된 터치 입력은 AP상에서 제어를 전달할 수 있는 터치 입력 이벤트(또는 줄여서 터치 이벤트)로 지칭될 수 있다.
슬라이드(Slide) 또는 스와이프(swipe) 제스처는 멀티-터치 디스플레이를 하나 이상의 손가락들로 터치하고 같은 방향으로 이동시키는 제스처 또는 터치 입력으로 이해되어야 한다. 슬라이딩 또는 스와이핑 제스처들은 이하에서 구별되지 않지만, 때때로 스와이프 제스처는 같은 방향을 따라 다소 짧은 움직임을 갖는 슬라이드 제스처로 통상의 기술자들에 의해 고려된다는 것에 유의해야 한다. 본 명세서에서는 그와 같은 구별을 하지 않을 것이다.
본 시스템과 방법의 실시예들:
도 2a는 본 시스템의 일 실시예에 따른 예시적 프로세스의 흐름도를 도시한다.
첫 번째 시작 단계(200)에서, 전자 기기는 전원이 켜지고, 멀티-터치 디스플레이는 활성화된다. 이것은 멀티-터치 디스플레이상의 사용자의 하나 이상의 입력 또는 제스처를 캡처하는 터치 이벤트 리스너(touch event listener)가 활성화되는 것을 의미하고, 프로세서(112) 에 의해, 아마도 컨트롤러(113)를 통하여 아마도 지속적으로, 실행된 운영 체제(OS)로 감지된 터치 입력들과 관련된 정보를 전송한다. 그 같은 정보는 OS에 의해 실행된 애플리케이션 프로그램(AP)으로 더 전송되거나, 또는 컨트롤러에 의하여 상기 AP로 직접적으로 전송될 수 있다.
단계(210)에서, 전자 기기는 멀티-터치 디스플레이에 그래픽 사용자 인터페이스(GUI), 아마도 전자 기기에 의해 실행된 운영 체제(OS)의 GUI 또는 상기 OS에 의해 실행된 애플리케이션 프로그램의 GUI를 렌더링한다. 사용자는 멀티-터치 디스플레이를 활성화하기 위하여 하나 이상의 손가락을 이용하여, 공지된 기술에 따라 표시된 GUI와 상호작용하거나 GUI를 탐색할 수 있다. 통상의 기술자에 의하여 알려진 것과 같이, 그와 같은 상호작용은 터치(touch), 탭(taps), 슬라이딩(sliding) 또는 어떤 알려진 터치 입력들과 같은 하나 이상의 터치 입력들을 이용하는 사용자 제스처를 포함할 수 있다. 멀티-터치 제스처의 알려진 예는 터치 인터페이스상에서 서로로부터 멀리 또는 서로를 향하여 움직이는 두 개의 손가락들을 이용한 줌 인(zoom in) 또는 줌 아웃(zoom out )이다.
단계(220)에서, 전자 기기는 두 개의 동시의 터치 입력들을 감지한다. 다시 말하면, 터치 이벤트 리스너는 OS 또는 AP로 동시에 발생된 두 개의 터치 입력들과 관련된 정보를 전송한다. 이러한 터치 입력들은 탭(tap) 입력들, 프레스 앤 홀드(press and hold) 입력들, 슬라이딩(sliding) 입력들 등 모든 유형이 될 수 있다. 본 명세서에서는 도2a 실시를 그래픽 사용자 인터페이스의 단일 점 또는 위치에서 두 개의 터치 입력들 각각이 아마도 긴 또는 짧은 기간 수행되는 것을 의미하는, 탭 입력 또는 프레스 앤 홀드 입력과 같은 터치 입력들로 설명해야 한다. 도 2b와 관련되어 설명된 슬라이딩 또는 스와이핑 입력들과는 반대로, 이와 같은 터치 입력들은 이하에서 단일 점 또는 고정 터치 입력으로 언급될 것이다.
동시의 터치 입력들은, 일단 제1 터치 입력을 감지하고, 제2 터치 입력이 미리 정해진 타임 윈도우(time windows) 또는 지속 시간 내에 감지된 것으로 이해될 것이다. 예를 들어, 제1 터치 입력이 감지된 이후, 3 밀리 초(milliseconds) 뒤에 제2 터치 입력이 검출된다. 이 경우, 5 밀리 초의 미리 정해진 타임 윈도우를 가정하면, 시스템은 제1 및 제2 터치 입력들은 동시인 것으로 고려한다. 아마도, 두 터치 입력들이 동시인지 아닌지를 결정하기 위하여, 터치 점의 시작 또는 터치 입력의 시작 순간이 이용 - 두 시작 순간의 시간을 비교하여 - 될 수 있다. 전자 기기의 사용자에 의해 설정된 또는 전자 기기에서 실행된 AP에 의해 설정된, 타임 윈도우 또는 지속 시간 임계값은, 아마도 디스플레이상에서 GUI를 렌더링하는 AP(즉, OS 또는 복수의 AP들 중 하나의 AP)에 따라 같은 전자 기기상에서 변화될 시스템에 종속적일 수 있다. 이하에서는, 앞서 정의된 바와 같이, 동시의 터치 입력들과 연속적인 터치 입력을 구분하여야 한다. 연속적인 터치 입력은 아마도 멀티-터치 디스플레이상에서 점의 이동과, 시간의 일정한 지속 동안 수행된 터치 입력을 참조해야 한다. 슬라이딩 또는 스와이핑 제스처는 이후에 볼 것과 같이 연속적인 터치 입력이다. 따라서, 보다 일반적으로, 두 개의 슬라이딩 또는 스와이핑 터치 입력들은 동시에 수행되지 않거나 수행될 두 개의 연속 터치 입력이다.
본 시스템의 상보적인 실시 예에서, 전자 기기는 단계(230)에서 두 개의 동시의 터치 입력들 사이의 거리 D를 결정할 수 있다. 실제로, 오늘날, 터치 인터페이스 GUI들은 한 개, 두 개 또는 그 이상의 손가락들을 사용하는 사용자에 의해 실행될 수 있는 일부 사용자 제스처 또는 터치 입력들을 통합할 수 있다. 따라서, 기존의 제스처들 또는 터치 입력들과 본 시스템에 사용되는 터치 입력 사이를 명확하게 하도록 수행되는 터치 입력들을 결정할 수 있는 것이 중요하다. 사용자 제스처 또는 터치 입력의 두 가지 유형이 공존할 수 있는 그러한 결정이 유용하다: 기존 제스처들은 일반적으로 멀티 터치 제스처를 실행할 때 손가락들을 "그룹화"하는 것을 사용자에게 요구는 반면에, 이하에서 상세히 설명될 것과 같이, 본 시스템에서 사용된 터치 입력들은 일반적으로 함께 그룹화되지 않는다 (그렇지 않으면 선택된 영역 또는 부분은 아주 작게 될 것이다). 두 터치 입력들 사이의 거리는 디스플레이상의 두 개의 터치 점들의 두 개의 시작 위치 사이의 거리로 정의될 수 있다. 단일 점 또는 단일 위치 터치의 본 경우에, 거리는 계산하기 매우 간단하지만, 슬라이딩 제스처들을 이용하는 본 시스템의 다른 실시예에서, 이러한 정의가 사용될 수 있다. 아마도, 디스플레이에서 라인의 두 부분들로 표현될 수 있는 터치 입력을 의미하는, 두 개의 슬라이딩 제스처에 대하여, 거리는 제스처의 두 시작 점 사이의 거리, 두 개의 끝 점들 사이의 거리, 앞의 두 개의 정의에 기초한 임의의 조합 또는 평균, 또는 예를 들어 라인들의 두 부분들 사이의 최소 거리로서 정의될 수 있다.
단계(240)에서, 이러한 거리 D는 임계값 D0와 비교된다. 만약 D가 D0보다 크면 상기 시스템은 감지된 상기 시스템의 본 실시예에 따른 두 개의 터치 입력들을 고려하고, 다음 단계(250)가 실행된다. 그렇지 않으면, 상기 시스템은 다른 멀티-터치 입력이 감지되고 단계(245)에서 상기 멀티-터치 입력에 부가된 보통의 동작이 실행되는 것을 고려한다.
선택적인 단계(250)에서, 본 시스템의 실시예에 따르면, 상기 시스템은 GUI가 텍스트 컨텐츠를 표시하는지를 결정할 수 있다. 본 시스템의 다른 실시예는 단계(250)를 실행하지 않고, 상기 실시예에 따라 단계(251) 또는 단계(252)를 직접 수행할 수 있다. 이러한 결정은 GUI 또는 GUI를 렌더링하는 AP에 의해 제공되는 정보에 기초할 수 있다. 또한, 두 개의 터치 입력들의 위치에 의존할 수 있다. 만약 단계(252)로 이동하기 위해서 텍스트 컨텐츠 위에 두 개의 터치 입력의 위치를 가질 필요가 있다. 만약 오직 하나의 터치 입력 위치가 텍스트 컨텐츠의 위에 있다면, 상기 시스템은 단계(251)에 따라 기본적으로 동작할 수 있다.
단계(251)에서, 상기 시스템은 그래픽 사용자 인터페이스상의 두 개의 단일 점들이나 터치 입력들에 적응된 미리 정해진 형상을 이용하여 GUI의 한 부분을 선택한다. 그 실시예가 도 5c 및 도 5d에서 도시되어 있다. 이러한 예시에서, GUI의 선택된 부분은 두 개의 터치 점들이 대각선에 대응하는 직사각형에 대응한다. 관련 기술 분야에서 통상의 지식을 가진 사람은 디스플레이상의 두 위치들을 이용하여 다양한 형상을 정의하는 방법을 알고 있다.
단계(252)에서, 도 5a 및 도 5b에 도시된, 그래픽 사용자 인터페이스상의 두 개의 단일 점들은 501 및 502로 표시된 것과 같이, 각각 상기 텍스트의 제1 위치와 제2 위치를 정의한다. 상기 선택하는 동작은 상기 텍스트 내에서 제1 위치(501)와 제2 위치(502) 사이의 텍스트 부분을 선택하는 것을 더 포함한다. 일 실시예에서, 도 5a에 도시된 것과 같이, 만약 터치 입력이 한 단어상에 위치(여기서 단어 " embodiment")하면, 상기 시스템은 상기 선택에서 상기 단어를 포함할 수 있다. 선택된 텍스트(550)는 예를 들어 메모리 버퍼(memory buffer)에 복사될 수 있다. 아마도, 텍스트의 선택된 부분은 또한 하이라이트되거나, 자동으로 번역되거나, 텍스트-음성 애플리케이션에 전송되거나, 또는 입력으로 텍스트를 사용하는 임의의 동작이 수행될 수 있다.
도 2b의 흐름도는 본 시스템의 상보적인 실시예에 대응한다. 이하에서, 동시의 터치 입력 각각은 슬라이딩 터치 입력이고, 각 슬라이딩 터치 입력은 그래픽 사용자 인터페이스상의 제1 위치로부터 제2 위치로 부여되고 있다. 이러한 터치 입력은 도 3c 또는 도 3d에 도시되어 있다. 슬라이딩 또는 스와이핑 제스처를 수행하기 위해, 사용자는 스크린을 터치(시작 점, 330)하고, 화면을 따라 손가락을 움직이고, 손가락을 들어올린다(종료 위치, 331). 고전적으로, 도 3c에 표시된 슬라이딩 제스처 또는 슬라이딩 터치 입력은 도 3c에 도시된 시작 점(330)에서 종료 점(331)까지의 직선 운동을 의미하는 제스처와 유사하나, 도 3d에 도시된 대체적인 제스처는 사용자가 시작 점에서 종료 점까지의 직선 운동을 고려하지 않는 경우에도 슬라이딩 제스처로 간주될 수 있다.
단계(200)에서 단계(230)까지는 도 2a에서 이미 설명한 단계와 유사하다. 다시, 본 시스템의 다른 실시예들에 따르면, 단계(240)은 구현되거나 구현되지 않을 수 있다. 두 개의 터치 입력들이 슬라이딩 제스처인 것을 고려하면, 두 개의 터치 입력들 사이의 거리는 다른 방법들에 따라 산출될 수 있다. 상기 시스템은 두 개의 시작 점들, 두 개의 종료 점들, 또는 시작 점들과 종료 점들의 임의의 조합 사이의 거리를 고려할 수 있다. 거리를 산출하는 다른 방법에서는, 상기 시스템은, 하나의 세그먼트는 시작 점, 종료 점 및 상기 두 점 사이의 움직임 (또는 경로)에 의해 정의되는, 두 세그먼트들 사이의 더 작은 거리를 산출할 수 있다. 관련 기술 분야에서 통상의 지식을 가진 사람은 이와 같은 두 세그먼트들 사이의 거리를 산출하기 위한 여러 방법을 알고 있다. 도 3d에 도시된 바와 같이, 고려되는 세그먼트들은 곡선의 라인들일 수 있다는 것에 주의해야 한다.
본 시스템의 두 개의 상보적인 실시예들이 도 2b에서 설명된다: 단계(260) 및 단계(261)에서의 첫 번째 상보적인 실시예와 단계(270) 및 단계(271)에서의 두 번째 상보적인 실시예. 두 실시예들은 함께 구현되거나 그렇지 않을 수 있다.
도 2b, 단계(260) 및 단계(261)에서 설명된 상보적인 실시예는 도 4a 및 도 4b에 의해 도시된다. 단계(260)에서, 도 4a에 도시된 것과 같이, 두 개의 슬라이딩 터치 입력들 또는 변위의 라인들(410 및 420)이 감지된다. 실제로, 각각의 슬라이딩 입력은 GUI상의 터치 입력의 변위의 라인을 정의한다. 본 시스템의 일 실시예에서, 슬라이딩 제스처(410 또는 420)는, 도 3c에 도시된 것과 같이, 감지되고 본 시스템의 GUI의 일 부분의 선택하는 방법을 트리거(trigger)하기 위한, GUI의 미리 정해진 영역(401) 내에 위치하는 시작 점(또는 제1 위치, 330)과 GUI의 미리 정해진 영역(402) 내에 위치하는 종료 점(또는 제2 위치, 331)을 가질 수 있다. 다른 실시예에서, 오직 제1 위치 또는 출발 점(330)만 미리 정해진 영역(401) 내에 위치하거나, 대체적으로, 오직 종료 점 또는 제2 위치(331)만 미리 정해진 영역(402) 내에 위치할 수 있다.
단계(261)에서, 상기 시스템은 변위의 라인으로부터 수평 라인을 추론할 수 있다. 즉, 이와 같은 수평 라인은 제1 위치 또는 슬라이딩 터치 입력의 시작 점의 위치에 따라, 또는 제2 위치 또는 종료 점의 위치에 따라, 또는 상기 두 개의 위치들의 임의의 조합(평균 위치와 같은)에 따라 정의될 수 있다. 정의된 것에 따라, 예를 들어 상기 라인은 제1 또는 제2 위치를 통과하는 수평 라인으로 정의되는 것으로 이해될 수 있다. 일단 제1 및 제2 터치 입력들(410 및 420)에 따라 제1 및 제2 라인들(415 및 425)이 정의되면, 상기 시스템은 제1 라인(415), 제2 라인(425) 및 디스플레이(400)의 두 말단들 또는 에지(edges)들에 의해 범위가 정해지는 직사각형 영역(450)을 선택한다. 즉, 디스플레이(400)의 일 부분(450)을 선택하는 것은 변위의 각 라인(410 및 420)에 기초한다. 실제로, 상기 직사각형 영역(450)은 디스플레이(400)의 말단들과 각 수평 라인이 슬라이딩 터치 입력들(410 및 420)에서 추론되는 두 개의 수평 라인들(415 및 425)에 의해 범위가 정해진다. 관련 기술 분야에서 통상의 지식을 가진 사람은 수평 축과 수직 축이 교환된 본 시스템의 대체적인 실시예를 고려할 수 있다.
도 4e 및 도 4f는 단계(260) 및 단계(261)의 다른 실시예를 도시하고 있다. 이 실시예에 있어서, 선택되기 위한 디스플레이의 부분은 직접적으로 (410), (420)으로 표시된 것과 같은 터치 입력들의 변위의 두 개의 라인들에 의해 정의된다. 실제로, 도 4f에 도시된 것과 같이, 선택된 디스플레이의 부분은 터치 입력(410)의 변위에 대응되는 라인(415)과 터치 입력(420)의 변위에 대응되는 라인(425) 각각에 의하여 부분적으로 범위가 정해진다. 만약 시작 터치 점들(411, 421) (또는 각각 종료 터치 점들 (각각 412, 422))이 동일한 수직 축 상에 있지 않은 경우, 상기 시스템은 평균 위치를 산출할 수 있다.
또한, 본 시스템의 상보적인 실시예에서, 상기 시스템은 두 개의 동시의 슬라이딩 터치 입력들을 감지할 수 있지만 선택을 위한 디스플레이의 일 부분을 결정하기 위해서 두 개의 슬라이딩 터치 입력들 중 오직 하나만 사용할 수 있다. 실제로, 디스플레이(400)의 선택된 부분은 디스플레이(400)의 세 개의 미리 정해진 말단과 변위의 두 개의 라인들(415 또는 425) 중 오직 하나에 의하여 범위가 정해질 수 있다. 변위의 두 개의 수평 라인들을 고려하는 경우, 디스플레이의 세 개의 미리 정해진 말단은 폐쇄된 면적을 정의하기 위한 두 개의 수직 말단들 또는 에지들을 포함할 수 있다.
미리 정해진 영역들(401 및 402)은 임의의 다른 터치 입력과 슬라이딩 터치 입력들의 혼동 위험을 제한하기 위하여 정의된다. 즉, 이러한 영역들은 명확성을 향상시키는 것에 의하여 두 개의 슬라이딩 터치 입력들의 감지를 용이하게 하기 위해 정의된다.
도 2b, 단계(270) 및 단계(271)에서 설명된 상보적 실시예는 도 4c 및 도 4d에 도시된다. 이러한 상보적인 실시예에서, 디스플레이(400)의 일 부분을 선택하는 단계는 두 개의 슬라이딩 터치 입력들(410 및 420)의 두 개의 제1 위치들(411 및 421) 및 두 개의 제2 위치들(412, 422)에 기초한다. 변위의 라인들(415 및 425)은 전술한 상보적인 실시예에서 설명된 방법에 따라 결정된다. 이러한 변위의 라인들은 여기에서 디스플레이(400)의 직사각형 부분(450)의 두 개의 측면들(415 및 425)를 정의한다. 측면(425)은 제1 위치(411) 및 제2 위치(421)에 따라 정의된다. 측면(435)은 제1 위치(411)를 통과하거나, 또는 제2 위치(421)를 통과하거나, 또는 제1 및 제2 위치(411 및 421)의 임의의 조합을 통과하는 수직 라인으로 정의될 수 있다. 측면(445)은 측면(435)와 같이 정의되지만, 제1 위치들(411 및 421) 대신에 제2 위치들(412 및 422)를 사용하고, 수직 축에 따른다.
도 3a 내지 3d는 본 시스템의 실시예들에 따른 터치 입력들의 예시적인 도면을 도시한다.
도 3a는 두 개의 손가락들을 사용하여 사용자에 의해 생성된 두 개의 동시의 터치 입력들의 예시적인 도면을 도시한다. 사용자는 자신의 두 손가락으로 화면을 터치하고 두 손가락을 들어올리거나 아마도 하나 또는 두 개의 손가락은 화면을 터치하고 유지할 수 있다. 차이는 멀티-터치 디스플레이(111)와 손가락의 접촉의 지속 기간에 있다. 이러한 지속 기간은 OS 또는 AP 의존적이고, 아마도 사용자에 의해 구성될 수 있다.
도 3b는 슬라이딩 또는 스와이핑 제스처의 예시적인 도면을 도시한다. 이 경우, 두 개의 손가락들은 스크린을 터치하고 동일한 방향으로 이동한다. 손가락의 각 제스처에 대하여, 시작 점(330)과 종료 점(331)은 도 3c 또는 도 3d에 도시된 것과 같이 정의될 수 있다. 도 3d는 손가락의 움직임이 아마도 복잡한 곡선을 따르는 가능한 슬라이딩 제스처를 도시하는 반면에, 도 3c는 직선 운동으로 슬라이딩 또는 스와이핑 제스처를 도시한다.
도 4a 내지 4d는 앞서 설명되고 본 시스템의 실시예들에 따른 GUI의 부분의 선택을 도시한다.
도 5a 및 5b는 앞서 설명되고, 본 시스템의 일 실시예에 따른 텍스트를 포함하는 GUI의 부분의 선택을 도시한다.
본 시스템의 방법들은 본 시스템, 다른 엔진들과 같은, 애플리케이션 프로그램, 사용자 인터페이스 엔진 등에 의해 설명 및/또는 인비전된(envisioned) 하나 이상의 개별적 단계들 또는 동작들에 대응하는 모듈들을 포함하는 컴퓨터 소프트웨어 프로그램에 의해 수행되는 것이 특히 적합하다. 이러한 프로그램은 당연히 컴퓨터-판독 가능 매체(computer-readable medium), IC(integrated chip)와 같은, 주변 장치 또는 메모리, 프로세서(112)에 결합된 메모리(도 1에 도시되지 않은)와 같은, 내에 구현될 수 있다.
컴퓨터-판독 가능 매체 및/또는 메모리는 임의의 기록 매체(예를 들면, RAM, ROM, 분리형 메모리, CD-ROM, 하드 드라이브, DVD, 플로피 디스크 또는 메모리 카드)일 수 있거나, 또는 무선 주파수 (RF) 연결, 블루투스 연결, 적외선 연결 등 중 하나 이상을 이용하는 전송 매체(transmission medium)일 수 있다. 공지된 또는 개발된 임의의 매체는 컴퓨터-판독 가능 매체 및/또는 메모리로서 이용될 수 있는 컴퓨터 시스템에 사용하기에 적합한 정보를 저장 및/또는 전송할 수 있다.
추가적인 메모리들도 또한 사용될 수 있다. 이들 메모리들은 본 명세서에 개시된 방법들, 운영 동작들(operational acts) 및 기능들을 구현하도록 프로세서(112)를 구성할 수 있다. 운영 동작들은 GUI의 형태에서 요소들을 렌더링하기 위하여 렌더링 기기(530)를 제어하는 것 및/또는 본 시스템에 따른 다른 정보를 렌더링하기 위하여 렌더링 기기(530)를 제어하는 것을 포함 할 수 있다.
또한, 용어 "메모리"는 프로세서에 의해 액세스되는 어드레스 가능한(addressable) 공간에서 어드레스(address)에 기록되거나 어드레스로부터 판독될 수 있는 임의의 정보를 포함할 정도로 넓게 해석될 수 있다. 예를 들어, 프로세서(112)는 본 시스템에 따른 동작을 위해 네트워크로부터 정보를 검색할 수 있기 때문에, 이러한 정의에 따라, 네트워크상의 정보는 본 메모리 내에 여전히 존재한다. 예를 들어, 본 명세서에서 이해되는 메모리의 일부는 컨텐츠 제공자의 부분, 및/또는 사용자 디바이스로서 상주할 수 있다.
프로세서(112)는 제어 신호들을 제공 및/또는 사용자 입력 장치(111)로부터의 입력 신호들에 응답하여 동작을 수행할 수 있고 상기 메모리에 저장된 명령들을 실행할 수 있다. 프로세서(112)는 일 애플리케이션에 특정된 또는 범용 집적 회로(들)일 수 있다. 또한, 프로세서(112)는 본 시스템에 따라 실행할 수 있는 전용 프로세서일 수 있거나, 또는 여러 기능들 중 하나만이 본 시스템에 따라 실행할 수 있도록 동작하는 범용 프로세서일 수 있다. 프로세서(112)는 프로그램 부분, 다수의 프로그램 세그먼트를 이용하여 동작할 수 있거나, 또는 전용 또는 범용 집적 회로를 이용하는 하드웨어 기기일 수 있다.
마지막으로, 위의 설명은 본 시스템의 단지 예시적인 것으로 의도되고, 임의의 특정 실시예 또는 실시예들의 그룹에 첨부된 청구범위를 제한하는 것으로 해석되어서는 안 된다. 그러므로 본 시스템은 사용자 인터페이스를 포함하는 예시적인 실시예들을 참조하여 설명되었지만, 또한 이하의 청구범위에 기재된 본 시스템의 보다 넓고 의도된 사상과 범위를 벗어나지 않고 다양한 변형들과 대체적인 실시예들이 관련 기술 분야에서 통상의 지식을 가진 사람들에 의해 창안될 수 있다는 것이 이해되어야 한다. 예를 들어, 상기 사용자 입력들은 스타일러스(stylus)와 같은 기기와 하나의 손가락, 두 개의 스타일러스들 또는 두 개의 말단들을 가진 하나의 스타일러스(예를 들어 포크와 유사한)를 통해 제공될 수 있다. 다른 응용들은 본 시스템의 설명 내에 포함되도록 의도된 기술과 관련 기술 분야에서 통상의 지식을 가진 사람에게 용이하게 발생할 수 있다. 또한, 예시적인 사용자 인터페이스들이 본 시스템의 이해를 용이하게 하기 위해 제공되는 동안, 다른 사용자 인터페이스들이 제공될 수 있고 및/또는 하나의 사용자 인터페이스의 요소들은 본 시스템의 다른 실시예들에 따른 또 다른 사용자 인터페이스들과 조합될 수 있다.
본 명세서에 포함된 섹션 표제는 리뷰를 용이하게 하도록 의도되지만, 본 시스템의 범위를 제한하는 것은 아니다. 따라서, 명세서 및 도면들은 예시적인 방법으로 간주되어야 하며, 첨부된 청구항들의 범위를 제한하는 것은 아니다.
첨부된 청구항들을 해석함에 있어서, 다음과 같이 이해될 수 있다 :
a) "포함하는(comprising)"이라는 용어는 주어진 청구항에 나열된 것 이외의 다른 요소들(elements) 또는 동작들(acts)의 존재를 배제하지 않는다;
b) 요소 앞의 "하나의(a or an)"라는 용어는 복수의 같은 요소들의 존재를 배제하지 않는다;
c) 청구항들에서 임의의 참조 부호는 청구항들의 범위를 제한하지 않는다;
d) 여러 개의 "수단(means)"은 구조 또는 기능이 구현된 동일한 아이템 또는 하드웨어 또는 소프트웨어에 의해 표현 될 수 있다;
e) 개시된 임의의 요소들은 하드웨어 부분들(예를 들어, 개별적이고 집적된 전자 회로를 포함하는), 소프트웨어 부분들(예를 들어, 컴퓨터 프로그래밍), 및 그 임의의 조합으로 구성될 수 있다;
f) 하드웨어 부분들은 아날로그 및 디지털 부분들 둘 다 또는 어느 하나로 구성될 수 있다;
g) 개시된 임의의 기기들 또는 그 부분들은 특별히 다른 언급이 없으면 서로 조합될 수 있거나, 또는 다른 부분들로 분리될 수 있다;
h) 구체적으로 명시하지 않는 한 동작들이나 단계들의 특정 순서는 요구되지 않는다; 및
i) 요소가 "복수"라는 용어는 두 개 또는 그 이상의 클레임된 요소를 포함하고, 요소들의 수의 어떠한 특정 범위를 의미하는 것은 아니다; 즉, 복수의 요소들은 두 개뿐일 수 있고, 셀 수 없이 많은 수의 소자들을 포함할 수도 있고;
j) 본 시스템의 실시 예에 대한 설명에서 달리 명시하지 않는 한, "보다 큰"(각각 "보다 낮은")이라는 용어는 "확실히 보다 큰"(각각 "확실히 보다 작은") 또는 "보다 크거나 같은"(각각 "보다 작거나 같은")의 양자 모두 구현 가능한 것으로 이해될 수 있다.
110: 모바일 기기 111: 디스플레이 기기
112: 프로세서 113: 디스플레이 기기의 컨트롤러
115: 입력 기기

Claims (12)

  1. 그래픽 사용자 인터페이스(Graphical User Interface)를 표시하는 멀티-터치 디스플레이를 포함하는 전자 기기에서 실행되는 상기 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법에 있어서,
    상기 멀티-터치 디스플레이에서 두 개의 동시의 터치 입력들을 감지하는 단계; 및
    상기 두 개의 동시의 터치 입력들에 따라 상기 표시된 그래픽 사용자 인터페이스의 일 부분을 선택하는 단계;를 포함하고,
    상기 동시의 터치 입력들 각각은 슬라이딩 터치 입력이고, 상기 슬라이딩 터치 입력 중 제1 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제1 시작 위치로부터 제1 종료 위치로 인가되고, 상기 슬라이딩 터치 입력 중 제2 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제2 시작 위치로부터 제2 종료 위치로 인가되며,
    상기 선택하는 단계는, 상기 제1 시작 위치, 상기 제1 종료 위치, 상기 제2 시작 위치, 및 상기 제2 종료 위치를 기초하여 일 부분을 선택하는 단계를 더 포함하는
    그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  2. 제 1 항에 있어서,
    상기 동시의 터치 입력들 각각은 상기 그래픽 사용자 인터페이스의 단일 점에서의 터치 입력인 것을 특징으로 하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  3. 제 2 항에 있어서,
    상기 선택하는 단계는 상기 그래픽 사용자 인터페이스상의 상기 두 개의 단일 점들에 적응된 미리 정해진 형상을 사용하여 일 부분을 선택하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  4. 제 2 항에 있어서,
    상기 그래픽 사용자 인터페이스는 텍스트, 상기 텍스트 내의 제1 위치와 제2 위치를 각각 정의하는 상기 그래픽 사용자 인터페이스상의 상기 두 개의 단일 점들을 포함하고,
    상기 선택하는 단계는 상기 텍스트내의 상기 제1 위치와 상기 제2 위치 사이의 텍스트 부분을 선택하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  5. 제 1 항에 있어서,
    각 슬라이딩 입력은 상기 그래픽 사용자 인터페이스상의 상기 터치 입력의 변위(displacement)의 라인(line)을 정하고,
    상기 선택하는 단계는 변위의 각 라인에 기초하여 일 부분을 선택하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  6. 제 1 항에 있어서,
    상기 선택하는 단계는 상기 그래픽 사용자 인터페이스상에서 상기 선택된 부분을 하이라이팅하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법.
  7. 그래픽 사용자 인터페이스를 렌더링하는 멀티-터치 디스플레이를 포함하는 전자 기기에 있어서,
    상기 멀티-터치 디스플레이에서 두 개의 동시의 터치 입력들을 감지하고, 상기 두 개의 동시의 터치 입력들에 따라 상기 그래픽 사용자 인터페이스의 일 부분을 선택하도록 구성된 프로세서;를 포함하고,
    상기 동시의 터치 입력들 각각은 슬라이딩 터치 입력이고, 상기 슬라이딩 터치 입력 중 제1 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제1 시작 위치로부터 제1 종료 위치로 인가되고, 상기 슬라이딩 터치 입력 중 제2 슬라이딩 터치 입력은 상기 그래픽 사용자 인터페이스 상의 제2 시작 위치로부터 제2 종료 위치로 인가되며,
    상기 일 부분을 선택하는 것은, 상기 제1 시작 위치, 상기 제1 종료 위치, 상기 제2 시작 위치, 및 상기 제2 종료 위치를 기초하여 일 부분을 선택하는 것을 더 포함하는
    전자 기기.
  8. 제 7 항에 있어서,
    상기 동시의 터치 입력들 각각은 상기 그래픽 사용자 인터페이스의 단일 점에서의 터치 입력인 것을 특징으로 하는 전자 기기.
  9. 제 8 항에 있어서,
    상기 일 부분을 선택하는 것은, 상기 그래픽 사용자 인터페이스상의 상기 두 개의 단일 점들에 적응된 미리 정해진 형상을 사용하여 일 부분을 선택하는 것을 더 포함하는 것을 특징으로 하는 전자 기기.
  10. 제 7 항에 있어서,
    상기 그래픽 사용자 인터페이스는 텍스트, 상기 텍스트 내의 제1 위치와 제2 위치를 각각 정의하는 상기 그래픽 사용자 인터페이스상의 상기 두 개의 단일 점들을 포함하고,
    상기 일 부분을 선택하는 것은, 상기 텍스트내의 상기 제1 위치와 상기 제2 위치 사이의 텍스트 부분을 선택하는 것을 더 포함하는 것을 특징으로 하는 전자 기기.
  11. 제 7 항에 있어서,
    각 슬라이딩 입력은 상기 그래픽 사용자 인터페이스상의 상기 터치 입력의 변위(displacement)의 라인(line)을 정하고,
    상기 일 부분을 선택하는 것은, 변위의 각 라인에 기초하여 일 부분을 선택하는 것을 더 포함하는 것을 특징으로 하는 전자 기기.
  12. 컴퓨터 프로그램이 저장된 비-일시적(non-transitory) 컴퓨터 판독가능한 기록 매체에 있어서,
    상기 컴퓨터 프로그램은, 명령(instructions)들이 프로세서에 의해 실행될 때, 제1항에 따른 방법을 수행하기 위한 상기 명령을 포함하는, 컴퓨터 판독가능한 기록 매체.
KR1020217000428A 2013-06-28 2014-06-27 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 KR102228335B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2013/000788 2013-06-28
PCT/CN2013/000788 WO2014205605A1 (en) 2013-06-28 2013-06-28 Method to select portion of graphical user interface
PCT/IB2014/001745 WO2015004525A2 (en) 2013-06-28 2014-06-27 Method of selection of a portion of a graphical user interface

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002414A Division KR20160027063A (ko) 2013-06-28 2014-06-27 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법

Publications (2)

Publication Number Publication Date
KR20210005753A KR20210005753A (ko) 2021-01-14
KR102228335B1 true KR102228335B1 (ko) 2021-03-17

Family

ID=51903947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000428A KR102228335B1 (ko) 2013-06-28 2014-06-27 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법

Country Status (6)

Country Link
US (1) US10474346B2 (ko)
EP (1) EP3014410A2 (ko)
JP (1) JP2016528600A (ko)
KR (1) KR102228335B1 (ko)
CN (1) CN106104450B (ko)
WO (2) WO2014205605A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494056B1 (en) * 2014-08-29 2022-11-08 Open Invention Network Llc Dynamic document updating application interface and corresponding control functions
WO2017034425A1 (en) * 2015-08-21 2017-03-02 Motorola Solutions, Inc. System and method for disambiguating touch interactions
CN106791062A (zh) * 2016-12-12 2017-05-31 努比亚技术有限公司 一种截图终端及截图方法
USD839914S1 (en) * 2017-03-27 2019-02-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
WO2018209523A1 (zh) * 2017-05-15 2018-11-22 深圳市永恒丰科技有限公司 拍照的处理方法及处理装置
US10783320B2 (en) * 2017-05-16 2020-09-22 Apple Inc. Device, method, and graphical user interface for editing screenshot images
USD868103S1 (en) * 2017-09-27 2019-11-26 Toyota Research Institute, Inc. Display screen or portion thereof with an animated graphical user interface
CN110069206A (zh) * 2019-04-23 2019-07-30 广东小天才科技有限公司 一种获取题目图片的方法及装置
JP2021018777A (ja) 2019-07-24 2021-02-15 キヤノン株式会社 電子機器
CN110865751A (zh) * 2019-10-09 2020-03-06 上海掌门科技有限公司 一种内容选择方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163444A (ja) 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
US20120287063A1 (en) * 2011-05-11 2012-11-15 Chi Mei Communication Systems, Inc. System and method for selecting objects of electronic device
US20120306772A1 (en) * 2011-06-03 2012-12-06 Google Inc. Gestures for Selecting Text
JP2013045362A (ja) * 2011-08-25 2013-03-04 Konica Minolta Business Technologies Inc 電子情報端末及び領域設定制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672605B1 (ko) * 2006-03-30 2007-01-24 엘지전자 주식회사 아이템 선택 방법 및 이를 위한 단말기
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
KR101705872B1 (ko) * 2010-09-08 2017-02-10 삼성전자주식회사 모바일 디바이스의 화면상의 영역 선택 방법 및 장치
KR101729523B1 (ko) * 2010-12-21 2017-04-24 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101356368B1 (ko) * 2012-02-24 2014-01-29 주식회사 팬택 어플리케이션 전환 장치 및 방법
US9280282B2 (en) * 2012-05-30 2016-03-08 Huawei Technologies Co., Ltd. Touch unlocking method and apparatus, and electronic device
CN102722334B (zh) * 2012-06-06 2016-02-24 中兴通讯股份有限公司 触摸屏幕的控制方法及装置
CN102880420B (zh) * 2012-09-19 2014-12-31 广州视睿电子科技有限公司 基于触摸屏的启动并执行区域选择操作的方法及系统
CN103019597A (zh) * 2012-12-10 2013-04-03 中兴通讯股份有限公司 一种内置截图功能的智能终端及其实现方法
KR102113674B1 (ko) * 2013-06-10 2020-05-21 삼성전자주식회사 다중 터치를 이용한 객체 선택 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163444A (ja) 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
US20120287063A1 (en) * 2011-05-11 2012-11-15 Chi Mei Communication Systems, Inc. System and method for selecting objects of electronic device
US20120306772A1 (en) * 2011-06-03 2012-12-06 Google Inc. Gestures for Selecting Text
JP2013045362A (ja) * 2011-08-25 2013-03-04 Konica Minolta Business Technologies Inc 電子情報端末及び領域設定制御プログラム

Also Published As

Publication number Publication date
JP2016528600A (ja) 2016-09-15
US10474346B2 (en) 2019-11-12
WO2015004525A2 (en) 2015-01-15
WO2015004525A3 (en) 2015-04-30
EP3014410A2 (en) 2016-05-04
WO2014205605A1 (en) 2014-12-31
CN106104450B (zh) 2021-05-28
CN106104450A (zh) 2016-11-09
US20160139764A1 (en) 2016-05-19
KR20210005753A (ko) 2021-01-14

Similar Documents

Publication Publication Date Title
KR102228335B1 (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
US8373673B2 (en) User interface for initiating activities in an electronic device
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
US10042522B2 (en) Pinch gesture to navigate application layers
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
KR101328202B1 (ko) 제스처 입력을 통한 기능 수행 명령실행 방법 및 장치
US20110231796A1 (en) Methods for navigating a touch screen device in conjunction with gestures
EP2669786A2 (en) Method for displaying item in terminal and terminal using the same
US20120139844A1 (en) Haptic feedback assisted text manipulation
US8456433B2 (en) Signal processing apparatus, signal processing method and selection method of user interface icon for multi-touch panel
JP2013513164A (ja) 三状態タッチ入力システム
US20140033110A1 (en) Accessing Secondary Functions on Soft Keyboards Using Gestures
WO2014078804A2 (en) Enhanced navigation for touch-surface device
WO2014095756A1 (en) User interfaces and associated methods
US20150220182A1 (en) Controlling primary and secondary displays from a single touchscreen
KR20160004590A (ko) 전자 장치의 화면 표시 방법 및 전자 장치
US20140298275A1 (en) Method for recognizing input gestures
US20240004532A1 (en) Interactions between an input device and an electronic device
KR102296968B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
KR20100107611A (ko) 단말 제어 장치 및 방법
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR101692848B1 (ko) 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR20160027063A (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
KR101529886B1 (ko) 제스처 기반 3ｄ 그래픽 사용자 인터페이스 제공방법
KR102205235B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant