KR20170126499A - 핸드헬드 동작을 위한 디바이스 및 그 방법 - Google Patents

핸드헬드 동작을 위한 디바이스 및 그 방법 Download PDF

Info

Publication number
KR20170126499A
KR20170126499A KR1020177029475A KR20177029475A KR20170126499A KR 20170126499 A KR20170126499 A KR 20170126499A KR 1020177029475 A KR1020177029475 A KR 1020177029475A KR 20177029475 A KR20177029475 A KR 20177029475A KR 20170126499 A KR20170126499 A KR 20170126499A
Authority
KR
South Korea
Prior art keywords
elements
touch
user
touched
memory
Prior art date
Application number
KR1020177029475A
Other languages
English (en)
Other versions
KR102127270B1 (ko
Inventor
페터 외크비스트
다비드 린데그렌
토미 아른그렌
틸 부르케르트
Original Assignee
텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) filed Critical 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Publication of KR20170126499A publication Critical patent/KR20170126499A/ko
Application granted granted Critical
Publication of KR102127270B1 publication Critical patent/KR102127270B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F17/30899—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

핸드헬드 동작을 위한 디바이스(100)가 제공된다. 디바이스는 터치스크린(110) 및 프로세싱 수단(111)을 포함하고, 프로세싱 수단(111)은, 터치스크린 상에 복수의 사용자 인터페이스(UI) 엘리먼트들(121-124)을 디스플레이하고 - 각각의 UI 엘리먼트는 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관됨 -, 터치 패턴(130)에 기초하여, 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자(150, 151)가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하고, 결정된 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, UI 엘리먼트와 연관된 액션을 수행하도록 동작한다. 액션은, 예를 들어, 서버(180)로부터 사용자에 의해 요청될 가능성이 있는 콘텐츠를 프리-페칭하는 것을 포함할 수 있다. 터치 패턴에 기초하여 프리-페칭과 같은 액션을 수행하는 것은 유리할 수 있는데, 왜냐하면 터치 패턴은 사용자가 터치스크린의 특정 포지션 또는 영역을 터치할 상대적 가능성을 반영하고, 이에 의해 레이턴시를 감소시키기 때문이다.

Description

핸드헬드 동작을 위한 디바이스 및 그 방법
본 발명은 핸드헬드 동작을 위한 디바이스, 핸드헬드 동작을 위한 디바이스의 방법, 대응하는 컴퓨터 프로그램 및 대응하는 컴퓨터 프로그램 제품에 관한 것이다.
모바일 단말들, 모바일폰들, 스마트폰들 또는 태블릿들과 같은 모바일 디바이스들로의 데이터 송신을 필요로 하는 웹 또는 기타 서비스들의 사용은 혼합된 경험일 수 있다. 서버들에 의해 제공되는 웹페이지들 또는 기타 콘텐츠를 검색할 때 응답 시간이 길면 사용자 경험이 열악하고 불만족스러울 수 있다. 모바일 디바이스들이 인터넷에 접속되는 무선 통신 네트워크들을 통해 데이터를 검색하는 것과 관련된 레이턴시는 콘텐츠를 프리-페칭(pre-fetching)하는 것에 의해 개선될 수 있다.
웹페이지들과 같은 콘텐츠를 프리-페칭하는 것은, 예를 들어, 모바일 디바이스 상에 렌더링된 웹페이지에 대한 링크를 선택함으로써, 모바일 디바이스의 사용자가 실제로 콘텐츠를 요청하기 전에 사용자에 의해 요청될 가능성이 있는 콘텐츠를 예측하는 것에 기초한다. 프리-페칭을 위해 콘텐츠를 예측하기 위한 공지된 전략들은 요청된 콘텐츠에 대한 통계에 기초하는 경우가 많다. 또한, 브라우저 이력과 같은 사용자 특정 거동이 고려될 수 있다. 또한, 프리-페칭은 모바일 디바이스의 지리적 위치에 기초할 수도 있는데, 왜냐하면 사용자들이 멀리 있는 위치들에 관련된 기사들보다는 현지 뉴스 기사들을 읽을 가능성이 높기 때문이다.
본 발명의 목적은 상기 기술들 및 종래 기술에 대한 개선된 대안을 제공하는 것이다.
보다 구체적으로, 본 발명의 목적은, 특히, 디바이스에 의해 액세스될 수 있는 통신 네트워크를 통해 제공되는 콘텐츠에 액세스할 때, 터치스크린 기반 사용자 인터페이스에 의해 동작되는 디바이스들의 레이턴시를 감소시키기 위한 솔루션들을 제공하는 것이다.
본 발명의 이들 및 다른 목적들은 독립항들에 의해 정의된 바와 같은 본 발명의 상이한 양태들에 의해 달성된다. 본 발명의 실시예들은 종속항들에 의해 특징지어진다.
본 발명의 제1 양태에 다르면, 핸드헬드 동작을 위한 디바이스가 제공된다. 디바이스는 터치스크린 및 프로세싱 수단을 포함한다. 프로세싱 수단은 터치스크린 상에 복수의 사용자 인터페이스(UI) 엘리먼트들을 디스플레이하도록 동작한다. 디스플레이된 UI 엘리먼트들 각각은 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관된다. 프로세싱 수단은, 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 추가로 동작한다. 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들은 터치 패턴에 기초하여 결정된다. 프로세싱 수단은, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, UI 엘리먼트와 연관된 액션을 수행하도록 추가로 동작한다.
본 발명의 제2 양태에 따르면, 핸드헬드 동작을 위한 디바이스의 방법이 제공된다. 디바이스는 터치스크린을 포함한다. 방법은 터치스크린 상에 복수의 UI 엘리먼트들을 디스플레이하는 단계를 포함한다. 디스플레이된 UI 엘리먼트들 각각은 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관된다. 방법은 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하는 단계를 추가로 포함한다. 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들은 터치 패턴에 기초하여 결정된다. 방법은, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, UI 엘리먼트와 연관된 액션을 수행하는 단계를 추가로 포함한다.
본 발명의 제3 양태에 따르면, 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 컴퓨터 실행가능 명령어들을 포함하며, 컴퓨터 실행가능 명령어들은, 컴퓨터 실행가능 명령어들이 디바이스에 포함된 프로세싱 유닛 상에서 실행될 때, 디바이스로 하여금 본 발명의 제2 양태의 실시예에 따른 방법을 수행하게 한다.
본 발명의 제4 양태에 따르면, 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 본원에서 구현되는 본 발명의 제3 양태에 따른 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능 저장 매체를 포함한다.
본 발명을 명료하게 하기 위하여, 핸드헬드 동작을 위한 디바이스는 디바이스의 사용자의 손 또는 손들에 의해 잡히고 동작되도록 설계되는 디바이스로서 이해되어야 한다. 본 발명의 실시예들은 사용자가 하나 이상의 손가락들에 의해 터치를 하고/하거나 제스처들을 수행함으로써 디바이스를 동작할 수 있게 하는 터치스크린 기반 사용자 인터페이스를 제공하는 디바이스들에 관한 것이다. 본 문맥에서, 핸드헬드 동작을 위한 디바이스는, 예를 들어, 모바일 단말, 모바일 디바이스, 모바일폰, 스마트폰, 사용자 장비(UE) 또는 태블릿일 수 있다. 디바이스의 기하학적 구조에 따라, 이것은 싱글-핸디드(single-handed) 동작으로 지칭되는 한 손에 의한 동작이 가능할 수 있으며, 즉, 디바이스가 한 손으로 잡히고, 동일한 손의 손가락, 통상적으로는 엄지 손가락으로 터치스크린과 상호작용한다. 이는 통상적으로 Apple iPhone 또는 Samsung Galaxy와 같은 스마트폰 사이즈를 갖는 디바이스들의 경우이다. Apple iPad 또는 Samsung Tab과 같이 사이즈가 더 큰 디바이스들은 통상적으로 한 손으로 잡고, 다른 손으로 터치스크린과 상호작용한다. 디바이스의 기하학적 구조 및 사용자의 손들의 해부학적 구조에 따라, 디바이스들이 싱글-핸디드로도 또는 양손으로도 동작될 수 있다는 것에 유의하도록 한다. UI 엘리먼트는, Apple의 iOS, Android, Symbian, Windows Mobile 등에 의해 제공되는 터치스크린 기반 사용자 인터페이스들로부터 알 수 있듯이, 사용자가 터치하여 디바이스를 제어할 수 있는 가상 버튼 또는 키, 링크 또는 아이콘과 같은 그래픽 객체이다.
본 발명은, 터치 패턴과 관련된 UI 엘리먼트의 포지션에 의존하는 터치스크린 기반 디바이스의 터치 패턴이, 터치스크린 상에 디스플레이된 UI 엘리먼트와 연관된 액션을, 사용자에 의해 액션이 실제로 요청되기 전에, 수행, 개시 또는 준비하기 위해 사용될 수 있다는 이해를 활용한다. 터치 패턴은 사용자가 터치스크린의 특정 포지션 또는 영역을 터치할 상대적 가능성을 반영한다. 따라서, 수행되는 액션은, 터치 패턴에 따라, 사용자에 의해 가장 터치될 가능성이 있는 UI 엘리먼트와 연관된 액션이다. 임의적으로, 터치될 가능성이 있는 복수의 UI 엘리먼트들이 결정될 수 있고, 이들의 연관된 액션들이 수행될 수 있다. 본 기술분야에서, 터치 패턴들은 웹페이지들 또는 사용자 인터페이스들과의 사용자 상호작용을 분석 및 시각화하는 데 사용되며, 터치 히트맵(touch heatmap)들이라고도 지칭된다.
터치 패턴들에 기초하여 서버로부터 콘텐츠를 프리-페칭하거나 소프트웨어의 일부분을 프리-로딩(pre-loading)하는 것과 같은 액션을 수행하는 것은 유리할 수 있는데, 왜냐하면 사용자들이 터치스크린 기반 디바이스들을 동작시키는 터치 패턴들이 터치스크린의 전체 영역에 걸쳐 균등하게 분포된 터치 확률을 나타내지 않기 때문이다. 오히려, 터치스크린의 상이한 포지션들 또는 영역들은 사용자의 손가락에 의해 터치되는 상이한 상대 확률들을 갖는다. 이는 터치 패턴이 디바이스의 기하학적 구조, 사용자의 손의 해부학적 구조, 싱글-핸디드 방식 또는 양손 방식과 같이 사용자가 디바이스를 잡고 동작시키는 방식뿐만 아니라, 사용자의 터치 습관들을 반영하기 때문이다. 특히, 싱글-핸디드 동작의 경우, 터치 패턴은 디바이스를 잡은 손의 엄지손가락 끝에 의해 액세스될 수 있는 터치스크린의 제한된 영역에 의해 현저하게 영향을 받는다.
사용자가 UI 엘리먼트와 연관된 액션을 실제로 요청하기 전에 터치 패턴에 기초하여 액션을 수행함으로써, 레이턴시가 감소되고, 사용자들이 디바이스의 보다 신속한 응답을 경험하게 된다. 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정할 때, 터치될 확률이 가장 높은 하나 이상의 UI 엘리먼트들이 선택된다. 터치 확률은 터치 패턴에 대한 터치스크린 상의 UI 엘리먼트의 포지션을 검색함으로써 각각의 UI 엘리먼트에 대해 결정된다. 터치될 확률이 가장 높은 하나 이상의 UI 엘리먼트들은 가장 가능성이 있는 UI 엘리먼트 단독일 수도 있고, 최상위 2개 또는 최상위 3개의 가장 가능성이 있는 UI 엘리먼트들일 수도 있고, 또는 임의의 다른 수의 가장 가능성이 있는 UI 엘리먼트들일 수도 있다. 대안적으로, 본 발명의 실시예들은, 사용자가 스크린을 터치하여 액션을 실제로 요청할 때까지, 가장 가능성이 있는 UI 엘리먼트와 연관된 액션을 초기에 수행하고, 이어서 터치 확률이 적어지는 순에 따라 액션들을 수행할 수 있다.
본 발명의 실시예에 따르면, 터치 패턴은 사용자 특정적이다. 이는 가장 가능성이 있는 UI 엘리먼트 또는 엘리먼트들을 예측하기 위해 사용자 특정적인 터치 습관들이 고려되기 때문에 유리하다. 또한, 싱글-핸디드 동작의 경우, 터치 패턴은 적어도 부분적으로 사용자의 손의 해부학적 구조에 의해 결정된다. 대안적으로, 터치 패턴들은 사용자 그룹의 터치 패턴들을 평균화함으로써 도출되는 일반적인 터치 패턴들일 수 있다.
본 발명의 실시예에 따르면, 터치 패턴은 디스플레이된 UI 엘리먼트들, 특히, 터치스크린 상에서의 이들의 배치(arrangement)에 의존한다. 통상적으로, UI 엘리먼트들의 단일-컬럼 리스트의 터치 패턴은 그리드로 배치된 UI 엘리먼트들에 대한 터치 패턴과 상이하다. 유리하게는, 디스플레이된 UI 엘리먼트들에 의존하는 터치 패턴들을 사용함으로써, 가장 가능성이 있는 UI 엘리먼트 또는 엘리먼트들에 대한 보다 신뢰성 있는 예측을 가져온다.
본 발명의 실시예에 따르면, 액션은 디바이스가 액세스하도록 동작하는 통신 네트워크를 통해 서버에 의해 제공되는 콘텐츠를 요청하는 것을 포함한다. 통신 네트워크는 이더넷 네트워크, 근거리 네트워크(LAN), 무선 LAN(WLAN) 또는 Wi-Fi 네트워크, 인터넷 또는 셀룰러 모바일 네트워크와 같이 유선 또는 무선, 또는 이들의 조합일 수 있다. 콘텐츠는 예를 들어, URL(Uniform Resource Locator)과 같은 UI 엘리먼트와 연관된 네트워크 어드레스에 의해 식별될 수 있다. 임의적으로, 디바이스는, 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트와 연관된 요청된 콘텐츠를 렌더링하도록 추가로 동작할 수 있다. 사용자가 요청할 가능성이 있는 콘텐츠를 프리-페칭함으로써, 사용자가 콘텐츠를 실제로 요청하기 전에, 콘텐츠를 렌더링하기 시작하는데 필요한 데이터가 디바이스에 의해 검색, 예를 들어, 다운로드 또는 스트리밍될 수 있다. 이러한 방식으로, 요청된 콘텐츠를 렌더링하기 위한 레이턴시가 감소된다. 사용자가 연관된 UI 엘리먼트를 터치할 때까지 성공적으로 검색된 경우, 요청된 콘텐츠가 렌더링된다. 가능성이 있다고 결정된 UI 엘리먼트들 중에 터치된 UI 엘리먼트가 없다면, 디바이스는 터치된 UI 엘리먼트와 연관된 콘텐츠를 요청하고, 프리-페칭된 콘텐츠는 폐기될 수 있다.
본 발명의 실시예에 따르면, 액션은 디바이스의 제1 메모리에 저장된 컴퓨터 실행가능 명령어들을 디바이스의 제2 메모리에 로딩하는 것을 포함하며, 제2 메모리는 제1 메모리보다 짧은 액세스 시간을 갖는다. 제2 메모리는 예를 들어, 통상적으로 디바이스의 프로세서에 포함되는 캐시 메모리를 포함할 수 있다. 임의적으로, 디바이스는, 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트와 연관된 로딩된 컴퓨터 실행가능 명령어들을 실행하도록 추가로 동작할 수 있다. 명령어들의 세트, 즉, 소프트웨어의 일부분을 프리-로딩함으로써, 사용자에 의해 요청될 때, 소프트웨어, 애플리케이션이나 앱, 또는 애플리케이션 또는 앱의 특정 기능을 실행하는 데 필요한 시간이 단축되고, 사용자가 디바이스의 동작을 보다 신속하게 경험하게 된다. 만일 가능성이 있다고 결정된 UI 엘리먼트들 중에 터치된 UI 엘리먼트가 없다면, 디바이스는 터치된 UI 엘리먼트와 연관된 컴퓨터 실행가능 명령어들을 로딩한다.
본 발명의 실시예에 따르면, 프로세싱 수단은 사용자가 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치스크린 상의 터치된 UI 엘리먼트의 포지션에 기초하여 터치 패턴을 업데이트하도록 추가로 동작할 수 있다. 터치를 검출하는 것에 응답하여 터치 패턴을 업데이트함으로써, 디바이스의 터치 패턴이 개선되고, 시간에 따라 보다 사용자 특정적으로 되어, 터치될 가능성이 있는 UI 엘리먼트들에 대한 예측이 개선되게 된다.
본 발명의 실시예에 따르면, 프로세싱 수단은, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 것에 응답하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작할 수 있다. 예를 들어, 프로세싱 수단은 사용자가 자신이 스크롤링한 디스플레이된 그래픽 객체, 예를 들어, 웹페이지를 릴리즈하여 스크롤링된 객체를 느려지게 한 것, 또는 사용자가 스크롤링 객체를 정지시키기 위해 터치스크린을 터치함으로써 진행 중인 스크롤링 모션을 정지시킨 것을 검출하도록 동작할 수 있다. 임의적으로, 프로세싱 수단은, 스크롤링 모션이 정지하였을 때 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작할 수 있다. 유리하게는, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하고, 스크롤링 모션이 정지하였을 때 터치스크린 상에 보이는 UI 엘리먼트들의 각각의 포지션들을 결정함으로써, 가장 터치될 가능성이 있는 UI 엘리먼트들에 대한 개선된 예측이 달성된다. 이는, 터치스크린 기반 디바이스들의 사용자들이 진행 중인 스크롤링 모션을 언제 멈추게 할지 또는 느리게 할지에 대한 느낌을 발달시켜, 싱글-핸디드 동작 동안에, 원하는 UI 엘리먼트, 즉, 사용자가 터치하려고 의도한 UI 엘리먼트가 사용자의 손가락, 특히, 사용자의 엄지손가락에 의해 편하게 액세스될 수 있는 포지션에서 멈추게 되도록 한다는 이해에 기초한다.
본 발명의 실시예에 따르면, 프로세싱 수단은, 디바이스의 특징적인 모션, 디바이스의 특징적인 방향 변화, 또는 둘 다를 검출하는 것에 응답하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작할 수 있다. 이는 사용자가 액세스하기 더 어려운 터치스크린의 영역들에 닿기 위해 자신의 엄지손가락을 뻗는 것과 연관된 디바이스의 모션 및/또는 방향 변화이며, 이에 의해 터치 패턴을 효과적으로 수정할 수 있다. 임의적으로, 터치 패턴은 특징적인 모션 및/또는 특징적인 방향 변화에 추가로 의존할 수 있다. 유리하게는, 특징적인 모션 및/또는 특징적인 방향 변화를 가장 가능성이 있는 UI 엘리먼트 또는 엘리먼트들을 예측하기 위한 트리거로서 사용함으로써, 또한 특징적인 모션 및/또는 특징적인 방향 변화를 예측에 대한 추가 입력으로서 사용함으로써, 더 정확한 예측이 행해질 수 있다.
본 발명의 이점들이 일부 경우들에서는 본 발명의 제1 양태의 실시예들을 참조하여 설명되었지만, 본 발명의 다른 양태들의 실시예들에도 대응하는 추론이 적용된다.
본 발명의 또 다른 목적들, 특징들 및 이점들은 이하의 상세한 개시내용, 도면들 및 첨부된 청구항을 연구하면 명백해질 것이다. 본 기술분야의 통상의 기술자는 본 발명의 상이한 특징들이 결합되어 이하에서 설명되는 것 이외의 실시예들을 생성할 수 있다는 것을 인식한다.
본 발명의 상기한 목적들, 특징들 및 이점들뿐만 아니라, 추가적인 목적들, 특징들 및 이점들은, 첨부된 도면들을 참조하여, 본 발명의 실시예들에 대한 이하의 예시적이고 비제한적인 상세한 설명을 통해 더 잘 이해될 것이다.
도 1은 본 발명의 실시예에 따른 핸드헬드 동작을 위한 디바이스를 도시한다.
도 2는 본 발명의 다른 실시예에 따른 핸드헬드 동작을 위한 디바이스를 도시한다.
도 3은 본 발명의 실시예들에 따른 터치 패턴들을 예시한다.
도 4는 본 발명의 실시예에 따른 핸드헬드 동작을 위한 디바이스의 프로세싱 유닛을 도시한다.
도 5는 본 발명의 실시예에 따른 핸드헬드 동작을 위한 디바이스의 방법을 도시한다.
도 6은 본 발명의 다른 실시예에 따른 핸드헬드 동작을 위한 디바이스의 프로세싱 유닛을 도시한다.
모든 도면들은 개략적인 것으로서, 반드시 축척대로인 것은 아니며, 일반적으로 본 발명을 명료하게 하기 위해 필요한 부분들만을 도시하고, 다른 부분들은 생략되거나 단지 제시되기만 할 수 있다.
본 발명은 이제 본 발명의 특정 실시예들이 도시된 첨부 도면들을 참조하여 이하에서 보다 완전하게 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있으며, 여기에 설명된 실시예들에 제한되는 것으로 해석되어서는 안된다. 오히려, 이들 실시예들은, 본 개시내용이 철저하고 완전하게 되고 본 기술분야의 통상의 기술자에게 본 발명의 범위를 충분히 전달하도록 예로서 제공된다.
도 1에는, 핸드헬드 동작을 위한 디바이스의 실시예(100)가 도시되어 있다. 디바이스(100)는 터치스크린(110) 및 프로세싱 수단(111)을 포함한다. 임의적으로, 디바이스(100)는 인터넷, 근거리 네트워크(LAN), 회사 네트워크 등과 같은 통신 네트워크(160)와 통신하기 위한 수단(113)을 추가로 포함할 수 있다. 수단(133)은 예를 들어, 이동 통신 글로벌 시스템(Global System for Mobile Communications)(GSM) 네트워크, 범용 이동 통신 시스템(Universal Mobile Telecommunications System)(UMTS) 네트워크 또는 롱 텀 에볼루션(Long Term Evolution)(LTE) 네트워크와 같은 셀룰러 통신 네트워크, 또는 WLAN 또는 Wi-Fi 네트워크와 같은 무선 액세스 네트워크(Radio Access Network)(RAN)(170)와 무선 통신을 수행하도록 동작하는 무선 송수신기를 포함하는 무선 유닛일 수 있다. 본 발명의 실시예들은 무선 통신에 제한되지 않는다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 따라서, 수단(113)은 디바이스(100)가 이더넷(도 1에 도시되지 않음)과 같은 유선 통신 링크를 통해 통신 네트워크(160)와 통신하게 할 수 있는 유선 네트워크 인터페이스일 수 있다. 디바이스(100)는 예를 들어, 모바일 단말, 모바일폰, UE, 또는 스마트폰일 수 있다.
터치스크린(110)은 터치스크린 기반 사용자 인터페이스를 제공하도록 동작하며, 이 터치스크린 기반 사용자 인터페이스는, Apple의 iOS, Android, Symbian, Windows Mobile 및 터치스크린 기반 사용자 인터페이스들을 지원하는 기타 운영 체체들로부터 알 수 있는 바와 같이, 사용자가 하나 이상의 손가락들(151)에 의해 터치하고/하거나 제스처들을 수행함으로써 디바이스(100)를 동작하게 할 수 있다. 저항식 터치스크린들(resistive touchscreens), 표면 탄성파 터치스크린들(surface acoustic wave touchscreens) 및 정전식 터치스크린들(capacitive touchscreens)과 같은 다양한 타입들의 터치스크린이 공지되어 있다.
프로세싱 수단(111)은 터치스크린(110) 상에 복수의 사용자 인터페이스(UI) 엘리먼트들(121-124)을 디스플레이하도록 동작한다. UI 엘리먼트들(121-124)은 사용자가 터치하여 디바이스(100)를 제어하거나 정보를 입력할 수 있는 그래픽 객체들이다. UI 엘리먼트(121-124)는 예를 들어, 가상 버튼 또는 키, 링크(122), 아이콘(121 또는 123) 또는 이미지(124)일 수 있다. UI 엘리먼트들(121-124) 각각은 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관된다. 프로세싱 수단(111)은 텍스트, 이미지들 또는 기타 그래픽 객체들과 같이 임의의 액션과 연관되지 않은 추가적인 UI 엘리먼트들을 터치스크린(110) 상에 디스플레이하도록 동작할 수 있다는 것이 이해될 것이다. 이러한 추가적인 UI 엘리먼트들은 디바이스(100)의 동작을 제어하는 데 사용될 수 없다.
프로세싱 수단(111)은, 터치 패턴에 기초하여, 디스플레이된 UI 엘리먼트들(121-124) 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들(여기에서, 가능성이 있는 UI 엘리먼트들이라고도 지칭됨)을 결정하도록 추가로 동작한다. 바람직하게는, 이들은 디바이스(100)의 사용자에 의해 터치될 확률이 가장 높은 하나 이상의 UI 엘리먼트들이다. 터치 확률은 터치 패턴에 대한 터치스크린 상의 UI 엘리먼트의 포지션을 검색함으로써 각각의 UI 엘리먼트에 대해 결정된다. 터치 패턴은 사용자가 터치스크린(110)의 특정 포지션 또는 영역을 터치할 상대 확률을 반영한다. 터치 패턴은 디바이스(100)의 데이터 스토리지, 예를 들어, 프로세싱 수단(111)에 포함된 메모리(430)(이하에서 추가로 설명되는 도 4 참조), 또는 네트워크 부착 스토리지(Networked Attached Storage)(NAS) 또는 클라우드 스토리지와 같이 디바이스(100)가 액세스하도록 동작하는 통신 네트워크(160)를 통해 디바이스(100)가 액세스할 수 있는 데이터 스토리지에 저장될 수 있다. 본 기술분야에서 히트맵(heatmap)들로도 공지되어 있는 이러한 터치 패턴들은 도 3을 참조하여 이하에서 더 상세히 설명된다. 이들은 디바이스(100)의 기하학적 구조, 사용자의 손(150)의 해부학적 구조, 싱글-핸디드 방식또는 양손 방식과 같이 사용자가 디바이스(100)를 잡고 동작시키는 방식뿐만 아니라, 사용자의 터치 습관들을 반영한다. 특히, 싱글-핸디드 동작의 경우, 터치 패턴은, 손(150)으로 디바이스(100)를 잡을 때, 엄지손가락(151)의 끝에 의해 액세스될 수 있는 터치스크린(110)의 제한된 영역(130)에 의해 현저하게 영향을 받는다.
프로세싱 수단(111)은, 디바이스(100)의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, UI 엘리먼트와 연관된 액션을 수행하도록 추가로 동작한다. 이를 위해, 수행되는 액션은, 터치 패턴에 따라, 사용자에 의해 가장 터치될 가능성이 있는 UI 엘리먼트와 연관된 액션이다. 임의적으로, 터치될 가능성이 있는 복수의 UI 엘리먼트들이 결정될 수 있고, 이들의 연관된 액션들이 수행될 수 있다. 대안으로서, 프로세싱 수단(111)은 가장 가능성이 있는 UI 엘리먼트와 연관된 액션을 초기에 수행하고, 사용자에 의해 터치되는 확률이 적어지는 순에 따라, 이어서 다른 가능성이 있는 UI 엘리먼트들과 연관된 액션 또는 액션들을 수행하도록 동작될 수 있다.
예를 들어, 링크(122)는, 예를 들어, 웹페이지, 비디오, 또는 애플리케이션 또는 앱과 같이, 서버(180)에 의해 제공되는 콘텐츠를 요청하는 액션과 연관될 수 있다. 콘텐츠는 통신 네트워크(160)를 통해 액세스될 수 있는 웹 서버(180), 미디어 서버(180) 등을 가리키는 URL과 같은 네트워크 어드레스에 의해 식별될 수 있다.
이를 위해, 디바이스(100)는 사용자가 링크(122)를 터치함으로써 요청할 가능성이 있는 콘텐츠를, 요청하고 데이터를 검색함으로써 프리-페칭한다. 프로세싱 수단(111)은 사용자가 디바이스(100)의 사용자에 의해 터치될 가능성이 있는 것으로 결정된 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트와 연관된 요청된 콘텐츠를 렌더링하도록 추가로 동작할 수 있다. 즉, 사용자가 연관된 UI 엘리먼트를 터치할 때까지 성공적으로 검색된 경우, 요청된 콘텐츠가 디바이스(100) 상에 디스플레이되거나 또는 렌더링된다. 예를 들어, 요청된 웹페이지가 디바이스(100) 상에서 실행되는 웹 브라우저에 의해 렌더링될 수 있고, 요청된 비디오가 디바이스(100) 상에서 실행되는 비디오 플레이어에 의해 렌더링될 수 있다. 사용자가 연관된 UI 엘리먼트를 터치할 때까지 콘텐츠의 일부분만이 검색된 경우, 요청된 콘텐츠의 타입에 따라, 프로세싱 수단(111)은 나머지 부분이 검색되는 동안에 콘텐츠를 렌더링하기 시작할 수 있다. 또한, 가능성이 있다고 결정된 UI 엘리먼트들 중에 터치된 UI 엘리먼트가 없다면, 디바이스(100)는 터치된 UI 엘리먼트와 연관된 콘텐츠를 요청하고, 프리-페칭된 콘텐츠는 폐기될 수 있다.
추가적인 예로서, 아이콘(121 또는 123)은 디바이스(100)의 제1 메모리에 저장된 컴퓨터 실행가능 명령어들을 디바이스(100)의 제2 메모리에 로딩하는 액션과 연관될 수 있으며, 제2 메모리는 제1 메모리보다 짧은 액세스 시간을 갖는다. 예를 들어, 컴퓨터 실행가능 명령어들, 즉, 소프트웨어의 일부분 또는 소프트웨어 또는 컴퓨터 프로그램의 일부, 애플리케이션 또는 앱이 랜덤 액세스 메모리(RAM)와 같은 메인 메모리(430)로부터 프로세싱 수단(111)의 프로세서(420)에 포함된 캐시 메모리(421)(이하에서 추가로 설명되는 도 4 참조)에 로딩될 수 있다. 통상적으로, 이러한 캐시 메모리는 명령어들을 실행하는 프로세서와 매우 가깝게 제공되고, 종종 이와 동일한 집적 회로(IC)에 포함되어, 메인 메모리, 하드 디스크 드라이브들, NAS 또는 클라우드 스토리지와 같은 다른 타입들의 데이터 스토리지에 비해 액세스 시간이 더 짧아진다. 명령어들을 프리-로딩함으로써, 사용자가 프리-로딩된 명령어들과 연관된 아이콘을 터치하면, 레이턴시가 감소되고, 사용자가 디바이스(100)의 동작을 보다 신속하게 경험하게 된다. 프로세싱 수단(111)은 사용자가 디바이스(100)의 사용자에 의해 터치될 가능성이 있는 것으로 결정된 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 제2 메모리, 예를 들어, 캐시 메모리(421)에 프리-로딩된 컴퓨터 실행가능 명령어들을 실행하도록 추가로 동작할 수 있다. 가능성이 있다고 결정된 UI 엘리먼트들 중에 터치된 UI 엘리먼트가 없다면, 프로세싱 수단(111)은 터치된 UI 엘리먼트와 연관된 컴퓨터 실행가능 명령어들을 제2 메모리에 로딩하고, 프리-로딩된 명령어들은 폐기되거나 오버라이트될 수 있다.
또한, 도 1을 참조하면, 프로세싱 수단(111)은 사용자가 디스플레이된 UI 엘리먼트들(121-124) 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트의 포지션에 기초하여, 터치 패턴을 업데이트하도록 추가로 동작할 수 있다. 즉, 디바이스(100)는, 사용자와 디바이스(100)의 실제 상호작용들, 즉, 사용자가 터치스크린(110)을 터치하는 것에 기초하여 터치 패턴을 업데이트함으로써, 사용자의 터치 습관들을 연속적으로, 때때로 또는 트레이닝 단계 동안에 학습할 수 있다. 이는 사용자가 가장 터치할 가능성이 있는 UI 엘리먼트 또는 엘리먼트들에 대한 예측이 보다 정확해진다는 점에서 유리하다. 대안으로서, 프로세싱 수단(111)은 사용자 상호작용의 포지션, 즉, 손(150)의 손가락(151)이 터치스크린(110)을 터치하는 포지션, 및 예측, 즉, 디스플레이된 UI 엘리먼트들(121-124) 중 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하는 것이 성공적인지 아닌지를 나타내는 정보에 기초하여 터치 패턴을 업데이트하도록 동작할 수 있다. 또 다른 실시예로서, 사용자 특정 터치 패턴들을 사용하는 대신에, 디바이스(100)의 실시예들은 사용자 그룹의 터치 상호작용들을 평균화함으로써 도출되는 터치 패턴들 또는 일반적인 터치 패턴들을 시용할 수 있다.
또 다시 도 1을 참조하면, 프로세싱 수단(111)은 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 것에 응답하여, 디바이스(100)의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작할 수 있다. 예를 들어, 프로세싱 수단(111)은 디바이스(100)의 사용자가 자신이 스크롤링한 디스플레이된 그래픽 객체, 예를 들어, 웹페이지를 릴리즈하여 스크롤링된 객체가 멈출 때까지 느려지게 한 것을 검출하도록 동작할 수 있다. 대안적으로, 프로세싱 수단(111)은 디바이스(100)의 사용자가 스크롤링 객체를 정지시키기 위해 터치스크린을 터치함으로써 진행 중인 스크롤링 모션을 정지시킨 것을 검출하도록 동작할 수 있다.
임의적으로, 프로세싱 수단(111)은 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 것에 응답하여 타이머를 개시하고, 타이머가 경과된 후에 연관된 액션 또는 액션들을 수행하도록 동작할 수 있다. 다시 말해서, 디스플레이된 UI 엘리먼트들(121-124) 중 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하고, 이어서 하나 이상의 가능성이 있는 UI 엘리먼트들과 연관된 액션 또는 액션들을 수행하기보다는, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출한 직후에, 프로세싱 수단(111)이 연관된 액션 또는 액션들을 수행하는 것을 지연시키도록 동작하여, 사용자가 짧은 지속 시간 후에 연속적인 스크롤링을 하는 상황들에서 공연히 액션들을 수행하는 것을 피할 수 있다. 이는 예를 들어, 그래픽 객체를 스크롤링하는 데 사용되는 손가락(151)이 터치스크린(110)의 둘레, 예를 들어, 터치스크린(110)의 상부 또는 하부 엔드에 닿고 나서, 사용자가 손가락(151)을 들어올려, 계속해서 스크롤링하기 위해 손가락(151)의 끝을 둘레로부터 멀리 이동시킬 필요가 있는 경우일 수 있다. 타이머의 지속 시간은 디바이스(100)의 사용자에 의해 구성가능하거나 또는 고정된 값으로 미리 설정될 수 있다. 타이머의 최적 지속 시간은 사용자의 습관들, 특히, 사용자가 스크롤링할 때 자신의 손가락(151)을 얼마나 빨리 이동시키는지에 따라 좌우된다는 것이 이해될 것이다. 통상적으로, 타이머의 지속 시간은 대략 수십 밀리 초에서 수백 밀리 초 정도이다. 또한, 사용자에 의한 디바이스(100)의 동작 동안에, 타이머의 최적 값을 학습하도록 동작하는 본 발명의 실시예들을 구상할 수도 있다. 보다 구체적으로, 프로세싱 수단(111)은 프리-페칭 또는 프리-로딩과 같은 액션을 개시하기 위해, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 것과 사용자가 계속해서 스크롤링하거나 또는 UI 엘리먼트를 터치하기 위해 터치스크린(110)을 터치하는 것 사이의 지속 시간을 연속적으로, 때때로 또는 트레이닝 단계 동안에 측정하도록 동작할 수 있다. 측정된 지속 시간들의 데이터 세트에 기초하여, 프로세싱 수단(111)은, 사용자가 계속해서 스크롤링하는 상황들에서, 연관된 액션을 수행하는 것이 적어도 어느 정도까지는 피해지도록, 타이머에 대한 최적의 지속 기간을 선택하도록 동작할 수 있다. 예를 들어, 측정된 지속 시간들이 이봉 분포(bimodal distribution)를 나타내어, 더 짧은 지속 시간들의 모드는 사용자가 계속해서 스크롤링하기 위해 터치스크린(110)을 터치하는 것과 연관될 수 있고, 더 긴 지속 시간들의 제2 모드는 사용자가 터치스크린(110) 상에 디스플레이된 UI 엘리먼트(121-124)를 터치하는 것과 연관될 수 있는 경우, 최적의 타이머 지속 시간은 두 모드들 중간의(in-between) 값이다.
바람직하게는, 프로세싱 수단(111)은, 스크롤링 모션이 정지하였을 때 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작할 수 있다. 이는, 사용자가, 디스플레이될 때 터치스크린(110)보다 큰 웹페이지, 텍스트 또는 이미지 모음과 같은 그래픽 객체를 스크롤링할 때의 상황과 관련된다. 이러한 경우들, 예를 들어, 신문 웹페이지의 일부가 심층 기사들에 대한 링크들이 있는 짧은 요약들을 제시하는 경우들에서는, 그래픽 객체의 일부분만이 터치스크린(110) 상에 보일 수 있다. 디바이스(100)와 같은 터치스크린 기반 디바이스들의 사용자들은 스크롤링된 객체를 언제 릴리즈할지에 대한 느낌을 발달시켜, 스크롤링된 객체가 멈추게 될 때, 자신들이 터치하려고 의도한 UI 엘리먼트가 용이하게 액세스될 수 있는 터치스크린의 영역에서 멈추게 되도록 한다. 예를 들어, 신문 웹페이지를 스크롤링하는 경우, 사용자는 자신이 관심이 있다고 생각하는 기사에 대한 링크가 터치스크린(110)의 하부에서 보이게 될 때 스크롤링된 웹페이지를 릴리즈할 수 있다. 일단 스크롤링된 웹페이지가 멈추고 나면, 링크, 예를 들어, 링크(122)가 액세스하기 용이한 터치스크린(110)의 영역(130)에 디스플레이되고, 사용자는 링크를 터치함으로써 링크된 기사를 요청할 수 있다. 디바이스(100)와 같은 본 발명의 실시예들은, 링크된 기사, 및 임의적으로, 터치될 확률이 높은 터치스크린(110)의 영역에서 멈추게 되는 링크들에 의해 요청될 수 있는 다른 콘텐츠가 위에서 설명된 바와 같이 프리-페칭될 수 있다는 점에서 유리하다.
임의적으로, 프로세싱 수단(111)은, 디바이스(100)의 특징적인 모션, 디바이스(100)의 특징적인 방향 변화 또는 둘 다를 검출하는 것에 응답하여, 디바이스(100)의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 추가로 동작할 수 있다. 이는 사용자가 액세스하기 더 어려운 터치스크린(110)의 영역들에 닿기 위해 자신의 엄지손가락(151)을 뻗을 때 발생하는 디바이스(100)의 모션 및/또는 방향 변화이며, 이에 의해 터치 패턴을 효과적으로 수정할 수 있다. 디바이스(100)의 모션 및/또는 방향 변화를 검출하기 위해, 디바이스에는 가속도계들 또는 자이로스코프들과 같이 디바이스의 모션, 방향 변화 또는 둘 다를 검출하는 데 적절한 센서들(112)이 임의적으로 제공된다. 사용자가 터치스크린(110)을 터치하기 직전에 디바이스(100)의 모션 및/또는 방향 변화를 검출함으로써, 예를 들어, 디바이스(100)의 특정 변위, 가속도 또는 경사에 의해 특징 지워지는 특정 모션 및/또는 방향 변화와 특정 터치 패턴 사이의 연관성이 도출되어, 추후 사용을 위해 저장될 수 있다. 이러한 방식으로, 디바이스(100)의 특징적인 모션 및/또는 특징적인 방향 변화에 의존하는 터치 패턴이 획득된다. 이러한 터치 패턴들은 사용자가 어떤 UI 엘리먼트들을 터치할 가능성이 있는지에 대한 보다 정확한 예측들을 제공한다는 점에서 유리하다. 이는 사용자들이 닿기 어려운 터치스크린(110)의 특정 영역들에 닿기 위해 자신들의 엄지손가락을 뻗을 수 있기 때문에 그러하다. 이들 영역들은, 엄지손가락(151)을 뻗지 않고 액세스할 수 있는 터치스크린(110)의 영역(130)에 비해 다소 작다. 따라서, 디바이스(100)의 특징적인 모션 및/또는 특징적인 방향 변화를 검출하는 것에 응답하여, 가장 가능성이 있는 UI 엘리먼트가 개선된 정확도로 결정될 수 있다.
도 1의 디바이스(100)는 디바이스(100)의 사용자의 한 손(150)에 의해 동작되도록 설계된 것으로 도시되어 있지만, 본 발명의 실시예들은 싱글-핸디드 동작에 제한되지 않는다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 오히려, 핸드헬드 동작을 위한 디바이스의 실시예의 기하학적 구조에 따라, 이는 한 손으로도, 즉, 싱글-핸디드로도 또는 양손으로도 동작될 수 있다. 사용자의 양 손(150 및 155)에 의한 동작을 예시하기 위해, 핸드헬드 동작을 위한 디바이스의 대안적인 실시예(200)가 도 2에 도시되어 있다. 디바이스(200)는 디바이스(100)와 유사하며, 터치스크린(110), 프로세싱 수단(111), RAN(170)을 통해 통신 네트워크(160)와 통신하기 위한 수단(113), 및 임의적으로 디바이스(200)의 모션을 검출하기 위한 센서들(112)을 포함한다. 디바이스(100)와는 대조적으로, 디바이스(100)에 비해 디바이스(200)의 사이즈가 더 크기 때문에, 디바이스(200)를 사용자의 한 손(150)으로 잡고, 사용자의 다른 손(155)은 손(155)의 손가락, 예를 들어, 집게손가락(152)을 사용하여 터치스크린(110)과 상호작용하는 것으로 예시되어 있다. 디바이스(200)는 예를 들어, 태블릿일 수 있다. 보다 상세한 내용에 대해서는, 위에서 설명된 것이 참조된다.
이하에서는, 본 발명의 실시예들에 따라, 도 3을 참조하여 터치 패턴들이 설명된다.
도 3에는, 본 기술분야에서 터치 히트 맵들로도 공지되어 있는 4개의 예시적인 터치 패턴들이 도시되어 있다. 터치 패턴들은 디바이스(100 또는 200)와 같은 디바이스의 사용자가 특정 포지션에서 디바이스의 터치스크린(110)을 터치할 상대 확률을 반영한다. 도 3에 도시된 터치 패턴들은 디바이스(100)의 터치스크린(110)과 동일한 종횡비를 갖는 것으로 예시되어 있지만, 다른 종횡비들, 예를 들어, 디바이스(200)의 터치스크린(110)의 종횡비를 갖는 대응하는 터치 패턴들이 용이하게 구상될 수 있다는 것에 유의하도록 한다.
터치 패턴들(310 및 320)은, 터치 확률을 설명하기 위해, 터치스크린(110)의 각각의 축 또는 측면에 하나씩인 2개의 히스토그램들(311/312 및 321/322)을 활용하는 것으로 예시되어 있다. 이러한 터치 패턴들은, 확률 값들을 포함하는 2개의 벡터들(2개의 히스토그램들 각각에 하나씩임)을 사용하여, 디바이스(100 또는 200)의 데이터 스토리지에(예를 들어, 프로세싱 수단(111)의 메모리(430)의 터치 패턴(432) 등, 도 4 참조), 또는 디바이스(100 또는 200)에 의해 액세스될 수 있는 데이터 스토리지(예를 들어, 통신 네트워크(160)를 통해 액세스될 수 있는 NAS 또는 클라우드 스토리지)에 저장될 수 있다. 대안적으로, 터치 패턴(330)에 대해 도시된 바와 같이, 바람직하게는 동일한 사이즈의 영역들 또는 셀들의 그리드(331)가 터치스크린(110)에 할당될 수 있고, 각각의 영역에 대한 확률 값은 상기 데이터 스토리지에 저장되는 매트릭스로 배치될 수 있다. 이 경우, 확률 값들을 포함하는 매트릭스는 터치 확률을 반영하는 2차원 히스토그램을 나타낸다. 또 다른 대안으로서, 터치 패턴(340)에 의해 예시된 바와 같이, 본 기술분야에 공지된 임의의 적절한 포맷을 사용하여, 상대 터치 확률이 등고선 맵(341)으로서 저장될 수도 있다. 본 발명의 실시예들에 따른 터치 패턴들은 디바이스의 사용자가 디바이스의 터치스크린의 특정 영역들을 터치할 상대 확률을 설명하는 데 적절한 임의의 다른 포맷을 사용하여 저장될 수 있다는 것이 이해될 것이다.
위에서 설명된 바와 같이, 본 발명의 실시예들에 의해 활용되는 터치 패턴은 사용자 특정적일 수 있다. 이는 사용자가 터치할 가능성이 있는 UI 엘리먼트들에 대한 예측들이 사용자의 손 또는 손들의 해부학적 구조뿐만 아니라 사용자 습관들도 고려하기 때문에 유리하다. 또한, 터치스크린과의 실제 사용자 상호작용들에 기초하여 터치 패턴들을 업데이트함으로써, 사용자 특정 터치 패턴들이 시간이 지남에 따라 개선될 수 있다.
사용자 특정적인 것에 더하여, 또는 그 대신에, 터치 패턴은 디스플레이된 UI 엘리먼트들(121-124), 특히, 터치스크린(110) 상의 그들의 배치에 의존할 수도있다. 이것은 도 3에 예시되어 있으며, 여기서는 링크들의 리스트와 같이 UI 엘리먼트들의 단일-컬럼 배치에 대한 터치 패턴(310)을 예시하는 반면, 이미지들 또는 아이콘들의 모음과 같이 그리드로 배치된 UI 엘리먼트들에 대해서는 터치 패턴(320)이 터치 확률을 반영한다.
본 발명의 실시예들은 또한 디스플레이된 UI 엘리먼트들에 의존하고/하거나, 디바이스의 특징적인 모션에 의존하고/하거나, 디바이스의 특징적인 방향 변화에 의존하는 것과 결합하여 사용자 특정적인 터치 패턴들을 활용할 수 있다.
터치 패턴들은 상이한 디바이스들, 특히, 동일한 사용자의 상이한 디바이스들 사이에서 공유될 수 있다는 것이 추가로 이해될 것이다. 이는 사용자가 하나의 디바이스에서 트레이닝한 터치 패턴이 다른 디바이스에서 본 발명의 실시예들에 따라 가장 가능성이 있는 UI 엘리먼트들을 예측하는 데 사용될 수 있다는 점에서 유리하다. 상이한 디바이스들은 동일하거나 상이한 타입들일 수 있고, 동일하거나, 유사하거나 또는 상이한 사이즈 및 종횡비의 터치스크린들을 포함할 수 있다. 디바이스들 간에 터치 패턴들을 공유하는 것은 벡터들, 매트릭스들 또는 등고선 맵들과 같이 터치 패턴을 설명하는 데이터를 디바이스의 데이터 스토리지보다는, 또는 이에 더하여 네트워크 데이터 스토리지에 저장함으로써 달성될 수 있다. 네트워크 데이터 스토리지는 예를 들어, 디바이스들이 통신 네트워크(160)를 통해 액세스하도록 동작하는 NAS 또는 클라우드 스토리지(도 1 및 도 2에 도시되지는 않았지만, 서버(180)와 유사)일 수 있다.
본 발명의 실시예들은 위에서 설명된 특징들을 구현하기 위한 상이한 수단들을 포함할 수 있으며, 이들 특징들은 일부 경우들에서 다수의 대안들에 따라 구현될 수 있다. 예를 들어, UI 엘리먼트들을 디스플레이하는 것은, 예를 들어, 터치스크린(110)과 협력하여, 아마도 디바이스(100 또는 200)의 운영 체제를 실행하는 프로세싱 수단(111)에 의해 수행될 수 있다. 위에서 설명된 바와 같이, 몇몇 디바이스들 간에 터치 패턴들을 공유하는 것과 관련하여, 본 개시 내용 전체에 걸쳐 설명된 기능 중 적어도 일부분들은 네트워크 컴퓨팅 리소스, 예를 들어, 통신 네트워크(160)를 통해 상이한 디바이스들이 액세스 가능한 서버(도 1 및 도 2에 도시되지는 않았지만, 서버(180)와 유사) 상에서 수행될 수 있다는 것이 이해될 것이다. 보다 구체적으로, 터치된 UI 엘리먼트의 포지션에 기초하여 터치 패턴을 업데이트하는 것은, 디바이스(100 또는 200)가 사용자가 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 것에 응답하여, 디바이스(100 또는 200)보다는 이러한 서버에서 수행될 수 있다. 이 경우, 터치된 UI 엘리먼트에 관한 정보는 디바이스(100 또는 200)로부터 서버로 전송되며, 서버는 터치된 UI 엘리먼트들에 관한 정보를 수신하는 것에 응답하여 터치 패턴을 업데이트한다. 서버는 업데이트된 터치 패턴들을, 업데이트된 터치 패턴들을 푸시함으로써 또는 디바이스들 중 하나의 디바이스에 의한 요청에 따라, 상이한 디바이스들에 제공한다. 터치 패턴들을 유지하고 업데이트하는 것이 클라우드 서비스로서 제공될 수 있다는 것도 이해될 것이다.
도 4에는, 프로세싱 수단(111)의 실시예(400)가 도시되어 있다. 프로세싱 수단(400)은 프로세서(420), 예를 들어, 범용 프로세서, 명령어들(431), 즉, 컴퓨터 프로그램을 포함하는 메모리(430), 및 터치스크린(110), 및 임의적으로 센서들(112) 및/또는 무선 유닛(113)으로부터 정보를 수신하고 이를 제어하도록 동작하는 하나 이상의 인터페이스들(410)(도 4의 "I/O")을 포함한다. 컴퓨터 프로그램(431)은 프로세서(420)에 의해 실행가능하며, 이에 의해 디바이스(100 또는 200)가 도 1 내지 도 3을 참조하여 위에서 설명된 바와 같이 본 발명의 실시예들에 따라 수행되도록 동작한다. 프로세싱 수단(400)은, 위에서 설명된 바와 같이, 메모리(430)에 하나 이상의 터치 패턴들(432)을 저장하고, 임의적으로 저장된 터치 패턴들(432)을 업데이트하도록 추가로 동작될 수 있다. 또한, 도 4에는, 프로세서(420)에 제공되는 캐시 메모리(421)가 도시되어 있다. 캐시 메모리(421)는 메모리(430)보다 짧은 액세스 시간을 갖는다. 본 발명의 실시예에서, 컴퓨터 실행가능 명령어들(431)과 연관된 UI 엘리먼트가 디바이스(100 또는 200)의 사용자에 의해 터치될 가능성이 있는 것으로 결정되면, 메모리(430)에 저장된 컴퓨터 실행가능 명령어들(431)이 적어도 부분적으로 캐시 메모리(421)에 로딩된다.
도 5에서, 디바이스(100 또는 200)와 같은 핸드헬드 동작을 위한 디바이스의 방법의 실시예(500)를 예시하는 흐름도가 도시된다. 방법(500)은 디바이스의 터치스크린 상에 복수의 UI 엘리먼트들을 디스플레이하는 단계(510)를 포함하며, 여기서 디스플레이된 UI 엘리먼트들 각각은 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관된다. 방법(500)은, 터치 패턴에 기초하여, 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하는 단계(530), 및 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, UI 엘리먼트와 연관된 액션을 수행하는 단계(540)를 추가로 포함한다. 터치 패턴은 임의적으로 사용자 특정적일 수 있고, 및/또는 디스플레이된 UI 엘리먼트들, 특히, 디바이스의 터치스크린 상에 디스플레이된 UI 엘리먼트들의 배치에 의존할 수 있다.
예를 들어, 액션은 디바이스가 액세스하도록 동작하는 통신 네트워크를 통해 서버에 의해 제공되는 콘텐츠를 요청하는 단계(541), 즉, 프리-페칭하는 단계를 포함할 수 있다. 임의적으로, 콘텐츠는 URL과 같은 UI 엘리먼트와 연관된 네트워크 어드레스에 의해 식별될 수 있다. 또한, 임의적으로, 방법(500)은 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(542), 및 터치된 UI 엘리먼트와 연관된 요청된 콘텐츠를 렌더링하는 단계(543)를 포함할 수 있다.
대안으로서, 액션은 디바이스에 포함된 제1 메모리에 저장된 컴퓨터 실행가능 명령어들을 디바이스에 포함된 제2 메모리에 로딩하는 단계(545)를 포함할 수 있으며, 여기서 제2 메모리는 제1 메모리보다 짧은 액세스 시간을 갖는다. 제2 메모리는, 예를 들어, 캐시 메모리를 포함할 수 있다. 임의적으로, 방법(500)은 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(546), 및 터치된 UI 엘리먼트와 연관된 로딩된 컴퓨터 실행가능 명령어들을 실행하는 단계(547)를 추가로 포함할 수 있다.
임의적으로, 방법(500)은 사용자가 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(550), 및 터치된 UI 엘리먼트의 포지션에 기초하여, 터치 패턴을 업데이트하는 단계(560)를 추가로 포함할 수 있다.
또한, 임의적으로, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들은, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 단계(521)에 응답하여 결정될 수 있다(530). 이 경우, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들은, 스크롤링 모션이 정지하였을 때 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여 결정될 수 있다(530).
대안적으로, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들은, 디바이스의 특징적인 모션, 디바이스의 특징적인 방향 변화 또는 둘 다를 검출하는 단계(522)에 응답하여 결정될 수 있다(530). 임의적으로, 터치 패턴은 특징적인 모션, 특징적인 방향 변화 또는 둘 다에 의존할 수 있다.
방법(500)은 위에서 설명된 것에 따라 추가적인 또는 수정된 단계들을 포함할 수 있다는 것이 이해될 것이다. 방법(500)의 실시예는 디바이스에 포함된 프로세서(도 4를 참조하여 설명된 프로세서(420) 등)에 의해 실행되는 컴퓨터 프로그램(431)과 같은 소프트웨어로서 구현될 수 있으며, 이에 의해 디바이스가 본 발명의 실시예들에 따라 수행되도록 동작한다.
도 6에는, 프로세싱 수단(111)의 대안적인 실시예(600)가 도시되어 있다. 프로세싱 수단(600)은 터치스크린(110) 및 임의적으로 센서들(112) 및/또는 무선 유닛(113)으로부터 정보를 수신하고 이를 제어하도록 동작하는 하나 이상의 인터페이스 모듈들(610)(도 6의 "I/O")을 포함한다. 프로세싱 수단(600)은 터치스크린(110) 상에 복수의 UI 엘리먼트들을 디스플레이하도록 동작하는 디스플레이 모듈(611), 터치 패턴에 기초하여, 디스플레이된 UI 엘리먼트들 중 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작하는 터치 패턴 모듈(612), 및 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트들에 대해, UI 엘리먼트와 연관된 액션을 수행하도록 동작하는 액션 모듈(613)을 추가로 포함한다. 터치 패턴은 임의적으로 사용자 특정적일 수 있고, 및/또는 디스플레이된 UI 엘리먼트들, 특히, 디바이스의 터치스크린 상에 디스플레이된 UI 엘리먼트들의 배치에 의존할 수 있다.
예를 들어, 액션 모듈(613)은 디바이스가 액세스하도록 동작하는 통신 네트워크를 통해 서버에 의해 제공되는 콘텐츠를 요청, 즉, 프리-페칭하도록 동작할 수 있다. 임의적으로, 콘텐츠는 URL과 같은 UI 엘리먼트와 연관된 네트워크 어드레스에 의해 식별될 수 있다. 또한, 임의적으로, 액션 모듈(613)은 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트와 연관된 요청된 콘텐츠를 렌더링하도록 동작할 수 있다.
대안으로서, 액션 모듈(613)은 디바이스에 포함된 제1 메모리에 저장된 컴퓨터 실행가능 명령어들을 디바이스에 포함된 제2 메모리에 로딩하도록 동작할 수 있으며, 제2 메모리는 제1 메모리보다 짧은 액세스 시간을 갖는다. 제2 메모리는 예를 들어, 캐시 메모리를 포함할 수 있다. 임의적으로, 액션 모듈(613)은 사용자가 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고, 터치된 UI 엘리먼트와 연관된 로딩된 컴퓨터 실행가능 명령어들을 실행하도록 추가로 동작할 수 있다.
프로세싱 수단(600)은, 위에서 설명된 바와 같이, 본 발명의 실시예들에 따라 추가적인 또는 수정된 특징들을 구현하기 위한 추가적인 모듈들을 포함할 수 있다. 예를 들어, 프로세싱 수단(600)은, 사용자가 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 것에 응답하여, 터치된 UI 엘리먼트의 포지션에 기초하여, 터치 패턴을 업데이트하도록 동작하는 학습 모듈(614)을 포함할 수 있다.
추가적인 예로서, 프로세싱 수단(600)은 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하도록 동작하는 스크롤링 모듈(615)을 포함할 수 있다. 따라서, 터치 패턴 모듈(612)은, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 것에 응답하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 임의적으로 동작할 수 있다. 터치 패턴 모듈(612)은, 스크롤링 모션이 정지하였을 때 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 추가로 동작할 수 있다.
또 다른 예로서, 프로세싱 수단(600)은, 센서들(113)로부터 수신되는 정보에 기초하여, 디바이스의 특징적인 모션, 디바이스의 특징적인 방향 변화 또는 둘 다를 검출하는 것에 응답하여, 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하도록 동작하는 모션 모듈(616)을 포함할 수 있다. 임의적으로, 터치 패턴은 특징적인 모션, 특징적인 방향 변화 또는 둘 다에 의존할 수 있다.
모듈들(611 내지 616), 및 프로세싱 수단(600)에 포함된 임의의 추가적인 모듈들은 임의의 종류의 전자 회로, 예를 들어, 아날로그 전자 회로, 디지털 전자 회로 및 적절한 컴퓨터 프로그램을 실행하는 프로세싱 수단 중 임의의 하나 또는 이들의 조합에 의해 구현될 수 있다는 것이 이해될 것이다.
본 기술분야의 통상의 기술자는 본 발명이 결코 위에서 설명된 실시예들에 제한되지 않는다는 것을 인식한다. 반대로, 첨부된 청구범위의 범위 내에서 많은 수정들 및 변형들이 가능하다.

Claims (34)

  1. 핸드헬드 동작(handheld operation)을 위한 디바이스(100; 200)로서,
    터치스크린(110), 및
    프로세싱 수단(111; 400; 600)
    을 포함하고,
    상기 프로세싱 수단(111; 400; 600)은,
    상기 터치스크린 상에 복수의 사용자 인터페이스(UI) 엘리먼트들(121-124)을 디스플레이하고 - 상기 복수의 UI 엘리먼트들 각각은 상기 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관됨 -,
    터치 패턴(310, 320, 330, 340)에 기초하여, 상기 디스플레이된 UI 엘리먼트들 중 상기 디바이스의 사용자(150-152, 155)가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하고,
    상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, 상기 UI 엘리먼트와 연관된 액션을 수행하도록 동작하는 디바이스.
  2. 제1항에 있어서, 상기 터치 패턴은 사용자 특정적인 디바이스.
  3. 제1항 또는 제2항에 있어서, 상기 터치 패턴은 상기 디스플레이된 UI 엘리먼트들에 의존하는 디바이스.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 액션은 상기 디바이스가 액세스하도록 동작하는 통신 네트워크(160, 170)를 통해 서버(180)에 의해 제공되는 콘텐츠를 요청하는 것을 포함하는 디바이스.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 콘텐츠는 상기 UI 엘리먼트와 연관된 네트워크 어드레스에 의해 식별되는 디바이스.
  6. 제4항 또는 제5항에 있어서, 상기 프로세싱 수단은,
    상기 사용자가 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고,
    상기 터치된 UI 엘리먼트와 연관된 상기 요청된 콘텐츠를 렌더링하도록 추가로 동작하는 디바이스.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 액션은 상기 디바이스의 제1 메모리(430)에 저장된 컴퓨터 실행가능 명령어들(432)을 상기 디바이스의 제2 메모리(421)에 로딩하는 것을 포함하며, 상기 제2 메모리는 상기 제1 메모리보다 짧은 액세스 시간을 갖는 디바이스.
  8. 제7항에 있어서, 상기 제2 메모리는 캐시 메모리를 포함하는 디바이스.
  9. 제7항 또는 제8항에 있어서, 상기 프로세싱 수단은,
    상기 사용자가 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고,
    상기 터치된 UI 엘리먼트와 연관된 상기 로딩된 컴퓨터 실행가능 명령어들을 실행하도록 추가로 동작하는 디바이스.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 프로세싱 수단은,
    상기 사용자가 상기 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하고,
    상기 터치된 UI 엘리먼트의 포지션(position)에 기초하여, 상기 터치 패턴을 업데이트하도록 추가로 동작하는 디바이스.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 프로세싱 수단은, 진행 중인 스크롤링 모션(ongoing scrolling motion)이 거의 정지하고 있음(about to stop)을 검출하는 것에 응답하여, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들을 결정하도록 동작하는 디바이스.
  12. 제11항에 있어서, 상기 프로세싱 수단은, 상기 스크롤링 모션이 정지하였을 때 상기 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들을 결정하도록 동작하는 디바이스.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 프로세싱 수단은, 상기 디바이스의 특징적인 모션 또는 특징적인 방향 변화(characteristic change in orientation) 중 적어도 하나를 검출하는 것에 응답하여, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들을 결정하도록 동작하는 디바이스.
  14. 제13항에 있어서, 상기 터치 패턴은 상기 특징적인 모션 및/또는 상기 특징적인 방향 변화에 의존하는 디바이스.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 디바이스는 싱글-핸디드(single-handed) 동작을 위해 구성되는 디바이스.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 디바이스는 모바일 단말, 스마트폰 및 태블릿 중 하나인 디바이스.
  17. 핸드헬드 동작을 위한 디바이스의 방법(500)으로서, 상기 디바이스는 터치스크린을 포함하고, 상기 방법은,
    상기 터치스크린 상에 복수의 사용자 인터페이스(UI) 엘리먼트들을 디스플레이하는 단계(510) - 상기 복수의 UI 엘리먼트들 각각은 상기 UI 엘리먼트를 터치하는 것에 응답하여 수행되는 액션과 연관됨 -,
    터치 패턴에 기초하여, 상기 디스플레이된 UI 엘리먼트들 중 상기 디바이스의 사용자가 터치할 가능성이 있는 하나 이상의 UI 엘리먼트들을 결정하는 단계(530), 및
    상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 적어도 하나의 UI 엘리먼트에 대해, 상기 UI 엘리먼트와 연관된 액션을 수행하는 단계(540)
    를 포함하는 방법.
  18. 제17항에 있어서, 상기 터치 패턴은 사용자 특정적인 방법.
  19. 제17항 또는 제18항에 있어서, 상기 터치 패턴은 상기 디스플레이된 UI 엘리먼트들에 의존하는 방법.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서, 상기 액션은 상기 디바이스가 액세스하도록 동작하는 통신 네트워크를 통해 서버에 의해 제공되는 콘텐츠를 요청하는 것(541)을 포함하는 방법.
  21. 제17항 내지 제20항 중 어느 한 항에 있어서, 상기 콘텐츠는 상기 UI 엘리먼트와 연관된 네트워크 어드레스에 의해 식별되는 방법.
  22. 제20항 또는 제21항에 있어서,
    상기 사용자가 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(542), 및
    상기 터치된 UI 엘리먼트와 연관된 상기 요청된 콘텐츠를 렌더링하는 단계(543)
    를 추가로 포함하는 방법.
  23. 제17항 내지 제19항 중 어느 한 항에 있어서, 상기 액션은 상기 디바이스에 포함된 제1 메모리에 저장된 컴퓨터 실행가능 명령어들을 상기 디바이스에 포함된 제2 메모리에 로딩하는 것(545)을 포함하며, 상기 제2 메모리는 상기 제1 메모리보다 짧은 액세스 시간을 갖는 방법.
  24. 제23항에 있어서, 상기 제2 메모리는 캐시 메모리를 포함하는 방법.
  25. 제23항 또는 제24항에 있어서,
    상기 사용자가 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(546), 및
    상기 터치된 UI 엘리먼트와 연관된 상기 로딩된 컴퓨터 실행가능 명령어들을 실행하는 단계(547)
    를 추가로 포함하는 방법.
  26. 제17항 내지 제25항 중 어느 한 항에 있어서,
    상기 사용자가 상기 디스플레이된 UI 엘리먼트들 중 하나의 UI 엘리먼트를 터치하는 것을 검출하는 단계(550), 및
    상기 터치된 UI 엘리먼트의 포지션에 기초하여, 상기 터치 패턴을 업데이트하는 단계(560)
    를 추가로 포함하는 방법.
  27. 제17항 내지 제26항 중 어느 한 항에 있어서, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들은, 진행 중인 스크롤링 모션이 거의 정지하고 있음을 검출하는 단계(521)에 응답하여 결정되는 방법.
  28. 제27항에 있어서, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들은, 상기 스크롤링 모션이 정지하였을 때 상기 디스플레이된 UI 엘리먼트들이 멈추게 되는 각각의 포지션들에 기초하여 결정되는(530) 방법.
  29. 제17항 내지 제28항 중 어느 한 항에 있어서, 상기 디바이스의 사용자가 터치할 가능성이 있는 상기 하나 이상의 UI 엘리먼트들은, 상기 디바이스의 특징적인 모션 또는 특징적인 방향 변화 중 적어도 하나를 검출하는 단계(522)에 응답하여 결정되는 방법.
  30. 제29항에 있어서, 상기 터치 패턴은 상기 특징적인 모션 및/또는 상기 특징적인 방향 변화에 의존하는 방법.
  31. 제17항 내지 제30항 중 어느 한 항에 있어서, 상기 디바이스는 싱글-핸디드 동작을 위해 구성되는 방법.
  32. 제17항 내지 제31항 중 어느 한 항에 있어서, 상기 디바이스는 모바일 단말, 스마트폰 및 태블릿 중 하나인 방법.
  33. 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 프로그램(432)으로서, 상기 컴퓨터 실행가능 명령어들은, 상기 컴퓨터 실행가능 명령어들이 디바이스에 포함된 프로세싱 유닛(420) 상에서 실행될 때, 상기 디바이스로 하여금 제17항 내지 제32항 중 어느 한 항에 따른 방법을 수행하게 하는 컴퓨터 프로그램.
  34. 컴퓨터 판독가능 저장 매체(430)를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독가능 저장 매체는 제33항에 따른 컴퓨터 프로그램(432)이 구현된 컴퓨터 프로그램 제품.
KR1020177029475A 2015-03-13 2015-03-13 핸드헬드 동작을 위한 디바이스 및 그 방법 KR102127270B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2015/050283 WO2016148610A1 (en) 2015-03-13 2015-03-13 Device for handheld operation and method thereof

Publications (2)

Publication Number Publication Date
KR20170126499A true KR20170126499A (ko) 2017-11-17
KR102127270B1 KR102127270B1 (ko) 2020-06-26

Family

ID=53039556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177029475A KR102127270B1 (ko) 2015-03-13 2015-03-13 핸드헬드 동작을 위한 디바이스 및 그 방법

Country Status (10)

Country Link
US (2) US10691170B2 (ko)
EP (2) EP3879392A1 (ko)
KR (1) KR102127270B1 (ko)
CN (1) CN107408117B (ko)
AU (1) AU2015387254B2 (ko)
CA (1) CA2979658A1 (ko)
MX (1) MX2017011692A (ko)
RU (1) RU2693905C2 (ko)
WO (1) WO2016148610A1 (ko)
ZA (1) ZA201706199B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3879392A1 (en) * 2015-03-13 2021-09-15 Telefonaktiebolaget LM Ericsson (publ) Device for handheld operation and method thereof
WO2019145013A1 (en) 2018-01-23 2019-08-01 Telefonaktiebolaget Lm Ericsson (Publ) Communications device for handheld operation and method thereof
JP7269933B2 (ja) * 2018-08-24 2023-05-09 グーグル エルエルシー 動的に構成可能なアプリケーション制御要素
US10536857B1 (en) * 2019-06-24 2020-01-14 Bank Of America Corporation Systems and methods for pre-authenticating a user on a mobile device
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265929A (ja) * 2008-04-24 2009-11-12 Nintendo Co Ltd オブジェクト表示順変更プログラム及び装置
US20120265978A1 (en) * 2011-04-13 2012-10-18 Research In Motion Limited System and Method for Context Aware Dynamic Ribbon
KR20130133225A (ko) * 2010-12-29 2013-12-06 마이크로소프트 코포레이션 컴퓨팅 디바이스 내의 터치 이벤트의 예상
US20140022285A1 (en) * 2012-07-20 2014-01-23 Thomas Jan Stovicek Handheld device with ergonomic display features

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714791B2 (en) * 2001-02-23 2004-03-30 Danger, Inc. System, apparatus and method for location-based instant messaging
US7310676B2 (en) * 2004-02-09 2007-12-18 Proxpro, Inc. Method and computer system for matching mobile device users for business and social networking
KR100608576B1 (ko) * 2004-11-19 2006-08-03 삼성전자주식회사 휴대 단말기 제어 장치 및 방법
WO2006126055A2 (en) * 2005-05-23 2006-11-30 Nokia Corporation Improved pocket computer and associated methods
US20060294223A1 (en) * 2005-06-24 2006-12-28 Microsoft Corporation Pre-fetching and DNS resolution of hyperlinked content
US7747749B1 (en) 2006-05-05 2010-06-29 Google Inc. Systems and methods of efficiently preloading documents to client devices
US20090109183A1 (en) * 2007-10-30 2009-04-30 Bose Corporation Remote Control of a Display
KR101612283B1 (ko) * 2009-09-10 2016-04-15 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
JP4719804B2 (ja) * 2009-09-24 2011-07-06 富士通東芝モバイルコミュニケーションズ株式会社 携帯端末
US8407608B1 (en) * 2010-05-27 2013-03-26 Amazon Technologies, Inc. Touch input assist
US8892594B1 (en) * 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
JP5381945B2 (ja) * 2010-09-21 2014-01-08 アイシン・エィ・ダブリュ株式会社 タッチパネル式操作装置、タッチパネルの操作方法及びコンピュータプログラム
US8732569B2 (en) 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
US8754863B2 (en) * 2011-09-23 2014-06-17 Motorola Solutions, Inc. Fixed display system interaction with a communication device
US10504485B2 (en) * 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
US8849731B2 (en) * 2012-02-23 2014-09-30 Microsoft Corporation Content pre-fetching for computing devices
KR101403025B1 (ko) * 2012-02-29 2014-06-11 주식회사 팬택 터치 디스플레이를 구비한 디바이스 및 터치 오동작 방지 방법
EP2645218A1 (en) 2012-03-29 2013-10-02 Sony Mobile Communications AB Method for operating an electronic device
KR20150022003A (ko) * 2012-06-18 2015-03-03 유롱 컴퓨터 텔레커뮤니케이션 테크놀로지즈 (셴첸) 코., 엘티디. 단말 및 인터페이스 조작 관리 방법
KR101414237B1 (ko) 2012-10-11 2014-07-01 연세대학교 산학협력단 데이터 프리로드를 통한 단말의 gui 반응 속도 증대 방법 및 그 단말
US20140149935A1 (en) * 2012-11-28 2014-05-29 Michael Dudley Johnson User-Intent-Based Chrome
US8554283B1 (en) * 2013-02-19 2013-10-08 Fawzi Q. M. A. O. A. Behbehani Locating software for smartphone and PC
KR200468960Y1 (ko) 2013-02-20 2013-09-09 황지아 남성용 기능성 팬티
US9207972B2 (en) * 2013-03-14 2015-12-08 International Business Machines Corporation Meta-application management in a multitasking environment
US9244592B2 (en) * 2013-06-18 2016-01-26 Microsoft Technology Licensing, Llc User interface coalescing heuristics
EP2960750B1 (en) * 2014-06-27 2019-02-20 Samsung Electronics Co., Ltd Portable terminal and display method thereof
WO2016044807A1 (en) * 2014-09-18 2016-03-24 Tactual Labs Co. Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US10503377B2 (en) * 2014-11-24 2019-12-10 Facebook, Inc. Dynamic status indicator
EP3879392A1 (en) * 2015-03-13 2021-09-15 Telefonaktiebolaget LM Ericsson (publ) Device for handheld operation and method thereof
US11025565B2 (en) * 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US9967390B2 (en) * 2016-08-30 2018-05-08 Google Llc Device-orientation controlled settings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265929A (ja) * 2008-04-24 2009-11-12 Nintendo Co Ltd オブジェクト表示順変更プログラム及び装置
KR20130133225A (ko) * 2010-12-29 2013-12-06 마이크로소프트 코포레이션 컴퓨팅 디바이스 내의 터치 이벤트의 예상
US20120265978A1 (en) * 2011-04-13 2012-10-18 Research In Motion Limited System and Method for Context Aware Dynamic Ribbon
US20140022285A1 (en) * 2012-07-20 2014-01-23 Thomas Jan Stovicek Handheld device with ergonomic display features

Also Published As

Publication number Publication date
ZA201706199B (en) 2019-01-30
BR112017019319A2 (pt) 2018-06-05
US10691170B2 (en) 2020-06-23
AU2015387254A1 (en) 2017-10-05
RU2017135383A (ru) 2019-04-08
WO2016148610A1 (en) 2016-09-22
EP3879392A1 (en) 2021-09-15
RU2693905C2 (ru) 2019-07-05
EP3268853A1 (en) 2018-01-17
US20200264665A1 (en) 2020-08-20
KR102127270B1 (ko) 2020-06-26
EP3268853B1 (en) 2021-05-05
US11347264B2 (en) 2022-05-31
CN107408117B (zh) 2021-01-12
RU2017135383A3 (ko) 2019-04-08
US20180052492A1 (en) 2018-02-22
MX2017011692A (es) 2017-11-10
CA2979658A1 (en) 2016-09-22
CN107408117A (zh) 2017-11-28
AU2015387254B2 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
US11347264B2 (en) Device for handheld operation and method thereof
US9298341B2 (en) Apparatus and method for switching split view in portable terminal
US10908789B2 (en) Application switching method and apparatus and graphical user interface
RU2616536C2 (ru) Способ, устройство и терминальное устройство для отображения сообщений
CN106406712B (zh) 信息显示方法及装置
US8302004B2 (en) Method of displaying menu items and related touch screen device
US20150193112A1 (en) User interface device, user interface method, and program
WO2015131816A1 (en) Page turning method and mobile device
CN108536357B (zh) 应用显示方法、装置、存储介质及电子设备
US20170046040A1 (en) Terminal device and screen content enlarging method
RU2628205C2 (ru) Способ, устройство и оконечная аппаратура для реагирования на операцию сдвига
CN108345478B (zh) 应用处理方法、装置、存储介质及电子设备
CN108073647B (zh) 网页显示方法及装置
KR20140097812A (ko) 전자 장치에서 스크롤 장치 및 방법
KR20180032591A (ko) 터치 히트 맵
WO2015188765A1 (en) Url error-correcting method, server, terminal and system
CN105095259B (zh) 瀑布流对象显示方法及装置
CN104238931B (zh) 信息输入方法、装置及电子设备
CN108920266A (zh) 程序切换方法、智能终端及计算机可读存储介质
WO2015160765A1 (en) Displaying a plurality of selectable actions
CN114969588A (zh) 一种文档浏览方法、装置、电子设备及存储介质
JP6583296B2 (ja) 表示制御装置、及び表示制御方法
BR112017019319B1 (pt) Dispositivo para operação manual, método de um dispositivo para operação manual, meio de armazenamento legível por computador
EP4060592A1 (en) Method and system for acquiring content, user terminal, and content server
KR101570510B1 (ko) 터치식 단말기를 이용한 검색결과의 빠른 스캔을 위한 검색결과 표시 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant