KR20120136949A - 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법 - Google Patents

사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20120136949A
KR20120136949A KR1020110056178A KR20110056178A KR20120136949A KR 20120136949 A KR20120136949 A KR 20120136949A KR 1020110056178 A KR1020110056178 A KR 1020110056178A KR 20110056178 A KR20110056178 A KR 20110056178A KR 20120136949 A KR20120136949 A KR 20120136949A
Authority
KR
South Korea
Prior art keywords
touch
area
user
touch screen
information
Prior art date
Application number
KR1020110056178A
Other languages
English (en)
Other versions
KR101824388B1 (ko
Inventor
이호섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110056178A priority Critical patent/KR101824388B1/ko
Priority to US13/222,640 priority patent/US9047011B2/en
Priority to CN201210162630.XA priority patent/CN102880404B/zh
Priority to EP18212379.4A priority patent/EP3474126A1/en
Priority to EP12170659.2A priority patent/EP2533145B1/en
Priority to JP2012130993A priority patent/JP5992734B2/ja
Publication of KR20120136949A publication Critical patent/KR20120136949A/ko
Application granted granted Critical
Publication of KR101824388B1 publication Critical patent/KR101824388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자의 신체적 특성 및 관절 질환 발생 가능성에 따라 그래픽 오브젝트를 동적으로 변경할 수 있는 사용자 인터페이스 제공 장치 및 방법, 이 장치 및 방법이 적용된 단말이 개시된다. 본 발명의 일 양상에 따르면, 그래픽 오브젝트는 최적 터치 영역에 표시된다. 최적 터치 영역은 사용자의 신체적 특성을 고려한 제 1 터치용이도 또는 제 2 터치용이도에 따라 추정된다. 또한 본 발명의 다른 양상에 따르면 동일한 조작이 임계값 이상으로 반복되면 그래픽 오브젝트의 배열을 바꿔서 다른 동작을 유도한다.

Description

사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법{Apparatus and method for providing dynamic user interface in consideration of physical characteristics of user}
사용자 인터페이스(User Interface, UI) 기술과 관련된다.
최근 출시되는 스마트폰/태블릿PC들은 직관적인 입력 인터페이스 구현을 위해 기존의 키패드 대신 터치스크린을 채용하고 있으며, 기본으로 탑재된 애플리케이션 이외에도 다양한 애플리케이션을 설치 및 사용할 수 있다는 특징이 있다.
　따라서, 사용자는 설치된 애플리케이션들 중에서 자주 사용하는 애플리케이션을 배경화면의 맨 첫 페이지로 이동시키고, 첫 페이지 안에서도 가장 터치가 편한 위치에 배치하는 경우가 많다. 하지만, 이 모든 과정은 수동으로 이루어지기 때문에 애플리케이션을 추가/삭제할 때마다 같은 작업을 반복해야하는 불편이 있다. 또한, 애플리케이션의 수가 많아지면 관리 자체가 어려워질 수도 있다. 　
한편, 터치스크린을 통한 입력은 사용자의 관절건강에 위협을 줄 수 있다. 터치입력은 사용자에게 재미와 편리함을 주지만, 입력을 위해 손가락이나 손목을 움직여야 하고, 입력범위(기기 및 터치스크린의 크기)가 작아 장시간 사용시 엄지증후군이나 손목터널증후군 등의 질환을 앓을 우려가 있다.
　즉, 휴대와 입력이 간편해진 대신 손끝에 집중해 기기를 파지하고, 손가락을 움직여야 하는 부담이 생긴 것이다. 이 손가락 움직임은 기존의 키패드를 조작하는 것에 비해 복잡하며 정교함을 필요로 하기에 손목과 손가락 관절에 무리를 줄 수 밖에 없다. 이를 의학적으로 설명하면 팔에서 손으로 가는 신경이 손목 인대에 의해 지속적으로 압박을 받는 것이라 할 수 있는데, 이로 인해 사용자는 손저림을 느끼거나 악력이 줄어들고 때로는 손가락 힘줄 일부가 두꺼워져 손가락을 움직일 때마다 통증을 느끼게 된다. 　
전문의들에 따르면 최대한 사용시간을 줄이고, 주기적으로 관절을 스트레칭해주는 것이 질환의 예방책이라고 하지만, 이동성이 뛰어나고 기능이 많은 스마트폰/태블릿PC의 특성상 사용시간을 줄이는 것이 쉽지 않고, 이러한 위험에 대해 알지 못하는 사용자가 많은 실정이다.
사용자 편의성을 증대시키고 관절 질환을 예방하는 동적 사용자 인터페이스 장치 및 방법, 이 장치 및 방법이 적용된 단말이 제공된다.
본 발명의 일 양상에 따른 동적 사용자 인터페이스 제공 장치는, 사용자의 터치 스크린에 관한 터치 정보를 획득하는 획득부, 터치 정보에 기초하여 사용자의 신체적 특성이 반영된 터치 스크린의 최적 터치 영역을 추정하는 제 1 추정부, 및 최적 터치 영역에 기초하여 소정의 그래픽 오브젝트를 표시하는 제 1 제어부를 포함할 수 있다.
본 발명의 다른 양상에 따른 동적 사용자 인터페이스 제공 장치는, 사용자의 터치 스크린에 관한 터치 정보를 획득하는 획득부, 터치 정보에 기초하여 터치 조작에 따른 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 제 2 추정부, 및 관절 스트레스가 발생되면, 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 제 2 제어부를 포함할 수 있다.
본 발명의 일 양상에 따른 동적 사용자 인터페이스 제공 방법은, 사용자의 터치 스크린에 관한 터치 정보를 획득하는 단계, 터치 정보에 기초하여 사용자의 신체적 특성이 반영된 터치 스크린의 최적 터치 영역을 추정하는 단계, 및 최적 터치 영역에 기초하여 소정의 그래픽 오브젝트를 표시하는 단계를 포함할 수 있다.
본 발명의 다른 양상에 따른 동적 사용자 인터페이스 제공 방법은, 사용자의 터치 스크린에 관한 터치 정보를 획득하는 단계, 터치 정보에 기초하여 터치 조작에 따른 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 단계, 및 관절 스트레스가 발생되면, 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 단계를 포함할 수 있다.
한편, 본 발명의 일 양상에 따른 단말은, 그래픽 오브젝트를 표시하는 터치 스크린, 및 터치 스크린을 조작하는 사용자의 신체적 특성을 고려하여 터치 스크린의 최적 터치 영역을 추정하고, 추정된 최적 터치 영역을 토대로 상기 그래픽 오브젝트를 표시하는 UI 제공부를 포함할 수 있다.
개시된 내용에 의하면, 사용자의 신체적 특성을 고려해 최적의 위치에 애플리케이션 아이콘이나 기능버튼을 위치시킴으로써 관절질환의 위험을 최소화하면서 사용자 편의성을 극대화시킬 수 있고, 또한, 같은 터치동작의 반복을 인식하여 유저인터페이스를 의도적으로 변경함으로써 사용자로 하여금 다른 관절을 사용하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 단말을 도시한다.
도 2는 본 발명의 일 실시예에 따른 동적 사용자 인터페이스 장치를 도시한다.
도 3a 및 도 3b는 본 발명의 다른 실시예에 따른 동적 사용자 인터페이스 장치를 도시한다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 최적 터치 영역 추정 방법을 도시한다.
도 5a 내지 도 5d는 본 발명의 다른 실시예에 따른 최적 터치 영역 추정 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 동적 사용자 인터페이스 제공 방법을 도시한다.
도 7은 본 발명의 다른 실시예에 따른 동적 사용자 인터페이스 제공 방법을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 단말을 도시한다.
단말(100)은 휴대폰, 스마트폰, PMP, PDA, MP3플레이어 등이 될 수 있다. 사용자는 단말(100)에 구비된 디스플레이 창을 터치 조작해서 단말(100)을 사용할 수 있다. 이러한 사용자 인터페이스를 위해 단말(100)은 터치 스크린(101)과 UI 제공부(102)를 포함할 수 있다.
터치 스크린(101)에는 그래픽 오브젝트(103)가 표시된다. 그래픽 오브젝트(103)는 단말(100) 또는 단말(100)에 설치된 애플리케이션의 사용을 위한 기능 버튼 또는 실행 아이콘 등이 될 수 있다. 예컨대, 사용자는 터치 스크린(101)에 표시된 그래픽 오브젝트(103)를 터치 조작하여 특정한 애플리케이션을 실행시키거나 단말(100) 또는 애플리케이션의 기능을 제어할 수 있다.
UI 제공부(102)는 터치 스크린(101)의 그래픽 효과를 제어함으로써 그래픽 오브젝트(103)가 터치 스크린(101)의 소정 영역에 표시되도록 한다. UI 제공부(102)는 단말(100) 내부에 하드웨어 및/또는 소프트웨어적으로 형성될 수 있다.
또한 UI 제공부(102)는 터치 스크린(101)을 조작하는 사용자의 신체적 특성을 고려하여 터치 스크린(101)의 최적 터치 영역(104)을 추정하고, 추정된 최적 터치 영역(104)을 토대로 그래픽 오브젝트(103)를 표시한다. 예를 들어, 오른손잡이인 사용자의 경우 터치 스크린(101)의 우측 하부쪽의 그래픽 오브젝트(103)를 터치하는 것이 상대적으로 더 편할 수가 있으므로, UI 제공부(102)는 자주 사용하는 그래픽 오브젝트(103)를 터치 스크린(101)의 우측 하부쪽에 표시하는 것이 가능하다.
또한 UI 제공부(102)는 터치 스크린(101)을 조작하는 사용자가 동일한 조작을 반복적으로 하는 경우, 관절에 무리가 가지 않도록 경보를 발생시키거나 또는 그래픽 오브젝트(103)의 배열을 변경한다. 경보가 발생되거나 그래픽 오브젝트(103)의 배열이 변경되면, 이에 따라 사용자의 조작패턴도 바뀌기 때문에 동일한 동작의 반복으로 인한 관절 스트레스를 줄일 수가 있다.
도 2는 본 발명의 일 실시예에 따른 동적 사용자 인터페이스 장치를 도시한다. 도 2에 도시된 동적 사용자 인터페이스 장치(200)의 일부 구성 또는 전부 구성은 도 1의 UI 제공부(102)를 형성할 수 있다.
도 2를 참조하면, 본 실시예에 따른 동적 사용자 인터페이스 장치(200)는 획득부(201), 추정부(202), 제어부(203), 및 저장부(204)를 포함할 수 있다.
획득부(201)는 사용자의 터치 스크린에 관한 터치 정보를 획득한다. 터치 스크린에 관한 터치 정보란 사용자가 터치 스크린을 조작할 때의 다양한 입력 정보를 말한다. 예컨대, 터치 정보는 터치 위치(또는 좌표), 터치 스크린의 각 영역 별 터치 횟수 또는 빈도, 연속 터치의 시작 및 종료 위치, 연속 터치의 방향, 및 연속 터치의 속도 등을 포함할 수 있다. 연속 터치란 제 1 터치 위치와 제 2 터치 위치가 끊김없이 이어지는 형태의 터치 조작을 의미한다. 여기서 끊김없이 이어지는 형태의 터치 조작이란, 제 1 터치 위치로부터 제 2 터치 위치까지 손가락이 터치 스크린에서 물리적으로 떨어지지 않는 상태를 유지하면서 이동을 하는 것을 의미할 수 있다. 예컨대, 드래그(drag) 동작은 연속 터치의 대표적인 예가 될 수 있다.
또한 획득부(201)는 획득된 터치 정보를 저장부(204)에 저장한다. 예컨대, 얻어진 터치 정보는 지속적으로 터치 정보 저장부(214)에 저장될 수 있다. 터치 정보 저장부(214)에 저장된 터치 정보는 사용자의 조작 패턴 또는 사용자의 신체적 특성을 유추하는 데에 기초자료로 쓰일 수가 있다.
또한 획득부(201)는 현재 단말에서 실행 중인 애플리케이션 또는 기능에 관한 실행 정보를 획득하고, 획득된 실행 정보를 저장부(204)에 저장한다. 예컨대, 얻어진 실행 정보는 지속적으로 실행 정보 저장부(215)에 저장될 수 있다. 실행 정보 저장부(215)에 저장된 실행 정보는 사용자가 선호하는 애플리케이션 또는 기능이 무엇인지, 사용자가 자주 사용하는 애플리케이션 또는 기능이 무엇인지 등을 유추하는 데에 기초자료로 쓰일 수가 있다.
추정부(202)는 제 1 추정부(212) 및 제 2 추정부(222)를 포함한다.
제어부(203)는 제 1 제어부(213) 및 제 2 제어부(223)를 포함한다.
먼저 제 1 추정부(212)와 제 1 제어부(213)에 대해 살펴보면 다음과 같다.
제 1 추정부(212)는 사용자의 신체적 특성이 반영된 터치 스크린의 최적 터치 영역을 추정한다. 예컨대, 제 1 추정부(212)는 획득부(201)로부터 터치 정보 및/또는 실행 정보를 수신하고, 수신된 정보를 토대로 터치 스크린에서 사용자가 자주 터치하는 부분이 어느 부분인지, 사용자가 오른손잡이인지 또는 왼손잡이인지, 사용자가 선호하거나 자주 사용하는 그래픽 오브젝트는 무엇인지 등을 추정할 수 있다.
또한 제 1 추정부(212)는 신체적 특성을 반영한 최적 터치 영역을 추정하기 위하여, 소정의 터치용이도를 산출하고, 산출된 터치용이도에 따라 최적 터치 영역을 생성한다. 본 실시예에 따라 터치용이도는 2가지의 종류가 사용될 수 있다. 제 1 터치용이도는 터치 스크린의 각 영역에 관한 터치 횟수 또는 빈도와 관련된 값이다. 제 2 터치용이도는 연속 터치의 방향성을 고려하여 제 1 터치용이도에 추가적으로 소정의 가중치가 부여된 값이다.
먼저 제 1 터치용이도를 이용해서 최적 터치 영역을 결정하는 방법을 살펴본다.
제 1 추정부(212)는 터치 스크린을 다수의 셀(cell)로 분할하고 각 셀의 터치 횟수 또는 빈도를 카운팅(counting)한다. 여기서 터치 횟수는 사용자가 소정 기간 동안 특정 셀을 몇 번 터치하였는지를 나타내는 절대량을 나타낼 수 있고, 터치 빈도는 전체 터치 횟수와 특정 셀의 터치 횟수 간의 상대적 비율을 나타낼 수 있다. 예컨대, 사용자가 터치 스크린을 10번 터치하였고, 전체 셀 중에서 제 1 셀을 3번, 제 2 셀을 7번 터치하였다고 가정하자. 그러면 제 1 셀의 터치 빈도는 0.3이고, 제 2 셀의 터치 빈도는 0.7이 될 수 있다.
제 1 추정부(212)는 카운팅된 터치 횟수 또는 빈도에 비례하여 각 셀의 제 1 터치용이도를 산출한다. 예를 들어, 제 1 추정부(212)는 터치 횟수 또는 빈도가 높은 셀일수록 높은 제 1 터치용이도를 부여할 수 있다. 제 1 추정부(212)는 제 1 터치용이도가 소정의 임계값 이상인 셀들을 추출하고 추출된 셀들의 집합을 최적 터치 영역으로 추정한다.
다음으로 제 2 터치용이도를 이용해서 최적 터치 영역을 결정하는 방법을 살펴본다.
전술한 것과 같이 제 1 터치용이도가 구해지면, 여기에 추가적으로 제 1 추정부(212)는 연속 터치의 평균적인 시작 및 종료 위치에 따라 가중치가 부여될 셀들을 결정한다. 그리고 제 1 터치용이도에 소정의 가중치를 부여하되, 가중치가 부여될 셀들에 해당하는 제 1 터치용이도에만 선택적으로 가중치를 부여함으로써 각 셀의 제 2 터치용이도를 산출한다. 그리고 제 1 추정부(212)는 산출된 제 2 터치용이도가 소정의 임계값 이상인 셀들을 추출하고 추출된 셀들의 집합을 최적 터치 영역으로 추정한다.
터치용이도의 산출 및 최적 터치 영역의 추정에 대한 더 구체적인 예에 대해서는 후술하도록 하겠다.
제 1 추정부(212)에 의해 최적 터치 영역이 추정되면, 제 1 제어부(213)는 최적 터치 영역을 이용하여 그래픽 오브젝트를 표시한다. 예컨대, 제 1 제어부(213)는 사용자가 선호하거나 자주 사용하는 애플리케이션의 실행 아이콘 또는 기능 버튼 등을 최적 터치 영역에 배치하는 것이 가능하다. 사용자가 선호하거나 자주 사용하는 애플리케이션 및 기능에 관한 정보는 실행 정보 저장부(215)에 저장되어 있는 실행 정보를 토대로 결정될 수 있다.
이와 같이 사용자의 신체적 특성이 고려되어 최적 터치 영역이 정해지고 정해진 최적 터치 영역에 선호도가 높은 그래픽 오브젝트가 표시되기 때문에 사용자는 보다 편리하게 각종 애플리케이션 또는 기능을 사용하는 것이 가능하다.
이어서 제 2 추정부(222)와 제 2 제어부(223)에 대하여 살펴본다.
제 2 추정부(222)는 획득부(201)에 의해 얻어진 터치 정보에 기초하여 터치 조작에 따라 사용자의 관절 스트레스가 발생하는지 여부를 추정한다. 예를 들어, 사용자가 터치 스크린의 특정 위치를 계속적으로 터치하고 있는 경우, 제 2 추정부(222)는 터치 횟수를 소정의 임계값하고 비교하여 그 터치 횟수가 임계값을 넘어가면 터치 조작에 따른 관절 스트레스가 발생하는 것으로 추정할 수 있다.
제 2 제어부(223)는 제 2 추정부(222)의 추정 결과에 따라 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하거나 소정의 경보를 발생시킬 수 있다. 예컨대, 사용자가 터치 스크린의 특정 위치를 소정의 임계치 이상으로 계속 터치하고 있는 경우, 해당 위치에 존재하고 있던 그래픽 오브젝트를 다른 위치로 변경함으로써 관절 스트레스를 해소시킬 수가 있다. 또한 경보를 발생시킴으로써 사용자가 다른 패턴의 조작을 하도록 유도할 수도 있다.
이와 같이 동일한 패턴의 조작 반복이 있는 경우 그래픽 오브젝트를 새로 배치하거나 경보를 발생시키기 때문에 동일한 패턴으로 반복 조작을 함으로써 발생될 수 있는 관절 스트레스를 해소할 수 있다.
또한, 도 2에서, 제 1 추정부(212) 및 제 2 추정부(222)가 별개의 구성으로 도시되었으나, 이것은 설명의 편의를 위한 것에 불과한 것으로 하나의 소프트웨어적 모듈 또는 하나의 하드웨어적 모듈로 형성될 수 있음은 물론이고, 이것은 제 1 제어부(213) 및 제 2 제어부(223)도 마찬가지이다.
도 3a 및 도 3b는 본 발명의 다른 실시예에 따른 동적 사용자 인터페이스 장치를 도시한다.
도 2에서는 추정부(202)가 제 1 추정부(212)와 제 2 추정부(222)를 모두 포함하고, 제어부(203)가 제 1 제어부(213)와 제 2 제어부(223)를 모두 포함하는 예에 대하여 설명하였다. 그러나 반드시 이러한 구성에 한정되는 것이 아니며, 일부 구성만으로도 동적 사용자 인터페이스 장치가 구현될 수도 있다.
예를 들어, 도 2에서, 추정부(202)에는 제 1 추정부(212)와 제 2 추정부(222)가 모두 형성될 수도 있고 둘 중 하나만 형성될 수도 있다. 마찬가지로 제어부(203)에는 제 1 제어부(213)와 제 2 제어부(223)가 모두 형성될 수도 있고 둘 중 하나만 형성될 수도 있다.
다시 말해, 본 실시예에 따른 동적 사용자 인터페이스 장치는 도 3a와 같이, 도 2에서 제 2 추정부(222)와 제 2 제어부(223)만 제외하고 형성될 수도 있고, 도 3b와 같이, 제 1 추정부(212)와 제 1 제어부(213)만 제외하고 형성될 수도 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 최적 터치 영역 추정 방법을 도시한다.
도 4a를 참조하면, 추정부(202, 도 2)는 터치 스크린의 각 영역을 셀(cell)로 분할한다. 예컨대, 추정부(202)는 터치 스크린 영역을 셀 A00 내지 A44로 분할할 수 있다.
이어서 획득부(201, 도 2)로부터 각 셀의 터치 횟수 또는 빈도를 획득하고, 추정부(202)는 얻어진 각 셀의 터치 횟수 또는 빈도를 제 1 터치용이도로 변환한다. 예컨대, 추정부(202)는 터치 횟수에 따라 각 셀에 순위를 매기고, 순위에 따라 제 1 터치용이도를 부여할 수 있다.
예를 들어, 도 4b에서, 각각의 숫자는 각 셀의 제 1 터치용이도를 나타낸다. 도 4b의 경우, 셀 A22의 제 1 터치용이도가 제일 큰데, 사용자가 셀 A22를 가장 많이 터치한 것으로 볼 수 있다.
각 셀의 제 1 터치용이도가 산출되면, 추정부(202)는 제 1 터치용이도와 소정의 임계값을 비교하고, 임계값 이상의 제 1 터치용이도를 갖는 셀을 선택한다. 만약, 임계값이 15라고 가정하면, 셀 A14, A22, A23, A32, A34, 및 A42가 선택될 수 있다. 이와 같이 임계값 이상의 제 1 터치용이도를 갖는 셀이 선택되면, 추정부(202)는 선택된 셀들에 대응되는 영역을 최적 터치 영역으로 추정할 수 있다.
예를 들어, 도 4c에서, 추정부(202)는 셀 A14, A22, A23, A32, A34, 및 A42를 포함하는 영역을 최적 터치 영역(401)으로 추정하는 것이 가능하다.
도 5a 내지 도 5d는 본 발명의 다른 실시예에 따른 최적 터치 영역 추정 방법을 도시한다. 이것은 제 1 터치용이도에 선택적으로 가중치를 부여하여 제 2 터치용이도를 산출하고, 제 2 터치용이도에 기초하여 최적 터치 영역을 결정하는 것에 관한 일 예가 될 수 있다.
도 5a를 참조하면, 추정부(202)는 획득부(201)로부터 연속 터치의 시작 위치(501) 및 종료 위치(502)를 수신한다. 추정부(202)는 시작 위치(501)와 종료 위치(502)를 이용하여 연속 터치의 기울기 및 방향을 계산하고 그 값을 저장부(204, 도 2)에 기록할 수 있다. 여기서 연속 터치의 기울기란 시작 위치(501)와 종료 위치(502)를 연결하는 직선의 기울기가 될 수 있다. 이때, 추정부(202)는 소정 범위 내의 기울기를 갖는 연속 터치만 유효 연속 터치로서 저장부(204)에 기록할 수도 있다. 예컨대, 0에 가까운 기울기가 형성되는 연속터치의 경우, 평행에 가까운 궤적을 갖기 때문에 연속 터치의 방향성을 판단하는 데이터로 사용되기 힘들고, 그 연속 터치는 유효 연속 터치에서 제외시킬 수가 있다.
추정부(202)는 특정 기간 누적된 유효 연속 터치들의 기울기 값을 양수/음수로 분류하고 통계를 낼 수 있다. 만약 기울기 값이 양수가 많다면 사용자는 오른손잡이이고 음수가 많다면 사용자가 왼손잡이인 것으로 추정할 수 있다. 예컨대, 기울기에 대한 통계 결과 양의 값이 많다면, 그 사용자가 오른손잡이인 것으로 추정할 수 있고, 만약 연속 터치가 좌측상방에서 우측하방으로 이루어지는 경우, 다시 말해 음의 기울기가 형성되는 경우, 그 사용자는 왼손잡이인 것으로 추정할 수 있다.
추정부(202)는 오른손잡이/왼손잡이 판단결과에 따라 연속 터치를 필터링하고 시작 및 종료 위치의 평균값을 계산한다. 그리고 추정부(202)는 계산된 평균 시작 위치 및 평균 종료 위치를 연결하는 직선을 생성한다.
예컨대, 도 5b와 같이, 추정부(202)는 유효 연속 터치들의 평균 시작 위치(503)와 평균 종료 위치(504)를 획득하고, 각각의 위치(503)(504)를 연결하는 직선(505)을 생성할 수 있다.
추정부(202)는 직선(505)이 지나가는 셀들을 가중치 부여 셀로 결정하는 것이 가능하다. 예컨대, 도 5c와 같이, 셀 A04, A13, A14, A22, A23, A32, A41, 및 A42가 가중치 부여 셀로 결정될 수 있다.
가중치 부여 셀이 결정되면, 추정부(202)는 도 4b와 같이 구해진 제 1 터치용이도에 선택적으로 가중치를 부여해서 제 2 터치용이도를 구한다.
예컨대, 가중치가 1.3이라면, 도 5d와 같이, 제 1 터치용이도에 가중치 1.3을 곱하되, 도 5c에서 가중치 부여 셀로 결정된 셀에만 선택적으로 가중치를 곱하는 것이 가능하다. 즉 셀 A03의 경우 제 1 터치용이도가 '2'이다. 그런데 셀 A03은 가중치 부여 셀이 아니므로 제 2 터치용이도 역시 '2'로 주어진다. 그러나 셀 A04의 경우 제 1 터치용이도가 '5'이다. 그런데 셀 A04는 가중치 부여 셀이므로 제 2 터치용이도는 가중치가 부여된 '6.5'임을 알 수 있다.
제 2 터치용이도가 구해지면, 추정부(202)는 제 2 터치용이도와 소정의 임계값을 비교하여 최적 터치 영역을 추정할 수 있다. 예컨대, 도 5d에서, 임계값이 15인 경우, 셀 A13(16.9), A14(20.8), A22(28.6), A23(23.4), A32(26), A34(17), A41(16.9) 및 A42(19.5)를 포함하는 영역이 최적 터치 영역으로 추정될 수 있다.
다만, 위와 같이 가중치를 부여하는 것은 하나의 실시예를 나타낸 것으로 그 밖에 다양한 방법을 통해 가중치가 부여될 수 있다. 예를 들어, 연속 터치의 평균 시작 및 종료 위치를 연결하는 직선을 형성하는 것 이외에도 그 평균 시작 및 종료 위치를 포함하는 소정의 폐곡선 영역을 설정한 후 가중치를 부여할 수도 있고, 가중치와 비교되는 임계값 역시 다양하게 변경될 수 있다.
도 6은 본 발명의 일 실시예에 따른 동적 사용자 인터페이스 제공 방법을 도시한다.
도 2 및 도 6을 참조하면, 먼저 획득부(201)가 터치 정보를 획득한다(601). 터치 정보는 터치 스크린을 조작할 때의 터치 위치(또는 좌표), 터치 스크린의 각 영역 별 터치 횟수 또는 빈도, 연속 터치의 시작 및 종료 위치, 연속 터치의 방향, 및 연속 터치의 속도 등을 포함할 수 있다.
터치 정보가 획득되면, 추정부(202)가 사용자의 신체적 특성이 반영된 최적 터치 영역을 추정한다(602).
일 예로써, 도 4a 내지 도 4c와 같이, 추정부(202)가 터치 스크린의 각 영역별 터치 빈도 및 제 1 터치용이도를 이용해서 최적 터치 영역을 추정할 수 있다.
다른 예로써, 도 4a 내지 도 4c, 및 도 5a 내지 도 5d와 같이, 추정부(202)가 터치 스크린의 각 영역별 터치 빈도, 연속 터치의 방향성, 제 1 터치용이도, 및 제 2 터치용이도를 이용해서 최적 터치 영역을 추정할 수도 있다.
최적 터치 영역이 추정되면, 제어부(203)는 그 최적 터치 영역을 고려하여 그래픽 오브젝트를 표시한다(603). 예컨대, 제어부(203)는 사용자가 자주 사용하거나 선호하는 애플리케이션 실행 아이콘 또는 기능 버튼을 추정된 최적 터치 영역 내에 표시하는 것이 가능하다.
또한, 선택적으로, 그래픽 오브젝트의 선호도와 최적 터치 영역의 터치용이도를 매핑해서 터치용이도가 높은 부분에 선호도가 높은 그래픽 오브젝트를 배치하는 것도 가능하다.
또한, 최적 터치 영역 내에 배치될 그래픽 오브젝트는 자주 사용하거나 선호하는 그래픽 오브젝트 외에도 최근에 설치된 애플리케이션과 관련된 그래픽 오브젝트가 될 수도 있고 기타 다양한 방법으로 사용자에 의해 설정될 수도 있다.
나아가, 최적 터치 영역 내에 그래픽 오브젝트를 배치할 때에도 사용자의 신체적 특성을 고려하여 보다 편리하게 그래픽 오브젝트를 조작할 수 있도록 그래픽 오브젝트의 배치 형태를 변경하는 것이 가능하다. 예를 들어, 최근 스마트폰의 경우, 스마트폰의 잠금(holding)을 해제하기 위한 동작으로서 소정의 그래픽 오브젝트를 한쪽 방향으로 슬라이딩(sliding)하는 동작이 사용되는 경우가 많은데, 연속 터치의 시작 및 종료 위치에 따라 사용자가 오른손잡이라고 추정되면 그 슬라이딩의 방향을 왼쪽에서 오른쪽으로 설정하고, 사용자가 왼손잡이라고 추정되면 그 슬라이딩의 방향을 오른쪽에서 왼쪽으로 설정하는 것이 가능하다.
이와 같이, 사용자의 신체적 특성에 따라 사용이 편리한 위치에 선호도가 높은 그래픽 오브젝트가 표시되기 때문에 사용자 인터페이스의 편의성을 증대시킬 수가 있다.
도 7은 본 발명의 다른 실시예에 따른 동적 사용자 인터페이스 제공 방법을 도시한다.
도 2 및 도 7을 참조하면, 먼저 획득부(201)가 터치 정보를 획득한다(701). 터치 정보는 터치 스크린을 조작할 때의 터치 위치(또는 좌표), 터치 스크린의 각 영역 별 터치 횟수 또는 빈도, 연속 터치의 시작 및 종료 위치, 연속 터치의 방향, 및 연속 터치의 속도 등을 포함할 수 있다.
터치 정보가 획득되면, 추정부(202)는 관절 스트레스 발생 여부를 추정한다(702). 예컨대, 추정부(202)는 도 4a와 같이 터치 스크린을 다수의 셀로 분할하고 반복적인 터치 횟수가 임계값을 넘어가는 경우 관절 스트레스가 발생하는 것으로 유추할 수 있다.
관절 스트레스가 발생된다고 추정되면, 제어부(203)는 그래픽 오브젝트를 재배치한다(703). 예컨대, 도 4a에서, 사용자가 셀 A22에 표시되어 있는 그래픽 오브젝트를 임계값 이상으로 반복 터치하는 경우, 제어부(203)는 셀 A22에 표시되어 있는 그래픽 오브젝트를 다른 위치, 예컨대, 셀 A40으로 옮겨서 조작 패턴의 변경을 유도할 수 있다.
또한, 선택적으로, 제어부(203)는 관절 스트레스가 발생하는 것으로 추정된 경우, 경보를 발생할 수도 있다. 경보의 종류는 소리가 될 수도 있고 화면에 표시되는 경보문구가 될 수도 있다.
이와 같이, 관절 스트레스를 유발하는 동작이 임계값 이상으로 반복되는 경우, 다른 동작이 이루어질 수 있도록 유도하기 때문에 사용자의 건강 또한 증진시킬 수가 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
나아가 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (17)

  1. 사용자의 터치 스크린에 관한 터치 정보를 획득하는 획득부;
    상기 터치 정보에 기초하여 상기 사용자의 신체적 특성이 반영된 상기 터치 스크린의 최적 터치 영역을 추정하는 제 1 추정부; 및
    상기 최적 터치 영역에 기초하여 소정의 그래픽 오브젝트를 표시하는 제 1 제어부; 를 포함하는 동적 사용자 인터페이스 제공 장치.
  2. 제 1 항에 있어서, 상기 터치 정보는
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보, 및 연속 터치의 시작 및 종료 위치 정보 중 적어도 하나를 포함하는 동적 사용자 인터페이스 제공 장치.
  3. 제 2 항에 있어서, 상기 제 1 추정부는
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보에 기초하여 상기 각 영역의 제 1 터치용이도를 계산하고,
    계산된 상기 제 1 터치용이도에 기초하여 상기 최적 터치 영역을 추정하는 동적 사용자 인터페이스 제공 장치.
  4. 제 2 항에 있어서, 상기 제 1 추정부는
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보에 기초하여 상기 각 영역의 제 1 터치용이도를 계산하고,
    상기 연속 터치의 시작 및 종료 위치에 따라 상기 터치 스크린의 각 영역 중 가중치 부여 영역을 결정하고,
    결정된 가중치 부여 영역에 선택적으로 가중치를 부여함으로써 상기 각 영역의 제 2 터치용이도를 계산하고,
    계산된 상기 제 2 터치용이도에 기초하여 상기 최적 터치 영역을 추정하는 동적 사용자 인터페이스 제공 장치.
  5. 제 4 항에 있어서, 상기 제 1 추정부는
    상기 연속 터치의 시작 및 종료 위치에 따라 얻어진 연속터치의 기울기를 이용하여 상기 사용자가 오른손잡이인지 또는 왼손잡이인지 여부를 판단하고,
    상기 판단 결과를 고려하여 상기 가중치 부여 영역을 결정하는 동적 사용자 인터페이스 제공 장치.
  6. 제 1 항에 있어서, 상기 제 1 제어부는
    선호도가 임계값 이상인 애플리케이션의 실행 아이콘 또는 기능 버튼을 상기 최적 터치 영역에 표시하는 동적 사용자 인터페이스 제공 장치.
  7. 제 1 항에 있어서,
    상기 터치 정보에 기초하여 터치 조작에 따른 상기 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 제 2 추정부; 및
    상기 관절 스트레스가 발생되면, 상기 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 제 2 제어부; 를 더 포함하는 동적 사용자 인터페이스 제공 장치.
  8. 사용자의 터치 스크린에 관한 터치 정보를 획득하는 단계;
    상기 터치 정보에 기초하여 상기 사용자의 신체적 특성이 반영된 상기 터치 스크린의 최적 터치 영역을 추정하는 단계; 및
    상기 최적 터치 영역에 기초하여 소정의 그래픽 오브젝트를 표시하는 단계; 를 포함하는 동적 사용자 인터페이스 제공 방법.
  9. 제 8 항에 있어서,
    상기 터치 정보에 기초하여 터치 조작에 따른 상기 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 단계; 및
    상기 관절 스트레스가 발생되면, 상기 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 단계; 를 더 포함하는 동적 사용자 인터페이스 제공 방법.
  10. 사용자의 터치 스크린에 관한 터치 정보를 획득하는 획득부;
    상기 터치 정보에 기초하여 터치 조작에 따른 상기 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 추정부; 및
    상기 관절 스트레스가 발생되면, 상기 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 제어부; 를 포함하는 동적 사용자 인터페이스 제공 장치.
  11. 제 10 항에 있어서, 상기 터치 정보는
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보, 및 연속 터치의 시작 및 종료 위치 정보 중 적어도 하나를 포함하는 동적 사용자 인터페이스 제공 장치.
  12. 제 10 항에 있어서, 상기 추정부는
    상기 터치 정보에 기초하여 실질적으로 동일한 터치패턴이 소정의 임계값 이상으로 반복되는지 여부를 판단하고, 그 판단 결과에 따라 상기 관절 스트레스가 발생하는지 여부를 추정하는 동적 사용자 인터페이스 제공 장치.
  13. 제 10 항에 있어서, 상기 제어부는
    상기 관절 스트레스가 발생되지 않도록 상기 그래픽 오브젝트를 재배치하는 동적 사용자 인터페이스 제공 장치.
  14. 사용자의 터치 스크린에 관한 터치 정보를 획득하는 단계;
    상기 터치 정보에 기초하여 터치 조작에 따른 상기 사용자의 관절 스트레스가 발생하는지 여부를 추정하는 단계; 및
    상기 관절 스트레스가 발생되면, 상기 터치 스크린에 표시되는 그래픽 오브젝트를 재배치하는 단계; 를 포함하는 동적 사용자 인터페이스 제공 방법.
  15. 그래픽 오브젝트를 표시하는 터치 스크린; 및
    상기 터치 스크린을 조작하는 사용자의 신체적 특성을 고려하여 상기 터치 스크린의 최적 터치 영역을 추정하고, 추정된 최적 터치 영역을 토대로 상기 그래픽 오브젝트를 표시하는 UI 제공부; 를 포함하는 단말.
  16. 제 15 항에 있어서, 상기 UI 제공부는
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보, 및 연속 터치의 시작 및 종료 위치 정보 중 적어도 하나를 포함하는 터치 정보를 획득하는 획득부;
    상기 터치 스크린의 각 영역 별 터치 횟수 또는 빈도 정보에 기초하여 상기 각 영역의 제 1 터치용이도를 계산하고, 계산된 상기 제 1 터치용이도에 기초하여 최적 터치 영역을 추정하는 추정부; 및
    선호도가 임계값 이상인 애플리케이션의 실행 아이콘 또는 기능 버튼을 상기 최적 터치 영역에 표시하는 제어부; 를 포함하는 단말.
  17. 제 16 항에 있어서, 상기 추정부는
    상기 제 1 터치용이도가 계산된 후, 상기 연속 터치의 평균적인 시작 및 종료 위치에 따라 상기 터치 스크린의 각 영역 중 가중치 부여 영역을 결정하고, 결정된 가중치 부여 영역에 선택적으로 가중치를 부여함으로써 상기 각 영역의 제 2 터치용이도를 계산하고, 계산된 상기 제 2 터치용이도에 기초하여 상기 최적 터치 영역을 추정하는 단말.
KR1020110056178A 2011-06-10 2011-06-10 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법 KR101824388B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110056178A KR101824388B1 (ko) 2011-06-10 2011-06-10 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법
US13/222,640 US9047011B2 (en) 2011-06-10 2011-08-31 Apparatus and method for providing a dynamic user interface in consideration of physical characteristics of a user
CN201210162630.XA CN102880404B (zh) 2011-06-10 2012-05-23 考虑用户的身体特征提供动态用户界面的设备和方法
EP18212379.4A EP3474126A1 (en) 2011-06-10 2012-06-04 Apparatus and method for providing a dynamic user interface in consideration of physical characteristics of a user
EP12170659.2A EP2533145B1 (en) 2011-06-10 2012-06-04 Apparatus and method for providing a dynamic user interface in consideration of physical characteristics of a user
JP2012130993A JP5992734B2 (ja) 2011-06-10 2012-06-08 ユーザの身体特性を考慮した動的ユーザインターフェース提供装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110056178A KR101824388B1 (ko) 2011-06-10 2011-06-10 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120136949A true KR20120136949A (ko) 2012-12-20
KR101824388B1 KR101824388B1 (ko) 2018-02-01

Family

ID=46229274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056178A KR101824388B1 (ko) 2011-06-10 2011-06-10 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법

Country Status (5)

Country Link
US (1) US9047011B2 (ko)
EP (2) EP3474126A1 (ko)
JP (1) JP5992734B2 (ko)
KR (1) KR101824388B1 (ko)
CN (1) CN102880404B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140089812A (ko) * 2013-01-07 2014-07-16 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20180042564A (ko) * 2016-10-18 2018-04-26 에스이테크주식회사 사용자별 맞춤형 메뉴 제공 시스템
KR20180060843A (ko) * 2016-11-29 2018-06-07 주식회사 넥슨코리아 가상 입력수단 제공 방법 및 장치

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
JP5991538B2 (ja) * 2013-02-20 2016-09-14 富士ゼロックス株式会社 データ処理装置、データ処理システム及びプログラム
CN104049879A (zh) * 2013-03-14 2014-09-17 中兴通讯股份有限公司 触摸式终端及其提示框定位的方法
WO2015066892A1 (zh) * 2013-11-08 2015-05-14 华为技术有限公司 智能终端及用于显示其输入操作界面的方法
AU2015279949B2 (en) * 2014-06-24 2018-05-10 Apple Inc. Input device and user interface interactions
CN105389073A (zh) * 2014-09-05 2016-03-09 富泰华工业（深圳）有限公司 桌面图标显示系统及方法
JP5936240B2 (ja) 2014-09-12 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ データ処理装置、データ処理方法、およびプログラム
CN105653077B (zh) * 2014-11-13 2019-01-29 Tcl集团股份有限公司 一种触控终端的数据显示方法及触控终端
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
CN104636043B (zh) * 2015-02-13 2017-08-29 努比亚技术有限公司 一种虚拟按键的显示方法及装置
CN104765561A (zh) * 2015-03-26 2015-07-08 深圳市艾优尼科技有限公司 一种终端
CN104765560A (zh) * 2015-03-26 2015-07-08 深圳市艾优尼科技有限公司 一种显示控制方法
CN104778009A (zh) * 2015-04-15 2015-07-15 京东方科技集团股份有限公司 驱动方法及装置、显示装置
US9798413B2 (en) 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
US11587484B2 (en) * 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
GB2545668B (en) 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
CN106527842B (zh) * 2016-09-13 2019-08-30 广东小天才科技有限公司 一种智能设备的应用图标控制方法及装置、智能设备
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
CN107015721A (zh) 2016-10-20 2017-08-04 阿里巴巴集团控股有限公司 一种应用界面的管理方法和装置
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
CN109213413A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 一种推荐方法、装置、设备和存储介质
JP2017188169A (ja) * 2017-07-19 2017-10-12 Kddi株式会社 携帯端末装置、ツール画面制御方法およびコンピュータプログラム
WO2019056393A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
CN114297620A (zh) 2019-03-24 2022-04-08 苹果公司 用于媒体浏览应用程序的用户界面
CN114302210B (zh) 2019-03-24 2024-07-05 苹果公司 用于查看和访问电子设备上的内容的用户界面
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
CN112083858A (zh) * 2020-08-31 2020-12-15 珠海格力电器股份有限公司 控件的显示位置调整方法及装置
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61237124A (ja) * 1985-04-13 1986-10-22 Oki Electric Ind Co Ltd タツチ式入力装置の入力判定方式
KR100595926B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
JP4551507B2 (ja) * 1998-08-17 2010-09-29 ソニー株式会社 入力操作装置及び入力操作方法
JP2004326498A (ja) 2003-04-25 2004-11-18 Matsushita Electric Ind Co Ltd 情報端末機器及びプログラム
KR100554159B1 (ko) 2003-11-08 2006-02-22 학교법인 포항공과대학교 휴대폰 메뉴 제공 방법 및 시스템
US20050151722A1 (en) * 2004-01-14 2005-07-14 Xerox Corporation Methods and systems for collecting and generating ergonomic data utilizing an electronic portal
KR101088692B1 (ko) 2005-02-11 2011-12-01 엘지전자 주식회사 이동단말기에서 사용자 인터페이스 기반의 버튼 배치 방법
JP4741983B2 (ja) * 2006-06-20 2011-08-10 シャープ株式会社 電子機器及び電子機器の動作方法
JP2009003696A (ja) * 2007-06-21 2009-01-08 Fuji Xerox Co Ltd 表示制御システム、情報処理装置および表示制御プログラム、表示管理装置およびプログラム
KR20090022037A (ko) 2007-08-29 2009-03-04 엘지전자 주식회사 터치스크린을 구비한 이동 통신 단말기 및 터치스크린 보호방법
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
CN101442584B (zh) 2007-11-20 2011-10-26 中兴通讯股份有限公司 一种提高按键输入率的触摸屏手机
KR101542397B1 (ko) 2007-12-10 2015-08-06 삼성디스플레이 주식회사 접촉 감지 기능이 있는 표시 장치 및 그 구동 방법
JP2009181501A (ja) 2008-01-31 2009-08-13 Toshiba Corp 移動通信機器
JP2010020601A (ja) 2008-07-11 2010-01-28 Nec Corp 携帯端末、タッチパネルの項目配置方法およびプログラム
CN101639738B (zh) 2008-07-31 2015-12-16 宏达国际电子股份有限公司 操控应用程序的方法与其电子装置
TWI478038B (zh) * 2008-09-24 2015-03-21 Htc Corp 輸入習慣判定及介面提供系統及方法，及其機器可讀取媒體
EP2175344B1 (en) * 2008-10-06 2020-02-12 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
JP2010108070A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp ユーザインタフェース制御装置、ユーザインタフェース制御方法およびプログラム
KR100993197B1 (ko) 2008-10-31 2010-11-10 에스케이텔레시스 주식회사 이동 단말기용 메뉴 구성 방법 및 장치
JP2010152685A (ja) 2008-12-25 2010-07-08 Brother Ind Ltd 位置検出方法及び装置
CN101770323A (zh) 2008-12-30 2010-07-07 英业达股份有限公司 输入装置以及产生触控键盘的方法
CN101770339B (zh) * 2009-01-05 2012-12-19 深圳富泰宏精密工业有限公司 使用者行为追踪及记录系统与方法
US20100271200A1 (en) 2009-03-05 2010-10-28 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining response to subject advisory information
CN101907921A (zh) 2009-06-08 2010-12-08 联想(北京)有限公司 一种便携设备及其状态调整方法
KR101612283B1 (ko) * 2009-09-10 2016-04-15 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
JP5458783B2 (ja) 2009-10-01 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101660842B1 (ko) * 2009-11-05 2016-09-29 삼성전자주식회사 터치 입력 방법 및 그 장치
JP5062279B2 (ja) * 2010-03-29 2012-10-31 パナソニック株式会社 情報機器および携帯情報機器
US20120036468A1 (en) * 2010-08-03 2012-02-09 Nokia Corporation User input remapping
US20120166995A1 (en) * 2010-12-24 2012-06-28 Telefonaktiebolaget L M Ericsson (Publ) Smart virtual keyboard for touchscreen devices
US8773374B2 (en) * 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140089812A (ko) * 2013-01-07 2014-07-16 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20180042564A (ko) * 2016-10-18 2018-04-26 에스이테크주식회사 사용자별 맞춤형 메뉴 제공 시스템
KR20180060843A (ko) * 2016-11-29 2018-06-07 주식회사 넥슨코리아 가상 입력수단 제공 방법 및 장치

Also Published As

Publication number Publication date
JP2013004087A (ja) 2013-01-07
CN102880404B (zh) 2016-05-11
JP5992734B2 (ja) 2016-09-14
KR101824388B1 (ko) 2018-02-01
US20120317520A1 (en) 2012-12-13
EP2533145A3 (en) 2017-12-13
US9047011B2 (en) 2015-06-02
EP2533145B1 (en) 2019-03-13
EP2533145A2 (en) 2012-12-12
CN102880404A (zh) 2013-01-16
EP3474126A1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
KR101824388B1 (ko) 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법
US12045451B2 (en) Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11314407B2 (en) Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11747956B2 (en) Multi-dimensional object rearrangement
US9965074B2 (en) Device, method, and graphical user interface for transitioning between touch input to display output relationships
US20190391658A1 (en) Device, Method, and Graphical User Interface for Forgoing Generation of Tactile Output for a Multi-Contact Gesture
CN103019508B (zh) 移动终端和图标排列显示方法
AU2016204683B2 (en) Thresholds for determining feedback in computing devices
JP5334450B2 (ja) ジェスチャを行うことによってユーザ・インターフェース内のオブジェクトを選択するための方法
CN104166553B (zh) 一种显示方法及电子设备
KR20130133224A (ko) 터치 디스플레이용 가상 제어기
WO2015035595A1 (en) Multi-touch virtual mouse
KR100808990B1 (ko) 포인팅 디바이스를 이용하여 메뉴를 선택하는 장치 및 그방법
JP5995171B2 (ja) 電子機器、情報処理方法、及び情報処理プログラム
CN106484101A (zh) 一种终端控制方法及设备
JP6057466B2 (ja) 電子機器及びコンテンツ表示方法
Bial et al. A study of two-handed scrolling and selection on standard notebook computers

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant