KR102094695B1 - 터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치 - Google Patents

터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치 Download PDF

Info

Publication number
KR102094695B1
KR102094695B1 KR1020130057204A KR20130057204A KR102094695B1 KR 102094695 B1 KR102094695 B1 KR 102094695B1 KR 1020130057204 A KR1020130057204 A KR 1020130057204A KR 20130057204 A KR20130057204 A KR 20130057204A KR 102094695 B1 KR102094695 B1 KR 102094695B1
Authority
KR
South Korea
Prior art keywords
display area
icons
user
partial display
comfort
Prior art date
Application number
KR1020130057204A
Other languages
English (en)
Other versions
KR20130129864A (ko
Inventor
남형민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130129864A publication Critical patent/KR20130129864A/ko
Application granted granted Critical
Publication of KR102094695B1 publication Critical patent/KR102094695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 핸드헬드(handheld) 디바이스의 디스플레이 영역 상에 사용자 인터페이스(UI: User Interface)들을 제공하는 복수개의 아이콘들을 디스플레이하는 방법에 있어서, 상기 디스플레이 영역 상에 검출된 사용자 터치를 기반으로 부분 디스플레이 영역을 결정하는 과정과, 상기 부분 디스플레이 영역 상에 상기 복수개의 아이콘들의 배치를 수행하는 과정과, 상기 부분 디스플레이 영역 상에 배치된 상기 복수개의 아이콘들 중 적어도 2개의 아이콘들을 선택하는 과정과, 상기 선택된 적어도 2개의 아이콘들을 상기 복수개의 아이콘들 중 선택되지 않은 아이콘들과 상이하게 상기 부분 디스플레이 영역에 배치하는 과정과, 상기 적어도 2개의 아이콘들에 대해 검출된 사용자 입력에 응답하여 사용자에 의해서 수동으로 설정된 상기 적어도 2개의 아이콘들의 재배치를 제공하는 메뉴를 디스플레이하는 과정과, 상기 메뉴는 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들 각각에 대한 크기, 간격 또는 위치 중 적어도 하나를 조정하기 위한 아이템을 포함하며, 상기 아이템 상에 상기 사용자의 입력을 기반으로 상기 부분 디스플레이 영역 내에서 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 메뉴얼 세팅을 검출하는 과정과, 상기 메뉴얼 세팅을 기반으로 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 과정과, 상기 부분 디스플레이 영역 상에 재배치된 상기 적어도 2개의 아이콘들을 디스플레이하는 과정을 포함한다.

Description

터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치{A METHOD AND APPARATUS FOR CONTROLLING A USER INTERFACE USING A TOUCH SCREEN}
본 개시는 사용자 인터페이스(UI: User Interface)를 제공하는 터치 스크린(touch screen)에 관한 것으로, 특히, 사용자의 편의성을 보다 향상시킬 수 있는 UI 제어 방법 및 장치에 대한 것이다.
스마트 폰, 태블릿 PC, 전자 책 단말기 등 각종 디지털 휴대용 단말기의 사용이 급속히 대중화됨과 동시에, 디지털 휴대용 단말기의 역할이 변화하고 있다. 그 대표적인 예로서 최근 사용이 급증하고 있는 스마트 폰의 경우 개인 휴대 통신 기기로서의 역할 뿐만 아니라 개인 정보 관리기기와 같은 정보 처리기기로서의 역할이 보다 더 증대되는 방향으로 구현되고 있다. 이에 따라 사용자의 편의성을 위해서 디지털 휴대용 단말기에게 객체 지향적인 사용자 정보 입력 수단이 적용된다. 그 대표적인 예로서 디지털 휴대용 단말기는 터치 스크린(Touch Screen)의 적용을 통해서 해당 사용자가 보다 편리하게 필요한 정보의 입력 및 처리를 수행하도록 한다. 그러나, 기존의 디지털 휴대용 단말기의 터치 스크린의 크기가 소형임으로 인해 사용자가 필요한 정보를 선택 및 입력함에 있어 사용상의 불편함이 발생하였다. 그리하여, 디지털 휴대용 단말기의 터치 스크린의 크기가 다양한 형태로 발전하고 있으며, 디지털 휴대용 단말에 넓게 장착되고 있는 추세이다.
도 1a,b는 디지털 휴대용 단말기의 터치 스크린 사이즈가 커짐에 따라 발생하는 사용자의 터치 가능한 영역의 제약을 설명하기 위한 도면이다.
도 1b를 참조하면, 도 1a에 도시된 기존 스마트 폰의 터치 스크린(100a)에 비해 상대적으로 스크린 크기가 커진 스마트 폰의 터치 스크린(100b)을 도시하고 있다.
상대적으로 크기가 커진 도 1b의 스마트폰의 터치 스크린(100b)의 경우, 입력 수단의 사용 환경에 따라서 터치 스크린(100b)에서 사용자가 터치할 수 없는 영역들이 발생할 수 있다. 그 대표적인 예로 상기 스마트 폰의 입력 수단으로 사용자의 한 손이 사용되는 경우를 가정하자. 이하, 본원 명세서에서는 설명의 편의상 한 손으로 디지털 휴대용 단말기를 조작하려는 사용자를 '한 손 사용자'라 칭하기로 한다.
그러면, 한 손 사용자가 스마트 폰을 사용하고자 할 경우, 상기 스마트 폰의 사용을 위한 고정 동작이 먼저 요구된다. 구체적으로, 상기 고정 동작을 위해서는 한 손 중 엄지 손가락을 제외한 나머지 네 개의 손가락으로 해당 스마트 폰을 받치게 된다. 이로 인해서 상기 한 손 사용자는 주로 엄지 손가락을 움직여 스마트 폰에 원하는 입력을 수행하게 된다.
도 1a를 참조하면, 기존 스마트 폰의 터치 스크린(100a)의 경우, 터치 스크린(100a)의 조작을 위해 상기 한 손 사용자의 엄지 손가락(105)이 접촉될(또는 위치될) 수 있는 영역이 상기 기존 스마트 폰의 터치 스크린(100a)의 디스 플레이 영역 전체에 도달한다고 가정하자. 그러나, 상기 기존 스마트 폰의 터치 스크린(100a)이 비해 스크린 크기가 증가된 스마트 폰의 터치 스크린(100b)의 경우 상기한 조작 범위는 터치 스크린(100b)의 일부 영역에만 해당하고, 터치 스크린(100b)에서 상기 엄지 손가락(105)이 도달할 수(즉, 접촉되거나 또는 위치될 수) 없는 영역이 존재한다.
일반적으로 터치 스크린에서 사용자 입력을 위한 사용자 인터페이스(UI: User Interface)는 디스 플레이 영역 전체에 고정적 간격을 갖는 바둑판식 형태로 제공하거나, 특정 위치에만 존재하는 형태로 제공한다.
따라서, 도 1b와 같이 상대적으로 스크린 크기가 큰 터치 스크린(100b)을 사용하는 경우, 상기 한 손 사용자에게 있어 상기 조작 범위는 상기 터치 스크린(100b) 상에서 일부 영역으로 한정된다. 또한, 상기 터치 스크린(100b)을 통해 제공되는 UI가 상기와 같이 전형적인 바둑 판 식 배열을 갖거나 상기 조작 범위를 벗어난 영역에서 UI가 제공되면, 한 손 사용자에게 있어 UI 편의성은 더욱 저하될 것이다.
본 개시는 터치 스크린의 디스플레이 영역 내에서 사용자가 터치 가능한 부분 영역을 결정하고, 상기 부분 영역 상에서 UI들을 제공하는 방법 및 터치 스크린을 제공한다.
또한, 본 개시는 터치 스크린의 디스플레이 영역 중 사용자의 터치 가능한 부분 영역 상에서 사용자의 편의를 고려하여 UI들을 크기 및 위치를 재배치하는 방법 및 터치 스크린을 제공한다.
본 개시의 실시 예에 따른 방법은; 핸드헬드(handheld) 디바이스의 디스플레이 영역 상에 사용자 인터페이스(UI: User Interface)들을 제공하는 복수개의 아이콘들을 디스플레이하는 방법에 있어서, 상기 디스플레이 영역 상에 검출된 사용자 터치를 기반으로 부분 디스플레이 영역을 결정하는 과정과, 상기 부분 디스플레이 영역 상에 상기 복수개의 아이콘들의 배치를 수행하는 과정과, 상기 부분 디스플레이 영역 상에 배치된 상기 복수개의 아이콘들 중 적어도 2개의 아이콘들을 선택하는 과정과, 상기 선택된 적어도 2개의 아이콘들을 상기 복수개의 아이콘들 중 선택되지 않은 아이콘들과 상이하게 상기 부분 디스플레이 영역에 배치하는 과정과, 상기 적어도 2개의 아이콘들에 대해 검출된 사용자 입력에 응답하여 사용자에 의해서 수동으로 설정된 상기 적어도 2개의 아이콘들의 재배치를 제공하는 메뉴를 디스플레이하는 과정과, 상기 메뉴는 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들 각각에 대한 크기, 간격 또는 위치 중 적어도 하나를 조정하기 위한 아이템을 포함하며, 상기 아이템 상에 상기 사용자의 입력을 기반으로 상기 부분 디스플레이 영역 내에서 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 메뉴얼 세팅을 검출하는 과정과, 상기 메뉴얼 세팅을 기반으로 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 과정과, 상기 부분 디스플레이 영역 상에 재배치된 상기 적어도 2개의 아이콘들을 디스플레이하는 과정을 포함한다.
본 개시의 실시 예에 따른 장치는; 디스플레이 영역 상에 사용자 인터페이스(UI: User Interface)들을 제공하는 복수개의 아이콘들을 디스플레이하는 핸드헬드(handheld) 디바이스에 있어서, 상기 디스플레이 영역 상에 검출된 사용자 터치를 기반으로 부분 디스플레이 영역을 결정하고, 상기 부분 디스플레이 영역 상에 상기 복수개의 아이콘들의 배치를 수행하고, 상기 부분 디스플레이 영역 상에 배치된 상기 복수개의 아이콘들 중 적어도 2개의 아이콘들을 선택하는 입력을 검출하고, 상기 선택된 적어도 2개의 아이콘들을 상기 복수개의 아이콘들 중 선택되지 않은 아이콘들과 상이하게 상기 부분 디스플레이 영역에 배치하도록 디스플레이를 제어하는 적어도 하나의 프로세서와, 상기 적어도 2개의 아이콘들에 대해 검출된 사용자 입력에 응답하여 사용자에 의해서 수동으로 설정된 상기 적어도 2개의 아이콘들의 재배치를 제공하는 메뉴를 디스플레이하는 상기 디스플레이를 포함하며, 상기 메뉴는 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들 각에 대한 크기, 간격 도는 위치 중 적어도 하나를 조정하기 위한 아이템을 포함하며, 상기 적어도 하나의 프로세서는 상기 아이템 상에 상기 사용자의 입력을 기반으로 상기 부분 디스플레이 영역 내에서 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 메뉴얼 세팅을 검출하고, 상기 메뉴얼 세팅을 기반으로 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들을 적응적으로 재배치하고, 상기 부분 디스플레이 영역 상에 재배치된 상기 적어도 2개의 아이콘들을 디스플레이하도록 상기 디스플레이를 제어함을 특징으로 한다.
본 개시는 디지털 휴대용 단말의 터치 스크린의 디스플레이 영역 중 사용자의 입력 수단에 따라 터치 가능한 부분 영역을 설정하고, 상기 부분 영역 상에서 UI들을 재배치하고, 상기 UI들의 크기 및 위치 등을 조정함에 의해서 사용자의 편의성을 증대시키고, 상기 부분 영역 상에서 UI들을 사용하기 위한 추가 UI를 제공함으로써, 사용자의 UX가 크게 향상되는 효과가 있다.
도 1a,b는 디지털 휴대용 단말기의 터치 스크린 사이즈가 커짐에 따라 발생하는 사용자의 터치 가능한 영역의 제약을 설명하기 위한 도면,
도 2는 본 개시의 제1실시 예에 따라 정의되는 컴포트 영역의 정의를 설명하기 위한 도면,
도 3은 본 개시의 제1실시 예에 따른 터치 스크린 제어 장치의 구성도,
도 4a는 본 개시의 제1실시 예에 따른 터치 스크린 제어 장치의 컴포트 영역 선택부의 동작 흐름도,
도 4b는 본 개시의 제1실시 예에 따른 사용자 터치 입력 요구 화면의 일 예를 도시한 도면,
도 4c는 본 개시의 제1실시 예에 따라 컴포트 영역을 결정 방식을 설명하기 위한 도면,
도 5a는 본 개시의 제1실시 예에 따른 터치 스크린 제어 장치의 UI 레이아웃 변환부의 동작 흐름도,
도 5b는 본 개시의 제1실시 예에 따라 기존 디스플레이 영역과 현재 컴포트 영역 간의 2차원 사영 변환(Projective Transform)의 일 예를 설명하기 위한 도면,
도 6은 본 개시의 제1실시 예에 따른 컴포트 영역의 일 예를 도시한 도면,
도 7은 본 개시의 제1실시 예에 따라 현재 컴포트 영역들의 다양한 형태들 및 그에 따라 재배치된 아이콘들의 위치 및 크기의 예들을 도시한 도면,
도 8a는 본 개시의 제1실시 예에 따라 초기 화면(home screen)에서의 아이콘 배치 및 초기 동작을 설명하기 위한 도면,
도 8b는 본 개시의 제1실시 예에 따라 선택된 아이콘들의 재배치의 구체적 설정을 위한 창이 디스플레이되는 예들을 도시한 도면,
도 9a는 본 개시의 제1실시 예에 따라 선택된 아이콘들의 재배치를 위해서 추가적으로 제공될 수 있는 UI의 예들을 도시한 도면,
도 9b는 본 개시의 제1실시 예에 따라 선택된 아이콘들의 재배치를 위해서 추가적으로 제공될 수 있는 UI가 콘텐츠 별로 디스플레이 될 수 있는 예들을 도시한 도면,
도 10a는 본 개시의 제2실시 예에 따른 터치 스크린 제어 장치의 컴포트 영역 결정부의 동작 흐름도,
도 10b는 본 개시의 제2실시 예에 따른 컴포트 영역 선택 화면의 일 예를 도시한 도면,
도 10c는 본 개시의 제2실시 예에 따라 터치 스크린 제어 장치가 미리 저장하고 있는 디폴트 컴포트 영역들의 일 예를 도시한 도면,
도 10d는 본 개시의 제2실시 예에 따른 디폴트 컴포트 영역 선택 화면의 일 예를 도시한 도면,
도 10e는 본 개시의 제2실시 예에 따라 디폴트 컴포트 영역 선택 화면에서 "새로 설정하기 버튼"이 선택된 경우를 도시한 도면,
도 11a는 본 개시의 제3실시 예에 따라 사용자 기기의 설정 메뉴에 추가된 컴포트 영역 사용 범위 설정 메뉴의 세부 항목들을 나타내는 도면,
도 11b는 본 개시의 제3실시 예에 따라 컴포트 영역 사용 범위 설졍 메뉴가 제공하는 "적용 시점" 항목에서 항시 적용이 선택된 상황에서 사용자 터치 입력의 특정 모션이 슬라이드로 입력된 경우에만 컴포트 영역이 적용되는 경우의 일 예를 도시한 도면.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 도면상에 표시된 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호로 나타내었으며, 다음에서 본 개시을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 개시는 사용자가 터치 불가능한 디스플레이 영역을 포함하는 터치 스크린에서 사용자의 접촉이 가능한 부분 영역을 결정하고, 상기 영역 상에서 UI들을 재배치하는 방법을 제공한다. 이하, 본 명세서에서는 사용자가 접촉 불가능한 디스플레이 영역을 포함하는 터치 스크린에 대한 사용자의 입력 수단의 일 예로 한 손을 사용하는 경우를 가정하여 설명한다.
이에 따라, 설명의 편의상, 한 손으로 디지털 휴대용 단말기를 조작하려는 사용자를 '한 손 사용자'라 칭하기로 한다. 본 명세서에서 사용자의 입력 수단이 한 손인 경우는 설명의 편의상 일 예로서 기재된 것으로, 본원 개시이 사용자의 입력 수단이 반드시 사용자의 한 손인 경우로만 한정되는 것이 아님에 유의하여야 한다.
먼저, 본 개시의 실시 예에 따라 터치 스크린의 디스플레이 영역 중 사용자가 접촉 가능한 부분 영역을 결정한다. 상기 부분 영역은 터치 스크린의 디스플레이 영역 중에서 사용자의 입력 수단이 접촉될 수 있는 영역과, 직접 접촉되지는 않더라도 사용자의 입력 수단이 터치 스크린의 위에 위치될 수 있는 영역을 포함한다. 상기 사용자의 입력 수단이 터치 스크린의 위에 위치되는 경우는 터치 스크린의 입력으로 예를 들어 사용자의 손, 스타일러스 펜 등의 모션(motion)을 인식하는 모션 인식을 이용하는 경우가 해당될 수 있다.
그리고 상기 터치 스크린은 기존의 터치 스크린에 비해 스크린 크기가 상대적으로 큰 터치 스크린을 의미하며, 터치 스크린상에 상기 부분 영역 이외의 영역(즉, 사용자의 입력 수단이 접촉되거나 또는 위치될 수 없는 영역)이 존재하는 터치 스크린이면 본 개시는 적용될 수 있다.
이하, 본 개시의 실시 예에서는 상기 부분 영역을 결정하기 위한 사용자의 입력 수단으로 한 손 사용자의 엄지 손가락인 경우를 가정한다. 이 경우, 상기 부분 영역은 상기 엄지 손가락이 접촉 가능한 영역으로 정의되는 컴포트 영역(comport zone)에 대응된다. 이하 실시 예에서는 설명의 편의상 컴포트 영역의 용어를 사용하여 본 개시의 실시 예가 기술될 것이나 상기 컴포트 영역의 의미는 상기 부분 영역과 동일한 의미로 이해될 수 있다.
도 2는 본 개시의 실시 예에 따라 정의되는 컴포트 영역의 정의를 설명하기 위한 도면이다.
도 2를 참조하면, 한 손 사용자가 터치 스크린을 구비한 휴대용 디지털 단말 기기를 한 손으로 조작하는 경우의 손 모양을 도시한 것이다. 먼저, 한 손 사용자는 엄지 손가락을 제외한 나머지 손가락들로 상기 디지털 휴대용 단말 장치를 받치게 된다. 따라서 사용자는 상기 엄지 손가락을 이용하여 상기 터치 스크린이 제공하는 디스플레이 영역의 화면 터치를 수행함으로써, 특정 요구 등을 입력할 수 있게 된다. 이에 따라 도 2에 도시된 부채꼴 영역(200)은 터치 스크린 상에서 엄지 손가락이 움직일 수 있는 범위에 대응하는 영역을 나타낸다.
그리고, 본 개시의 실시 예에 따라 제안되는 컴포트 영역(205)은 한 손 사용자의 엄지 손가락이 터치 스크린이 제공하는 디스플레이 영역을 터치 가능하거나 또는 직접적인 접촉이 없다 하더라도 터치 스크린 위에 위치될 수 있는 영역 즉, 상기 부채꼴 영역(200) 전체로 정의될 수 있다. 다른 실시 예로 상기 컴포트 영역(205)은 상기 부채꼴 영역(200) 중에서 엄지 손가락의 용이한 터치 또는 감지가 가능한 일부 영역(예컨대, 상기 부채꼴 영역(200)에서 음영으로 도시된 영역)에 대응될 수 있다.
이하, 본 개시의 실시 예에서는 한 손 사용자의 기기 조작의 편의성을 제공하기 위해서 컴포트 영역 상에서 디스플레이 될 UI들의 위치, 간격 및 배열 등을 재배치하는 방안을 제안한다. 그리고, 본 개시의 실시 예에서는 사용자 경험(UX: User eXperience)을 고려하여 상기 컴포트 영역 내에 배치되는 UI들을 이용하기 위한 추가적인 UI들 역시 제안한다.
도 3은 본 개시의 실시 예에 따른 터치 스크린 제어 장치의 구성도이다. 여기서, 터치 스크린 제어 장치(300)는 한 손 사용자가 조작하려는 디지털 휴대용 단말기에 장착된 터치 스크린 상에서의 디스플레이를 위한 구체적인 제어 동작을 수행한다.
도 3을 참조하면, 터치 스크린 제어 장치(300)는 터치 스크린에 대응하는 디스플레이부(305)와, 컴포트 영역 결정부(310)와, 컨텍스트(context) 결정부(315) 및 UI 레이아웃 변환부(320)를 포함한다. 여기서, 상기 터치 스크린 제어 장치(300)의 세부 구성은 일 실시 예로서 예시한 것일 뿐이다. 따라서, 다른 실시 예에 따라 상기 컴포트 영역 결정부(310)와, 상기 컨텍스트 결정부(315) 및 UI 레이아웃 변환부(320)는 하나의 구성으로도 구현될 수 있고, 더 세부적으로 분할된 구성들로도 구현될 수 있다.
여기서, 상기 컴포트 영역 결정부(310)와, 컨텍스트(context) 결정부(315) 및 UI 레이아웃 변환부(320)는 도 3의 터치 스크린 제어 장치(300)가 구비되는 디지털 휴대용 단말기에서 제어부(도시되지 않음)에 구현될 수 있으며, 상기 제어부는 상기 디스플레이부(305)의 동작과 본 개시의 실시 예에 따른 UI 동작을 제어하기 위한 프로그램을 구비한 적어도 하나의 프로세서로 구현될 수 있다. 그리고 사용자의 모션 인식을 감지하는 경우, 상기 터치 스크린 제어 장치(300)는 상기 모션 인식을 감지하기 위한 모션 인식 센서(도시되지 않음)를 더 포함할 수 있다.
상기 컴포트 영역 결정부(310)는 컴포트 영역을 결정하기 위한 사용자 입력을 획득하고, 상기 획득한 사용자 입력을 기반으로 컴포트 영역을 결정한다. 그러면, 상기 컨텍스트 영역 결정부(315)는 현재 UI를 통해서 디스플레이되는 콘텐츠(contents)의 종류를 판단한다. 그리고, 상기 UI 레이아웃 변환부(320)는 상기 디스플레이부(305)를 통해 표현되는 그래픽 이미지를 랜더링하며, 또한 본 개시의 실시 예에 따라 상기 결정된 컴포트 영역 내에 UI들의 크기, 간격 및 배열 등의 화면 구성을 재배치한다. 그러면, 상기 디스플레이부(305)는 상기 컴포트 영역 내에서 재배치된 UI 구성을 포함하는 그래픽 이미지를 디스플레이 영역 상에 출력한다. 상기 디스플레이 장치(300)의 구성부들 각각에 대한 세부 동작은 하기 도면들을 참조하여 보다 상세히 설명하기로 한다.
도 4a는 본 개시의 제1실시 예에 따른 터치 스크린 제어 장치의 컴포트 영역 결정부의 동작 흐름도이다. 여기서는, 설명의 편이상, 도 3의 상기 컴포트 영역 결정부(310)가 동작하는 경우를 설명하기로 한다.
도 4a를 참조하면, 400단계에서 상기 컴포트 영역 결정부(310)는 컴포트 영역을 결정하기 위한 사용자 터치 입력 요구 화면(도시되지 않음)을 제공하도록 디스플레이부(305)를 제어하고, 405단계로 진행한다. 이때, 상기 사용자 터치 입력 요구 화면은 예컨대, 초기 잠금 화면 또는 별도의 사용자 터치 입력을 요구하는 화면으로 제공 가능하다. 그리고 상기 디스플레이부(305)가 상기 컴포트 영역의 결정을 위한 사용자 터치 입력 요구 화면을 초기 잠금 화면으로 제공할 지 아니면 별도의 사용자 터치 입력 요구 화면으로 제공할 지 여부는 사용자에 의해서 미리 설정되거나, 사업자에 의해서 디폴트(default) 형태로 설정될 수 있다.
405단계에서 상기 컴포트 영역 결정부(310)는 사용자 터치 입력의 검출 여부를 확인한다.
도 4b는 본 개시의 제1실시 예에 따른 사용자 터치 입력의 일 예를 도시한 도면이다.
도 4b에 도시된 바와 같이, 한 손 사용자는 상기 디스플레이부(305)에 대응하는 터치 스크린 상에서 사용자 터치 입력을 수행한다. 즉, 상기 터치 스크린 내의 일부 영역(430)을 엄지 손가락으로 터치함에 의해서 상기 사용자 터치 입력을 수행한다. 이때, 터치 방식은 슬라이딩 혹은 드래그(drag) 동작을 포함한다. 일 예로, 상기 사용자 터치 입력 요구 화면이 초기 잠금 화면을 통해서 제공되는 경우를 가정하면, 한 손 사용자는 자신의 엄지 손가락을 상기 터치 스크린 상에서 슬라이딩 혹은 드래그함에 의해서 잠금 해제를 위한 사용자 터치 입력을 수행한다.
이 경우, 상기 컴포트 영역 결정부(310)는 상기 터치 스크린의 전체 영역 중 잠금 해제를 위해서 입력된 사용자 터치 입력을 통해서 상기 엄지 손가락과 터치된 일부 영역(435)이 확인되면, 상기 컴포트 영역 결정부(310)는 사용자 터치 입력이 검출되었음을 확인하고, 410단계로 진행한다. 만약, 상기 컴포트 영역 결정부(310)가 사용자 터치 입력이 검출되지 않은 경우, 400단계로 이동하여 사용자 터치 입력의 수신을 대기한다. 이 경우, 상기 컴포트 영역 결정부(310)는 자금 해제를 위한 사용자 터치 입력을 대기하거나, 상기 터치 스크린을 통해서 별도의 사용자 터치 입력 화면을 제공하도록 상기 디스플레이부(305)를 제어할 수 있다. 또 다른 실시 예에서는 상기 컴포트 영역 결정부(310)는 미리 결정된 시간 동안 상기 사용자 터치 입력이 수신되지 않은 경우, 미리 결정되어 있는 디폴트 컴포트 영역들을 선택할 수 있는 화면을 제공할 수도 있다. 디폴트 컴포트 영역들에 대해서는 하기에서 상세히 후술하기로 한다.
410단계에서 상기 컴포트 영역 결정부(310)는 엄지 손가락과 터치된 일부 영역을 사용하여 컴포트 영역을 결정한다.
도 4c는 본 개시의 제1 실시 예에 따라 컴포트 영역을 결정하는 방식을 설명하기 위한 도면이다.
도 4c를 참조하면, 일부 영역(440)은 단순히 한 손 사용자의 엄지 손가락과 실질적으로 터치된 영역만을 의미하는 것은 아니다.
구체적으로, 도 4c의 (A)에 도시된 것처럼 사용자의 엄지 손가락이 상기 일부 영역(440)에서도 특정 부분(441)만을 터치한 경우를 가정하자. 이 경우, 상기 컴포트 영역 결정부(310)는 상기 엄지 손가락이 상기 터치 스크린 상에서의 슬라이딩 또는 드래깅하는 방향이 예를 들어, 오른쪽에서 왼쪽으로 아니면 그 반대 방향인지를 인지하면, 터치된 특정 부분으로부터 인지된 방향에 따라 터치될 가능성 있는 영역을 예측하고, 그에 대응하는 영역을 컴포트 영역으로 결정할 수 있다.
그리고, 상기 컴포트 영역 결정부(310)는 컴포트 영역을 결정하면, 상기 디스플레이부(305)가 상기 결정된 컴포트 영역을 표시하도록 제어함으로써, 사용자가 상기 결정된 컴포트 영역을 인지할 수 있도록 한다. 일 예로, 상기 디스플레이부(305)는 상기 터치 스크린 상에 상기 결정된 컴포트 영역의 바운더리(boundary)만을 디스플레이하거나 결정된 전체 영역을 디스플레이할 수도 있다.
그러면, 415단계에서 상기 컴포트 영역 결정부(310)는 상기 결정된 컴포트 영역을 유지할 것인지 아니면 재조정할 것인지 여부를 사용자에게 문의하는 화면이 제공되도록 상기 디스플레이부(305)를 제어한다. 그리고, 상기 문의에 대한 사용자의 입력을 확인한다. 상기 문의하는 화면의 제공 여부는 사업자에 의해서 디지털 휴대 장치 내에 디폴트로 설정될 수도 있고, 아니면, 상기 한 손 사용자가 디지털 휴대 장치의 초기 설정 시 임의로 설정할 수도 있다. 상기 문의하는 화면은 일 예로, 상기 결정된 컴포트 영역의 유지 및 재조정 중 하나를 택일하는 형태로 제공될 수 있다.
상기 확인 결과, 상기 문의하는 화면에 대한 사용자의 입력이 상기 결정된 컴포트 영역을 유지를 선택한 경우, 420단계에서 상기 컴포트 영역 결정부(310)은 상기 결정된 컴포트 영역을 현재 컴포트 영역으로 결정하고, 상기 결정된 현재 컴포트 영역에 대한 정보를 상기 UI 레이아웃 변환부(320)에게 제공한다.
상기 확인 결과, 상기 문의하는 화면에 대한 사용자 입력이 상기 컴포트 영역의 재조정을 선택한 경우인 경우, 상기 컴포트 영역 결정부(310)는 425 단계로 진행한다. 425단계에서 상기 컴포트 영역 결정부(310)는 상기 컴포트 영역의 재조정을 위한 사용자 터치 입력 요구 화면이 제공되도록 상기 디스플레이부(305)를 제어한다.
상기 425 단계의 동작을 구체적으로 설명하면, 도 4c의 (B)의 예와 같이, 상기 컴포트 영역 결정부(310)의 제어에 따라 상기 디스 플레이부(305)는 터치 스크린 상에서 상기 결정된 컴포트 영역으로 도시된 영역들의 바운더리들(443, 445)를 디스플레이한다.
이때, 한 손 사용자가 재조정을 원하는 바운더리(445)의 임의의 지점(447)을 길게 클릭(Click)(447)하면, 상기 클릭된 바운더리(445)는 조정 가능한 상태가 된다. 그러면, 상기 한 손 사용자는 상기 클릭된 바운더리(445)를 원하는 위치(449)까지 드래깅하는 방식으로 컴포트 영역의 바운더리의 크기 조정이 가능하게 된다. 다른 바운더리(445) 또한 동일한 방식으로 그 크기 조정이 가능하다.
여기서, 설명한 컴포트 컴포트 영역의 재조정을 위해서 사용되는 사용자의 클릭 또는 드래깅 방식은 일 실시 예로서 언급한 것일 뿐이다. 따라서 컴포트 영역의 바운더리를 조정 가능한 상태로 선택하기 위한 동작 그리고, 선택된 바운더리의 크기를 조정하기 위한 동작은 미리 정의된 다양한 입력 동작들을 통해서도 가능할 것이다. 예를 들어 바운더리를 클릭하여 재조정이 가능한 상태가 되면, 이후 클릭 시마다 또는 정해진 모션 인식에 따라 미리 설정된 범위만큼 바운더리의 크기가 변화되도록 조정하는 것도 가능할 것이다.
상기한 바와 같이 컴포트 영역이 유지 또는 재조정되면, 상기 컨텍스트 결정부(315)는 상기 결정된 컴포트 영역 내에서 제공되어야 할 콘텐츠의 종류를 판단한다.
하기 <표 1>은 본 개시의 실시 예에 따른 터치 스크린 제어 장치의 컨텍스트 결정부(315)가 컴포트 영역 내에서 UI를 통해 제공하기 위해 결정하는 콘텐츠들의 종류의 일 예를 나타낸 것이다. 만약 UI를 통해 제공되는 콘텐츠들의 종류가 컴포트 영역의 사용 여부와 상관없이 동일하게 디스플레이되거나, 또는 컴포트 영역에서 UI를 통해 제공되는 콘텐츠들의 종류가 미리 결정되어 있다면, 상기 컨텍스트 결정부(315)는 터치 스크린 제어 장치에서 구비되지 않을 수 있다.
콘텐츠의 종류 예
아이콘들(Icons) 런쳐 화면에서의 아이콘
어플리케이션(application)의 제어 UI 비디오 플레이어의 재생, 멈춤, 일시정지 등
페이지 뷰(page view) e-book, 웹 페이지(web page)등에서 다음 페이지, 이전 페이지
리스트 뷰 (lise view) 목록 나열
상기 <표 1>을 참조하면, 콘텐츠의 종류는 일 예로, 아이콘(Icons), 해당 어플리케이션(application)을 제어하기 위한 제어 UI, 페이지 뷰(page view) 및 리스트 뷰(list view) 등이 포함된다. 일 예로, 상기 아이콘들은 한 손 사용자가 조작하려는 디지털 휴대용 단말에 장착된 터치 스크린 상의 시작 화면에 나열되며, 해당 아이콘에 매핑된 어플리케이션을 실행시키는 기능을 제공한다.
상기 제어 UI는 음악 및 동영상 플레이어 등의 재생, 멈춤, 일시 정지 등의 조작 명령을 실행시키는 기능을 제공한다. 상기 페이지 뷰는 e-book, 웹 페이지(web page) 등에서 현재 페이지로부터 이전 페이지 또는 다음 페이지로의 이동하는 기능을 제공한다. 상기 리스트 뷰는 특정 항목의 목록이 상기 터치 스크린 상에 나열되는 기능을 제공한다.
도 5 a는 개시의 제1실시 예에 따른 터치 스크린 제어 장치의 UI 레이아웃 변환부의 동작 흐름도이다. 여기서는, 설명의 편의상, 도 3의 상기 UI레이아웃 변환부(320)가 동작하는 경우를 설명하기로 한다.
도 5a를 참조하면, 500단계에서 상기 UI레이아웃 변환부(320)는 상기 컴포트 영역 결정부(310)를 통해서 결정된 컴포트 영역에 대한 정보를 획득하고, 505단계로 진행한다.
505단계에서 상기 UI레이아웃 변환부(320)는 컴포트 영역으로 레이아웃이 변경되기 전의 기존 디스플레이 영역(이하, "기존 디스플레이 영역")을 다수의 서브 영역들로 분할하고, 분할된 각 서브 영역을 나타내는 좌표들을 획득한다. 여기서, 상기 다수의 서브 영역들은 직사각형, 사다리꼴, 평행사변형 등 다양한 형태를 가질 수 있다. 본 실시 예는 편의상 상기 서브 영역이 직사각형의 형태를 갖는 경우를 예로 들어 설명될 것이다.
또한, 510단계에서 상기 UI레이아웃 변환부(320)는 상기 기존 디스플레이 영역에서 상기 분할된 다수의 서브 영역들에 대응되게 컴포트 영역을 다수의 서브 영역들로 분할하고, 분할된 각 서브 영역을 나타내는 좌표들을 획득한다. 본 실시 예는 설명의 편의상, 상기 컴포트 영역으로부터 분할된 서브 영역이 평행 사변형을 갖는 경우를 예로 들어 설명될 것이다.
이후, 515 단계에서 상기 UI레이아웃 변환부(320)는 디스플레이 영역들을 나타내는 좌표들과 컴포트 영역을 나타내는 좌표들간의 매핑 관계를 계산한다. 이하, 본 개시의 실시 예에서 상기 매핑 관계를 계산하는 방식을 구체적으로 설명하기로 한다. 그리고, 520단계에서 상기 UI 레이아웃 변환부(320)는 상기 매핑 관계를 이용하여 기존 디스플레이 영역에 배치된 UI들을 상기 컴포트 영역의 UI들로 변환한다.
도 5b는 본 개시의 제1실시 예에 따라 상기 기존 디스플레이 영역과 컴포트 영역 간의 2차원 사영 변환(Projective Transform)의 일 예를 설명하기 위한 도면이다.
먼저 도 5b의 (A)를 참조하면, 기존 디스 플레이 영역(500)은 상기 505 단계에 따라 일 예로, 세로축 상에서 일정한 크기를 갖는 서브 영역들(예컨대, n개의 직사각형들(P1,P2,…,Pn))로 분할된다. 그리고, 도 5b의 (B)를 참조하면, 상기 컴포트 영역(505)은 상기 510 단계에 따라 상기 n개의 직사각형들(P1,P2,…,Pn)각각에 대응하는 서브 영역들(예컨대, n 개의 사각형들(C1,C2,…,Cn))로 분할된다.
이후, 515 단계에서 상기 UI 레이아웃 변환부(320)는 상기 n개의 직사각형들(P1,P2,…,Pn)각각을 구성하는 좌표들과 상기 사각형들(C1,C2,…,Cn)각각을 구성하는 좌표들 간의 매핑 관계를 획득하는 2차원 사영 변환을 수행한다. 일 예로서, 상기 2차원 사영 변환의 수식적 정의는 하기 <표 2>와 같이 나타내어진다.
Figure 112013044774734-pat00001
상기 <표 2>의 수식들을 이해하기 위해서, 도 5b를 참조하여 설명하면, 기존 디스플레이 영역(500)에서 첫 번째로 분할된 직사각형, 즉, P1은 4개의 꼭지점(501, 503, 505, 507) 각각에 대응하는 좌표들로 표현될 수 있다. 그리고, 상기 컴포트 영역(505)에서 상기 P1에 대응하는 C1은 4개의 꼭지 점(511, 513, 515, 517) 각각에 대응하는 좌표로 표현될 수 있다. 상기 UI 레이아웃 변환부(320)는 상기 2차원 사영 변환을 수행하여 상기 P1의 꼭지점들(501, 503, 505, 507) 각각의 좌표들과 상기 P1의 꼭지점들(501, 503, 505, 507) 각각에 대응하는 상기 C1의 꼭지점들(511, 513, 515, 517) 각각의 좌표간의 매핑 관계를 원소들로 구성하는 상기 <표 2>의 행렬 A를 계산한다.
예를 들어, 상기 <표 2>의
Figure 112013044774734-pat00002
를 도 5b의 P1의 포인트 1(501)에 대응하는 좌표라 가정하자. 그리고,
Figure 112013044774734-pat00003
는 상기 P1의 포인트 1(501)에 대응하는, 도 5 b의 C1의 포인트 1(511)에 대응하는 좌표라 가정하자.
그러면, 상기 UI 레이아웃 변환부(320)는 일반적인 2차원 사영 변환 공식에 따라 C1의 포인트 1(511)에 대응하는 좌표의 원소들 u1,u2를 사용하여 P1의 포인트 1(501)에 대응하는 좌표의 원소들 즉, x1,x2를 각각 하기 <수학식 1>와 같이 나타낼 수 있다.
Figure 112013044774734-pat00004
그리고, 상기 UI 레이아웃 변환부(320)는 상기 행렬 A를 획득하기 위해서 상기 <수학식 1>과 같이 나타내어진 x1,x2를 다시 하기 <수학식2>와 같이 정리한다.
Figure 112013044774734-pat00005
그러면, 상기 UI 레이아웃 변환부(320)는 상기 <수학식2>의 정리를 통해서 획득한 변수 A1,A2,A3는 각각 A1=[a11,a12,a13],A2=[a21a22a23],A3=[a31,a32,a33]으로 정의된다.
그리고, 상기 A1,A2,A3 각각을 구성하는 총 9개의 엘리먼트들(a11 ,a12 ,a13,…,a33)로 구성되는 상기 행렬 A를 획득한다. 상기 행렬 A는 하기 <수학식 3>과 같이 나타내어진다.
Figure 112013044774734-pat00006
결과적으로, 기존 디스 플레이 영역을 구성하는 좌표들(이하, "제1 좌표") 중 하나의 좌표와, 그에 대응하는 컴포트 영역을 구성하는 좌표들(이하, "제2 좌표") 중 하나의 좌표는 총 9개의 엘리먼트들을 포함하는 행렬 A를 이용하여 표현될 수 있다.
상기 컴포트 영역 결정부(310)를 통해서 결정된 상기 컴포트 영역을 인지하고 있는 경우, 상기 P1의 4개의 포인트들 즉, 포인트1, 2, 3 및 4(501, 503, 505, 507)에 대응하는 상기 C1의 4개의 포인트1, 2, 3, 및 4(511, 513, 515, 517)의 좌표를 알 수 있다. 따라서 상기 P1의 4개의 좌표들과 그에 대응되는 상기 C1의 4개의 좌표들을 알면, 총 4개의 대응되는 좌표들 각각의 매핑 관계에 대한 4개의 <수학식 1>과 <수학식 2>가 존재하여 총 수학식의 수는 8개가 된다. 이후, P1과 C1의 매핑 관계에 대한 하나의 행렬 A 를 이용하면 P1내에 있는 어떤 포인트도 C1내 포인트로 좌표 변환이 가능하게 된다.
그리고, 나머지 직사각형들(P2,…,Pn) 각각에 대한 좌표들과, 나머지 사각형들 (C2,…,Cn) 각각에 대한 좌표들에 대해서도 동일한 방식으로 매핑 관계에 대한 행렬 A들이 계산된다. 그리고, 각 직사각형 별로 계산된 A를 이용하여 해당 직사각형 내의 포인트가 대응하는 평행 사변형 즉, 컴포트 영역의 좌표로 변환된다.
정리하자면, 상기 UI 레이아웃 변환부(320)는 상기 기존 디스플레이 영역(600) 각각을 분할한 서브 영역의 꼭지점들 각각에 대응하는 총 4개의 제1 좌표와, 상기 4 개의 제1 좌표에 대응하는 컴포트 영역에서 4개의 제2 좌표, 즉, 상기 컴포트 영역(605) 각각을 분할한 서브 영역의 좌표들(예컨대, 평행 사변형의 꼭지점들 각각을 나타내는 좌표들)을 이용하여 최소 제곱 방법(Least Square Method), RANSAC(RANdom Sample Consesus) 등과 같은 LSQ(Least Square) Formulation을 기반으로 상기 행렬 A를 획득한다. 일 예로서, LSQ 방식을 사용하여 A의 원소들을 획득하는 수식적 정의는 하기 <표 3>과 같이 나타내어진다.
Figure 112013044774734-pat00007
상기 <표 2>를 참조하면, 상기 UI 레이아웃 변환부(320)는 A 매트릭스의 엘리먼트들로부터 벡터 a를 하기 < 수학식 4>와 같이 나타낼 수 있다.
Figure 112013044774734-pat00008
그리고, 상기 UI 레이아웃 변환부(320)는 동차 방정식(homogeneous equation)을 하기 <수학식 5>와 같이 나타냄으로써 하기 <수학식 6>과 같이 나타내어지는 컴포트 영역 변환 벡터 a를 획득할 수 있다.
Figure 112013044774734-pat00009
Figure 112013044774734-pat00010
상기한 515 단계에서 상기 UI 레이아웃 변환부(320)는 기존 디스 플레이 영역들을 분할한 다수의 서브 영역들 각각에 대한 꼭지점의 제1 좌표들과, 그에 매핑되는 현재 컴포트 영역을 분할한 다수의 서브 영역들 각각에 대한 꼭지점의 제2 좌표들 간의 매핑 관계인 A들을 계산하고, 620단계에서 상기 계산된 매핑 관계인 A들을 이용하여 기존 디스플레이 영역의 UI들을 컴포트 영역의 UI들로 변환한다. 다시 말해서, 기존 디스플레이 영역의 서브 영역들과 그에 매핑되는 컴포트 영역들 각각의 매핑 관계인 A 매트릭스(위아래 모두 반영)가 생성된다. 그러면, 상기 생성된 A들 각각을 이용하여 해당 기존 디스플레이 영역의 서브 영역 내에 위치한 UI들이 그에 대응하는 컴포트 영역의 서브 영역 내의 좌표들로 변환된다. 즉, 상기 기존 디스플레이 영역에서 UI들의 위치에 대한 제1 좌표들은 각 서브 영역에서 계산된 상기 A들을 이용하여 상기 컴포트 영역에서 상기 UI 들의 위치를 나타내는 제2 좌표들로 변환될 수 있다.
또한 도 5a에 도시되지는 않았으나, 상기 UI 레이아웃 변환부(320)는 상기 650 단계에서 변환된 컴포트 영역 내의 UI들의 아이콘들의 위치, 크기, 형태 중 적어도 하나를 재조정할 수 있다.
도 6은 본 개시의 제1실시 예에 따른 컴포트 영역에 배치된 디스플레이된 아이콘들의 일 예를 도시한 도면이다.
도 6을 참조하면, 컴포트 영역은 터치 스크린에서 디스플레이 영역의 외부로 넘어가는(outer condition) 영역(630)(이하, "외부 영역")(음영으로 도시된 부분)이 발생할 수 있다. 그 외에도 기존의 디스 플레이 영역에 비해 변환된 컴포트 영역의 크기가 상대적으로 크거나 작게 변화할 수도 있다. 또한, 기존의 디스 플레이 영역에 비해 변환된 현재 컴포트 영역의 형태가 직선에서 유선형으로 변형되거나 일그러지는 등의 다양한 형태를 가질 수도 있다. 따라서 이러한 경우를 고려하여 기존 디스플레이 영역에 디스플레이된 아이콘들의 크기, 간격 및 배열 등의 재조정이 요구될 수 있다. 이때, 상기 UI 레이아웃 변환부(320)는 상기 컴포트 영역 내에 위치하는 UI 들(예컨대, 아이콘들)의 위치, 크기, 형태 중 적어도 하나를 재조정하여 상기 외부 영역(630)에 위치하는 UI들을 다음 페이지로 이동시키거나 또는 UI 들의 크기를 축소시키거나 형태를 변형시켜 컴포트 영역 내에 디스플레이 되도록 조정할 수 있다. 아니면, 상기 UI 레이아웃 변환부(320)는 상기 디스플레이부(305)가 상기 UI들의 재조정을 위한 사용자 입력을 요구하는 화면을 따로 디스플레이하도록 제어할 수도 있다. 이때, 해당 아이콘 별 사용 빈도수에 대한 확인을 요구하는 화면 역시 디스플레이하도록 제어할 수 있다. 그리고, 일 예로, 해당 아이콘 별 사용 빈도수가 입력되면, 상기 UI 레이아웃 변환부(320)는 미리 결정된 임계값 미만의 빈도수를 갖는 아이콘들을 상기 외부 영역(630)으로 배치하도록 상기 디스플레이부(305)를 제어할 수도 있다. 그리고 상기한 컴포트 영역에서 UI들의 재조정 동작은 선택적으로 수행될 수 있다.
상기한 바와 같이 도 5a 내지 도 6은 본 개시의 제1 실시 예에 따라 상기 기존 디스플레이 영역의 UI들을 컴포트 영역의 UI들로 변환하기 위해서 2차원 사영 변환을 사용하는 경우를 설명하였다. 그러나, 2차원 사영 변환은 상기 기존 디스플레이 영역의 UI들을 컴포트 영역의 UI들로 변환하기 위한 방법의 일 예로서 설명한 것일 뿐, 본원 개시이 반드시 상기 2차원 사영 변환 방식에 의해서만 컴포트 영역의 UI들을 변환하는 것으로 한정되지는 않는다.
따라서 기존 디스플레이 영역의 UI들이 컴포트 영역의 UI들로 변환되는 또 다른 실시 예를 설명하면 다음과 같다. 본 개시의 또 다른 실시 예에서는 사업자에 의해 터치 스크린의 초기 설정 시 다수의 디폴트 컴포트 영역들을 미리 저장한다. 상기 디폴트 컴포트 영역은 사용자에 의해서 자주 사용될 수 있는 형태들로 구성된다. 이 경우, 초기 설정 시 사용자의 선택에 따라 추가적으로 사용자의 기호에 따라 컴포트 영역을 결정하기 위한 상기 컴포트 영역 결정부의 동작이 추가적으로 수행되는 것도 가능하다. 그리고, 상기 다수의 디폴트 컴포트 영역들 각각은 일반적인 기존 디스플레이 영역 상에 배치된 UI 들이 변환된 UI들 역시 포함하고 있다고 가정하자. 이후, 사용자가 상기 다수의 디폴트 컴포트 영역들 중 하나를 선택하면, 상기 선택된 디폴트 컴포트 영역 내의 미리 정해진 UI들의 재조정 동작을 선택적으로 수행할 수 있다.
도 7은 본 개시의 제1실시 예에 따라 현재 컴포트 영역들의 다양한 형태들 및 그에 따라 재조정된 아이콘들의 위치 및 크기의 예들을 도시한 도면이다. 여기서는 설명의 편의상, 상기 디스플레이 영역(700) 상에 디스플레이되는 콘텐츠가 아이콘인 경우를 일 예로서 설명하지만, 다른 종류의 콘텐츠들 예를 들어 제어 UI, 페이지 뷰 및 리스트 뷰 등에서도 적용될 수 있음은 물론이다.
도 7을 참조하면, 기존의 디스플레이 영역(700)은 일반적으로 터치 스크린의 전체 디스플레이 영역 상에서 아이콘들을 디스플레이한다. 일 예로, 상기 기존 디스플레이 영역(700) 내의 아이콘들의 오리지널(original) 위치(705)는 주변 아이콘들과 동일한 간격을 갖도록 배치되어 있다. 구체적으로, 아이콘1(705)의 경우 위/아래쪽 및 좌/우에 위치한 아이콘들과 동일한 간격을 갖도록 배치되어 있는 경우이다. 그리고, 상기 기존 디스플레이 영역(700) 내에 디스플레이된 아이콘들은 모두 동일한 크기를 갖는다. 여기서는 아이콘들의 간격 및 크기가 모두 동일한 경우를 일 예로서 도시하였다. 그러나, 실질적으로 디스플레이 영역 내에 배치되는 아이콘들의 크기 및 위치는 사용자의 설정에 따라 조정될 수 있음은 물론이다. 본 개시의 실시 예에 따라 상기 기존의 디스플레이 영역(700)에 매핑된 아이콘들의 위치는 도 5a,b에서 설명한 방식에 따른 2차원 사영 변환을 통해서 미리 확보된 컴포트 영역 상의 새로운 좌표로 재조정된다.
그리고, 본 개시의 실시 예에 따른 현재 컴포트 영역은 사용자 입력에 따라 다양한 형태를 가질 수 있다. 도 7을 참조하면, 상기한 현재 컴포트 영역의 일 예로서, 컴포트 영역1-1(710)과, 컴포트 영역2-1(720) 및 컴포트 영역 3-1(730) 각각은 상기 디스플레이 영역(700)의 오리지널 아이콘 위치(705) 각각에 대응하는 새로운 좌표에 오리지널 아이콘을 배치한 디스플레이 상태를 도시하고 있다. 구체적으로, 상기 컴포트 영역1-1(710)의 경우, 상기 디스플레이 영역(700) 상에 배치된 아이콘들 각각의 오리지널 크기를 유지하면서, 상기 컴포트 영역1-1(710) 내에서 상기 아이콘들의 오리지널 위치와 매핑되는 새로운 좌표에 상기 아이콘들을 이동시킨 경우이다. 상기 컴포트 영역2-1(720)의 경우, 상기 디스플레이 영역(700)에 비해 아이콘들이 배치될 수 있는 영역이 위쪽 방향으로 갈수록 좁아지는 형태를 가진다. 이에 따라 상기 컴포트 영역2-1(720)의 위쪽 방향으로 갈수록 상기 컴포트 영역2-1(720) 내에서 상기 아이콘들의 오리지널 위치와 매핑되는 새로운 좌표에 배치되는 아이콘들은, 상기 디스플레이 영역(700) 대비 좁아진 비율만큼 줄어든 크기 및 간격을 갖도록 배치된다.
상기 컴포트 영역 3-1(730)의 경우, 상기 컴포트 영역3-1(730) 내에서 상기 아이콘들의 오리지널 위치와 매핑되는 새로운 좌표에 배치되는 아이콘들의 크기는, 가로축으로 나열된 이웃 아이콘들의 수에 반비례하게 조정된다. 즉, 상기 컴포트 영역 3-1(730)의 최상단의 행에 배치되는 아이콘(732)의 경우, 현재 페이지에서 가로축으로 나열된 이웃 아이콘들이 존재하지 않으므로, 오리지널 크기에 비해 상대적으로 큰 크기를 갖는다. 반면, 상기 컴포트 영역 3-1(730)의 최하단의 행에 배치된 아이콘들은 현재 페이지에서 가로축으로 나열된 이웃 아이콘들의 최대수이므로 상기 최상단에 비해 상대적으로 작은 크기를 갖게 된다.
다음으로, 컴포트 영역 1-2(712), 컴포트 영역2-2(722) 및 컴포트 영역 3-2(732)는 각각 상기 컴포트 영역 1-1(710), 상기 컴포트 영역 1-2(720) 및 상기 컴포트 영역 3-1(730) 내에 배치된 아이콘들 중 크기가 재조정될 필요가 있는 아이콘들을 선택한 결과의 디스플레이 상태를 도시하고 있다. 여기서는 선택된 아이콘들을 음영 표기하여 구분하였다. 상기한 바와 같이 크기를 재조정할 아이콘을 선택하는 기준은 일 예로, 사업자에 의해서 미리 설정된 디폴트 아이콘의 크기를 기반으로 판단될 수 있다. 아니면, 상기 UI 레이아웃 변환부(320)가 사용자로부터 상기 선택의 기준을 획득하기 위한 사용자 입력을 디스플레이하도록 상기 디스플레이부(305)를 제어할 수도 있다.
일 예로, 상기 컴포트 영역 1-2(712)의 경우, 상기 컴포트 영역1-2(712) 내에 배치된 아이콘들의 크기가 오리지널 크기를 유지한 상태이다. 상기 오리지널 크기는 일반적으로 상기 디스플레이 영역(700)의 초기 설정 시 사용자의 기호에 따라 또는 디폴트로 설정된다. 따라서, 오리지널 크기가 유지된 경우, 사용자는 크게 불편함을 느끼지 않을 확률이 높을 것이다. 이러한 상황을 가정하여, 상기 컴포트 영역 1-2(712)의 경우 크기가 재조정될 아이콘이 선택되지 않은 결과의 디스플레이 상태를 도시하고 있다. 상기 컴포트 영역 2-2(722)의 경우, 상기 컴포트 영역 2-2(722) 내에 배치된 아이콘들 중 상대적으로 크기가 작은 아이콘들이 선택된 결과의 디스플레이 상태이다. 다른 예로, 상기 컴포트 영역 2-2(722) 내에서 최상단에 위치한 행부터 아래로 세 번째 행까지 배열된 아이콘들(722a)이 선택된 상태이다. 마찬가지로, 상기 컴포트 영역 2-3(732)의 경우, 상기 컴포트 영역 2-2(732) 내에 배치된 아이콘들 중 상대적으로 크기가 작은 아이콘들이 선택된 결과의 디스플레이 상태이다. 또 다른 예로, 상기 컴포트 영역 2-2(732) 내에서 최하단에 위치한 행으로부터 위로 두 번째 행까지 배열된 아이콘들(732a)이 선택된 상태이다.
마지막으로, 컴포트 영역 1-3(714), 컴포트 영역 2-3(724) 및 컴포트 영역 3-3(734) 각각은 상기 컴포트 영역 1-2(712), 상기 컴포트 영역2-2(722) 및 상기 컴포트 영역 3-2(732) 각각에서 선택된 아이콘들의 크기를 조정하거나 위치를 변경하는 재조정이 수행된 후의 결과의 디스플레이 상태이다.
일 예로, 상기 컴포트 영역 1-3(714)의 경우, 상기 디스플레이 영역(700)내에 위치된 아이콘들 중 상기 컴포트 영역 1-3(714)의 디스플레이 영역을 벗어난 아이콘들(716)을 현재 페이지의 다음 페이지에 디스플레이한다. 상기 컴포트 영역 2-3(724)의 경우, 상기 컴포트 영역 2-2(722)에서 상기 선택된 아이콘들(722a)의 줄어든 크기 및 간격을 오리지널 크기 및 간격으로 재조정한 결과의 디스플레이 상태이다. 다른 예로, 상기 컴포트 영역 2-3(724)의 최 상단의 행부터 세 번째 행에 대응하는 영역은 최하단의 행에 대응하는 영역에 비해 상대적으로 좁기 때문에 상기한 크기 조정으로 인해서 일부 아이콘들이 현재 페이지의 다음 페이지에 디스플레이되게 된다. 상기 컴포트 영역 3-3(734)의 경우, 상기 컴포트 영역 2-3(723)에서 선택된 상기 아이콘들(732a)에 대해 사용자 입력 등을 통해서 적정 크기로 재조정한다. 또 다른 예로, 상기 아이콘들(732a) 중 크기의 재조정 동작으로 인해 다음 페이지에 배치되는 아이콘들이 발생한다. 이 경우, 상기 다음 페이지는 크기 재조정 동작으로 인해 재배치되는 아이콘들을 디스플레이할 뿐만 아니라 상기 컴포트 영역 3-1(732)의 형태로 인해서 다음 페이지에 배치되는 아이콘들 역시 디스플레이한다.
상기한 바와 같이 디스플레이 결과를 보여주는 컴포트 영역 1-1(710) 내지 컴포트 영역 3-3(734)는 상기 UI 레이아웃 변환부(320)가 사용자로부터 해당 아이콘의 크기 및 위치를 결정하기 위한 사용자 입력을 획득하도록 상기 디스플레이부(305)를 제어함에 의해서 획득한 사용자 입력에 의해서 결정될 수 있다. 이때, 사용자 입력은 일 예로, 선택된 아이콘들의 크기 및 위치 등은 개별적으로 조정되거나 혹은 일괄적으로 조정되기 위한 선택을 포함할 수 있다.
도 8a는 본 개시의 제1실시 예에 따른 초기 화면에서의 아이콘 배치 및 초기 동작을 설명하기 위한 도면이다.
도 8a를 참조하면, 기존의 디스플레이 영역(805)은 동일한 크기 및 일정한 간격을 갖도록 배치된 아이콘들을 디스플레이한 초기 화면이다. 그리고, 현재 컴포트 영역(810) 역시 새로운 좌표에 재배치된 아이콘을 디스플레이한 초기 화면이다. 이때, 재배치된 아이콘들은 일 예로, 오리지널 크기 및 간격을 유지한 상태이다. 상기 컴포트 영역(810)의 경우, 한 손 사용자의 엄지 손가락이 터치 가능한 범위로 정의되므로, 상기 기존의 디스플레이 영역(805)에 비해 해당 아이콘들이 디스플레이될 수 있는 영역이 상대적으로 줄어들게 된다. 따라서, 상기 컴포트 영역(810) 내에서 재배치된 아이콘들의 오리지널 위치 및 간격이 유지됨으로 인해서, 상기 아이콘들 중 일부는 현재 페이지의 다음 페이지에 디스플레이될 수 있다. 이 경우, 사용자는 현재 페이지 내에 상기 아이콘들 모두가 디스플레이될 수 있도록 상기 아이콘들의 크기 및 간격을 조정할 수도 있고, 자신의 선호도 등을 고려하여 자주 사용하는 아이콘들만을 초기 화면에 디스플레이되도록 선택할 수도 있다. 또한, 재배치된 아이콘들을 사용 빈도에 따라 현재 페이지 및 다음 페이지에 배치시킬 수도 있다. 그리고, 현재 디스플레이되는 페이지를 표기하는 페이지 넘버링 숫자들(807) 역시 기존의 디스플레이 영역(805)에서 가로로 나열되었으나, 상기 컴포트 영역(810)에서는 엄지 손가락이 움직이는 방향에 상응하도록 나열(812)된다.
상기한 바와 같이, 상기 컴포트 영역(810) 상에서 디스플레이된 아이콘들의 크기, 간격 및 배열 등을 확인한 후, 사용자가 상기 아이콘들의 크기, 간격 및 배열 등을 재배치하기로 결정한 경우를 가정하자. 이 경우, 사용자는 상기 컴포트 영역(810)에 디스플레이된 아이콘들 중 재배치 동작의 대상인 아이콘들을 먼저 선택한다. 설명의 편의상, 상기 컴포트 영역(810) 내에서 음영 표기된 아이콘들을 상기 선택된 아이콘들이라 가정하자. 일 예로, 상기 사용자는 선택하고자 하는 아이콘들을 한번씩 클릭(click)하거나 상기 선택하고자 하는 아이콘들을 손을 때지 않고 드래그함에 의해서 선택할 수 있다. 그러면, 상기 선택된 아이콘들을 포함하는 선택 영역(814)을 디스플레이 한다. 상기 선택 영역(814)의 일부 영역 또는 선택된 아이콘들 중 적어도 하나가 터치되면, 상기 초기 화면(810)은 선택된 아이콘들의 재배치에 대한 구체적 설정을 위한 창을 디스플레이한다.
도 8b는 본 개시의 제1실시 예에 따라 선택된 아이콘들의 재배치에 대한 구체적 설정을 위한 창이 디스플레이되는 예들을 도시한 도면이다.
도 8b를 참조하면, 일 예로, 화면1(820)은 상기 선택 영역(812)과 오버랩(overlap) 되는 형태로 상기 재배치에 대한 구체적 설정을 위한 창1(822)이 팝업(pop-up) 형태로 디스플레이 된다. 일 예로, 상기 재배치에 대한 구체적 설정을 위한 창1(822)은 투명한 상태로 상기 선택 영역(814)을 동시에 디스플레이 할 수 있다. 이 경우, 상기 재배치에 대한 구체적인 설정 동작의 사용자 입력을 획득하면, 획득한 사용자 입력을 반영한 상기 선택 영역(814) 내에 아이콘들이 미리 보기 형태로 디스플레이 될 수도 있다. 아니면, 사용자가 설정 동작의 완료를 입력하면, 상기 재배치의 구체적 설정을 위한 창1(822)이 사라짐과 동시에 상기 설정 동작이 반영되어 재배치된 아이콘들이 바로 디스플레이 될 수도 있다.
다른 예로, 화면 2(830)는 상기 기존의 디스플레이 영역(810)과는 독립적인 형태로 디스플레이 되는 재배치 설정 메뉴를 디스플레이 한다. 일 예로, 상기 재배치 설정 메뉴는 선택된 아이콘들의 크기 및 간격을 증가/감소시키는 지 여부를 선택하기 위한 버튼을 제공한다. 그리고, 사용자의 입력을 통해서 선택된 아이콘들의 크기 및 간격을 증가/감소가 선택되면, 해당 아이콘의 크기 및 간격을 증가/감소시키기 위한 구체적인 배율 등의 세부 선택 사항들을 선택할 수 있는 버튼 역시 제공될 수 있다. 또 다른 예로, 상기 재배치 설정 메뉴는 상기 선택된 아이콘들의 위치 또는 간격을 사용자가 직접 배치할 수 있는 '수동 선택'을 결정하기 위한 Y/N 버튼도 제공한다. 구체적인 예로, 화면 3(840)은 Y가 입력되면, 상기 선택된 아이콘들 중 하나를 직접 클릭 또는 터치 등의 사용자 입력에 의해서 재배치의 기준 아이콘(842 또는 844))으로 선택할 수 있다. 그리고, 선택된 기준 아이콘의 크기를 조정함에 의해서 상기 선택 영역(814) 내에 위치한 아이콘들의 크기 및 간격을 일괄적으로 재조정할 수 있다. 일 예로, 기준 아이콘을 원하는 크기에 상응하도록 안쪽으로 드래그(842)시키거나 바깥쪽으로 드래그(844)함에 의해서 크기를 재조정할 수 있다. 또한, 간격에 대응하는 영역 역시 터치 또는 클릭함에 의해서 원하는 간격에 상응하도록 안쪽으로 드래그시키거나 바깥쪽으로 드래그 시킴에 의해서 조정할 수 있다. 다른 예로, 상기 기준 아이콘(842 또는 844)를 설정하는 이외에 상기 선택 영역(816) 내에 위치한 아이콘 하나 하나에 대해 상기한 바와 같이 원하는 크기 또는 간격에 상응하도록 드래그 동작을 수행함에 의해서 상기 선택 영역(816) 내에 위치한 아이콘들 각각에 대해 개별적인 크기 및 간격의 재조정 동작 역시 수행할 수 있다.
도 9a는 본 개시의 제1실시 예에 따라 선택된 아이콘들의 재배치를 위해서 추가적으로 제공될 수 있는 UI의 예들을 도시한 도면이다.
도 9a를 참조하면, 화면(900)은 도 8a의 기존의 디스플레이 영역(805)에서 제공되지 않는 추가 UI들 일 예로, 토글(Toggle) 버튼(902), 백(back) 버튼(904) 및 홈(home) 버튼(906)을 디스플레이하고 있다. 상기 토글 버튼(920)은 상기 화면(900) 상에 디스플레이된 컴포트 영역(912)을 상기 사용자가 자주 사용하는 페이지로 설정하는 명령을 입력시키는 UI이다. 또는, 상기 토글 버튼(902)은 상기 기존의 디스플레이 영역(805)과 상기 컴포트 영역(810)간에 전환을 명령시키는 UI로도 사용될 수 있다.
도 9에 도시되어 있지는 않지만, 상기 컴포트 영역(912)은 도 8a 내지 도 8b에서 설명한 재배치 동작의 결과가 적용된 아이콘들을 디스플레이하고 있다 가정하자. 상기 백 버튼(904)은 이전 화면으로 돌아가는 명령을 입력시키는 UI이다. 마지막으로, 상기 홈 버튼(906)은 홈 화면 또는 시작 화면 즉, 도 8의 컴포트 영역(810)으로 돌아가기 위한 명령을 입력시키는 UI이다.
한편, 본원 명세서에서는 설명의 편의상 디스플레이 영역 상에 디스플레이되는 콘텐츠가 아이콘인 경우만을 예를 들어 설명하였다. 그러나, 상기 콘텐츠가 아이콘인 경우는 한 예에만 해당하며 실질적으로 본 개시는 다른 종류의 콘텐츠들에 대해서도 적용될 수 있음을 앞서 밝힌 바 있다.
도 9b는 본 개시의 제1실시 예에 따라 재배치된 아이콘들의 사용을 위해서 추가적으로 제공될 수 있는 UI가 콘텐츠 별로 디스플레이 될 수 있는 예들을 도시한 도면이다.
도 9b를 참조하면, 화면 1(920)은 컴포트 영역 상에 재배치된 콘텐츠가 리스트인 경우, 토글 버튼, 백 버튼 및 홈 버튼으로 구성된 추가 UI들(922)이 디스플레이된 예를 보여준다. 화면 2(930)는 컴포트 영역 상에 재배치된 콘텐츠가 멀티미디어들 중 일 예로 비디오인 경우, 토글 버튼, 백 버튼 및 홈 버튼으로 구성된 추가 UI들(932)이 디스플레이된 예를 보여준다. 이 경우, 비디오라는 콘텐츠의 특성상 사용자가 상기 비디오를 시청하기 위한 추가 UI들(934)가 더 제공될 수 있다. 상기 추가 UI들(934)은 일 예로 재생 버튼, 일시 정지 버튼, 중지 버튼 등이 포함될 수 있다. 상기 화면 3(940)의 경우, 컴포트 영역 상에 재배치된 콘텐츠가 키보드인 경우, 토글 버튼, 백 버튼 및 홈 버튼으로 구성된 추가 UI들(942)이 디스플레이된 예를 보여준다.
도 10a는 본 개시의 제2실시 예에 따른 터치 스크린 제어 장치의 컴포트 영역 결정부의 동작 흐름도이다. 여기서는, 설명의 편이상, 도 3의 상기 컴포트 영역 결정부(310)가 동작하는 경우를 설명하기로 한다.
도 10a을 참조하면, 1000단계에서 상기 컴포트 영역 결정부(310)는 일 예로, 컴포트 영역을 결정하기 위한 사용자 터치 입력 요구 화면(도시되지 않음)의 제공 여부를 수락하는 버튼과, 미리 결정된 디폴트 컴포트 영역들을 선택하는 버튼 중 적어도 하나를 포함하는 컴포트 영역 선택 화면을 제공하도록 디스플레이부(305)를 제어할 수 있다. 이때, 상기 컴포트 영역 선택 화면은 예컨대, 초기 잠금 화면 또는 별도의 사용자 터치 입력을 요구하는 화면으로 제공 가능하다. 그리고 상기 디스플레이부(305)가 상기 컴포트 영역 선택 화면 및 상기 사용자 터치 입력 요구 화면을 초기 잠금 화면으로 제공할 지 아니면 별도의 사용자 터치 입력 요구 화면으로 제공할 지 여부는 사용자에 의해서 미리 설정되거나, 사업자에 의해서 디폴트 형태로 설정될 수 있다. 일 예로, 상기 컴포트 영역 선택 화면이 상기 디폴트 컴포트 영역들을 선택하는 버튼만을 제공하는 경우를 가정하자. 이 경우, 상기 디폴트 컴포트 영역들을 선택하는 버튼은, 상기 디폴트 컴포트 영역들의 사용 여부를 결정하는 세부 항목들을 포함할 수 있다. 그리고, 상기 세부 항목들 중 상기 디폴트 컴포트 영역들을 사용하지 않는 세부 항목이 선택되는 사용자 터치 입력이 감지되면, 상기 컴포트 영역 결정부(310)는 본 개시의 제1실시 예에 따라 잠금 화면의 해제를 위한 사용자 터치 입력을 기반으로 컴포트 영역을 설정할 수도 있다.
도 10b는 본 개시의 제2실시 예에 따른 컴포트 영역 선택 화면의 일 예를 도시한 도면이다.
도 10b를 참조하면, 도 3의 상기 디스플레이부(305)에 대응하는 터치 스크린 상에서 디스플레이되는 컴포트 영역 선택 화면은, 컴포트 영역 선택 목록을 디스플레이할 수 있다. 상기 컴포트 영역 선택 목록은 일 예로, 도 4b에 도시한 바와 같은 "사용자 터치 입력 요구 화면 제공" 및 "디폴트 컴포트 영역 사용 제공" 메뉴를 포함하는 형태로 구성될 수 있다. 그리고, 상기 "사용자 터치 입력 요구 화면 제공" 및 "디폴트 컴포트 영역 사용 제공" 각각에 대응하는 메뉴는 버튼 형태로 제공됨으로써, 사용자가 해당 버튼을 터치함에 의해서 해당 메뉴를 선택할 수 있다.
도 10c는 본 개시의 제2실시 예에 따라 터치 스크린 제어 장치가 미리 저장하고 있는 디폴트 컴포트 영역들의 일 예를 도시한 도면이다.
도 10c를 참조하면, 일 예로, 디폴트 컴포트 영역들은 도 2에 도시된 바와 같이 정의되는, 터치 스크린 상에서 엄지 손가락이 움직일 수 있는 범위에 대응하는 영역인 부채꼴 영역(200)을 기반으로 설정된다. 이때, 상기 디폴트 컴포트 영역은 본 개시의 제1실시 예에 따라 사용자에 의해서 미리 설정될 수도 있고, 사업자에 의해서 디폴트 형태로 설정될 수 있다.
기존의 디스플레이 영역(1101) 내에서 디폴트 컴포트 영역들은, 사용자의 선호도에 따라 선택할 수 있는 다양성을 제공하기 위해서, 상기 부채꼴 영역(200)의 범위 내에서 일부 영역을 초과하거나 일부 영역이 부족한 형태의 다양한 도면들로 설정될 수 있다. 구체적인 예로, 디폴트 컴포트 영역1(1102)은 상기 컴포트 영역(200)에 포함되는 부분 영역으로 제공된다. 디폴트 컴포트 영역 2(1104)는 상기 컴포트 영역(200)에 걸쳐진 직사각형 형태로 제공된다. 상기 디폴트 컴포트 영역 3(1106)은 상기 컴포트 영역(200)내의 부분 영역으로 제공되며, 특히, 상기 컴포트 영역(200)에서 사용자 엄지 손가락의 터치가 가능하지 않은 영역을 제외한 음영 표기한 부채꼴 영역 형태로 제공된다.
디폴트 컴포트 영역4(1108)는 상기 컴포트 영역(205)에서 상기 사용자 엄지 손가락의 터치가 가능하지 않은 음영 표기한 부채꼴이 제외된 영역 형태로 제공된다. 마지막으로, 디폴트 컴포트 영역 6(1112)은 상기 컴포트 영역(200)에 포함되는, 상기 기존의 디스플레이 영역(1101)의 오른쪽에 중심을 갖는 반원 형태로 제공된다. 상기한 바와 같은 디폴트 컴포트 영역들은 도형의 형태가 미리 정해져 있으나, 본 개시의 제1실시 예에 따른 도4c의 재조정 동작 등을 통해서 조정될 수 있다. 이에 대해서는 하기에서 상세히 후술하기로 한다.
1005단계에서 상기 컴포트 영역 결정부(310)는 상기 컴포트 영역 선택 목록의 사용자 터치 입력을 통해서 선택된 메뉴를 확인한다.
상기 확인 결과, 상기 사용자 터치 입력 요구 화면 제공 메뉴가 선택된 경우, 상기 컴포트 영역 결정부(310)는 1010 내지 1025단계에 따라 동작한다. 1010단계 내지 1025단계는 도 4a의 410단계 내지 425단계와 동일하므로, 중복 설명은 생략한다.
상기 확인 결과, 상기 디폴트 컴포트 영역 사용 메뉴가 선택된 경우, 1030단계에서 상기 컴포트 영역 결정부(310)는 미리 저장하고 있는 디폴트 컴포트 영역들 중 특정 디폴트 컴포트 영역을 선택하기 위한 선택 화면(이하,'디폴트 컴포트 영역선택 화면'이라 칭함)을 제공하도록 상기 디스플레이부(305)를 제어하고, 1035단계로 진행한다.
도 10d는 본 개시의 제2실시 예에 따른 디폴트 컴포트 영역 선택 화면의 일 예를 도시한 도면이다. 여기서, 상기 디폴트 컴포트 영역 선택 화면 역시 초기 잠금 화면 또는 별도의 사용자 터치 입력을 요구하는 화면으로 제공 가능하다.
도 10d를 참조하면, 일 예로, 상기 디폴트 컴포트 영역 선택 화면이 초기 잠금 화면으로 제공되는 경우를 가정하자. 구체적인 예로, 디폴트 컴포트 영역 선택 화면1(1200a)는 상기 디폴트 컴포트 영역은 상기 디스플레이 영역의 하단에 미리 저장하고 있는 디폴트 컴포트 영역들 각각에 매핑된 버튼(이하, '디폴트 컴포트 영역 선택 버튼'이라 칭함)들 및 새로운 디폴트 컴포트 영역을 구성하기 위한 버튼(이하, '새로 설정하기 버튼'이라 칭함)을 함께 디스플레이할 수 있다. 여기서, 상기 컴포트 영역들 각각에 매핑된 버튼들은 숫자 형태로 도시하고 있다.
1035단계에서 상기 컴포트 영역 결정부(310)는 입력된 사용자 터치 입력을 확인한다. 상기 확인 결과 상기 디폴트 컴포트 영역 선택 화면에서 제공되는 메뉴를 통해서 "디폴트 컴포트 영역 선택" 버튼이 사용자 터치 입력됨을 감지하면, 1040단계에서 상기 컴포트 영역 결정부(310)는 해당 버튼에 매핑된 디폴트 컴포트 영역의 미리 보기를 디스플레이하도록 상기 디스플레이부(305)를 제어한다. 본 개시의 실시 예에서는 일 예로, "디폴트 컴포트 영역 선택" 버튼이 가볍게 사용자 터치 입력되거나 한번 클릭됨을 감지하면, 상기 컴포트 영역 결정부(310)는 해당 버튼에 매핑된 디폴트 컴포트 영역의 미리 보기를 제공하고, 상기 버튼을 길게 사용자 터치 입력되거나 두 번 클릭됨을 감지하면, 상기 컴포트 영역 결정부(310)는 해당 버튼에 매핑된 디폴트 컴포트 영역이 현재 디폴트 컴포트 영역으로 결정됨을 인지한다고 가정하자.
예를 들어, 도 10d의 디폴트 컴포트 영역 선택 화면2(1200b-1)는 디폴트 컴포트 영역들 각각에 매핑된 버튼들 중 버튼 1로 사용자 터치 입력이 감지된 경우를 도시하고 있다. 이 경우, 상기 버튼 1의 사용자 터치 입력은 가벼운 터치(short touch) 또는 한번의 클릭으로 입력됨을 가정하자. 이에 따라, 상기 디폴트 컴포트 영역 선택 화면2(1200b-2)는 도 10d에 도시한 바와 같이, 사용자 터치 입력이 감지된 버튼1에 매핑된 디폴트 컴포트 영역의 미리 보기를 제공한다. 다른 예로, 디폴트 컴포트 영역 선택 화면 3(1200c-1)은 디폴트 컴포트 영역들 각각에 매핑된 버튼들 중 버튼2로 사용자 터치 입력이 감지된 경우를 도시하고 있다. 마찬가지로, 상기 버튼 2의 사용자 터치 입력은 가벼운 터치 또는 한번의 클릭으로 입력됨을 가정하자. 이에 따라, 상기 디폴트 컴포트 영역 선택 화면3(1200c-2)은 도 10d에 도시한 바와 같이, 사용자 터치 입력이 감지된 버튼 2에 매핑된 디폴트 컴포트 영역의 미리 보기를 제공한다.
그리고, 1045단계에서 상기 컴포트 영역 결정부(310)는 "디폴트 컴포트 영역 선택" 버튼들 중 특정 버튼에 대해 길게 또는 두 번의 클릭 형태의 사용자 터치 입력됨이 검출되었는 지 확인한다. 상기 확인 결과, 특정 버튼에 대해 길게 또는 두 번의 클릭 형태의 사용자 터치 입력됨이 검출되지 않은 경우, 계속해서 사용자 터치 입력의 검출을 대기한다.
상기 확인 결과, 특정 버튼에 대해 길게 또는 두 번의 클릭 형태의 사용자 터치 입력됨이 검출되면, 1050단계에서 상기 컴포트 영역 결정부(310)는 상기 사용자 터치 입력이 검출된 버튼에 매핑된 디폴트 컴포트 영역을 현재 디폴트 컴포트 영역으로 결정한다. 그리고, 상기 컴포트 영역 결정부(310)는 1015단계 내지 1025단계로 진행하여 상기 결정된 현재 디폴트 컴포트 영역에 대한 재조정을 수행한다. 상기 현재 디폴트 컴포트 영역에 대한 재조정 동작은 도 4c의 415 단계 내지 425단계에서의 동작과 동일하므로, 여기서는 중복 설명을 생략한다.
1035단계에서의 확인 결과, 상기 디폴트 컴포트 영역 선택 화면에서 제공되는 메뉴를 통해서 "새로 설정하기 버튼"이 사용자 터치 입력됨을 감지하면, 1055단계에서 상기 컴포트 영역 결정부(310)는 사용자 터치 입력 요구 화면을 제공하도록 상기 디스플레이부(305)를 제어한다.
도 10e는 본 개시의 제2실시 예에 따라 디폴트 컴포트 영역 선택 화면에서 "새로 설정하기 버튼"이 선택된 경우를 도시한 도면이다.
도 10e를 참조하면, 디폴트 컴포트 영역 선택 화면 4(1200d)는 상기 새로 설정하기 버튼으로 사용자 터치 입력이 감지된 경우를 도시하고 있다. 그러면, 상기 디폴트 컴포트 영역 선택 화면 4(1200d-1)는 새로운 컴포트 영역을 지정하기 위한 사용자 터치 입력 요구 화면(1200d-2)을 제공한다. 여기서는, 일 예로, 사용자의 엄지 손가락이 상기 터치 스크린 상에서의 슬라이딩 또는 드래깅하는 방향(1210)이 감지된 경우를 도시하고 있다. 그러면, 상기 컴포트 영역 결정부(310)는 상기 터치된 특정 부분 및 그에 대응하는 영역으로부터 인지된 방향에 따라 터치될 가능성 있는 영역을 예측하고, 그에 대응하는 영역을 새로운 컴포트 영역(1210)으로 결정할 수 있다.
그리고, 상기 컴포트 영역 결정부(310)가 새로운 컴포트 영역(1210)을 결정하면, 상기 디스플레이부(305)가 상기 새로운 컴포트 영역을 표시하도록 제어함으로써, 사용자가 상기 결정된 컴포트 영역을 인지할 수 있도록 한다. 도면에 도시하지 않았으나, 상기 디스플레이부(305)는 상기 터치 스크린 상에 상기 결정된 새로운 컴포트 영역의 바운더리만을 디스플레이하거나 결정된 전체 영역을 디스플레이할 수도 있다.
그러면, 상기 컴포트 영역 결정부(310)는 1015단계 내지 1025단계로 진행하여, 상기 새로운 컴포트 영역에 대해 재조정 여부를 결정하고, 그 결정 결과에 따라 재조정을 수행한다. 구체적으로, 상기 컴포트 영역 결정부(310)는 415단계에서 설명한 바와 마찬가지로, 상기 새로운 결정된 컴포트 영역을 유지할 것인지 아니면 재조정할 것인지 여부를 사용자에게 문의하는 화면이 제공되도록 상기 디스플레이부(305)를 제어한다. 그리고, 상기 문의에 대한 사용자의 입력을 확인한다. 상기 문의하는 화면의 제공 여부는 사업자에 의해서 디지털 휴대 장치 내에 디폴트로 설정될 수도 있고, 아니면, 상기 한 손 사용자가 디지털 휴대 장치의 초기 설정 시 임의로 설정할 수도 있다. 상기 문의하는 화면은 일 예로, 상기 결정된 컴포트 영역의 유지 및 재조정 중 하나를 택일하는 형태로 제공될 수 있다.
상기 확인 결과, 상기 문의하는 화면에 대한 사용자의 입력이 상기 새로운 컴포트 영역을 유지를 선택한 경우, 상기 컴포트 영역 결정부(310)는 상기 새로운 컴포트 영역을 현재 컴포트 영역으로 결정하고, 상기 결정된 현재 컴포트 영역에 대한 정보를 상기 UI 레이아웃 변환부(320)에게 제공한다.
상기 확인 결과, 상기 문의하는 화면에 대한 사용자 입력이 상기 새로운 컴포트 영역의 재조정을 선택한 경우, 상기 컴포트 영역 결정부(310)는 상기 컴포트 영역의 재조정을 위한 사용자 터치 입력 요구 화면(1200d-3)이 제공되도록 상기 디스플레이부(305)를 제어한다. 이 경우, 상기 디스플레이부(305)는 상기 사용자 터치 입력 요구 화면(1200d-3)을 통해서 상기 새로운 컴포트 영역에 대응하는 바운더리들(1225)를 제공한다. 그러면, 한 손 사용자가 재조정을 원하는 바운더리(1245)의 임의의 지점(1220)을 길게 클릭(Click)함으로써, 상기 클릭된 바운더리(1245)는 조정 가능한 상태가 된다. 그러면, 상기 한 손 사용자는 상기 클릭된 바운더리(1245)를 원하는 위치까지 드래깅하는 방식으로 상기 새로운 컴포트 영역의 바운더리의 크기 조정이 가능하게 된다. 여기서, 설명한 컴포트 영역의 재조정을 위해서 사용되는 사용자의 클릭 또는 드래깅 방식은 일 실시 예로서 언급한 것일 뿐이다. 따라서 컴포트 영역의 바운더리를 조정 가능한 상태로 선택하기 위한 동작 그리고, 선택된 바운더리의 크기를 조정하기 위한 동작은 미리 정의된 다양한 입력 동작들을 통해서도 가능할 것이다. 예를 들어 바운더리를 클릭하여 재조정이 가능한 상태가 되면, 이후 클릭 시마다 또는 정해진 모션 인식에 따라 미리 설정된 범위만큼 바운더리의 크기가 변화되도록 조정하는 것도 가능할 것이다.
상기한 바와 같은 영역 결정 및 간격 지정의 동작을 통해서 새로운 컴포트 영역이 결정되면, 상기 컴포트 영역 결정부(310)는 상기 새로운 컴포트 영역에 배치될 콘텐트들의 크기를 재조정한 후 저장한다. 이때, 상기 콘텐트들의 크기 재조정은 일 예로, 미리 저장되어 있는 크기 비율 즉, 대, 중 및 소로 오리지날 콘텐트의 크기를 즉, 증가시키거나 감소시킬 수 있다(1304a,b,c). 또한, 도면에 도시하지는 않았으나, 상기 새로운 컴포트 영역에 배치될 콘텐트들을 사용자의 선호도 및 사용 횟수를 기반으로 재배치하는 동작 역시 가능하다.
본 개시의 제3실시 예에서는, 상기한 바와 같은 본원 개시의 제1실시 예 내지 제2실시 예에 따라 설정되는 컴포트 영역이 적용되는 범위를 따로 설정할 수 있다. 일 예로, 본 개시의 제3실시 예에서는 사용자 기기에 기본 세팅(setting)된 설정 메뉴에서 상기 컴포트 영역이 적용되는 범위를 설정하는 "컴포트 영역 사용 범위 설정" 메뉴를 추가로 제공할 수 있다.
도 11a는 본 개시의 제3실시 예에 따라 사용자 기기의 설정 메뉴에 추가된 컴포트 영역 사용 범위 설정 메뉴의 세부 항목들을 나타내는 도면이다.
도 11a를 참조하면, 상기 컴포트 영역 사용 범위 설정 메뉴는, 일 예로, 컴포트 영역이 적용되는 범위를 설정하는 "적용 범위 설정" 항목과, 상기 컴포트 영역이 적용되는 시점을 설정하기 위한 "적용 시점" 항목 및 적용된 컴포트 영역의 변경 시점을 결정하기 위한 "변경 시점" 항목을 포함할 수 있다.
먼저, 상기 "적용 범위 설정" 항목은, 일 예로, 초기 화면에서 제공되는 아이콘들에 대해 적용 여부를 선택할 수 있는 on/off 버튼과, 일 예로, 앞서 설명한 어플리케이션의 제어 UI 등과 같은 특정 UI에 대해 적용 여부를 선택할 수 있는 on/off 버튼 및 사용자 기기가 제공하는 모든 화면 및 아이콘들에 대해 적용 여부를 선택할 수 있는 on/off 버튼 등을 세부 항목으로서 포함할 수 있다.
다음으로, 상기 "적용 시점" 항목은 상기 사용자 기기가 제공하는 모든 화면 및 아이콘들에 대해 항시 적용됨을 선택할 수 있는 on/off 버튼과, on/off 버튼을 통해서 항시 적용이 선택된 상황에서 사용자 터치 입력의 특정 모션이 입력된 경우에만 적용되는 추가 한정 상황을 설정할 수 있다. 이때, 특정 모션은, 사용자가 슬라이딩, 드래그, 임의의 부분 영역을 길게 누름 등의 동작이 포함될 수 있다.
도 11b는 본 개시의 제3실시 예에 따라 컴포트 영역 사용 범위 설졍 메뉴가 제공하는 "적용 시점" 항목에서 항시 적용이 선택된 상황에서 사용자 터치 입력의 특정 모션이 슬라이드로 입력된 경우에만 컴포트 영역이 적용되는 경우의 일 예를 도시한 도면이다.
도 11b를 참조하면, 일 예로, 사용자 기기의 기존의 디스플레이 영역(1410)에서 한손 사용자의 타겟 아이콘(1402)가 상기 한손 사용자의 엄지 손가락의 이동 범위 외부에 위치한 경우를 감지한 상황을 가정하자. 이 경우, 상기 사용자 기기의 설정 메뉴에서 컴포트 영역의 적용 시점이 디스플레이 영역에서 임의의 방향으로 슬라이드되는 경우 적용되도록 설정된 상태임을 가정하자. 이에 따라 상기 한손 사용자가 자신의 엄지 손가락으로 기존의 디스플레이 영역(1410)의 일부 영역을 임의의 방향으로 슬라이딩한 경우를 가정하자. 그러면, 상기 기존 디스플레이 영역(1410)은 앞서 설명한 제1실시 에 내지 제2실시 예에 따라 미리 설정된 현재 디폴트 컴포트 영역으로 변환된 화면으로 전환된다. 상기 변환된 화면(1420)에서는 상기 타겟 아이콘(1402)의 위치가 상기 현재 디폴트 컴포트 영역 내로 위치하게 되어, 상기 한손 사용자의 엄지 손가락으로 사용자 터치 입력이 가능하게 된다.
마지막으로, 상기 "변경 시점"은 일 예로, 상기 사용자 기기의 잠금 화면 해제 시 마다, 자동으로 컴포트 영역이 설정되도록 설정하는 세부 항목을 포함할 수 있다. 이 경우, 상기 컴포트 영역은 본 개시의 제1실시 예에 따라 설정될 수 있다. 그리고, 상기 변경 시점은, 일 예로, 컴포트 영역이 적용된 변환 화면(1420)에서 사용자가 컴포트 영역으로의 변환을 위해서 입력한 슬라이딩 방향의 반대 방향으로 슬라이딩을 디스플레이 영역의 부분 영역에 입력함으로써 설정될 수 있다.
상기한 바와 같은 추가 UI들의 제공으로 인해서 사용자는 디스플레이 영역의 컴포트 영역 내의 아이콘들을 보다 쉽게 이용하거나 설정할 수 있어 UX가 증진되는 효가를 가져오게 된다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (38)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 핸드헬드(handheld) 디바이스의 디스플레이 영역 상에 사용자 인터페이스(UI: User Interface)들을 제공하는 복수개의 아이콘들을 디스플레이하는 방법에 있어서,
    상기 디스플레이 영역 상에 검출된 사용자 터치를 기반으로 부분 디스플레이 영역을 결정하는 과정과,
    상기 부분 디스플레이 영역 상에 상기 복수개의 아이콘들의 배치를 수행하는 과정과,
    상기 부분 디스플레이 영역 상에 배치된 상기 복수개의 아이콘들 중 적어도 2개의 아이콘들을 선택하는 과정과,
    상기 선택된 적어도 2개의 아이콘들을 상기 복수개의 아이콘들 중 선택되지 않은 아이콘들과 상이하게 상기 부분 디스플레이 영역에 배치하는 과정과,
    상기 적어도 2개의 아이콘들에 대해 검출된 사용자 입력에 응답하여 사용자에 의해서 수동으로 설정된 상기 적어도 2개의 아이콘들의 재배치를 제공하는 메뉴를 디스플레이하는 과정과, 상기 메뉴는 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들 각각에 대한 크기, 간격 또는 위치 중 적어도 하나를 조정하기 위한 아이템을 포함하며,
    상기 아이템 상에 상기 사용자의 입력을 기반으로 상기 부분 디스플레이 영역 내에서 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 메뉴얼 세팅을 검출하는 과정과,
    상기 메뉴얼 세팅을 기반으로 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 과정과,
    상기 부분 디스플레이 영역 상에 재배치된 상기 적어도 2개의 아이콘들을 디스플레이하는 과정을 포함하는 방법.
  16. 제15항에 있어서, 상기 부분 디스플레이 영역은 상기 디스플레이 영역의 외부 영역을 포함하고, 상기 재배치된 적어도 2개의 아이콘들 중 일부는 상기 사용자의 메뉴얼 세팅을 기반으로 상기 디스플레이 영역에서 현재 페이지로부터 다음 페이지로 이동됨을 특징으로 하는 방법.
  17. 제15항에 있어서, 상기 재배치된 적어도 2개의 아이콘들은 상기 사용자의 선호도들을 기반으로 상기 디스플레이 영역 상에 배치된 디폴트 아이콘들로부터 선택됨을 특징으로 하는 방법.
  18. 제15항에 있어서,
    상기 부분 디스플레이 영역 상에 추가적인 UI들을 제공하는 적어도 2개의 아이콘을 디스플레이하는 과정을 더 포함하며;
    상기 추가적인 UI들은 상기 부분 디스플레이 영역을 자주 사용되는 페이지로서 설정하는 기능과, 상기 부분 디스플레이 영역을 상기 디스플레이 영역으로 전환하는 기능, 또는 시작 페이지로 되돌아가는 기능 중 적어도 하나를 제공함을 특징으로 하는 방법.
  19. 제15항에 있어서,
    상기 사용자 터치를 기반으로 상기 부분 디스플레이 영역을 결정하기 위한 제1 사용자 터치 입력 요구 화면 또는 미리 결정된 디폴트 부분 디스플레이 영역들 중 하나를 선택하기 위한 제2 사용자 터치 입력 요구 화면 중 적어도 하나를 디스플레이하는 과정을 더 포함하는 방법.
  20. 제15항에 있어서,
    상기 부분 디스플레이 영역이 결정될 경우, 범위, 시간 또는 복원 시간 중 적어도 하나를 설정하는 메뉴를 디스플레이하는 과정을 더 포함하고,
    상기 범위의 설정은 상기 부분 디스플레이 영역을 적용하는 방법을 결정하고, 상기 시간의 설정은 상기 부분 디스플레이 영역을 적용하는 시간을 결정하고, 상기 복원 시간의 설정은 상기 부분 디스플레이 영역으로부터 상기 디스플레이 영역으로 복원하는 시간을 결정하는 것임을 특징으로 하는 방법.
  21. 제15항에 있어서,
    상기 결정하는 과정은,
    상기 디스플레이 영역 상에 상기 부분 디스플레이 영역을 선택하는 목록을 디스플레이하는 과정과, 상기 목록은 상기 디스플레이 영역 상에 검출된 상기 사용자 터치에 대응하는 상기 부분 디스플레이 영역을 결정하는 제1아이템을 포함하며,
    상기 목록에 대해 검출된 사용자 입력에 응답하여 결정된 상기 부분 디스플레이 영역을 디스플레이하는 과정을 포함하는 방법.
  22. 제21항에 있어서,
    상기 재배치된 적어도 2개의 아이콘들을 포함하는 상기 부분 디스플레이 영역은 복수개의 디폴트 영역들 중 하나로서 저장됨을 특징으로 하는 방법.
  23. 제21항에 있어서,
    상기 목록은 상기 디스플레이 영역 상에 상기 복수개의 디폴트 영역들 각각에 배치된 상기 복수개의 아이콘들을 디스플레이하는 프리뷰를 제공하는 제2아이템을 더 포함함을 특징으로 하는 방법.
  24. 제23항에 있어서,
    상기 디스플레이 영역이 잠금 상태에 있는 경우, 상기 복수개의 디폴트 영역들 각각에 대응하는 프리뷰가 사용자 입력에 응답하여 디스플레이됨을 특징으로 하며,
    상기 복수개의 디폴트 영역들은 상기 사용자의 입력을 기반으로 사전 설정됨을 특징으로 하는 방법.
  25. 제21항에 있어서, 상기 결정하는 과정은,
    상기 제1아이템을 선택하는 사용자 입력이 검출된 경우, 상기 디스플레이 영역 상에 검출된 상기 사용자 터치에 대응하는 상기 부분 디스플레이 영역을 결정하고, 상기 결정된 부분 디스플레이 영역의 조정 및 유지 간 선택을 위한 입력 요청을 디스플레이하는 과정과,
    상기 결정된 부분 디스플레이 영역을 유지하는 상기 사용자의 입력이 검출된 경우, 상기 결정된 부분 디스플레이 영역을 상기 디스플레이 영역 상에 디스플레이하는 과정과,
    상기 결정된 부분 디스플레이 영역을 조정하도록 선택하는 상기 사용자의 입력이 검출된 경우, 사용자 입력을 기반으로 상기 결정된 부분 디스플레이 영역을 조정하는 입력 요청을 디스플레이하는 과정을 포함하는 방법.
  26. 제21항에 있어서,
    상기 제1아이템을 선택하는 사용자 입력이 검출된 경우, 상기 부분 디스플레이 영역 상에 상기 아이콘들의 배치를 수행하는 과정은,
    상기 디스플레이 영역을 제1서브 영역들로 분류하고, 상기 부분 디스플레이 영역을 제2서브 영역들로 분류하는 과정과,
    상기 제1서브 영역들로부터 제1좌표들 및 상기 제2서브 영역들로부터 제2좌표들을 획득하는 과정과,
    상기 제1좌표들 및 제2좌표들 간에 매핑 관계를 계산하는 과정과,
    상기 매핑 관계를 기반으로 상기 디스플레이 영역에 배치된 아이콘들을 상기 부분 디스플레이 영역 상에 배치된 상기 아이콘들로 전환하는 과정을 포함하는 방법.
  27. 디스플레이 영역 상에 사용자 인터페이스(UI: User Interface)들을 제공하는 복수개의 아이콘들을 디스플레이하는 핸드헬드(handheld) 디바이스에 있어서,
    상기 디스플레이 영역 상에 검출된 사용자 터치를 기반으로 부분 디스플레이 영역을 결정하고, 상기 부분 디스플레이 영역 상에 상기 복수개의 아이콘들의 배치를 수행하고, 상기 부분 디스플레이 영역 상에 배치된 상기 복수개의 아이콘들 중 적어도 2개의 아이콘들을 선택하는 입력을 검출하고, 상기 선택된 적어도 2개의 아이콘들을 상기 복수개의 아이콘들 중 선택되지 않은 아이콘들과 상이하게 상기 부분 디스플레이 영역에 배치하도록 디스플레이를 제어하는 적어도 하나의 프로세서와,
    상기 적어도 2개의 아이콘들에 대해 검출된 사용자 입력에 응답하여 사용자에 의해서 수동으로 설정된 상기 적어도 2개의 아이콘들의 재배치를 제공하는 메뉴를 디스플레이하는 상기 디스플레이를 포함하며, 상기 메뉴는 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들 각각에 대한 크기, 간격 또는 위치 중 적어도 하나를 조정하기 위한 아이템을 포함하며,
    상기 적어도 하나의 프로세서는 상기 아이템 상에 상기 사용자의 입력을 기반으로 상기 부분 디스플레이 영역 내에서 상기 적어도 2개의 아이콘들을 적응적으로 재배치하는 메뉴얼 세팅을 검출하고, 상기 메뉴얼 세팅을 기반으로 상기 부분 디스플레이 영역 상에 상기 적어도 2개의 아이콘들을 적응적으로 재배치하고, 상기 부분 디스플레이 영역 상에 재배치된 상기 적어도 2개의 아이콘들을 디스플레이하도록 상기 디스플레이를 제어함을 특징으로 하는 핸드헬드 디바이스.
  28. 제27항에 있어서,
    상기 부분 디스플레이 영역은 상기 디스플레이 영역의 외부 영역을 포함하고, 상기 재배치된 적어도 2개의 아이콘들 중 일부는 상기 사용자의 메뉴얼 세팅을 기반으로 상기 디스플레이 영역에서 현재 페이지로부터 다음 페이지로 이동됨을 특징으로 하는 핸드헬드 디바이스.
  29. 제27항에 있어서, 상기 재배치된 적어도 2개의 아이콘들은 상기 사용자의 선호도들을 기반으로 상기 디스플레이 영역 상에 배치된 디폴트 아이콘들로부터 선택됨을 특징으로 하는 핸드헬드 디바이스.
  30. 제27항에 있어서,
    상기 디스플레이는 상기 부분 디스플레이 영역 상에 추가적인 UI들을 제공하는 적어도 2개의 아이콘을 디스플레이하고,
    상기 추가적인 UI들은 상기 부분 디스플레이 영역을 자주 사용되는 페이지로서 설정하는 기능과, 상기 부분 디스플레이 영역을 상기 디스플레이 영역으로 전환하는 기능, 또는 시작 페이지로 되돌아가는 기능 중 적어도 하나를 제공함을 특징으로 하는 핸드헬드 디바이스.
  31. 제27항에 있어서,
    상기 디스플레이는 상기 사용자 터치를 기반으로 상기 부분 디스플레이 영역을 결정하기 위한 제1 사용자 터치 입력 요구 화면 또는 미리 결정된 디폴트 부분 디스플레이 영역들 중 하나를 선택하기 위한 제2 사용자 터치 입력 요구 화면 중 적어도 하나를 디스플레이함을 특징으로 하는 핸드헬드 디바이스.
  32. 제27항에 있어서,
    상기 디스플레이는 상기 부분 디스플레이 영역이 결정될 경우, 범위, 시간 또는 복원 시간 중 적어도 하나를 설정하는 메뉴를 디스플레이하고,
    상기 범위의 설정은 상기 부분 디스플레이 영역을 적용하는 방법을 결정하고, 상기 시간의 설정은 상기 부분 디스플레이 영역을 적용하는 시간을 결정하고, 상기 복원 시간의 설정은 상기 부분 디스플레이 영역으로부터 상기 디스플레이 영역으로 복원하는 시간을 결정하는 것임을 특징으로 하는 핸드헬드 디바이스.
  33. 제27항에 있어서,
    상기 디스플레이는, 상기 디스플레이 영역 상에 상기 부분 디스플레이 영역을 선택하는 목록을 디스플레이하고, 상기 목록은 상기 디스플레이 영역 상에 검출된 상기 사용자 터치에 대응하는 상기 부분 디스플레이 영역을 결정하는 제1아이템을 포함하며, 상기 목록에 대해 검출된 사용자 입력에 응답하여 결정된 상기 부분 디스플레이 영역을 디스플레이 함을 특징으로 하는 핸드헬드 디바이스.
  34. 제27항에 있어서,
    상기 재배치된 적어도 2개의 아이콘들을 포함하는 상기 부분 디스플레이 영역은 복수개의 디폴트 영역들 중 하나로서 저장됨을 특징으로 하는 핸드헬드 디바이스.
  35. 제33항에 있어서,
    상기 목록은 상기 디스플레이 영역 상에 상기 복수개의 디폴트 영역들 각각에 배치된 상기 복수개의 아이콘들을 디스플레이하는 프리뷰를 제공함을 특징으로 하는 핸드헬드 디바이스.
  36. 제35항에 있어서,
    상기 디스플레이 영역이 잠금 상태에 있는 경우, 상기 복수개의 디폴트 영역들 각각에 대응하는 프리뷰가 사용자 입력에 응답하여 디스플레이됨을 특징으로 하며,
    상기 복수개의 디폴트 영역들은 상기 사용자의 입력을 기반으로 사전 설정됨을 특징으로 하는 핸드헬드 디바이스.
  37. 제33항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제1아이템을 선택하는 사용자 입력이 검출된 경우, 상기 디스플레이 영역 상에 검출된 상기 사용자 터치에 대응하는 상기 부분 디스플레이 영역을 결정하고,
    상기 적어도 하나의 프로세서의 지시에 따라 상기 디스플레이는 상기 결정된 부분 디스플레이 영역의 조정 및 유지 간 선택을 위한 입력 요청을 디스플레이하고, 상기 결정된 부분 디스플레이 영역을 유지하는 상기 사용자의 입력이 검출된 경우, 상기 결정된 부분 디스플레이 영역을 상기 디스플레이 영역 상에 디스플레이하고, 상기 결정된 부분 디스플레이 영역을 조정하도록 선택하는 상기 사용자의 입력이 검출된 경우, 사용자 입력을 기반으로 상기 결정된 부분 디스플레이 영역을 조정하는 입력 요청을 디스플레이함을 특징으로 하는 핸드 헬드 디바이스.
  38. 제33항에 있어서,
    상기 제1아이템을 선택하는 사용자 입력이 검출된 경우, 상기 적어도 하나의 프로세서는 상기 디스플레이 영역을 제1서브 영역들로 분류하고, 상기 부분 디스플레이 영역을 제2서브 영역들로 분류하고, 상기 제1서브 영역들로부터 제1좌표들 및 상기 제2서브 영역들로부터 제2좌표들을 획득하고, 상기 제1좌표들 및 제2좌표들 간에 매핑 관계를 계산하고, 상기 매핑 관계를 기반으로 상기 디스플레이 영역에 배치된 아이콘들을 상기 부분 디스플레이 영역 상에 배치된 상기 아이콘들로 전환함을 특징으로 하는 핸드 헬드 디바이스.
KR1020130057204A 2012-05-21 2013-05-21 터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치 KR102094695B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120053799 2012-05-21
KR1020120053799 2012-05-21

Publications (2)

Publication Number Publication Date
KR20130129864A KR20130129864A (ko) 2013-11-29
KR102094695B1 true KR102094695B1 (ko) 2020-03-31

Family

ID=49580925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130057204A KR102094695B1 (ko) 2012-05-21 2013-05-21 터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치

Country Status (6)

Country Link
US (2) US10338705B2 (ko)
EP (1) EP2852882B1 (ko)
JP (1) JP6279553B2 (ko)
KR (1) KR102094695B1 (ko)
CN (1) CN104321736B (ko)
WO (1) WO2013176472A1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048860B2 (en) 2006-04-06 2018-08-14 Google Technology Holdings LLC Method and apparatus for user interface adaptation
KR101340703B1 (ko) 2011-11-25 2013-12-12 삼성전자주식회사 휴대단말기의 키패드 배치장치 및 방법
US9367085B2 (en) 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
ES2713392T3 (es) 2012-02-13 2019-05-21 Thermo Fisher Scientific Oy Pipeta electrónica
KR101979666B1 (ko) 2012-05-15 2019-05-17 삼성전자 주식회사 표시부에 출력되는 입력 영역 운용 방법 및 이를 지원하는 단말기
CN104737104B (zh) * 2012-10-19 2017-12-19 三菱电机株式会社 信息处理装置、信息终端、信息处理系统及校准方法
KR20140070745A (ko) * 2012-11-26 2014-06-11 삼성전자주식회사 디스플레이 장치 및 이의 구동 방법
KR20140087731A (ko) * 2012-12-31 2014-07-09 엘지전자 주식회사 포터블 디바이스 및 사용자 인터페이스 제어 방법
US10691291B2 (en) * 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
CN104281378A (zh) * 2013-07-05 2015-01-14 深圳富泰宏精密工业有限公司 移动装置单手掌控处理方法及系统
GB2516029A (en) * 2013-07-08 2015-01-14 Ibm Touchscreen keyboard
KR102156140B1 (ko) * 2013-07-19 2020-09-15 엘지전자 주식회사 이동 단말기 및 이의 제어방법
TWI608407B (zh) * 2013-11-27 2017-12-11 緯創資通股份有限公司 觸控裝置及其控制方法
CN104750400B (zh) * 2013-12-27 2017-12-15 华为技术有限公司 终端界面的优化操作方法和装置
US20150186011A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Apparatus and method for interacting with items on a portable terminal
CN105917300B (zh) * 2014-01-20 2020-04-14 三星电子株式会社 用于触摸设备的用户界面
KR20150135980A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 디스플레이 제어 방법 및 전자 장치
CN105204756A (zh) 2014-06-30 2015-12-30 阿尔卡特朗讯 一种用于操作触摸屏设备的屏幕的方法与设备
KR102255302B1 (ko) * 2014-07-24 2021-05-24 삼성전자주식회사 투과 및 반사영역을 선택적으로 만들 수 있는 전기변색패널 및 그 동작방법과 그러한 전기변색패널을 포함하는 표시장치와 동작방법
US9971496B2 (en) 2014-08-04 2018-05-15 Google Technology Holdings LLC Method and apparatus for adjusting a graphical user interface on an electronic device
WO2016020807A1 (en) * 2014-08-04 2016-02-11 Realitygate (Pty) Ltd Display and interaction method in a user interface
JP6275584B2 (ja) * 2014-08-05 2018-02-07 シャープ株式会社 電子機器
US10152227B2 (en) * 2014-08-26 2018-12-11 International Business Machines Corporation Free form user-designed single-handed touchscreen keyboard
US10671275B2 (en) * 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
WO2016035183A1 (ja) * 2014-09-04 2016-03-10 ヤマザキマザック株式会社 メニュー表示機能を有する装置
US20160162149A1 (en) * 2014-12-05 2016-06-09 Htc Corporation Mobile electronic device, method for displaying user interface, and recording medium thereof
US9898126B2 (en) 2015-03-31 2018-02-20 Toshiba Global Commerce Solutions Holdings Corporation User defined active zones for touch screen displays on hand held device
US9874952B2 (en) 2015-06-11 2018-01-23 Honda Motor Co., Ltd. Vehicle user interface (UI) management
KR20170002051A (ko) * 2015-06-29 2017-01-06 삼성전자주식회사 한 손 조작 사용자 인터페이스 구현 방법 및 이를 수행하는 전자 장치
US10248311B2 (en) 2015-07-06 2019-04-02 Samsung Electronics Co., Ltd. Electronic device supporting virtual keyboard and method for configuring the virtual keyboard
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
WO2017039125A1 (en) * 2015-08-28 2017-03-09 Samsung Electronics Co., Ltd. Electronic device and operating method of the same
US20170060398A1 (en) * 2015-09-02 2017-03-02 Sap Se Dynamic display of user interface elements in hand-held devices
KR20170029180A (ko) * 2015-09-07 2017-03-15 현대자동차주식회사 차량, 및 그 제어방법
JP6344355B2 (ja) * 2015-09-28 2018-06-20 キヤノンマーケティングジャパン株式会社 電子端末、及びその制御方法とプログラム
CN105487776A (zh) * 2015-11-30 2016-04-13 上海斐讯数据通信技术有限公司 一种电子设备及其应用的操作方法
KR20170103379A (ko) * 2016-03-04 2017-09-13 주식회사 이노스파크 반응형 유저인터페이스 제공 방법
US10079972B2 (en) 2016-03-10 2018-09-18 Mediatek Inc. Method for controlling graphical user interface of camera application
CN106201172B (zh) * 2016-06-24 2020-09-01 广州视睿电子科技有限公司 一种触屏终端的画布显示方法及装置
KR102629409B1 (ko) * 2016-11-11 2024-01-26 삼성전자주식회사 객체 정보를 제공하기 위한 방법 및 그 전자 장치
US10591878B2 (en) * 2016-12-09 2020-03-17 Ademco Inc. Providing integrative comfort in a structure
CN107257395B (zh) * 2017-04-27 2019-10-08 努比亚技术有限公司 一种屏幕调整方法及终端
US20190026120A1 (en) * 2017-07-21 2019-01-24 International Business Machines Corporation Customizing mobile device operation based on touch points
US10589960B2 (en) * 2017-07-31 2020-03-17 Otis Elevator Company User device including secondary-touch elevator service request interface
WO2019047231A1 (zh) 2017-09-11 2019-03-14 广东欧珀移动通信有限公司 触摸操作响应方法及装置
EP3671412A4 (en) 2017-09-11 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TOUCH OPERATION RESPONSE PROCESS AND DEVICE
EP3671420A4 (en) * 2017-09-11 2020-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR RESPONDING TO TOUCH OPERATIONS
CN109997348B (zh) 2017-09-25 2021-10-15 华为技术有限公司 一种终端界面的显示方法及终端
KR20200058511A (ko) * 2017-10-20 2020-05-27 후아웨이 테크놀러지 컴퍼니 리미티드 아이콘 디스플레이 방법, 디바이스, 및 시스템
JP2018045729A (ja) * 2017-12-25 2018-03-22 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体
US10770037B2 (en) * 2018-03-15 2020-09-08 Kyocera Document Solutions Inc. Mobile terminal device
JP7093690B2 (ja) * 2018-07-05 2022-06-30 フォルシアクラリオン・エレクトロニクス株式会社 情報制御装置、及び表示変更方法
US11487425B2 (en) * 2019-01-17 2022-11-01 International Business Machines Corporation Single-hand wide-screen smart device management
EP3734434A1 (en) * 2019-05-01 2020-11-04 Advanced Digital Broadcast S.A. System and method for optimizing a touch screen user interface in mobile devices
CN110502164B (zh) * 2019-07-30 2021-05-14 维沃移动通信有限公司 一种界面显示方法及电子设备
TWI728446B (zh) * 2019-08-28 2021-05-21 華碩電腦股份有限公司 使用者介面之控制方法及電子裝置
JP6945608B2 (ja) 2019-11-11 2021-10-06 楽天グループ株式会社 表示システム、表示制御方法、プログラム
US20210286500A1 (en) * 2020-03-13 2021-09-16 Microsoft Technology Licensing, Llc Sensory Adjustment Mechanism
CN113552994A (zh) * 2020-04-23 2021-10-26 华为技术有限公司 一种触控操作方法及设备
JP2023107427A (ja) * 2022-01-24 2023-08-03 コニカミノルタ株式会社 超音波診断装置
CN114860144A (zh) * 2022-05-26 2022-08-05 北京小米移动软件有限公司 终端设备的解锁界面控制方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241985A1 (en) 2009-03-23 2010-09-23 Core Logic, Inc. Providing Virtual Keyboard
JP2011086036A (ja) 2009-10-14 2011-04-28 Victor Co Of Japan Ltd 電子機器、アイコン表示方法およびアイコン表示プログラム
WO2011135944A1 (ja) 2010-04-30 2011-11-03 日本電気株式会社 情報処理端末およびその操作制御方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US20050162399A1 (en) * 2004-01-23 2005-07-28 Kabushiki Kaisha Toshiba Displaying and inputting apparatus
KR102305019B1 (ko) * 2005-03-04 2021-09-27 애플 인크. 다기능 휴대용 장치
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP4770634B2 (ja) * 2006-08-07 2011-09-14 富士ゼロックス株式会社 表象画像再配置装置
JP2008261946A (ja) 2007-04-10 2008-10-30 Sharp Corp 表示制御装置および方法
KR100837283B1 (ko) 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
JP2009265793A (ja) * 2008-04-23 2009-11-12 Sony Ericsson Mobilecommunications Japan Inc 表示操作装置、操作装置およびプログラム
CA2655370C (en) * 2008-05-09 2014-08-12 Research In Motion Limited Configurable icon sizing and placement for wireless and other devices
CN101661367A (zh) * 2008-08-25 2010-03-03 扬智科技股份有限公司 菜单快捷方式的生成方法及使用者接口装置
JP2010061296A (ja) 2008-09-02 2010-03-18 Sharp Corp データ作成装置、データ処理装置、データ供給システム、データ作成方法、データ処理方法、制御プログラムおよび記録媒体
JP2010108081A (ja) * 2008-10-28 2010-05-13 Sharp Corp メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム
KR101078380B1 (ko) * 2009-03-23 2011-10-31 주식회사 코아로직 가상 키보드 제공 장치 및 방법
US20100287468A1 (en) 2009-05-05 2010-11-11 Emblaze Mobile Ltd Apparatus and method for displaying menu items
US8279185B2 (en) 2009-05-08 2012-10-02 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for positioning icons on a touch sensitive screen
KR101616127B1 (ko) * 2009-08-03 2016-04-27 삼성전자주식회사 사용자인터페이스 제공 방법 및 장치
KR101657117B1 (ko) * 2009-08-11 2016-09-13 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20110059009A (ko) * 2009-11-27 2011-06-02 삼성전자주식회사 휴대용 단말기에서 사용자 메뉴 설정을 위한 장치 및 방법
KR20110090447A (ko) * 2010-02-04 2011-08-10 에스케이텔레콤 주식회사 단말기의 파지형태에 따른 사용자 인터페이스 제공 방법 및 장치
JP5091267B2 (ja) * 2010-02-18 2012-12-05 シャープ株式会社 操作機器、その操作機器を備えた電子機器および画像処理装置ならびに操作方法
KR101680113B1 (ko) 2010-04-22 2016-11-29 삼성전자 주식회사 휴대 단말기의 ｇｕｉ 제공 방법 및 장치
KR101761612B1 (ko) 2010-07-16 2017-07-27 엘지전자 주식회사 이동 단말기 및 이것의 메뉴 화면 구성 방법
TWI441072B (zh) * 2010-09-21 2014-06-11 Altek Corp 觸控螢幕解鎖方法及其具有攝像功能之電子裝置
KR101685363B1 (ko) * 2010-09-27 2016-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
TWI457818B (zh) * 2011-09-09 2014-10-21 Univ Nat Taiwan Science Tech 一種電子裝置的使用者介面
WO2013061156A2 (en) * 2011-10-27 2013-05-02 Cell Rox, Ltd. Systems and method for implementing multiple personas on mobile technology platforms
US20140320420A1 (en) * 2013-04-25 2014-10-30 Sony Corporation Method and apparatus for controlling a mobile device based on touch operations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241985A1 (en) 2009-03-23 2010-09-23 Core Logic, Inc. Providing Virtual Keyboard
JP2011086036A (ja) 2009-10-14 2011-04-28 Victor Co Of Japan Ltd 電子機器、アイコン表示方法およびアイコン表示プログラム
WO2011135944A1 (ja) 2010-04-30 2011-11-03 日本電気株式会社 情報処理端末およびその操作制御方法

Also Published As

Publication number Publication date
CN104321736B (zh) 2018-11-13
WO2013176472A1 (en) 2013-11-28
US20190324568A1 (en) 2019-10-24
US11061496B2 (en) 2021-07-13
KR20130129864A (ko) 2013-11-29
EP2852882B1 (en) 2021-08-18
EP2852882A1 (en) 2015-04-01
US20130307801A1 (en) 2013-11-21
EP2852882A4 (en) 2016-01-27
JP2015518221A (ja) 2015-06-25
US10338705B2 (en) 2019-07-02
CN104321736A (zh) 2015-01-28
JP6279553B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
KR102094695B1 (ko) 터치 스크린을 이용하는 사용자 인터페이스 제어 방법 및 장치
US10310706B2 (en) System and methods for touch target presentation
US10521104B2 (en) Information processing apparatus, information processing method, and program
JP6012859B2 (ja) 分割画面表示の方法および装置、ならびにその電子デバイス
US10599317B2 (en) Information processing apparatus
US20120144331A1 (en) Method for Arranging Application Windows on a Display
US20140184526A1 (en) Method and apparatus for dual display
TWI482077B (zh) 電子裝置、其桌面瀏覽方法與電腦程式產品
JP2017526057A (ja) アプリケーションウィンドウの領域ベースのサイズ調節および適所配置
JP2017526054A (ja) アプリケーションウィンドウの動的ジョイントディバイダ
JP2017527882A (ja) アプリケーションウィンドウの補助的表示
US9632690B2 (en) Method for operating user interface and electronic device thereof
US20120297336A1 (en) Computer system with touch screen and associated window resizing method
US10185804B2 (en) Input apparatus and information processing system
CN105378635A (zh) 多区域触摸板
JP2006228215A (ja) タッチセンシティブグラフィカルユーザインタフェースの動作方法およびタッチセンシティブグラフィカルユーザインタフェース
US20140331170A1 (en) Method and apparatus of selecting item of portable terminal
EP1805588A1 (en) Image selection on a screen
US9632697B2 (en) Information processing apparatus and control method thereof, and non-transitory computer-readable medium
US20170031587A1 (en) Electronic device and control program therefor
KR101188871B1 (ko) 저시력인을 위한 터치스크린 장치 및 그 디스플레이 방법
TWI400633B (zh) Trajectory input device and its processing method
CN111273802A (zh) 一种在屏幕上移动对象的方法及触摸显示装置
KR101827937B1 (ko) 포스터치 인터페이스를 이용한 인터랙션 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant