KR20170054056A - 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스 - Google Patents

사용자 인터페이스를 제공하는 방법 및 모바일 디바이스 Download PDF

Info

Publication number
KR20170054056A
KR20170054056A KR1020150156747A KR20150156747A KR20170054056A KR 20170054056 A KR20170054056 A KR 20170054056A KR 1020150156747 A KR1020150156747 A KR 1020150156747A KR 20150156747 A KR20150156747 A KR 20150156747A KR 20170054056 A KR20170054056 A KR 20170054056A
Authority
KR
South Korea
Prior art keywords
area
objects
display
mobile device
user
Prior art date
Application number
KR1020150156747A
Other languages
English (en)
Inventor
그레체고로츠 파베우 그루지악
피오트르 마르친키에비츠
카밀 노바츠
콘라드 지던츠지크
라도슬로프 위엘고르스키
마리아 비아로타
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150156747A priority Critical patent/KR20170054056A/ko
Publication of KR20170054056A publication Critical patent/KR20170054056A/ko

Links

Images

Classifications

    • H04M1/72519—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

모바일 디바이스가 사용자 인터페이스(UI)를 제공하는 방법 및 모바일 디바이스가 제공된다. 모바일 디바이스는, 디스플레이의 표시 영역에 복수의 UI 객체를 표시하고, 상기 표시 영역의 형태를 변경하는 사용자 입력에 기초하여 복수의 UI 객체의 표시 상태를 조절할 수 있다.

Description

사용자 인터페이스를 제공하는 방법 및 모바일 디바이스 {METHOD FOR PROVIDING USER INTERFACE AND MOBILE DEVICE}
본 개시는 모바일 디바이스를 통해 사용자 인터페이스를 제공하는 방법 및 사용자 인터페이스를 제공하는 모바일 디바이스에 관한 것이다.
최근의 모바일 디바이스는 터치 스크린 패널(Touch Screen Panel, TSP)을 이용하여, 사용자가 보다 편리하게 필요한 정보를 모바일 디바이스에 입력할 수 있도록 하고 있다. 이로 인하여, 키패드의 키 입력을 통한 사용자 입력 방법에 비하여, 사용자는 보다 편리하게 모바일 디바이스에 정보를 입력할 수 있게 되었다. 모바일 디바이스의 사용 편의성을 향상시키기 위해서는 터치 스크린 패널에 표시되는 사용자 인터페이스(User Interface, UI)가 사용자의 입력에 따라 유연하게 변경될 수 있는 것이 중요하다. 특히, 모바일 디바이스를 한 손으로 파지하여 사용하는 경우 사용 편의성을 향상시킬 수 있는 UI를 제공할 필요가 있다.
한편, 디스플레이 기술이 발전하면서, 플렉서블 디스플레이(Flexible Display), 투명 디스플레이(Transparent Display Panel) 등이 개발되고 있다. 플렉서블 디스플레이(flexible display)는 형상이 변형되어 휘어질 수 있는 디스플레이 장치를 뜻한다. 플렉서블 디스플레이를 포함하는 모바일 디바이스가 상용화됨에 따라, 플렉서블 디스플레이의 구부러지는 성질을 이용하여, 사용자가 모바일 디바이스를 간편하게 제어할 수 있도록 하는 새로운 방식의 사용자 UI를 제공할 필요가 있다.
본 개시는, 모바일 디바이스를 사용하는 사용자의 편의성을 도모하기 위하여, 모바일 디바이스에 포함되는 디스플레이의 형태를 변형하는 입력이 수신되는 경우, 수신된 입력에 기초하여 UI를 조절하는 방법을 제공한다.
또한, 본 개시의 일 실시예는, 디스플레이의 형태를 변형하는 입력이 수신되는 경우, 수신된 입력에 기초하여 UI를 조절하는 모바일 디바이스를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시에 의한 모바일 디바이스가 사용자 인터페이스(UI)를 제공하는 방법은, 상기 모바일 디바이스에 포함된 디스플레이의 제1 영역에 복수의 UI 객체를 표시하는 단계; 상기 제1 영역의 형태를 변경하는 사용자 입력을 상기 디스플레이를 통해 수신하는 단계; 및 상기 제 1 영역의 변경된 형태에 기초하여, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계; 를 포함한다.
예를 들어, 상기 복수의 UI 객체는 아이콘, 텍스트, 가상의 버튼 및 배경 화면 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 사용자 입력을 수신하는 단계는, 상기 디스플레이 상에서 상기 제1 영역의 크기를 축소하는 터치 입력을 수신하는 단계를 포함하고, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 크기를 축소하는 단계를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역의 크기가 기설정된 제1 임계치 미만인 경우 상기 복수의 UI 객체에 각각 대응하는 아이콘을 상기 제1 영역에 표시하는 단계를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역의 크기가 기설정된 제2 임계치 미만인 경우 상기 복수의 UI 객체에 각각 대응되는 상기 아이콘이 나열되는 방향을 변경하는 단계를 포함하고, 상기 제2 임계치는 상기 제1 임계치 보다 작은 값일 수 있다.
예를 들어, 상기 모바일 디바이스는, 플렉서블 디스플레이(flexible display)를 포함하고, 상기 사용자 입력을 수신하는 단계는, 상기 플렉서블 디스플레이를 구부리는 벤딩 입력(bending input)을 수신하는 단계를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 벤딩 입력에 기초하여, 상기 제1 영역을 상기 플렉서블 디스플레이가 구부려진 벤딩 각도가 임계각 미만인 제2 영역 및 상기 벤딩 각도가 상기 임계각 이상인 제3 영역으로 분할하는 단계; 및 상기 복수의 UI 객체를 상기 제2 영역으로 이동시켜 표시하는 단계; 를 포함할 수 있다.
예를 들어, 상기 방법은, 상기 디스플레이를 바라보는 사용자의 시선의 이동 방향을 인식하는 단계;를 더 포함하고, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 위치를 상기 사용자의 시선이 이동 방향에 대응되는 방향으로 이동시키고, 상기 복수의 UI 객체의 크기를 축소하는 단계를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 디스플레이를 바라보는 사용자의 눈을 인식하는 단계; 상기 디스플레이로부터 상기 사용자의 눈까지의 거리를 결정하는 단계; 및 상기 결정된 거리에 따라 상기 복수의 UI 객체의 크기를 변경하는 단계;를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 디스플레이에 도달하여 상기 디스플레이 상에서 반사되는 빛의 강도(light intensity)를 측정하는 단계; 상기 제1 영역 중 상기 측정된 빛의 강도가 임계 강도를 초과하는 제4 영역을 결정하는 단계; 및 상기 복수의 UI 객체 중 상기 제4 영역에 표시되는 복수의 UI 객체의 위치를 상기 제1 영역 내의 상기 제4 영역을 제외한 영역으로 이동시켜 표시하는 단계; 를 포함할 수 있다.
예를 들어, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 사용자의 안면을 인식하는 단계; 및 상기 인식된 사용자의 안면이 기 등록된 안면과 상응하는 경우 상기 제 1 영역의 변경된 형태에 따라 상기 복수의 UI의 표시 상태를 조절하는 단계; 를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시에 의한 UI를 제공하는 모바일 디바이스는, 제1 영역에 복수의 UI 객체를 표시하는 디스플레이부; 상기 제1 영역의 형태를 변경하는 사용자 입력을 수신하는 사용자 입력부; 및 상기 제 1 영역의 변경된 형태에 기초하여, 상기 복수의 UI 객체의 표시 상태를 조절하는 제어부; 를 포함한다.
예를 들어, 상기 사용자 입력부는 상기 디스플레이부 상에서 상기 제1 영역의 크기를 축소하는 터치 입력을 수신하는 터치 입력부를 포함하고, 상기 제어부는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 크기를 축소할 수 있다.
예를 들어, 상기 제어부는, 상기 제1 영역의 크기가 기설정된 제1 임계치 이하인 경우 상기 복수의 UI 객체에 각각 대응하는 아이콘이 상기 제1 영역에 표시되도록 상기 아이콘의 크기 및 위치를 조절할 수 있다.
예를 들어, 상기 제어부는, 상기 제1 영역의 크기가 기설정된 제2 임계치 이하인 경우 상기 복수의 UI 객체에 각각 대응되는 상기 아이콘이 나열되는 방향을 변경하고, 상기 제2 임계치는 상기 제1 임계치 보다 작은 값일 수 있다.
예를 들어, 상기 디스플레이부는 플렉서블 디스플레이(flexible display)를 포함하고, 상기 사용자 입력부는, 상기 플렉서블 디스플레이를 구부리는 벤딩 입력(bending input)을 수신할 수 있다.
예를 들어, 상기 제어부는, 상기 벤딩 입력에 기초하여, 상기 제1 영역에 표시되는 상기 복수의 UI 객체의 위치를 상기 플렉서블 디스플레이가 구부려진 벤딩 각도가 임계값 미만인 제2 영역으로 이동시킬 수 있다.
예를 들어, 상기 모바일 디바이스는 상기 디스플레이부를 바라보는 사용자의 시선의 이동 방향을 인식하는 시선 인식 센서를 포함하고, 상기 제어부는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 위치를 상기 사용자의 시선이 이동 방향에 대응되는 방향으로 이동시키고, 상기 복수의 UI 객체의 크기를 축소할 수 있다.
예를 들어, 상기 모바일 디바이스는, 상기 디스플레이부와 사용자의 눈과의 거리를 인식하는 근접 센서를 포함하고, 상기 제어부는, 상기 근접 센서에서 인식한 상기 디스플레이부와 상기 사용자의 눈 사이의 거리에 따라 상기 복수의 UI 객체의 크기를 변경할 수 있다.
예를 들어, 상기 모바일 디바이스는, 상기 디스플레이부에 도달하여 상기 디스플레이 상에서 반사되는 빛의 강도(light intensity)를 측정하는 광 센서(light sensor)를 포함하고, 상기 제어부는, 상기 광 센서에서 측정한 빛의 강도가 임계 강도를 초과하는 제4 영역을 결정하고, 상기 복수의 UI 객체 중 상기 제4 영역에 표시되는 복수의 UI 객체의 위치를 상기 제1 영역 내의 상기 제4 영역을 제외한 영역으로 이동시킬 수 있다.
예를 들어, 상기 모바일 디바이스는, 사용자의 안면을 인식하는 안면 인식 센서를 포함하고, 상기 제어부는, 상기 안면 인식 센서에서 인식한 사용자의 안면이 기 등록된 안면과 상응하는 경우 상기 제 1 영역의 변경된 형태에 따라 상기 복수의 UI의 표시 상태를 조절할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시는 상기 모바일 디바이스가 사용자 인터페이스(UI)를 제공하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른, 디스플레이의 형태를 변경하는 입력에 따라 UI를 조절하여 제공하는 모바일 디바이스를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른, 디스플레이의 형태를 변경하는 입력에 따라 UI를 조절하는 방법에 관한 흐름도이다.
도 3(a) 내지 도 3(d)는 본 개시의 일 실시예에 따른, 디스플레이의 형태를 변경하는 터치 입력에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이의 형태를 변경하는 터치 입력에 따라 UI를 조절하는 방법에 관한 흐름도이다.
도 5(a) 내지 도 5(c)는 본 개시의 일 실시예에 따른, 디스플레이를 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면들이다.
도 6은 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이를 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
도 7(a) 내지 도 7(c)는 본 개시의 일 실시예에 따른, 디스플레이를 서로 다른 각도로 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면들이다.
도 8은 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이를 서로 다른 각도로 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
도 9(a) 내지 도 9(c)는 본 개시의 일 실시예에 따른, 디스플레이를 바라보는 사용자의 시선의 이동 방향에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면들이다.
도 10은 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이를 바라보는 사용자의 시선의 이동 방향에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
도 11(a) 내지 도 11(c)는 본 개시의 일 실시예에 따른, 디스플레이와 사용자의 눈 사이의 거리에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면들이다.
도 12는 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이와 사용자의 눈 사이의 거리에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
도 13(a) 및 도 13(b)은 본 개시의 일 실시예에 따른, 디스플레이 상에서 반사되는 빛의 강도에 따라 UI를 조절하여 제공하는 모바일 디바이스를 설명하기 위한 도면들이다.
도 14는 본 개시의 일 실시예에 따른, 모바일 디바이스가 디스플레이에서 반사되는 빛의 강도에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
도 15는 본 개시의 일 실시예에 따른, 모바일 디바이스의 구성 요소를 도시한 블록도이다.
도 16은 본 개시의 일 실시예에 따른, 모바일 디바이스의 구성 요소를 도시한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서, 사용자 인터페이스(User Interface, 이하 UI) 객체는, 모바일 디바이스의 디스플레이에 표시되고, 사용자에 의해 선택 가능한 아이콘, 텍스트, 가상의 버튼 및 배경 이미지를 포함하는 객체 중 적어도 하나를 포함할 수 있다. 상기 아이콘은 모바일 디바이스가 제공하는 기능을 수행하는 애플리케이션에 진입하는 아이콘일 수 있다. 상기 텍스트는 모바일 디바이스에서 제공하는 기능을 수행하는 애플리케이션에 대한 정보를 나타내는 텍스트 또는 애플리케이션의 기능을 실행하기 위한 텍스트일 수 있다. 일 실시예에서, UI 객체는 모바일 디바이스에서 제공되는 콘텐츠(contents)를 포함할 수 있다.
또한, 본 명세서에서 UI 객체의 표시 상태는, UI 객체가 모바일 디스플레이에 표시되는 개별적인 속성을 의미할 수 있다. 예컨대, UI 객체의 표시 상태는 UI 객체 각각의 위치, 형태, 명암, 투명도, 나열 순서 및 나열 방향 중 적어도 하나를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 디스플레이(1100)의 형태를 변경하는 사용자 입력에 따라 UI 객체의 표시 상태를 조절하여 제공하는 모바일 디바이스(1000)를 설명하기 위한 개념도이다.
도 1를 참조하면, 모바일 디바이스(1000)는 제1 영역(1100-1) 및 제2 영역(1100-2)을 포함하고, 복수의 UI 객체(100, 100’, 110, 110’)을 표시하는 디스플레이(1100)를 포함할 수 있다. 모바일 디바이스(1000)는 디스플레이(1100)의 형태를 변경하는 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 디스플레이(1100)에 표시되는 복수의 UI 객체(100, 100’, 110, 110’)의 표시 상태를 조절할 수 있다. 복수의 UI 객체(100, 100’, 110, 110’)는 모바일 디바이스(1000)가 제공하는 기능을 수행하는 애플리케이션의 아이콘(100, 100’) 및 애플리케이션에 대한 정보를 나타내는 텍스트(110, 110’)를 포함할 수 있다.
일 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)을 터치하고 제1 방향(120)을 따라 스와이프(swipe)하는 사용자 입력을 수신하고, 수신된 사용자 입력에 따라 제1 영역(1100-1)에 표시되는 복수의 UI 객체(100, 110)를 제1 방향(120’)을 따라 이동시키고 크기를 축소시켜 표시할 수 있다. 즉, 제1 영역(1100-1)의 크기는 사용자 입력에 기초하여 제1 방향(120’)을 따라 제1 영역’(1100-1’)로 축소되고, 제1 영역(1100-1)에 표시되는 아이콘(100) 및 텍스트(110)의 위치는 제1 방향(120’)을 따라 이동될 수 있다. 또한, 이동된 아이콘(100’) 및 텍스트(110’)의 크기는 이동되기 전의 아이콘(100) 및 텍스트(110)의 크기보다 작게 표시될 수 있다. 다른 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)의 형태를 변경하는 사용자 입력을 수신하는 경우, 제1 영역(1100-1)에 표시되는 복수의 UI 객체(100, 110)의 형태, 나열 방향, 투명도 및 명암 중 적어도 하나를 변경하여 표시할 수 있다.
도 1에 도시된 실시예에서, 모바일 디바이스(1000)는 사용자가 상기 모바일 디바이스(1000)를 한 손에 파지하여 사용하는 경우 디스플레이(1100)에 표시되는 복수의 UI 객체(100, 110)가 표시되는 영역의 형태를 변경하는 사용자의 입력에 따라 표시 상태가 조절되는 복수의 UI 객체(100’, 110’)를 제공함으로써, 사용자의 UI에 대한 접근성 및 사용 편의성을 향상시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른, 디스플레이(1100)의 형태를 변경하는 입력에 따라 UI를 조절하는 방법에 관한 흐름도이다.
단계 S210에서, 모바일 디바이스(1000)는 디스플레이(1100)의 제1 영역 상에 복수의 UI 객체를 표시한다. 단계 S210에서, 제1 영역은 디스플레이(1100)에서 객체가 표시될 수 있는 영역 전체를 의미할 수 있지만 이에 한정되는 것은 아니다. 복수의 UI 객체는 애플리케이션 아이콘 및 애플리케이션에 대한 정보를 나타내는 텍스트를 포함할 수 있다.
단계 S220에서, 모바일 디바이스(1000)는 제1 영역의 형태를 변경하는 사용자 입력을 수신한다. 일 실시예에서, 제1 영역의 형태는, 제1 영역의 크기 및 형상을 포함할 수 있다. 일 실시예에서, 사용자 입력을 제1 영역의 상단부를 터치하여 제1 방향으로 이동하는 사용자 입력일 수 있다.
단계 S230에서, 모바일 디바이스(1000)는 제1 영역의 변경된 형태에 기초하여, 복수의 UI 객체의 표시 상태를 조절한다. 일 실시예에서, 단계 S220에서 수신되는 사용자 입력에 따라 제1 영역은 제1 방향으로 이동하면서 크기가 축소될 수 있다. 제1 영역에 표시되는 복수의 UI 객체는 제1 영역의 크기 및 위치에 기초하여, 상기 제1 방향으로 이동하고, 복수의 UI 객체의 크기가 축소될 수 있다.
도 3a 내지 도 3d는 본 개시의 일 실시예에 따른, 디스플레이(1100)의 형태를 변경하는 터치 입력에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000)를 설명하기 위한 도면이다.
도 3a를 참조하면, 모바일 디바이스(1000)는 디스플레이(1100)를 포함하고, 복수의 UI 객체(201, 211)는 디스플레이(1100)의 제1 영역(1100-1)에 표시될 수 있다. 복수의 UI 객체(201, 211) 중 모바일 디바이스(1000)가 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘(201)은 제1 방향(Y 방향)으로 나열되어 있고, 복수의 애플리케이션에 대한 정보를 나타내는 텍스트(211)는 상기 제1 방향(Y 방향)에 수직하는 제2 방향(X 방향)으로 표시되고, 제1 방향(Y 방향)으로 나열될 수 있다. 도 3a에 도시된 실시예에서, 제1 영역(1100-1)은 디스플레이(1100)의 표시 영역과 동일할 수 있다.
모바일 디바이스(1000)는 제1 영역(1100-1)의 상단부를 터치하여 제1 영역(1100-1)의 형태를 변경하는 사용자 입력을 수신할 수 있다. 다만, 이에 한정되는 것은 아니고, 제1 영역(1100-1)은 디스플레이(1100)의 표시 영역 보다 작게 형성될 수 있다.
도 3b를 참조하면, 모바일 디바이스(1000)는 디스플레이(1100)를 제1 영역(1100-1)을 제1 방향(220)으로 이동시키고, 제1 영역(1100-1)의 크기를 축소하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 복수의 UI 객체(202, 212)를 제1 영역(1100-1) 내로 이동하고, 복수의 UI 객체(202, 212)의 크기를 축소하여 표시할 수 있다. 제1 방향(320)은 Y 축 방향으로 제1 영역(1100-1)의 상단부에서 하단부로 향하는 방향일 수 있다. 일 실시예에서, 디스플레이(1100)의 표시 영역은 상기 사용자 입력에 기초하여 제1 방향(220)으로 이동된 제1 영역(1100-1) 및 디스플레이(1100)의 상단부에 형성된 제2 영역(1100-2)으로 분할될 수 있다. 제1 영역(1100-1)에는 복수의 UI 객체(202, 212)가 표시되고, 제2 영역(1100-2)에는 표시되지 않을 수 있다.
일 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)에 표시되는 복수의 UI 객체(202, 212)의 크기를 도 3a에서 도시된 복수의 UI 객체(201, 211)의 크기보다 작게 조절하여 표시할 수 있다. 예컨대, 웹 브라우저 애플리케이션을 실행하는 웹 브라우저 아이콘(301)의 크기는 도 3a에 도시된 웹 브라우저 아이콘(201)과 다른 특성은 동일하나 상기 웹 브라우저 아이콘(201)의 크기보다 작은 크기로 조절될 수 있다. 웹 애플리케이션 정보를 제공하는 텍스트(212)의 크기도 마찬가지로 도 3a에 도시된 텍스트(211)의 크기보다 작게 조절될 수 있다. 다른 애플리케이션 아이콘, 예컨대 이메일 아이콘, 달력 아이콘, 시계 아이콘 및 전화 아이콘 역시 도 3a에 도시된 각각의 아이콘들보다 작은 크기로 조절될 수 있다.
도 3c를 참조하면, 모바일 디바이스(1000)는 제1 영역(1100-1)의 크기를 변경하는 사용자 입력에 기초하여, 제1 영역(1100-1)의 크기가 기 설정된 임계치 미만인 경우 복수의 UI 객체(203)의 구성을 변경하여 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000)는 상기 사용자 입력에 따라 제1 영역(1100-1)의 크기가 기 설정된 제1 임계치 미만이라고 결정하는 경우, 복수의 UI 객체 중 복수의 애플리케이션의 아이콘(203)만을 표시할 수 있다. 즉, 모바일 디바이스(1000)는 도 3a 및 도 3b에서 제1 영역(1100-1)에 표시되었던 텍스트(211, 212)를 표시하지 않을 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)에 표시되는 애플리케이션 아이콘(302)의 크기를 도 3b에 도시된 애플리케이션 아이콘(202)의 크기 보다 축소하여 표시할 수 있다.
도 3d를 참조하면, 모바일 디바이스(1000)는 제1 영역(1100-1)의 크기를 변경하는 사용자 입력에 기초하여, 제1 영역(1100-1)의 크기가 도 3c에서의 제1 임계치보다 작은 제2 임계치 미만인 경우 복수의 UI 객체(204)가 나열되는 형태를 변경하여 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000)는 상기 사용자 입력에 따라 제1 영역(1100-1)의 크기가 기 설정된 제2 임계치 미만이라고 결정하는 경우, 복수의 애플리케이션 아이콘(204)이 나열된 방향을 제2 방향(X 방향)으로 변경하여 표시할 수 있다. 도 3a 내지 도 3c에서 애플리케이션 아이콘(201, 202, 203)는 제1 방향(Y 방향)으로 나열되었는데, 제1 영역(1100-1)의 크기가 제2 임계치 미만인 도 3d에서는 애플리케이션 아이콘(204)은 제2 방향(X 방향)으로 나열될 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)에 표시되는 애플리케이션 아이콘(204)의 크기를 도 3c에 도시된 애플리케이션 아이콘(302)의 크기 보다 축소하여 표시할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 모바일 디바이스(1000)가 디스플레이(1100)의 형태를 변경하는 터치 입력에 따라 UI를 조절하는 방법에 관한 흐름도이다.
단계 S410에서, 모바일 디바이스(1000)는 디스플레이(1100)의 제1 영역에 복수의 UI 객체를 표시한다. 일 실시예에서, 복수의 UI 객체는 모바일 디바이스(1000)가 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘 및 상기 애플리케이션에 대한 정보를 나타내는 복수의 텍스트를 포함할 수 있다. 상기 복수의 애플리케이션 아이콘 및 상기 복수의 텍스트는 제1 방향으로 나열될 수 있다.
단계 S420에서, 모바일 디바이스(1000)는 디스플레이(1100) 상에서 제1 영역의 크기를 축소하는 터치 입력을 수신한다. 일 실시예에서, 상기 터치 입력은 제1 영역의 상단부를 터치하여 제1 방향을 따라 스와이프하는 사용자 입력일 수 있다. 모바일 디바이스(1000)는 상기 사용자 입력에 기초하여 제1 영역의 위치를 제1 방향을 따라 이동시키고, 제1 영역의 크기를 축소시킬 수 있다.
단계 S430에서, 모바일 디바이스(1000)는 단계 S420에서 수신된 터치 입력에 따라 제1 영역의 크기가 제1 임계값 미만인지 결정한다. 제1 임계값은 기 설정된 값일 수 있다.
단계 S440에서, 모바일 디바이스(1000)는 단계 S430에서 제1 영역의 크기가 제1 임계값 미만이라고 결정하는 경우 복수의 UI 객체에 대응되는 복수의 아이콘의 크기를 축소하여 제1 영역에 표시한다. 일 실시예에서, 복수의 UI 객체는 모바일 디바이스(1000)에서 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘을 포함할 수 있다. 상기 복수의 애플리케이션 아이콘은 제1 방향으로 나열될 수 있다. 단계 S440에서, 모바일 디바이스(1000)는 제1 영역에 애플리케이션에 대한 정보를 나타내는 텍스트를 표시하지 않을 수 있다.
단계 S450에서, 모바일 디바이스(1000)는 단계 S430에서 제1 영역의 크기가 제1 임계값 이상이라고 결정하는 경우 복수의 UI 객체에 대응되는 복수의 아이콘 및 복수의 텍스트의 크기를 축소하여 제1 영역에 표시한다. 단계 S450에서, 복수의 UI 객체는 모바일 디바이스(1000)의 복수의 애플리케이션 아이콘 및 애플리케이션에 대한 정보를 제공하는 복수의 텍스트를 포함할 수 있다.
단계 S460에서, 모바일 디바이스(1000)는 단계 S420에서 수신된 터치 입력에 따라 제1 영역의 크기가 제2 임계값 미만인지 결정한다. 제2 임계값은 기 설정된 값일 수 있다. 일 실시예에서, 제2 임계값은 제1 임계값보다 작은 값일 수 있다.
단계 S470에서, 모바일 디바이스(1000)는 복수의 UI 객체에 대응되는 아이콘의 나열 방법을 변경하여 표시한다. 단계 S470에서, 제1 영역에 표시되는 복수의 UI 객체는, 모바일 디바이스(1000)에서 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘을 포함할 수 있다. 상기 복수의 애플리케이션 아이콘은 단계 S440에서의 제1 방향에 수직하는 제2 방향으로 나열될 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000)는 상기 복수의 애플리케이션 아이콘의 크기를 단계 S440에서의 아이콘 크기 보다 축소하여 제1 영역에 표시할 수 있다.
도 5a 내지 도 5c는 본 개시의 일 실시예에 따른, 플렉서블 디스플레이(flexible display, 1120)를 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000a)를 설명하기 위한 도면들이다.
도 5a를 참조하면, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)을 포함할 수 있다. 플렉서블 디스플레이(1120)는 종래의 액정 디스플레이(LCD) 및 유기 발광 다이오드(OLED)에서 액정을 싸고 있는 유리기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여한 것이다.
일 실시예에서, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)를 구부리는 사용자의 벤딩 입력을 수신할 수 있다. 모바일 디바이스(1000a)는 벤딩 입력을 수신함에 따라 플렉서블 디스플레이(1120)를 제1 영역(1121) 및 제2 영역(1122)으로 분할할 수 있다. 도 5a에 도시된 실시예에서, 제1 영역(1121)은 모바일 디바이스(1000a)의 하단부에, 제2 영역(1122)은 모바일 디바이스(1000a)의 상단부에 형성될 수 있다.
일 실시예에서, 제1 영역(1121)과 제2 영역(1122)은 벤딩 입력에 따라 구부려지는 벤딩 각도에 의해 구별될 수 있다. 모바일 디바이스(1000a)는, 플렉서블 디스플레이(1120)의 구부러진 영역의 위치, 방향, 및 구부림 정도 중 적어도 하나를 감지하여, 벤딩 형태 및 벤딩 각도를 확인한다. 즉, 모바일 디바이스(1000a)는 벤딩 입력에 의해 구부러진 부분에 위치한 센서의 좌표 값을 획득하여, 구부러진 부분의 위치를 감지할 수 있다. 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)이 바라보는 방향 및 후면이 바라보는 방향을 감지하여, 구부러진 부분의 방향을 확인할 수 있다. 또한, 모바일 디바이스(1000a)는 구부러진 부분에 위치한 센서가 센싱한 값에 기초하여 구부림 정도를 감지할 수 있다. 제1 영역(1121)은 벤딩 입력에 따른 벤딩 각도가 임계각 이상인 영역이고, 제2 영역(1122)은 벤딩 각도가 임계각 미만인 영역일 수 있다. 벤딩 각도는 인접하는 두 지점이 이루는 각도 또는 구부러진 부분에 대한 곡률 값을 의미할 수 있다.
일 실시예에서, 모바일 디바이스(1000a)는 복수의 UI 객체를 제1 영역(1121)에 표시할 수 있다. 복수의 UI 객체는 모바일 디바이스(1000a)에서 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘(301) 및 복수의 애플리케이션 각각에 대한 정보를 제공하는 텍스트(311)를 포함할 수 있다. 상기 복수의 애플리케이션 아이콘(301)은 제1 방향으로 나열될 수 있다. 상기 복수의 텍스트(311)는 제1 방향으로 나열되고, 상기 제1 방향과 수직인 제2 방향으로 표시될 수 있다. 제2 영역(1122)에는 복수의 UI 객체가 표시되지 않을 수 있다. 도 5a에 도시된 실시예에서, 제1 영역(1121)의 크기는 제2 영역(1122)의 크기보다 크게 형성될 수 있다.
도 5b를 참조하면, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)를 지속적으로 구부리는 벤딩 입력을 수신함에 따라 벤딩 각도가 임계치 이상인 제2 영역(1122)의 크기를 도 5a에서의 경우보다 크게 형성할 수 있다. 도 5b에 도시된 실시예에서, 제2 영역(1122)의 크기는 도 5a에 도시된 제2 영역(1122) 보다 크고, 제1 영역(1121)의 크기는 도 5a에 도시된 제1 영역(1121)의 크기보다 크게 형성될 수 있다. 일 실시예에서, 제2 영역(1122)은 전체 플렉서블 디스플레이(1120)의 영역의 30% 내지 60%의 크기일 수 있다. 다만, 상기 수치는 예시적인 것이고, 상기 제2 영역(1122)의 크기가 상기 수치로 한정되는 것은 아니다.
모바일 디바이스(1000a)는 복수의 UI 객체(302, 312)를 제1 영역(1121)에 표시할 수 있다. 플렉서블 디스플레이(1120)를 구부리는 벤딩 입력에 따라 제1 영역(1121)의 크기가 작아지는바, 모바일 디바이스(1000a)는 복수의 UI 객체(302, 312)의 크기를 축소하여 표시할 수 있다. 일 실시예에서, 복수의 UI 객체(302, 312)에 대응되는 복수의 애플리케이션 아이콘(302) 및 복수의 텍스트(312)의 크기는 도 5a에서 도시된 복수의 애플리케이션 아이콘(302) 및 복수의 텍스트(312)의 크기 보다 작을 수 있다. 또한, 일 실시예에서, 제1 영역(1121)의 크기가 축소됨에 따라, 모바일 디바이스(1000a)는 복수의 애플리케이션 아이콘(302) 및 복수의 텍스트(312)를 제1 방향(520)을 따라 소정 거리만큼 이동시켜 표시할 수 있다.
도 5c를 참조하면, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)를 지속적으로 구부리는 벤딩 입력을 수신함에 따라 벤딩 각도가 임계치 이상인 제2 영역(1122)의 크기를 도 5b에서의 경우보다 크게 형성할 수 있다. 도 5c에 도시된 실시예에서, 제2 영역(1122)의 크기는 도 5b에 도시된 제2 영역(1122) 보다 크고, 제1 영역(1121)의 크기는 도 5b에 도시된 제1 영역(1121)의 크기보다 크게 형성될 수 있다. 일 실시예에서, 제2 영역(1122)은 전체 플렉서블 디스플레이(1120)의 영역의 60% 내지 80%의 크기일 수 있다. 다만, 상기 수치는 예시적인 것이고, 상기 제2 영역(1122)의 크기가 상기 수치로 한정되는 것은 아니다.
모바일 디바이스(1000a)는 복수의 UI 객체(303)를 제1 영역(1121)에 표시할 수 있다. 복수의 UI 객체(303)는 모바일 디바이스(1000a)에서 제공하는 기능을 수행하는 복수의 애플리케이션의 아이콘(303)을 포함할 수 있다. 모바일 디바이스(1000a)는 벤딩 입력에 따라 제1 영역(1121)의 크기가 임계치보다 작아지는 경우, 복수의 애플리케이션 아이콘(303)을 제1 영역(1121)에 표시할 수 있다. 모바일 디바이스(1000a)는 도 5b에서와는 달리 복수의 텍스트(312)는 표시하지 않을 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000a)는 제1 영역(1121)의 크기가 임계치보다 작아지는 경우 복수의 아이콘(303)의 크기를 축소하여 표시할 수 있다.
일 실시예에서, 모바일 디바이스(1000a)는 제1 영역(1121)의 크기가 임계치보다 작아지는 경우 복수의 아이콘(303)이 나열되는 방향을 변경할 수 있다. 도 (c)에 도시된 실시예에서, 복수의 아이콘(303)은 도 5a 및 도 5b에 도시된 복수의 아이콘(301, 302)이 나열된 제1 방향과는 수직한 제2 방향으로 나열될 수 있다.
도 6은 본 개시의 일 실시예에 따른, 모바일 디바이스(1000a)가 디스플레이(1120)를 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
단계 S610에서, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)의 표시 영역에 복수의 UI 객체를 표시한다. 일 실시예에서, 복수의 UI 객체는 복수의 애플리케이션 아이콘 및 텍스트를 포함할 수 있다.
단계 S620에서, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)를 구부려서 표시 영역의 형태를 변경하는 벤딩 입력을 수신한다. 플렉서블 디스플레이(1120)는 구부리거나 휘거나 말릴 수 있는 유연성을 가진 디스플레이로서, 모바일 디바이스(1000a)는 상기 벤딩 입력을 수신하는 것 이외에 상기 플렉서블 디스플레이(1120)를 휘는 입력 또는 마는 입력(rolling input)도 수신할 수 있다.
단계 S630에서, 모바일 디바이스(1000a)는 플렉서블 디스플레이(1120)의 표시 영역을 벤딩 각도가 임계각 미만인 제1 영역 및 벤딩 각도가 임계각 이상인 제2 영역으로 분할할 수 있다. 모바일 디바이스(1000a)는 디스플레이 변형 인식 센서(1410, 도 16 참조)를 통해 플렉서블 디스플레이(1120)의 벤딩 형태 및 벤딩 각도를 인식하고, 벤딩 각도를 임계치와 비교하여 서로 다른 두 영역으로 분할할 수 있다. 일 실시예에서, 벤딩 각도는 인접하는 두 지점이 이루는 각도 또는 구부러진 부분에 대한 곡률 값을 의미할 수 있다.
단계 S640에서, 모바일 디바이스(1000a)는 복수의 UI 객체의 위치를 제1 영역으로 이동시키고, 복수의 UI 객체의 크기를 변경한다. 일 실시예에서, 모바일 디바이스(1000a)는 복수의 애플리케이션 아이콘 및 복수의 텍스트를 제1 영역에 표시되도록 위치를 이동시키고, 복수의 애플리케이션 아이콘 및 복수의 텍스트 크기를 축소하여 표시할 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000a)는 제1 영역의 크기가 기 설정된 임계치의 크기보다 작은 경우 복수의 애플리케이션 아이콘만을 표시할 수도 있다. 다른 실시예에서, 모바일 디바이스(1000a)는 제1 영역의 크기가 기 설정된 임계치의 크기보다 작은 경우 복수의 애플리케이션 아이콘의 나열 방향을 변경할 수 있다.
도 7a 내지 도 7c는 본 개시의 일 실시예에 따른, 플렉서블 디스플레이(1140)를 서로 다른 각도로 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000b)를 설명하기 위한 도면들이다.
도 7a를 참조하면, 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)를 포함할 수 있다. 플렉서블 디스플레이(1140)는 도 5a 내지 도 5c에 도시된 플렉서블 디스플레이(1120)와 동일한 바, 도 5a에 대하여 설명한 것과 중복되는 설명은 생략한다. 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)에 대한 전역적(global) 또는 부분적(local) 왜곡 입력을 수신함에 따라 플렉서블 디스플레이(1140)의 형태를 전역적 또는 부분적으로 변경하고, 복수의 UI 객체의 크기, 형태, 위치, 나열 형태, 명암 및 투명도 중 적어도 하나를 조절하여 제공할 수 있다.
도 7a에 도시된 실시예에서, 플렉서블 디스플레이(1140)는 왜곡 입력을 수신함에 따라 서로 다른 벤딩 각도로 구부러질 수 있다. 일 실시예에서, 벤딩 각도는 인접하는 두 지점이 이루는 각도 또는 구부러진 부분에 대한 곡률 값을 의미할 수 있다. 플렉서블 디스플레이(1140)가 구부러지는 경우, 복수의 UI 객체(401, 402, 403)의 형태는 플렉서블 디스플레이(1140)가 구부러진 곡률과 동일하게 구부러지고, 왜곡되어 표시될 수 있다. 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)가 서로 다른 곡률값으로 구부러지는 경우, 플렉서블 디스플레이(1140)의 표시 영역에 표시되는 복수의 UI 객체가 사용자의 눈에 왜곡 없이 보일 수 있도록, 왜곡을 상쇄할 수 있는 보정을 할 수 있다. 일 실시예에서, 상기 보정은 모바일 디바이스(1000b)에 저장되는 복수의 UI 객체(401, 402, 403) 각각에 대한 변형 함수(transfer function)에 의해 수행될 수 있다. 일 실시예에서, 변형 함수는 UI 구성 메뉴 및 API(Application Programming Interface)를 포함할 수 있다.
예컨대, 플렉서블 디스플레이(1140)가 사용자를 향해 오목한 방향으로 구부리는 왜곡 입력에 따라 오목하게 구부러진 영역인 제2 영역(1142) 및 제3 영역(1143)에 표시되는 복수의 UI 객체(402, 403)에 대하여, 모바일 디바이스(1000b)는 제2 영역(1142) 및 제3 영역(1143)이 구부러진 방향을 인식하고, 오목한 방향으로의 왜곡을 상쇄하기 위해 복수의 UI 객체(402, 403)를 상기 왜곡 입력의 반대 방향인 볼록한 방향으로 팽창시켜 표시할 수 있다. 반대의 경우, 즉 플렉서블 디스플레이(1140)가 사용자를 향해 볼록한 방향으로 구부러진 제1 영역(1141)의 경우, 모바일 디바이스(1000b)는 복수의 UI 객체(401)를 오목한 방향으로 수축하여 왜곡을 상쇄할 수 있다.
일 실시예에서, 플렉서블 디스플레이(1140)에 대한 왜곡 입력이 수신됨에 따라, 모바일 디바이스(1000b)는 복수의 UI 객체(401, 402, 403)의 위치를 개별적으로 변경할 수 있다. 모바일 디바이스(1000b)는 복수의 UI 객체(401, 402, 403) 각각에 대하여 기 저장된 변형 함수에 기초하여, 상기 복수의 UI 객체(401, 402, 403)의 위치를 변경할 수 있다. 도 7a에 도시된 실시예에서, 모바일 디바이스(1000b)는 복수의 UI 객체(401, 402, 403) 각각의 위치를 선형적 변형 함수에 기초하여 변경할 수 있다. 선형적의 의미는, 두 가지 변수 간의 관계가 상수 a를 곱하거나 나누어도 동일하게 유지됨을 의미하는 것으로, 본 실시예에서는 복수의 UI 객체(401, 402, 403)의 위치 관계가 일정한 상관 관계(correlation)를 갖고 배열되는 것을 의미할 수 있다.
도 7b를 참조하면, 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)를 부분적으로 구부리는 왜곡 입력을 수신하고, 복수의 UI 객체(411, 412, 413)의 위치를 각각의 변형 함수에 따라 변경하여 표시할 수 있다. 일 실시예에서, 상기 왜곡 입력은 플렉서블 디스플레이(1140)를 부분적으로 구부리거나 휘는 벤딩 입력일 수 있다. 모바일 디바이스(1000b)는 디스플레이 변형 인식 센서(1410, 도 16 참조)를 통해, 벤딩 각도가 기 설정된 임계 각도 미만인 영역을 결정하고, 결정된 영역에 복수의 UI 객체(411, 412, 413)를 표시할 수 있다. 도 7b에 도시된 실시예에서, 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)의 표시 영역 중 벤딩 각도가 임계 각도 미만인 영역인 제4 영역(1144), 제5 영역(1145) 및 제6 영역(1146)을 결정하고, 제1 UI 객체(411)를 제4 영역(1144)으로, 제2 UI 객체(412)를 제5 영역(1145)으로, 제3 UI 객체(413)을 제6 영역(1146)으로 이동시켜 표시할 수 있다.
일 실시예에서, 모바일 디바이스(1000b)는 복수의 UI 객체(411, 412, 413)에 대하여 기 저장된 변형 함수에 따라 복수의 UI 객체(411, 412, 413) 각각의 개별적인 위치 및 배치를 포함하는 표시 상태를 변경할 수 있다. 일 실시예에서, 상기 변형 함수는 비선형적일 수 있다. 비선형적의 의미는 상기 복수의 UI 객체(411, 412, 413)의 형태 및 배치가 일정한 상관 관계(correlation) 없이 상호 독립적으로 변경될 수 있음을 의미할 수 있다. 예컨대, 제1 UI 객체(411)는, 제1 애플리케이션 아이콘(411)에 설정되고 저장된 변형 함수에 따라 제4 영역(1144)로 이동되어 표시될 수 있다. 다른 실시예에서, 제1 UI 객체는, 애플리케이션 실행 화면 내의 가상의 메뉴 버튼(411)일 수 있고, 모바일 디바이스(1000b)는 상기 가상의 메뉴 버튼(411)에 설정된 변형 함수에 기초하여, 상기 가상의 메뉴 버튼(411)의 제4 영역(1144)에 이동시켜 표시할 수 있다.
도 7c를 참조하면, 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)를 부분적으로 구부리는 왜곡 입력을 수신하고, 복수의 UI 객체(421, 422)의 크기 및 형태를 개별적으로 변경하여 표시할 수 있다. 모바일 디바이스(1000b)는 디스플레이 변형 인식 센서(1410, 도 16 참조)를 통해, 벤딩 각도가 기 설정된 임계 각도 미만인 영역을 결정하고, 결정된 영역에 복수의 UI 객체(421, 422)를 표시할 수 있다.
일 실시예에서, 모바일 디바이스(1000b)는 복수의 UI 객체(421, 422) 각각에 대하여 기 저장된 변형 함수에 따라 상기 복수의 UI 객체(421, 422)의 위치 및 크기를 변경할 수 있다. 예컨대, 복수의 제1 애플리케이션 아이콘(421)은 복수의 제2 애플리케이션 아이콘(422) 보다 위쪽에 표시될 수 있다. 또한, 복수의 제1 애플리케이션 아이콘(421)의 크기는 복수의 제2 애플리케이션 아이콘(422) 크기 보다 크게 표시될 수 있다. 일 실시예에서, 모바일 디바이스(1000b)는 복수의 제1 애플리케이션 아이콘(421) 및 복수의 제2 애플리케이션 아이콘(422)을, 상호간 관련성이 없이 독립적으로 위치, 크기 및 형태를 변경하는 비선형적 변형 함수에 기초하여 표시 상태를 변경할 수 있다.
도 8은 본 개시의 일 실시예에 따른, 모바일 디바이스(1000b)가 플렉서블 디스플레이(1140)를 서로 다른 벤딩 각도로 구부리는 사용자 입력을 수신함에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
단계 S810에서, 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)의 제1 영역에 복수의 UI 객체를 표시한다. 일 실시예에서, 제1 영역은 플렉서블 디스플레이(1140)의 표시 영역과 동일한 영역을 의미할 수 있으나, 이에 한정되는 것은 아니다.
단계 S820에서 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)를 구부려서 제1 영역의 형태를 변경하는 벤딩 입력을 수신한다. 일 실시예에서, 상기 벤딩 입력은 플렉서블 디스플레이(1140)의 전체 영역 또는 일부 영역을 구부리거나 휘는 입력일 수 있다.
단계 S830에서, 모바일 디바이스(1000b)는 제1 영역 내의 구부려진 벤딩 각도가 임계치 미만인 영역에 복수의 UI 객체를 이동시켜 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000b)는 디스플레이 변형 인식 센서(1410, 도 16 참조)를 포함할 수 있고, 디스플레이 변형 인식 센서(1410)는, 플렉서블 디스플레이(1140)의 구부러진 부분에 위치하여 구부러진 위치의 좌표 값을 획득하고, 구부러진 정도, 즉 벤딩 각도를 감지할 수 있다. 일 실시예에서, 상기 벤딩 각도는 플렉서블 디스플레이(1140)의 일 부분의 인접하는 두 지점이 이루는 각도 또는 휘거나 구부러진 부분에 대한 곡률 값을 의미할 수 있다. 모바일 디바이스(1000b)는 플렉서블 디스플레이(1140)의 제1 영역 내에서 벤딩 각도가 임계치 미만인 영역에 복수의 UI 객체를 이동시켜 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000b)는 기 저장된 복수의 UI 객체 각각에 대한 위치를 개별적으로 변경할 수 있다.
단계 S840에서, 모바일 디바이스(1000b)는 복수의 UI 객체의 크기, 형태 및 나열 방향을 개별적으로 변경한다. 일 실시예에서, 모바일 디바이스(1000b)는 기 저장된 복수의 UI 객체 각각에 대한 변형 함수에 기초하여, 상기 복수의 UI 객체의 크기, 형태 및 위치를 선형적 또는 비선형적으로 변경할 수 있다. 복수의 UI 객체를 선형적, 비선형적 방법을 통해 위치를 이동시키거나, 크기를 조절하는 방법은 도 7a 내지 도 7c에서 설명하였는바, 중복되는 설명은 생략한다.
도 9a 내지 도 9c는 본 개시의 일 실시예에 따른, 디스플레이(1100)를 바라보는 사용자의 시선의 이동 방향에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000c)를 설명하기 위한 도면들이다.
도 9a를 참조하면, 모바일 디바이스(1000c)는 사용자의 눈(10)을 인식하고, 눈(10)으로부터 사용자의 시선(20)을 인식하며, 사용자의 시선(20) 방향에 기초하여 제1 영역(1100-1)에 복수의 UI 객체(501, 511)를 표시할 수 있다. 도 9a에 도시된 실시예에서 사용자의 시선은 디스플레이(1100)의 제1 영역(1100-1)의 상단부부터 하단부까지 전체적으로 응시하고 있고, 복수의 UI 객체(501, 511)가 표시되는 제1 영역(1100-1)은 디스플레이(1100) 전체의 표시 영역과 실질적으로 동일할 수 있다.
도 9b를 참조하면, 모바일 디바이스(1000c)는 사용자의 시선(21)의 이동 방향을 인식하고, 복수의 UI 객체(502, 512)를 사용자의 시선(21)의 이동 방향에 대응되는 방향으로 이동시켜 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000c)는 사용자의 시선(21)이 제1 방향(520)으로 이동하는 것을 인식할 수 있다. 모바일 디바이스(1000c)는 사용자의 시선(21)이 이동하는 방향에 따라 제1 영역(1100-1)를 제1 방향(520)으로 이동시키고, 크기를 축소할 수 있다. 제1 방향(520)은 Y축 방향으로 제1 영역(1100-1)의 상단부에서 하단부로 향하는 방향일 수 있다.
일 실시예에서, 디스플레이(1100)의 표시 영역은 상기 사용자의 시선(21)의 이동 방향에 기초하여 제1 방향(520)으로 이동된 제1 영역(1100-1) 및 디스플레이(1100)의 상단부에 형성된 제2 영역(1100-2)으로 분할될 수 있다. 제1 영역(1100-1)에는 복수의 UI 객체(502, 512)가 표시되고, 제2 영역(1100-2)에는 표시되지 않을 수 있다. 일 실시예에서, 모바일 디바이스(1000)는 제1 영역(1100-1)에 표시되는 복수의 UI 객체(502, 512)의 크기를 도 9a에서 도시된 복수의 UI 객체(501, 511)의 크기보다 작게 조절하여 표시할 수 있다.
도 9c를 참조하면, 모바일 디바이스(1000c)는 사용자의 시선(22)의 이동 방향에 따라 제1 영역(1100-1)에 표시되는 복수의 UI 객체(503)의 크기 및 위치를 변경할 수 있다. 일 실시예에서, 모바일 디바이스(1000c)는 사용자의 시선(22)의 이동 방향에 따라 제1 영역(1100-1)을 제1 방향(520)을 따라 이동시키면서 크기를 축소하고, 제1 영역(1100-1)에 표시되는 복수의 UI 객체(503)의 크기를 축소할 수 있다. 일 실시예에서, 복수의 UI 객체(503)는 모바일 디바이스(1000c)에서 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘(503)을 포함할 수 있고, 모바일 디바이스(1000c)는 복수의 애플리케이션 아이콘(503)의 크기를 축소하여 제1 영역(1100-1)에 표시할 수 있다.
일 실시예에서, 모바일 디바이스(1000c)는 제1 영역(1100-1)의 크기가 기 설정된 임계값 보다 작다고 결정하는 경우, 복수의 UI 객체 중 복수의 애플리케이션의 아이콘(503)만을 표시할 수 있다. 즉, 모바일 디바이스(1000c)는 도 9a 및 도 9b에서 제1 영역(1100-1)에 표시되었던 복수의 텍스트(511, 512)를 표시하지 않을 수 있다. 일 실시예에서, 모바일 디바이스(1000c)는 제1 영역(1100-1)의 크기가 기 설정된 임계값 보다 작다고 결정하는 경우, 복수의 애플리케이션 아이콘(503)의 나열 방향을 제1 방향(520)에 수직하는 제2 방향(X 방향)으로 변경하여 나열할 수 있다.
도 10은 본 개시의 일 실시예에 따른, 모바일 디바이스(1000c)가 디스플레이(1100)를 바라보는 사용자의 시선의 이동 방향에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
단계 S1010에서, 모바일 디바이스(1000c)는 디스플레이(1100)의 제1 영역 상에 복수의 UI 객체를 표시한다. 일 실시예에서, 복수의 UI 객체는 모바일 디바이스(1000c)가 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘 및 상기 애플리케이션에 대한 정보를 나타내는 복수의 텍스트를 포함할 수 있다. 상기 복수의 애플리케이션 아이콘 및 상기 복수의 텍스트는 제1 방향으로 나열될 수 있다.
단계 S1020에서, 모바일 디바이스(1000c)는 디스플레이(1100)를 바라보는 사용자의 시선의 이동 방향을 인식한다. 일 실시예에서, 모바일 디바이스(1000c)는 사용자의 눈을 인식하고, 디스플레이(1100)를 바라보는 사용자의 시선의 이동 방향을 인식할 수 있다.
단계 S1030에서, 모바일 디바이스(1000c)는 사용자의 시선의 이동 방향에 따라 제1 영역의 형태를 변경한다. 일 실시예에서, 모바일 디바이스(1000c)는 사용자의 시선 이동 방향에 대응되도록 제1 영역의 위치를 이동하고, 제1 영역의 크기를 축소할 수 있다. 단계 S1030에서, 모바일 디바이스(1000c)는 제1 영역의 크기가 기 설정된 임계값 미만인지 여부를 결정할 수 있다.
단계 S1040에서, 모바일 디바이스(1000c)는 사용자의 시선의 이동 방향에 기초하여 복수의 UI 객체의 위치 및 크기를 조절한다. 일 실시예에서, 사용자의 시선이 제1 방향을 따라 이동하는 경우, 모바일 디바이스(1000c)는 제1 영역의 위치를 제1 방향을 따라 이동시키고, 제1 영역의 크기를 축소하며, 제1 영역에 표시되는 복수의 UI 객체의 크기를 축소할 수 있다. 모바일 디바이스(1000c)가 제1 영역의 크기가 기 설정된 임계값 미만이라고 결정하는 경우, 복수의 UI 객체에 대응되는 복수의 애플리케이션 아이콘을 표시하고, 복수의 애플리케이션에 대한 텍스트는 표시하지 않을 수 있다. 일 실시예에서, 모바일 디바이스(1000c)가 제1 영역의 크기가 기 설정된 임계값 미만이라고 결정하는 경우, 상기 복수의 애플리케이션 아이콘의 나열 방향을 제1 방향과 수직하는 제2 방향으로 변경하여 표시할 수 있다.
도 11a 내지 도 11c는 본 개시의 일 실시예에 따른, 디스플레이(1100)와 사용자의 눈(10) 사이의 거리에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000d)를 설명하기 위한 도면들이다.
도 11a를 참조하면, 모바일 디바이스(1000d)는 디스플레이(1100) 상에 복수의 UI 객체(601, 611)를 표시하고, 사용자의 눈(10)은 디스플레이(1100)와 기준 거리(d0) 만큼 이격되어 있다. 일 실시예에서, 기준 거리(d0)는 모바일 디바이스(1000d)에서 측정한 디스플레이(1100)와 사용자의 눈(10) 사이의 이격된 거리일 수 있다. 다만, 이에 한정되는 것은 아니고, 기준 거리(d0)는 기 설정된 거리값이거나 사용자에 의해 설정된 거리값일 수 있다. 일 실시예에서, 모바일 디바이스(1000d)는 사용자의 눈(10)을 인식하고, 디스플레이(1100)와 사용자의 눈(10) 사이의 이격된 거리를 인식할 수 있다. 복수의 UI 객체(601, 611)는 모바일 디바이스(1000d)가 제공하는 기능을 수행하는 복수의 애플리케이션의 아이콘(601) 및 복수의 애플리케이션에 대한 정보를 나타내는 텍스트(611)를 포함할 수 있다.
도 11b 및 도 11c를 참조하면, 모바일 디바이스(1000d)는 디스플레이(1100)와 사용자의 눈(10)과의 이격된 거리(d1, d2)의 변화에 따라 복수의 UI 객체(602, 603, 612, 613)의 표시 상태를 조절할 수 있다. 도 11b에서, 모바일 디바이스(1000d)는 디스플레이(1100)와 사용자의 눈(10) 사이의 거리(d1)가 기준 거리(d0) 보다 작아진 것을 인식하고, 복수의 UI 객체(602, 612)의 크기를 작게 변경할 수 있다. 도 11c에서, 모바일 디바이스(1000d)는 디스플레이(1100)와 사용자의 눈(10) 사이의 거리(d2)가 기준 거리(d0) 보다 큰 것을 인식하고, 복수의 UI 객체(603, 613)의 크기를 크게 변경할 수 있다.
도 12는 본 개시의 일 실시예에 따른, 모바일 디바이스(1000d)가 디스플레이와 사용자의 눈 사이의 거리에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
단계 S1210에서, 모바일 디바이스(1000d)는 디스플레이 상에 복수의 UI 객체를 표시한다. 일 실시예에서, 복수의 UI 객체는 모바일 디바이스(1000d)가 제공하는 기능을 수행하는 복수의 애플리케이션 아이콘 및 상기 애플리케이션에 대한 정보를 나타내는 복수의 텍스트를 포함할 수 있다.
단계 S1220에서, 모바일 디바이스(1000d)는 디스플레이를 바라보는 사용자의 눈을 인식한다. 일 실시예에서, 모바일 디바이스(1000d)는 시선 인식 센서(1420, 도 16 참조)를 포함할 수 있고, 상기 시선 인식 센서(1420)를 통해 디스플레이를 바라보는 사용자의 눈을 인식할 수 있다.
단계 S1230에서, 모바일 디바이스(1000d)는 디스플레이로부터 사용자의 눈 까지의 거리를 결정한다. 일 실시예에서, 모바일 디바이스(1000d)는 시선 인식 센서(1420) 및 근접 센서(1440, 도 16 참조)를 포함할 수 있고, 상기 시선 인식 센서(1420) 및 근접 센서(1440)를 사용하여 디스플레이와 사용자의 눈 사이의 거리 변화를 측정할 수 있다.
단계 S1240에서, 모바일 디바이스(1000d)는 결정된 거리에 따라 복수의 UI 객체의 크기를 변경한다. 일 실시예에서, 모바일 디바이스(1000d)는 시선 인식 센서(1420)를 사용하여 측정하거나 사용자가 설정한 기준 거리와 현재 측정된 디스플레이와 사용자의 눈 사이의 거리를 비교하여 복수의 UI 객체의 크기를 조절할 수 있다. 예컨대, 모바일 디바이스(1000d)는 디스플레이와 사용자의 눈 사이의 거리가 기준 거리 보다 큰 경우, 복수의 UI 객체의 크기를 축소하고, 디스플레이와 사용자의 눈 사이의 거리가 기준 거리 보다 작은 경우, 복수의 UI 객체의 크기를 확대할 수 있다.
도 13a 및 도 13b은 본 개시의 일 실시예에 따른, 디스플레이(1100) 상에서 반사되는 빛의 강도에 따라 UI를 조절하여 제공하는 모바일 디바이스(1000e)를 설명하기 위한 도면들이다.
도 13a를 참조하면, 모바일 디바이스(1000e)는 디스플레이(1100) 상에 복수의 UI 객체(701, 702, 703)을 표시할 수 있다. 일 실시예에서, 모바일 디바이스(1000e)는 외부의 광원(L)에서 발생되어 디스플레이(1100) 상에 도달하고, 사용자의 눈(10) 방향으로 반사되는 빛의 강도(light intensity)를 측정할 수 있다. 모바일 디바이스(1000e)는 디스플레이(1100)의 표시 영역 내에서 측정된 빛의 강도가 임계 강도를 초과하는 빛 반사 영역(720)을 결정할 수 있다. 도 13a에 도시된 실시예에서, 빛 반사 영역(720)에는 제1 UI 객체(701) 및 제2 UI 객체(702)가 중첩되어 표시될 수 있다. 상기 빛 반사 영역(720)에서는 광원(L)으로부터 발생된 빛이 디스플레이(1100)를 통해 사용자의 눈(10)에 반사되는바, 빛 반사 영역(720)에 중첩되어 표시되는 제1 UI 객체(701) 및 제2 UI 객체(702)는 시인성이 떨어질 수 있다.
도 13b를 참조하면, 모바일 디바이스(1000e)는 복수의 UI 객체(701, 702, 703)의 위치를 빛 반사 영역(720)과 중첩되지 않는 영역으로 이동시켜 표시할 수 있다. 제1 UI 객체(701) 및 제2 UI 객체(702)는, 디스플레이(1100)의 표시 영역 내에서의 빛 반사 영역(720)을 제외한 영역으로 이동될 수 있고, 도 13b에 도시된 영역으로 이동하는 것으로 한정되는 것은 아니다. 제3 UI 객체(703)는 제1 UI 객체(701) 및 제2 UI 객체(702)가 이동함에 따라 디스플레이(1100)의 표시 영역 내에서 빛 반사 영역(720)을 제외한 다른 영역으로 이동될 수 있다. 모바일 디바이스(1000e)는 제1 UI 객체(701), 제2 UI 객체(702) 및 제3 UI 객체(703)를 포함한 복수의 UI 객체의 위치를 선형적, 비선형적 또는 이들의 조합 중 어느 하나의 방법으로 디스플레이(1100)의 표시 영역 내에서 빛 반사 영역(720)을 제외한 영역으로 이동시켜 표시할 수 있다.
일 실시예에서, 모바일 디바이스(1000e)는 복수의 UI 객체 중 빛 반사 영역(720)에 중첩되어 표시되는 제1 UI 객체(701) 및 제2 UI 객체(702)의 감마값을 보정(Gamma correction)하여 시인성을 향상시킬 수 있다.
도 14는 본 개시의 일 실시예에 따른, 모바일 디바이스(1000e)가 디스플레이에서 반사되는 빛의 강도에 따라 UI를 조절하여 제공하는 방법에 관한 흐름도이다.
단계 S1410에서, 모바일 디바이스(1000e)는 디스플레이의 표시 영역 상에 복수의 UI 객체를 표시한다.
단계 S1420에서, 모바일 디바이스(1000e)는 외부 광원에서 발광되어 디스플레이에 도달하고, 디스플레이 상에서 반사되는 빛의 강도를 측정한다. 일 실시예에서, 모바일 디바이스(1000e)는 광 센서(1430, 도 16 참조)을 포함할 수 있고, 광 센서(1430)를 사용하여 디스플레이 상의 각 영역에서의 빛의 강도를 측정할 수 있다.
단계 S1430에서, 모바일 디바이스(1000e)는 측정된 빛의 강도가 임계 강도를 초과하는 빛 반사 영역을 결정한다. 일 실시예에서, 임계 강도는 기 설정된 값일 수 있다.
단계 S1440에서, 모바일 디바이스(1000e)는 복수의 UI 객체 중 빛 반사 영역에 중첩되어 표시되는 복수의 UI 객체의 위치를 상기 빛 반사 영역을 제외한 영역으로 이동시켜 표시한다. 일 실시예에서, 모바일 디바이스(1000e)는 복수의 UI 객체의 위치를 선형적, 비선형적 또는 이들의 조합 중 어느 하나의 방법으로 이동시킬 수 있다.
도 15 및 도 16은 본 개시의 일 실시예에 따른, 모바일 디바이스(1000)의 구성 요소를 설명하기 위한 블록도이다.
도 15를 참조하면, 일 실시예에서, 모바일 디바이스(1000)는 디스플레이부(1100), 사용자 입력부(1200) 및 제어부(1300)를 포함할 수 있다. 다만, 모바일 디바이스(1000)가 도시된 구성 요소만을 포함하는 것은 아니고, 도시된 구성 요소 보다 많은 구성 요소에 의해 모바일 디바이스(1000)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 모바일 디바이스(1000)는 구현될 수 있다. 도 15 및 도 16은 모바일 디바이스(1000)로 도시되어 있으나, 상기 모바일 디바이스(1000)는 실시예에 따라 도 5a 내지 도 5c, 도 7a 내지 도 7c, 도 9a 내지 도 9c, 도 11a 내지 도 11c, 도 13a 내지 도 13c에 각각 도시된 모바일 디바이스(1000a 내지 1000e)를 포함할 수 있다.
일 실시예에서, 모바일 디바이스(1000)는 디스플레이부(1100), 사용자 입력부(1200), 제어부(1300), 센서부(1400), 통신부(1500), A/V 입력부(1600), 메모리(1700)를 포함할 수도 있다. 이하에서는, 모바일 디바이스(1000)의 상기 구성 요소들 각각에 대하여 상세하게 설명한다.
디스플레이부(1100)는 모바일 디바이스(1000)에서 처리되는 정보를 표시 출력할 수 있다. 예컨대, 디스플레이부(1100)는, 잠금 화면, 또는 배경 이미지 상에 복수의 UI 객체를 표시할 수 있다. 복수의 UI 객체는, 모바일 디바이스(1000)에서 설치되고, 모바일 디바이스(1000)가 제공하는 기능을 수행하는 애플리케이션의 아이콘, 애플리케이션 텍스트, 가상의 버튼, 배경 이미지 및 콘텐츠(contens) 중 적어도 하나를 포함할 수 있다. 상기 복수의 UI 객체는 그래픽 UI(Graphic User Interface, GUI)로 구현될 수 있다.
디스플레이부(1100)는 터치 입력에 따라 터치 입력이 수신된 영역으로부터 소정 거리 내에 복수의 UI 객체를 표시할 수 있다. 디스플레이부(1100)는, 사용자 입력부(1200)에서 상기 디스플레이부(1100)의 제1 영역을 터치하는 사용자 입력을 수신하는 경우, 상기 수신된 사용자 입력에 따라 위치 및 크기가 변경된 복수의 UI 객체를 표시할 수 있다.
디스플레이부(1100)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 일 실시예에서, 디스플레이부(1100)와 터치 패드가 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(1100)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
일 실시예에서, 디스플레이부(1100)는 플렉서블 디스플레이(1120, 1140)를 포함할 수 있다. 플렉서블 디스플레이(1120, 1140)는 액정 디스플레이(LCD) 및 유기 발광 다이오드(OLED)에서 액정을 싸고 있는 유리기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여한 것이다. 플렉서블 디스플레이(1120, 1140)는, 사용자 입력부(1200)에서, 상기 플렉서블 디스플레이부(1120, 1140)를 구부리는 사용자의 벤딩 입력을 수신하는 경우, 구부려지며 제1 영역 및 제2 영역으로 분할될 수 있다. 일 실시예에서, 제1 영역은 플렉서블 디스플레이(1120, 1140)가 기 설정된 벤딩 각도 미만으로 구부려진 영역을 의미하고, 복수의 UI 객체가 표시되는 영역일 수 있다. 제2 영역은 플렉서블 디스플레이(1120, 1140)가 기 설정된 벤딩 각도 이상으로 구부려지고, 복수의 UI 객체가 표시되지 않는 영역일 수 있다.
사용자 입력부(1200)는, 사용자가 모바일 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예컨대, 사용자 입력부(1200)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 중 적어도 하나를 포함할 수 있다. 다만, 사용자 입력부(1200)가 상기 나열된 예로 한정되는 것은 아니다.
일 실시예에서, 사용자 입력부(1200)는 터치 패드로 구성될 수 있고, 디스플레이부(1100)와 터치 패드가 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우, 사용자 입력부(1200)는 디스플레이부(1100)를 터치하거나 스와이프(swipe)하는 사용자의 터치 입력을 수신할 수 있다. 일 실시예에서, 상기 터치 입력은 디스플레이부(1100)의 제1 영역의 상단을 터치하거나, 제1 영역의 상단부를 제1 방향으로 스와이프 하는 입력을 포함할 수 있다.
디스플레이부(1100)가 플렉서블 디스플레이(1120, 1140)로 구성되는 실시예에서, 사용자 입력부(1200)는 플렉서블 디스플레이(1120, 1140)를 구부리는 사용자의 벤딩 입력을 수신할 수 있다. 다른 실시예에서, 사용자 입력부(1200)는 플렉서블 디스플레이(1120, 1140)의 전체 영역을 구부리거나 휘는 전역적 왜곡 입력(global distortion input) 또는 상기 플렉서블 디스플레이(1120, 1140)의 일부 영역을 구부리거나 휘는 부분적 왜곡 입력(local distortion input)을 수신할 수 있다.
제어부(1300)는, 통상적으로 모바일 디바이스(1000)의 전반적인 동작을 제어한다. 예컨대, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 디스플레이부(1100), 사용자 입력부(1200), 센서부(1400), 통신부(1500), A/V 입력부(1600), 메모리(1700) 등을 전반적으로 제어할 수 있다.
제어부(1300)는, 디스플레이부(1100)에 표시되는 복수의 UI 객체의 표시 상태를 조절할 수 있다. 일 실시예에서, 제어부(1300)는, 사용자 입력부(1200)가 디스플레이(1100)의 제1 영역의 형태를 변경하는 사용자 입력을 수신함에 따라 복수의 UI 객체의 위치, 형태, 명암, 투명도 및 나열 방향 중 적어도 하나를 조절할 수 있다.
제어부(1300)는, 사용자 입력부(1200)가 디스플레이(1100)의 제1 영역의 위치를 제1 방향으로 이동하고, 제1 영역의 크기를 변경하는 사용자의 터치 입력을 수신하는 경우, 제1 영역에 표시되는 복수의 UI 객체의 위치를 상기 터치 입력에 상응하는 제1 방향으로 이동시키고, 복수의 UI 객체의 크기를 축소시킬 수 있다.
제어부(1300)는, 사용자 입력부(1200)가 플렉서블 디스플레이(1120, 1140)를 구부리는 벤딩 입력을 수신하는 경우, 플렉서블 디스플레이(1120, 1140)가 구부려진 벤딩 각도가 기 설정된 임계치 미만인 영역에 복수의 UI 객체를 표시할 수 있다. 제어부(1300)는 플렉서블 디스플레이(1120, 1140)가 구부려지는 경우 복수의 UI 객체가 사용자의 눈에 구부려지거나 왜곡된 것처럼 표시되지 않게 하는 왜곡 상쇄 보정을 수행할 수 있다. 일 실시예에서, 제어부(1300)는 메모리(1700)에 저장되는 복수의 UI 객체 각각에 대한 변형 함수(transfer function)를 통해 상기 상쇄 보정을 수행할 수 있다. 상기 변형 함수는 UI 구성 메뉴 및 API(Application Programming Interface)를 포함할 수 있다.
제어부(1300)는 복수의 UI 객체 각각에 대한 변형 함수를 통해 복수의 UI 객체를 선형적, 비선형적 및 이들의 조합 중 적어도 하나의 방법으로 복수의 UI 객체의 표시 상태를 조절할 수 있다. 일 실시예에서, 선형적 변형 함수의 의미는 복수의 UI 객체 각각의 위치, 형태, 명암, 투명도 및 나열 방법 중 적어도 하나의 관계가 일정한 상관 관계(correlation)를 갖는 것을 의미할 수 있고, 비선형적 변형 함수의 의미는 상기 복수의 UI 객체의 표시 상태가 일정한 상관 관계 없이 상호 독립적으로 조절되는 것을 의미할 수 있다.
제어부(1300)는, 센서부(1400)에서 사용자의 시선의 이동 방향을 인식하면, 복수의 UI 객체의 표시 상태를 상기 사용자의 시선의 이동 방향에 상응하게 조절할 수 있다. 일 실시예에서, 시선 인식 센서(1420)이 사용자가 디스플레이부(1100)를 바라보는 시선의 이동 방향을 인식하는 경우, 제어부(1300)는 상기 사용자의 시선의 이동 방향에 상응하도록 복수의 UI 객체의 위치를 이동시키거나, 복수의 UI 객체의 나열 방향을 변경할 수 있다.
제어부(1300)는, 센서부(1400)에서 사용자의 눈을 인식하고, 사용자의 눈과 디스플레이부(1100) 사이의 거리를 인식하면, 인식된 거리에 따라 복수의 UI의 표시 상태를 조절할 수 있다. 일 실시예에서, 근접 센서(1440)에서 사용자의 눈과 디스플레이부(1100) 사이의 거리를 인식하면, 제어부(1300)는 사용자의 눈과 디스플레이부(1100) 사이의 거리가 메모리(1700)에 기 저장된 기준 거리 미만인 경우, 복수의 UI 객체의 크기를 축소하고, 사용자의 눈과 디스플레이부(1100) 사이의 거리가 기준 거리 이상인 경우, 복수의 UI 객체의 크기를 확대할 수 있다.
제어부(1300)는, 센서부(1400)에서 디스플레이부(1100)에 도달하는 빛의 강도(light intensity)를 인식하면, 복수의 UI 객체의 위치를 상기 디스플레이부(1100)의 표시 영역 내에서 빛의 강도가 기 설정된 임계 강도 미만인 영역으로 이동시켜 표시할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 UI 객체 중 디스플레이부(1100)의 표시 영역 내 빛의 강도가 기 설정된 임계 강도 이상인 영역에 중첩되는 복수의 UI 객체의 위치를, 상기 영역을 제외한 영역으로 이동시켜 표시할 수 있다. 다른 실시예에서, 제어부(1300)는 복수의 UI 객체 중 디스플레이부(1100)의 표시 영역 내 빛의 강도가 기 설정된 임계 강도 이상인 영역에 중첩되는 복수의 UI 객체의 감마값을 보정할 수 있다.
제어부(1300)는, 센서부(1400)가 모바일 디바이스(1000)를 사용하는 사용자의 안면을 인식하는 경우, 상기 인식된 사용자의 안면이 기 등록된 안면과 상응하는 경우 복수의 UI 객체의 표시 상태를 조절할 수 있다. 일 실시예에서, 제어부(1300)는 안면 인식 센서(1450)에서 인식한 안면이 메모리(1700)에 기 저장된 사용자의 안면과 동일한 경우에만 복수의 UI 객체의 위치, 형태, 명암, 투명도, 나열 위치 및 나열 방향 중 적어도 하나를 변경할 수 있다. 제어부(1300)는, 기 저장된 사용자가 색맹 또는 색약 등 시각 장애를 가지고 있는 사용자이고, 안면 인식 센서(1450)가 상기 사용자의 안면을 인식하는 경우, 복수의 UI 객체의 색상을 흑백으로 변경하거나, 대조도 보정을 수행하는 등 복수의 UI 객체의 표시 상태를 보정할 수 있다.
제어부(1300)는, 사용자 입력부(1200)에서 수신한 사용자의 터치 입력에 기초하여 복수의 UI 객체의 위치, 형태, 명암, 투명도, 나열 위치 및 나열 방향 중 적어도 하나를 변경할 수 있다.
센서부(1400)는, 모바일 디바이스(1000)의 상태 또는 모바일 디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 제공할 수 있다. 일 실시예에서, 센서부(1400)는 디스플레이 변형 인식 센서(1410), 시선 인식 센서(1420), 광 센서(1430), 근접 센서(1440), 안면 인식 센서(1450), 지자기 센서(1460), 가속도 센서(1470), 지문 센서(1480) 및 자이로스코프 센서(1490)를 포함할 수 있다.
디스플레이 변형 인식 센서(1410)는, 플렉서블 디스플레이(1120, 1140)의 구부러진 영역의 위치, 방향, 구부림 정도 및 휘어진 정도 중 적어도 하나를 감지하여, 벤딩 형태 및 벤딩 각도를 인식할 수 있다. 디스플레이 변형 인식 센서(1410)는 플렉서블 디스플레이(1120, 1140)이 구부러진 부분에 위치하고, 센싱한 값에 기초하여 구부림 정도를 감지할 수 있다. 일 실시예에서, 디스플레이 변형 인식 센서(1410)는 플렉서블 디스플레이(1120, 1140)의 전역적 변형(global distortion) 및/또는 부분적 변형(local distortion)을 인식할 수 있다. 일 실시예에서, 디스플레이 변형 인식 센서(1410)는 플렉서블 디스플레이(1120, 1140)의 벤딩 각도를 인식할 수 있다. 일 실시예에서, 디스플레이 변형 인식 센서(1410)는 상기 벤딩 각도를 기 설정된 임계 각도와 비교하고, 비교한 결과를 제어부(1300)로 제공할 수 있다.
시선 인식 센서(1420)는, 디스플레이부(1100)를 바라보는 사용자의 시선의 이동 방향을 인식하고, 상기 시선의 이동 방향에 대한 정보를 제어부(1300)에 제공할 수 있다.
광 센서(1430)는, 외부 광원에서 발생되고 디스플레이부(1100)에 도달하여, 디스플레이부(1100)에서 반사되는 빛의 강도를 측정하고, 상기 측정된 빛의 강도에 대한 정보를 제어부(1300)에 제공할 수 있다. 일 실시예에서, 광 센서(1430)는 측정한 빛의 강도가 임계 강도를 초과하는 빛 반사 영역을 설정하고, 상기 빛 반사 영역의 위치 및 크기에 관한 정보를 제어부(1300)에 제공할 수 있다.
근접 센서(1440)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 의미할 수 있다. 일 실시예에서, 근접 센서(1440)는 디스플레이부(1100)를 바라보는 사용자의 눈을 인식하고, 디스플레이부(1100)와 사용자의 눈 사이의 거리의 변화를 인식할 수 있다. 일 실시예에서, 근접 센서(1440)는 디스플레이부(1100)와 사용자의 눈 사이의 거리의 변화에 대한 정보를 제어부(1300)에 제공할 수 있다.
안면 인식 센서(1450)는 카메라(1610)의 시점(Field of view, FOV) 내에 포함되는 복수의 사용자의 안면을 촬영하고, 촬영된 복수의 사용자의 안면의 이미지를 메모리(1700)에 기 저장된 사용자의 안면과 비교하여, 기 저장된 사용자의 안면만을 인식할 수 있다. 안면 인식 센서(1450)는 공지된 이미지 인식 기술 또는 이미지 센싱 기술을 사용할 수 있다.
이 외에 센서부(1400)는, 지자기 센서(Magnetic sensor, 1460), 가속도 센서(Acceleration sensor, 1470), 지문 센서(1480) 및 자이로스코프 센서(Gyroscope sensor, 1490)를 더 포함할 수 있다. 상기 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 모바일 디바이스(1000)와 외부 디바이스 또는 모바일 디바이스(1000)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예컨대, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520) 및 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 실시예에 따라 모바일 디바이스(1000)가 방송 수신부(153)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, A/V 입력부(1600)는 카메라(1610) 및 마이크로폰(1620)을 포함할 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예컨대, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 제1 영역의 임계 크기, 플렉서블 디스플레이(1120, 1140)이 구부려지는 벤딩 각도의 임계 각도, 디스플레이부(1100)의 빛의 강도의 임계값)을 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 모바일 디바이스(1000)는 인터넷(internet)상에서 메모리(1700)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
1000: 모바일 디바이스, 1000a 내지 1000e: 모바일 디바이스, 1100: 디스플레이, 1120: 플렉서블 디스플레이, 1140: 플렉서블 디스플레이, 1200: 사용자 입력부, 1300: 제어부, 1400: 센서부, 1410: 디스플레이 변형 인식 센서, 1420: 시선 인식 센서, 1430: 광 센서, 1440: 근접 센서, 1450: 안면 인식 센서, 1460: 지자기 센서, 1470: 가속도 센서, 1480: 지문 센서, 1490: 자이로스코프 센서, 1500: 통신부, 1510: 근거리 통신부, 1520: 이동 통신부, 1530: 방송 수신부, 1600: 입력부, 1610: 카메라, 1620: 마이크로폰, 1700: 메모리

Claims (23)

  1. 모바일 디바이스가 사용자 인터페이스(UI)를 제공하는 방법에 있어서,
    상기 모바일 디바이스에 포함된 디스플레이의 제1 영역에 복수의 UI 객체를 표시하는 단계;
    상기 제1 영역의 형태를 변경하는 사용자 입력을 상기 디스플레이를 통해 수신하는 단계; 및
    상기 제 1 영역의 변경된 형태에 기초하여, 상기 복수의 UI 객체의 표시 상태를 조절하는 단계; 를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 복수의 UI 객체는 아이콘, 텍스트, 가상의 버튼 및 배경 화면 중 적어도 하나를 포함하는, 방법.
  3. 제1 항에 있어서,
    상기 사용자 입력을 수신하는 단계는, 상기 디스플레이 상에서 상기 제1 영역의 크기를 축소하는 터치 입력을 수신하는 단계를 포함하고,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 크기를 축소하는 단계를 포함하는, 방법.
  4. 제1 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역의 크기가 기설정된 제1 임계치 미만인 경우 상기 복수의 UI 객체에 각각 대응하는 아이콘을 상기 제1 영역에 표시하는 단계를 포함하는, 방법.
  5. 제4 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역의 크기가 기설정된 제2 임계치 미만인 경우 상기 복수의 UI 객체에 각각 대응되는 상기 아이콘이 나열되는 방향을 변경하는 단계를 포함하고,
    상기 제2 임계치는 상기 제1 임계치 보다 작은 값인, 방법.
  6. 제1 항에 있어서,
    상기 모바일 디바이스는, 플렉서블 디스플레이(flexible display)를 포함하고,
    상기 사용자 입력을 수신하는 단계는, 상기 플렉서블 디스플레이를 구부리는 벤딩 입력(bending input)을 수신하는 단계를 포함하는, 방법.
  7. 제6 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는,
    상기 벤딩 입력에 기초하여, 상기 제1 영역을 상기 플렉서블 디스플레이가 구부려진 벤딩 각도가 임계각 미만인 제2 영역 및 상기 벤딩 각도가 상기 임계각 이상인 제3 영역으로 분할하는 단계; 및
    상기 복수의 UI 객체를 상기 제2 영역으로 이동시켜 표시하는 단계; 를 포함하는, 방법.
  8. 제1 항에 있어서, 상기 방법은,
    상기 디스플레이를 바라보는 사용자의 시선의 이동 방향을 인식하는 단계;를 더 포함하고,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 위치를 상기 사용자의 시선이 이동 방향에 대응되는 방향으로 이동시키고, 상기 복수의 UI 객체의 크기를 축소하는 단계를 포함하는, 방법.
  9. 제1 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는,
    상기 디스플레이를 바라보는 사용자의 눈을 인식하는 단계;
    상기 디스플레이로부터 상기 사용자의 눈까지의 거리를 결정하는 단계; 및
    상기 결정된 거리에 따라 상기 복수의 UI 객체의 크기를 변경하는 단계;를 포함하는, 방법.
  10. 제1 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는,
    상기 디스플레이에 도달하여 상기 디스플레이 상에서 반사되는 빛의 강도(light intensity)를 측정하는 단계;
    상기 제1 영역 중 상기 측정된 빛의 강도가 임계 강도를 초과하는 제4 영역을 결정하는 단계; 및
    상기 복수의 UI 객체 중 상기 제4 영역에 표시되는 복수의 UI 객체의 위치를 상기 제1 영역 내의 상기 제4 영역을 제외한 영역으로 이동시켜 표시하는 단계; 를 포함하는, 방법.
  11. 제1 항에 있어서,
    상기 복수의 UI 객체의 표시 상태를 조절하는 단계는,
    사용자의 안면을 인식하는 단계; 및
    상기 인식된 사용자의 안면이 기 등록된 안면과 상응하는 경우 상기 제 1 영역의 변경된 형태에 따라 상기 복수의 UI의 표시 상태를 조절하는 단계; 를 포함하는, 방법.
  12. 사용자 인터페이스(UI)를 제공하는 모바일 디바이스에 있어서,
    제1 영역에 복수의 UI 객체를 표시하는 디스플레이부;
    상기 제1 영역의 형태를 변경하는 사용자 입력을 수신하는 사용자 입력부; 및
    상기 제 1 영역의 변경된 형태에 기초하여, 상기 복수의 UI 객체의 표시 상태를 조절하는 제어부; 를 포함하는, 모바일 디바이스.
  13. 제12 항에 있어서,
    상기 복수의 UI 객체는 아이콘, 텍스트, 가상의 버튼 및 배경 화면 중 적어도 하나를 포함하는, 모바일 디바이스.
  14. 제12 항에 있어서,
    상기 사용자 입력부는 상기 디스플레이부 상에서 상기 제1 영역의 크기를 축소하는 터치 입력을 수신하는 터치 입력부를 포함하고,
    상기 제어부는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 크기를 축소하는, 모바일 디바이스.
  15. 제12 항에 있어서,
    상기 제어부는, 상기 제1 영역의 크기가 기설정된 제1 임계치 이하인 경우 상기 복수의 UI 객체에 각각 대응하는 아이콘이 상기 제1 영역에 표시되도록 상기 아이콘의 크기 및 위치를 조절하는, 모바일 디바이스.
  16. 제15 항에 있어서,
    상기 제어부는, 상기 제1 영역의 크기가 기설정된 제2 임계치 이하인 경우 상기 복수의 UI 객체에 각각 대응되는 상기 아이콘이 나열되는 방향을 변경하고,
    상기 제2 임계치는 상기 제1 임계치 보다 작은 값인, 모바일 디바이스.
  17. 제12 항에 있어서,
    상기 디스플레이부는 플렉서블 디스플레이(flexible display)를 포함하고,
    상기 사용자 입력부는, 상기 플렉서블 디스플레이를 구부리는 벤딩 입력(bending input)을 수신하는, 모바일 디바이스.
  18. 제17 항에 있어서,
    상기 제어부는, 상기 벤딩 입력에 기초하여, 상기 제1 영역에 표시되는 상기 복수의 UI 객체의 위치를 상기 플렉서블 디스플레이가 구부려진 벤딩 각도가 임계값 미만인 제2 영역으로 이동시키는, 모바일 디바이스.
  19. 제12 항에 있어서,
    상기 모바일 디바이스는 상기 디스플레이부를 바라보는 사용자의 시선의 이동 방향을 인식하는 시선 인식 센서를 포함하고,
    상기 제어부는, 상기 제1 영역 상에 표시된 상기 복수의 UI 객체의 위치를 상기 사용자의 시선이 이동 방향에 대응되는 방향으로 이동시키고, 상기 복수의 UI 객체의 크기를 축소하는, 모바일 디바이스.
  20. 제12 항에 있어서,
    상기 모바일 디바이스는, 상기 디스플레이부와 사용자의 눈과의 거리를 인식하는 근접 센서를 포함하고,
    상기 제어부는, 상기 근접 센서에서 인식한 상기 디스플레이부와 상기 사용자의 눈 사이의 거리에 따라 상기 복수의 UI 객체의 크기를 변경하는, 모바일 디바이스.
  21. 제12 항에 있어서,
    상기 모바일 디바이스는, 상기 디스플레이부에 도달하여 상기 디스플레이 상에서 반사되는 빛의 강도(light intensity)를 측정하는 광 센서(light sensor)를 포함하고,
    상기 제어부는, 상기 광 센서에서 측정한 빛의 강도가 임계 강도를 초과하는 제4 영역을 결정하고, 상기 복수의 UI 객체 중 상기 제4 영역에 표시되는 복수의 UI 객체의 위치를 상기 제1 영역 내의 상기 제4 영역을 제외한 영역으로 이동시키는, 모바일 디바이스.
  22. 제12 항에 있어서,
    상기 모바일 디바이스는, 사용자의 안면을 인식하는 안면 인식 센서를 포함하고,
    상기 제어부는, 상기 안면 인식 센서에서 인식한 사용자의 안면이 기 등록된 안면과 상응하는 경우 상기 제 1 영역의 변경된 형태에 따라 상기 복수의 UI의 표시 상태를 조절하는, 모바일 디바이스.
  23. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150156747A 2015-11-09 2015-11-09 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스 KR20170054056A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150156747A KR20170054056A (ko) 2015-11-09 2015-11-09 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150156747A KR20170054056A (ko) 2015-11-09 2015-11-09 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스

Publications (1)

Publication Number Publication Date
KR20170054056A true KR20170054056A (ko) 2017-05-17

Family

ID=59048376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156747A KR20170054056A (ko) 2015-11-09 2015-11-09 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스

Country Status (1)

Country Link
KR (1) KR20170054056A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220277678A1 (en) * 2021-03-01 2022-09-01 Nokia Technologies Oy User device screen
WO2023063752A1 (ko) * 2021-10-15 2023-04-20 삼성전자 주식회사 폴딩 영역에 위치한 시각적 객체의 위치를 이동하는 전자 장치들 및 그 제어 방법들
US11714538B2 (en) 2019-01-31 2023-08-01 Samsung Electronics Co., Ltd. Electronic device, method, and computer-readable medium for switchable bar region of user interface

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11714538B2 (en) 2019-01-31 2023-08-01 Samsung Electronics Co., Ltd. Electronic device, method, and computer-readable medium for switchable bar region of user interface
US20220277678A1 (en) * 2021-03-01 2022-09-01 Nokia Technologies Oy User device screen
US11636792B2 (en) * 2021-03-01 2023-04-25 Nokia Technologies Oy Reconfigurable user device screen compensating problematic sources of reflection
WO2023063752A1 (ko) * 2021-10-15 2023-04-20 삼성전자 주식회사 폴딩 영역에 위치한 시각적 객체의 위치를 이동하는 전자 장치들 및 그 제어 방법들

Similar Documents

Publication Publication Date Title
US10534442B2 (en) Method and wearable device for providing a virtual input interface
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US10382606B2 (en) Mobile terminal and method for controlling the same
US10424272B2 (en) Rollable mobile terminal and control method thereof
US10908805B2 (en) Wearable device and execution of application in wearable device
US10120454B2 (en) Gesture recognition control device
US20180210544A1 (en) Head Tracking Based Gesture Control Techniques For Head Mounted Displays
EP2884378B1 (en) Method of displaying pointing information and device for performing the method
US10013050B2 (en) Display control based on user information
KR20150009254A (ko) 입력 처리 방법 및 그 전자 장치
CN111052063B (zh) 电子装置及其控制方法
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
US11209930B2 (en) Method of controlling device using various input types and device for performing the method
US20200142495A1 (en) Gesture recognition control device
WO2013106169A1 (en) Menu selection using tangible interaction with mobile devices
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
KR20150110285A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20170054056A (ko) 사용자 인터페이스를 제공하는 방법 및 모바일 디바이스
US11308704B2 (en) Mobile terminal for controlling VR image and control method therefor
KR20140094958A (ko) 플렉서블 디스플레이 장치의 동작 실행 방법 및 그 장치
US9377917B2 (en) Mobile terminal and method for controlling the same