KR20200050042A - 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스 - Google Patents

적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스 Download PDF

Info

Publication number
KR20200050042A
KR20200050042A KR1020180131735A KR20180131735A KR20200050042A KR 20200050042 A KR20200050042 A KR 20200050042A KR 1020180131735 A KR1020180131735 A KR 1020180131735A KR 20180131735 A KR20180131735 A KR 20180131735A KR 20200050042 A KR20200050042 A KR 20200050042A
Authority
KR
South Korea
Prior art keywords
user interface
type
interface
enlarged
user
Prior art date
Application number
KR1020180131735A
Other languages
English (en)
Inventor
이동진
Original Assignee
엔에이치엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔 주식회사 filed Critical 엔에이치엔 주식회사
Priority to KR1020180131735A priority Critical patent/KR20200050042A/ko
Priority to US16/664,744 priority patent/US10996750B2/en
Priority to JP2019196331A priority patent/JP7142619B2/ja
Publication of KR20200050042A publication Critical patent/KR20200050042A/ko
Priority to US17/206,131 priority patent/US11314328B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

사용자의 위치를 감지하고, 사용자 시선에 대한 모바일 디바이스의 상대 기울기에 따라 그래픽 사용자 인터페이스의 크기를 확대하는 기능을 가지는 모바일 디바이스가 개시된다. 모바일 디바이스는, 디스플레이 패널, 사용자의 위치를 감지하는 센서, 상기 센서로부터 수신된 사용자의 위치로부터 상기 사용자에 대한 상기 디스플레이 패널의 상대 기울기를 산출하는 상대 기울기 산출부, 및 상기 상대 기울기를 기초로, 상기 디스플레이 패널에 표시되는 복수의 사용자 인터페이스 중 확대 대상이 되는 제1 종의 그래픽 사용자 인터페이스의 크기를 확대하는 인터페이스 확대 처리부를 포함한다.

Description

적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스{A METHOD FOR DAPTIVELY MAGNIFYING GRAPHIC USER INTERFACES AND A MOBILE DEVICE FOR PERFORMING THE SAME}
본 발명은 그래픽 사용자 인터페이스를 적응적으로 확대하는 방법, 및 이를 수행할 수 있는 모바일 디바이스에 관한 것이다. 보다 구체적으로, 본 발명은 사용자의 위치를 감지하고, 사용자 시선에 대한 모바일 디바이스의 상대 기울기에 따라 그래픽 사용자 인터페이스의 크기를 확대하는 방법, 및 이를 수행할 수 있는 모바일 디바이스에 관한 것이다.
스마트폰, 태블릿 등 모바일 디바이스에는 다양한 애플리케이션이 설치되고, 설치된 애플리케이션을 실행하면 WI-FI, 이동통신 데이터 네트워크 등 무선 통신망을 통해 다양한 서비스가 제공된다. 이와 같은 모바일 디바이스는 애플리케이션의 실행, 실행 결과의 제공 등의 목적을 위해 다양한 형태의 그래픽 사용자 인터페이스를 디스플레이 패널을 통해 표시한다. 사용자는 그래픽 사용자 인터페이스를 통해 애플리케이션 실행을 위한 명령, 각종 사용자 입력을 프로세서에 입력하고, 프로세서에 의해 제공된 실행결과 등을 제공받는다. 이와 같은 그래픽 사용자 인터페이스에는 애플리케이션 아이콘, 각종 알림창 등이 포함된다.
그런데 모바일 디바이스가 사용자의 시선으로부터 상당히 기울어진 상태로 놓어지면, 디스플레이 패널에 표시된 아이콘, 알림창 등의 그래픽 사용자 인터페이스는 사용자 시선 방향으로 축소되어 관찰된다. 이와 같은 종래 기술을 도 1 내지 도 3을 참조하여 설명하면 다음과 같다.
도 1은 사용자의 위치에 대한 모바일 디바이스의 디스플레이 패널의 상대 기울기가 변화하는 것을 나타낸 도면이고, 도 2는 사용자가 도 1의 P1의 위치에서 바라본 모바일 디바이스를 도시한 도면이며, 도 3은 사용자가 도 1의 P2의 위치에서 바라본 종래 모바일 디바이스를 도시한 도면이다.
도 1에서, θ는 종래 모바일 디바이스에서는 사용자의 시선이 패널에 대하여 디스플레이 패널의 법선이 이루는 각 (이하, '상대 기울기'라 함)이고, P1은 디스플레이 정면, 즉 θ가 0인 관찰위치이고, P2는 모바일 디바이스의 세로방향으로 비스듬한 관찰위치이다.
도 1 내지 도 3을 참조하면, 디스플레이 패널의 정면인 P1에서 바라볼 때의 아이콘들의 세로 방향의 길이는 l이지만, 상대 기울기 θ가 증가할 수록 세로방향으로 축소되어 P2의 위치에서는 l보다 상당히 작은 lθ가 됨을 알 수 있다. 따라서 애플리케이션의 실행이나 알림창의 내용 확인을 위해서는 사용자는 자세를 바꾸어 디스플레이 패널을 정면에서 응시하거나, 모바일 디바이스를 집어 들어야 하는 불편함이 있다.
특히, 사용자가 회의 중이거나 다른 작업 중이어서 자세를 바꾸거나 모바일 디바이스를 집어 들기 어려울 경우에는 알림 내용을 확인하거나 실행이 꼭 필요한 애플리케이션을 실행하기 어려운 불편함이 있다.
본 발명은 종래기술의 상기 문제점을 해결하기 위한 것으로, 사용자의 위치를 감지하고, 사용자 시선에 대한 모바일 디바이스의 상대 기울기에 따라 그래픽 사용자 인터페이스의 크기를 확대하는 방법 및 이를 수행하는 모바일 디바이스를 제공하는 것을 그 목적으로 한다.
본 발명의 일 실시 예에 의해 제공되는 모바일 디바이스는, 디스플레이 패널; 사용자의 위치를 감지하는 센서; 상기 센서로부터 수신된 사용자의 위치로부터 상기 사용자에 대한 상기 디스플레이 패널의 상대 기울기를 산출하는 상대 기울기 산출부; 및 상기 상대 기울기를 기초로, 상기 디스플레이 패널에 표시되는 복수의 사용자 인터페이스 중 확대 대상이 되는 제1 종의 그래픽 사용자 인터페이스의 크기를 확대하는 인터페이스 확대 처리부를 포함한다.
상기 센서는 상기 디스플레이에 대한 상기 사용자의 눈의 위치를 감지하는 시선 감지 센서를 포함할 수 있다.
상기 제1 종의 사용자 인터페이스는 상기 복수의 사용자 인터페이스 중에서 미리 지정되어 메모리에 저정될 수 있다.
시선 감지 센서는 사용자의 눈의 위치를 감지하며, 상기 상대 기울기 산출부는 상기 사용자의 눈의 위치로부터 상기 상대 기울기를 산출하도록 구성될 수 있다. 이때, 상기 상대 기울기 산출부는 상기 사용자의 눈의 위치로부터 상기 디스플레이 패널의 특정 위치를 잇는 선분과 상기 디스플레이 패널의 주 표시면의 법선이 이루는 각도를 상기 상대 기울기로 산출할 수 있다.
상기 인터페이스 확대 처리부는 산출된 상기 상대 기울기를 기초로, 상기 제1 종의 그래픽 사용자 인터페이스가 표시될 확대표시영역을 결정하고, 산출된 상기 상대 기울기에 따라 확대된 사용자 인터페이스를 상기 확대표시영역에 표시하도록 구성될 수 있다.
또한, 상기 인터페이스 확대 처리부는 상기 상대 기울기를 임계값과 비교하고, 상기 상대 기울기가 임계값 이상인 경우에만 상기 제1 종의 그래픽 사용자 인터페이스의 크기를 확대하도록 구성될 수 있다.
이때, 상기 기울기가 임계값 이상으로 판정된 경우, 상기 인터페이스 확대 처리부는 상기 확대표시영역에 제1종의 사용자 인터페이스가 아닌 제2종의 다른 사용자 인터페이스가 미리 배치되어 있는지 판정하고, 상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 상기 확대표시영역에서 배제하고 제1종의 사용자 인터페이스로 대체하도록 구성되거나, 상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 비활성화시키고 상기 제1 종의 그래픽 사용자 인터페이스를 확대하여 상기 확대영역상에 오버레이하여 디스플레이하도록 구성될 수 있다.
또한, 상기 상대 기울기가 임계값 이하로 복원되면, 상기 인터페이스 확대 처리부는 상기 제2종의 사용자 인터페이스를 상기 확대표시영역으로 복원하도록 구성될 수 있다.
상기 인터페이스 확대 처리부는 상기 디스플레이 패널 중 상기 사용자의 눈의 위치에 가장 가까운 영역을 상기 확대표시영역으로 결정하도록 구성될 수 있다.
본 발명에 의한 모바일 디바이스에 따르면, 모바일 디바이스가 사용자에 대해 비스듬히 놓여진 상태에서도 특정 애플리케이션의 아이콘이 확대되어 표시되므로 사용자가 스마트폰을 집어 들어 조작할 필요 없이 그 상태에서 정확하게 해당 아이콘을 조작할 수 있다. 한편, 본 발명에 따르면, 모바일 디바이스가 사용자에 대해 비스듬히 놓여진 상태에서도 각종 알림창도 확대되어 표시되므로 사용자는 자세를 바꾸거나 스마트폰을 집어들지 않아도 알림의 내용을 확인할 수 있다. 즉, 본 발명은 모바일 디바이스가 사용자 시선에 비스듬히 놓여진 상태에서 사용자의 조작 정확성을 향상시키는 이점 및 별도의 조작이나 자세 변경 없이 알림을 확인할 수 있는 이점이 있다.
도 1은 사용자의 위치에 대한 모바일 디바이스의 디스플레이 패널의 상대 기울기가 변화하는 것을 나타낸 도면이다.
도 2는 사용자가 도 1의 P1의 위치에서 바라본 모바일 디바이스를 도시한 도면이다.
도 3은 사용자가 도 1의 P2의 위치에서 바라본 종래 모바일 디바이스를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 모바일 디바이스의 구성을 개념적으로 도시한 블럭도이다.
도 5는 본 발명에 따른 제1종 그래픽 사용자 인터페이스의 확대 처리 전의 모바일 디바이스의 표시상태를 도시한 도면이다.
도 6은 사용자가 본 발명의 일실시예에 따라 제1종의 아이콘을 확대했을 때의 디스플레이의 표시상태를 도시한 도면이다.
도 7은 도 1의 P2에 위치한 사용자가 바라본 도 6의 모바일 디바이스를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따라 확대된 제1종 아이콘을 도 1의 P2에서 관찰했을 때를 도시한 도면이다.
도 9는 본 발명에 따른 확대 처리 전의 메시지 알림창이 표시된 모바일 디바이스를 도시한 도면이다.
도 10은 확대 처리된 메시지 알람창이 표시된 모바일 디바이스를 도시한 도면이다.
도 11은 도 1의 P2의 위치의 사용자에게 보여지는 모바일 디바이스를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예들을 보다 상세하게 설명한다.
도 4는 본 발명의 일실시예에 따른 모바일 디바이스의 구성을 개념적으로 도시한 블럭도이다.
본 발명의 일실시예에 따르면, 모바일 디바이스(10)는, 디스플레이(11), 센서(12), 상대 기울기 산출부(13), 및 인터페이스 확대 처리부(14)를 포함하도록 구성될 수 있다.
모바일 디바이스(10)는 프로세서를 탑재하고 이동 통신 네트워크, WI-FI 등무선 데이터 통신망에 접속하여 다양한 기능을 수행하는 장치로, 스마트폰, 태블릿, 개인용 정보 단말기 (PDA: Personal Digital Assistance) 등을 포함한다.
모바일 디바이스(10)에는 다양한 애플리케이션이 설치되는데, 애플리케이션의 실행, 사용자 입력, 애플리케이션 수행 결과의 표시를 위한 다양한 형태의 그래픽 사용자 인터페이스(GUI :Graphic User Interface)가 제공된다.
이와 같은 그래픽 사용자 인터페이스에는 애플리케이션 실행을 위한 아이콘, 사용자 입력을 위한 그래픽 쿼티 자판 인터페이스, 사용자의 터치를 입력받는 그래픽 버튼, 및 메시지 수신 알림창을 포함하는 각종 알림창 등이 있다.
디스플레이(11)는 상술한 그래픽 사용자 인터페이스 및 모바일 디바이스에 설치된 애플리케이션의 실행결과를 표시한다. 디스플레이(11)는 사용자의 손가락 또는 스타일러스 펜 등의 접촉을 감지하는 터치 패널을 포함할 수 있다.
센서(12)는 디스플레이 패널의 기울기를 감지한다. 센서(12)는 중력센서 또는 시선감지 센서를 포함할 수 있다. 중력센서는 중력 가속도의 방향을 감지하여 모바일 디바이스의 표시면과 지표면에 수직한 방향이 이루는 각, 즉 중력 방향에 대한 모바일 디바이스의 기울기를 검출한다. 시선감지 센서는 촬상 소자를 이용하여 사용자의 눈을 인지하고 사용자 눈의 위치를 검출한다.
상대 기울기 산출부(13)는 센서(12)로부터 검출된 값을 수신하여 디스플레이와 사용자의 시선이 이루는 상대 기울기를 산출한다. 이때, 상대 기울기는 디스플레이 패널의 중앙부를 기준으로 산출할 수 있다. 예를 들어, 상대 기울기 산출부(13)는, 시선 센서를 사용하여 검출된 사용자의 눈의 위치와 디스플레이 패널의 중앙부를 잇는 선분과 디스플레이 패널의 법선 방향이 이루는 각도를 상대 기울기로 산출하도록 구성될 수 있다.
인터페이스 확대 처리부(14)는 상대 기울기 산출부(13)에 의해 산출된 상대기울기를 기초로, 그래픽 사용자 인터페이스의 크기를 확대한다. 이때, 디스플레이 패널에 표시되는 그래픽 사용자 인터페이스가 모두 확대되는 것은 아니며, 기울어진 상태에서도 사용자의 조작이 가능하도록 확대될 필요가 있는 그래픽 사용자 인터페이스만 확대되는 것이 바람직하다. 예컨대, 회의시 스마트폰을 내려 놓은 상태에서 게임이나 동영상을 실행할 가능성은 거의 없으나, 수신된 메시지를 확인하거나 연락처를 확인할 수는 있다. 따라서, 디스플레이 패널이 사용자의 시선에 대하여 기울어진 것으로 감지된 경우, 특정의 그래픽 사용자 인터페이스들만 확대하도록 구성하는 것이 바람직하다. 이하에서는 확대의 대상이 되는 그래픽 사용자 인터페이스를 제1종 그래픽 사용자 인터페이스로, 확대의 대상이 되지 않는 그래픽 사용자 인터페이스를 제2종 그래픽 사용자 인터페이스로 칭하여 설명한다.
제1종 그래픽 사용자 인터페이스는 사용자에 의해 지정될 수 있다. 즉, 사용자는 모바일 디바이스를 비스듬히 관찰하는 상태에서 조작할 필요가 있는 아이콘 또는 알림창 등을 제1종 그래픽 사용자 인터페이스로 지정할 수 있다. 지정된 제1종 그래픽 사용자 인터페이스는 메모리에 저장된다. 예컨대, 사용자는 이메일 애플리케이션의 아이콘, 통화 아이콘, 메시지 아이콘, 녹음기 아이콘 등을 제1종 그래픽 사용자 인터페이스로 지정할 수 있으며, 스마트폰이 비스듬히 관찰되는 경우에 지정된 아이콘은 확대되어 표시되므로 사용자가 스마트폰을 집어 들어 조작할 필요 없이 그 상태에서 용이하게 해당 아이콘을 터치(선택)할 수 있다. 마찬가지로, 사용자는 메시지 수신 알림창을 제1종 그래픽 사용자 인터페이스로 지정할 수도 있다. 이 경우, 스마트폰이 사용자에 대해 비스듬히 놓여진 상태에서도 메시지 수신창이 확대되므로 사용자는 자세를 바꾸거나 스마트폰을 집어들지 않아도 메시지의 내용을 확인할 수 있다.
제1종 그래픽 사용자 인터페이스의 확대 방향은 모바일 디바이스가 놓여진 상태에 따라 달라질 수 있다. 예를 들어, 사용자의 시선방향에 대해 모바일 디바이스가 세로로 놓여진 경우, 제1종 그래픽 사용자 인터페이스는 세로 방향으로, 즉 제1종 그래픽 사용자 인터페이스의 세로 길이가 확대된다. 반대로 사용자의 시선방향에 대해 모바일 디바이스가 가로로 놓여진 경우, 제1종 그래픽 사용자 인터페이스는 가로 방향으로, 즉 제1종 그래픽 사용자 인터페이스의 가로 길이가 확대된다. 만약, 사용자의 시선방향에 대해 모바일 디바이스가 가로도 아니고 세로도 아닌 비스듬히 놓여진 경우에는, 가로와 세로 중 더 가까운 쪽으로 확대된다. 예컨대, 사용자 시선이 디스플레이 패널면에 투영된 선분과 디바이스의 세로가 이루는 각이 10도인 경우, 세로 방향으로 축소의 영향이 강하므로 그래픽 사용자 인터페이스는 세로방향으로 확대된다. 반면, 예컨대, 사용자 시선이 디스플레이 패널면에 투영된 선분과 디바이스의 세로가 이루는 각이 70도인 경우, 가로 방향으로의 축소가 우세하므로 그래픽 사용자 인터페이스는 가로방향으로 확대된다.
한편, 인터페이스 확대 처리부(14)는 산출된 상대 기울기에 따라 제1종 그래픽 사용자 인터페이스의 확대 정도를 결정할 수 있다. 상대 기울기, 즉 디스플레이 패널의 법선과 사용자 시선이 이루는 각도가 커질수록 그래픽 사용자 인터페이스의 크기가 작아지므로, 인터페이스 확대 처리부(14)는 상대기울기가 증가할수록 제1종 그래픽 사용자 인터페이스의 확대율을 증가시킬 필요가 있다. 이때, 감지된 사용자의 위치에서 관찰한 제1종 그래픽 사용자 인터페이스의 크기가, 상대 기울기가 0인 위치(정면)에서 관찰했을 때의 크기와 동일해지도록 확대율이 결정되는 것이 바람직하다. 즉, 상대 기울기가 변하더라도 사용자가 인지하는 아이콘 또는 알림창의 크기는 변하지 않도록 확대율을 결정하는 것이 가장 바람직하다. 제1종 그래픽 사용자 인터페이스의 확대율은 실험적으로 결정될 수 있다. 즉, 다양한 상대 기울기에서 아이콘 또는 알림창의 크기를 촬영하고, 이를 정면에서 관찰한 크기가 될 때까지 확대시켜 가면서 각각의 상대 기울기에서의 확대율을 결정할 수 있다. 이와 같이 실험적으로 확대율을 결정하는 경우, 몇 개의 상대 기울기에 대해서만 실험에 의해 확대율을 결정하고, 실험되지 않은 구간의 확대율은 보간법(interpolation)에 의해 결정할 수도 있다. 실험적으로 구해진 확대율 및 보간을 위한 각종 파라미터 등은 은 룩업 테이블(LUT:lokk-up table)의 형태로 메모리에 저장되었다가 독출되어 사용될 수 있다.
인터페이스 확대 처리부(14)는 결정된 확대율을 적용하여 제1종 그래픽 사용자 인터페이스를 확대한다. 확대된 제1종 그래픽 사용자 인터페이스의 확대방향으로의 길이 l'은 다음 수학식 1에 따른다.
Figure pat00001
여기서 l0는 확대 전 제1종 그래픽 사용자 인터페이스의 확대방향으로의 길이이고, M은 결정된 확대율이다.
또 다른 예로서, 확대율은 근사식에 의해 계산될 수 있다. 아이콘, 알림창 등의 크기(가로 또는 세로의 길이)는 사용자의 눈까지의 거리에 비하여 상당히 작으므로, 상대 기울기가 θ인 경우에 사용자의 시선에 수직인 면에 투영되는 제1종 그래픽 사용자 인터페이스의 길이, 즉, 사용자가 보는 제1종 그래픽 인터페이스의 길이는 다음 수학식 2의 근사식으로 표현 가능하다.
Figure pat00002
Figure pat00003
은 정면에서 관찰한 제1종 그래픽 사용자 인터페이스의 길이이며,
Figure pat00004
는 상대 기울기가 θ인 위치에서 관찰한 제1종 그래픽 사용자 인터페이스의 길이이다 (도 3 참조).
코사인 함수는 θ가 0~90도인 구간에서 감소함수이므로 상대 기울기가 커질 수록 아이콘 등 제1종 그래픽 사용자 인터페이스의 크기가 작아짐을 알 수 있다. 따라서 작게 시인되는 제1종 그래픽 사용자 인터페이스의 크기를 원래의 크기
Figure pat00005
로 확대하기 위한 확대율 M은 다음 수학식 3과 같이 결정될 수 있다.
Figure pat00006
상기 수학식 2의 배율은, 사용자 시선의 디스플레이 면으로의 투영 선분이 세로 방향 또는 가로 방향과 나란하고 상대 기울기가 디스플레이 영역 전체에 그대로 적용되는 가장 단순한 근사적 모델을 사용하여 도출된 예에 불과하며, 확대율은 더 정교한 수학적 모델에 의해 산출될 수도 있다. 예컨대, 사용자에게서 가까운 영역에 표시되는 아이콘은 사용자에게서 먼 영역에 표시되는 아이콘에 비하여 덜 축소된다. 따라서, 상대 기울기를 디스플레이 패널의 영역별로 산출하고, 각 영역마다 다른 배율을 산출하도록 구성될 수도 있다.
인터페이스 확대 처리부(14)는, 상기 상대 기울기를 기설정된 임계값과 비교하고, 상대 기울기가 임계값 이상인 경우에만 제1종 그래픽 사용자 인터페이스를 확대하도록 구성될 수 있다. 제1종 그래픽 사용자 인터페이스가 축소되더라도 사용자의 조작이 용이한 정도라면, 확대가 불필요하기 때문이다. 임계값은 그래픽 사용자 인터페이스의 축소에 따른 조작 정확성의 감소를 고려하여 결정된다. 임계값은 그래픽 사용자 인터페이스의 원래 크기, 터치 패널의 감도, 사용자의 숙련성 등을 고려하여 다양하게 설정될 수 있다. 일반적으로 그래픽 사용자 인터페이스의 가로 또는 세로 길이가 반 이하로 줄어들면 조작의 정확성이 떨어진다. 따라서 임계값은 그래픽 사용자 인터페이스의 크기(가로 또는 세로 길이)가 반으로 축소되는 상대 기울기로 정해질 수 있다. 이와 같은 임계값은 실험에 의해, 또는 수학적 모델에 의해 결정될 수 있다. 예컨대, 상술한 수학식 1의 모델에 따를 경우, 그래픽 사용자 인터페이스의 크기(가로 또는 세로 길이)가 반으로 축소되는 임계값은 60도가 된다.
디스플레이 패널의 크기는 한정되어 있으므로 확대율의 상한은 디스플레이 크기에 의해 정해진다. 따라서 확대율은 확대 방향으로의 디스플레이의 길이를 확대 방향으로의 제1종 그래픽 사용자 인터페이스의 길이로 나눈 값을 상한으로 한다. 예컨대, 확대 방향이 디스플레이의 세로 방향인 경우, 아이콘 확대율의 상한은 디스플레이 세로 길이와 아이콘 세로길이의 비가 된다.
인터페이스 확대 처리부(14)는, 결정된 확대율에 따라 제1종 그래픽 사용자 인터페이스를 확대하여 디스플레이 패널에 표시한다. 이때, 확대된 제1종 그래픽 사용자 인터페이스는 원래 위치에서 크기만 확대되어 표시될 수 있다. 또한, 확대된 제1종 그래픽 사용자 인터페이스는 원래 위치와 다른, 미리 설정된 영역에 표시될 수도 있다. 전술한 바와 같이, 사용자 눈에 가까운 영역에서는 상대적으로 축소가 덜되므로 확대율을 줄이더라도 동일한 크기로 표시할 수 있는 이점이 있다. 따라서, 인터페이스 확대 처리부(14)는 확대된 제1종 그래픽 사용자 인터페이스를 사용자에게 가까운 영역에 표시하도록 구성되는 것이 바람직하다. 예를 들어, 사용자의 눈이 스마트폰 하단에 가까운 것으로 감지된 경우, 인터페이스 확대 처리부(14)는 확대된 제1종 그래픽 사용자 인터페이스를 디스플레이 패널 하단 쪽에 표시한다. 반면, 사용자의 눈이 스마트폰 상단에 가까운 것으로 감지된 경우, 인터페이스 확대 처리부(14)는 확대된 제1종 그래픽 사용자 인터페이스를 디스플레이 패널 상단 쪽에 표시한다. 이때, 디스플레이 패널은 상하로 반전된 상태이므로 사용자 편의를 위해 인터페이스 확대 처리부(14)는 확대된 제1종 그래픽 사용자 인터페이스를 상하 반전 시켜 표시하도록 처리할 수 있다.
한편, 확대된 제1종 그래픽 사용자 인터페이스를 디스플레이 패널의 사용자에 가까운 영역(이하, "확대표시 영역"이라 함)에 표시하도록 구성된 경우, 확대표시 영역 내에 확대 대상이 되지 않는 제2종 그래픽 사용자 인터페이스로 인하여 제1종 그래픽 사용자 인터페이스의 표시가 곤란할 수있다. 따라서, 인터페이스 확대 처리부(14)는 확대표시 영역에 제2종 그래픽 사용자 인터페이스가 배치되었는지를 판정하도록 구성될 수 있다. 확대표시 영역에 제2종 그래픽 사용자 인터페이스가 배치된 것으로 판정되면, 인터페이스 확대 처리부(14)는, 확대표시 영역에 배치된 제2종 그래픽 사용자 인터페이스를 비활성화하고 확대된 제1종 그래픽 사용자 인터페이스를 오버레이하여 확대표시 영역 내에 표시할 수 있다. 또한, 이와 달리, 확대표시 영역에 제2종 그래픽 사용자 인터페이스가 배치된 것으로 판정되면, 인터페이스 확대 처리부(14)는, 확대표시 영역에서 제2종 그래픽 사용자 인터페이스의 표시를 중단하고, 확대된 제1종 그래픽 사용자 인터페이스를 제2종 그래픽 사용자 인터페이스가 표시되었던 위치에 표시할 수 있다. 상대 기울기가 임계값 이하가 되어 확대 모드가 해제되면, 인터페이스 확대 처리부(14)는, 비활성화되었거나 표시가 중단된 제2종 그래픽 사용자 인터페이스를 확대표시 영역내의 원래 위치에 다시 표시한다.
한편, 상대기울기 산출부(13) 및 인터페이스 확대 처리부(14) 각각은, 위에서 설명한 처리를 수행하도록 구성된 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합일 수 있다. 예컨대, 상대기울기 산출부(13)는 앞에서 설명한 센서로부터의 신호 수신 기능, 수신된 신호를 이용하여 상대 기울기를 산출하는 기능 등의 처리에 필요한 명령어들을 포함하는 소프트웨어와 그 명령어에 따른 처리를 수행하는 모바일 단말(10) 내의 프로세서에 의해 구성될 수 있다. 마찬가지로 인터페이스 확대 처리부(14)는 앞에서 설명한 상대 기울기 산출부(13)으로부터 상대 기울기 값을 수신하는 기능, 수신된 상대 기울기 값을 이용하여 배율을 결정하고 제1종 그래픽 사용자 인터페이스를 확대하는 기능, 확대표시 영역을 결정하는 기능, 제2종 그래픽 사용자 인터페이스를 비활성화하거나 표시하지 않는 기능 등의 수행에 필요한 명령어들을 포함하는 소프트웨어와 그 명령어에 따른 처리를 수행하는 모바일 단말(10) 내의 프로세서에 의해 구성될 수 있다. 이때 상대기울기 산출부(13) 및 인터페이스 확대 처리부(14)를 구성하는 소프트웨어는 애플리케이션 형태로 모바일 단말(10)에 설치될 수 있다. 또한, 상대기울기 산출부(13) 및 인터페이스 확대 처리부(14)는 각각 독립적인 소프트웨어 및 하드웨어로 의해 구성될 수도 있고, 하나의 소프트웨어 및 하드웨어로 통합되어 구성될 수도 있으며, 여러 소프트웨어 및 하드웨어에 의해 분산적으로 각각의 기능이 수행되도록 구성될 수도 있다.
이하에서는 상술한 본 발명의 모바일 디바이스에서 그래픽 사용자 인터페이스를 확대하는 몇가지 예를 도 5 내지 도 11을 참조하여 구체적으로 설명한다.
도 5는 본 발명에 따른 제1종 그래픽 사용자 인터페이스의 확대 처리 전, 모바일 디바이스의 디스플레이 패널의 표시상태를 도시한 도면이다.
모바일 디바이스(10)의 디스플레이 패널(11)에는 복수의 애플리케이션 아이콘이 표시되어 있다. 아이콘은 확대 대상이 되는 제1종의 아이콘(100)들과 확대의 대상이 아닌 제2종의 아이콘(200)들을 포함한다. 상술한 바와 같이, 제1종의 아이콘(100)들과 제2종의 아이콘들(200)은 사용자에 의해 지정되거나 초기 설정값에 의해 지정될 수 있다. 도 5의 예에서, 제1종의 아이콘(100)은 음성통화 아이콘(101), 문자 메시지 아이콘(102), 이메일 아이콘(103), 및 녹음기 아이콘(104)로 지정되어 있다. 한편, 제2종의 아이콘(200)은 인터넷 아이콘(101), 메신저 아이콘(102) 및 기타 다수의 애플리케이션 아이콘(103)으로 지정되어 있다.
본 발명의 일 실시예에 따르면, 상술한 바와 같이, 사용자의 시선과 디스플레이 패널의 법선이 이루는 각도, 즉 상대 기울기가 임계값 이하인 경우, 아이콘을 확대하지 않도록 구성될 수 있다. 따라서 사용자의 위치 P2에서의 상대 기울기가 임계값 이하인 것으로 판정되면, 인터페이스 확대 처리부(14)는 아이콘을 확대하지 않으며, 도 5에 도시된 것과 동일한 표시처리를 유지한다.
도 6은 사용자가 본 발명의 일실시예에 따라 제1종의 아이콘을 확대했을 때, 디스플레이의 표시상태를 도시한 도면이며, 도 7은 도 1의 P2에 위치한 사용자가 바라본 도 6의 모바일 디바이스를 도시한 도면이다.
상술한 바와 같이, 상대 기울기 산출부(12)로부터 산출된 상대 기울기가 임계값 이상인 경우, 인터페이스 확대 처리부(14)는 제1종 아이콘(100)을 확대한다. 한편, 상술한 바와 같이, 바람직한 실시예에 따르면, 인터페이스 확대 처리부(14)는 확대된 제1종 그래픽 사용자 인터페이스를 디스플레이 패널 중, 사용자에게 가까운 영역에 표시하도록 구성될 수 있다. 도 5의 예에서, 사용자의 위치 P2는 모바일 디바이스 하단부 밖에 위치하므로, 인터페이스 확대 처리부(14)는 확대표시 영역을 사용자 위치 P2에 가까운 디스플레이 하단부로 설정한다. 다음으로, 인터페이스 확대 처리부(14)는, 산출된 상대기울기에 따라 확대율 M을 산정한다. 확대율 M의 산정방식은 위에서 설명한 바와 같다. 상술한 바와 같이, 확대율은 사용자 시선 벡터의 디스플레이 면과 평행한 성분의 방향으로 적용된다. 도 5의 예에서 이 성분의 방향은 디스플레이 패널의 세로방향과 일치하므로 제1종 아이콘들은 세로방향으로 확대된다. 인터페이스 확대 처리부(14)는, 산정된 확대율 M을 적용하여 확대된 아이콘의 길이 l'를 산출하고, 이에 대응하는 확대표시 영역(MA)을 결정한다. 즉, 인터페이스 확대 처리부(14)는 원래 아이콘의 길이 l0에 확대율 M을 곱하여 l'를 산출하고, 이 길이에 해당하는 영역을 확대된 제1종의 아이콘(100)가 표시될 영역, 즉 확대표시 영역으로 결정한다. 이때, 인터페이스 확대 처리부(14)는, 결정된 확대표시 영역 내에 존재하지 않는 제1종 아이콘의 위치를 확대표시 영역 내에 배치할 수 있다. 도 5의 예에서 이메일 아이콘(103)과 녹음 아이콘(104)는 원래 확대 표시 영역 밖에 배치되어 있으므로 인터페이스 확대 처리부(14)는 이들 제1종 아이콘(103, 104)가 확대표시 영역 내에 표시되도록 표시위치를 변경할 수 있다. 한편, 상술한 바와 같이, 인터페이스 확대 처리부(14)는 확대표시 영역 내에 제2종의 아이콘(200)이 있는지 판정하고, 확대표시 영역 내에 배치된 제2종 아이콘(200)을 비활성화시킬 수 있다. 도 5의 예에서, 제2종 아이콘인 인터넷 아이콘(201), 메신저 아이콘(202) 및 세 개의 기타 애플리케이션 아이콘(2031, 2032, 2033)은 확대표시 영역(MA)내에 포함되거나 이와 중첩하고 있다. 따라서, 인터페이스 확대 처리부(14)는 이들 2종 아이콘(201, 202, 203)을 터치 등 사용자 입력에 반응하지 않도록 비활성 상태로 처리한다.
이어서, 인터페이스 확대 처리부(14)는, 도 6에 도시된 바와 같이, 제1종 아이콘(201 내지 204)을 확대하여 확대표시 영역(MA) 내에 표시한다. 이때, 상술한 바와 같이, 확대된 제1종 아이콘들(101 내지 104)은, 비활성화된 확대표시 영역(MA) 내의 제2종 아이콘들(201, 202, 203) 위에 중첩(오버레이)되어 표시될 수 있다.
도 6과 같이 처리된 모바일 디바이스를 P2에 위치한 사용자가 관찰하면, 도 7에 도시된 바와 같이 보인다. 즉, 제1종 아이콘들은 사용자와 가장 가까운 디스플레이 패널 하단부에서 확대되어 표시되므로 사용자는 모바일 디바이스를 상당히 비스듬한 각도에서 관찰하더라도 제1종 아이콘(100)을 쉽게 인지하고 조작할 수 있다.
도 6 및 도 7은 확대표시 영역(MA)내에 배치된 제2종 아이콘들을 비활성화하고 제1종 아이콘들을 오버레이하여 표시하는 실시예에 관한 것이지만, 상술한 바와 같이, 확대표시 영역(MA)내에 배치된 제2종 아이콘들을 표시하지 않고 제1종 아이콘들로 대체하는 것도 가능하다. 도 8은 본 발명의 또 다른 실시예에 따라 확대된 제1종 아이콘을 도 1의 P2에서 관찰했을 때를 도시한 도면이다. 즉, 도 8에 도시된 바와 같이, 인터페이스 확대 처리부(14)는 도 5에서 확대표시 영역 내에 배치되었거나 이와 중첩하는 제2종 아이콘들(201, 202, 203)을 디스플레이 패널에 표시하지 않을 수도 있다.
본 발명에서 제1종 그래픽 사용자 인터페이스는 알림창을 포함할 수 있다.
이하에서는 도 9 내지 도 11을 참조하여 본 발명의 일 실시예에 따라 알림창을 확대하는 예를 설명한다.
도 9는 본 발명에 따른 확대 처리 전의 메시지 알림창이 표시된 모바일 디바이스를 도시한 도면이며, 도 10은 확대 처리된 메시지 알람창이 표시된 모바일 디바이스를 도시한 도면이고, 도 11은 도 1의 P2의 위치의 사용자에게 보여지는 모바일 디바이스를 도시한 도면이다.
본 발명의 일 실시예에 따르면, 상술한 바와 같이, 사용자의 시선과 디스플레이 패널의 법선이 이루는 각도, 즉 상대 기울기가 임계값 이하인 경우, 메시지 알림창(300)을 확대하지 않도록 구성될 수 있다. 따라서 사용자의 위치 P2에서의 상대 기울기가 임계값 이하인 것으로 판정되면, 인터페이스 확대 처리부(14)는 아이콘을 확대하지 않으며, 도 9에 도시된 것과 동일한 표시처리를 유지한다.
상대 기울기 산출부(12)로부터 산출된 상대 기울기가 임계값 이상인 경우, 인터페이스 확대 처리부(14)는 메시지 알림창(300)을 확대한다. 한편, 상술한 바와 같이, 바람직한 실시예에 따르면, 인터페이스 확대 처리부(14)는 확대된 메시지 알림창(300)을 디스플레이 패널 중, 사용자에게 가까운 영역에 표시하도록 구성될 수 있다. 도 9의 예에서, 사용자의 위치 P2는 모바일 디바이스 하단부 밖에 위치하므로, 인터페이스 확대 처리부(14)는 확대표시 영역을 사용자 위치 P2에 가까운 디스플레이 하단부로 설정한다. 다음으로, 인터페이스 확대 처리부(14)는, 산출된 상대기울기에 따라 확대율 M을 산정한다. 확대율 M의 산정방식은 위에서 설명한 바와 같다. 상술한 바와 같이, 확대율은 사용자 시선 벡터의 디스플레이 면과 평행한 성분의 방향으로 적용된다. 도 9의 예에서 이 성분의 방향은 디스플레이 패널의 세로방향과 일치하므로 메시지 알림창(300)은 세로방향으로 확대된다. 인터페이스 확대 처리부(14)는, 산정된 확대율 M을 적용하여 확대된 메시지 알림창(300)의 길이
Figure pat00007
를 산출하고, 이에 대응하는 확대표시 영역(MA)을 결정한다. 즉, 인터페이스 확대 처리부(14)는 원래 아이콘의 길이 l0에 확대율 M을 곱하여 l'를 산출하고, 이 길이에 해당하는 영역을 확대된 메시지 알림창(300)가 표시될 영역, 즉 확대표시 영역(MA)으로 결정한다.
이어서, 도 10에 도시된 바와 같이, 인터페이스 확대 처리부(14)는 확대된 메시지 알림창(300)을 확대표시 영역(MA)에 표시한다. 이때, 확대표시 영역(MA) 내의 제2종 아이콘들의 처리는 상술한 제1종 아이콘의 확대 표시에서 설명한 것과 동일한 방식으로 수행될 수 있다. 즉, 인터페이스 확대 처리부(14)는 메시지 알림창(300)의 확대 처리시에도, 확대표시 영역(MA) 내에 배치된 제2종 아이콘을 비활성화하고 메시지 알림창(300)을 오버레이하여 표시하거나, 제2종 아이콘의 표시처리를 하지 않을 수 있다.
도 5 내지 도 11의 예는 사용자의 시선이 모바일 디바이스의 세로방향과 일치하는 경우에 관한 것이지만, 상술한 바와 같이, 본 발명은 사용자의 시선이 모바일 디바이스의 가로방향과 일치하는 경우에도 적용될 수 있다. 이 경우, 확대표시 영역은 모바일 디바이스의 가로 방향으로 사용자 쪽에 가까운 곳이 되고, 제1종 그래픽 사용자 인터페이스는 가로 방향으로 확대된다. 또한, 사용자의 시인이 용이하도록 사용자 시선 방향에 맞게 제1종 그래픽 사용자 인터페이스를 회전시킬 수도 있다.
이하에서는 상기 모바일 디바이스에 의해 제공되는, 그래픽 사용자 인터페이스의 적응적 확대 방법을 도 4 내지 12를 참조하여 설명한다.
도 12는 본 발명의 일 실시예에 따른 모바일 디바이스의 그래픽 사용자 인터페이스를 사용자 위치에 따라 적응적으로 제어하는 방법을 도시한 순서도이다.
먼저, 모바일 디바이스의 센서(12)는 사용자의 위치를 감지한다 (S10). 센서 및 사용자 위치의 감지에 대해서는 전술한 바 있으므로 여기서는 설명을 생략한다. 센서(12)는 감지된 사용자 위치를 상대 기울기 산출부(13)에 전송한다.
이어서, 모바일 디바이스(10)의 상대 기울기 산출부(13)는, 센서(12)로부터 수신한 사용자 위치를 기초로 사용자의 시선에 대한 모바일 디바이스의 상대 기울기를 산출한다(S20). 상대 기울기의 정의 및 상대 기울기의 산출 방식에 대해서는 전술한 바 있으므로 여기서는 상세한 설명을 생략한다. 상대 기울기 산출부(13)는 산출된 상대 기울기를 인터페이스 확대처리부(14)로 전송한다.
계속해서, 인터페이스 확대처리부(14)는 상대 기울기 산출부(13)로부터 수신된 상대 기울기를 기초로, 제1종 인터페이스의 확대 방향을 결정한다(S30). 즉, 사용자의 시선 방향에 따라 제1종 인터페이스를 세로 방향 또는 가로 방향 중 어느 쪽으로 확대할지를 결정한다. 이와 같은 확대 방향의 결정에 대해서는 전술한 바 있으므로, 여기서는 상세한 설명을 생략한다. 한편, 상기에서는 확대 방향의 결정(S30)은, 인터페이스 확대처리부(14)에 의해서 수행되는 것으로 설명하였으나, 상대 기울기 산출부(13)에 의해서도 수행될 수 있다. 이 경우, 상대 기울기 산출부(13)는 산출된 상대 기울기 및 확대 방향을 인터페이스 확대처리부(14)로 전송한다.
인터페이스 확대처리부(14)는 상대 기울기를 기초로 제1종 그래픽 사용자 인터페이스(100)의 확대율 M을 결정한다(S40). 확대율 M은, 감지된 사용자 위치에서 관찰된 제1종 그래픽 사용자 인터페이스의 크기(lθ)가 원래 크기 l0와 유사하도록 결정되는 것이 바람직함은 상술한 바와 같다. 또한, 확대율 M은 실험에 의해 결정된 값을 저장한 LUT를 이용하거나, 미리 결정된 산출식을 이용하여 결정될 수 있다. 확대율의 결정에 대해서는 상술한 바 있으므로, 여기서는 상세한 설명을 생략한다.
인터페이스 확대처리부(14)는 상대 기울기 및 확대 방향에 기초하여 확대된 제1종 그래픽 사용자 인터페이스가 표시될 영역, 즉, 확대표시 영역(MA)를 결정한다 (S50). 확대표시 영역(MA)은 사용자에 가까운 쪽에 설정되는 것이 바람직하다. 확대표시 영역(MA)의 결정에 대해서는 상술한 바 있으므로, 여기서는 상세한 설명을 생략한다.
마지막으로, 인터페이스 확대처리부(14)는, 결정된 배율을 적용하여 제1종 그래픽 사용자 인터페이스(100)의 확대방향으로의 길이를 확대(l')하고, 확대된 제1종 그래픽 사용자 인터페이스(100)를 결정된 확대표시 영역(MA)에 표시한다. 이때, 인터페이스 확대처리부(14)는 확대표시 영역(MA) 내에 확대의 대상이 아닌 제2종 그래픽 사용자 인터페이스가 존재하는지 판정하고, 판정결과에 따라 확대표시 영역(MA) 내의 제2조 그래픽 사용자 인터페이스에 대해 비활성화 또는 비표시 처리를 수행할 수 있음은 전술한 바와 같다. 기타, 확대표시 영역(MA) 내에 확대된 제1종 그래픽 사용자 인터페이스를 표시하는 과정은 전술한 바 있으므로, 여기서는 상세한 설명을 생략한다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 모바일 디바이스 11 : 디스플레이 패널
12 : 센서 13 : 상대 기울기 산출부
14 : 인터페이스 확대처리부
101, 102, 103, 104 : 제1종 그래픽 사용자 인터페이스
201, 202, 203 : 제2종 그래픽 사용자 인터페이스

Claims (19)

  1. 디스플레이 패널;
    사용자의 위치를 감지하는 센서;
    상기 센서로부터 수신된 사용자의 위치로부터 상기 사용자에 대한 상기 디스플레이 패널의 상대 기울기를 산출하는 상대 기울기 산출부; 및
    상기 상대 기울기를 기초로, 상기 디스플레이 패널에 표시되는 복수의 사용자 인터페이스 중 확대 대상이 되는 제1 종의 그래픽 사용자 인터페이스의 크기를 확대하는 인터페이스 확대 처리부를 포함하는 모바일 디바이스.
  2. 제1항에 있어서,
    상기 센서는 상기 디스플레이에 대한 상기 사용자의 눈의 위치를 감지하는 시선 감지 센서를 포함하는 모바일 디바이스.
  3. 제1항에 있어서,
    상기 제1 종의 사용자 인터페이스는 상기 복수의 사용자 인터페이스 중에서 미리 지정되어 메모리에 저정되며,
    상기 인터페이스 확대 처리부는 상기 상대 기울기에 따라 미리 지정된 제1 종의 사용자 인터페이스의 크기를 확대하는 모바일 디바이스.
  4. 제2항에 있어서,
    시선 감지 센서는 사용자의 눈의 위치를 감지하며,
    상기 상대 기울기 산출부는 상기 사용자의 눈의 위치를 이용하여 상기 상대 기울기를 산출하는 모바일 디바이스.
  5. 제4항에 있어서,
    상기 상대 기울기 산출부는 상기 사용자의 눈의 위치로부터 상기 디스플레이 패널의 특정 위치를 잇는 선분과 상기 디스플레이 패널의 주 표시면의 법선이 이루는 각도를 상기 상대 기울기로 산출하는 모바일 디바이스.
  6. 제5항에 있어서,
    상기 인터페이스 확대 처리부는 산출된 상기 상대 기울기를 기초로, 상기 제1 종의 그래픽 사용자 인터페이스가 표시될 확대표시영역을 결정하고,
    상기 인터페이스 확대 처리부는 산출된 상기 상대 기울기에 따라 확대된 사용자 인터페이스를 상기 확대표시영역에 표시하는 모바일 디바이스.
  7. 제6항에 있어서,
    상기 인터페이스 확대 처리부는 상기 상대 기울기를 임계값과 비교하고,
    상기 상대 기울기가 임계값 이상인 경우에만 상기 제1 종의 그래픽 사용자 인터페이스의 크기를 확대하는 모바일 디바이스.
  8. 제7항에 있어서,
    상기 기울기가 임계값 이상으로 판정된 경우,
    상기 인터페이스 확대 처리부는 상기 확대표시영역에 제1종의 사용자 인터페이스가 아닌 제2종의 사용자 인터페이스가 미리 배치되어 있는지 판정하고,
    상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 상기 확대표시영역에서 배제하고 제1종의 사용자 인터페이스로 대체하는 모바일 디바이스.
  9. 제7항에 있어서,
    상기 기울기가 임계값 이상으로 판정된 경우,
    상기 인터페이스 확대 처리부는 상기 확대표시영역에 제1종의 사용자 인터페이스가 아닌 제2종의 사용자 인터페이스가 미리 배치되어 있는지 판정하고,
    상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 비활성화시키고 상기 제1 종의 그래픽 사용자 인터페이스를 확대하여 상기 확대영역상에 오버레이하여 디스플레이하는 모바일 디바이스.
  10. 제7항 또는 제8항에 있어서,
    상기 상대 기울기가 임계값 이하로 복원되면, 상기 인터페이스 확대 처리부는 상기 제2종의 사용자 인터페이스를 상기 확대표시영역으로 복원시키는 모바일 디바이스.
  11. 제6항에 있어서,
    상기 인터페이스 확대 처리부는 상기 디스플레이 패널 중 상기 사용자의 눈의 위치에 가장 가까운 영역을 상기 확대표시영역으로 결정하는 모바일 디바이스.
  12. 확대의 대상이 되는 제1종 그래픽 사용자 인터페이스와 확대의 대상이 아닌 제2종 그래픽 사용자 인터페이스를 표시하는 디스플레이 패널, 센서, 상대 기울기 산출부 및 인터페이스 확대처리부를 포함하는 모바일 디바이스에 의해 수행되며,
    상기 센서에 의해 사용자의 위치를 감지하는 단계;
    상기 상대 기울기 산출부에 의해, 상기 센서로부터 상기 사용자 위치를 수신하고, 수신된 상기 사용자 위치를 이용하여 사용자의 시선에 대한 상기 디스플레이 패널의 상대 기울기를 산출하는 단계; 및
    상기 인터페이스 확대처리부에 의해, 상기 상대 기울기 산출부로부터 상기 상대 기울기를 수신하고, 상기 상대 기울기를 기초로 상기 제1종 그래픽 사용자 인터페이스를 확대하는 단계;
    를 포함하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  13. 제12항에 있어서, 상기 제1 종의 사용자 인터페이스는 상기 복수의 사용자 인터페이스 중에서 미리 지정되어 메모리에 저정되는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  14. 제12항에 있어서,
    상기 상대 기울기 산출부는 상기 사용자의 눈의 위치로부터 상기 디스플레이 패널의 특정 위치를 잇는 선분과 상기 디스플레이 패널의 주 표시면의 법선이 이루는 각도를 상기 상대 기울기로 산출하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  15. 제12항에 있어서,
    상기 인터페이스 확대 처리부는 산출된 상기 상대 기울기를 기초로, 상기 제1 종의 그래픽 사용자 인터페이스가 표시될 확대표시영역을 결정하는 단계를 더 포함하며,
    상기 인터페이스 확대 처리부는 산출된 상기 상대 기울기에 따라 확대된 사용자 인터페이스를 상기 확대표시영역에 표시하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  16. 제15항에 있어서,
    상기 인터페이스 확대 처리부는 상기 상대 기울기를 임계값과 비교하고,
    상기 상대 기울기가 임계값 이상인 경우에만 상기 제1종의 그래픽 사용자 인터페이스의 크기를 확대하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  17. 제16항에 있어서, 상기 제1종 그래픽 사용자 인터페이스의 확대 표시 단계는,
    상기 기울기가 임계값 이상으로 판정된 경우, 상기 인터페이스 확대 처리부는 상기 확대표시영역에 제2종의 사용자 인터페이스가 미리 배치되어 있는지 판정하는 단계; 및
    상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 비활성화시키고 상기 제1종의 그래픽 사용자 인터페이스를 확대하여 상기 확대영역상에 오버레이하여 디스플레이하는 단계;
    를 포함하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  18. 제16항에 있어서, 상기 제1종 그래픽 사용자 인터페이스의 확대 표시 단계는,
    상기 인터페이스 확대 처리부는 상기 확대표시영역에 제2종의 사용자 인터페이스가 미리 배치되어 있는지 판정하는 단계; 및
    상기 확대표시영역에 상기 제2종의 사용자 인터페이스가 표시되어 있는 경우에는, 상기 제2종의 사용자 인터페이스를 상기 확대표시영역에서 배제하고 제1종의 사용자 인터페이스로 대체하는 단계
    를 더 포함하는 그래픽 사용자 인터페이스의 적응적 확대 방법.
  19. 제12항에 있어서,
    상기 인터페이스 확대 처리부는 상기 디스플레이 패널 중 상기 사용자의 눈의 위치에 가장 가까운 영역을 상기 확대표시영역으로 결정하는 그래픽 사용자 인터페이스의 적응적 확대 방법.


KR1020180131735A 2018-10-31 2018-10-31 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스 KR20200050042A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180131735A KR20200050042A (ko) 2018-10-31 2018-10-31 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스
US16/664,744 US10996750B2 (en) 2018-10-31 2019-10-25 Apparatus and method for adaptively magnifying graphic user interfaces on display
JP2019196331A JP7142619B2 (ja) 2018-10-31 2019-10-29 適応的グラフィック使用者インターフェース拡大方法及びそれを遂行するモバイルデバイス
US17/206,131 US11314328B2 (en) 2018-10-31 2021-03-19 Apparatus and method for adaptively magnifying graphic user interfaces on display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180131735A KR20200050042A (ko) 2018-10-31 2018-10-31 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스

Publications (1)

Publication Number Publication Date
KR20200050042A true KR20200050042A (ko) 2020-05-11

Family

ID=70326991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180131735A KR20200050042A (ko) 2018-10-31 2018-10-31 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스

Country Status (3)

Country Link
US (2) US10996750B2 (ko)
JP (1) JP7142619B2 (ko)
KR (1) KR20200050042A (ko)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191405B1 (en) * 1997-06-06 2001-02-20 Minolta Co., Ltd. Image processing apparatus including image rotator for correcting tilt of the image data
US8122372B2 (en) * 2008-04-17 2012-02-21 Sharp Laboratories Of America, Inc. Method and system for rendering web pages on a wireless handset
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US20100192100A1 (en) * 2009-01-23 2010-07-29 Compal Electronics, Inc. Method for operating a space menu and electronic device with operating space menu
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US20120314899A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Natural user interfaces for mobile image viewing
EP2777990A4 (en) 2011-11-08 2015-03-18 DEVICE FOR PROCESSING INFORMATION DISPLAYS
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
JP2014160982A (ja) 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
US9007321B2 (en) * 2013-03-25 2015-04-14 Sony Corporation Method and apparatus for enlarging a display area
JP2014191611A (ja) 2013-03-27 2014-10-06 Ntt Docomo Inc 情報表示端末、情報表示方法、及び情報表示プログラム
US9181760B2 (en) * 2013-07-24 2015-11-10 Innovations, Inc. Motion-based view scrolling with proportional and dynamic modes
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US10019140B1 (en) 2014-06-26 2018-07-10 Amazon Technologies, Inc. One-handed zoom
KR20170023198A (ko) * 2014-07-26 2017-03-02 후아웨이 테크놀러지 컴퍼니 리미티드 이동 단말의 화면 표시를 제어하는 방법 및 이동 단말
JP2016146103A (ja) 2015-02-09 2016-08-12 カシオ計算機株式会社 表示装置、及び、情報表示方法、情報表示プログラム
JP6418108B2 (ja) 2015-08-31 2018-11-07 京セラドキュメントソリューションズ株式会社 表示装置および表示制御プログラム
US10254918B2 (en) 2015-08-27 2019-04-09 Kyocera Document Solutions Inc. Tilt adjustable perspective icons display device and non-transitory computer readable medium
EP3358453B1 (en) * 2015-09-30 2020-04-22 Kyocera Document Solutions Inc. Display device
KR102534963B1 (ko) * 2016-02-23 2023-05-23 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP2020071885A (ja) 2020-05-07
JP7142619B2 (ja) 2022-09-27
US20200133391A1 (en) 2020-04-30
US20210208677A1 (en) 2021-07-08
US11314328B2 (en) 2022-04-26
US10996750B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
US10397649B2 (en) Method of zooming video images and mobile display terminal
US10788934B2 (en) Input adjustment
US9183806B2 (en) Adjusting font sizes
KR102348947B1 (ko) 전자장치의 화면 표시 제어 방법 및 장치
EP2866123A2 (en) Screen operation apparatus and screen operation method
KR20150090840A (ko) 디스플레이 화면의 영역을 보호하는 디바이스 및 방법
US20150234581A1 (en) Method and apparatus for adjusting and moving a user interface for single handed use on an endpoint device
KR101254037B1 (ko) 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
US20160110047A1 (en) Wearable device and execution of application in wearable device
EP2846242A1 (en) Method of adjusting screen magnification of electronic device, machine-readable storage medium, and electronic device
KR20130119129A (ko) 윈도우 크기를 조절하기 위한 방법 및 그 전자 장치
US10866649B2 (en) Gesture identification method and electronic device
JP6177482B1 (ja) タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
US20130167057A1 (en) Display apparatus for releasing locked state and method thereof
CN111309232B (zh) 一种显示区域调整方法及装置
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
US20150242100A1 (en) Detecting intentional rotation of a mobile device
KR102113509B1 (ko) 가상 키패드 제어 방법 및 그 전자 장치
KR20200050042A (ko) 적응적 그래픽 사용자 인터페이스 확대 방법 및 이를 수행하는 모바일 디바이스
US20210274035A1 (en) Method for anti-disturbing, electronic device, and computer-readable storage medium
KR101832838B1 (ko) 휴대용 단말기에서 화면 크기를 조절하기 위한 장치 및 방법
US10440171B2 (en) Communication terminal apparatus and program
KR20140110556A (ko) 객체 표시 방법 및 그 전자 장치
US20240147048A1 (en) Updating zoom properties of corresponding salient objects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal