KR20140126492A - 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법 - Google Patents

인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20140126492A
KR20140126492A KR1020130044719A KR20130044719A KR20140126492A KR 20140126492 A KR20140126492 A KR 20140126492A KR 1020130044719 A KR1020130044719 A KR 1020130044719A KR 20130044719 A KR20130044719 A KR 20130044719A KR 20140126492 A KR20140126492 A KR 20140126492A
Authority
KR
South Korea
Prior art keywords
display area
portable device
control input
user
display
Prior art date
Application number
KR1020130044719A
Other languages
English (en)
Inventor
조은형
천시내
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130044719A priority Critical patent/KR20140126492A/ko
Priority to US13/906,025 priority patent/US9811156B2/en
Priority to PCT/KR2013/004969 priority patent/WO2014175504A1/en
Publication of KR20140126492A publication Critical patent/KR20140126492A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법은 복수의 레이어들 중 제1 레이어를 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역에 디스플레이하는 단계, 복수의 레이어들에 대한 인덱스를 포터블 디바이스의 측면에 위치한 제2 디스플레이 영역에 디스플레이하는 단계, 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자가 응시하는 디스플레이 영역을 센싱하는 단계, 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅하는 단계, 사용자가 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어하는 단계 및 사용자가 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어하는 단계를 포함할 수 있다.

Description

인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법{Apparatus and Method for portable device with index display area}
본 명세서는 포터블 디바이스에 대한 것으로, 특히 디스플레이되는 레이어에 대한 인덱스를 디스플레이하는 별도의 디스플레이 영역을 포함하는 포터블 디바이스에 대한 것이다.
포터블 디바이스의 성능이 향상되면서 하나의 포터블 디바이스를 이용하여 동시에 복수의 어플리케이션들을 실행하는 멀티 태스킹이 가능해졌다. 포터블 디바이스는 실행 중인 복수의 어플리케이션들 중에서 사용자가 선택한 어플리케이션의 실행 화면을 디스플레이할 수 있다.
포터블 디바이스는 디스플레이할 어플리케이션을 결정하기 위해 실행 중인 복수의 어플리케이션들을 디스플레이 영역에 나열하고 사용자의 인풋을 수신할 수 있다. 즉, 포터블 디바이스는 디스플레이 중인 어플리케이션의 실행 화면을 종료하고, 백그라운드에서 실행 중인 복수의 어플리케이션에 대한 선택 화면을 디스플레이할 수 있다. 이로 인해 포터블 디바이스는 어플리케이션을 전환하기 위해 디스플레이 중인 어플리케이션의 실행 화면을 더 이상 사용자에게 제공하지 못하는 단점이 있다.
본 명세서는, 사용자의 시선에 대한 정보를 이용하여 제어 대상을 선택하는 포터블 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 포터블 디바이스는 백그라운드에서 실행 중인 어플리케이션 또는 컨텐츠로 전환하기 위한 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 포터블 디바이스는 제어 입력을 디텍팅하고 디지털 인포메이션을 디스플레이하는 디스플레이 유닛, 디스플레이 유닛은 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역 및 포터블 디바이스의 측면에 위치한 제2 디스플레이 영역을 포함함, 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자가 어느 디스플레이 영역을 응시하는지 센싱하는 센서 유닛; 및 디스플레이 유닛 및 센서 유닛을 제어하는 컨트롤러를 포함하고, 컨트롤러는 복수의 레이어들 중 제1 레이어를 제1 디스플레이 영역에 디스플레이하고, 복수의 레이어들에 대한 인덱스를 제2 디스플레이 영역에 디스플레이하고, 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자가 응시하는 디스플레이 영역을 센싱하고, 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅하고, 사용자가 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어하고, 사용자가 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다.
또한 본 명세서의 일 실시예에 따른 포터블 디바이스 제어 방법은 복수의 레이어들 중 제1 레이어를 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역에 디스플레이하는 단계, 복수의 레이어들에 대한 인덱스를 포터블 디바이스의 측면에 위치한 제2 디스플레이 영역에 디스플레이하는 단계, 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자가 응시하는 디스플레이 영역을 센싱하는 단계, 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅하는 단계, 사용자가 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어하는 단계, 및 사용자가 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어하는 단계를 포함할 수 있다.
본 명세서에 따르면, 포터블 디바이스는 백그라운드에서 실행 중인 어플리케이션들에 대한 인덱스를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 메인 디스플레이 영역과 인덱스 디스플레이 영역을 포함할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 인덱스 디스플레이 영역에 어플리케이션에 대응하는 인덱스를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자가 응시하는 디스플레이 영역을 센싱할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 동일한 컨트롤 인풋에 대해 사용자가 응시하는 디스플레이 영역에 따라 다르게 동작할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자의 시선에 대응하여 복수의 디스플레이 영역 중 하나를 제어할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스를 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 사용자 시선에 대응하여 동작하는 포터블 디바이스를 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 사용자 시선에 대응하여 동작하는 포터블 디바이스를 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 폴더를 포함하는 인덱스를 제어하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 스크롤 휠 인터페이스를 포함하는 인덱스를 제어하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법을 나타낸 도면이다.
도 8은 본 명세서의 다른 실시예에 따른 포터블 디바이스를 제어하는 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 포터블 디바이스는 스마트폰, 스마트패드, 뮤직 플레이어, 태블릿 컴퓨터 및 노트북 중 적어도 하나를 포함할 수 있다. 본 명세서에서 포터블 디바이스는 메인 디스플레이 영역 및 인덱스 디스플레이 영역을 포함할 수 있으며, 아래에서는 메인 디스플레이 영역을 제1 디스플레이 영역으로, 인덱스 디스플레이 영역을 제2 디스플레이 영역으로 칭할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스를 나타낸 도면이다. 포터블 디바이스(10)는 전면에 제1 디스플레이 영역(11)을 포함할 수 있으며 측면 또는 윗면에 제2 디스플레이 영역(12)을 포함할 수 있다. 여기서, 제1 디스플레이 영역(11)은 제2 디스플레이 영역(12)에 비해 더 넓은 디스플레이 영역을 포함할 수 있다.
포터블 디바이스(10)는 도 1의 상단과 같이 포터블 디바이스의 적어도 하나의 모서리에 의해 구분되는 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12)을 포함할 수 있다. 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12) 사이의 내각은 90도 이상, 180도 미만의 값을 가질 수 있다. 제2 디스플레이 영역(12)은 포터블 디바이스의 윗면 또는 측면에 위치할 수 있다.
다른 실시예로, 포터블 디바이스는 도 1의 하단과 같이 제1 디스플레이 영역(11) 및 이에 이어진 곡면 형태의 제2 디스플레이 영역(12)을 포함할 수 있다. 제2 디스플레이 영역(12)은 제1 디스플레이 영역(12)에 이어져 포터블 디바이스의 윗면 또는 측면에 위치할 수 있다. 포터블 디바이스(10)는 제1 디스플레이 영역(12) 및 제2 디스플레이 영역(12)의 사이에 영역 경계선(13)을 설정할 수 있다.
포터블 디바이스(10)는 복수 개의 어플리케이션들을 실행할 수 있으며 어플리케이션들은 각각 서로 다른 레이어에 대응될 수 있다. 여기서 레이어는 각 어플리케이션이 실행되는 영역 또는 그 실행 화면을 의미하며 그 영역 내에 컨텐츠를 포함할 수 있다. 아래에서는 레이어를 예로 들어 설명하지만, 본 명세서에서 레이어는 컨텐츠를 의미할 수 있다. 실시예에 따라 하나의 어플리케이션은 복수 개의 레이어에 대응될 수도 있다. 예를 들어, 포터블 디바이스(10)는 제1 디스플레이 영역(11)에 제1 어플리케이션에 대응하는 제1 레이어(14)를 디스플레이할 수 있다. 포터블 디바이스(10)는 제2 디스플레이 영역(12)에 복수 개의 어플리케이션을 나타내는 인덱스(15)를 디스플레이할 수 있다. 제2 디스플레이 영역(12)에 디스플레이된 인덱스(15)는 각 레이어에 대응하는 엔트리를 포함할 수 있다. 여기서 엔트리는 인덱스의 컨텐츠를 의미할 수 있다. 즉, 포터블 디바이스는 각 레이어의 제목, 요약 내용 또는 태그를 엔트리로써 인덱스에 포함시킬 수 있다. 예를 들어, 제1 레이어(14)에 대응되는 제1 엔트리는 제1 레이어의 제목을 인디케이트할 수 있고, 제2 레이어(16)에 대응되는 제2 엔트리는 제2 레이어의 태그를 인디케이트할 수 있다. 포터블 디바이스(10)는 제1 엔트리 및 제2 엔트리를 포함하는 인덱스(15)를 제2 디스플레이 영역(12)에 디스플레이할 수 있다.
사용자는 제2 디스플레이 영역(12)에 디스플레이된 인덱스(15)의 제1 엔트리 또는 제2 엔트리를 선택하여 원하는 어플리케이션을 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 포터블 디바이스(10)는 사용자가 선택한 엔트리에 대응하는 레이어를 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 예를 들어, 포터블 디바이스(10)가 제1 디스플레이 영역(11)에 제1 레이어(14)를 디스플레이한 때, 제2 엔트리에 대한 제어 입력을 디텍팅하면, 포터블 디바이스는 제2 엔트리에 대응하는 제2 레이어를 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 디스플레이 영역(11)에 디스플레이되었던 제1 레이어(14)를 제2 레이어(16)로 전환하여 디스플레이할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 사용자 시선에 대응하여 동작하는 포터블 디바이스를 나타낸 도면이다. 도 2의 상단과 같이 포터블 디바이스는 사용자(20)가 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12) 중 어느 영역을 응시하는지 판단할 수 있다. 포터블 디바이스(10)는 사용자의 그립, 중력 방향, 사용자의 얼굴, 사용자의 시선 및 조도 변화 중 적어도 하나를 이용하여 사용자가 어느 디스플레이 영역을 응시하는지 결정할 수 있다. 또한 포터블 디바이스는 사용자의 제어 입력(21)을 디텍팅할 수 있다. 포터블 디바이스는 터치 입력, 보이스 입력, 리모컨 입력 및 제스쳐 입력 중 적어도 하나를 제어 입력(21)으로 디텍팅할 수 있다.
사용자(20)가 제1 디스플레이 영역(11)을 응시하는 것으로 판단된 경우, 포터블 디바이스(10)는 제어 입력(21)에 대응하여 제1 디스플레이 영역(11)을 제어할 수 있다. 도 2의 하단과 같이, 포터블 디바이스는 제어 입력(21)에 대응하여 제1 디스플레이 영역(11)에 디스플레이된 제1 레이어(14)의 컨텐츠를 제어할 수 있다. 포터블 디바이스는 제어 입력(21)에 대응하여 제1 레이어(14)의 컨텐츠를 스크롤할 수 있다. 예를 들어, 사용자가 제1 디스플레이 영역을 응시하면서, 제어 입력(21)으로써 상하로 스크롤하는 터치 입력을 제1 디스플레이 영역에 입력하면 포터블 디바이스는 터치 입력에 대응하여 디스플레이된 제1 레이어(14)의 컨텐츠를 상하로 스크롤할 수 있다.
사용자가 제1 디스플레이 영역을 응시하는 것으로 판단한 경우, 포터블 디바이스는 제2 디스플레이 영역(12)에 디스플레이된 인덱스의 엔트리를 변경하지 않고 유지할 수 있다. 즉, 도 2에서 포터블 디바이스(10)는 복수의 엔트리(15-1,15-2)를 포함하는 인덱스에 대해 제1 레이어(14)에 대응하는 제1 엔트리(15-1)를 유지할 수 있다.
위의 설명에서는 제1 레이어의 컨텐츠를 스크롤하는 동작을 예로 설명했지만, 본 명세서의 포터블 디바이스가 컨텐츠를 제어함은 컨텐츠를 확대, 축소, 이동, 복사 및 잘라내는 동작을 포함할 수 있다.
상술한 바와 같이, 포터블 디바이스는 제어 입력에 대응하여 사용자가 응시하는 것으로 판단된 제1 디스플레이 영역의 컨텐츠를 제어하고, 사용자가 응시하지 않는 것으로 판단된 제2 디스플레이 영역의 컨텐츠는 변경하지 않고 유지할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 사용자 시선에 대응하여 동작하는 포터블 디바이스를 나타낸 도면이다. 도 3의 상단과 같이 포터블 디바이스는 사용자(20)가 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12) 중 어느 영역을 응시하는지 판단할 수 있다. 포터블 디바이스(10)는 사용자의 그립, 중력 방향, 사용자의 얼굴, 사용자의 시선 및 조도 변화 중 적어도 하나를 이용하여 사용자가 어느 디스플레이 영역을 응시하는지 결정할 수 있다.
도 3의 좌측 상단에서 포터블 디바이스는 카메라, 시선 트랙킹 센서 및 이미지 센서 중 적어도 하나를 이용하여 사용자의 시선이 제2 디스플레이 영역(12)을 응시하는 것을 센싱할 수 있다. 도 3의 우측 상단에서 포터블 디바이스는 중력 방향(30)을 기준으로 기울어진 기울임 각도(31)를 센싱할 수 있다. 포터블 디바이스는 기울임 각도(31)를 센싱함에 있어서 중력 센서, 기울임 센서 및 자이로 센서 중 적어도 하나를 이용할 수 있다. 포터블 디바이스는 기울임 각도(31)가 제1 각도 이상인 경우, 사용자가 제2 디스플레이 영역(12)을 응시하는 것으로 판단할 수 있다. 제1 각도는 사용자 또는 포터블 디바이스의 제조사에 의해 사전에 설정될 수 있다.
또한 포터블 디바이스는 사용자의 제어 입력(21)을 디텍팅할 수 있다. 포터블 디바이스는 터치 입력, 보이스 입력, 리모컨 입력 및 제스쳐 입력 중 적어도 하나를 제어 입력(21)으로 디텍팅할 수 있다.
사용자(20)가 제2 디스플레이 영역(12)을 응시하는 것으로 판단된 경우, 포터블 디바이스(10)는 제어 입력(21)에 대응하여 제2 디스플레이 영역(12)을 제어할 수 있다. 포터블 디바이스는 제1 디스플레이 영역(11)에 입력된 제어 입력에 대응하여 제2 디스플레이 영역(12)에 디스플레이된 컨텐츠를 제어할 수 있다. 이는 포터블 디바이스가 사용자가 제2 디스플레이 영역(12)을 응시하는 것으로 판단하였기 때문이다. 즉, 포터블 디바이스는 사용자가 응시한 디스플레이 영역을 제어 대상으로 결정할 수 있다.
도 3의 하단과 같이, 포터블 디바이스는 제어 입력(21)에 대응하여 제2 디스플레이 영역(12)에 디스플레이된 인덱스를 제어할 수 있다. 인덱스는 제1 디스플레이 영역에 디스플레이된 레이어에 대응하는 엔트리를 포함할 수 있다. 포터블 디바이스는 제어 입력(21)에 대응하여 인덱스에 포함된 엔트리를 변경할 수 있다. 예를 들어, 사용자가 제2 디스플레이 영역을 응시하면서, 제어 입력(21)으로써 좌우로 스크롤하는 터치 입력을 제1 디스플레이 영역에 입력하면 포터블 디바이스는 터치 입력에 대응하여 인덱스를 제어할 수 있다. 포터블 디바이스는 제어 입력(21)에 대응하여 인덱스에 포함된 제1 엔트리를 제2 엔트리로 변경할 수 있다.
도 3의 좌측 하단에서, 포터블 디바이스(10)는 제1 엔트리(15-1)에 대응하는 제1 레이어(14)의 컨텐츠를 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 포터블 디바이스는 사용자의 제1 디스플레이 영역에 입력된 제어 입력(21)에 따라 제1 엔트리를 제2 엔트리로 변경할 수 있다. 도 3의 우측 하단에서, 포터블 디바이스(10)는 제2 엔트리(15-2)에 대응하는 제2 레이어(16)의 컨텐츠를 제1 디스플레이 영역(11)에 디스플레이할 수 있다.
상술한 바와 같이 포터블 디바이스는 제1 디스플레이 영역에 제어 입력이 입력된 경우라도, 사용자가 제2 디스플레이 영역을 응시하는 것으로 판단되면 제2 디스플레이 영역에 디스플레이된 컨텐츠를 제어할 수 있다. 이를 통해 사용자는 제2 디스플레이 영역을 터치하지 않아도 시선 및 제1 디스플레이 영역에 대한 제어 입력을 이용하여 제2 디스플레이 영역을 제어할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 폴더를 포함하는 인덱스를 제어하는 방법을 나타낸 도면이다. 포터블 디바이스는 사용자의 시선이 복수의 디스플레이 영역 중 어느 영역을 응시하는지 판단할 수 있다. 포터블 디바이스는 제어 입력이 디텍팅되면, 사용자의 시선이 응시하는 디스플레이 영역을 디텍팅된 제어 입력에 대응하여 제어할 수 있다.
도 4의 상단은 사용자가 제1 디스플레이 영역(11)을 응시하는 것으로 판단한 포터블 디바이스의 동작 방법을 나타낸 도면이다. 포터블 디바이스는 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12)을 포함할 수 있다. 여기서, 제1 디스플레이 영역 및 제2 디스플레이 영역은 영역 경계선(13)에 의해 구분될 수 있다. 포터블 디바이스는 제2 디스플레이 영역에 각 폴더의 아이콘을 디스플레이할 수 있다. 포터블 디바이스는 제1 디스플레이 영역에 각 폴더에 포함된 파일들의 아이콘을 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 디스플레이 영역에 컨텐츠를 디스플레이하고, 제2 디스플레이 영역에는 제1 디스플레이 영역에 디스플레이된 컨텐츠의 상위 컨텐츠를 디스플레이할 수 있다.
도 4의 좌측 상단에서 포터블 디바이스(10)는 제2 디스플레이 영역에 제1 폴더(41) 및 제2 폴더(42)를 디스플레이할 수 있다. 포터블 디바이스는 사용자가 제1 폴더(41)를 선택하면 제1 디스플레이 영역에 제1 폴더(41)에 포함된 파일(43)을 디스플레이할 수 있다. 제1 디스플레이 영역에 사용자의 제어 입력(21)이 디텍팅되면, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 사용자가 제1 디스플레이 영역을 응시하는 것으로 판단되면, 도 4의 우측 상단과 같이 포터블 디바이스는 제어 입력(21)에 대응하여 제1 폴더(41)에 포함된 다른 파일(44)을 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 폴더(41)에 포함된 컨텐츠를 제어 입력(21)에 따라 스크롤하여 디스플레이할 수 있다. 위의 설명에서는 제1 폴더의 컨텐츠를 스크롤하는 동작을 예로 설명했지만, 본 명세서의 포터블 디바이스가 컨텐츠를 제어함은 컨텐츠를 확대, 축소, 이동, 복사 및 잘라내는 동작을 포함할 수 있다.
도 4의 하단은 사용자가 제2 디스플레이 영역(12)을 응시하는 것으로 판단한 포터블 디바이스의 동작 방법을 나타낸 도면이다. 도 4의 좌측 하단에서 포터블 디바이스(10)는 제2 디스플레이 영역에 제1 폴더(41) 및 제2 폴더(42)를 디스플레이할 수 있다. 포터블 디바이스는 사용자가 제1 폴더(41)를 선택하면 제1 디스플레이 영역에 제1 폴더(41)에 포함된 파일(43)을 디스플레이할 수 있다. 제1 디스플레이 영역에 사용자의 제어 입력(21)이 디텍팅되면, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 사용자가 제2 디스플레이 영역을 응시하는 것으로 판단되면, 도 4의 우측 하단과 같이 포터블 디바이스는 사용자에 의해 선택되었던 제1 폴더(41)를 선택해제하고, 제어 입력(21)에 대응하여 제2 폴더(42)를 선택할 수 있다. 이에 더하여, 포터블 디바이스는 제1 디스플레이 영역(11)에 제2 폴더(42)에 포함된 파일(45)을 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 디스플레이 영역(11)에서 디텍팅된 제어 입력(11)에 대응하여 제2 디스플레이 영역(12)에 디스플레이된 컨텐츠를 제어할 수 있다.
상술한 바와 같이, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지에 대한 정보 및 디텍팅된 제어 입력에 기초하여 디스플레이된 컨텐츠를 제어할 수 있다. 이를 통해, 사용자는 제1 디스플레이 영역에 대한 제어 입력 및 시선을 이용하여 제1 디스플레이 영역 또는 제2 디스플레이 영역을 각각 제어할 수 있다.
도 5는 본 명세서의 일 실시예에 따른 스크롤 휠 인터페이스를 포함하는 인덱스를 제어하는 방법을 나타낸 도면이다. 포터블 디바이스는 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12)을 포함할 수 있다. 여기서, 제1 디스플레이 영역 및 제2 디스플레이 영역은 영역 경계선(13)에 의해 구분될 수 있다. 포터블 디바이스는 사용자의 시선이 복수의 디스플레이 영역 중 어느 영역을 응시하는지 판단할 수 있다. 포터블 디바이스는 제어 입력이 디텍팅되면, 사용자의 시선이 응시하는 디스플레이 영역을 디텍팅된 제어 입력에 대응하여 제어할 수 있다.
도 5의 상단은 사용자가 제1 디스플레이 영역(11)을 응시하는 것으로 판단한 포터블 디바이스의 동작 방법을 나타낸 도면이다. 포터블 디바이스는 제1 디스플레이 영역(11) 및 제2 디스플레이 영역(12)을 포함할 수 있다. 여기서, 제1 디스플레이 영역 및 제2 디스플레이 영역은 영역 경계선(13)에 의해 구분될 수 있다. 포터블 디바이스는 제2 디스플레이 영역(12)에 스크롤 휠 인터페이스(51)를 디스플레이할 수 있다. 스크롤 휠 인터페이스(51)는 적어도 하나 이상의 엔트리를 포함할 수 있으며 각 엔트리는 컨텐츠에 대응될 수 있다. 포터블 디바이스는 스크롤 휠 인터페이스의 엔트리가 선택되면, 엔트리에 대응하는 컨텐츠를 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 디스플레이 영역에 컨텐츠를 디스플레이하고, 제2 디스플레이 영역에는 제1 디스플레이 영역에 디스플레이된 컨텐츠의 상위 컨텐츠인 엔트리를 스크롤 휠 인터페이스(51)로써 디스플레이할 수 있다.
도 5의 좌측 상단에서 포터블 디바이스(10)는 제2 디스플레이 영역에 스크롤 휠 인터페이스(51)를 디스플레이할 수 있다. 포터블 디바이스는 스크롤 휠 인터페이스(51)에 제1 엔트리 및 제2 엔트리를 디스플레이할 수 있다. 포터블 디바이스는 스크롤 휠 인터페이스의 엔트리 중 선택된 엔트리를 선택되지 않은 엔트리에 비해 큰 사이즈로 디스플레이할 수 있다. 도 5의 상단에서는 제1 엔트리가 선택된 엔트리이고, 제2 엔트리는 선택되지 않은 엔트리이다.
포터블 디바이스는 선택된 제1 엔트리에 대응되는 컨텐츠(53)를 1 디스플레이 영역에 디스플레이할 수 있다. 제1 디스플레이 영역에 사용자의 제어 입력(21)이 디텍팅되면, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 사용자가 제1 디스플레이 영역을 응시하는 것으로 판단되면, 도 4의 우측 상단과 같이, 포터블 디바이스는 제어 입력(21)에 대응하여 제1 엔트리에 대응하는 다른 컨텐츠(54)를 제1 디스플레이 영역(11)에 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 엔트리에 대응된 컨텐츠를 제어 입력(21)에 따라 스크롤하여 디스플레이할 수 있다. 위의 설명에서는 컨텐츠를 스크롤하는 동작을 예로 설명했지만, 본 명세서의 포터블 디바이스가 컨텐츠를 제어함은 컨텐츠를 확대, 축소, 이동, 복사 및 잘라내는 동작을 포함할 수 있다.
도 5의 하단은 사용자가 제2 디스플레이 영역(12)을 응시하는 것으로 판단한 포터블 디바이스의 동작 방법을 나타낸 도면이다. 도 5의 좌측 하단에서 포터블 디바이스(10)는 제2 디스플레이 영역에 스크롤 휠 인터페이스(51)를 디스플레이할 수 있다. 사용자가 제1 엔트리를 선택하면, 포터블 디바이스는 제1 디스플레이 영역에 제1 엔트리에 대응되는 컨텐츠(53)를 디스플레이할 수 있다. 제1 디스플레이 영역에 사용자의 제어 입력(21)이 디텍팅되면, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 사용자가 제2 디스플레이 영역을 응시하는 것으로 판단되면, 포터블 디바이스는 제어 입력(21)에 따라 스크롤 휠 인터페이스(51)를 회전시킬 수 있다.
도 5의 우측 하단과 같이 포터블 디바이스는 제어 입력(21)에 따라 휠 인터페이스를 회전시키고, 사용자에 의해 선택되었던 제1 엔트리 대신 제2 엔트리를 선택할 수 있다. 이에 더하여, 포터블 디바이스는 제1 디스플레이 영역(11)에 제2 엔트리에 대응되는 컨텐츠(55)를 디스플레이할 수 있다. 즉, 포터블 디바이스는 제1 디스플레이 영역(11)에서 디텍팅된 제어 입력(11)에 대응하여 제2 디스플레이 영역(12)에 디스플레이된 스크롤 휠 인터페이스를 제어할 수 있다.
포터블 디바이스는 제1 디스플레이 영역에 입력된 제어 입력에 대응하여 제1 또는 제2 디스플레이 영역을 제어함에 있어서, 제어 감도를 다르게 할 수 있다. 예를 들어 포터블 디바이스가 제어 입력에 대응하여 제1 디스플레이 영역의 컨텐츠를 제어할 때, 포터블 디바이스는 제어 입력이 이동한 제1 거리에 대응하여 컨텐츠를 제2 거리만큼 스크롤할 수 있다. 또한 포터블 디바이스가 제어 입력에 대응하여 제2 디스플레이 영역의 스크롤 휠 인터페이스를 제어할 때, 제어 입력이 이동한 제1 거리에 대응하여 스크롤 휠 인터페이스를 제3 거리만큼 회전시킬 수 있다. 이와 같이 포터블 디바이스는 동일한 제어 입력에 대하여 그 제어 대상에 따라 제어 감도를 다르게 함으로써 사용자에게 정밀한 제어 동작을 제공할 수 있다.
상술한 바와 같이, 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지에 대한 정보 및 디텍팅된 제어 입력에 기초하여 디스플레이된 인터페이스 및 컨텐츠를 제어할 수 있다. 이를 통해, 사용자는 제1 디스플레이 영역에 대한 제어 입력 및 시선을 이용하여 제1 디스플레이 영역 또는 제2 디스플레이 영역을 각각 제어할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다. 디스플레이 디바이스는 디스플레이 유닛(101), 센서 유닛(102) 및 컨트롤러(103)를 포함할 수 있다.
디스플레이 유닛(101)은 컨텐츠를 디스플레이할 수 있다. 디스플레이 유닛은 제1 디스플레이 영역 및 제2 디스플레이 영역을 포함할 수 있다. 디스플레이 유닛은 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역 및 포터블 디바이스의 측면 또는 윗면에 위치한 제2 디스플레이 영역을 포함할 수 있다. 디스플레이 유닛의 제1 디스플레이 영역 및 제2 디스플레이 영역은 영역 경계선에 의해 구분될 수 있다. 디스플레이 유닛의 제2 디스플레이 영역은 곡면 형태로 생산될 수 있다. 디스플레이 유닛은 제1 디스플레이 영역에 컨텐츠를 디스플레이하고, 제1 디스플레이 영역의 컨텐츠에 대한 상위 컨텐츠를 제2 디스플레이 영역에 디스플레이할 수 있다. 예를 들어 디스플레이 유닛(101)이 제1 디스플레이 영역에 파일들을 디스플레이한다면, 제2 디스플레이 영역에는 파일들이 포함된 폴더를 디스플레이할 수 있다. 또한 디스플레이 유닛(101)이 제1 디스플레이 영역에 전자책을 디스플레이한다면, 제2 디스플레이 영역에는 전자책의 목차를 디스플레이할 수 있다. 또한 디스플레이 유닛(101)이 제1 디스플레이 영역에 음악 컨텐츠를 디스플레이한다면, 제2 디스플레이 영역에 음악 컨텐츠를 포함하는 음악 앨범을 디스플레이할 수 있다. 또한 디스플레이 유닛(101)이 제1 디스플레이 영역에 웹브라우저의 컨텐츠를 디스플레이한다면, 제2 디스플레이 영역에 웹브라우저의 윈도우 탭을 디스플레이할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
센서 유닛(102)은 사용자가 디스플레이 유닛에 포함된 복수의 디스플레이 영역 중 어느 영역을 응시하는지를 판단할 수 있다. 센서 유닛(102)은 사용자의 그립, 중력 방향, 사용자의 얼굴, 사용자의 시선 및 조도 변화 중 적어도 하나에 대한 정보를 이용하여 사용자가 어느 디스플레이 영역을 응시하는지 결정할 수 있다. 예를 들어 센서 유닛(102)은 사용자의 눈동자 또는 얼굴을 트랙킹하여 사용자의 시선이 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 센서 유닛(102)은 카메라, 시선 트랙킹 센서 및 이미지 센서 중 적어도 하나를 이용하여 사용자의 시선 또는 얼굴을 트랙킹할 수 있다. 또한 센서 유닛(102)은 포터블 디바이스의 기울어진 정도를 센싱하여 사용자의 시선이 어느 디스플레이 영역을 응시하는지 판단할 수 있다. 센서 유닛(102)은 기울임 각도를 센싱함에 있어서 중력 센서, 기울임 센서 및 자이로 센서 중 적어도 하나를 이용할 수 있다. 센서 유닛(102)은 사용자가 어느 영역을 응시하는지에 대한 정보를 컨트롤러에 전달할 수 있다.
또한 센서 유닛(102)은 사용자의 제어 입력을 디텍팅할 수 있다. 포터블 디바이스는 터치 입력, 보이스 입력, 리모컨 입력 및 제스쳐 입력 중 적어도 하나를 제어 입력으로 디텍팅할 수 있다. 센서 유닛은 터치 센서티브 디스플레이 유닛, 자이로 센서, 리모컨 수신부, 마이크, 동작 센서, 근접 센서 및 조도 센서 중 적어도 하나를 이용하여 사용자의 제어 입력을 디텍팅할 수 있다. 센서 유닛은 디텍팅된 사용자의 제어 입력을 컨트롤러에 전달할 수 있다.
컨트롤러(103)는 센서 유닛으로부터 전달받은 정보를 이용하여 디스플레이 유닛을 제어할 수 있다. 컨트롤러(103)는 센서 유닛으로부터 사용자의 시선이 디스플레이 유닛의 어느 영역을 응시하는지에 대한 정보 및 제어 입력에 대한 정보를 전달받을 수 있다. 사용자의 시선이 제1 디스플레이 영역을 응시하고 제1 디스플레이 영역에서 제어 입력이 디텍팅된 경우, 컨트롤러(103)는 제어 입력에 대응하여 제1 디스플레이 영역에 디스플레이된 컨텐츠를 제어할 수 있다. 또한 사용자의 시선이 제2 디스플레이 영역을 응시하고 제1 디스플레이 영역에서 제어 입력이 디텍팅된 경우, 컨트롤러(103)는 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 컨텐츠를 제어할 수 있다. 이를 통해 컨트롤러는 사용자의 시선에 따라 제1 디스플레이 영역에서 디텍팅된 제어 입력을 제1 디스플레이 영역 또는 제2 디스플레이 영역에 적용할 수 있다.
도 6은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스의 엘러먼트들은 포터블 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 7은 본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법을 나타낸 도면이다. 포터블 디바이스는 복수의 레이어들 중 제1 레이어를 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역에 디스플레이할 수 있다(S10). 도 1에서 설명한 바와 같이, 포터블 디바이스는 복수 개의 어플리케이션을 병행해서 실행할 수 있다. 포터블 디바이스는 실행 중인 복수 개의 어플리케이션 중 하나의 어플리케이션에 대응하는 실행화면을 제1 레이어로써 제1 디스플레이 영역에 디스플레이할 수 있다. 포터블 디바이스는 디스플레이되지 않은 다른 어플리케이션에 대응하는 레이어들을 백그라운드프로그램으로써 실행할 수 있다.
포터블 디바이스는 복수의 레이어들에 대한 인덱스를 포터블 디바이스의 측면에 위치한 제2 디스플레이 영역에 디스플레이할 수 있다(S10). 도 1에서 설명한 바와 같이 포터블 디바이스는 복수의 레이어들에 대한 인덱스를 제2 디스플레이 영역에 디스플레이할 수 있다. 포터블 디바이스는 인덱스에 포함된 각 엔트리를 복수의 레이어들 각각에 대응시킬 수 있다. 즉, 포터블 디바이스가 제1 레이어 및 제2 레이어를 실행 중인 경우, 포터블 디바이스는 제1 레이어를 인덱스에 포함된 제1 엔트리에 대응시키고, 제2 레이어를 인덱스에 포함된 제2 엔트리에 대응시킬 수 있다. 포터블 디바이스는 실행 중인 어플리케이션 또는 레이어에 대응하는 엔트리들을 포함하는 인덱스를 제2 디스플레이 영역에 별도로 디스플레이함으로써 실행중인 어플리케이션 또는 레이어에 대한 정보를 제공할 수 있다.
포터블 디바이스는 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자가 응시하는 디스플레이 영역을 센싱할 수 있다(S20). 포터블 디바이스는 센서 유닛을 이용하여 사용자가 제1 디스플레이 영역 또는 제2 디스플레이 영역을 응시하는 것을 센싱할 수 있다. 도 3 및 도 6에서 설명한 바와 같이, 포터블 디바이스는 사용자의 시선을 디텍팅하거나, 포터블 디바이스가 기울어진 정도를 센싱하여 사용자의 응시 영역을 센싱할 수 있다. 포터블 디바이스는 사용자가 응시하는 디스플레이 영역에 대한 정보에 기초하여 각 디스플레이 영역에 디스플레이된 컨텐츠를 제어할 수 있다.
포터블 디바이스는 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅할 수 있다(S30). 포터블 디바이스는 음성 입력, 제스쳐 입력, 터치 입력 및 리모컨 입력 중 적어도 하나를 제1 제어 입력으로 디텍팅할 수 있다. 포터블 디바이스는 터치 센서, 마이크, 신호 수신부 및 동작 센서를 이용하여 제1 제어 입력을 디텍팅할 수 있다.
포터블 디바이스는 사용자가 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 디스플레이 영역에 대한 제1 제어 입력에 대응하여 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어할 수 있다(S40). 도 2에서 설명한 바와 같이, 포터블 디바이스는 사용자가 응시하는 제1 디스플레이 영역에 디스플레이된 제1 레이어에 포함된 컨텐츠를 스크롤하거나 컨텐츠의 페이지를 넘길 수 있다. 이에 따라 포터블 디바이스는 제1 레이어에 대응하는 제1 엔트리에 포함된 다른 컨텐츠를 디스플레이할 수도 있다. 사용자가 제1 디스플레이 영역을 응시하는 동안에 포터블 디바이스는 제1 제어 입력에 대응하여 제1 디스플레이 영역을 제어할 수 있다.
포터블 디바이스는 사용자가 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 제1 디스플레이 영역에 대한 제1 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다(S50). 도 3에서 설명한 바와 같이, 포터블 디바이스는 사용자가 응시하는 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다. 인덱스는 복수의 레이어에 각각 대응하는 복수의 엔트리들을 포함할 수 있다. 도 4 및 5에서 설명한 바와 같이, 포터블 디바이스는 인덱스를 디스플레이함에 있어서, 폴더를 나열하거나 스크롤 휠 인터페이스를 디스플레이할 수 있다. 또한 포터블 디바이스는 인덱스를 제어함에 있어서, 복수의 엔트리들 중 하나를 선택할 수 있다. 포터블 디바이스는 제1 제어 입력에 대응하여 복수의 폴더들 중 하나를 선택할 수 있다. 또한 포터블 디바이스는 제1 제어 입력에 대응하여 스크롤 휠 인터페이스를 회전시켜 복수의 엔트리 중 하나를 선택할 수 있다. 포터블 디바이스는 선택된 폴더 또는 엔트리에 대응되는 레이어를 제1 디스플레이 영역에 디스플레이할 수 있다.
상술한 바와 같이 본 명세서의 포터블 디바이스는 사용자의 시선에 대해 적응적으로 제어 대상을 변경할 수 있다. 즉, 포터블 디바이스는 사용자의 제어 입력이 디텍팅된 디스플레이 영역을 제어하는 대신, 사용자가 응시하는 디스플레이 영역을 제어할 수 있다. 따라서 포터블 디바이스는 동일한 디스플레이 영역에서 제어 입력이 디텍팅되더라도 사용자가 어느 디스플레이 영역을 응시하고 있는지에 따라 각각 다른 디스플레이 영역에 디스플레이된 컨텐츠를 제어할 수 있다.
도 8은 본 명세서의 다른 실시예에 따른 포터블 디바이스를 제어하는 방법을 나타낸 순서도이다. 포터블 디바이스는 복수의 컨텐츠 중 제1 컨텐츠를 제1 디스플레이 영역에 디스플레이할 수 있다(S110). 포터블 디바이스는 도 1에서 설명한 바와 같이 제1 디스플레이 영역에 제1 컨텐츠를 디스플레이할 수 있다. 여기서, 제1 컨텐츠는 제1 레이어로 칭할 수 있다. 포터블 디바이스는 복수의 컨텐츠 중에서 포터블 디바이스 또는 사용자에 의해 선택된 제1 컨텐츠를 디스플레이할 수 있다. 컨텐츠는 웹브라우저, 어플리케이션 실행화면, 멀티미디어 컨텐츠, 사진 및 문서를 포함할 수 있다. 사용자는 제1 디스플레이 영역을 통해 실행중인 컨텐츠를 시각으로 확인할 수 있다.
포터블 디바이스는 복수의 컨텐츠에 대한 인덱스를 제2 디스플레이 영역에 디스플레이할 수 있다(S120). 도 1에서 설명한 바와 같이, 포터블 디바이스는 복수의 컨텐츠에 대한 제목, 요약 내용 또는 태그를 포함하는 인덱스를 제2 디스플레이 영역에 디스플레이할 수 있다. 인덱스는 복수의 컨텐츠에 대한 제목, 요약 내용 또는 태그를 엔트리로서 포함할 수 있다. 즉, 포터블 디바이스는 복수의 컨텐츠 각각에 대응하는 엔트리를 인덱스에 포함시키고, 그 인덱스를 디스플레이할 수 있다.
포터블 디바이스는 사용자가 응시하는 디스플레이 영역을 센싱하고 그 영역이 제1 디스플레이 영역인지 제2 디스플레이 영역인지 판단할 수 있다(S130,S140). 포터블 디바이스는 사용자가 어느 디스플레이 영역을 응시하는지 센싱하고 판단할 수 있다. 도 2 내지 3에서 설명한 바와 같이, 포터블 디바이스는 사용자가 제1 디스플레이 영역 및 제2 디스플레이 영역 중 어느 영역을 응시하는지 센싱할 수 있다. 포터블 디바이스는 기울임 센서, 시선 트랙킹 센서, 페이스 디텍팅 센서, 중력 센서, 자이로 센서, 근접 센서 및 조도 센서 중 적어도 하나를 이용하여 사용자의 응시 영역을 센싱할 수 있다. 포터블 디바이스는 센싱된 결과에 기초하여 사용자의 응시 영역이 제1 디스플레이 영역인지 제2 디스플레이 영역인지 판단할 수 있다. 실시예에 따라 포터블 디바이스는 사용자의 제1 제어 입력이 디텍팅된 후에 사용자가 응시하는 디스플레이 영역을 센싱하고 사용자가 응시하는 디스플레이 영역을 판단할 수도 있다.
포터블 디바이스는 사용자가 제1 영역을 응시하는 경우 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅할 수 있다(S150). 포터블 디바이스는 사용자의 음성 입력, 제스쳐 입력, 터치 입력 및 리모컨 입력 중 적어도 하나를 제1 제어 입력으로 디텍팅할 수 있다. 포터블 디바이스는 터치 센서, 마이크, 신호 수신부 및 동작 센서를 이용하여 제1 제어 입력을 디텍팅할 수 있다.
포터블 디바이스는 제1 제어 입력에 대응하여 제1 디스플레이 영역에 디스플레이된 제1 컨텐츠를 제어할 수 있다(S160). 포터블 디바이스는 제1 제어 입력의 속성에 대응하여 제1 컨텐츠를 제어할 수 있다. 제1 제어 입력의 속성은 제1 제어 입력의 종류, 방향 및 속도을 포함할 수 있다. 포터블 디바이스는 제1 컨텐츠를 제어함에 있어서, 제1 컨텐츠를 스크롤하거나 이동시킬 수 있다. 또한 포터블 디바이스가 제1 컨텐츠를 제어함은 제1 컨텐츠를 스크롤, 확대, 축소, 이동, 복사 및 잘라내는 동작을 포함할 수 있다.
포터블 디바이스는 사용자가 제2 영역을 응시하는 경우 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅할 수 있다(S170). 포터블 디바이스는 사용자의 음성 입력, 제스쳐 입력, 터치 입력 및 리모컨 입력 중 적어도 하나를 제1 제어 입력으로 디텍팅할 수 있다. 포터블 디바이스는 터치 센서, 마이크, 신호 수신부 및 동작 센서를 이용하여 제1 제어 입력을 디텍팅할 수 있다.
포터블 디바이스는 제1 제어 입력에 대응하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다(S180). 포터블 디바이스는 제1 디스플레이 영역에 대한 제1 제어 입력을 이용하여 제2 디스플레이 영역을 제어할 수 있다. 포터블 디바이스는 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다. 포터블 디바이스는 인덱스를 제어함에 있어서, 인덱스에 포함된 복수의 엔트리들 중 적어도 하나의 엔트리를 선택할 수 있다. 엔트리가 선택되는 경우, 포터블 디바이스는 해당 엔트리에 대응하는 컨텐츠를 제1 디스플레이 영역에 디스플레이할 수 있다. 만약 제1 디스플레이 영역에 디스플레이된 컨텐츠와 선택된 엔트리에 대응하는 컨텐츠가 다른 경우, 포터블 디바이스는 선택된 엔트리에 대응하는 컨텐츠를 제1 디스플레이 영역에 디스플레이할 수 있다. 이를 통해 사용자는 제1 디스플레이 영역에 대한 제1 제어 입력을 이용하여 제2 디스플레이 영역에 디스플레이된 인덱스를 제어할 수 있다. 결과적으로 포터블 디바이스는 사용자의 인덱스에 대한 제어에 기초하여 제1 디스플레이 영역에 디스플레이된 컨텐츠를 변경할 수 있다.
상술한 바와 같이 본 명세서의 포터블 디바이스는 동일한 제어 입력에 대해 사용자가 응시하는 디스플레이 영역에 따라 제어 대상을 적응적으로 변경할 수 있다.
10: 포터블 디바이스 11: 제1 디스플레이 영역
12: 제2 디스플레이 영역 14: 레이어
15: 인덱스

Claims (20)

  1. 포터블 디바이스에 있어서,
    제어 입력을 디텍팅하고 디지털 인포메이션을 디스플레이하는 디스플레이 유닛, 상기 디스플레이 유닛은 상기 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역 및 상기 포터블 디바이스의 윗면 또는 측면에 위치한 제2 디스플레이 영역을 포함함;
    상기 제1 디스플레이 영역 및 상기 제2 디스플레이 영역 중 사용자가 어느 디스플레이 영역을 응시하는지 센싱하는 센서 유닛; 및
    상기 디스플레이 유닛 및 상기 센서 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써,
    상기 컨트롤러는
    복수의 레이어들 중 제1 레이어를 상기 제1 디스플레이 영역에 디스플레이하고, 상기 복수의 레이어들에 대한 인덱스를 상기 제2 디스플레이 영역에 디스플레이하고,
    상기 제1 디스플레이 영역 및 상기 제2 디스플레이 영역 중 상기 사용자가 응시하는 디스플레이 영역을 센싱하고,
    상기 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅하고,
    상기 사용자가 상기 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 상기 제1 제어 입력에 대응하여 상기 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어하고,
    상기 사용자가 상기 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 상기 제1 제어 입력에 대응하여 상기 제2 디스플레이 영역에 디스플레이된 상기 인덱스를 제어하는 포터블 디바이스.
  2. 제 1 항에 있어서,
    상기 제1 디스플레이 영역 및 상기 제 2 디스플레이 영역은 인접하고, 상기 제2 디스플레이 영역은 곡면인 포터블 디바이스.
  3. 제 1 항에 있어서,
    상기 인덱스는 상기 복수의 레이어들 각각에 대응하는 엔트리들을 포함하는 포터블 디바이스.
  4. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제1 제어 입력에 대응하여 상기 제2 디스플레이 영역에 디스플레이된 상기 인덱스를 제어함에 있어서,
    상기 제1 제어 입력에 대응하여, 상기 제2 디스플레이 영역에 디스플레이된 상기 인덱스 중 제2 레이어에 대응하는 제1 엔트리를 선택하고,
    상기 선택된 제1 엔트리에 대응되는 상기 제2 레이어를 상기 제1 디스플레이 영역에 디스플레이하는 포터블 디바이스.
  5. 제 1 항에 있어서,
    상기 컨트롤러는,
    상기 제1 제어 입력에 대응하여 상기 제2 디스플레이 영역에 디스플레이된 상기 인덱스를 제어함에 있어서,
    상기 제2 디스플레이 영역에 스크롤 휠(scroll wheel) 인터페이스를 디스플레이하고, 여기서 상기 인덱스는 상기 스크롤 휠 인터페이스에 디스플레이됨,
    상기 제1 제어 입력에 대응하여 상기 스크롤 휠 인터페이스를 회전시키는 포터블 디바이스.
  6. 제 1 항에 있어서,
    상기 컨트롤러는,
    상기 스크롤 휠 인터페이스의 회전이 멈추면,
    상기 스크롤 휠 인터페이스에 의해 선택된 제2 엔트리에 대응하는 제3 레이어를 상기 제1 디스플레이 영역에 디스플레이하는 포터블 디바이스.
  7. 제 1 항에 있어서,
    상기 컨트롤러는,
    상기 제1 제어 입력에 대응하여 상기 제1 레이어를 제어할 때, 상기 제1 제어 입력이 이동한 제1 거리에 대응하여 상기 제1 레이어를 제2 거리만큼 스크롤하고,
    상기 제1 제어 입력에 대응하여 상기 인덱스를 제어할 때, 상기 제1 제어 입력이 이동한 상기 제1 거리에 대응하여 상기 인덱스를 제3 거리만큼 스크롤하는 포터블 디바이스.
  8. 제 7 항에 있어서,
    상기 제2 거리는 제3 거리보다 크거나 같은 값을 갖는 포터블 디바이스.
  9. 제 1 항에 있어서,
    상기 복수의 레이어들은 실행중인 어플리케이션의 실행 화면들에 각각 대응하는 포터블 디바이스.
  10. 제 1 항에 있어서,
    상기 복수의 레이어들은 하나의 웹브라우저에 속하는 복수의 탭에 각각 대응하고,
    상기 인덱스는 상기 복수의 탭을 엔트리로써 포함하는 포터블 디바이스.
  11. 제 1 항에서 있어서,
    상기 인덱스는 각각 파일을 포함하는 복수의 폴더 아이콘들을 엔트리로써 포함하고,
    상기 복수의 레이어들은 상기 복수의 폴더 아이콘들에 각각 대응되는 포터블 디바이스.
  12. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제1 제어 입력에 대응하여 상기 제1 디스플레이 영역에 디스플레이된 상기 제1 레이어를 제어함에 있어서,
    상기 제1 제어 입력의 속성에 대응하여 상기 제1 레이어에 포함된 컨텐츠를 제어하는 포터블 디바이스.
  13. 제 12 항에 있어서,
    상기 제1 제어 입력의 속성은 상기 제1 제어 입력의 종류, 방향 및 속도 중 적어도 하나를 포함하는 포터블 디바이스.
  14. 제 12 항에 있어서,
    상기 제1 레이어에 포함된 상기 컨텐츠를 제어함은 상기 컨텐츠를 스크롤, 확대, 축소, 이동, 복사 및 잘라내는 동작 중 적어도 하나를 포함하는 포터블 디바이스.
  15. 제 1 항에 있어서,
    상기 센서 유닛은,
    상기 사용자의 그립, 중력 방향, 상기 사용자의 얼굴, 상기 사용자의 시선 방향 및 조도 변화 중 적어도 하나를 이용하여 상기 사용자가 어느 디스플레이 영역을 응시하는지 결정하는 포터블 디바이스.
  16. 제 15 항에 있어서,
    상기 센서 유닛은 상기 중력 방향을 기준으로 상기 포터블 디바이스의 기울어진 각도를 측정하여 상기 사용자가 어느 디스플레이 영역을 응시하는지 판단하는 포터블 디바이스.
  17. 제 16 항에 있어서,
    상기 센서 유닛은 기울임 센서, 자이로 센서 및 중력 센서 중 적어도 하나를 이용하여 상기 기울어진 각도를 측정하는 포터블 디바이스.
  18. 제 1 항에 있어서,
    상기 제1 디스플레이 영역 및 상기 제2 디스플레이 영역은 상기 포터블 디바이스의 모서리에 의해 구분되는 포터블 디바이스.
  19. 제 18 항에 있어서,
    상기 제1 디스플레이 영역 및 제2 디스플레이 영역 사이의 내각은 90도 이상, 180도 미만의 값을 갖는 포터블 디바이스.
  20. 포터블 디바이스를 제어하는 방법에 있어서,
    복수의 레이어들 중 제1 레이어를 상기 포터블 디바이스의 전면에 위치한 제1 디스플레이 영역에 디스플레이하는 단계;
    상기 복수의 레이어들에 대한 인덱스를 상기 포터블 디바이스의 측면에 위치한 제2 디스플레이 영역에 디스플레이하는 단계;
    상기 제1 디스플레이 영역 및 상기 제2 디스플레이 영역 중 사용자가 응시하는 디스플레이 영역을 센싱하는 단계;
    상기 제1 디스플레이 영역에 대한 제1 제어 입력을 디텍팅하는 단계;
    상기 사용자가 상기 제1 디스플레이 영역을 응시하는 것으로 센싱되면, 상기 제1 제어 입력에 대응하여 상기 제 1 디스플레이 영역에 디스플레이된 제1 레이어를 제어하는 단계; 및
    상기 사용자가 상기 제2 디스플레이 영역을 응시하는 것으로 센싱되면, 상기 제1 제어 입력에 대응하여 상기 제2 디스플레이 영역에 디스플레이된 상기 인덱스를 제어하는 단계를 포함하는 포터블 디바이스 제어 방법.
KR1020130044719A 2013-04-23 2013-04-23 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법 KR20140126492A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130044719A KR20140126492A (ko) 2013-04-23 2013-04-23 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
US13/906,025 US9811156B2 (en) 2013-04-23 2013-05-30 Portable device including index display region and method for controlling the same
PCT/KR2013/004969 WO2014175504A1 (en) 2013-04-23 2013-06-05 Portable device including index display region and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130044719A KR20140126492A (ko) 2013-04-23 2013-04-23 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20140126492A true KR20140126492A (ko) 2014-10-31

Family

ID=51728625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130044719A KR20140126492A (ko) 2013-04-23 2013-04-23 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US9811156B2 (ko)
KR (1) KR20140126492A (ko)
WO (1) WO2014175504A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (ko) * 2015-05-27 2016-12-01 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR20180072645A (ko) * 2018-06-21 2018-06-29 장대용 단말기 하중을 이용한 사용자 단말기 스크롤 방법 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
US10475146B2 (en) 2015-06-15 2019-11-12 Samsung Electronics Co., Ltd. Device for controlling multiple areas of display independently and method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD735747S1 (en) * 2013-03-14 2015-08-04 Microsoft Corporation Display screen with graphical user interface
US10497096B2 (en) * 2013-09-17 2019-12-03 Nokia Technologies Oy Determination of a display angle of a display
TWI681330B (zh) * 2014-09-02 2020-01-01 南韓商三星電子股份有限公司 用以執行可攜式終端的應用程式的方法和可攜式終端裝置
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US20220091722A1 (en) * 2020-09-23 2022-03-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162355A (ja) * 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
KR100690726B1 (ko) 2004-09-14 2007-03-09 엘지전자 주식회사 멀티태스킹이 구현된 휴대 단말기와 그 제어 방법
KR20060032881A (ko) 2004-10-13 2006-04-18 엘지전자 주식회사 복수개의 화면을 구비한 휴대용 단말기와 그 제어 방법.
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US9052926B2 (en) * 2010-04-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US8648880B2 (en) 2010-06-03 2014-02-11 Sony Corporation Terminal device, display method, and application computer program product
US9142193B2 (en) * 2011-03-17 2015-09-22 Intellitact Llc Linear progression based window management
CN102707860A (zh) 2011-03-28 2012-10-03 鸿富锦精密工业（深圳）有限公司 屏幕保护控制系统及方法
KR20120126161A (ko) 2011-05-11 2012-11-21 삼성전자주식회사 휴대 단말기 및 이의 화면 제어 방법
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
KR102041883B1 (ko) * 2012-07-09 2019-11-08 삼성디스플레이 주식회사 커브드 프레임 및 이를 갖는 커브드 표시장치
US8732613B2 (en) * 2012-09-06 2014-05-20 Google Inc. Dynamic user interface for navigating among GUI elements

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (ko) * 2015-05-27 2016-12-01 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10585283B2 (en) 2015-05-27 2020-03-10 Lg Electronics Inc. Head mounted display and control method therefor
US10475146B2 (en) 2015-06-15 2019-11-12 Samsung Electronics Co., Ltd. Device for controlling multiple areas of display independently and method thereof
KR20180072645A (ko) * 2018-06-21 2018-06-29 장대용 단말기 하중을 이용한 사용자 단말기 스크롤 방법 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US9811156B2 (en) 2017-11-07
US20140313119A1 (en) 2014-10-23
WO2014175504A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
KR20140126492A (ko) 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
US8788964B2 (en) Method and system for configuring an idle screen in a portable terminal
US20130139074A1 (en) Information processing apparatus and drag control method
US8448086B2 (en) Display apparatus, display method, and program
US9477370B2 (en) Method and terminal for displaying a plurality of pages, method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
KR101600643B1 (ko) 드래그 동작을 이용한 콘텐츠의 패닝
US20110296329A1 (en) Electronic apparatus and display control method
US20140380209A1 (en) Method for operating portable devices having a touch screen
CN107024965A (zh) 信息处理系统和信息处理方法
CN114153407A (zh) 显示应用的方法和装置
EP2687970A2 (en) System, apparatus and method for displaying keypad via various types of gestures
KR20160098752A (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
US9851876B2 (en) Method, apparatus and computer-readable medium for adjusting size of screen object
CN108089643B (zh) 电子设备和增强与电子设备交互的方法
US11474693B2 (en) OSDs for display devices
WO2015152890A1 (en) Three-part gesture
US11893229B2 (en) Portable electronic device and one-hand touch operation method thereof
US11221754B2 (en) Method for controlling a display device at the edge of an information element to be displayed
KR20130068700A (ko) 전자서적을 표시하는 방법 및 장치
TW200949615A (en) Panning content utilizing a drag-operation
JP6589844B2 (ja) 表示制御装置、及び表示制御方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination