KR20150101915A - 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스 - Google Patents

3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스 Download PDF

Info

Publication number
KR20150101915A
KR20150101915A KR1020140175379A KR20140175379A KR20150101915A KR 20150101915 A KR20150101915 A KR 20150101915A KR 1020140175379 A KR1020140175379 A KR 1020140175379A KR 20140175379 A KR20140175379 A KR 20140175379A KR 20150101915 A KR20150101915 A KR 20150101915A
Authority
KR
South Korea
Prior art keywords
user
new data
rendering
viewpoint
input
Prior art date
Application number
KR1020140175379A
Other languages
English (en)
Inventor
신승호
황선호
곽영민
박찬민
이상경
전해인
류종엽
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2015/001954 priority Critical patent/WO2015130137A1/en
Priority to CN201580010474.7A priority patent/CN106030484A/zh
Publication of KR20150101915A publication Critical patent/KR20150101915A/ko
Priority to US15/239,248 priority patent/US20160357399A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

본 발명에 의한 사용자의 시점에 따른 3차원 GUI 화면의 표시 방법은, 디바이스에서 사용자의 시점(viewpoint)을 인식하는 단계; 상기 인식된 사용자의 시점에 따라 3차원 GUI(Graphic User Interface) 화면을 렌더링하는 단계; 및 상기 렌더링된 3차원 GUI 화면을 상기 디바이스의 디스플레이부에 표시하는 단계를 포함하며, 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시되는 것을 특징으로 한다.

Description

3차원 GUI 화면의 표시 방법 및 이를 수행하기 위한 디바이스 {METHOD FOR DISPLAYING 3 DIMENSION GRAPHIC USER INTERFACE SCREEN AND DEVICE FOR PERFORMING THE SAME}
본 발명은 디바이스에서 3차원 GUI(Graphic User Interface) 화면을 표시하는 방법에 관한 것이다.
최근에는 다양한 디바이스에서 3차원 GUI 화면을 제공함으로써 사용자에게 보다 직관적이고 편리한 사용성을 제공하고자 한다.
3차원 GUI 화면을 표시하기 위해서는 화면상에 표시될 메뉴 객체들에 대한 렌더링이 수행되어야 하는데, 렌더링 시점에 따라서 3차원 GUI 화면상에 포함된 메뉴 객체들을 다양한 방향에서 바라본 모습이 표시될 수 있다.
즉, 3차원 GUI 화면은 렌더링 시점에 따라서 표현될 수 있는 범위가 다양하므로 사용자에게 보다 실감나고 재미난 화면을 제공할 수 있을 뿐만 아니라, UI의 확장 측면에 있어서도 유리한 장점이 있다.
디바이스에서 사용자의 시점을 인식하고, 인식된 사용자의 시점에 따라서 디바이스의 화면에 3차원 GUI 화면을 표시하는 방법을 제공하고자 한다.
또한, 어플리케이션의 신규 데이터 수신 여부 또는 디바이스와 사용자간의 거리에 따라서 3차원 GUI 화면을 표시하는 방법을 제공하고자 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 방법은, 디바이스에서 사용자의 시점(viewpoint)을 인식하는 단계; 상기 인식된 사용자의 시점에 따라 3차원 GUI(Graphic User Interface) 화면을 렌더링하는 단계; 및 상기 렌더링된 3차원 GUI 화면을 상기 디바이스의 디스플레이부에 표시하는 단계를 포함하며, 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시될 수 있다.
이때, 상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 메뉴에 대한 동등 또는 하위 메뉴가 확장되어 표시될 수 있다.
또는, 상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 객체의 측면 또는 후면에 존재하는 객체가 추가적으로 표시될 수 있다.
또한, 상기 렌더링하는 단계는, 상기 인식된 사용자의 시점에 따라 렌더링 시점을 결정하는 단계; 상기 결정된 렌더링 시점에서 상기 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정하는 단계; 및 상기 결정된 적어도 하나의 객체에 대한 렌더링을 수행하는 단계를 포함할 수 있다.
또한, 상기 사용자의 시점을 인식하는 단계는 상기 디바이스의 디스플레이부와 상기 사용자의 시선 방향이 이루는 각도를 측정할 수 있다.
또한, 상기 측정된 각도가 변화함에 따라 렌더링 시점을 변화시키되, 상기 측정된 각도가 기 설정된 일정 범위를 벗어나면 렌더링 시점을 더 이상 변화시키지 않을 수 있다.
또한, 상기 렌더링 시점을 결정하는 단계는, 상기 측정된 각도와 상기 디바이스로부터 상기 사용자까지의 거리에 기초하여 상기 렌더링 시점을 결정할 수 있다.
또한, 상기 렌더링 시점을 결정하는 단계는, 상기 인식된 사용자의 시점과 상기 사용자로부터 입력된 제스처(gesture) 입력에 기초하여 상기 렌더링 시점을 결정할 수 있다.
또한, 상기 3차원 GUI 화면상에 표시되는 적어도 하나의 객체 중 다른 객체에 의해 일부가 가려진 객체의 선택이 가능할 수 있다.
또한, 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면에 추가될 적어도 하나의 새로운 객체를 결정하는 단계; 및 상기 변경된 사용자의 시점에 따라 상기 결정된 새로운 객체를 포함하는 3차원 GUI 화면을 렌더링하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 디바이스는, 사용자의 시점을 인식하기 위한 시점 인식부; 상기 인식된 사용자의 시점에 따라 렌더링 시점을 결정하는 렌더링 시점 결정부; 상기 결정된 렌더링 시점에 따라 3차원 GUI 화면의 렌더링을 수행하는 렌더링 수행부; 상기 렌더링 된 3차원 GUI 화면을 표시하기 위한 디스플레이부; 및 제어부를 포함하며, 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시될 수 있다.
이때, 상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 메뉴에 대한 동등 또는 하위 메뉴가 확장되어 표시될 수 있다.
또는, 상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 객체의 측면 또는 후면에 존재하는 객체가 추가적으로 표시될 수 있다.
또한, 상기 렌더링 수행부는 상기 결정된 렌더링 시점에서 상기 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정하고, 상기 결정된 적어도 하나의 객체에 대한 렌더링을 수행할 수 있다.
또한, 상기 시점 인식부는 상기 디바이스의 디스플레이부와 상기 사용자의 시선 방향이 이루는 각도를 측정할 수 있다.
또한, 상기 렌더링 시점 결정부는 상기 측정된 각도가 변화함에 따라 렌더링 시점을 변화시키되, 상기 측정된 각도가 기 설정된 일정 범위를 벗어나면 렌더링 시점을 더 이상 변화시키지 않을 수 있다.
또한, 상기 렌더링 시점 결정부는 상기 측정된 각도와 상기 디바이스로부터 상기 사용자까지의 거리에 기초하여 상기 렌더링 시점을 결정할 수 있다.
또한, 상기 렌더링 시점 결정부는 상기 인식된 사용자의 시점과 상기 사용자로부터 입력된 제스처 입력에 기초하여 상기 렌더링 시점을 결정할 수 있다.
또한, 상기 3차원 GUI 화면상에 표시되는 적어도 하나의 객체 중 다른 객체에 의해 일부가 가려진 객체의 선택이 가능할 수 있다.
또한, 상기 렌더링 수행부는 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면에 추가될 적어도 하나의 새로운 객체를 결정하고, 상기 변경된 사용자의 시점에 따라 상기 결정된 새로운 객체를 포함하는 3차원 GUI 화면을 렌더링할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 방법은, 디바이스에서 신규 데이터를 수신하는 단계; 상기 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단하는 단계; 및 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 신규 데이터의 알림을 표시하는 단계를 포함할 수 있다.
이때, 상기 신규 데이터의 알림은 상기 신규 데이터의 발신자 또는 상기 신규 데이터의 일부 내용 중 적어도 하나를 포함할 수 있다.
또한, 상기 신규 데이터의 알림을 선택 받으면, 선택된 신규 데이터의 내용을 표시하는 단계를 더 포함할 수 있다.
이때, 상기 선택된 신규 데이터의 내용을 표시하는 단계는, 상기 신규 데이터의 알림의 선택 입력이 터치 입력인지 아니면 호버링(hovering) 입력인지를 판단하는 단계; 및 판단 결과, 터치 입력이라면 상기 신규 데이터의 상세 내용을 표시하고, 호버링 입력이라면 상기 신규 데이터의 미리보기를 표시하는 단계를 포함할 수 있다.
또한, 상기 선택된 신규 데이터의 내용을 표시하는 단계는, 상기 신규 데이터의 알림을 선택하는 터치 입력이 지속된 시간을 측정하는 단계; 및 상기 측정된 시간이 미리 설정된 일정 시간 미만이라면 상기 신규 데이터의 상세 내용을 표시하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 이상이라면 상기 신규 데이터의 미리보기를 표시하는 단계를 포함할 수 있다.
한편, 상기 3차원 렌더링된 메뉴 아이콘을 선택하는 입력을 수신하는 단계; 및 상기 메뉴 아이콘을 선택하는 입력이 터치 입력이라면 상기 메뉴 아이콘에 대응되는 어플리케이션의 실행 화면을 표시하고, 상기 메뉴 아이콘을 선택하는 입력이 호버링 입력이라면 상기 메뉴 아이콘을 확대하여 표시하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 전자 디바이스는, 화면이 표시되는 디스플레이부; 사용자 입력을 수신하기 위한 입력부; 통신을 수행하기 위한 통신부; 데이터가 저장되기 위한 저장부; 및 상기 전자 디바이스의 동작을 제어하는 제어부를 포함하며, 상기 제어부는 상기 통신부를 통해 신규 데이터를 수신하면, 상기 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단하고, 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 상기 3차원 렌더링된 메뉴 아이콘의 측면에 상기 신규 데이터의 알림을 표시하도록 상기 디스플레이부를 제어할 수 있다.
이때, 상기 제어부는 상기 신규 데이터의 알림이 상기 신규 데이터의 발신자 또는 상기 신규 데이터의 일부 내용 중 적어도 하나를 포함하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는 상기 입력부를 통해 상기 신규 데이터의 알림을 선택받으면, 상기 선택된 신규 데이터의 내용을 표시하도록 상기 디스플레이부를 제어할 수 있다.
이때, 상기 제어부는 상기 신규 데이터의 알림의 선택 입력이 터치 입력인지 아니면 호버링(hovering) 입력인지를 판단하고, 터치 입력이라면 상기 신규 데이터의 상세 내용을 표시하고, 호버링 입력이라면 상기 신규 데이터의 미리보기를 표시하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는 상기 신규 데이터의 알림을 선택하는 터치 입력이 지속된 시간을 측정하여 미리 설정된 일정 시간과 비교하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 미만이라면 상기 신규 데이터의 상세 내용을 표시하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 이상이라면 상기 신규 데이터의 미리보기를 표시하도록 상기 디스플레이부를 제어할 수 있다.
이때, 상기 제어부는 상기 입력부를 통해 상기 3차원 렌더링된 메뉴 아이콘을 선택하는 호버링 입력을 수신하면, 상기 메뉴 아이콘을 확대하여 표시하도록 상기 디스플레이부를 제어할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 방법은, 디바이스에서 상기 디바이스와 사용자간의 거리를 측정하는 단계; 상기 측정된 거리가 일정 값 이하인지 여부를 판단하는 단계; 상기 측정된 거리가 일정 값 이하라면, 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션에 대응되는 메뉴 아이콘을 판단하는 단계; 및 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 하위 메뉴 또는 신규 데이터의 알림을 표시하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 전자 디바이스는, 화면이 표시되는 디스플레이부; 사용자 입력을 수신하기 위한 입력부; 데이터가 저장되기 위한 저장부; 상기 전자 디바이스와 사용자간의 거리를 측정하기 위한 거리 측정부; 및 상기 전자 디바이스의 동작을 제어하는 제어부를 포함하며, 상기 제어부는 상기 거리 측정부에서 측정한 상기 전자 디바이스와 사용자간의 거리가 일정 값 이하라면 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션에 대응되는 메뉴 아이콘을 판단하고, 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 하위 메뉴 또는 신규 데이터의 알림을 표시하도록 상기 디스플레이부를 제어할 수 있다.
사용자의 시점을 인식하고 그에 따라 3차원 GUI 화면을 렌더링하여 표시함으로써 사용자에게 보다 직관적인 UI 경험을 제공할 수 있다. 또한, 사용자의 시점이 변경됨에 따라 3차원 GUI 화면에 새로운 메뉴 또는 객체가 표시되도록 함으로써 보다 많은 메뉴 또는 객체를 하나의 화면에 표시할 수 있고, 따라서 UI의 확장이 가능하다. 또한, 디바이스에 대한 사용자의 위치, 사용자의 제스처 등의 사용자의 다양한 상태를 고려하여 3차원 GUI 화면에 대한 렌더링을 수행함으로써 직관성을 높일 수 있다.
또한, 어플리케이션이 신규 데이터를 수신한 경우 대응되는 메뉴 아이콘을 3차원 렌더링하고 측면에 신규 데이터 알림을 표시함으로써, 사용자는 화면 전환 없이 신규 데이터의 수신 여부 및 내용을 확인할 수 있다.
도 1은 본 발명의 실시예에 따른 모바일 디바이스를 바라보는 사용자를 도시한 도면이다.
도 2는 본 발명의 실시예에 따라 사용자의 시점에 따라 3차원 화면의 객체들을 렌더링하는 방법을 설명하기 위한 도면이다.
도 3a 내지 도 3c는 본 발명의 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 시점이 변경됨에 따라 새로운 객체들이 추가되는 모습을 도시한 도면들이다.
도 4a 내지 도 4b는 본 발명의 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 시점이 변경됨에 따라 새로운 메뉴들이 추가로 표시되는 모습을 도시한 도면들이다.
도 5는 본 발명의 실시예에 따른 3차원 GUI 화면의 표시 방법에서 디바이스에 대한 사용자의 위치를 고려하여 렌더링 시점을 결정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 3차원 GUI 화면의 표시 방법에서 사용자의 시점 변경에 따라 렌더링 시점이 변경 및 제한되는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따라 사용자의 제스처 입력에 응답하여 3차원 GUI 화면을 표시하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 터치 입력에 대한 객체의 상호작용을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 사용자의 시점에 따른 3차원 GUI 화면의 표시 방법을 수행하기 위한 디바이스의 구성을 도시한 도면이다.
도 10 내지 도 12는 본 발명의 실시예들에 따른 사용자의 시점에 따른 3차원 GUI 화면의 표시 방법을 설명하기 위한 순서도들이다.
도 13은 본 발명의 실시예에 따라 신규 메시지의 수신시 3차원 메뉴 아이콘의 측면에 신규 메시지의 알림을 표시한 예를 도시한 도면이다.
도 14는 본 발명의 실시예에 따라 신규 메시지의 수신시 3차원 메뉴 아이콘의 측면에 신규 메시지의 알림을 표시한 예를 도시한 도면이다.
도 15는 본 발명의 실시예에 따른 신규 데이터의 수신시 3차원 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시하는 방법을 나타낸 순서도이다.
도 16은 본 발명의 실시예에 따른 신규 데이터의 수신시 3차원 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시하는 방법을 나타낸 순서도이다.
도 17a 및 도 17b는 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지 알림 선택시 상세 내용을 표시하는 예를 도시한 도면들이다.
도 18은 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지 알림 선택시 미리보기를 표시하는 예를 도시한 도면이다.
도 19 및 20은 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지의 알림을 선택하는 방법을 설명하기 위한 순서도들이다.
도 21a 내지 도 21c는 본 발명의 실시예에 따라 3차원 메뉴 아이콘을 확대하고 측면에 표시된 신규 데이터의 알림을 선택하는 방법을 설명하기 위한 도면들이다.
도 22는 본 발명의 실시예에 따라 3차원 메뉴 아이콘을 확대하고 측면에 표시된 신규 데이터의 알림을 선택하는 방법을 설명하기 위한 순서도이다.
도 23은 본 발명의 실시예에 따른 모바일 디바이스의 구성을 도시한 블록도이다.
도 24a 및 도 24b는 본 발명의 실시예에 따라 모바일 디바이스와 사용자간의 거리에 따라서 메뉴 아이콘의 표시 방식을 변경하는 예를 도시한 도면들이다.
도 25는 본 발명의 실시예에 따라 모바일 디바이스와 사용자간의 거리에 따라서 메뉴 아이콘의 표시 방식을 변경하는 방법을 설명하기 위한 순서도이다.
도 26은 본 발명의 실시예에 따른 모바일 디바이스의 구성을 도시한 블록도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 모바일 디바이스를 바라보는 사용자를 도시한 도면이다. 도 1을 참조하면, 사용자(10)는 모바일 디바이스(100)의 디스플레이부(110)를 바라보고 있다. 모바일 디바이스(100)의 디스플레이부(110)에는 3차원 GUI(Graphic User Interface) 화면이 표시된다. 모바일 디바이스(100)는 시점 인식부(120)를 구비하며, 시점 인식부(120)는 사용자(10)의 시점(viewpoint)(11)을 인식한다. 이때, 시점 인식부(120)는 일반적으로 태블릿 PC에 구비되는 컬러 카메라이거나 또는 피사체와의 거리 측정이 가능한 뎁스(depth) 카메라일 수 있다.
모바일 디바이스(100)는 시점 인식부(120)에서 인식한 사용자(10)의 시점(11)에 따라서 3차원 GUI 화면을 렌더링하여 디스플레이부(110)에 표시한다. 즉, 모바일 디바이스(100)는 시점 인식부(120)에서 인식한 사용자(10)의 시점(11)에 따라서 그래픽 파이프라인에서의 렌더링 시점을 결정하고 3차원 GUI 화면에 대한 렌더링을 수행한다.
이때, 3차원 GUI 화면의 렌더링 시점을 결정하는데 영향을 미치는 사용자(10)의 시점(11)이란 디스플레이부(110)에 대한 사용자(10)의 시선의 방향을 의미하며, 구체적으로 디스플레이부(110)와 사용자(10)의 시선 방향이 이루는 각도를 의미할 수 있다.
한편, 도 1에서는 모바일 디바이스(100)의 예로서 태블릿 PC를 도시하였으나 이와 다르게 노트북 또는 스마트폰이 될 수 있으며, 또는 모바일 디바이스에 한정되지 않고 데스크탑 PC 또는 TV가 될 수도 있다.
또한, 사용자(10)의 시점(11) 인식에는 모바일 디바이스(100)에 포함된 자이로 센서가 단독으로 또는 카메라와 함께 이용될 수도 있다.
도 2는 본 발명의 실시예에 따라 사용자의 시점에 따라 3차원 화면의 객체들을 렌더링하는 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 3차원 세계(20)에는 3개의 객체들(21~23)이 일렬로 위치한다.
아래의 왼쪽에는 사용자의 시점(11)이 디스플레이부(110a)를 정면으로 바라보는 상태를 도시하였다. 사용자의 시점(11)을 인식하고 인식한 사용자의 시점(11)에 따라 렌더링 시점을 결정한다. 사용자의 시점(11)이 정면을 향하고 있으므로 3차원 세계(20)를 정면으로 바라보도록 렌더링 시점이 결정되고 렌더링이 수행된다. 따라서, 일렬로 위치한 3개의 객체들(21~23) 중에서 맨 앞에 위치한 객체(21)만이 화면에 표시되고 나머지 2개의 객체들(22~23)은 맨 앞의 객체(21)에 가려져 화면에서 보이지 않게 된다.
아래의 오른쪽에는 사용자의 시점(11)이 디스플레이부(110b)의 오른쪽 대각선 방향에서 디스플레이부(110b)를 바라보는 상태를 도시하였다. 사용자의 시점(11)이 오른쪽 대각선 방향에서 디스플레이부(110b)를 바라보고 있으므로 렌더링 시점 역시 오른쪽 대각선 방향에서 3차원 세계(20)의 3개의 객체들(21~23)을 바라보도록 결정된다. 따라서, 일렬로 위치한 3개의 객체들(21~23)은 서로 다른 객체에 의해 일부가 가려진 채로 모두 화면에 표시된다.
이와 같이, 사용자의 시점(11)을 인식하고 인식된 시점에 따라 렌더링 시점을 결정하여 3차원 화면을 렌더링함으로써 사용자의 시점(11)에 따라 다양한 3차원 화면을 표시할 수 있다.
특히, 도 2의 왼쪽 아래 화면에서는 맨 앞의 객체(21)만이 화면에 표시되었지만, 도 2의 오른쪽 아래 화면에서는 3개의 객체들(21~23)이 모두 화면에 표시된 것처럼 사용자의 시점(11)이 변경됨에 따라 이전 시점에서는 보이지 않던 새로운 객체가 화면에 표시되도록 할 수 있다.
따라서, 다양한 메뉴 및 객체가 표시되는 UI 화면을 구성함에 있어서 사용자의 시점 변경에 따라 하나의 화면에 새로운 메뉴 및 객체가 추가적으로 표시되도록 함으로써 UI의 확장이 가능하다. 구체적인 실시예들은 아래에서 도면을 참조하여 자세히 설명하도록 한다.
도 3a 내지 도 3c는 본 발명의 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 시점이 변경됨에 따라 새로운 객체들이 추가되는 모습을 도시한 도면들이다.
도 3a를 참조하면, 사용자의 시점(11)은 모바일 디바이스(100)의 디스플레이부(110)를 정면으로 바라보고 있다. 모바일 디바이스(100)에 구비된 시점 인식부(120)는 사용자의 시점(11)을 인식한다. 그리고 인식된 사용자의 시점(11)에 따라 렌더링이 수행된 3차원 GUI 화면이 디스플레이부(110)에 표시된다. 도 3a에서는 사용자의 시점(11)이 정면을 바라보고 있으므로 SamsungApps(31), Contacts(32), S Note(33) 및 Message(34)를 비롯한 모든 메뉴 아이콘들은 정면에서 바라보는 렌더링 시점에 따라 렌더링이 수행되었다.
도 3b를 참조하면, 도 3a에 비하여 사용자의 시점(11)이 오른쪽 대각선 방향에서 디스플레이부(110)를 바라보도록 변경되었음을 알 수 있다. 이와 같이 사용자의 시점(11)이 변경됨에 따라 렌더링 시점도 변경되고, 따라서 화면상에는 정면에서 바라보았을 때는 메뉴 아이콘들(31~34)의 뒤에 가려져서 보이지 않던 새로운 객체들(31a, 31b, 32a, 32b, 33a, 34a)이 표시되었다. 이들 새로운 객체들은 각 메뉴에 대한 동등 또는 하위 메뉴가 될 수 있다.
예를 들어, SamsungApps(31)의 뒤에 표시된 객체들(31a, 31b)은 각각 Samsung에서 제작 및 배포한 어플리케이션들에 대응될 수 있다. 또한, Contacts(32)의 뒤에 표시된 객체들(32a, 32b)은 각각 Contacts(32)의 하위 메뉴인 Favorites(즐겨찾기) 및 Recents(최근통화) 등에 대응될 수 있다. S Note(33)와 Message(34)의 뒤에 표시된 객체들도 유사하게 각 메뉴의 동등 또는 하위 메뉴에 대응될 수 있다.
한편, 도 3b에서는 사용자의 시점 변경에 따라 추가되는 새로운 메뉴 또는 객체가 시점 변경 전부터 화면에 표시되던 메뉴 아이콘의 뒤에 동일한 크기 및 형태의 아이콘으로 표시되도록 도시하였으나, 이와 다르게 다양한 크기 및 형태의 아이콘으로 표시되도록 할 수 있다. 특히, 각 메뉴의 특징을 나타내도록 아이콘의 크기 및 형태가 구현될 수도 있다.
각 메뉴 아이콘(31~34)의 뒤에 표시되는 아이콘들은 다른 아이콘에 의해 가려져 일부만이 표시된 상태에서도 사용자의 터치 입력에 의해 선택될 수 있다. 즉, 가능한 모든 사용자의 시점에 대해서 상호 작용이 가능한 UI를 제공할 수 있다.
한편, 각 메뉴 아이콘(31~34)의 뒤에 표시되는 객체들은 일부만이 보이므로 사용자는 표시된 일부만을 보고는 어떤 메뉴에 해당되는 아이콘인지를 파악하기가 어려울 수 있다. 이러한 문제를 해결하기 위해 시점 변경에 따라 새로운 아이콘이 화면에 추가로 표시될 때 각 아이콘에 대응되는 메뉴의 명칭을 함께 표시하거나 또는 사용자가 특정 아이콘을 터치하면 그에 응답하여 대응되는 메뉴의 명칭이 표시되도록 할 수도 있다. 즉, 3차원 GUI 화면에 표시된 객체들 중 다른 객체에 의해서 일부가 가려진 객체의 경우 객체에 대응되는 명칭이 처음부터 옆에 함께 표시되거나, 또는 사용자가 일부가 가려진 객체를 터치하면 객체에 대응되는 명칭이 표시되도록 할 수 있다.
도 3c를 참조하면, 사용자의 시점(11)이 도 3b에 비해서 더욱 오른쪽으로 이동했음을 알 수 있다. 이와 같이 사용자의 시점(11)이 오른쪽으로 더 이동함에 따라 렌더링 시점도 오른쪽으로 이동하게 된다. 그 결과, 도 3c에 도시된 바와 같이 각 메뉴 아이콘들(31~34)과 그 뒤에 위치한 아이콘들 사이의 간격이 더 벌어지게 되었다. 즉, 사용자의 시점(11)에 따라 렌더링 시점도 변경되므로 화면에 표시된 각 객체들 간의 상대적 위치가 변하게 된다. 이와 같이 사용자의 시점(11) 변경에 따라 실제로 3차원 세계를 바라보는 것과 같이 각 객체들간의 위치가 표시되므로 사용자는 보다 직관적인 사용 경험을 얻을 수 있다.
한편, 사용자의 시점이 변경됨에 따라 렌더링 시점을 변경시키되 일정한 범위 이상으로 사용자의 시점이 변경되는 경우 더 이상 렌더링 시점이 변경되는 것을 제한할 수도 있다. 이에 대해서는 아래의 도 6을 설명하는 부분에서 자세하게 설명하도록 한다.
도 4a 내지 도 4b는 본 발명의 다른 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 시점이 변경됨에 따라 새로운 메뉴들이 추가로 표시되는 모습을 도시한 도면들이다.
도 4a를 참조하면, 사용자의 시점(11)은 모바일 디바이스(100)의 디스플레이부(110)를 정면으로 바라보고 있다. 모바일 디바이스(100)에 구비된 시점 인식부(120)는 사용자의 시점(11)을 인식한다. 그리고 인식된 사용자의 시점(11)에 따라 렌더링이 수행된 3차원 GUI 화면이 디스플레이부(11)에 표시된다. 도 4a에서는 사용자의 시점(11)이 정면을 바라보고 있으므로 Contacts(41) 및 Message(42)를 비롯한 모든 메뉴 아이콘들은 정면에서 바라보는 렌더링 시점에 따라 렌더링이 수행되었다.
도 4b를 참조하면, 도 4a에 비하여 사용자의 시점(11)이 오른쪽 대각선 방향에서 디스플레이부(11)를 바라보도록 변경되었음을 알 수 있다. 이와 같이 사용자의 시점(11)이 변경됨에 따라 렌더링 시점도 변경된다. 따라서, 화면상에는 정면에서 바라보았을 때는 보이지 않던 메뉴 아이콘들(41, 42)의 측면에 위치한 객체들(41a, 41b, 42a, 42b)이 추가적으로 표시되었다.
즉, 각 메뉴 아이콘(41, 42)의 측면에는 각 메뉴의 동등 또는 하위 메뉴에 대응되는 객체들이 표시되었다. Contacts(41)의 측면에는 Favorites(41a) 및 Recents(41b)가 표시되었고, Message(42)의 측면에는 저장된 복수의 메시지들이 각각 Message 1(42a) 및 Message 2(42b)와 같이 표시되었다. 사용자는 도 4b에서와 같이 각 메뉴(41, 42)의 측면에 하위 메뉴가 표시된 상태에서 터치 입력을 통해 하위 메뉴를 선택할 수 있다.
한편, 도 4b에는 각 메뉴 아이콘(41, 42)의 우측면에 하위 메뉴에 대응되는 객체가 표시되는 것으로 도시하였으나, 이와 다르게 사용자의 시점에 따라 각 메뉴 아이콘(41, 42)의 하측면 또는 상측면에 하위 메뉴에 대응되는 객체들이 표시되도록 할 수도 있다.
도 5는 본 발명의 실시예에 따른 3차원 GUI 화면의 표시 방법에서 디바이스에 대한 사용자의 위치를 고려하여 렌더링 시점을 결정하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 왼쪽 도면(50A)과 오른쪽 도면(50B)에서 사용자(10)가 모바일 디바이스(100)를 바라보는 시선 방향의 각도는 동일하지만 모바일 디바이스(100)로부터 사용자(10)까지의 거리는 d1과 d2로 상이하다.
이와 같이 사용자(10)의 시선 방향이 모바일 디바이스(100)와 이루는 각도가 동일할지라도 모바일 디바이스(100)와 사용자(10)간의 거리에 따라서 렌더링 시점은 다르게 결정될 수 있다. 왜냐하면, 모바일 디바이스(100)로부터 사용자(10)까지의 거리에 따라 원근 시점(perspective view)이 달라지기 때문이다.
따라서, 렌더링 시점을 결정함에 있어서 사용자(10)의 시선 방향이 모바일 디바이스(100)의 디스플레이부와 이루는 각도뿐만 아니라, 모바일 디바이스(100)로부터 사용자(10)까지의 거리도 함께 고려함으로써 보다 사실적인 3차원 화면을 제공할 수 있다.
도 6은 본 발명의 실시예에 따른 3차원 GUI 화면의 표시 방법에서 사용자의 시점 변경에 따라 렌더링 시점이 변경 및 제한되는 과정을 설명하기 위한 도면이다.
앞서 설명한 바와 같이 사용자의 시점이 변경됨에 따라 렌더링 시점을 변경한다는 점은 동일하다. 하지만, UI의 디자인적인 관점에서 일정 범위를 벗어나는 렌더링 시점에 대응되는 화면을 표시할 필요가 없는 경우라면 변경되는 렌더링 시점을 일정 범위로 제한할 수도 있다. 즉, 일정한 범위 이상으로 사용자의 시점이 변경되는 경우 렌더링 시점의 변경을 제한할 수도 있다.
도 6을 참조하여 설명하면, 사용자(10)가 모바일 디바이스(100)를 바라보는 시점이 11a에서 11b를 거쳐 11c로 변경될 경우 렌더링 시점도 따라서 계속 변경되어야 하지만 11b에서 제한되도록 할 수도 있다. 구체적으로, 사용자(10)의 시점이 11a에서 11b로 변경되는 동안에는 렌더링 시점도 변경되지만, 사용자(10)의 시점이 11b에서 11c로 변경되는 동안에는 사용자(10)의 시점이 11b일 때에 대응되는 렌더링 시점이 동일하게 유지된다.
즉, 모바일 디바이스의 디스플레이부와 사용자의 시선 방향이 이루는 각도가 변화함에 따라 렌더링 시점을 변화시키되, 각도가 일정 범위를 벗어나면 렌더링 시점을 더 이상 변화시키지 않도록 할 수 있다.
도 7은 본 발명의 실시예에 따라 사용자의 제스처 입력에 응답하여 3차원 GUI 화면을 표시하는 방법을 설명하기 위한 도면이다. 지금까지 설명한 실시예들은 사용자의 시점을 인식하고 인식된 시점에 따라 렌더링 시점을 변경하는 것이었다. 그런데, 도 7에 도시된 실시예에서는 렌더링 시점의 결정에 사용자의 제스처 입력을 반영한다.
도 7을 참조하여 설명하면, 사용자가 모바일 디바이스(100)의 디스플레이부(110) 앞에서 손을 오른쪽에서 왼쪽으로 움직이는 제스처를 입력하면 카메라로 구현된 시점 인식부(120)는 이러한 제스처 입력을 인식한다. 그리고 모바일 디바이스(100)는 인식된 제스처 입력에 따라 렌더링 시점을 변경하여 3차원 GUI 화면의 렌더링을 수행하고 렌더링된 결과를 디스플레이부(110)에 표시한다. 도 7을 참조하면, 사용자가 제스처 입력을 한 결과 각 메뉴 아이콘들(71, 72)의 뒤에는 동등 또는 하위 메뉴에 대응되는 새로운 객체들(71a, 71b, 72a, 72b)이 추가적으로 표시되었다.
이와 같이, 사용자의 제스처 입력을 렌더링 시점의 결정에 반영함으로써 사용자는 보다 다양한 방법으로 3차원 GUI 화면을 조작할 수 있다.
한편, 사용자의 시점 및 제스처 입력을 함께 고려하여 렌더링 시점을 결정할 수도 있고, 또는 사용자의 제스처 입력에만 기초하여 렌더링 시점을 결정할 수도 있다.
도 8은 본 발명의 실시예에 따라 표시된 3차원 GUI 화면에서 사용자의 터치 입력에 대한 객체의 상호작용을 설명하기 위한 도면이다.
도 8의 상측에 도시된 모바일 디바이스(300)는 사용자의 시점이 정면을 향하고 있는 상태이다. 따라서, 화면에 표시된 메뉴 아이콘(81)은 앞면만 보인다. 여기서 사용자의 시점이 오른쪽으로 변경되면 도 8의 하측에 도시된 바와 같이 모바일 디바이스(300)의 디스플레이부(310)에는 메뉴 아이콘(81)의 측면이 표시된다.
이와 같이 사용자의 시점 변경에 따라 렌더링 시점이 변경된 상태에서 사용자가 메뉴 아이콘(81)의 한 쪽 모서리를 터치하게 되면 메뉴 아이콘(81)은 축(82)을 중심으로 회전한다. 즉, 현재 사용자의 시점에 대응하여 보이는 화면에 따라 객체들의 상호작용이 결정된다. 따라서, 사용자는 보다 직관적인 UI 조작을 할 수 있다.
도 9는 본 발명의 실시예에 따른 사용자의 시점에 따른 3차원 GUI 화면의 표시 방법을 수행하기 위한 디바이스의 구성을 도시한 도면이다. 도 9를 참조하면, 본 발명의 실시예에 따른 디바이스(100)는 디스플레이부(110), 제어부(130), 시점 인식부(120), 렌더링 시점 결정부(141) 및 렌더링 수행부(142)를 포함할 수 있다.
디스플레이부(110)는 3차원 GUI 화면을 표시한다. 자세하게는 디스플레이부(110)는 렌더링 수행부(142)에서 렌더링이 수행된 3차원 GUI 화면을 제어부(130)를 통해 전달받아 화면에 표시한다. 또한, 디스플레이부(110)는 사용자로부터 3차원 GUI 화면상의 메뉴 또는 객체를 선택하는 터치 입력을 수신할 수도 있다.
시점 인식부(120)는 사용자가 디스플레이부(110)를 바라보는 시점을 인식하고, 그 결과를 제어부(130) 및 렌더링 시점 결정부(141)로 전달한다. 시점 인식부(120)는 컬러 카메라 또는 뎁스(depth) 카메라로 구성될 수 있다. 시점 인식부(120)는 사용자가 디스플레이부(110)를 바라보는 시선 방향과 디스플레이부(110)가 이루는 각도를 측정하는 방식으로 시점을 인식할 수 있다.
또한, 시점 인식부(120)가 카메라인 경우 사용자의 제스처 입력을 수신하고, 이를 렌더링 시점 결정부(141)에 전달하여 렌더링 시점의 결정에 반영되도록 할 수도 있다.
제어부(130)는 디바이스(100)에 포함된 모든 구성들의 동작을 제어하고, 특히 시점 인식부(120)에서 인식된 사용자의 시점에 따라 렌더링 시점 결정부(141)에서 렌더링 시점을 결정하고, 결정된 렌더링 시점에 따라 렌더링 수행부(142)가 3차원 GUI 화면을 렌더링하는 일련의 프로세스들을 제어한다.
렌더링 시점 결정부(141)는 시점 인식부(120)로부터 전달받은 인식된 사용자의 시점에 따라서 렌더링 시점을 결정한다. 렌더링 시점을 결정하는 방법은 시점 인식부(120)에서 인식된 사용자의 시점과 렌더링 시점을 일치시키는 방식, 또는 인식된 사용자의 시점과 사용자의 위치를 함께 고려하여 렌더링 시점을 결정하는 방식으로 수행될 수도 있다.
예를 들어, 사용자의 시선 방향이 디스플레이부(110)와 이루는 각도를 측정하고, 렌더링 시점의 각도를 측정된 각도와 동일하게 설정할 수 있다. 또는, 측정된 각도에 따라 결정된 렌더링 시점에다가 디스플레이부(110)로부터 사용자까지의 거리를 반영하여 보정을 수행할 수도 있다.
이외에도 사용자의 시점 인식 및 인식된 시점에 따른 렌더링 시점의 결정은 사용자의 시선 방향 및 사용자의 위치 등과 같은 사용자의 상태를 측정하고, 측정된 결과에 따라 다양한 방법으로 수행될 수도 있다.
렌더링 수행부(142)는 렌더링 시점 결정부(141)에서 결정된 렌더링 시점에 따라 3차원 GUI 화면에 대한 렌더링을 수행하고, 렌더링된 결과를 제어부(130)로 전송한다. 제어부(130)는 수신한 렌더링된 3차원 GUI 화면을 디스플레이부(110)에 표시한다.
렌더링 수행부(142)는 렌더링 시점 결정부(141)에서 결정된 렌더링 시점에서 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정하고, 결정된 객체를 렌더링한다. 사용자의 시점이 변경되어 그에 따라 렌더링 시점이 변경되면 렌더링 수행부(142)는 3차원 GUI 화면에 추가된 적어도 하나의 새로운 객체를 결정하고, 새로운 객체가 추가된 3차원 GUI 화면을 렌더링한다.
이외에도 도면에는 도시되지 않았으나 디바이스(100)는 사용자의 시점 인식에 보조적으로 사용하기 위한 자이로 센서 등을 더 구비할 수도 있다.
도 10 내지 도 12는 본 발명의 실시예들에 따른 사용자의 시점에 따른 3차원 GUI 화면의 표시 방법을 설명하기 위한 순서도들이다.
도 10을 참조하면, S1001 단계에서 디바이스에서 사용자의 시점을 인식한다. 사용자가 디바이스의 디스플레이부를 바라보는 시선 방향과 디스플레이부가 이루는 각도를 측정하는 방식으로 사용자의 시점을 인식할 수 있다.
S1002 단계에서는 인식된 사용자의 시점에 따라 3차원 GUI 화면을 렌더링한다. 그리고, S1003 단계에서는 렌더링된 3차원 GUI 화면을 디스플레이부에 표시한다. 이때, 사용자의 시점이 변경되면 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시될 수 있다.
도 11을 참조하면, S1101 단계에서 디바이스에서 사용자의 시점을 인식한다. S1102 단계에서는 인식된 사용자의 시점에 따라 렌더링 시점을 결정한다. 렌더링 시점을 결정하는 방법은 인식된 사용자의 시점과 렌더링 시점을 일치시키거나, 또는 인식된 사용자의 시점과 사용자의 위치를 함께 고려하여 렌더링 시점을 결정하는 방식으로 수행될 수도 있다.
S1103 단계에서는 결정된 렌더링 시점에서 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정한다. 구체적으로 결정된 렌더링 시점에서 보았을 때 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정한다. S1104 단계에서는 결정된 적어도 하나의 객체에 대한 렌더링을 수행한다. 그리고, S1105 단계에서는 렌더링된 3차원 GUI 화면을 디스플레이부에 표시한다.
도 12를 참조하면, S1201 단계에서 디바이스에서 사용자의 시점을 인식한다. S1202 단계에서는 인식된 시점에 따라 3차원 GUI 화면을 렌더링한다. S1203 단계에서는 렌더링된 3차원 GUI 화면을 디스플레이부에 표시한다.
S1204 단계에서는 사용자의 시점이 변경되면 3차원 GUI 화면에 추가될 적어도 하나의 새로운 객체를 결정한다. 구체적으로 사용자의 시점이 변경되면 그에 따라 렌더링 시점을 변경하고, 변경 전 렌더링 시점에서는 보이지 않았지만 변경된 렌더링 시점에서 새롭게 보이는 객체를 결정한다.
S1205 단계에서는 변경된 사용자의 시점에 따라 3차원 GUI 화면을 렌더링하고, S1206 단계에서는 렌더링된 3차원 GUI 화면을 디스플레이부에 표시한다.
이하에서는 도 13 내지 도 23을 참조하여, 본 발명의 실시예에 따른 모바일 디바이스(100)가 신규 데이터를 수신하는 경우, 신규 데이터를 수신한 메뉴 아이콘을 3차원 렌더링하고, 측면에 신규 데이터의 알림을 표시하는 방법에 대해서 설명한다.
도 13은 본 발명의 실시예에 따라 신규 메시지의 수신시 3차원 메뉴 아이콘의 측면에 신규 메시지의 알림을 표시한 예를 도시한 도면이다.
도 13을 참조하면, 모바일 디바이스(100)는 메시지 관리 서버(1000)로부터 신규 메시지를 수신한다. 모바일 디바이스(100)는 신규 데이터, 즉 신규 메시지를 수신한 어플리케이션이 Message인 것으로 판단하고, Message의 메뉴 아이콘(1300)을 3차원 렌더링한다. 그리고, 3차원 렌더링된 메뉴 아이콘(1300)의 측면에 수신한 신규 메시지의 알림을 표시한다. 도 13에서는 신규 메시지의 알림(1310, 1320)에 메시지의 발신자를 표시하였다.
도 14는 본 발명의 실시예에 따라 신규 메시지의 수신시 3차원 메뉴 아이콘의 측면에 신규 메시지의 알림을 표시한 예를 도시한 도면이다.
도 14를 참조하면, 모바일 디바이스(100)는 메시지 관리 서버(1000)로부터 신규 메시지를 수신한다. 모바일 디바이스(100)는 신규 데이터, 즉 신규 메시지를 수신한 어플리케이션이 Message인 것으로 판단하고, Message의 메뉴 아이콘(1400)을 3차원 렌더링한다. 그리고, 3차원 렌더링된 메뉴 아이콘(1400)의 측면에 수신한 신규 메시지의 알림을 표시한다. 도 14에서는 신규 메시지의 알림(1410, 1420)에 메시지의 일부 내용을 표시하였다.
도 13 및 도 14에서는 신규 메시지의 알림으로서 각각 메시지의 발신자 및 일부 내용을 표시하는 예를 도시하였으나, 이에 한정되지 않고 신규 데이터를 식별할 수 있도록 다양한 형태의 알림을 표시할 수 있다. 예를 들어, 신규 메시지의 발신자와 일부 내용을 함께 표시할 수도 있다.
이와 같이, 신규 데이터를 수신하는 경우, 신규 데이터를 수신한 어플리케이션의 메뉴 아이콘을 3차원 렌더링하고, 측면에 신규 데이터의 알림을 표시함으로써 사용자는 신규 데이터의 수신 여부 및 신규 데이터의 간략한 내용 등을 간편하게 확인할 수 있다.
한편, 상기 실시예에서는 신규 데이터가 메시지인 경우를 예로 들어 설명하였으나, 이에 한정되지 않고 각각의 어플리케이션이 신규 데이터를 수신하는 모든 경우에 상기 설명한 방법을 적용할 수 있다. 예를 들어, 모바일 디바이스(100)가 부재중 전화 알림을 수신한 경우라면, Phone의 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 부재중 수신된 전화번호를 표시할 수도 있다.
도 15는 본 발명의 실시예에 따른 신규 데이터의 수신시 3차원 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시하는 방법을 나타낸 순서도이다.
도 15를 참조하면, 1501 단계에서 모바일 디바이스가 신규 데이터를 수신한다. 이때, 신규 데이터는 이를 수신하는 어플리케이션에 따라 다양한 종류일 수 있다. 예를 들어, Message 어플리케이션이 수신하는 신규 데이터는 메시지일 수 있으며, Phone 어플리케이션이 수신하는 신규 데이터는 부재중 전화 알림일 수 있다.
1502 단계에서 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단한다. 이 과정에서 모바일 디바이스는 내부의 저장부에 저장된 어플리케이션과 메뉴 아이콘을 맵핑한 테이블을 참조할 수 있다.
1503 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시한다. 이때, 3차원 메뉴 아이콘의 측면에 표시되는 신규 데이터의 알림은 신규 데이터를 식별할 수 있는 내용을 포함할 수 있다. 즉, 예를 들어 신규 데이터가 메시지인 경우 신규 데이터의 알림은 메시지의 발신자 및 일부 내용 등을 포함할 수 있다.
한편, 도 15에 도시된 방법은 어플리케이션에 대한 알림 설정이 활성화 되었는지 여부에 따라서 다르게 구성될 수도 있다. 이를 도 16을 참조하여 설명한다.
도 16은 본 발명의 실시예에 따른 신규 데이터의 수신시 3차원 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시하는 방법을 나타낸 순서도이다.
도 16을 참조하면, 1601 단계에서 모바일 디바이스가 신규 데이터를 수신한다. 이때, 신규 데이터는 이를 수신하는 어플리케이션에 따라 다양한 종류일 수 있다. 예를 들어, Message 어플리케이션이 수신하는 신규 데이터는 메시지일 수 있으며, Phone 어플리케이션이 수신하는 신규 데이터는 부재중 전화 알림일 수 있다.
1602 단계에서 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대한 알림 설정이 활성화되어 있는지 여부를 판단한다. 예를 들어, 만약 신규 메시지를 수신한 경우라면 Message 어플리케이션에 대한 알림 설정이 활성화 되어 있는지를 판단한다.
판단 결과, 신규 데이터를 수신한 어플리케이션에 대한 알림 설정이 활성화되어 있다면 1603 단계로 진행하여 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단한다. 하지만, 알림 설정이 활성화되어 있지 않다면 프로세스를 종료한다.
1604 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시한다. 이때, 3차원 메뉴 아이콘의 측면에 표시되는 신규 데이터의 알림은 신규 데이터를 식별할 수 있는 내용을 포함할 수 있다. 즉, 예를 들어 신규 데이터가 메시지인 경우 신규 데이터의 알림은 메시지의 발신자 및 일부 내용 등을 포함할 수 있다.
도 17a 및 도 17b는 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지 알림 선택시 상세 내용을 표시하는 예를 도시한 도면들이다.
도 17a를 참조하면, 모바일 디바이스(100)의 디스플레이부(110)에는 어플리케이션의 메뉴 아이콘들이 표시되어 있고, 그 중 Message 어플리케이션의 메뉴 아이콘(1700)은 3차원 렌더링되어 표시되어 있으며, 그 측면에는 신규 메시지의 알림들(1710, 1720)이 표시되어 있다.
사용자가 메뉴 아이콘(1700)의 측면에 표시된 신규 메시지의 알림들(1710, 1720) 중 어느 하나(1710)를 터치하여 선택하면, 선택된 신규 메시지의 상세 내용을 표시하는 화면으로 전환된다. 선택된 신규 메시지의 상세 내용이 표시된 모바일 디바이스(100)는 도 17b에 도시하였다.
한편, 도 17b에 도시된 바와 같이 신규 메시지 선택시 상세 내용을 표시하는 화면으로 전환할 수도 있지만, 화면 전환 없이 선택된 신규 메시지의 미리보기를 표시함으로써 메시지 내용을 확인 가능하도록 할 수도 있다.
도 18은 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지 알림 선택시 미리보기를 표시하는 예를 도시한 도면이다.
도 18을 참조하면, 모바일 디바이스(100)의 디스플레이부(110)에는 어플리케이션의 메뉴 아이콘들이 표시되어 있고, 그 중 Message 어플리케이션의 메뉴 아이콘(1800)은 3차원 렌더링되어 표시되어 있으며, 그 측면에는 신규 메시지의 알림들(1810, 1820)이 표시되어 있다.
사용자가 메뉴 아이콘(1800)의 측면에 표시된 신규 메시지의 알림들(1810, 1820) 중 어느 하나(1810)를 호버링(hovering)을 통해 선택하면, 선택된 신규 메시지의 미리보기가 메뉴 아이콘(1800)의 주변에 표시된다. 이때, 호버링이란 객체를 직접적으로 터치하지 않고, 객체에 일정 거리 이내로 근접하는 입력 방식을 의미한다. 이와 같이 사용자는 신규 메시지의 알림을 호버링 선택함으로써 화면 전환 없이 미리보기를 통해 간편하게 신규 메시지의 내용을 확인할 수 있다.
한편, 상기 실시예에서는 터치 선택인지 또는 호버링 선택인지에 따라서 선택된 메시지의 상세 내용을 표시하거나 또는 미리보기를 표시하는 방식에 대해서 설명하였으나, 이와 다르게 터치 입력의 길이에 따라서 선택된 메시지의 상세 내용을 표시하거나 또는 미리보기를 표시하도록 구현할 수도 있다.
예를 들어, 신규 메시지의 알림을 짧게 터치하면 도 17b에 도시된 바와 같이 선택된 메시지의 상세 내용을 표시하고, 길게 터치하면 도 18에 도시된 바와 같이 선택된 메시지의 미리보기를 표시하도록 할 수도 있다.
도 19 및 20은 본 발명의 실시예에 따라 3차원 메뉴 아이콘의 측면에 표시된 신규 메시지의 알림을 선택하는 방법을 설명하기 위한 순서도들이다.
도 19를 참조하면, 1901 단계에서 모바일 디바이스는 신규 데이터를 수신한다. 이때, 신규 데이터는 이를 수신하는 어플리케이션에 따라 다양한 종류일 수 있다. 예를 들어, Message 어플리케이션이 수신하는 신규 데이터는 메시지일 수 있으며, Phone 어플리케이션이 수신하는 신규 데이터는 부재중 전화 알림일 수 있다.
1902 단계에서 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단한다. 이 과정에서 모바일 디바이스는 내부의 저장부에 저장된 어플리케이션과 메뉴 아이콘을 맵핑한 테이블을 참조할 수 있다.
1903 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시한다. 이때, 3차원 메뉴 아이콘의 측면에 표시되는 신규 데이터의 알림은 신규 데이터를 식별할 수 있는 내용을 포함할 수 있다. 즉, 예를 들어 신규 데이터가 메시지인 경우 신규 데이터의 알림은 메시지의 발신자 및 일부 내용 등을 포함할 수 있다.
1904 단계에서 모바일 디바이스는 신규 데이터의 알림이 호버링 또는 터치 입력을 통해서 선택되었는지를 판단한다. 판단 결과, 터치 입력을 통해서 선택되었다면 1906 단계로 진행하여 모바일 디바이스는 디스플레이부에 선택된 신규 데이터의 상세 내용을 표시한다. 하지만, 판단 결과, 호버링 입력을 통해서 선택되었다면 1905 단계로 진행하여 모바일 디바이스는 선택된 신규 데이터의 미리보기를 표시한다. 이때, 모바일 디바이스는 화면 전환 없이 메뉴 아이콘의 주위에 선택된 신규 데이터의 미리보기를 표시할 수 있다.
도 20을 참조하면, 2001 단계에서 모바일 디바이스는 신규 데이터를 수신한다. 이때, 신규 데이터는 이를 수신하는 어플리케이션에 따라 다양한 종류일 수 있다. 예를 들어, Message 어플리케이션이 수신하는 신규 데이터는 메시지일 수 있으며, Phone 어플리케이션이 수신하는 신규 데이터는 부재중 전화 알림일 수 있다.
2002 단계에서 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단한다. 이 과정에서 모바일 디바이스는 내부의 저장부에 저장된 어플리케이션과 메뉴 아이콘을 맵핑한 테이블을 참조할 수 있다.
2003 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시한다. 이때, 3차원 메뉴 아이콘의 측면에 표시되는 신규 데이터의 알림은 신규 데이터를 식별할 수 있는 내용을 포함할 수 있다. 즉, 예를 들어 신규 데이터가 메시지인 경우 신규 데이터의 알림은 메시지의 발신자 및 일부 내용 등을 포함할 수 있다.
2004 단계에서 모바일 디바이스는 신규 데이터의 알림이 터치 선택되었는지를 판단한다. 판단 결과, 신규 데이터의 알림이 터치 되었다면 2005 단계로 진행하여 모바일 디바이스는 일정 시간 이상 터치가 지속되었는지를 판단한다.
2005 단계에서의 판단 결과, 터치가 일정 시간 이상 지속되었다면 2006 단계로 진행하여 모바일 디바이스는 선택된 신규 데이터의 미리보기를 표시한다. 하지만, 터치가 일정 시간 이상 지속되지 않았다면 2007 단계로 진행하여 모바일 디바이스는 선택된 신규 데이터의 상세 내용을 화면에 표시한다.
도 21a 내지 도 21c는 본 발명의 실시예에 따라 3차원 메뉴 아이콘을 확대하고 측면에 표시된 신규 데이터의 알림을 선택하는 방법을 설명하기 위한 도면들이다.
도 21a를 참조하면, 모바일 디바이스(100)의 디스플레이부(110)에는 어플리케이션의 메뉴 아이콘들이 표시되어 있고, 그 중 Message 어플리케이션의 메뉴 아이콘(2100)은 3차원 렌더링되어 표시되어 있으며, 그 측면에는 신규 메시지의 알림들(2110, 2120)이 표시되어 있다.
사용자가 메뉴 아이콘(2100)을 호버링 선택하면, 선택된 메뉴 아이콘(2100)은 확대되어 표시된다. 따라서, 사용자는 메뉴 아이콘(2100)의 측면에 표시된 신규 메시지의 알림들(2110, 2120)을 더 정확하게 확인할 수 있으며, 용이하게 선택할 수 있다.
도 21b를 참조하면, 사용자는 메뉴 아이콘(2100)이 확대된 상태에서, 그 측면에 표시된 신규 메시지의 알림들(2110, 2120) 중 어느 하나를 선택할 수 있다. 도 21b에서 어느 하나의 신규 메시지 알림(2110)이 터치 선택되면, 도 21c에 도시된 바와 같이 선택된 신규 메시지의 상세 내용이 화면에 표시될 수 있다.
도 22는 본 발명의 실시예에 따라 3차원 메뉴 아이콘을 확대하고 측면에 표시된 신규 데이터의 알림을 선택하는 방법을 설명하기 위한 순서도이다.
도 22를 참조하면, 2201 단계에서 모바일 디바이스는 신규 데이터를 수신한다. 이때, 신규 데이터는 이를 수신하는 어플리케이션에 따라 다양한 종류일 수 있다. 예를 들어, Message 어플리케이션이 수신하는 신규 데이터는 메시지일 수 있으며, Phone 어플리케이션이 수신하는 신규 데이터는 부재중 전화 알림일 수 있다.
2202 단계에서 모바일 디바이스는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단한다. 이 과정에서 모바일 디바이스는 내부의 저장부에 저장된 어플리케이션과 메뉴 아이콘을 맵핑한 테이블을 참조할 수 있다.
2203 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시한다. 이때, 3차원 메뉴 아이콘의 측면에 표시되는 신규 데이터의 알림은 신규 데이터를 식별할 수 있는 내용을 포함할 수 있다. 즉, 예를 들어 신규 데이터가 메시지인 경우 신규 데이터의 알림은 메시지의 발신자 및 일부 내용 등을 포함할 수 있다.
2204 단계에서 모바일 디바이스는 3차원 렌더링된 메뉴 아이콘이 호버링 선택 되었는지를 판단한다. 판단 결과, 메뉴 아이콘이 호버링 선택되었다면, 2205 단계로 진행하여 모바일 디바이스는 선택된 메뉴 아이콘을 확대 표시한다. 하지만 판단 결과, 메뉴 아이콘이 호버링 선택되지 않았다면 2206 단계로 진행한다.
2206 단계에서 모바일 디바이스는 신규 데이터의 알림이 터치 선택되었는지를 판단한다. 판단 결과, 신규 데이터의 알림이 터치 선택되었다면, 2207 단계로 진행하여 모바일 디바이스는 선택된 신규 데이터의 상세 내용을 표시한다.
도 23은 본 발명의 실시예에 따른 모바일 디바이스의 구성을 도시한 블록도이다.
도 23을 참조하면, 본 발명의 실시예에 따른 모바일 디바이스(100)는 디스플레이부(110), 입력부(111), 제어부(130), 저장부(150) 및 통신부(160)를 포함할 수 있다.
디스플레이부(110)는 어플리케이션의 메뉴 아이콘 등을 포함하는 UI 화면을 표시하기 위한 구성으로, LCD 패널 등으로 구성될 수 있다.
입력부(111)는 사용자 입력을 수신하기 위한 구성으로, 예를 들어 터치 스크린 또는 키보드 등을 포함할 수 있다.
제어부(130)는 모바일 디바이스(100)에 포함된 구성들의 동작을 제어하는 구성으로서 프로세서 또는 CPU 등으로 구성될 수 있다. 앞서 도 17a 내지 도 22를 참조하여 설명한 실시예들에 있어서, 제어부(130)는 판단 및 렌더링을 수행하고, UI 화면을 표시하도록 디스플레이부(110)에 요청할 수 있다.
구체적으로, 제어부(130)는 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단하고, 판단된 메뉴 아이콘을 3차원 렌더링하여 디스플레이부(110)에 표시하고, 3차원 렌더링된 메뉴 아이콘의 측면에 신규 데이터의 알림을 표시할 수 있다.
또한, 제어부(130)는 입력부(111)를 통해 입력되는 사용자 입력의 종류를 분석하여 디스플레이부(110)에 표시되는 UI 화면을 제어할 수 있다. 예를 들어, 입력부(111)가 터치 스크린인 경우, 메뉴 아이콘 또는 신규 데이터 알림을 선택하는 사용자의 입력이 터치 입력인지 아니면 호버링 입력인지에 따라서, 또는 터치 입력의 길이에 따라서 신규 데이터의 상세 내용을 표시하거나 미리보기를 표시할 수 있으며, 메뉴 아이콘을 확대하여 표시할 수도 있다.
저장부(150)는 데이터가 저장되는 공간으로 RAM, ROM 또는 HDD 등과 같은 메모리로 구성될 수 있다. 저장부(150)에는 모바일 디바이스(100)의 동작에 필요한 다양한 데이터가 저장될 수 있으며, 특히 어플리케이션과 메뉴 아이콘의 맵핑 테이블이 저장될 수 있다. 제어부(130)는 신규 데이터 수신시 저장부(150)에 저장된 맵핑 테이블을 참조하여 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단할 수 있다.
통신부(160)는 외부의 서버 또는 디바이스와 유무선 통신을 수행하기 위한 구성으로 와이파이 모듈 등으로 구성될 수 있다. 통신부(160)는 외부의 서버 또는 디바이스로부터 신규 데이터를 수신할 수 있다.
한편, 모바일 디바이스는 사용자와의 거리를 측정하고, 측정된 거리에 기초하여 메뉴 아이콘의 표시 방식을 변경할 수도 있다. 이하에서는 모바일 디바이스와 사용자간의 거리에 따라서 메뉴 아이콘의 표시 방식을 변경하는 실시예를 도 24a 내지 도 25를 참조하여 설명한다.
도 24a 및 도 24b는 본 발명의 실시예에 따라 모바일 디바이스와 사용자간의 거리에 따라서 메뉴 아이콘의 표시 방식을 변경하는 예를 도시한 도면들이다.
도 24a를 참조하면, 카메라 등으로 구성되는 시점 인식부(120)는 모바일 디바이스(100)와 사용자(10)간의 거리(d1)를 측정한다. 측정된 거리(d1)가 메뉴 아이콘의 표시 방식의 변경 기준이 되는 임계치를 초과하는 경우라면, 도 24a에 도시된 바와 같이 디스플레이부(110)에 표시되는 UI 화면에는 모든 메뉴 아이콘들이 2차원 형태로 표시된다. 이는 하위 메뉴 또는 신규 데이터를 가지고 있는 어플리케이션의 메뉴 아이콘들(2410, 2420)의 경우도 마찬가지이다.
사용자(10)가 모바일 디바이스(100) 쪽으로 접근하여, 모바일 디바이스(100)와 사용자(10)간의 거리가 임계치 이하가 되면, 모바일 디바이스(100)는 UI 화면에 포함된 메뉴 아이콘의 표시 방식을 변경한다. 도 24b에 이에 대한 예시를 도시하였다.
도 24b를 참조하면, 시점 인식부(120)는 모바일 디바이스(100)와 사용자(10)간의 거리(d2)를 측정하고, 측정된 거리(d2)를 메뉴 아이콘의 표시 방식의 변경 기준이 되는 임계치와 비교한다. 비교 결과, 측정된 거리(d2)가 임계치 이하라면, 모바일 디바이스(100)는 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션의 메뉴 아이콘들(2410, 2420)을 판단한다. 모바일 디바이스(100)는 판단된 메뉴 아이콘들(2410, 2420)을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘들(2410, 2420)의 측면에 하위 메뉴 또는 신규 데이터의 알림들(2411, 2412, 2421, 2422)을 표시한다.
즉, 사용자(10)가 모바일 디바이스(100)에 일정 거리 이하로 접근하면, 별도의 화면 전환 없이 사용자(10)는 3차원 렌더링된 메뉴 아이콘들을 통해 각 메뉴 아이콘의 하위 메뉴 또는 신규 데이터를 확인할 수 있다.
도 25는 본 발명의 실시예에 따라 모바일 디바이스와 사용자간의 거리에 따라서 메뉴 아이콘의 표시 방식을 변경하는 방법을 설명하기 위한 순서도이다.
도 25를 참조하면, 2501 단계에서 모바일 디바이스는 모바일 디바이스와 사용자간의 거리를 측정한다. 거리의 측정은 모바일 디바이스에 구비된 카메라 등을 통해서 수행될 수 있다.
2502 단계에서 모바일 디바이스는 측정된 거리가 일정 값 이하인지를 판단한다. 즉, 모바일 디바이스는 측정된 거리가 메뉴 아이콘의 표시 방식의 변경 기준이 되는 임계치 이하인지를 판단한다.
판단 결과, 측정된 거리가 일정 값 이하라면, 2503 단계로 진행하여 모바일 디바이스는 하위 메뉴 또는 신규 데이터를 갖는 메뉴 아이콘을 판단하고, 반대로 측정된 거리가 일정 값 이하라면 프로세스는 종료된다.
2504 단계에서 모바일 디바이스는 판단된 메뉴 아이콘을 3차원 렌더링하고, 메뉴 아이콘의 측면에 하위 메뉴 또는 신규 데이터의 알림을 표시한다.
도 26은 본 발명의 실시예에 따른 모바일 디바이스의 구성을 도시한 블록도이다.
도 26을 참조하면, 본 발명의 실시예에 따른 모바일 디바이스(100)는 디스플레이부(110), 입력부(111), 제어부(130), 저장부(150) 및 거리 측정부(170)를 포함할 수 있다.
디스플레이부(110)는 어플리케이션의 메뉴 아이콘 등을 포함하는 UI 화면을 표시하기 위한 구성으로, LCD 패널 등으로 구성될 수 있다.
입력부(111)는 사용자 입력을 수신하기 위한 구성으로, 예를 들어 터치 스크린 또는 키보드 등을 포함할 수 있다.
거리 측정부(170)는 모바일 디바이스(100)와 사용자간 거리를 측정하기 위한 구성으로, 피사체와의 거리 측정이 가능한 뎁스 카메라 등으로 구성될 수 있다. 거리 측정부(120)는 모바일 디바이스(100)와 사용자간의 거리를 측정하고, 측정된 값은 제어부(130)로 전달한다.
제어부(130)는 모바일 디바이스(100)에 포함된 구성들의 동작을 제어하는 구성으로서 프로세서 또는 CPU 등으로 구성될 수 있다. 앞서 도 24a 내지 도 25를 참조하여 설명한 실시예들에 있어서, 제어부(130)는 판단 및 렌더링을 수행하고, UI 화면을 표시하도록 디스플레이부(110)에 요청할 수 있다.
구체적으로, 제어부(130)는 거리 측정부(120)로부터 수신한 거리 측정 값에 기초하여 UI 화면에 표시되는 메뉴 아이콘의 렌더링을 제어할 수 있다. 예를 들어, 제어부(130)는 거리 측정부(120)로부터 수신한 거리 측정 값을 미리 설정된 임계치와 비교한다. 이때, 임계치는 메뉴 아이콘의 표시 방식의 변경 기준이 되는 값으로 필요에 따라 다양하게 설정할 수 있다. 판단 결과, 거리 측정 값이 임계치를 초과하는 경우라면, 제어부(130)는 UI 화면에 포함되는 모든 메뉴 아이콘들을 2차원으로 렌더링하여 디스플레이부(110)에 표시하도록 제어한다. 하지만, 판단 결과, 거리 측정 값이 임계치 이하라면, 제어부(130)는 하위 메뉴 또는 신규 데이터를 갖는 메뉴 아이콘들을 판단한다. 이어서, 제어부(130)는 판단된 메뉴 아이콘들을 3차원 렌더링하고, 메뉴 아이콘의 측면에 하위 메뉴 또는 신규 데이터의 알림을 표시한다.
저장부(150)는 데이터가 저장되는 공간으로 RAM, ROM 또는 HDD 등과 같은 메모리로 구성될 수 있다. 저장부(150)에는 모바일 디바이스(100)의 동작에 필요한 다양한 데이터가 저장될 수 있으며, 특히 어플리케이션과 메뉴 아이콘의 맵핑 테이블이 저장될 수 있다. 제어부(130)는 거리 측정 값이 임계치 이하인 경우 저장부(150)에 저장된 맵핑 테이블을 참조하여 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션에 대응되는 메뉴 아이콘을 판단할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
10: 사용자 11: 시점
100: 디바이스 110: 디스플레이부
120: 시점 인식부 130: 제어부
141: 렌더링 시점 결정부 142: 렌더링 수행부

Claims (35)

  1. 디바이스에서 사용자의 시점(viewpoint)을 인식하는 단계;
    상기 인식된 사용자의 시점에 따라 3차원 GUI(Graphic User Interface) 화면을 렌더링하는 단계; 및
    상기 렌더링된 3차원 GUI 화면을 상기 디바이스의 디스플레이부에 표시하는 단계를 포함하며,
    상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 메뉴에 대한 동등 또는 하위 메뉴가 확장되어 표시되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 객체의 측면 또는 후면에 존재하는 객체가 추가적으로 표시되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 렌더링하는 단계는,
    상기 인식된 사용자의 시점에 따라 렌더링 시점을 결정하는 단계;
    상기 결정된 렌더링 시점에서 상기 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정하는 단계; 및
    상기 결정된 적어도 하나의 객체에 대한 렌더링을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 사용자의 시점을 인식하는 단계는 상기 디바이스의 디스플레이부와 상기 사용자의 시선 방향이 이루는 각도를 측정하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 측정된 각도가 변화함에 따라 렌더링 시점을 변화시키되, 상기 측정된 각도가 기 설정된 일정 범위를 벗어나면 렌더링 시점을 더 이상 변화시키지 않는 것을 특징으로 하는 방법.
  7. 제5항에 있어서,
    상기 렌더링 시점을 결정하는 단계는,
    상기 측정된 각도와 상기 디바이스로부터 상기 사용자까지의 거리에 기초하여 상기 렌더링 시점을 결정하는 것을 특징으로 하는 방법.
  8. 제4항에 있어서,
    상기 렌더링 시점을 결정하는 단계는,
    상기 인식된 사용자의 시점과 상기 사용자로부터 입력된 제스처(gesture) 입력에 기초하여 상기 렌더링 시점을 결정하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 3차원 GUI 화면상에 표시되는 적어도 하나의 객체 중 다른 객체에 의해 일부가 가려진 객체의 선택이 가능한 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면에 추가될 적어도 하나의 새로운 객체를 결정하는 단계; 및
    상기 변경된 사용자의 시점에 따라 상기 결정된 새로운 객체를 포함하는 3차원 GUI 화면을 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제1항 내지 제10항 중의 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 사용자의 시점을 인식하기 위한 시점 인식부;
    상기 인식된 사용자의 시점에 따라 렌더링 시점을 결정하는 렌더링 시점 결정부;
    상기 결정된 렌더링 시점에 따라 3차원 GUI 화면의 렌더링을 수행하는 렌더링 수행부;
    상기 렌더링 된 3차원 GUI 화면을 표시하기 위한 디스플레이부; 및
    제어부를 포함하며,
    상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면상에는 적어도 하나의 새로운 객체가 추가적으로 표시되는 것을 특징으로 하는 디바이스.
  13. 제12항에 있어서,
    상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 메뉴에 대한 동등 또는 하위 메뉴가 확장되어 표시되는 것을 특징으로 하는 디바이스.
  14. 제12항에 있어서,
    상기 사용자의 시점이 변경되면, 시점이 변경되기 전에 상기 3차원 GUI 화면상에 표시되었던 적어도 하나의 객체의 측면 또는 후면에 존재하는 객체가 추가적으로 표시되는 것을 특징으로 하는 디바이스.
  15. 제12항에 있어서,
    상기 렌더링 수행부는 상기 결정된 렌더링 시점에서 상기 3차원 GUI 화면상에 보이게 되는 적어도 하나의 객체를 결정하고, 상기 결정된 적어도 하나의 객체에 대한 렌더링을 수행하는 것을 특징으로 하는 디바이스.
  16. 제15항에 있어서,
    상기 시점 인식부는 상기 디바이스의 디스플레이부와 상기 사용자의 시선 방향이 이루는 각도를 측정하는 것을 특징으로 하는 디바이스.
  17. 제16항에 있어서,
    상기 렌더링 시점 결정부는 상기 측정된 각도가 변화함에 따라 렌더링 시점을 변화시키되, 상기 측정된 각도가 기 설정된 일정 범위를 벗어나면 렌더링 시점을 더 이상 변화시키지 않는 것을 특징으로 하는 디바이스.
  18. 제16항에 있어서,
    상기 렌더링 시점 결정부는 상기 측정된 각도와 상기 디바이스로부터 상기 사용자까지의 거리에 기초하여 상기 렌더링 시점을 결정하는 것을 특징으로 하는 디바이스.
  19. 제 15항에 있어서,
    상기 렌더링 시점 결정부는 상기 인식된 사용자의 시점과 상기 사용자로부터 입력된 제스처 입력에 기초하여 상기 렌더링 시점을 결정하는 것을 특징으로 하는 디바이스.
  20. 제12항에 있어서,
    상기 3차원 GUI 화면상에 표시되는 적어도 하나의 객체 중 다른 객체에 의해 일부가 가려진 객체의 선택이 가능한 것을 특징으로 하는 디바이스.
  21. 제12항에 있어서,
    상기 렌더링 수행부는 상기 사용자의 시점이 변경되면 상기 3차원 GUI 화면에 추가될 적어도 하나의 새로운 객체를 결정하고, 상기 변경된 사용자의 시점에 따라 상기 결정된 새로운 객체를 포함하는 3차원 GUI 화면을 렌더링하는 것을 특징으로 하는 디바이스.
  22. 디바이스에서 신규 데이터를 수신하는 단계;
    상기 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단하는 단계; 및
    상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 신규 데이터의 알림을 표시하는 단계를 포함하는 방법.
  23. 제22항에 있어서,
    상기 신규 데이터의 알림은 상기 신규 데이터의 발신자 또는 상기 신규 데이터의 일부 내용 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  24. 제22항에 있어서,
    상기 신규 데이터의 알림을 선택 받으면, 선택된 신규 데이터의 내용을 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  25. 제24항에 있어서,
    상기 선택된 신규 데이터의 내용을 표시하는 단계는,
    상기 신규 데이터의 알림의 선택 입력이 터치 입력인지 아니면 호버링(hovering) 입력인지를 판단하는 단계; 및
    판단 결과, 터치 입력이라면 상기 신규 데이터의 상세 내용을 표시하고, 호버링 입력이라면 상기 신규 데이터의 미리보기를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제24항에 있어서,
    상기 선택된 신규 데이터의 내용을 표시하는 단계는,
    상기 신규 데이터의 알림을 선택하는 터치 입력이 지속된 시간을 측정하는 단계; 및
    상기 측정된 시간이 미리 설정된 일정 시간 미만이라면 상기 신규 데이터의 상세 내용을 표시하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 이상이라면 상기 신규 데이터의 미리보기를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 제22항에 있어서,
    상기 3차원 렌더링된 메뉴 아이콘을 선택하는 입력을 수신하는 단계; 및
    상기 메뉴 아이콘을 선택하는 입력이 터치 입력이라면 상기 메뉴 아이콘에 대응되는 어플리케이션의 실행 화면을 표시하고, 상기 메뉴 아이콘을 선택하는 입력이 호버링 입력이라면 상기 메뉴 아이콘을 확대하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  28. 전자 디바이스에 있어서,
    화면이 표시되는 디스플레이부;
    사용자 입력을 수신하기 위한 입력부;
    통신을 수행하기 위한 통신부;
    데이터가 저장되기 위한 저장부; 및
    상기 전자 디바이스의 동작을 제어하는 제어부를 포함하며,
    상기 제어부는 상기 통신부를 통해 신규 데이터를 수신하면, 상기 신규 데이터를 수신한 어플리케이션에 대응되는 메뉴 아이콘을 판단하고, 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 상기 3차원 렌더링된 메뉴 아이콘의 측면에 상기 신규 데이터의 알림을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  29. 제28항에 있어서,
    상기 제어부는 상기 신규 데이터의 알림이 상기 신규 데이터의 발신자 또는 상기 신규 데이터의 일부 내용 중 적어도 하나를 포함하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  30. 제28항에 있어서,
    상기 제어부는 상기 입력부를 통해 상기 신규 데이터의 알림을 선택받으면, 상기 선택된 신규 데이터의 내용을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  31. 제30항에 있어서,
    상기 제어부는 상기 신규 데이터의 알림의 선택 입력이 터치 입력인지 아니면 호버링(hovering) 입력인지를 판단하고, 터치 입력이라면 상기 신규 데이터의 상세 내용을 표시하고, 호버링 입력이라면 상기 신규 데이터의 미리보기를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  32. 제30항에 있어서,
    상기 제어부는 상기 신규 데이터의 알림을 선택하는 터치 입력이 지속된 시간을 측정하여 미리 설정된 일정 시간과 비교하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 미만이라면 상기 신규 데이터의 상세 내용을 표시하고, 상기 측정된 시간이 상기 미리 설정된 일정 시간 이상이라면 상기 신규 데이터의 미리보기를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  33. 제28항에 있어서,
    상기 제어부는 상기 입력부를 통해 상기 3차원 렌더링된 메뉴 아이콘을 선택하는 호버링 입력을 수신하면, 상기 메뉴 아이콘을 확대하여 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  34. 디바이스에서 상기 디바이스와 사용자간의 거리를 측정하는 단계;
    상기 측정된 거리가 일정 값 이하인지 여부를 판단하는 단계;
    상기 측정된 거리가 일정 값 이하라면, 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션에 대응되는 메뉴 아이콘을 판단하는 단계; 및
    상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 하위 메뉴 또는 신규 데이터의 알림을 표시하는 단계를 포함하는 방법.
  35. 전자 디바이스에 있어서,
    화면이 표시되는 디스플레이부;
    사용자 입력을 수신하기 위한 입력부;
    데이터가 저장되기 위한 저장부;
    상기 전자 디바이스와 사용자간의 거리를 측정하기 위한 거리 측정부; 및
    상기 전자 디바이스의 동작을 제어하는 제어부를 포함하며,
    상기 제어부는 상기 거리 측정부에서 측정한 상기 전자 디바이스와 사용자간의 거리가 일정 값 이하라면 하위 메뉴 또는 신규 데이터를 갖는 어플리케이션에 대응되는 메뉴 아이콘을 판단하고, 상기 판단된 메뉴 아이콘을 3차원 렌더링하고, 3차원 렌더링된 메뉴 아이콘의 측면에 상기 하위 메뉴 또는 신규 데이터의 알림을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
KR1020140175379A 2014-02-27 2014-12-08 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스 KR20150101915A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2015/001954 WO2015130137A1 (en) 2014-02-27 2015-02-27 Method and device for displaying three-dimensional graphical user interface screen
CN201580010474.7A CN106030484A (zh) 2014-02-27 2015-02-27 显示三维图形用户界面屏幕的方法和设备
US15/239,248 US20160357399A1 (en) 2014-02-27 2016-08-17 Method and device for displaying three-dimensional graphical user interface screen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140023708 2014-02-27
KR1020140023708 2014-02-27

Publications (1)

Publication Number Publication Date
KR20150101915A true KR20150101915A (ko) 2015-09-04

Family

ID=54242926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175379A KR20150101915A (ko) 2014-02-27 2014-12-08 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스

Country Status (3)

Country Link
US (1) US20160357399A1 (ko)
KR (1) KR20150101915A (ko)
CN (1) CN106030484A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109071671A (zh) * 2016-04-01 2018-12-21 意大利乔凡尼洛伦齐尼生物化学研究所股份公司 Erbb2靶向抗体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017075515A1 (en) 2015-10-30 2017-05-04 Loji, Llc Interactive icons with embedded functionality used in text messages
CN109071205B (zh) 2016-04-21 2021-12-21 韦恩加油系统有限公司 智能燃料加注机
US10582264B2 (en) * 2017-01-18 2020-03-03 Sony Corporation Display expansion from featured applications section of android TV or other mosaic tiled menu
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
CN109918003A (zh) * 2019-01-25 2019-06-21 努比亚技术有限公司 一种应用显示切换方法、终端及计算机可读存储介质
US20230400960A1 (en) * 2022-06-13 2023-12-14 Illuscio, Inc. Systems and Methods for Interacting with Three-Dimensional Graphical User Interface Elements to Control Computer Operation

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61178731A (ja) * 1985-02-05 1986-08-11 Res Dev Corp Of Japan 磁気記録媒体の製法
JP2719056B2 (ja) * 1991-08-20 1998-02-25 富士通株式会社 三次元物体描画装置
US5446842A (en) * 1993-02-26 1995-08-29 Taligent, Inc. Object-oriented collaboration system
US5608850A (en) * 1994-04-14 1997-03-04 Xerox Corporation Transporting a display object coupled to a viewpoint within or between navigable workspaces
CA2180899A1 (en) * 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5838973A (en) * 1996-05-03 1998-11-17 Andersen Consulting Llp System and method for interactively transforming a system or process into a visual representation
JP3709509B2 (ja) * 1996-12-04 2005-10-26 株式会社セガ ゲーム装置
US5923324A (en) * 1997-04-04 1999-07-13 International Business Machines Corporation Viewer interactive three-dimensional workspace with interactive three-dimensional objects and corresponding two-dimensional images of objects in an interactive two-dimensional workplane
GB2337435B (en) * 1998-05-14 2002-07-10 Mitel Corp 3d view of incoming communications
US6054989A (en) * 1998-09-14 2000-04-25 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which provides spatialized audio
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
KR101183000B1 (ko) * 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8589142B2 (en) * 2005-06-29 2013-11-19 Qualcomm Incorporated Visual debugging system for 3D user interface program
US20070016636A1 (en) * 2005-07-14 2007-01-18 Yahoo! Inc. Methods and systems for data transfer and notification mechanisms
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
EP1932141A4 (en) * 2005-09-13 2009-08-19 Spacetime3D Inc SYSTEM AND METHOD FOR FORMING A THREE-DIMENSIONAL USER GRAPHIC INTERFACE
US7750911B2 (en) * 2006-02-21 2010-07-06 Chrysler Group Llc Pen-based 3D drawing system with 3D mirror symmetric curve drawing
KR101257849B1 (ko) * 2006-09-29 2013-04-30 삼성전자주식회사 3차원 그래픽 객체 렌더링 방법 및 장치, 이를 위한 렌더링객체 최소화 방법 및 장치
WO2008094458A1 (en) * 2007-01-26 2008-08-07 F-Origin, Inc. Viewing images with tilt control on a hand-held device
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US9891783B2 (en) * 2007-09-26 2018-02-13 Autodesk, Inc. Navigation system for a 3D virtual scene
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US8416152B2 (en) * 2008-06-11 2013-04-09 Honeywell International Inc. Method and system for operating a near-to-eye display
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
EP2345955A4 (en) * 2008-10-30 2012-05-30 Sharp Kk MOBILE INFORMATION TERMINAL
US8645871B2 (en) * 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction
US9544568B2 (en) * 2009-06-05 2017-01-10 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
KR101393942B1 (ko) * 2010-01-29 2014-06-30 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
JP5598703B2 (ja) * 2010-05-25 2014-10-01 株式会社セガ プログラム、ゲーム装置及びその制御方法
US8730267B2 (en) * 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
WO2012015106A1 (ko) * 2010-07-24 2012-02-02 Chung Hyun In 인테그럴 포토그라피 기술을 응용한 인터레이스 패턴구조 및 입체영상 장치
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9035944B2 (en) * 2010-08-06 2015-05-19 Intergraph Corporation 3-D model view manipulation apparatus
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
JP5664036B2 (ja) * 2010-09-07 2015-02-04 ソニー株式会社 情報処理装置、プログラム及び制御方法
WO2012036324A1 (ko) * 2010-09-13 2012-03-22 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US20120124477A1 (en) * 2010-11-11 2012-05-17 Microsoft Corporation Alerting users to personalized information
JP5742187B2 (ja) * 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
KR101852428B1 (ko) * 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3ｄ객체 제어방법
JP2012212340A (ja) * 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
US8769422B2 (en) * 2011-05-10 2014-07-01 Echostar Technologies L.L.C. Apparatus, systems and methods for facilitating social networking via a media device
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
KR20130030406A (ko) * 2011-09-19 2013-03-27 엘지전자 주식회사 이동 단말기
WO2013054462A1 (ja) * 2011-10-13 2013-04-18 パナソニック株式会社 ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路
WO2013067392A1 (en) * 2011-11-02 2013-05-10 Hendricks Investment Holdings, Llc Device navigation icon and system, and method of use thereof
WO2013074565A1 (en) * 2011-11-15 2013-05-23 Trimble Navigation Limited Providing a real-time shared viewing experience in a three-dimensional modeling environment
US9442517B2 (en) * 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
WO2013081435A1 (ko) * 2011-12-02 2013-06-06 엘지전자 주식회사 3d 영상 표시 장치 및 방법
JP5954982B2 (ja) * 2011-12-21 2016-07-20 キヤノン株式会社 眼科装置および制御方法並びに制御プログラム
US20150154798A1 (en) * 2011-12-30 2015-06-04 Google Inc. Visual Transitions for Photo Tours Between Imagery in a 3D Space
US8767040B2 (en) * 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
EP2631743B1 (en) * 2012-02-24 2018-05-02 BlackBerry Limited Handheld device with notification message viewing
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9904457B2 (en) * 2012-04-25 2018-02-27 Nokia Technologies Oy Causing display of a three dimensional graphical user interface with dynamic selectability of items
EP2860606B1 (en) * 2012-06-12 2018-01-10 Sony Corporation Information processing device, information processing method, and program for an augmented reality display
US9069455B2 (en) * 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
US10554608B2 (en) * 2013-02-28 2020-02-04 Oath Inc. Method and system for displaying email messages
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
KR20150034062A (ko) * 2013-09-25 2015-04-02 삼성전자주식회사 동일한 그룹의 데이터를 라우팅하는 방법 및 장치, 렌더링 유닛을 재구성하는 방법 및 장치
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
ES2848833T3 (es) * 2013-10-17 2021-08-12 Childrens Healthcare Atlanta Inc Métodos para valorar el desarrollo de bebés y niños por medio de seguimiento de ojos
US9836885B1 (en) * 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
US11250615B2 (en) * 2014-02-21 2022-02-15 FLIR Belgium BVBA 3D bottom surface rendering systems and methods
US10852428B2 (en) * 2014-02-21 2020-12-01 FLIR Belgium BVBA 3D scene annotation and enhancement systems and methods
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP6906898B2 (ja) * 2016-03-10 2021-07-21 キヤノン株式会社 眼科撮影装置
WO2017179722A1 (ja) * 2016-04-15 2017-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び撮像装置
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
KR102304225B1 (ko) * 2017-05-23 2021-09-23 한국전자통신연구원 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
JP2019185114A (ja) * 2018-04-02 2019-10-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、表示制御方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109071671A (zh) * 2016-04-01 2018-12-21 意大利乔凡尼洛伦齐尼生物化学研究所股份公司 Erbb2靶向抗体

Also Published As

Publication number Publication date
CN106030484A (zh) 2016-10-12
US20160357399A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
KR20150101915A (ko) 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
EP2423795B1 (en) Mobile Terminal and controlling method thereof
EP2602703B1 (en) Mobile terminal and controlling method thereof
US8826184B2 (en) Mobile terminal and image display controlling method thereof
TWI486866B (zh) 圖示顯示方法及圖示顯示裝置
US9104275B2 (en) Mobile terminal to display an object on a perceived 3D space
RU2666236C2 (ru) Способ работы блока отображения и терминал, его обеспечивающий
JP6112905B2 (ja) ディスプレイ装置の画面スクロール方法及びその装置
EP2560086B1 (en) Method and apparatus for navigating content on screen using pointing device
KR20110037657A (ko) 모션을 이용한 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US20130268882A1 (en) Display apparatus and method of controlling the same
KR20140030379A (ko) 단말의 표시 제어 방법 및 그 단말
KR20110089031A (ko) 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
KR20150065141A (ko) 모바일 디바이스 및 모바일 디바이스의 아이콘 표시 방법
US9377944B2 (en) Information processing device, information processing method, and information processing program
JP2013143144A (ja) ディスプレイ装置およびそのアイテム選択方法
US20130167057A1 (en) Display apparatus for releasing locked state and method thereof
KR20140142520A (ko) 터치 인터페이스를 제공하는 장치에서 터치 입력을 수신하는 방법 및 장치
JP2014134867A (ja) 情報処理端末
CN108600528A (zh) 交互控制方法与装置、电子设备、存储介质
KR20140138101A (ko) 3차원 기능 키를 갖는 휴대 단말 및 휴대 단말의 3차원 기능 키 표시 전환 방법
KR101467144B1 (ko) 원형 터치 입력에 의한 3차원 페이지화면 전환 방법
US20140365974A1 (en) Display apparatus for releasing lock status and method thereof
JP2013003748A (ja) 情報処理装置
JP5788068B2 (ja) 携帯端末

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101006038; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161021

Effective date: 20180822