KR20140103042A - 사용자 단말 및 이의 이미지 표시 방법 - Google Patents

사용자 단말 및 이의 이미지 표시 방법 Download PDF

Info

Publication number
KR20140103042A
KR20140103042A KR1020140008674A KR20140008674A KR20140103042A KR 20140103042 A KR20140103042 A KR 20140103042A KR 1020140008674 A KR1020140008674 A KR 1020140008674A KR 20140008674 A KR20140008674 A KR 20140008674A KR 20140103042 A KR20140103042 A KR 20140103042A
Authority
KR
South Korea
Prior art keywords
display layer
display
user input
depth
depth value
Prior art date
Application number
KR1020140008674A
Other languages
English (en)
Inventor
곽영민
박찬민
신승호
이준석
최강식
한진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/180,697 priority Critical patent/US20140237403A1/en
Priority to PCT/KR2014/001205 priority patent/WO2014126407A1/en
Priority to EP14155233.1A priority patent/EP2767973A1/en
Priority to CN201410051940.3A priority patent/CN103997634B/zh
Priority to JP2015557942A priority patent/JP6427504B2/ja
Publication of KR20140103042A publication Critical patent/KR20140103042A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 및 이의 이미지 표시 방법을 제공함에 있다. 본 사용자 단말의 이미지 표시 방법은 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시하고, 사용자 입력이 감지되면, 사용자 입력에 따라 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여 사용자 입력에 의한 물리적 작용을 표현한다.

Description

사용자 단말 및 이의 이미지 표시 방법{User Terminal and Method for displaying image thereof}
본 발명은 사용자 단말 및 이의 이미지 표시 방법에 관한 것으로, 더욱 상세하게는 복수의 디스플레이 레이어를 이용하여 이미지를 표시하는 사용자 단말 및 이의 이미지 표시 방법에 관한 것이다.
근래에는 다양한 사용자 단말(예를 들어, 스마트 폰 또는 태블릿 PC 등)이 사용되고 있다. 이러한 사용자 단말은 대부분이 사용자 입력을 감지하기 위한 터치 스크린을 포함하고 있다.
한편, 사용자 단말의 터치 스크린에 사용자 입력이 감지된 경우, 기존의 사용자 단말은 사용자 입력이 감지된 지점에 2차원적인 이미지 효과만을 제공하였다. 기존의 사용자 단말이 2차원적인 이미지 효과만을 제공함으로써, 기존의 사용자 단말이 제공하는 이미지 효과는 비사실적이고 부자연적인 한계를 가지게 된다.
따라서, 사용자 입력에 응답하여 더욱 사실적이고 자연스러운 이미지 효과를 제공하기 위한 방안의 모색이 요청된다.
본 발명의 목적은 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 이용하여 사용자 입력에 응답하는 3차원적인 이미지 효과를 제공할 수 있는 사용자 단말 및 이의 이미지 표시 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말의 이미지 표시 방법은 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시하는 단계; 및 사용자 입력이 감지되면, 상기 사용자 입력에 따라 상기 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 상기 사용자 입력에 응답하는 이미지 효과를 제공하는 단계;를 포함한다.
그리고, 상기 복수의 디스플레이 레이어는, 이미지를 디스플레이하는 제1 디스플레이 레이어 및 상기 제1 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함할 수 있다.
또한, 상기 제1 디스플레이 레이어는 고정된 뎁스를 가지는 것을 특징으로 하며, 상기 제2 디스플레이 레이어는 상기 사용자 입력에 따라 뎁스가 변경될 수 있다.
그리고, 상기 제공하는 단계는, 상기 사용자 입력이 감지되면, 상기 제2 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스를 변경하는 단계; 및 상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 상기 사용자 입력에 의한 물리적 작용을 표현하는 단계;를 포함할 수 있다.
또한, 상기 표현하는 단계는, 상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 굴절률 및 반사율을 계산하여 상기 계산된 굴절률 및 반사율에 따라 상기 사용자 입력에 의한 물리적 작용을 표현할 수 있다.
그리고, 상기 이미지 효과는, 잔물결 효과(riffle effect)일 수 있다.
또한, 디스플레이 화면이 복수의 디스플레이 아이템을 표시하는 화면인 경우, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되는 영역은 높은 뎁스값을 가지며, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되지 않은 영역은 낮은 뎁스값을 가질 수 있다.
그리고, 상기 제2 디스플레이 레이어는 상기 복수의 디스플레이 아이템이 표시되는 영역의 뎁스값과 상기 복수의 디스플레이 아이템이 표시되지 않는 영역의 뎁스값 사이의 뎁스값을 가질 수 있다.
또한, 상기 제공하는 단계는, 상기 복수의 디스플레이 아이템 중 하나에 사용자 입력이 감지된 경우, 상기 제1 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스값을 상기 제2 디스플레이 레이어의 뎁스값보다 낮추어 상기 제1 사용자 입력이 감지된 디스플레이 아이템이 물에 잠기는 이미지 효과를 제공할 수 있다.
그리고, 상기 사용자 입력이 상기 사용자 단말을 기울이는 사용자 입력인 경우, 상기 제공하는 단계는, 상기 사용자 단말의 기울임 정도에 따라 상기 복수의 디스플레이 레이어 중 하나의 디스플레이 레이어의 뎁스를 변경하여 상기 사용자 입력에 응답하는 이미지 효과를 제공할 수 있다.
또한, 상기 복수의 디스플레이 레이어는, 중력 효과를 나타내는 제3 디스플레이 레이어 및 상기 제4 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함할 수 있다.
그리고, 상기 제공하는 단계는, 제3 디스플레이 레이어의 영역 중 상기 사용자 단말이 기울여지는 방향의 반대 방향에 위치하는 영역의 뎁스 값이 증가하도록 상기 제3 디스플레이 레이어의 뎁스를 변경할 수 있다.
또한, 상기 제공하는 단계는, 상기 제3 디스플레이 레이어의 뎁스값이 상기 제4 디스플레이 레이어의 뎁스값보다 낮은 영역에 디스플레이되는 이미지만 물에 잠기는 이미지 효과를 제공할 수 있다.
그리고, 상기 제공하는 단계는, 상기 제4 디스플레이 레이어 중 기설정된 구간의 뎁스값을 가지는 영역에 코스틱(caustic) 효과를 제공하는 단계;를 포함할 수 있다.
또한, 상기 코스틱 효과를 제공하는 단계는, 코스틱 뎁스맵을 생성하는 단계; 상기 제4 디스플레이 레이어의 뎁스값을 반전하여 기설정된 구간의 뎁스 값을 가지는 코스틱 영역을 판단하는 단계; 및 상기 코스틱 뎁스맵과 상기 코스틱 영역의 뎁스값을 보간하여 상기 코스틱 효과를 제공하는 단계;를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말은, 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시하는 디스플레이부; 사용자 입력을 감지하는 사용자 입력부;및 상기 사용자 입력부를 통해 사용자 입력이 감지되면, 상기 사용자 입력에 따라 상기 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 상기 사용자 입력에 응답하는 이미지 효과를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 복수의 디스플레이 레이어는, 이미지를 디스플레이하는 제1 디스플레이 레이어 및 상기 제1 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함할 수 있다.
또한, 상기 제1 디스플레이 레이어는 고정된 뎁스를 가지는 것을 특징으로 하며, 상기 제2 디스플레이 레이어는 상기 사용자 입력에 따라 뎁스가 변경될 수 있다.
그리고, 상기 제어부는, 상기 사용자 입력부를 통해 상기 사용자 입력이 감지되면, 상기 제2 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스를 변경하고, 상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 상기 사용자 입력에 의한 물리적 작용을 표현할 수 있다.
또한, 상기 제어부는, 상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 굴절률 및 반사율을 계산하여 상기 계산된 굴절률 및 반사율에 따라 상기 사용자 입력에 의한 물리적 작용을 표현할 수 있다.
그리고, 상기 물리적 작용은, 잔물결 효과(riffle effect)일 수 있다.
또한, 디스플레이 화면이 복수의 디스플레이 아이템을 표시하는 화면인 경우, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되는 영역은 높은 뎁스값을 가지며, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되지 않은 영역은 낮은 뎁스값을 가질 수 있다.
그리고, 상기 제2 디스플레이 레이어는 상기 복수의 디스플레이 아이템이 표시되는 영역의 뎁스값과 상기 복수의 디스플레이 아이템이 표시되지 않는 영역의 뎁스값 사이의 뎁스값을 가질 수 있다.
또한, 상기 제어부는, 상기 복수의 디스플레이 아이템 중 하나에 사용자 입력이 감지된 경우, 상기 제1 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스값을 상기 제2 디스플레이 레이어의 뎁스값보다 낮추어 상기 제1 사용자 입력이 감지된 디스플레이 아이템이 물에 잠기는 이미지 효과를 제공할 수 있다.
그리고, 상기 사용자 입력부는, 상기 사용자 단말의 기울임을 감지하는 센서;를 더 포함하며, 상기 제어부는, 상기 센서를 통해 감지된 상기 사용자 단말의 기울임 정도에 따라 상기 복수의 디스플레이 레이어 중 하나의 디스플레이 레이어의 뎁스를 변경하여 상기 사용자 입력에 응답하는 이미지 효과를 제공할 수 있다.
또한, 상기 복수의 디스플레이 레이어는, 중력 효과를 나타내는 제3 디스플레이 레이어 및 상기 제4 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함할 수 잇다.
그리고, 상기 제어부는, 제3 디스플레이 레이어의 영역 중 상기 사용자 단말이 기울여지는 방향의 반대 방향에 위치하는 영역의 뎁스 값이 증가하도록 상기 제3 디스플레이 레이어의 뎁스를 변경할 수 있다.
또한, 상기 제어부는, 상기 제3 디스플레이 레이어의 뎁스값이 상기 제4 디스플레이 레이어의 뎁스값보다 낮은 영역에 디스플레이되는 이미지만 물에 잠기는 이미지 효과를 제공할 수 있다.
그리고, 상기 제어부는, 상기 제4 디스플레이 레이어 중 기설정된 구간의 뎁스값을 가지는 영역에 코스틱(caustic) 효과를 제공할 수 있다.
또한, 상기 제어부는, 코스틱 뎁스맵을 생성하고, 상기 제4 디스플레이 레이어의 뎁스값을 반전하여 기설정된 구간의 뎁스 값을 가지는 코스틱 영역을 판단하며, 상기 코스틱 뎁스맵과 상기 코스틱 영역의 뎁스값을 보간하여 코스틱 효과를 제공할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자 단말은 사용자 입력에 응답하여 사실적이고 자연스러운 3차원 이미지 효과를 사용자에게 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 3a 및 도 3b는 본 발명의 일 실시예에 따른, 제1 디스플레이 레이어 및 제1 디스플레이 레이어의 뎁스 맵을 도시한 도면,
도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 사용자 입력이 감지된 전 및 후의 제1 디스플레이 레이어 및 제2 디스플레이 레이어를 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 반사율 및 굴절률에 따라 디스플레이 레이어를 렌더링하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른, 스펙큘러 하이라이트를 생성하는 방법을 설명하기 위한 도면,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른, 사용자 입력에 응답하는 잔물결 효과를 설명하기 위한 도면,
도 8a 내지 도 8c는 본 발명의 다른 실시예에 따른, 복수의 디스플레이 아이템이 디스플레이된 경우, 제1 디스플레이 레이어 및 제2 디스플레이 레이어를 도시한 도면,
도 9a 및 도 9b는 본 발명의 다른 실시예에 따른, 사용자 입력에 응답하는 물에 잠기는 효과를 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른, 사용자 단말의 이미지 표시 방법을 설명하기 위한 흐름도,
도 11a 내지 도 11c는 본 발명의 다른 실시예에 따른, 사용자 단말의 기울여짐 정도에 따라 중력 디스플레이 레이어가 변경되는 실시예를 설명하기 위한 도면,
도 12는 본 발명의 다른 실시예에 따른, 코스틱 효과를 설명하기 위한 도면,
도 13은 본 발명의 다른 실시예에 따른, 사용자 단말의 기울여짐 정도에 따라 물이 흐르는 듯한 이미지 효과를 제공하는 설명하기 위한 도면, 그리고,
도 14는 본 발명의 다른 실시예에 따른, 사용자 단말의 이미지 표시 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명이 일 실시예에 따른, 사용자 단말(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(110), 사용자 입력부(120) 및 제어부(130)를 포함한다. 이때, 사용자 단말(100)은 스마트 폰으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 노트북 PC, 데스크탑 PC, 스마트 TV 등과 같은 다양한 전자 장치로 구현될 수 있다.
디스플레이부(110)는 제어부(130)의 제어에 의해 영상 데이터를 출력한다. 특히, 디스플레이부(110)는 서로 다른 뎁스를 가지는 제1 디스플레이 레이어 및 제2 디스플레이 레이어를 이용하여 영상 데이터를 출력할 수 있다.
이때, 제1 디스플레이 레이어는 이미지를 표시하는 이미지 디스플레이 레이어로서, 고정된 뎁스를 가질 수 있다. 제2 디스플레이 레이어는 특정 투명도(예를 들어, 물 표면의 투명도)를 가지는 반투명 디스플레이 레이어로서, 사용자 입력에 따라 뎁스가 변경될 수 있다. 따라서, 디스플레이부(110)는 제1 디스플레이 레이어에 표시된 이미지가 물에 잠긴 듯한 효과를 나타낼 수 있다. 또한, 디스플레이부(110)는 제2 디스플레이 레이어의 뎁스의 변화에 따라 반사율 및 굴절률을 계산하고, 계산된 반사율 및 굴절률에 따르는 물리적 현상(예를 들어, 스넬의 법칙 또는 스펙큘러 하이라이트)을 적용하여 제1 디스플레이 레이어의 영상 데이터를 출력할 수 있다.
사용자 입력부(120)는 사용자 단말(100)을 제어하기 위한 사용자 입력을 감지할 수 있다. 이때, 사용자 입력부(120)는 터치 스크린으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 마우스, 포인팅 디바이스 등과 같은 다른 입력 장치로 구현될 수 있다.
또한, 사용자 입력부(120)는 사용자 단말(100)의 기울임을 감지하는 센서(예를 들어, 가속도 센서, 자이로 센서 등)를 포함할 수 있다.
제어부(130)는 사용자 입력부(120)를 통해 입력된 사용자 명령에 따라 사용자 단말(100)의 전반적인 동작을 제어한다.
특히, 디스플레이부(110)가 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩하여 표시하는 동안 사용자 입력부(120)를 통해 사용자 입력이 감지되면, 제어부(130)는 사용자 입력에 따라 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 사용자 입력에 응답하는 이미지 효과를 제공하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 사용자 입력부(120)를 통해 사용자 입력이 감지되면, 제어부(130)는 제2 디스플레이 레이어 중 사용자 입력이 감지된 지점의 뎁스를 변경하고, 제1 디스플레이 레이어 및 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 사용자 입력이 감지된 지점에 사용자 입력에 의한 물리적 작용을 표현할 수 있다.
예를 들어, 제2 디스플레이 레이어가 물 표면의 투명도를 가지는 반투명 디스플레이 레이어인 경우, 제어부(130)는 제1 디스플레이 레이어 및 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 사용자 입력이 감지된 지점에 굴절률 및 반사율을 계산하고, 계산된 굴절률 및 반사율에 따라 사용자 입력에 의한 물리적 작용(예를 들어, 스넬의 법칙, 스펙큘러 하이라이트 등)을 표현할 수 있다.
이때, 물리적 작용에 의해, 제어부(130)는 사용자 입력이 감지된 지점에 잔물결 효과(riffle effect)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
한편, 디스플레이 화면이 복수의 디스플레이 아이템을 표시하는 월페이퍼 화면인 경우, 제1 디스플레이 레이어 중 복수의 디스플레이 아이템이 표시되는 영역은 높은 뎁스값을 가지며, 제1 디스플레이 레이어 중 복수의 디스플레이 아이템이 표시되지 않은 영역은 낮은 뎁스값을 가질 수 있다. 또한, 제2 디스플레이 레이어는 복수의 디스플레이 아이템이 표시되는 영역의 뎁스값과 복수의 디스플레이 아이템이 표시되지 않는 영역의 뎁스값 사이의 뎁스값을 가질 수 있다.
디스플레이부(110)가 복수의 디스플레이 아이템을 표시하는 시작 화면을 디스플레이하는 동안 복수의 디스플레이 아이템 중 하나에 사용자 입력이 감지된 경우, 제어부(130)는 제1 디스플레이 레이어 중 사용자 입력이 감지된 지점의 뎁스값을 제2 디스플레이 레이어의 뎁스값보다 낮추어 제1 사용자 입력이 감지된 디스플레이 아이템이 물에 잠기는 이미지 효과를 제공할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 의해, 사용자 단말(100)은 사용자 입력에 응답하여 사실적이고 자연스러운 3차원 이미지 효과를 사용자에게 제공할 수 있게 된다.
이하에서는 도 2 내지 도 9b를 참조하여 사용자 단말(100)에 대해 더욱 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 사용자 단말(200)의 구성을 상세히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 사용자 단말(200)은 통신부(210), 디스플레이부(220), 저장부(230), 사용자 입력부(240) 및 제어부(250)를 포함한다.
한편, 도 2는 사용자 단말(200)이 통신 기능, 이미지 출력 기능, 이미지 효과 제공 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
통신부(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 외부의 서버와 통신을 수행하는 구성이다. 통신부(210)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(210)는 외부의 서버나 장치로부터 이미지 데이터를 수신할 수 있다.
디스플레이부(220)는 제어부(250)의 제어에 따라 영상 데이터를 출력한다. 특히, 디스플레이부(220)는 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 이용하여 영상 데이터를 출력할 수 있다.
구체적으로, 디스플레이부(220)는 이미지를 표시하는 이미지 디스플레이 레이어 및 물 표면의 투명도를 가지는 반투명 디스플레이 레이어를 이용하여 영상 데이터를 출력할 수 있다.
이때, 이미지 디스플레이 레이어는 디스플레이되는 이미지에 따라 뎁스를 가질 수 있다. 예를 들어, 이미지 디스플레이 레이어가 도 3a에 도시된 바와 같은 이미지를 표시하는 경우, 이미지 디스플레이 레이어는 도 3b에 도시된 바와 같은 뎁스 맵을 가질 수 있게 된다. 한편, 이미지 디스플레이 레이어는 사용자 입력에 따라 뎁스를 변경시키지 않을 수 있으나, 이는 일 실시예에 불과할 뿐, 실시예에 따라 이미지 디스플레이 레이어 역시 사용자 입력에 따라 뎁스가 변경될 수 있다. 반투명 디스플레이 레이어는 이미지 디스플레이 레이어 상에 위치하여 사용자 입력에 따라 뎁스를 변경시킬 수 있다. 특히, 반투명 디스플레이 레이어는 전반적으로 이미지 디스플레이 레이어보다 높은 뎁스 값을 가질 수 있으나, 일부 영역에서는 이미지 디스플레이 레이어보다 낮은 뎁스 값을 가질 수 있다.
특히, 이미지를 표시하는 이미지 디스플레이 레이어 및 물 표면의 투명도를 가지는 반투명 디스플레이 레이어를 이용하여 이미지를 출력함으로써, 디스플레이부(220)는 이미지 디스플레이 레이어가 표시하는 이미지가 물에 잠겨 있는 듯한 이미지 효과를 사용자에게 제공할 수 있다. 즉, 디스플레이부(220)는 제어부(250)에 의해 계산된 반투명 디스플레이 레이어의 표면의 모양에 따라 반사율 및 굴절률에 따라 이미지 디스플레이 레이어가 표시하는 이미지에 다양한 물리적 효과(예를 들어, 스넬에 법칙에 따르는 굴절률에 의한 이미지 표시, 스펙큘러 하이라이트 등)를 제공할 수 있다.
또한, 사용자 입력부(240)를 통해 사용자 입력이 감지된 경우, 디스플레이부(220)는 제어부(250)의 제어에 의해 뎁스(또는 모양)가 변경된 반투명 디스플레이 레이어를 이용하여 이미지 디스플레이 레이어가 표시하는 이미지를 표시할 수 있다. 이에 의해, 디스플레이부(220)는 사용자 입력이 감지된 지점에 잔물결 효과를 사용자에게 제공할 수 있다.
한편, 디스플레이부(220)는 LCD(Liquid Crystal Display)로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, OLED(Organic Light-Emitting Diode), TFT(thin film transistor), CRT(Cathode-Ray Tube) 등과 같은 다양한 디스플레이로 구현될 수 있다.
저장부(230)는 사용자 단말(200)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(230)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(230)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(200)이 스마트 폰으로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
사용자 입력부(240)는 사용자 단말(200)을 제어하기 위한 사용자 명령을 입력받을 수 있다. 사용자 입력부(240)는 디스플레이부(220)에 디스플레이된 복수의 디스플레이 아이템 중 하나를 선택하기 위한 사용자 입력을 감지할 수 있다.
특히, 사용자 입력부(240)가 터치 스크린으로 구현된 경우, 사용자 입력부(220)는 터치 스크린 전체 영역 중 일부 영역에 대한 사용자 터치를 감지할 수 있다.
한편, 사용자 입력부(240)가 터치 스크린으로 구현되는 것은 일 실시예에 불과할 뿐, 포인팅 디바이스, 마우스, 등과 같이 사용자 단말(200)을 제어할 수 있는 다른 입력 장치로 구현될 수 있다.
제어부(250)는 저장부(230)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(200)의 전반적인 동작을 제어한다.
제어부(250)는 도 2에 도시된 바와 같이, RAM(251), ROM(252), 그래픽 처리부(253), 메인 CPU(254), 제1 내지 n 인터페이스(255-1 ~ 255-n), 버스(256)를 포함한다. 이때, RAM(251), ROM(252), 그래픽 처리부(253), 메인 CPU(254), 제1 내지 n 인터페이스(255-1 ~ 255-n) 등은 버스(256)를 통해 서로 연결될 수 있다.
ROM(252)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(254)는 ROM(252)에 저장된 명령어에 따라 저장부(230)에 저장된 O/S를 RAM(251)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(254)는 저장부(230)에 저장된 각종 어플리케이션 프로그램을 RAM(251)에 복사하고, RAM(251)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(253)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 사용자 입력부(240)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 출력부(240)의 디스플레이 영역 내에 표시된다.
메인 CPU(254)는 저장부(230)에 액세스하여, 저장부(230)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(254)는 저장부(230)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(255-1 내지 255-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 디스플레이부(220)가 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩하여 표시하는 동안 사용자 입력부(240)를 통해 사용자 입력이 감지되면, 제어부(250)는 사용자 입력에 따라 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 사용자 입력에 응답하는 이미지 효과를 제공하도록 디스플레이부(220)를 제어할 수 있다.
구체적으로, 디스플레이부(220)는 도 4a에 도시된 바와 같이, 서로 다른 뎁스를 가지는 이미지 디스플레이 레이어(310)와 반투명 디스플레이 레이어(320)가 중첩하여 이미지를 디스플레이할 수 있다. 이때, 제어부(250)는 이미지 디스플레이 레이어(310) 중 반투명 디스플레이 레이어(320)의 뎁스값보다 작은 뎁스값을 가지는 영역에 디스플레이되는 이미지가 물에 잠겨 있는 듯한 이미지 효과를 제공하도록 디스플레이부(220)를 제어할 수 있다.
더욱 구체적으로, 제어부(250)는 이미지 디스플레이 레이어(310) 중 반투명 디스플레이 레이어(320)의 뎁스값보다 작은 뎁스값을 가지는 영역에 대한 반사율 및 굴절률을 계산하고, 계산된 반사율 및 굴절률에 따라 이미지가 물에 잠긴 듯한 이미지 효과를 제공하도록 디스플레이부(220)를 제어할 수 있다. 제어부(250)가 반사율 및 굴절률에 따라 디스플레이 레이어를 렌더링하는 방법에 대해서는 도 5를 참조하여 설명하기로 한다.
우선, 제어부(250)는 빛(light)을 생성한다(S510). 이때, 빛은 임의의 공간 영역에 위치할 수 있다.
그리고, 제어부(250)는 반투명 디스플레이 레이어(320)의 노말 벡터를 계산한다(S520). 이때, 제어부(250)는 반투명 디스플레이 레이어(320)의 각 픽셀에 대한 노말 벡터로서 각 픽셀의 수직 벡터를 계산할 수 있다.
그리고, 제어부(250)는 반투명 디스플레이 레이어(320)의 표면 및 카메라의 위치에 따라 각 픽셀의 반사율 및 굴절률을 계산한다(S530). 구체적으로, 제어부(240)는 프레넬 공식(Fresnel’s formulas)을 이용하여 카메라의 위치 및 디스플레이 레이어의 노말 벡터 방향에 따라 각 픽셀의 반사율 및 굴절률을 계산할 수 있다.
그리고, 제어부(250)는 반사율에 따라 스펙큘러 하이라이트(specular highlight)를 생성하고, 굴절률에 따라 제1 디스플레이 레이어를 렌더링한다(S540). 구체적으로, 제어부(230)는 계산된 반사율에 따라 스펙큘러 하이라이트로 처리하거나 환경맵을 이용하여 반투명 디스플레이 레이어에 투영할 수 있다. 예를 들어, 제어부(230)는 도 6에 도시된 바와 같은 물결(riffle)의 Height field를 이용하여 3차원 수면 메쉬(Mesh)를 생성하고, 임의의 위치에 빛(light)를 추가하며, 빛, 카메라, 수면의 위치 및 각도에 따라 3D 쉐이딩(shading)을 수행하여 스펙큘러 하이라이트를 생성할 수 있다. 또한, 제어부(230)는 스넬의 법칙에 따라 계산된 굴절률을 이용하여 이미지 디스플레이 레이어를 렌더링할 수 있다.
그리고, 제어부(250)는 반사율 및 굴절률에 따른 렌더링 결과를 합성한다(S550). 그리고, 제어부(250)는 반사율 및 굴절률에 따라 렌더링된 이미지를 출력하도록 디스플레이부(220)를 제어할 수 있다.
상술한 바와 같은 과정을 통해, 이미지 디스플레이 레이어에 표시된 이미지가 물에 잠기는 듯한 효과를 제공할 수 있다.
한편, 도 4a와 같이, 서로 다른 뎁스를 가지는 이미지 디스플레이 레이어(310)와 반투명 디스플레이 레이어(320)가 중첩하여 이미지를 표시하는 동안, 터치 스크린의 임의의 영역에 사용자 터치가 감지되면, 제어부(250)는 도 4b에 도시된 바와 같이, 반투명 디스플레이 레이어(320) 중 사용자 터치가 감지된 지점의 뎁스값을 감소시킬 수 있다. 이때, 감소하는 뎁스값은 사용자 터치의 세기에 따라 상이해 질 수 있다. 구체적으로, 제어부(250)는 사용자 터치의 세기가 강할수록 뎁스값을 더욱 많이 감소시키며, 사용자 터치의 세기가 약할 수록 뎁스값을 작게 감소시킬 수 있다. 한편, 도 4b에 도시된 반투명 디스플레이 레이어(320)는 사용자 터치가 감지된 순간을 도시한 도면이며, 기설정된 시간동안 물결이 치는 듯이 반투명 디스플레이 레이어(320)의 뎁스값이 변경될 수 있다.
반투명 디스플레이 레이어(320)의 뎁스값이 변경되면, 제어부(250)는 도 5에서 설명한 바와 같은 방법을 이용하여 반사율 및 굴절률을 다시 계산하여 디스플레이 레이어를 렌더링하여 출력할 수 있다.
이로 인해, 제어부(250)는 사용자 터치가 감지된 지점에 잔물결 현상(riffle effect)이 발생하도록 디스플레이부(220)를 제어할 수 있다. 예를 들어, 도 7a에 도시된 바와 같이, 이미지가 렌더링된 상태에서 특정 영역에 대한 사용자 터치가 감지된 경우, 제어부(250)는 도 7b에 도시된 바와 같이, 잔물결 효과(riffle effect)를 제공하도록 디스플레이부(220)를 제어할 수 있게 된다. 이때, 제어부(250)는 이미지 디스플레이 레이어의 뎁스를 바탕으로 잔물결 효과를 제공할 수 있다. 즉, 제어부(250)는 도 7b에 도시된 바와 같이, 뎁스값이 높은 방향보다 뎁스값이 낮은 방향으로 잔물결이 더욱 많이 형성하여 디스플레이하도록 디스플레이부(220)를 제어할 수 있다.
상술한 바와 같은 실시예에 의해, 사용자 단말은 더욱 사실적이고 자연스러운 3차원 잔물결 효과를 사용자에게 제공할 수 있게 된다.
이하에서는 도 8a 내지 도 9b를 참조하여 본 발명의 다른 실시예에 대해 설명하기로 한다.
구체적으로, 도 9a에 도시된 바와 같이, 복수의 디스플레이 아이템(910 내지 990)이 디스플레이되는 동안, 이미지 디스플레이 레이어(810)는 도 8a에 도시된 바와 같이, 디스플레이 아이템(910 내지 990)이 위치하는 영역에는 높은 뎁스값을 갖고, 디스플레이 아이템(910 내지 990)이 위치하지 않는 영역에는 낮은 뎁스값을 갖게 된다. 그리고, 도 8b에 도시된 바와 같이, 반투명 디스플레이 레이어(820)는 이미지 디스플레이 레이어(810) 중 디스플레이 아이템(910 내지 990)이 위치한 영역과 디스플레이 아이템(910 내지 990)이 위치하지 않은 영역 사이의 뎁스값을 가질 수 있다.
이때, 도 8b에 도시된 바와 같이, 이미지 디스플레이 레이어(810) 및 반투명 디스플레이 레이어(820)가 중첩하여 이미지를 표시하는 동안 복수의 디스플레이 아이템(910 내지 990) 중 하나가 터치되는 사용자 명령이 입력되면, 제어부(250)는 도 8c에 도시된 바와 같이, 터치된 디스플레이 아이템이 위치하는 영역의 뎁스값을 반투명 디스플레이 레이어(820)의 뎁스값보다 낮출 수 있다. 이에 의해, 제어부(250)는 터치된 디스플레이 아이템이 물에 감기는 듯한 효과를 사용자에게 제공할 수 있게 된다.
예를 들어, 도 9a에 도시된 바와 같이 복수의 디스플레이 아이템(910 내지 990)이 디스플레이되는 동안 제5 디스플레이 아이템(950)이 터치되면, 제어부(250)는 이미지 디스플레이 레이어 중 터치된 제5 디스플레이 아이템(950)이 위치하는 영역의 뎁스값을 반투명 디스플레이 레이어의 뎁스값보다 낮추어, 도 9b에 도시된 바와 같이, 제5 디스플레이 아이템(950)이 물에 잠기는 듯한 이미지 효과를 사용자에게 제공할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자 단말(200)은 사용자에게 사실적이고 자연스러운 3차원 이미지 효과를 제공할 수 있게 된다.
이하에서는 도 10을 참조하여 사용자 단말(100)의 이미지 출력 방법에 대해 설명하기로 한다.
우선, 사용자 단말(100)은 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시한다(S1010). 구체적으로, 사용자 단말(200)은 이미지를 표시하는 제1 디스플레이 레이어 및 물 표면의 투명도를 가지는 제2 디스플레이 레이어를 중첩하여 이미지를 표시할 수 있다.
그리고, 사용자 단말(100)은 사용자 입력이 감지되었는지 여부를 판단한다(S1020).
사용자 입력이 감지된 경우, 사용자 단말(100)은 사용자 입력에 따라 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여 사용자 입력에 응답하는 이미지 효과를 제공한다(S1030). 구체적으로, 사용자 단말(100)은 도 3a 내지 도 7b에서 설명한 바와 같이, 잔물결 효과를 사용자에게 제공할 수 있으며, 도 8a 내지 도 9b에서 설명한 바와 같이, 디스플레이 아이템이 물에 잠기는 듯한 효과를 사용자에게 제공할 수 있다.
상술한 바와 같은 이미지 출력 방법에 의해, 사용자 단말(100)은 사용자 입력에 응답하여 사실적이고 자연스러운 3차원 이미지 효과를 사용자에게 제공할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따르면, 사용자 단말(100)은 사용자 단말의 기울려짐을 바탕으로 중력에 따라 물이 흐르는 이미지 효과를 제공할 수 있다. 이에 대해서는 도 11a 내지 도 14를 참조하여 본 발명의 다른 실시예에 대해 설명하기로 한다. 한편, 본 발명의 일 실시예에 따른, 사용자 단말(200)은 곡선 형태의 디스플레이부(220)를 포함하는 사용자 단말일 수 있다.
구체적으로, 디스플레이부(220)는 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩하여 표시할 수 있다. 이때, 디스플레이 레이어는 이미지를 디스플레이하는 이미지 디스플레이 레이어, 중력 효과를 나타내는 중력 디스플레이 레이어 및 특정 투명도(예를 들어, 물 표면의 투명도)를 가지는 반투명 디스플레이 레이어를 포함할 수 있다. 이때, 이미지 디스플레이 레이어, 중력 디스플레이 레이어 및 반투명 디스플레이 레이어는 각각 상이한 뎁스를 가지고 있다. 또한, 이미지 디스플레이 레이어는 고정된 뎁스를 가지며, 중력 디스플레이 레이어 및 반투명 디스플레이 레이어는 사용자 입력에 따라 뎁스가 변경될 수 있다.
특히, 디스플레이부(220)가 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩하여 표시하는 동안 사용자 입력부(240)를 통해 사용자 단말(200)을 기울리는 사용자 입력이 감지되면, 제어부(250)는 사용자 입력에 따라 복수의 디스플레이 레이어 중 중력 디스플레이 레이어의 뎁스를 변경하여 사용자 입력에 응답하는 이미지 효과를 제공하도록 디스플레이부(220)를 제어할 수 있다.
구체적으로, 도 11a의 1)에 도시된 바와 같이, 사용자 단말(200)이 기울여지지 않는 경우, 제어부(250)는 도 11a의 2)와 같이, 서로 다른 뎁스를 가지는 중력 디스플레이 레이어(1110)와 반투명 디스플레이 레이어(1120)를 중첩하여 이미지를 디스플레이할 수 있다. 이때, 중력 디스플레이 레이어(1110)는 반투명 디스플레이 레이어보다 뎁스 값이 작을 수 있으며, 중력 디스플레이 레이어(1110)를 뎁스맵 형태로 표현하면 도 11a의 3)과 같을 수 있다. 한편, 도 11a에는 도시되지 않았으나, 이미지 디스플레이 레이어는 중력 디스플레이 레이어보다 뎁스값이 작을 수 있다.
그리고, 도 11a의 1)에 도시된 바와 같이, 사용자 단말(200)이 평평한 상태를 유지하는 동안 도 11b의 1)에 도시된 바와 같이, 사용자 단말(200)이 제1 각도(예를 들어, 10도)만큼 기울여진 경우, 제어부(250)는 도 11b의 2)와 같이, 중력 디스플레이 레이어(1110) 중 사용자 단말(200)이 기울려진 방향과 반대 방향에 위치하는 영역의 뎁스 값을 변경할 수 있다. 즉, 사용자 단말(200)이 오른쪽 방향으로 기울여진 경우, 제어부(250)는 중력 디스플레이 레이어의 왼쪽 영역의 뎁스 값을 변경시킬 수 있다. 이때, 중력 디스플레이 레이어(1110) 중 A1 영역의 뎁스값은 반투명 디스플레이 레이어의 뎁스 값보다 클 수 있으며, 중력 디스플레이 레이어(1110)를 뎁스맵 형태로 표현하면 도 11b의 3)과 같을 수 있다.
또한, 제어부(250)는 사용자 단말(200)의 기울려진 각도가 클수록 중력 디스플레이 레이어(1110) 중 반투명 디스플레이 레이어의 뎁스 값보다 큰 영역이 증가할 수 있다. 구체적으로, 도 11a의 1)에 도시된 바와 같이, 사용자 단말(200)이 평평한 상태를 유지하는 동안 도 11c의 1)에 도시된 바와 같이, 사용자 단말(200)이 제1 각도보다 큰 제2 각도(예를 들어, 20 도)만큼 기울여진 경우, 제어부(250)는 도 11c의 2)와 같이, 제1 각도 기울여질 때 뎁스 값이 변경된 영역보다 더욱 넓은 영역의 뎁스 값을 변경할 수 있다. 즉, 중력 디스플레이 레이어(1110) 중 A2 영역의 뎁스값은 반투명 디스플레이 레이어의 뎁스 값보다 클 수 있으며, 중력 디스플레이 레이어(1110)를 뎁스맵 형태로 표현하면 도 11c의 3)과 같을 수 있다.
그리고, 제어부(250)는 중력 디스플레이 레이어의 뎁스값이 반투명 디스플레이 레이어의 뎁스값보다 낮은 영역에 디스플레이되는 이미지만 물에 잠기는 이미지 효과를 제공할 수 있다. 즉, 제어부(250)는 중력 디스플레이 레이어의 뎁스값이 반투명 디스플레이 레이어의 뎁스값보다 큰 영역에 디스플레이되는 이미지는 물결을 표시하지 않고, 이미지만을 디스플레이하며, 중력 디스플레이 레이어의 뎁스값이 반투명 디스플레이 레이어의 뎁스값보다 작은 영역에 디스플레이되는 이미지는 물결을 표시하여 물 아래 잠긴 듯한 이미지 효과를 제공할 수 있다. 이미지가 물 아래 잠긴 듯한 이미지 효과에 대한 설명은 상술한 바와 같으므로, 중복되는 설명을 생략한다.
또한, 제어부(250)는 이미지가 물에 잠긴듯한 효과를 더욱 사실적으로 표현하기 위하여 코스틱 효과(caustic effect)를 제공할 수 있다. 이때, 코스틱 효과라 함은 빛이 투명한 물체를 통과할 때 굴절에 의해 빛이 다른 영역에 비춰지는 효과를 의미한다. 특히, 제어부(250)는 반투명 디스플레이 레이어 중 기설정된 구간의 뎁스값을 가지는 영역에 코스틱(caustic) 효과를 제공할 수 있다.
구체적으로, 제어부(250)는 도 12의 a)에 도시된 바와 같은 코스틱 뎁스맵을 생성한다. 이때, 제어부(250)는 저장부(230)에 저장된 코스틱 뎁스맵을 이용할 수 있다. 그리고, 제어부(250)는 도 12의 b)에 도시된 바와 같이, 반투명 디스플레이 레이어(1210)의 뎁스값을 반전하여 기설정된 구간의 뎁스 값을 가지는 영역을 코스틱 영역이라 판단할 수 있다. 그리고, 제어부(250)는 코스틱 뎁스맵과 코스틱 영역의 뎁스값을 보간하여 코스틱 효과를 제공할 수 있다. 즉, 제어부(250)는 코스틱 뎁스맵 중 코스틱 영역에 대응되는 영역에만 코스틱 뎁스값을 설정하고, 나머지 영역의 코스틱 뎁스값은 0으로 설정하여 코스틱 영역에만 코스틱 효과를 제공할 수 있다. 한편, 상술한 실시예에서는 코스틱 영역에만 코스틱 뎁스값을 설정하고, 나머지 영역의 코스틱 뎁스값을 0으로 설정한다고 언급하였으나, 이는 일 실시예에 불과할 뿐, 나머지 영역의 코스틱 뎁스값을 코스틱 영역의 코스틱 뎁스값보다 작게 설정할 수 있다.
제어부(250)는 상술한 바와 같이, 중력 디스플레이 레이어의 뎁스 변경 및 코스틱 효과를 제공하여 도 13에 도시된 바와 같이 사용자 단말(200)의 기울여짐 정도에 따라 물이 흐르는 듯한 이미지 효과를 제공할 수 있다. 구체적으로, 사용자 단말(200)이 오른쪽으로 기울여짐에 따라, 제어부(250)는 물이 오른쪽으로 흘러 이미지의 왼쪽 영역이 물 밖으로 나오는 이미지 효과를 제공하며, 다시 사용자 단말(200)이 왼쪽으로 기울여짐에 따라, 제어부(250)는 물이 다시 왼쪽으로 흘러 이미지의 왼쪽 영역이 다시 물에 차는 듯한 이미지 효과를 제공할 수 있게 된다.
이하에서는 도 14를 참조하여 본 발명의 일 실시예에 따른, 사용자 단말(200)의 이미지 표시 방법을 설명하기로 한다.
우선, 사용자 단말(200)은 중력 디스플레이 레이어 및 반투명 디스플레이 레이어를 중첩하여 이미지를 표시한다(S1410). 이때, 중력 디스플레이 레이어는 반투명 디스플레이 레이어의 뎁스값보다 작을 수 있다.
그리고, 사용자 단말(200)은 사용자 단말(200)의 기울임을 감지한다(S1420).
사용자 단말(200)의 기울임이 감지된 경우(S1420-Y), 사용자 단말(200)은 중력 디스플레이 레이어의 뎁스값을 변경한다(S1430). 구체적으로, 사용자 단말(200)은 사용자 단말(200)이 기울여지는 방향의 반대 방향에 위치하는 영역에 뎁스값을 변경시킬 수 있으며, 사용자 단말(200)이 기울여지는 각도가 커질수록 뎁스값이 변경되는 영역을 증가시킬 수 있다.
그리고, 사용자 단말(200)은 중력 디스플레이 레이어의 뎁스값 및 반투명 디스플레이 레이어의 뎁스값을 비교하여 이미지 효과를 제공한다(S1440). 구체적으로, 사용자 단말(200)은 중력 디스플레이 레이어의 뎁스값이 반투명 디스플레이 레이어의 뎁스값보다 작은 영역의 이미지에는 물에 잠기는 이미지 효과를 제공하며, 중력 디스플레이 레이어의 뎁스값이 반투명 디스플레이 레이어의 뎁스값보다 큰 영역의 이미지에는 물결 표시를 하지 않고, 물 밖에 위치하는 듯한 이미지 효과를 제공할 수 있다. 또한, 물에 잠기는 듯한 더욱 사실적인 표현을 위하여, 사용자 단말(200)은 반투명 디스플레이 레이어의 기설정된 구간의 뎁스값을 가지는 영역에 코스틱 효과를 제공할 수 있다.
상술한 바와 같이 사용자 단말(200)의 기울여짐 정도에 따라 중력 디스플레이 레이어의 뎁스값을 변경함으로써, 중력에 따라 디스플레이되는 이미지에 물이 흐르는 듯한 이미지 효과를 제공할 수 있게 된다. 또한, 코스틱 효과를 함께 제공함으로써 더욱 사실적인 이미지 효과를 제공할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 사용자 단말(100)의 이미지 출력 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 특히, 사용자 단말(100)의 이미지 출력 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110, 220: 디스플레이부 120,240: 사용자 입력부
130, 250: 제어부 210: 통신부
230: 저장부

Claims (31)

  1. 사용자 단말의 이미지 표시 방법에 있어서,
    서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시하는 단계;및
    사용자 입력이 감지되면, 상기 사용자 입력에 따라 상기 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 상기 사용자 입력에 응답하는 이미지 효과를 제공하는 단계;를 포함하는 이미지 표시 방법.
  2. 제1항에 있어서,
    상기 복수의 디스플레이 레이어는,
    이미지를 디스플레이하는 제1 디스플레이 레이어 및 상기 제1 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함하는 것을 특징으로 하는 이미지 표시 방법.
  3. 제2항에 있어서,
    상기 제1 디스플레이 레이어는 고정된 뎁스를 가지는 것을 특징으로 하며,
    상기 제2 디스플레이 레이어는 상기 사용자 입력에 따라 뎁스가 변경되는 것을 특징으로 하는 이미지 표시 방법.
  4. 제3항에 있어서,
    상기 제공하는 단계는,
    상기 사용자 입력이 감지되면, 상기 제2 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스를 변경하는 단계; 및
    상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 상기 사용자 입력에 의한 물리적 작용을 표현하는 단계;를 포함하는 것을 특징으로 하는 이미지 표시 방법.
  5. 제4항에 있어서,
    상기 표현하는 단계는,
    상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 굴절률 및 반사율을 계산하여 상기 계산된 굴절률 및 반사율에 따라 상기 사용자 입력에 의한 물리적 작용을 표현하는 것을 특징으로 하는 이미지 표시 방법.
  6. 제5항에 있어서,
    상기 이미지 효과는,
    잔물결 효과(riffle effect)인 것을 특징으로 하는 이미지 표시 방법.
  7. 제2항에 있어서,
    디스플레이 화면이 복수의 디스플레이 아이템을 표시하는 화면인 경우,
    상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되는 영역은 높은 뎁스값을 가지며, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되지 않은 영역은 낮은 뎁스값을 가지는 것을 특징으로 하는 이미지 표시 방법.
  8. 제7항에 있어서,
    상기 제2 디스플레이 레이어는 상기 복수의 디스플레이 아이템이 표시되는 영역의 뎁스값과 상기 복수의 디스플레이 아이템이 표시되지 않는 영역의 뎁스값 사이의 뎁스값을 가지는 것을 특징으로 하는 이미지 표시 방법.
  9. 제8항에 있어서,
    상기 제공하는 단계는,
    상기 복수의 디스플레이 아이템 중 하나에 사용자 입력이 감지된 경우, 상기 제1 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스값을 상기 제2 디스플레이 레이어의 뎁스값보다 낮추어 상기 제1 사용자 입력이 감지된 디스플레이 아이템이 물에 잠기는 이미지 효과를 제공하는 것을 특징으로 하는 이미지 표시 방법.
  10. 제1항에 있어서,
    상기 사용자 입력이 상기 사용자 단말을 기울이는 사용자 입력인 경우,
    상기 제공하는 단계는,
    상기 사용자 단말의 기울임 정도에 따라 상기 복수의 디스플레이 레이어 중 하나의 디스플레이 레이어의 뎁스를 변경하여 상기 사용자 입력에 응답하는 이미지 효과를 제공하는 것을 특징으로 하는 이미지 표시 방법.
  11. 제10항에 있어서,
    상기 복수의 디스플레이 레이어는,
    중력 효과를 나타내는 제3 디스플레이 레이어 및 상기 제4 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함하는 것을 특징으로 하는 이미지 표시 방법.
  12. 제11항에 있어서,
    상기 제공하는 단계는,
    제3 디스플레이 레이어의 영역 중 상기 사용자 단말이 기울여지는 방향의 반대 방향에 위치하는 영역의 뎁스 값이 증가하도록 상기 제3 디스플레이 레이어의 뎁스를 변경하는 것을 특징으로 하는 이미지 표시 방법.
  13. 제12항에 있어서,
    상기 제공하는 단계는,
    상기 제3 디스플레이 레이어의 뎁스값이 상기 제4 디스플레이 레이어의 뎁스값보다 낮은 영역에 디스플레이되는 이미지만 물에 잠기는 이미지 효과를 제공하는 것을 특징으로 하는 이미지 표시 방법.
  14. 제11항에 있어서,
    상기 제공하는 단계는,
    상기 제4 디스플레이 레이어 중 기설정된 구간의 뎁스값을 가지는 영역에 코스틱(caustic) 효과를 제공하는 단계;를 포함하는 것을 특징으로 하는 이미지 표시 방법.
  15. 제11항에 있어서,
    상기 코스틱 효과를 제공하는 단계는,
    코스틱 뎁스맵을 생성하는 단계;
    상기 제4 디스플레이 레이어의 뎁스값을 반전하여 기설정된 구간의 뎁스 값을 가지는 코스틱 영역을 판단하는 단계; 및
    상기 코스틱 뎁스맵과 상기 코스틱 영역의 뎁스값을 보간하여 상기 코스틱 효과를 제공하는 단계;를 더 포함하는 이미지 표시 방법.
  16. 서로 다른 뎁스를 가지는 복수의 디스플레이 레이어를 중첩적으로 표시하는 디스플레이부;
    사용자 입력을 감지하는 사용자 입력부;및
    상기 사용자 입력부를 통해 사용자 입력이 감지되면, 상기 사용자 입력에 따라 상기 복수의 디스플레이 레이어 중 적어도 하나의 디스플레이 레이어의 뎁스를 변경하여, 상기 사용자 입력에 응답하는 이미지 효과를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 사용자 단말.
  17. 제16항에 있어서,
    상기 복수의 디스플레이 레이어는,
    이미지를 디스플레이하는 제1 디스플레이 레이어 및 상기 제1 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함하는 것을 특징으로 하는 사용자 단말.
  18. 제17항에 있어서,
    상기 제1 디스플레이 레이어는 고정된 뎁스를 가지는 것을 특징으로 하며,
    상기 제2 디스플레이 레이어는 상기 사용자 입력에 따라 뎁스가 변경되는 것을 특징으로 하는 사용자 단말.
  19. 제17항에 있어서,
    상기 제어부는,
    상기 사용자 입력부를 통해 상기 사용자 입력이 감지되면, 상기 제2 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스를 변경하고, 상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 상기 사용자 입력에 의한 물리적 작용을 표현하는 것을 특징으로 하는 사용자 단말.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 제1 디스플레이 레이어 및 상기 변경된 뎁스를 가지는 제2 디스플레이 레이어를 이용하여 상기 사용자 입력이 감지된 지점에 굴절률 및 반사율을 계산하여 상기 계산된 굴절률 및 반사율에 따라 상기 사용자 입력에 의한 물리적 작용을 표현하는 것을 특징으로 하는 사용자 단말.
  21. 제20항에 있어서,
    상기 이미지 효과는,
    잔물결 효과(riffle effect)인 것을 특징으로 하는 사용자 단말.
  22. 제17항에 있어서,
    디스플레이 화면이 복수의 디스플레이 아이템을 표시하는 화면인 경우,
    상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되는 영역은 높은 뎁스값을 가지며, 상기 제1 디스플레이 레이어 중 상기 복수의 디스플레이 아이템이 표시되지 않은 영역은 낮은 뎁스값을 가지는 것을 특징으로 사용자 단말.
  23. 제22항에 있어서,
    상기 제2 디스플레이 레이어는 상기 복수의 디스플레이 아이템이 표시되는 영역의 뎁스값과 상기 복수의 디스플레이 아이템이 표시되지 않는 영역의 뎁스값 사이의 뎁스값을 가지는 것을 특징으로 하는 사용자 단말.
  24. 제23항에 있어서,
    상기 제어부는,
    상기 복수의 디스플레이 아이템 중 하나에 사용자 입력이 감지된 경우, 상기 제1 디스플레이 레이어 중 상기 사용자 입력이 감지된 지점의 뎁스값을 상기 제2 디스플레이 레이어의 뎁스값보다 낮추어 상기 제1 사용자 입력이 감지된 디스플레이 아이템이 물에 잠기는 이미지 효과를 제공하는 것을 특징으로 하는 사용자 단말.
  25. 제17항에 있어서,
    상기 사용자 입력부는, 상기 사용자 단말의 기울임을 감지하는 센서;를 더 포함하며,
    상기 제어부는,
    상기 센서를 통해 감지된 상기 사용자 단말의 기울임 정도에 따라 상기 복수의 디스플레이 레이어 중 하나의 디스플레이 레이어의 뎁스를 변경하여 상기 사용자 입력에 응답하는 이미지 효과를 제공하는 것을 특징으로 하는 사용자 단말.
  26. 제25항에 있어서,
    상기 복수의 디스플레이 레이어는,
    중력 효과를 나타내는 제3 디스플레이 레이어 및 상기 제4 디스플레이 레이어 상에 기설정된 투명도를 가지는 제2 디스플레이 레이어를 포함하는 것을 특징으로 하는 사용자 단말.
  27. 제26항에 있어서,
    상기 제어부는,
    제3 디스플레이 레이어의 영역 중 상기 사용자 단말이 기울여지는 방향의 반대 방향에 위치하는 영역의 뎁스 값이 증가하도록 상기 제3 디스플레이 레이어의 뎁스를 변경하는 것을 특징으로 하는 사용자 단말.
  28. 제27항에 있어서,
    상기 제어부는,
    상기 제3 디스플레이 레이어의 뎁스값이 상기 제4 디스플레이 레이어의 뎁스값보다 낮은 영역에 디스플레이되는 이미지만 물에 잠기는 이미지 효과를 제공하는 것을 특징으로 하는 사용자 단말.
  29. 제25항에 있어서,
    상기 사용자 단말은,
    곡선 형태의 디스플레이를 구비하는 것을 특징으로 하는 사용자 단말.
  30. 제26항에 있어서,
    상기 제어부는,
    상기 제4 디스플레이 레이어 중 기설정된 구간의 뎁스값을 가지는 영역에 코스틱(caustic) 효과를 제공하는 것을 특징으로 하는 사용자 단말.
  31. 제29항에 있어서,
    상기 제어부는,
    코스틱 뎁스맵을 생성하고, 상기 제4 디스플레이 레이어의 뎁스값을 반전하여 기설정된 구간의 뎁스 값을 가지는 코스틱 영역을 판단하며, 상기 코스틱 뎁스맵과 상기 코스틱 영역의 뎁스값을 보간하여 코스틱 효과를 제공하는 것을 특징으로 하는 사용자 단말.
KR1020140008674A 2013-02-15 2014-01-24 사용자 단말 및 이의 이미지 표시 방법 KR20140103042A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/180,697 US20140237403A1 (en) 2013-02-15 2014-02-14 User terminal and method of displaying image thereof
PCT/KR2014/001205 WO2014126407A1 (en) 2013-02-15 2014-02-14 User terminal and method of displaying image thereof
EP14155233.1A EP2767973A1 (en) 2013-02-15 2014-02-14 User terminal and method of displaying image thereof
CN201410051940.3A CN103997634B (zh) 2013-02-15 2014-02-14 用户终端及其显示图像的方法
JP2015557942A JP6427504B2 (ja) 2013-02-15 2014-02-14 ユーザ端末及びそのイメージ表示方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361765147P 2013-02-15 2013-02-15
US61/765,147 2013-02-15
KR1020130114316 2013-09-26
KR1020130114316A KR20140103017A (ko) 2013-02-15 2013-09-26 사용자 단말 및 이의 이미지 표시 방법
US201361889234P 2013-10-10 2013-10-10
US61/889,234 2013-10-10

Publications (1)

Publication Number Publication Date
KR20140103042A true KR20140103042A (ko) 2014-08-25

Family

ID=51747561

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130114316A KR20140103017A (ko) 2013-02-15 2013-09-26 사용자 단말 및 이의 이미지 표시 방법
KR1020140008674A KR20140103042A (ko) 2013-02-15 2014-01-24 사용자 단말 및 이의 이미지 표시 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130114316A KR20140103017A (ko) 2013-02-15 2013-09-26 사용자 단말 및 이의 이미지 표시 방법

Country Status (2)

Country Link
JP (1) JP6427504B2 (ko)
KR (2) KR20140103017A (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043701B2 (en) * 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
JP5042307B2 (ja) * 2007-03-09 2012-10-03 パイオニア株式会社 エフェクト装置、ａｖ処理装置およびプログラム
KR101638056B1 (ko) * 2009-09-07 2016-07-11 삼성전자 주식회사 휴대 단말기의 ｕｉ 제공 방법
JP2011018356A (ja) * 2010-09-01 2011-01-27 Sharp Corp 携帯型電話機、情報処理プログラム、および情報処理プログラムを記録した記録媒体
KR101728725B1 (ko) * 2010-10-04 2017-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
JP2016511898A (ja) 2016-04-21
KR20140103017A (ko) 2014-08-25
JP6427504B2 (ja) 2018-11-21

Similar Documents

Publication Publication Date Title
US11416066B2 (en) Methods and systems for generating and providing immersive 3D displays
US9224237B2 (en) Simulating three-dimensional views using planes of content
US10067634B2 (en) Approaches for three-dimensional object display
US10592064B2 (en) Approaches for three-dimensional object display used in content navigation
US9591295B2 (en) Approaches for simulating three-dimensional views
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
KR102330829B1 (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
EP3047363B1 (en) Approaches for three-dimensional object display
US20180246635A1 (en) Generating user interfaces combining foreground and background of an image with user interface elements
CN104025003B (zh) 平移动画
RU2627113C2 (ru) Пользовательский интерфейс для редактирования значения по месту
US20150082145A1 (en) Approaches for three-dimensional object display
KR20170000553A (ko) 디스플레이의 확장 영역에 대한 사용 알림 제공 방법 및 이를 지원하는 전자 장치
US9389703B1 (en) Virtual screen bezel
US12073070B2 (en) Dynamic element control method, electronic device, and computer readable storage medium
WO2017097142A1 (zh) 界面操作的处理方法、装置和智能终端
EP2998833B1 (en) Electronic device and method of controlling display of screen thereof
CN103997634B (zh) 用户终端及其显示图像的方法
JP6427504B2 (ja) ユーザ端末及びそのイメージ表示方法
KR101803770B1 (ko) 전자 장치 및 그 렌더링 방법
US10380784B2 (en) Electronic apparatus for mapping texture image and generating blending image
US20240184443A1 (en) Display control method, electronic device, and readable storage medium
US20240004534A1 (en) Click and swap
TWI724096B (zh) 介面操作的處理方法、裝置和智慧終端
TW201428607A (zh) 顯示方法與使用其之電子裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application