KR102235679B1

KR102235679B1 - 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법

Info

Publication number: KR102235679B1
Application number: KR1020140097313A
Authority: KR
Inventors: 이기창; 안민수; 하인우; 박승인; 이형욱; 이희세
Original assignee: 삼성전자주식회사
Priority date: 2014-07-08
Filing date: 2014-07-30
Publication date: 2021-04-05
Also published as: KR20160006087A

Abstract

밝은 특성을 가지는 객체에 의한 시각 효과를 객체 주위의 화면에 반영할 수 있는 디스플레이 장치 및 방법이 제공된다.

Description

시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법{DEVICE AND METHOD TO DISPLAY OBJECT WITH VISUAL EFFECT}

이하, 디스플레이 장치 및 방법이 개시된다.

모바일 GPU (Graphic Processing Unit) 기술이 발달하면서, 모바일 장치(Mobile device)에 3D 그래픽스 기술을 활용함으로써, 컨텐츠 제공자(contents provider)는 가상 환경 컨텐츠(virtual environment contents)를 제공할 수 있게 되었다.

스마트폰 이전의 모바일 장치에서는 2D 그래픽스 기술을 활용한 평면적인 간단한 2D 컨텐츠만 제공되었으나, 스마트폰과 같은 최근 모바일 장치에서는 고성능의 CPU (Central Processing Unit) 및 GPU가 지원된다. 이와 같이 최근의 모바일 장치는 3D 그래픽스를 지원할 수 있는 하드웨어 환경 및 하드웨어 환경과 관련된 소프트웨어적인 표준(Standard)이 지원된다. 소프트웨어적인 표준은 예를 들면, OpenGL ES 등과 같은 산업 표준이 있다.

또한, 이러한 모바일 장치의 3D 그래픽스 기술은, 증강 현실(AR, Augmented Reality), 및 가상 현실(VR, Virtual Reality) 등에서 실감나고(realistic) 몰입감(immersion)이 극대화되도록 가상 객체를 생성하여 사용자에게 제공할 수 있는 기반을 제공한다.

일 실시예에 따르면 적어도 하나의 가상 광원(virtual light source)이 설정된 객체(object)를 가상 환경(virtual environment)에 디스플레이하는 단계, 적어도 하나의 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명(illuminate)하는 단계를 포함하는 디스플레이 방법이 제공될 수 있다.

디스플레이 방법은 객체에 적어도 하나의 가상 광원을 설정하는 단계를 더 포함할 수 있다.

객체에 적어도 하나의 가상 광원을 설정하는 단계는, 객체의 객체 영역에서 격자 형태로 복수의 가상 광원의 위치(position)를 설정하는 단계를 포함할 수 있다.

객체에 적어도 하나의 가상 광원을 설정하는 단계는, 적어도 하나의 가상 광원의 각각의 조명 방향(illuminating orientation) 및 위치를 설정하는 단계, 및 적어도 하나의 가상 광원의 각각에 대해, 조명 방향을 기준으로 컷오프 각도(cut-off angle) 및 강도 감쇠(intensity attenuation)를 설정하는 단계를 포함할 수 있다.

적어도 하나의 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명하는 단계는, 조명 방향 및 컷오프 각도에 기초하여 적어도 하나의 가상 광원의 각각에 대응하는 가상 영역을 계산하는 단계를 포함할 수 있다.

적어도 하나의 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명하는 단계는, 객체로부터 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하는 단계, 및 추출된 색상을 가상 광원에 반영하여 가상 영역을 조명하는 단계를 포함할 수 있다.

객체로부터 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하는 단계는, 적어도 하나의 가상 광원의 위치 주위의 색상 값들의 평균값(average value), 가중평균(weighted average value) 또는 중간값(median value) 중 하나를 색상의 값으로 추출하는 단계를 포함할 수 있다.

적어도 하나의 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명하는 단계는, 사용자로부터 수신된 제어 신호(control signal)에 응답하여, 적어도 하나의 가상 광원이 가상 영역에 영향을 주는 정도(level) 및 적어도 하나의 가상 광원이 영향을 주는 가상 영역의 크기 중 적어도 하나를 제어하는 단계를 포함할 수 있다.

객체는 정지 이미지 객체(still image object) 및 비디오 객체(video object) 중 적어도 하나를 포함할 수 있다.

적어도 하나의 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명하는 단계는, 적어도 하나의 가상 광원이 객체 내부에 미치는 시각 효과는 배제(exclude)하고, 적어도 하나의 가상 광원이 객체 주위의 가상 영역에 미치는 시각 효과는 포함하는 단계를 포함할 수 있다.

일 실시예에 따르면, 디스플레이 및 프로세서를 포함하고, 프로세서는, 디스플레이를 통해 적어도 하나의 가상 광원이 설정된 객체 및 적어도 하나의 가상 광원에 의한 조명 효과(illumination effect)가 반영된 가상 환경을 디스플레이하는, 디스플레이 장치가 제공될 수 있다.

프로세서는, 객체로부터, 적어도 하나의 가상 광원의 각각의 조명 방향, 위치, 컷오프 각도 및 강도 감쇠 중 적어도 하나를 추출할 수 있다.

프로세서는, 조명 방향, 위치, 컷오프 각도 및 강도 감쇠 중 적어도 하나에 기초하여, 적어도 하나의 가상 광원의 각각에 의한 빛이 투사되는 가상 영역을 계산할 수 있다.

프로세서는, 객체로부터 적어도 하나의 가상 광원의 각각의 위치에 대응하는 색상을 추출하여, 추출된 색상을 적어도 하나의 가상 광원의 각각에 반영할 수 있다.

프로세서는, 적어도 하나의 가상 광원의 각각의 위치 주위의 색상 값들의 평균값, 가중평균 또는 중간값 중 하나를 색상의 값으로 추출할 수 있다.

프로세서는, 적어도 하나의 가상 광원에 의한 조명 효과의 정도를, 사용자로부터 수신된 제어 신호에 응답하여 조절할 수 있다.

객체는 동영상 객체를 포함하고, 가상 환경은 동영상 객체가 제공되는 가상 공간을 포함하며, 프로세서는, 동영상 객체의 프레임마다, 프레임에서 가상 광원의 위치에 대응하는 색상을 가상 광원에 반영하여, 디스플레이를 통해 가상 환경을 디스플레이할 수 있다.

객체는 적어도 하나의 사진 객체를 포함하고, 가상 환경은 적어도 하나의 사진 객체가 미리 정한 배치에 따라 제공되는 가상 공간을 포함하며, 프로세서는, 디스플레이를 통해 적어도 하나의 사진 객체의 각각마다 설정된 적어도 하나의 가상 광원에 의한 시각 효과를 가상 공간에 디스플레이할 수 있다.

프로세서는, 가상 공간에서 객체가 복수인 경우, 복수의 객체 중 미리 정한 객체에 설정된 적어도 하나의 가상 광원의 밝기를 다른 객체에 설정된 가상 광원의 밝기보다 밝게 설정할 수 있다.

디스플레이는, HMD(head mounted display), 입체 디스플레이(stereoscopic display) 또는 터치스크린(touch screen) 중 하나를 포함할 수 있다.

일 실시예에 따르면 객체를 포함하는 영상을 표시하는 디스플레이, 사용자 입력을 수신하는 인터페이스, 및 사용자 입력에 따라 객체에 대한 시각 효과는 유지하고 객체의 주위에 대한 시각 효과를 변경하는 프로세서를 포함할 수 있다.

프로세서는, 객체의 주위에 대한 시각 효과를 객체를 이용하여 계산할 수 있다.

프로세서는, 사용자 입력에 따라 객체에 설정된 복수의 가상 광원에 의한 객체의 주위에 대한 조명 효과의 정도(level)를 변경할 수 있다.

프로세서는, 객체의 적어도 일부에 대응하는 색상을 추출하여 시각 효과에 반영할 수 있다.

일 실시예에 따르면 동영상 객체를 포함하는 영상을 표시하는 디스플레이, 동영상 객체의 재생 중 동영상 객체의 프레임마다 객체의 주위에 대한 시각 효과를 실시간으로 변경하는 프로세서를 포함하는 디스플레이 장치가 제공될 수 있다.

프로세서는, 동영상 객체에 설정된 복수의 가상 광원에 의한 시각 효과를 객체의 주위에 생성할 수 있다.

프로세서는, 동영상 객체의 재생 중, 동영상 객체의 프레임마다, 프레임에서 가상 광원의 위치에 대응하는 색상을 가상 광원에 반영하여, 객체의 주위에 대한 시각 효과를 실시간으로 생성할 수 있다.

도 1은 일 실시예에 따라 객체 및 시각 효과가 디스플레이된 예시를 도시한 도면이다.
도 2는 일 실시예에 따라 가상 광원이 반영된 가상 환경(virtual environment)을 도시한 도면이다.
도 3 및 도 4는 일 실시예에 따른 가상 광원의 타입(type)을 도시한 도면이다.
도 5는 일 실시예에 따라 가상 광원이 설정된 객체를 도시한 도면이다.
도 6 및 도 7은 일 실시예에 따라 객체에 설정된 가상 광원 및 가상 영역을 도시한 도면이다.
도 8 내지 도 10은 일 실시예에 따라 가상 광원이 설정된 객체를 디스플레이하는 방법을 도시한 흐름도이다.
도 11은 일 실시예에 따른 디스플레이 장치의 세부적인 구성을 도시한 블럭도이다.
도 12 및 도 13은 일 실시예에 따른 디스플레이 장치의 예시적인 구성을 도시한 도면이다.
도 14 내지 도 21은 일 실시예에 따라 가상 광원에 의한 시각 효과가 디스플레이되는 예시적인 화면(screen)을 도시한 도면이다.

안경형 디스플레이(Glass-type Display), 및 HMD (Head Mounted Display) 등과 같은 몰입형 장치(Immersive Device)에서 증강 현실, 및 가상 현실과 관련된 응용(application)이 사용될 수 있다. 이러한 증강 현실, 및 가상 현실과 관련된 응용에서는, 실감나고 몰입감이 극대화되는 3D 그래픽스 기술이 필요할 수 있다.

예를 들어, 대부분의 모바일 장치 및 일반 PC는 GPU를 포함하는 하드웨어와 함께 3D 그래픽스를 표현할 수 있는 소프트웨어 표준(예를 들어, DirectX, OpenGL, OpenGL ES)을 제공할 수 있다. 다만, 소프트웨어 표준만으로는 간단한 빛 효과 표현(light effect representation)만 구현 가능하고, 복잡한 빛 효과는 구현하기 어렵거나 높은 복잡도(complexity)의 계산이 요구될 수 있다.

예를 들어, 상술한 소프트웨어 표준이 제공되는 모바일 장치는 가상 환경(virtual environment)에서 밝은 특성(bright characteristic)을 가지는 객체에 의해 주위에 미치는 시각 변화를 실시간으로 표현하기 어려울 수 있다. 소프트웨어 표준만 이용할 경우 복잡한 물리 연산이 필요하므로, 모바일 환경 및 일반 PC 환경에서 발광하는 객체(enlightening object)에 의한 시각 효과가 실시간으로 표현되기 어려울 수 있다.

이하, 본 명세서에서 시각 효과는 화면(screen) 내에 객체와 연관되어 디스플레이되는 모든 시각적 변경을 나타낼 수 있다.

예를 들어, 상술한 소프트웨어 표준이 제공되는 모바일 장치는 태양, 전구 등과 같은 직접 광 효과(direct optical effect)는 표현할 수 있으나, 자체적으로 밝은 특성을 가지고 주위에 시각 효과를 미치는 객체를 표현하기 어려울 수 있다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일 실시예에 따라 객체 및 시각 효과가 디스플레이된 예시를 도시한 도면이다.

일 실시예에 따르면, 상술한 소프트웨어 표준에서 기본적으로 제공하는 빛(Light)의 표현 방식 등을 활용하여, 모바일 장치(예를 들어, 스마트폰, 태블릿PC 등)에서도 복잡한 물리 연산 없이, 가상 환경(100)에서 밝은 특성을 가지는 객체(110)에 의한 시각 효과(120)를 표현하는 방법이 제공될 수 있다. 여기서, 소프트웨어 표준에서 제공되는 빛의 표현 방식은 하기 도 3 및 도 4에서 상세히 설명한다.

가상 환경(100)은 디스플레이 장치의 화면(screen)에서 객체(110)를 제외하고 디스플레이되는 나머지 공간일 수 있다. 이를테면, 가상 환경(100)은 객체(110)가 위치하는 가상 공간을 포함할 수 있다. 예를 들면, 가상 환경(100)은, 가상현실 영화관(Virtual-reality Cinema), 가상현실 갤러리(Virtual-reality Gallery), 가상현실 박물관(Virtual-reality Museum), 및 3D 그래픽스 기술로 렌더링된 가상 공간 등의 3차원 공간을 포함할 수 있고, 시각적 운영체제 (visual operating system)에서의 바탕화면 등의 2차원 공간을 포함할 수 있다. 여기서, 3D 그래픽스 기술로 렌더링된 가상 공간은 임의의 환경을 3D 그래픽스로 표현한 것일 수 있다.

객체(110)는 디스플레이 장치 화면의 객체 영역에 디스플레이될 수 있다. 객체 영역은 화면에서 객체가 디스플레이되도록 설정된 영역을 나타낼 수 있으며 객체(110)는, 예를 들어, 가상 환경(100) 내에 위치하도록 디스플레이될 수 있다. 객체(110)는 동영상 객체(video object) 및 사진 객체(photo object) 등을 포함할 수 있으며 밝은 특성을 가질 수 있다.

밝은 특성은 객체(110) 주위의 가상 영역에 시각 효과(120)를 미치는 특성을 나타낼 수 있다. 예를 들어, 가상 광원(virtual light source)이 설정된 객체(110)는 밝은 특성을 가진다고 나타낼 수 있다. 시각 효과(120)는 화면에 디스플레이되는 가상 영역에 밝기 및 색상이 표현되는 조명 효과를 포함할 수 있다. 이러한 조명 효과는, 예를 들어, 가상 광원에 기초하여 프로세서에 의해 계산되어 가상 영역에 표현될 수 있다.

가상 광원은 객체(110) 주위의 가상 영역을 조명하기 위해 객체(110)에 설정되는 광원을 나타낼 수 있다. 가상 광원은 객체(110)에 하나 또는 복수 개가 설정될 수 있다. 가상 광원은 객체(110)에 직접 설정될 수도 있고 디스플레이 영역에 먼저 설정된 후 객체에 설정될 수도 있다. 디스플레이 영역에 가상 광원이 설정된 경우, 디스플레이 장치는 자동으로 가상 광원을 객체에 설정할 수 있다. 예를 들어, 임의의 객체가 수신되는 경우, 프로세서는 디스플레이 영역에 설정된 가상 광원의 위치에 해당하는 객체 상의 위치에 자동으로 가상 광원을 설정할 수 있다.

도 2는 일 실시예에 따라 가상 광원이 반영된 가상 환경을 도시한 도면이다.

도 2에 도시된 객체(210)는 가상 광원(221)이 설정되어 있고, 가상 환경(200)의 가상 영역(220)이 조명될 수 있다. 예를 들어, 가상 환경(200)은 도 2에 도시된 직육면체 형태의 3차원 공간일 수 있다. 도 2에 도시된 가상 광원(221)은 하기 도 4에 도시된 스팟 라이트 타입(spot light type)의 예시일 수 있다.

가상 영역(220)은, 도 2에 도시된 바와 같이 가상 광원(221)에 의한 빛이 투사되는 영역으로서, 프로세서에 의해 계산될 수 있다. 구체적으로 도 2에서 가상 영역(220)은 가상 광원(221)으로부터의 조명 방향(224)에 대응하는 중심 지점(center point)(223)을 기준으로, 컷오프 각도(222) 내의 영역으로 도시될 수 있다.

도 3 및 도 4는 일 실시예에 따른 가상 광원의 타입(type)을 도시한 도면이다.

도 3은 포인트 라이트 타입(point light type)의 가상 광원(321)을 나타낸다. 포인트 라이트 타입의 가상 광원(321)은, 특정 지점으로부터 전방향(324)으로 빛이 투사되는 광원을 나타낼 수 있다. 포인트 라이트 타입의 가상 광원(321)에 의한 가상 영역은, 가상 광원(321)의 위치를 기준으로 하여 전방향(324)에 대해 계산될 수 있다. 예를 들어, 포인트 라이트 타입의 가상 광원(321)에 의해 투사되는 가상 영역은 가상 환경 전체일 수 있다.

도 4는 스팟 라이트 타입의 가상 광원(421)을 나타낸다. 예를 들어, 스팟 라이트 타입의 가상 광원(421)은 특정 지점에서 제한된 각도(예를 들어, 컷오프 각도(422)) 내에서 빛이 투사되는 광원을 나타낼 수 있다. 여기서, 스팟 라이트 타입의 가상 광원(421)에 따른 조명 효과는 컷오프 각도(422) 내에서 강도 감쇠(intensity attenuation)에 따라 디스플레이될 수 있다.

감쇠 강도는 가상 영역에서 광원의 위치로부터 멀어질 수록 광량(light amount)이 감소되어 조명 효과가 감소되는 정도(level)를 나타낼 수 있다. 예를 들어, 스팟 라이트 타입의 가상 광원(421)으로부터 멀어질수록 광량은 감소되고, 가상 광원(421)의 위치로부터 조명 방향(424)에 따라 투사된 중심 지점(423)을 기준으로 하여 컷오프 각도(422) 범위 내에서 조명 효과를 가지는 것이 표현될 수 있다. 다시 말해, 컷오프 각도(422) 밖의 영역에는 조명 효과가 없는 것으로 스팟 라이트의 가상 광원(421)은 표현될 수 있다.

도 3 및 도 4에 도시된 포인트 라이트 타입 및 스팟 라이트 타입의 가상 광원은 예를 들어, 소프트웨어 표준에 의해 구현될 수 있다. 또한, 소프트웨어 표준은 방향성만을 갖는 지향성 타입(directional type)의 가상 광원도 구현할 수 있다.

도 5는 일 실시예에 따라 가상 광원이 설정된 객체를 도시한 도면이다.

도 5에 도시된 바와 같이, 가상 환경(500)에 위치하는 객체(510)에 가상 광원(521)이 설정될 수 있다. 예를 들면, 복수의 가상 광원(521)이 객체(510)에 설정될 수 있다. 가상 광원(521)은 객체(510)에 직접 설정되거나 디스플레이의 객체 영역에 먼저 설정된 다음 객체(510)에 설정될 수 있다. 예를 들어, 가상 광원(521)이 객체 영역에 설정된 경우, 프로세서는 객체 영역에 설정된 가상 광원(521)의 위치에 기초하여 객체(510)에 가상 광원(521)을 자동으로 설정할 수 있다. 가상 광원(521)이 설정될 객체 또는 객체 영역은 컨텐츠 제공자 및 사용자 등에 의해 임의로 결정될 수도 있고 프로세서에 의해 자동으로 결정될 수도 있다. 여기서, 컨텐츠 제공자는 객체(510)를 구성하는 컨텐츠를 제공하는 자를 나타낼 수 있고 사용자는 디스플레이 장치를 사용하는 자를 나타낼 수 있다.

도 5는 객체(510) 또는 객체 영역 내에 일정 간격(gap)을 두고 가상 광원(521)의 위치가 자동으로 설정된 예시를 도시할 수 있다. 예를 들어, 가상 광원(521)은 그리드(Grid) 형태로 객체(510) 또는 객체 영역에 고루 분포하도록 설정될 수 있다.

도 6 및 도 7은 일 실시예에 따라 객체에 설정된 가상 광원 및 가상 영역을 도시한 도면이다.

도 6은 상술한 도 5의 가상 환경(500) 및 객체(521)의 일부 영역(501)을 확대하여 도시한 것이다. 도 6의 예시에서 객체(610)는 직육면체 형태를 가지고 디스플레이되는 객체(610)로 가정할 수 있다.

가상 광원(621)은 모든 정보가 자동으로 설정되거나, 감쇠와 관련된 정보가 자동으로 설정되거나, 간격(619)이 자동으로 설정될 수 있다. 또한 가상 광원(621)의 모든 정보가 컨텐츠 제공자 및 사용자 등에 의해 설정될 수도 있다.

우선, 가상 광원(621)의 모든 정보가 자동으로 설정되는 경우, 프로세서는, 예를 들어, 객체(610)의 가로 길이에 기초하여 가상 광원들 간의 간격(619)을 자동으로 설정할 수 있다. 구체적으로 가상 광원(621)의 위치는 일정 간격(619)을 가지는 그리드 형태로 설정될 수 있다. 예를 들어, 프로세서는 간격=(객체의 가로 길이)/5, (감쇠 강도가 1/4인 반경 r)=간격/2, (가상 영역의 컷오프 반경 cut-off)=간격*2로 계산할 수 있다. 도 6에서 컷오프 반경(626) 및 감쇠 강도가 1/4인 반경(625)은 간격(619)에 기초하여 프로세서에 의해 계산될 수 있다. 감쇠 강도가 1/4인 지점은 가상 광원(621)의 광량이 1/4로 줄어들어 조명 효과가 1/4로 줄어드는 지점을 나타낼 수 있다.

다른 예를 들어, 가상 광원 사이의 간격(619)은 사용자 또는 컨텐츠 제공자에 의해 임의로 설정되고 감쇠와 관련된 정보는 자동으로 설정될 수 있다. 예를 들어, 가상 광원 사이의 간격(619)=10으로 사용자 또는 컨텐츠 제공자에 의해 설정될 수 있다. 간격(619)은 가상 환경 내 좌표계에서의 길이를 나타내는 것으로서, 물리적인 길이 또는 비물리적인 길이일 수 있다. 이 경우, (감쇠 강도가 1/4인 반경 r(625))=간격/2, (가상 영역의 컷오프 반경 cut-off(626))=간격*2로 프로세서에 의해 계산될 수 있다.

또 다른 예를 들어, 감쇠 강도가 1/4인 반경(625)은 사용자 또는 컨텐츠 제공자에 의해 임의로 설정되고 간격(619)은 자동으로 설정될 수 있다. 예를 들어, 감쇠 강도가 1/4인 반경(625) =5로 사용자 또는 컨텐츠 제공자에 의해 설정될 수 있다. 감쇠 강도가 1/4인 반경(625)은 가상 환경 내 좌표계에서의 길이를 나타내는 것으로서, 물리적인 길이 또는 비물리적인 길이일 수 있다. 이 경우, 가상 영역의 컷오프 반경(626) 및 간격(619)은 컷오프 반경= r*4, 간격= r*2로 프로세서에 의해 자동으로 설정될 수 있다.

또 다른 예를 들어, 가상 광원(621)의 모든 정보가 컨텐츠 제공자 또는 사용자 등에 의해 설정되는 경우는, 하기와 같을 수 있다. 예를 들어, 감쇠 강도가 1/4인 반경(625)인 r 및 컷오프 반경(626)은 컨텐츠 제공자 또는 사용자가 임의로 설정하고 가상 영역(620) 내에서 조명 효과의 정도(예를 들어, 광량)를 계산하기 위해 사용될 수 있다. 화면에서 가상 광원(621)의 위치로부터 화소(pixel)까지의 거리 d에 대응하는 광량은 디스플레이 장치가 실시간 작동될 시 매 프레임마다 프로세서에 의해 계산될 수 있다. 예를 들어, 가상 영역(620) 내(d<컷오프 반경(626)인 경우)에서 감쇠식(예를 들어, 감쇠식은 광량=1/(1+2*(d/r)+(d/r)*(d/r))으로 나타낼 수 있음)에 따라 프로세서에 의해 계산될 수 있다. 가상 영역(620) 외(d=컷오프 반경(626)인 경우)에서 광량=0으로 계산될 수 있다.

일 실시예에 따르면, 가상 영역(620)은 감쇠 영역이라고 나타낼 수도 있고, 가상 광원(621)에 의한 조명 효과가 미치는 영역을 나타낼 수 있다. 가상 영역(620)의 크기는 컷오프 반경(626)에 의해 결정될 수 있다. 예를 들어, 가상 광원이 스팟 라이트 타입인 경우의 가상 영역(620)은 콘(Cone)이 가상 환경(600)에 투사된 형태로 나타나며, 가상 영역(620)이 컷오프 각도에 의해 제한될 수 있다. 구체적으로는, 컷오프 각도 이외의 영역에 대해서는 조명 효과가 반영되지 않을 수 있다.

감쇠 강도는 가상 영역(620) 내에서 조명 방향을 따라 거리가 멀어질 수록 조명 효과가 감소하는 정도를 나타낼 수 있다. 감쇠 강도의 값이 크면 가상 광원(621)의 위치에 인접한 영역에 조명 효과가 집중되어 반영되고, 감쇠 강도의 값이 작으면 가상 영역 내에서 전체적으로 고르게 조명 효과가 반영될 수 있다.

가상 광원(621)이 포인트 라이트 타입인 경우에는, 조명 방향, 컷오프 반경, 및 감쇠 강도 등이 설정될 필요가 없을 수 있다.

도 7은 가상 광원에 의해 가상 영역에 반영되는 색상을 도시한 것이다.

프로세서는 객체(예를 들어, 이미지 객체 또는 동영상 객체)로부터 조명 효과의 색상에 반영하기 위한 색상 값을 추출할 수 있다. 예를 들면, 프로세서는 가상 광원(721, 731, 741)의 위치에 대응하는 객체의 일부에 대응하는 화소의 색상 값을 그대로 추출할 수도 있고, 가상 광원(721, 731, 741)의 위치 주변에 대응하는 객체의 화소들로부터 색상 값들을 샘플링하여 색상 값을 추출할 수 있다.

가상 광원(721, 731, 741)이 설정된 객체(예를 들어, 이미지 객체 또는 동영상 객체)가 복잡하고 시간에 따른 변화가 큰 경우에는, 프로세서는 샘플링을 통해 추출된 색상 값을 조명 효과의 색상으로 반영할 수 있다. 예를 들어, 샘플링은 동영상 객체 인 경우 미리 정한 갯수의 프레임의 가상 광원(721, 731, 741)의 위치에 대응하는 화소들의 색상 값의 통계 값(예를 들어, 평균값, 가중평균, 중간값 등)을 계산하는 것, 또는 객체 상의 가상 광원(721, 731, 741)의 위치 주변의 영역에 대응하는 화소들의 색상 값의 통계 값(예를 들어, 평균값, 가중평균, 중간값)을 계산하는 것을 포함할 수 있다. 여기서, 동영상 객체에서 프로세서가 샘플링을 통해 조명 효과의 색상을 결정하는 경우, 장면의 계속적인 변환에 따라 계속적으로 깜빡이는 현상(Flickering)이 방지될 수 있다.

도 7에 도시된 것과 같이, 프로세서는 제1 가상 광원(721)에 기초하여 제1 가상 영역(720)에 제1 색상 값으로 추출된 시각 효과(예를 들어, 조명 효과)를 반영할 수 있고, 제2 가상 광원(731)에 기초하여 제2 가상 영역(730)에 제2 색상 값으로 추출된 시각 효과를 반영할 수 있으며, 제3 가상 광원(741)에 기초하여 제3 가상 영역(740)에 제3 색상 값으로 추출된 시각 효과를 반영할 수 있다. 도 7에서는 일부 가상 광원에 의한 가상 영역의 색상을 빗금 등으로 도시하였으나, 이로 한정하는 것은 아니고 프로세서는 모든 가상 광원으로부터 각각의 색상을 각각의 가상 영역에 반영할 수 있다.

또한, 제1 가상 영역(720), 제2 가상 영역(730) 및 제3 가상 영역(740)이 오버랩(overlap)되는 영역에서는, 각 가상 영역의 색상 값의 통계값(statistical value)(예를 들어, 평균값, 가중평균, 중간값, 합산값 등)으로 된 시각 효과가 반영될 수 있다. 여기서, 프로세서는 오버랩되는 영역에 반영되는 조명 효과의 정도(예를 들어, 광량)가, 오버랩되는 각 가상 영역의 조명 효과의 정도를 합산한 값이 되도록 계산할 수 있다.

도 8 내지 도 10은 일 실시예에 따라 가상 광원이 설정된 객체를 디스플레이하는 방법을 도시한 흐름도이다.

도 8은 일 실시예에 따라 가상 광원이 설정된 객체를 디스플레이하는 방법을 개괄적으로 도시한 흐름도이다.

우선, 단계(810)에서는 프로세서가 디스플레이를 통해 가상 광원이 설정된 객체를 디스플레이할 수 있다. 예를 들어, 가상 광원이 설정된 객체는 가상 환경 내의 객체 영역에 디스플레이될 수 있다.

여기서, 가상 환경은 동영상 객체 또는 사진 객체가 제공되는 가상 공간을 포함할 수 있다. 예를 들어, 가상 환경은 적어도 하나의 사진 객체가 미리 정한 배치에 따라 제공되는 가상 공간을 포함할 수 있다. 여기서, 미리 정한 배치는 복수의 사진 객체가 일렬로 나열되는 배치, 가상 공간 내의 가상 벽에 나열되는 배치 등을 포함할 수 있다. 하기 도 20 및 도 21에서 예시적인 미리 정한 배치를 상세히 설명한다.

그리고 단계(820)에서는 프로세서가 가상 광원에 기초하여 객체 주변을 조명할 수 있다. 예를 들어, 프로세서는 가상 광원에 의한 조명 효과가 반영된 가상 환경을 디스플레이할 수 있다. 조명 효과는 가상 영역 내에서만 반영되고, 가상 영역 외에는 반영되지 않을 수 있다.

여기서, 프로세서는 조명 효과가 반영될 가상 영역을 가상 광원의 조명 방향, 위치, 컷오프 각도 및 강도 감쇠에 기초하여 계산할 수 있다. 예를 들면, 프로세서는 가상 광원의 조명 방향, 위치, 컷오프 각도 및 강도 감쇠에 기초하여, 가상 광원에 의한 빛이 투사되는 가상 영역을 계산할 수 있다.

또한, 프로세서는 객체로부터 가상 광원의 각각의 위치에 대응하는 색상을 추출하여, 추출된 색상을 가상 광원의 각각에 반영할 수 있다. 예를 들면, 프로세서는 가상 광원의 각각의 위치 주위의 색상 값들의 통계값(예를 들면, 평균값, 가중평균 및 중간값)을 색상의 값으로 추출할 수 있다.

예를 들어, 디스플레이 장치가 동영상 객체를 디스플레이하는 경우, 프로세서는, 동영상 객체의 프레임마다, 프레임에서 가상 광원의 위치에 대응하는 색상을 가상 광원에 반영하여, 디스플레이를 통해 가상 환경을 디스플레이할 수 있다. 다른 예를 들어, 디스플레이 장치가 복수의 사진 객체를 디스플레이하는 경우, 프로세서는 디스플레이를 통해 복수의 사진 객체의 각각마다 설정된 가상 광원에 의한 시각 효과를 가상 공간에 디스플레이할 수 있다.

일 실시예에 따르면, 프로세서는 가상 광원에 의한 조명 효과의 정도(level)를, 사용자로부터 수신된 제어 신호에 응답하여 조절할 수 있다. 예를 들면, 제어 신호는 객체 영역에 디스플레이되는 객체 자체의 밝기는 유지하고, 객체에 설정된 가상 광원에 의한 조명 효과의 정도만 변경하기 위한 신호일 수 있다.

또한, 프로세서는, 가상 공간에서 객체가 복수인 경우, 복수의 객체 중 미리 정한 객체에 설정된 가상 광원의 밝기를 다른 객체에 설정된 가상 광원의 밝기보다 밝게 설정할 수 있다. 여기서 미리 정한 객체는 화면의 중앙에 디스플레이될 것으로 판단되는 객체, 임의의 기준에 의해 자동으로 선택된 객체 및 사용자에 의해 선택된 객체 등일 수 있다.

도 9는 일 실시예에 따라 가상 광원이 설정된 객체를 디스플레이하는 방법을 세부적으로 도시한 흐름도이다.

단계(910)에서는 사용자 또는 프로세서에 의해 밝은 객체(bright object)가 설정될 수 있다. 여기서, 사용자 또는 프로세서는 밝은 특성을 가지는 객체로서, 객체 주위의 가상 환경에 영향을 미칠 밝은 객체를 설정할 수 있다. 프로세서는 디스플레이 장치에 수신되는 모든 객체(또는 미리 정한 기준에 의해 선택된 객체) 또는 사용자에 의해 선택된 객체를 밝은 특성을 가지는 밝은 객체로 설정할 수 있다. 예를 들어, 객체는 네온 사인 객체, 동영상 객체, 사진 객체, 정지 이미지 객체(still image object) 등을 포함할 수 있다.

그리고 단계(920)에서는 프로세서는 가상 광원 타입을 설정할 수 있다. 또는 사용자에 의해 객체에 설정되는 가상 광원의 타입이 결정될 수 있다. 예를 들어, 프로세서 또는 사용자에 의해 가상 광원의 타입은 가상 환경에서 객체 주위의 일부 영역에만 영향을 미치고 감쇠되는 스팟 라이트 타입, 또는 감쇠 없이 전체 가상 환경에 균일하게 영향을 미치는 포인트 라이트 타입으로 설정될 수 있다. 상술한 두 가상 광원 타입은 그래픽스 엔진 및 소프트웨어 표준에서 제공되는 것으로서, 일반적인 PC나 모바일 장치에서도 사용 가능할 수 있다.

이어서 단계(931)에서는 가상 광원 타입이 포인트 라이트 타입인 경우, 프로세서 또는 사용자에 의해 가상 광원 위치가 설정될 수 있다. 예를 들어, 포인트 라이트 타입은 가상 환경 전체가 가상 영역이 될 수 있으므로, 프로세서 또는 사용자는 가상 광원의 위치만 설정할 수 있다. 여기서, 가상 광원의 위치는 객체 내로 설정될 수 있다.

그리고 단계들(941 내지 943)에서는 가상 광원 타입이 스팟 라이트 타입인 경우, 프로세서 또는 사용자에 의해 가상 광원과 관련된 정보가 설정될 수 있다. 예를 들어, 단계(941)에서는 가상 광원 위치, 단계(942)에서는 가상 광원 방향(예를 들어, 조명 방향), 단계(943)에서는 컷오프 각도 및 감쇠 강도가 설정될 수 있다. 프로세서는 스팟 라이트 타입에 의한 조명 효과가 조명 방향으로 빛이 향하면서 빛의 방향과 멀어질 수록 조명 효과의 강도가 감쇠되도록 디스플레이할 수 있다. 컷오프 각도는 조명 방향을 기준으로 하는 각도일 수 있다. 조명 방향을 기준으로 컷오프 각도가 45도인 경우, 조명 방향을 기준으로 45도 이상인 가상 환경의 영역은 객체에 설정된 가상 광원에 의한 조명 효과가 반영되지 않을 수 있다.

이어서 단계(950)에서 프로세서는 객체로부터 색상을 추출할 수 있다. 여기서, 프로세서는 가상 광원의 색상을 객체(예를 들어, 동영상 객체 또는 사진 객체)에 지정된 색상으로부터 실시간으로 추출할 수 있다. 예를 들어, 프로세서는 가상 광원이 지정된 객체 또는 객체 영역의 위치에 대응하는 색상 값을 그대로 추출할 수 있다. 다른 예를 들면, 프로세서는 상술한 위치 주위 값들의 평균값, 가중평균, 중간값 등의 통계값을 샘플링함으로써, 가상 광원의 색상을 추출할 수 있다.

그리고 단계(960)에서는 프로세서는 가상 영역을 조명할 수 있다. 여기서, 가상 영역은 객체 또는 객체 영역에 설정된 가상 광원의 위치, 방향, 컷오프 각도, 감쇠 강도 및 색상 값 등의 정보에 기초하여 프로세서에 의해 계산될 수 있다. 예를 들어, 프로세서는 상술한 가상 광원과 관련된 정보에 기초하여 그래픽스 엔진 및 소프트웨어 표준(예를 들어, DirectX, OpenGL, OpenGL ES 등)에서 일반적으로 제공되는 빛 계산(light calculation)을 수행함으로써, 객체에 설정된 가상 광원에 의한 가상 환경의 조명 효과를 가상 환경에 실시간으로 반영할 수 있다.

도 10은 일 실시예에 따른 사용자의 제어 신호에 의한 디스플레이 방법을 도시한 흐름도이다.

단계(1051)에서 프로세서는 제어 신호에 응답하여 가상 광원을 실시간으로 변경할 수 있다. 예를 들어, 프로세서는 상술한 도 9의 단계(960)에서 조명 효과를 가상 환경에 반영하기 전에, 사용자의 제어 신호를 수신할 수 있다. 여기서, 사용자는 상술한 제어 신호를 인터페이스를 통해 디스플레이 장치에 입력함으로써 객체에 의한 가상 환경의 변화 정도를 실시간으로 조정할 수 있다. 사용자 입력을 수신하는 유닛(unit)인 인터페이스는 터치스크린, 터치패드, 및 버튼 등을 포함할 수 있다.

프로세서는 사용자로부터 수신된 제어 신호에 응답하여, 가상 광원이 가상 영역에 영향을 주는 정도(level) 및 가상 광원이 영향을 주는 가상 영역의 크기 등을 제어할 수 있다. 예를 들어, 디스플레이 장치가 스마트폰인 경우, 스마트폰의 터치 인터페이스에 의해 가상 광원의 밝기 정도가 0에서 1사이로 조정될 수 있다. 사용자는 필요에 따라 가상 광원이 가상 영역에 영향을 주는 정도를 0으로 조정함으로써, 객체에 의한 조명 효과의 정도를 오프(off)시킬 수 있다.

디스플레이 장치는 사용자로부터 수신된 제어 신호에 기초하여 가상 광원이 객체 주변의 가상 영역에 영향을 주는 정도만 변화시키고, 객체 자체의 밝기는 유지하여 디스플레이할 수 있다.

도 11은 일 실시예에 따른 디스플레이 장치(1100)의 세부적인 구성을 도시한 블럭도이다.

일 실시예에 따른 디스플레이 장치(1100)는 디스플레이(1110) 및 프로세서(1120)를 포함할 수 있다.

디스플레이(1110)는 가상 광원(virtual light source)이 설정된 객체(object)를 가상 환경(virtual environment)에 디스플레이할 수 있다. 예를 들어, 디스플레이(1110)는 밝은 특성을 가지는 객체의 시각 효과를 디스플레이하기 위한 유닛으로서, HMD(head mounted display), 입체 디스플레이(stereoscopic display) 및 터치스크린(touch screen) 등을 포함할 수 있다.

여기서, 가상 광원은 사용자 또는 프로세서(1120)에 의해 객체 또는 객체 영역에 설정될 수 있다. 예를 들어, 프로세서(1120)는 객체의 객체 영역에서 복수의 가상 광원의 위치(position)를 격자(예를 들어, 그리드) 형태로 설정할 수 있다. 또한, 프로세서(1120)는 가상 광원의 각각의 조명 방향(illuminating orientation) 및 위치를 설정할 수 있고, 가상 광원의 각각에 대해 조명 방향을 기준으로 컷오프 각도(cut-off angle) 및 강도 감쇠(intensity attenuation)를 설정할 수 있다.

프로세서(1120)는 가상 광원에 기초하여, 가상 환경에서 객체 주위의 가상 영역을 조명할 수 있다. 예를 들어, 프로세서(1120)는 조명 방향 및 컷오프 각도에 기초하여 적어도 하나의 가상 광원의 각각에 대응하는 가상 영역을 계산할 수 있다.

또한, 프로세서(1120)는 객체로부터 가상 광원의 위치에 대응하는 색상을 추출하고, 추출된 색상을 가상 광원에 반영하여 가상 영역을 조명할 수 있다. 예를 들어, 프로세서(1120)는 가상 광원의 위치 주위의 색상 값들의 평균값(average value), 가중평균(weighted average value) 또는 중간값(median value) 중 하나를 가상 광원의 색상의 값으로 추출할 수 있다.

일 실시예에 따르면 디스플레이 장치(1100)는 사용자의 제어 신호를 수신하기 위한 인터페이스(미도시)를 더 포함할 수 있다. 여기서, 프로세서(1120)는 사용자로부터 수신된 제어 신호에 응답하여, 가상 광원이 가상 영역에 영향을 주는 정도 및 가상 광원이 영향을 주는 가상 영역의 크기 등을 제어할 수 있다.

또한, 프로세서(1120)는 가상 광원이 객체 내부에 미치는 시각 효과는 배제(exclude)하고, 가상 광원이 객체 주위의 가상 영역에 미치는 시각 효과는 포함하도록, 가상 영역을 조명할 수 있다.

도 12 및 도 13은 일 실시예에 따른 디스플레이 장치의 예시적인 구성을 도시한 도면이다.

도 12에 도시된 디스플레이 장치(1200)의 디스플레이는 HMD를 포함할 수 있다. 예를 들어, 도 12에 도시된 디스플레이 장치(1200)인 HMD는 머리 장착부(Head Mounter)(1210)에 스마트폰(1220)이 장착된 형태로 구성될 수 있다.

일 실시예에 따르면, 머리 장착부(1210)는 외부에 인터페이스(1211)를 포함할 수 있다. 예를 들어, 인터페이스(1211)는 터치패드 및 버튼 등을 포함할 수 있다. 머리 장착부(1210)의 인터페이스(1211)로부터 제어 신호를 수신하면, 스마트폰(1220)의 프로세서는 가상 광원의 밝기 정도를 조정할 수 있다.

예를 들어, 밝기 정도의 연속적인 0 내지 1사이의 조정은 인터페이스(1211)(예를 들어, 터치 패드)를 위 또는 아래로 드래그하는 동작을 사용자로부터 수신함으로써 수행될 수 있다. 또한, 밝은 특성을 가지는 객체의 시간 효과의 온오프(On/Off) 동작은 인터페이스(1211)(예를 들어, 버튼)를 통해 토글(toggle)될 수 있다.

다만, 인터페이스(1211)를 상술한 바로 한정하는 것은 아니고, 도 12에 도시된 디스플레이 장치(1200)의 예시 외에도, 다양한 인터페이스(1211)를 통해 리모콘의 제어 신호, 손동작 등의 제스쳐에 대응하는 제어 신호를 수신하여, 프로세서는 객체에 할당된 가상 광원에 의한 시각 효과(예를 들어, 조명 효과)를 변경하여 디스플레이할 수 있다.

도 13은 도 12에 도시된 HMD에서, 디스플레이 장치(1300)(예를 들어, 스마트폰)가 출력하는 화면을 예시적으로 도시할 수 있다. 디스플레이 장치(1300)는 사용자에게 가상 환경을 입체적으로 제공하기 위한, 좌영상(1310) 및 우영상(1320)을 도 13에 도시된 바와 같이 제공할 수 있다. 여기서, 예를 들어, 좌영상(1310) 및 우영상(1320)은 각각 밝은 특성을 가지는 객체 및 객체가 위치하는 가상 환경을 포함할 수 있다.

예를 들어, 도 12에 도시된 머리 장착부(1210)는 디스플레이 장치(1300)에서 출력되는 좌영상(1310) 및 우영상(1320)이 각각 사용자의 좌안 및 우안에 제공되도록 구성될 수 있다. 머리 장착부(1210)는 좌영상(1310) 및 우영상(1320)을 각각 사용자의 좌안 및 우안에 제공함으로써, 사용자가 입체 영상을 시청하도록 할 수 있다.

도 14 내지 도 21은 일 실시예에 따라 가상 광원에 의한 시각 효과가 디스플레이되는 예시적인 화면(screen)을 도시한 도면이다.

도 14는 및 도 15는 각각 객체 조명 효과가 적용된 전후의 예시적인 화면을 도시한 도면이다. 예를 들어, 도 14에서는 가상 환경(예를 들어, 검은 배경 화면)에 객체(1410)만 디스플레이됨으로써, 사용자는 객체(1410)와 가상 환경 간의 이질감을 느낄 수 있다.

이와 달리, 도 15에서는 가상 환경에 조명 효과(1520)가 반영됨으로써, 객체(1510)가 가상 환경에 자연스럽게 디스플레이될 수 있다. 예를 들어, 프로세서는 밝은 특성을 가지는 객체(1510)에 필요한 가상 광원을 설정 및 생성하고, 소프트웨어 표준을 활용하여 도 15에 도시된 바와 같이 조명 효과(1520)가 반영된 가상 환경을 화면에 디스플레이할 수 있다. 상술한 바와 같이 디스플레이 장치가 가상 환경이 밝은 특성을 가지는 객체(1510)에 의해 영향을 받은 화면을 디스플레이함으로써, 도 14에 비해 객체(1510)와 가상 환경이 보다 사실적으로 표현될 수 있다.

도 16 내지 도 19는 일 실시예에 따른 가상 환경으로서 가상 영화관을 디스플레이하는 디스플레이 장치의 예시적인 화면을 도시한다.

예를 들어, 프로세서는 가상 환경으로서, 실제 영화관과 유사한 가상 공간을 모델링할 수 있다. 여기서, 가상 공간의 중앙에 객체 영역이 배치되고 프로세서가 동영상 객체를 객체 영역에 재생하면 사용자는 몰입감 있게 영화를 감상할 수 있다.

예를 들어, 도 12 및 도 13에 도시된 바와 같은 HMD를 디스플레이 장치로서 사용할 경우, 디스플레이 장치는 사용자의 상하좌우 시선 이동 내지 머리 동작을 감지하고, 그에 응답한 가상 환경을 디스플레이할 수 있다. 이를 통해 사용자는 가상 영화관 내부를 둘러볼 수 있고, 중앙에 위치한 객체 영역을 응시할 경우 영화를 시청할 수 있다.

도 16은 조명 효과가 적용되지 않은 가상 환경(예를 들어, 가상 영화관)으로서, 객체(1610) 주위의 가상 환경이 동영상 객체(1610)의 색상 변화나 밝기 변화와 무관하게 일정하게 디스플레이될 수 있다.

도 17 내지 도 19는 조명 효과가 적용된 가상 환경으로서, 동영상 객체(1710, 1810, 1910)의 색상 변화나 밝기 변화에 따라 조명 효과가 객체(1710, 1810, 1910) 주위의 가상 환경에 반영될 수 있다. 예를 들어, 갈색 계통의 색상을 가지는 동영상 객체(1710, 1810, 1910)가 플레이되고 있는 경우에는 가상 환경이 갈색톤으로 변화될 수 있고, 푸른 계통의 색상을 가지는 동영상 객체(1710, 1810, 1910)가 플레이되고 있는 경우에는 가상 환경이 푸른톤으로 변화될 수 있다. 또한, 동영상 객체(1710, 1810, 1910)의 테두리 부분의 색상이나 밝기에 따라 주위의 가상 환경이 다양하게 변화되어 디스플레이될 수 있다.

예를 들어, 프로세서는 가상 환경이 실제 영화관 내부와 유사해지도록, 조명 효과를 가상 환경에 반영할 수 있다. 또한, 프로세서는 동영상 객체에 따라서 가상 환경의 조명 효과를 실시간으로 반영할 수 있는 바, 동영상 객체가 밝아지면 주위의 가상 영역도 밝아지고, 어두워지면 주위의 가상 영역도 같이 어두워지도록 디스플레이될 수 있다. 이를 통해 디스플레이 장치는 사용자에게 실제 영화관에 있는 것과 같은 몰입감을 제공할 수 있다.

또한, 도 17 내지 도 19는 사용자의 제어 신호에 응답하여 조명 효과의 정도가 달리 적용된 예시적인 화면을 도시할 수 있다. 예를 들어, 디스플레이 장치는 사용자의 제어 신호에 응답하여, 도 17에서는 조명 효과(1720)의 정도를 낮게(예를 들어, 0에 가깝게) 반영하고, 도 18에서는 조명 효과(1820)의 정도를 중간(예를 들어, 0 및 1 사이)으로 반영하고, 도 19에서는 조명 효과(1920)의 정도를 높게(예를 들어, 1에 가깝게) 반영할 수 있다. 이를테면, 도 17에서 도 19로 갈 수록 객체에 의한 조명 효과가 밝게 적용될 수 있다. 조명 효과의 정도는 사용자의 선호에 따른 제어 신호에 응답하여 자유롭게 변경될 수 있다.

상술한 바와 같이 프로세서가 사용자의 제어 신호에 응답하여 조명 효과의 정도를 변경하는 것은, 가상 영화관뿐이 아닌 모든 가상 환경 및 객체에도 적용될 수 있다.

도 20은 일 실시예에 따른 가상 환경으로서 가상 갤러리를 디스플레이하는 디스플레이 장치의 예시적인 화면을 도시할 수 있다.

예를 들어, 가상 갤러리는 디스플레이 장치(예를 들어, 스마트폰)의 사진 갤러리를 3차원의 가상 공간으로 디스플레이한 것일 수 있다. 디스플레이 장치는 사진 객체(2011, 2012, 2013)의 색상이나 밝기에 따라 객체(2011, 2012, 2013) 주위의 가상 환경을 변화시킴으로써, 사용자에게 실제 공간과 같은 느낌을 제공할 수 있다.

예를 들어, 도 20에 도시된 가상 갤러리는 바닥이 있는 가상 공간을 포함하는 가상 환경으로서, 프로세서는 사진 객체(2011, 2012, 2013)를 세워서 디스플레이하고, 사진 객체(2011, 2012, 2013)의 색상, 밝기 등을 가상 환경의 바닥에 대응하는 가상 영역에 반영할 수 있다. 일 실시예에 따르면, 사용자는 사진 객체(2011, 2012, 2013)와 객체 주위의 가상 환경 간의 이질감을 느끼지 않을 수 있고, 실제 공간에 사진이 있는 느낌을 제공받을 수 있다.

또한, 도 20에서 프로세서는 예시적으로 디스플레이를 통해 3개의 사진 객체(2011, 2012, 2013)를 가상 환경에 나란히 세워서 디스플레이할 수 있다. 예를 들어, 프로세서는, 가상 공간에서 복수의 객체(2011, 2012, 2013) 중 미리 정한 객체(2011)(예를 들어, 화면의 중앙에 위치하는 객체)에 설정된 가상 광원의 밝기를 다른 객체(2012, 2013)에 설정된 가상 광원의 밝기보다 밝게 설정할 수 있다. 도 20에 도시된 바와 같이 중앙에 위치하는 사진 객체(2011)에 의한 시각 효과(2020)가 다른 사진 객체들(2012, 2013)에 비해 밝게 가상 환경에 반영될 수 있다. 상술한 바와 같이 선택된 중심의 사진 객체(2011)에 의한 조명 효과를 주위 사진 객체(2012, 2013)보다 크게 디스플레이함으로써, 디스플레이 장치는 몰입감을 높일 수 있다.

예를 들어, 디스플레이 장치는 가상 갤러리에서 사진 객체(2011, 2012, 2013)와 사진 객체의 주위의 가상 영역 및 가상 환경이 연속적으로 이어진 느낌을 사용자에게 제공할 수 있다.

도 21은 일 실시예에 따른 가상 환경으로서 가상 박물관을 디스플레이하는 디스플레이 장치의 예시적인 화면을 도시할 수 있다.

예를 들어, 가상 박물관은 가상 갤러리의 실시예 중 하나로서, 실제 박물관과 유사한 구조의 가상 공간에 복수의 객체가 전시되도록 구성되는 가상 환경일 수 있다. 도 21에 도시된 바와 같이, 객체(2110)가 가상 박물관의 가상 벽에 배치되면, 프로세서는 가상 벽의 가상 영역에 객체(2110)에 의한 조명 효과를 반영할 수 있다.

일 실시예에 따른 디스플레이 장치는 3D 그래픽스 및 가상 현실 영상이 구현되어야 하는 모바일 장치 및 이를 이용한 다양한 응용 제품에 적용될 수 있다.

예를 들어, 디스플레이 장치는 소프트웨어 표준의 빛 효과 표현을 활용하여, 객체에 의한 가상 환경의 조명 효과를 표현할 수 있다. 디스플레이 장치는 가상 환경에서의 네온 사인 광고, 가상 영화관, 가상 갤러리 등을 모바일 장치에서도 사실적으로 실시간으로 디스플레이할 수 있다.

디스플레이 장치는 Raytracing, Radiosity, Photon mapping과 같은 높은 복잡도의 연산이 없이도, 소프트웨어 표준을 활용하여 실제와 같은 사실감을 사용자에게 실시간으로 제공할 수 있다. 연산의 복잡도가 낮으므로, 디스플레이 장치는 모바일 장치에서도 실시간으로 밝은 객체에 의한 조명 효과를 가상 환경에 반영하여 디스플레이할 수 있다.

예를 들어, 디스플레이 장치는 밝은 특성을 가지는 객체에 가상 광원을 설정한 후, 소프트웨어 표준에서 제공하는 빛 효과 표현을 통해 낮은 복잡도의 연산으로 객체에 의한 가상 환경의 조명 효과를 디스플레이할 수 있다.

또한, 디스플레이 장치는 기존 GPU 가속 기능을 활용하는 소프트웨어 표준을 사용할 수 있는 바, 스마트폰 등과 같은 모바일 장치에서도 실시간으로 조명 효과를 디스플레이할 수 있다.

일 실시예에 따라 소프트웨어 표준을 활용하여 밝은 객체에 의한 시각 효과를 디스플레이하는 디스플레이 장치는 가상 광원에 대해 하기 표 1과 같은 프로그래밍적 정의가 사용될 수 있다.

enum LIGHT_TYPE
{
LIGHT_SPOT,
LIGHT_POINT,
LIGHT_DIRECTIONAL,
LIGHT_VPL
}

Class Light
{
int lightType,

bool visible,

float position[4],
float spotDirection[4],

float diffuse[4],
float ambient[4],
float specular[4],

float cutoff,
float exponent,

Light(LIGHT_TYPE lighttype),
~Light(),

void setLightType(LIGHT_TYPE lighttype),
void Visible(bool value = true),

void setPosition(x, y, z),
void setSpotDirection(x, y, z),
void setCutoff(value),

void setDiffuse(r, g, b, a),
void setAmbient(r, g, b, a),
void setSpecular(r, g, b, a),

void setAttenuation(constant,linear,quad),

void setVPLTargetImage(image),
void getVPLColorfromImage(),
}

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

1100: 디스플레이 장치
1110: 디스플레이
1120: 프로세서

Claims

디스플레이 방법으로서,
적어도 하나의 가상 광원(virtual light source)이 설정된 객체(object)를 가상 환경(virtual environment)에 디스플레이하는 단계;
상기 객체로부터 상기 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하는 단계;
상기 추출된 색상이 반영된 상기 적어도 하나의 가상 광원에 기초하여, 상기 가상 환경에서 상기 객체 주위의 가상 영역을 조명(illuminate)하는 단계; 및
상기 적어도 하나의 가상 광원이 상기 객체 내부에 미치는 시각 효과는 배제(exclude)하고, 상기 적어도 하나의 가상 광원이 상기 객체 주위의 가상 영역에 미치는 시각 효과는 포함하는 단계
를 포함하는 디스플레이 방법.
제1항에 있어서,
상기 객체에 상기 적어도 하나의 가상 광원을 설정하는 단계
를 더 포함하는 디스플레이 방법.
제2항에 있어서,
상기 객체에 상기 적어도 하나의 가상 광원을 설정하는 단계는,
상기 객체의 객체 영역에서 격자 형태로 복수의 가상 광원의 위치(position)를 설정하는 단계
를 포함하는 디스플레이 방법.
제2항에 있어서,
상기 객체에 상기 적어도 하나의 가상 광원을 설정하는 단계는,
상기 적어도 하나의 가상 광원의 각각의 조명 방향(illuminating orientation) 및 위치를 설정하는 단계, 및
상기 적어도 하나의 가상 광원의 각각에 대해, 상기 조명 방향을 기준으로 컷오프 각도(cut-off angle) 및 강도 감쇠(intensity attenuation)를 설정하는 단계
를 포함하는 디스플레이 방법.
제4항에 있어서,
상기 적어도 하나의 가상 광원에 기초하여, 상기 가상 환경에서 상기 객체 주위의 가상 영역을 조명하는 단계는,
상기 조명 방향 및 상기 컷오프 각도에 기초하여 상기 적어도 하나의 가상 광원의 각각에 대응하는 상기 가상 영역을 계산하는 단계
를 포함하는 디스플레이 방법.
삭제
제1항에 있어서,
상기 객체로부터 상기 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하는 단계는,
상기 적어도 하나의 가상 광원의 위치 주위의 색상 값들의 평균값(average value), 가중평균(weighted average value) 또는 중간값(median value) 중 하나를 상기 색상의 값으로 추출하는 단계
를 포함하는 디스플레이 방법.
제1항에 있어서,
상기 적어도 하나의 가상 광원에 기초하여, 상기 가상 환경에서 상기 객체 주위의 가상 영역을 조명하는 단계는,
사용자로부터 수신된 제어 신호(control signal)에 응답하여, 상기 적어도 하나의 가상 광원이 상기 가상 영역에 영향을 주는 정도(level) 및 상기 적어도 하나의 가상 광원이 영향을 주는 상기 가상 영역의 크기 중 적어도 하나를 제어하는 단계
를 포함하는 디스플레이 방법.
제1항에 있어서,
상기 객체는 정지 이미지 객체(still image object) 및 비디오 객체(video object) 중 적어도 하나를 포함하는,
디스플레이 방법.
삭제
디스플레이 장치로서,
디스플레이 및 프로세서를 포함하고,
상기 프로세서는,
상기 디스플레이를 통해 적어도 하나의 가상 광원이 설정된 객체를 디스플레이하고, 상기 객체로부터 상기 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하고, 상기 추출된 색상이 반영된 상기 적어도 하나의 가상 광원에 의한 조명 효과(illumination effect)가 반영된 가상 환경을 디스플레이하며, 상기 적어도 하나의 가상 광원이 상기 객체 내부에 미치는 시각 효과는 배제하고, 상기 적어도 하나의 가상 광원이 상기 객체 주위의 가상 영역에 미치는 시각 효과는 포함하는,
디스플레이 장치.
제11항에 있어서,
상기 프로세서는,
상기 객체로부터, 상기 적어도 하나의 가상 광원의 각각의 조명 방향, 위치, 컷오프 각도 및 강도 감쇠 중 적어도 하나를 추출하는,
디스플레이 장치.
제12항에 있어서,
상기 프로세서는,
조명 방향, 위치, 컷오프 각도 및 강도 감쇠 중 적어도 하나에 기초하여, 상기 적어도 하나의 가상 광원의 각각에 의한 빛이 투사되는 가상 영역을 계산하는,
디스플레이 장치.
삭제
제11항에 있어서,
상기 프로세서는,
상기 적어도 하나의 가상 광원의 각각의 위치 주위의 색상 값들의 평균값, 가중평균 또는 중간값 중 하나를 상기 색상의 값으로 추출하는,
디스플레이 장치.
제11항에 있어서,
상기 프로세서는,
상기 적어도 하나의 가상 광원에 의한 상기 조명 효과의 정도를, 사용자로부터 수신된 제어 신호에 응답하여 조절하는,
디스플레이 장치.
제11항에 있어서,
상기 객체는 동영상 객체를 포함하고,
상기 가상 환경은 상기 동영상 객체가 제공되는 가상 공간을 포함하며,
상기 프로세서는,
상기 동영상 객체의 프레임마다, 상기 프레임에서 상기 가상 광원의 위치에 대응하는 색상을 상기 가상 광원에 반영하여, 상기 디스플레이를 통해 상기 가상 환경을 디스플레이하는,
디스플레이 장치.
제11항에 있어서,
상기 객체는 적어도 하나의 사진 객체를 포함하고,
상기 가상 환경은 상기 적어도 하나의 사진 객체가 미리 정한 배치에 따라 제공되는 가상 공간을 포함하며,
상기 프로세서는,
상기 디스플레이를 통해 상기 적어도 하나의 사진 객체의 각각마다 설정된 적어도 하나의 가상 광원에 의한 시각 효과를 상기 가상 공간에 디스플레이하는,
디스플레이 장치.
제11항에 있어서,
상기 프로세서는,
가상 공간에서 상기 객체가 복수인 경우, 상기 복수의 객체 중 미리 정한 객체에 설정된 적어도 하나의 가상 광원의 밝기를 다른 객체에 설정된 가상 광원의 밝기보다 밝게 설정하는,
디스플레이 장치.
제11항에 있어서,
상기 디스플레이는,
HMD(head mounted display), 입체 디스플레이(stereoscopic display) 또는 터치스크린(touch screen) 중 하나를 포함하는,
디스플레이 장치.
디스플레이 장치에 있어서,
객체를 포함하는 영상을 표시하는 디스플레이,
사용자 입력을 수신하는 인터페이스, 및
상기 사용자 입력에 따라 상기 객체에 대한 시각 효과는 유지하고 상기 객체의 주위에 대한 시각 효과를 변경하는 프로세서
를 포함하고,
상기 프로세서는,
상기 디스플레이를 통해 적어도 하나의 가상 광원이 설정된 객체를 디스플레이하고, 상기 객체로부터 상기 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하고, 상기 추출된 색상이 반영된 상기 적어도 하나의 가상 광원에 의한 조명 효과(illumination effect)가 반영된 가상 환경을 디스플레이하며, 상기 적어도 하나의 가상 광원이 상기 객체 내부에 미치는 시각 효과는 배제하고, 상기 적어도 하나의 가상 광원이 상기 객체 주위의 가상 영역에 미치는 시각 효과는 포함하는,
디스플레이 장치.
제21항에 있어서,
상기 프로세서는,
상기 객체의 주위에 대한 시각 효과를 상기 객체를 이용하여 계산하는,
디스플레이 장치.
제22항에 있어서,
상기 프로세서는,
상기 사용자 입력에 따라 상기 객체에 설정된 복수의 가상 광원에 의한 상기 객체의 주위에 대한 조명 효과의 정도(level)를 변경하는
디스플레이 장치.
제21항에 있어서,
상기 프로세서는,
상기 사용자 입력에 응답하여, 상기 객체의 주위에 대한 시각 효과를 온오프(turn on/off)하는,
디스플레이 장치.
제21항에 있어서,
상기 프로세서는,
상기 객체의 적어도 일부에 대응하는 색상을 추출하여 상기 시각 효과에 반영하는,
디스플레이 장치.
디스플레이 장치에 있어서,
동영상 객체를 포함하는 영상을 표시하는 디스플레이,
상기 동영상 객체의 재생 중 상기 동영상 객체의 프레임마다 상기 객체의 주위에 대한 시각 효과를 변경하는 프로세서
를 포함하고,
상기 프로세서는,
상기 디스플레이를 통해 적어도 하나의 가상 광원이 설정된 상기 객체를 디스플레이하고, 상기 객체로부터 상기 적어도 하나의 가상 광원의 위치에 대응하는 색상을 추출하고, 상기 추출된 색상이 반영된 상기 적어도 하나의 가상 광원에 의한 조명 효과가 반영된 가상 환경을 디스플레이하며, 상기 적어도 하나의 가상 광원이 상기 객체 내부에 미치는 시각 효과는 배제하고, 상기 적어도 하나의 가상 광원이 상기 객체 주위의 가상 영역에 미치는 시각 효과는 포함하는,
디스플레이 장치.
제26항에 있어서,
상기 프로세서는,
상기 동영상 객체에 설정된 복수의 가상 광원에 의한 상기 시각 효과를 상기 객체의 주위에 생성하는,
디스플레이 장치.
제27항에 있어서,
상기 프로세서는,
상기 동영상 객체의 재생 중, 상기 동영상 객체의 프레임마다, 상기 프레임에서 상기 가상 광원의 위치에 대응하는 색상을 상기 가상 광원에 반영하여, 상기 객체의 주위에 대한 상기 시각 효과를 생성하는
디스플레이 장치.