KR20140057087A

KR20140057087A - 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법

Info

Publication number: KR20140057087A
Application number: KR1020120123754A
Authority: KR
Inventors: 천가원; 문춘경; 박다혜; 은동진; 이상일
Original assignee: 삼성전자주식회사
Priority date: 2012-11-02
Filing date: 2012-11-02
Publication date: 2014-05-12
Also published as: US20140125692A1; EP2746923A1

Abstract

디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법이 제공된다. 디바이스가 디바이스에 표시된 제 1 영상과 관련된 제 2 영상 을 제공하는 방법은, 디바이스의 화면에 표시된 제 1 영상과 관련된 제 2 영상의 요청을 서버로부터 수신하는 단계; 및 상기 요청에 응답하여, 상기 제 2 영상을 상기 서버에게 제공하는 단계;를 포함하며, 상기 제 2 영상은 상기 서버와 연결된 프로젝션 장치를 통하여 상기 디바이스가 놓인 플레이트 상에 조사되며, 상기 디바이스의 화면에 표시된 제 1 영상은, 상기 디바이스의 화면에 표시된 제 1 영상과 관련된 전체 영상의 일부이며, 상기 제 2 영상은 상기 전체 영상의 나머지 일부를 포함한다.

Description

디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING IMAGE RELATED TO IMAGE DISPLAYED ON DEVICE}

본 발명은 디바이스가 놓인 플레이트 상에 디바이스에 표시된 영상과 관련된 영상이 표시되도록 하는 시스템 및 방법에 관한 것이다.

중앙 처리 장치 및 멀티 미디어 기술이 발전함에 따라, 디바이스는 다양한 종류의 프로그램을 실행할 수 있으며, 다양한 종류의 영상을 화면에 디스플레이할 수 있게 되었다. 그러나, 디바이스의 디스플레이 화면이 충분히 크지 않은 경우에는, 디바이스에서 제공되는 다양한 종류의 영상을 한 화면에 표시하기 힘든 문제가 있었다. 또한, 디바이스에서 제공되는 영상의 크기가 큰 경우에는 디바이스의 화면에 영상 전체를 표시하기 힘든 문제가 있었다. 따라서, 사용자가 디바이스에서 제공되는 영상을 효과적으로 이용할 수 있는 기술이 요구되고 있다.

본 발명의 일 실시예는, 디바이스에 표시된 영상과 관련된 확장 영상을 디바이스가 놓인 플레이트 상에 표시할 수 있는, 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법을 제공할 수 있다.

또한, 본 발명의 일 실시예는, 디바이스에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스에 표시된 영상과 관련된 확장 영상을 변경할 수 있는, 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법을 제공할 수 있다.

또한, 본 발명의 일 실시예는, 디바이스에 표시된 영상과 관련된 확장 영상을 디바이스가 놓인 외부 디바이스 상에 표시할 수 있는, 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법을 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 디바이스의 화면에 표시된 제 1 영상과 관련된 제 2 영상의 요청을 서버로부터 수신하는 단계; 및 상기 요청에 응답하여, 상기 제 2 영상을 상기 서버에게 제공하는 단계;를 포함하며, 상기 제 2 영상은 상기 서버와 연결된 프로젝션 장치를 통하여 상기 디바이스가 놓인 플레이트 상에 조사되며, 상기 디바이스의 화면에 표시된 제 1 영상은, 상기 디바이스의 화면에 표시된 제 1 영상과 관련된 전체 영상의 일부이며, 상기 제 2 영상은 상기 전체 영상의 나머지 일부를 포함하는 것인, 디바이스가 디바이스에 표시된 제 1 영상과 관련된 제 2 영상을 제공하는 방법을 제공할 수 있다.

또한, 상기 플레이트 상에 상기 디바이스가 놓였는지가, 상기 서버와 연결된 촬영 장치에서 촬영된 영상에 기초하여, 상기 서버에 의해 판단되며, 상기 제 2 영상의 요청을 수신하는 단계는, 상기 플레이트상에 상기 디바이스가 놓임에 따라 상기 서버로부터 상기 요청을 수신할 수 있다.

또한, 상기 방법은, 상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상을 변경하는 단계; 상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나 에 기초하여, 상기 제 2 영상을 변경하는 단계; 및 상기 변경된 제 2 영상을 상기 서버에게 제공하는 단계;를 더 포함할 수 있다.

또한, 상기 플레이트에 조사된 제 2 영상에 대한 사용자의 터치가 상기 촬영 장치에 의해 촬영되며, 상기 촬영된 상기 사용자의 터치 영상에 기초하여, 상기 제 2 영상에 대한 사용자 입력이 확인될 수 있다.

또한, 상기 디바이스에 대한 사용자 입력은, 상기 디바이스의 화면에 대한 사용자의 터치 입력, 상기 플레이트 상의 상기 디바이스의 위치를 이동시키는 사용자 입력, 상기 플레이트 상에서 상기 디바이스를 회전시키는 사용자 입력, 및 상기 디바이스를 기울이는 사용자 입력 중 적어도 하나를 포함할 수 있다.

또한, 상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상 및 상기 제 2 영상 중 적어도 하나가 확대 또는 축소될 수 있다.

또한, 상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 제 2 영상의 조사 위치가 이동될 수 있다.

또한, 상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 전체 영상의 다른 일부 영역이 상기 제 1 영상으로 표시될 수 있다.

또한, 상기 플레이트 상에서 상기 디바이스가 회전됨에 따라, 상기 제 2 영상의 표시 방향이 변경될 수 있다.

또한, 상기 플레이트 상에서 상기 디바이스가 기울여짐에 따라, 상기 제 1 영상에 표시된 적어도 하나의 오브젝트가 상기 제 1 영상에서 사라지고 상기 사라진 오브젝트가 상기 제 2 영상에 표시될 수 있다.

또한, 상기 제 1 영상은 상기 디바이스의 복수의 홈 페이지들 중 하나에 대한 영상이며, 상기 제 2 영상은 상기 복수의 홈 페이지들 중 나머지에 대한 영상을 포함할 수 있다.

또한, 상기 디바이스가 기울여짐에 따라, 상기 디바이스의 복수의 홈페이지들이 모두 상기 제 2 영상에 표시되며, 상기 제 2 영상에 표시된 복수의 홈페이지에 표시된 오브젝트들이, 상기 제 2 영상에 대한 사용자 입력에 기초하여, 상기 복수의 홈페이지들 사이에서 이동될 수 있다.

또한, 상기 제 2 영상은 상기 복수의 홈 페이지들을 편집하는데 이용되는 임시 영역(temporary area)을 포함할 수 있다.

또한, 상기 전체 영상은 지도 이미지이며, 상기 제 1 영상은 상기 지도 이미지의 일부 영역에 대한 이미지이며, 상기 제 2 영상은 상기 지도 이미지의 나머지 영역의 이미지를 포함할 수 있다.

또한, 상기 제 2 영상 위에 놓인 다른 디바이스가 기울여짐에 따라, 상기 다른 디바이스의 화면에 표시된 콘텐트가 상기 제 2 영상에 표시되며, 상기 콘텐트는 상기 콘텐트가 생성된 위치에 대응되는 상기 제 2 영상 상의 위치에 표시될 수 있다.

또한, 본 발명의 제 2 측면은, 적어도 하나의 프로그램이 저장되는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 확장 영상을 서버에게 제공하도록 하는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 디바이스의 화면에 표시된 제 1 영상과 관련된 제 2 영상의 요청을 서버로부터 수신하는 단계; 및 상기 요청에 응답하여, 상기 제 2 영상을 상기 서버에게 제공하는 단계;를 실행하는 명령어들을 포함하며, 상기 제 2 영상은 상기 서버와 연결된 프로젝션 장치를 통하여 상기 디바이스가 놓인 플레이트 상에 조사되며, 상기 디바이스의 화면에 표시된 제 1 영상은, 상기 디바이스의 화면에 표시된 제 1 영상과 관련된 전체 영상의 일부이며, 상기 제 2 영상은 상기 전체 영상의 나머지 일부를 포함하는 것인, 휴대 단말 장치를 제공할 수 있다.

또한, 상기 적어도 하나의 프로그램은, 상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상을 변경하는 단계; 상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나 에 기초하여, 상기 제 2 영상을 변경하는 단계; 및 상기 변경된 제 2 영상을 상기 서버에게 제공하는 단계;를 실행하는 명령어들을 더 포함할 수 있다.

또한, 본 발명의 제 3 측면은, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 확장 영상 제공 시스템의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 확장 영상 표시 시스템이 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 표시하는 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 디바이스(1000)가 확장 영상을 생성하는 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 확장 영상 제공 시스템이 확장 영상 및 디바이스(1000)에 표시된 영상을 변경하여 표시하는 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자 입력의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자 입력을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 디바이스(1000)의 위치가 플레이트 상에서 이동되는 경우에, 확장 영상이 플레이트 상에서 이동되는 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디바이스(1000)의 위치가 플레이트 상에서 이동되는 경우에, 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디바이스(1000)가 플레이트 상에서 회전하는 경우에, 확장 영상이 회전되는 일례를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소되는 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 지도 영상이 확장 영상으로 표시되는 일례를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 지도 영상인 확장 영상 위에, 다른 디바이스(5000)의 화면에 표시된 사진 이미지가 이동되는 일례를 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른, 다른 디바이스(5000)의 화면에 표시된 사진 이미지가 확장 영상 위로 이동된 이후에, 사진 이미지가 확대되어 표시되는 일례를 도시한 도면이다.
도 17은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000)의 화면에 스트리트 뷰 이미지가 표시되는 일례를 도시한 도면이다.
도 18은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000)의 근처에 스트리트 뷰가 표시되는 일례를 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000) 및 확장 영상에 대한 사용자 입력에 기초하여, 길찾기 경로가 표시되는 일례를 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 사용자 입력에 기초하여, 길찾기와 관련된 출발점 및 도착점이 입력되는 일례를 도시한 도면이다.
도 21은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 사용자 입력에 기초하여 길찾기와 관련된 출발점이 변경되는 일례를 도시한 도면이다.
도 22는 본 발명의 일 실시예에 따른 디바이스(1000)의 복수의 홈페이지들이 확장 영상으로 표시되는 일례를 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서 확장 영상이 표시되는 일례를 도시한 도면이다.
도 24 내지 26은 본 발명의 일 실시예에 따른 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서, 확장 영상에 포함된 홈페이지들이 편집되는 일례를 도시한 도면이다.
도 27은 본 발명의 일 실시예에 따른 확장 영상에 소정의 웹 페이지가 포함되는 일례를 도시한 도면이다.
도 28은 본 발명의 일 실시예에 따른 확장 영상에 세계 시각에 관한 정보가 포함되는 일례를 도시한 도면이다.
도 29은 본 발명의 일 실시예에 따른 확장 영상에 사전 검색 결과가 포함되는 일례를 도시한 도면이다.
도 30은 본 발명의 일 실시예에 따른 디바이스(1000)의 화면에 연락처가 표시되고, 확장 영상에는 연락처에서 선택된 사용자에 관한 정보가 포함되는 일례를 도시한 도면이다.
도 31은 본 발명의 일 실시예에 따른 디바이스(1000)의 화면에 웹툰의 페이지가 표시되고, 웹툰의 다른 페이지가 확장 영상에 포함되는 일례를 도시한 도면이다.
도 32는 본 발명의 일 실시예에 따른 확장 영상에 복수의 메모 정보가 표시되는 일례를 도시한 도면이다.
도 33은 본 발명의 일 실시예에 따른 디바이스(1000)에 저장된 사진 이미지가 확장 영상으로 표시되는 일례를 도시한 도면이다.
도 34는 본 발명의 일 실시예에 따른 디바이스(1000)가 이용할 수 있는 음악 파일의 목록이 확장 영상으로 표시되는 일례를 도시한 도면이다.
도 35 및 도 36은 본 발명의 일 실시예에 따른 칼렌더 영상이 확장 영상으로 표시되는 일례를 도시한 도면이다.
도 37은 본 발명의 일 실시예에 따른 디바이스(1000)의 블럭도이다.
도 38은 본 발명의 다른 실시예에 따른 디바이스(1000)의 블럭도이다.
도 39는 본 발명의 일 실시예에 따른 서버(2000)의 블록도이다.
도 40은 본 발명의 다른 실시예에 따른 확장 영상 제공 시스템의 개요도이다.
도 41은 본 발명의 다른 실시예에 따른 확장 영상 표시 시스템이 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 외부 디바이스(6000)에 표시하는 방법의 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에서, 확장 영상은, 디바이스의 화면에 표시된 영상에 관련된 영상으로서, 디바이스의 화면 크기가 작음으로 인하여 디바이스(1000)의 화면에 한꺼번에 표시되기 어려운 영상일 수 있다. 또한, 디바이스의 화면에 표시된 영상은 소정의 전체 영상의 일부 이며, 플레이트 상에 표시될 확장 영상은 전체 영상의 나머지 일부를 포함할 수 있다

또한, 본 명세서에서, 탭(tap)은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 영상을 매우 빠르게 터치하는 동작을 나타낸다. 즉, 손가락이나 터치 도구가 화면에 닿는 시점인 터치-인 시점과 손가락이나 터치 도구가 화면에서 떨어지는 시점인 터치-아웃 시점간의 시간 차이가 임계 시간 이하로 매우 짧은 경우를 의미한다.

또한, 롱 탭(long tap)은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 영상을 터치한 후 임계 시간 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점간의 시간 차이가 임계 시간 이상인 경우를 의미한다.

또한, 더블 탭(double tap)은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 영상을 빠르게 두 번 터치하는 동작을 의미한다.

또한, 드래그(drag)는 사용자가 손가락이나 터치 도구를 이용하여 영상을 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 영상 내의 다른 위치로 이동시키는 동작을 나타낸다.

플릭(flick)은 사용자가 손가락이나 터치 도구를 이용하여 매우 빠르게 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도 이상인지에 기초하여 드래그와 플릭이 구별될 수 있다.

핀치(pinch)는 사용자가 복수 개의 손가락이나 터치 도구를 영상에 터치한 후 손가락 또는 터치 도구들간의 간격을 넓히거나 좁히는 동작을 나타낸다. 사용자가 엄지와 검지를 화면에 접촉한 후 이들 사이의 간격을 넓히는 동작을 언핀칭(unpinching)이라 칭하고, 이들 사이의 간격을 좁히는 동작을 핀칭 (pinching)이라 칭한다. 핀치를 활용한 일 예로, 언핀칭 입력에 의해 영상이 줌 인(zoom in)되고, 핀칭 입력에 의해 영상이 줌 아웃(zoom out)될 수 있다.

또한, 본 명세서에서, 오브젝트는 디바이스(1000)의 표시된 영상 또는 플레이트에 표시된 확장 영상에 포함되어, 사용자 입력에 의해 선택될 수 있는 대상을 의미한다. 오브젝트는, 예를 들어, 아이콘, 폴더, 썸네일 이미지를 포함할 수 있으나, 이에 제한되지 않는다.

또한, 본 명세서에서, 영상은 디바이스(1000) 또는 서버(2000)에서 실행된 소정의 프로그램의 실행 결과를 포함한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른, 확장 영상 제공 시스템의 개요도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 확장 영상 제공 시스템은, 디바이스(1000), 서버(2000), 프로젝션 장치(3000) 및 촬영 장치(4000)를 포함한다.

디바이스(1000)는 디바이스(1000)의 화면보다 크기가 넓은 플레이트(plate) 상에 놓일 수 있으며, 디바이스(1000)가 놓인 플레이트 상에는 디바이스(1000)에 표시된 영상과 관련된 확장 영상이 프로젝션 장치(3000)에 의해 표시될 수 있다. 확장 영상은, 디바이스(1000)의 화면에 표시된 영상에 관련된 영상으로서, 디바이스(1000)의 화면 크기가 작음으로 인하여 디바이스(1000)의 화면에 한꺼번에 표시되기 어려운 영상일 수 있다. 또한, 디바이스(1000)의 화면에 표시된 영상은 소정의 전체 영상의 일부 이며, 플레이트 상에 표시될 확장 영상은 전체 영상의 나머지 일부를 포함할 수 있다. 예를 들어, 디바이스(1000)에 표시된 영상이 지도 이미지인 경우에, 확장 영상은 디바이스(1000)에 표시된 지도 이미지 밖의 영역에 대한 지도 이미지일 수 있다. 또한, 디바이스(1000)에 표시된 영상이 디바이스(1000)의 복수의 홈 페이지들 중 하나인 경우에, 확장 영상은 디바이스(1000)의 나머지 홈페이지들을 포함할 수 있다. 그러나, 이에 제한되지 않는다.

서버(2000)는 플레이트 상에 디바이스(1000)가 놓였는지를 확인하고, 플레이트 상에 디바이스(1000)가 놓임에 따라, 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 디바이스(1000)에게 요청할 수 있다.

디바이스(1000)는 디바이스(1000)의 화면에 표시된 영상과 관련된 확장 영상을 서버(2000)에게 제공할 수 있으며, 서버(2000)는 디바이스(1000)로부터 수신된 확장 영상을 프로젝션 장치(3000)에게 제공할 수 있다. 또한, 프로젝션 장치(3000)는 확장 영상을 서버(2000)로부터 수신하고, 수신된 확장 영상을 플레이트로 조사한다. 또한, 확장 영상은 플레이트 상에서 디바이스(1000)의 주변에 조사될 수 있다.

촬영 장치(4000)는 플레이트 및 플레이트 상에 놓인 디바이스(1000)를 촬영하며, 촬영 장치(4000)에 의해 촬영된 이미지는 서버(2000) 및 디바이스(1000) 중 적어도 하나에게 제공된다. 촬영 장치(4000)에 의해 촬영된 이미지는 서버(2000) 또는 디바이스(1000)가 플레이트 상의 디바이스(1000)의 위치를 확인하는데 이용될 수 있다. 또한, 촬영 장치(4000)에 의해 촬영된 이미지는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력을 확인하는데 이용될 수 있다.

디바이스(1000)는, 스마트폰, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, GPS(global positioning system) 장치, 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

또한, 촬영 장치(4000)는, 예를 들어, 뎁스 카메라(depth camera)일 수 있으나, 이에 제한되지 않는다.

한편, 상기에서는 프로젝션 장치(3000)가 플레이트에 확장 영상을 조사되고, 조사된 확장 영상이 플레이트 상에 표시되는 것으로 설명하였지만, 이에 제한되지 않는다. 플레이트는 디스플레이 화면을 포함하는 소정의 장치일 수 있으며, 이 경우, 플레이트의 디스플레이 화면에서 디바이스(1000)의 주변 영역에 확장 영상이 디스플레이될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 확장 영상 표시 시스템이 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 표시하는 방법의 흐름도이다.

단계 S200에서 촬영 장치(4000)는 플레이트에 놓인 디바이스(1000)를 촬영한다. 촬영 장치(4000)는 플레이트에 놓인 디바이스(1000)와 플레이트를 함께 촬영할 수 있다. 촬영 장치(4000)는 플레이트 상에 디바이스(1000)가 놓이는지 여부, 플레이트 상의 디바이스(1000)가 움직이는지 여부, 및 플레이트 상의 확장 영상에 대하여 사용자가 터치 입력을 하는지를 확인할 수 있도록, 플레이트 및 디바이스(1000)를 계속적으로 촬영할 수 있다. 또한, 촬영 장치(4000)는, 뎁스 카메라(depth camera)일 수 있으나, 이에 제한되지 않는다.

단계 S210에서 촬영 장치(4000)는 촬영된 영상을 서버(2000)에게 제공한다. 촬영 장치(4000)는 촬영되는 영상에 변화가 있는 경우에 촬영된 영상을 서버(2000)에게 제공할 수 있으나, 이에 제한되지 않는다. 예를 들어, 플레이트 상에 디바이스(1000)가 놓이거나, 플레이트 상에 놓인 디바이스(1000)가 움직이거나, 플레이트 상의 확장 영상을 사용자가 터치함으로써, 촬영된 영상에 변화가 감지되면, 촬영 장치(4000)는 촬영 영상을 서버(2000)에게 제공할 수 있다.

단계 S220에서 서버(2000)는 촬영 영상을 이용하여 디바이스(1000)를 식별한다. 디바이스(1000)에는 소정의 마커가 표시될 수 있으며, 서버(2000)는 촬영 영상에 포함된 디바이스(1000)의 마커에 기초하여 디바이스(1000)를 식별할 수 있다. 서버(2000)는 디바이스(1000)의 마커로부터, 예를 들어, 디바이스(1000)의 모델명, 디바이스(1000)의 사용자의 ID, 디바이스(1000)의 전화 번호를 확인할 수 있다.

또한, 마커는, 디바이스(1000)를 식별하기 위한 정보를 부호화한 표식으로서, 예를 들어, 1 차원 바코드, 2차원 바코드, 3차원 바코드, 칼라 바코드, QR 코드(Quick Response Code) 또는 기 설정된 문양을 포함할 수 있다.

단계 S230에서 서버(2000)는 디바이스(1000)의 위치를 확인한다. 서버(2000)는 촬영 장치(4000)로부터 수신된 촬영 영상으로부터, 플레이트 상에 디바이스(1000)가 놓였는지를 확인하고, 플레이트 상의 디바이스(1000)의 위치를 확인할 수 있다. 서버(2000)는 플레이트 상에서 디바이스(1000)가 어느 위치에 놓여있는지를 확인하고, 디바이스(1000)의 위치에 관한 위치 정보를 생성할 수 있다. 예를 들어, 플레이트 상의 디바이스(1000)의 위치 정보는 소정의 좌표 값을 포함할 수 있으나, 이에 제한되지 않는다.

또한, 서버(2000)는 플레이트 상에 디바이스(1000)가 놓임에 따라, 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 디바이스(1000)에게 요청할 수 있다.

단계 S240에서 서버(2000)는 디바이스(1000)에게 서버 정보를 제공한다. 서버(2000)는 단계 S220에서 확인된 디바이스(1000)의 식별 값을 이용하여, 디바이스(1000)와 통신 연결될 수 있다. 또한, 서버(2000)는 서버 정보를 디바이스(1000)에게 제공할 수 있다. 서버 정보는 디바이스(1000)가 서버(2000)에 접속하고 소정의 정보를 서버(2000)에게 전송하는데 필요한 정보일 수 있다.

또한, 서버(2000)는 서버(2000)에 접속하기 위한 서버 정보를 브로드캐스팅하고, 디바이스(1000)로부터 수신되는 통신 요청에 응답하여 디바이스(1000)와 통신 연결될 수도 있다.

단계 S250에서 서버(2000)는 디바이스(1000)에게 디바이스(1000)의 위치 정보를 제공한다. 디바이스(1000)의 위치 정보는, 플레이트 상의 디바이스(1000)의 위치에 관한 정보로서, 예를 들어, 플레이트의 크기, 플레이트 상에서 디바이스(1000)가 놓인 방향, 디바이스(1000)의 위치, 및 플레이트 상에서 확장 영상이 표시되는 영역에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.

단계 S260에서 디바이스(1000)는 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 생성한다. 확장 영상은, 디바이스(1000)의 화면에 표시된 영상에 관련된 영상으로서, 디바이스(1000)의 화면 크기가 작음으로 인하여 디바이스(1000)의 화면에 한꺼번에 표시되기 어려운 영상일 수 있다. 예를 들어, 디바이스(1000)에 표시된 영상이 지도 이미지인 경우에, 확장 영상은 디바이스(1000)에 표시된 지도 이미지 밖의 영역에 대한 지도 이미지일 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 디바이스(1000)의 복수의 홈 페이지들 중 하나인 경우에, 확장 영상은 디바이스(1000)의 나머지 홈페이지들을 포함할 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 소정의 웹 페이지인 경우에, 디바이스(1000)에 표시된 웹 페이지에 포함된 소정의 오브젝트에 링크된 다른 웹 페이지들이 확장 영상에 포함될 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 웹 툰의 소정의 페이지인 경우에, 디바이스(1000)에 표시된 페이지의 앞, 뒤 페이지들이 확장 영상에 포함될 수 있다. 그러나, 이에 제한되지 않는다.

또한, 디바이스(1000)는 플레이트의 크기 및 디바이스(1000)의 크기를 고려하여 확장 영상의 해상도를 결정하고, 결정된 해상도로 확장 영상을 생성할 수도 있다.

단계 S270에서 디바이스(1000)는 확장 영상을 서버(2000)에게 제공하고, 단계 S280에서 서버(2000)는 확장 영상을 프로젝션 장치(3000)에게 제공한다. 서버(2000)는 플레이트 상의 디바이스(1000)의 위치 및 방향에 기초하여, 확장 영상을 플레이트에 어떠한 방향으로 조사해야 하는지를 판단하고, 확장 영상의 조사 방향에 관한 정보를 확장 영상과 함께 프로젝션 장치(3000)에게 제공할 수 있다.

상기에서는 디바이스(1000)가 확장 영상을 생성하는 것으로 설명하였지만, 이에 제한되지 않는다. 디바이스(1000)가 디바이스(1000)의 화면에 표시된 영상에 관한 정보를 서버(2000)에게 제공하면, 서버(2000)가 확장 영상을 생성할 수도 있다. 예를 들어, 디바이스(1000)의 화면에 소정의 지도 이미지가 표시된 경우에, 디바이스(1000)는 디바이스(1000)의 화면에 표시된 지도 이미지에 관한 정보를 서버(2000)에게 제공할 수 있다. 이 경우, 지도 이미지에 관한 정보는, 디바이스(1000)의 화면에 표시된 지도 이미지의 위치 정보(예를 들어, GPS 값, 위도 값, 경도 값), 및 지도 이미지의 해상도를 포함할 수 있다. 또한, 서버(2000)는 지도 이미지의 위치 정보 및 지도 이미지의 해상도에 기초하여, 디바이스(1000)에 표시된 지도 이미지 밖의 지도에 관한 이미지를 확장 영상으로 생성할 수 있다. 또한, 서버(2000)는 디바이스(1000)에 표시된 지도 이미지 밖의 지도에 관한 이미지를 별도의 지도 정보 제공 서버(미도시)로부터 수신할 수 있다. 또한, 서버(2000)는 디바이스(1000)의 위치 정보에 기초하여 확장 영상을 생성할 수도 있다.

단계 S290에서 프로젝션 장치(3000)는 확장 영상을 플레이트 상에 조사한다. 프로젝션 장치(3000)는 확장 영상을 플레이트에 어떠한 방향으로 조사해야 하는지를 확인하고, 확인된 방향으로 확장 영상을 조사할 수 있다. 따라서, 프로젝션 장치(3000)는 확장 영상을 디바이스(1000)의 주변에 적절하게 조사하여, 확장 영상이 디바이스(1000)에 표시된 영상에 연결되어 표시될 수 있도록 할 수 있다.

한편, 도 2에서는, 서버(2000)가 촬영 영상에 기초하여 플레이트의 크기, 플레이트 상의 디바이스(1000)의 위치 및 방향을 확인하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(2000)는 촬영 영상을 디바이스(1000)에게 제공하고, 디바이스(1000)가 서버(2000)로부터 수신된 촬영 영상에 기초하여 플레이트의 크기, 플레이트 상의 디바이스(1000)의 위치 및 방향을 확인할 수도 있다.

또한, 도 2에서와는 달리, 디바이스(1000)와 프로젝션 장치(3000)가 연결되고, 프로젝션 장치(3000)에서 촬영된 영상을 디바이스(1000) 수신하고, 디바이스(1000)가 촬영 영상을 분석하여 확장 영상을 프로젝션 장치(3000)에게 제공할 수도 있다. 이 경우, 도 2의 서버(2000)의 기능은 디바이스(1000)에 의해 수행될 수 있다.

도 3은 본 발명의 일 실시예에 따른 디바이스(1000)가 확장 영상을 생성하는 방법의 흐름도이다.

단계 S300에서 디바이스(1000)는 디바이스(1000)에서 실행 중인 애플리케이션을 확인한다. 디바이스(1000)는 확장 영상의 생성을 위하여 필요한 정보를 얻기 위하여, 디바이스(1000)에서 실행 중인 애플리케이션을 확인할 수 있다. 디바이스(1000)에서 실행 중인 애플리케이션은 디바이스(1000)의 백그라운드에서 실행 중인 애플리케이션을 포함할 수 있다.

단계 S310에서 디바이스(1000)는 디바이스(1000)의 화면에 표시된 영상을 확인한다. 디바이스(1000)는 화면에 표시된 영상 및, 화면에 표시된 영상에 관련된 애플리케이션을 확인할 수 있다.

단계 S320에서 디바이스(1000)는 확장 영상에 포함될 이미지를 결정한다. 디바이스(1000)는 화면에 표시된 영상 및 디바이스(1000)에서 실행 중인 애플리케이션에 기초하여, 확장 영상에 포함될 이미지를 결정할 수 있다. 예를 들어, 지도 애플리케이션이 실행 중이고, 지도의 전체 영상의 일부분이 디바이스(1000)의 화면에 표시되는 경우에, 디바이스(1000)는 지도의 전체 영상 중 나머지 부분을 확장 영상에 포함시킬 수 있다. 또한, 예를 들어, 디바이스(1000)의 홈 페이지들 중 하나가 디바이스(1000)의 화면에 표시된 경우에, 디바이스(1000)는 나머지 홈페이지들을 확장 영상에 포함시킬 수 있다. 또한, 인터넷 브라우저가 실행 중이고, 웹툰의 소정 페이지가 디바이스(1000)의 화면에 표시된 경우에, 디바이스(1000)는 웹툰의 다른 페이지들을 확장 영상에 포함시킬 수 있다.

또한, 디바이스(1000)는 플레이트의 크기, 디바이스(1000)의 크기, 플레이트 상의 디바이스(1000)의 위치에 기초하여 확장 영상에 포함될 이미지를 결정할 수 있다. 예를 들어, 디바이스(1000)의 크기에 비하여 플레이트의 크기가 클수록 디바이스(1000)는 보다 많은 이미지를 확장 영상에 포함시킬 수 있다.

단계 S330에서 디바이스(1000)는 결정된 이미지를 포함하는 확장 영상을 생성한다. 디바이스(1000)는 플레이트의 크기를 고려하여 확장 영상의 해상도를 결정하고, 결정된 해상도로 확장 영상을 생성할 수 있다.

도 4는 본 발명의 일 실시예에 따른 확장 영상 제공 시스템이 확장 영상 및 디바이스(1000)에 표시된 영상을 변경하여 표시하는 방법의 흐름도이다.

단계 S400에서 촬영 장치(4000)는 플레이트에 놓인 디바이스(1000)를 촬영한다. 촬영 장치(4000)는 플레이트에 놓인 디바이스(1000)와 플레이트를 함께 촬영할 수 있다. 촬영 장치(4000)는 플레이트 상에 디바이스(1000)가 놓이는지 여부, 플레이트 상의 디바이스(1000)가 움직이는지 여부, 및 플레이트 상의 확장 영상에 대하여 사용자가 터치 입력을 하는지를 확인할 수 있도록, 플레이트 및 디바이스(1000)를 계속적으로 촬영할 수 있다. 또한, 촬영 장치(4000)는, 뎁스 카메라(depth camera)일 수 있으나, 이에 제한되지 않는다.

단계 S410에서 촬영 장치(4000)는 촬영된 영상을 서버(2000)에게 제공한다. 촬영 장치(4000)는 촬영되는 영상에 변화가 있는 경우에 촬영된 영상을 서버(2000)에게 제공할 수 있으나, 이에 제한되지 않는다. 예를 들어, 플레이트 상에 디바이스(1000)가 놓이거나, 플레이트 상에 놓인 디바이스(1000)가 움직이거나, 플레이트 상의 확장 영상을 사용자가 터침함으로써, 촬영된 영상에 변화가 감지되면, 촬영 장치(4000)는 촬영 영상을 서버(2000)에게 제공할 수 있다.

단계 S420에서 서버(2000)는 플레이트에 표시된 확장 영상에 대한 사용자 입력을 확인한다. 사용자는 플레이트에 표시된 확장 영상에 대하여 터치 입력을 할 수 있으며, 서버(2000)는 사용자의 터치 입력을 촬영한 영상으로부터 사용자가 확장 영상의 어느 부분을 어떻게 터치하였는지를 확인할 수 있다. 예를 들어, 서버(2000)는 사용자가 확장 영상의 어느 부분을 터치하였는지, 확장 영상을 멀티 터치하였는지, 터치 입력의 종류가 무엇인지를 확인할 수 있다. 터치 입력의 종류는, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있으나, 이에 제한되지 않는다.

단계 S430에서 서버(2000)는 확장 영상에 대한 사용자 입력 정보를 디바이스(1000)에게 제공한다. 서버(2000)는 촬영 영상으로부터 확인된 사용자 입력에 관한 사용자 입력 정보를 디바이스(1000)에게 제공할 수 있다.

단계 S440에서 디바이스(1000)는 디바이스(1000)에 대한 사용자 입력을 수신한다. 디바이스(1000)에 대한 사용자 입력은, 디바이스(1000)의 화면에 대한 터치 입력 및 디바이스(1000)를 움직이는 입력을 포함할 수 있다. 디바이스(1000)의 화면에 대한 터치 입력은, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)를 움직이는 입력은, 디바이스(1000)를 플레이트 상에서 디바이스(1000)의 위치를 이동시키는 입력, 플레이트 상에서 디바이스(1000)를 회전시키는 입력 및 디바이스(1000)를 기울이는 입력을 포함할 수 있다.

단계 S450에서 디바이스(1000)는 디바이스(1000)에 표시된 영상을 변경한다. 디바이스(1000)는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 영상 중 소정의 오브젝트가 선택됨에 따라, 오브젝트의 선택에 대응되는 애플리케이션이 실행되고, 실행된 애플리케이션의 실행 화면이 디바이스(1000)에 표시될 수 있다. 또한, 예를 들어, 디바이스(1000)에 소정의 전체 영상 중 일부가 디바이스(1000)의 화면에 표시되고, 소정의 전체 영상 중 나머지 부분이 확장 영상으로 표시된 경우에, 디바이스(1000)의 화면 또는 확장 영상을 플릭하는 사용자 입력에 응답하여, 디바이스(1000)는 확장 영상으로 표시된 부분의 일부를 디바이스(1000)의 화면에 표시되도록 할 수 있다. 또한, 예를 들어, 디바이스(1000)는 디바이스(1000)의 화면 또는 확장 영상을 핀칭 또는 언핀칭하는 사용자 입력에 응답하여, 디바이스(1000)에 표시된 화면을 축소 또는 확대할 수 있다. 또한, 예를 들어, 디바이스(1000)가 플레이트 상에서 기울여짐에 따라, 디바이스(1000)는 디바이스(1000)의 화면에 표시된 오브젝트가 디바이스(1000)의 화면에서 사라지도록 할 수 있다.

단계 S460에서 디바이스(1000)는 확장 영상을 변경한다. 디바이스(1000)는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 확장 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 영상 중 소정의 오브젝트가 선택됨에 따라, 오브젝트의 선택에 대응되는 애플리케이션이 실행되고, 실행된 애플리케이션의 실행 화면 중 디바이스(1000)에 표시되지 않은 화면을 확장 영상에 포함시킬 수 있다. 또한, 예를 들어, 디바이스(1000)에 소정의 전체 영상 중 일부가 디바이스(1000)의 화면에 표시되고, 소정의 전체 영상 중 나머지 부분이 확장 영상으로 표시된 경우에, 디바이스(1000)의 화면 또는 확장 영상을 플릭하는 사용자 입력에 응답하여, 디바이스(1000)는 디바이스(1000)의 화면에 표시된 영상을 확장 영상에 표시되도록 할 수 있다. 또한, 예를 들어, 디바이스(1000)는 디바이스(1000)의 화면 또는 확장 영상을 핀칭 또는 언핀칭하는 사용자 입력에 응답하여, 확장 영상을 축소 또는 확대할 수 있다. 또한, 예를 들어, 디바이스(1000)가 플레이트 상에서 기울여짐에 따라, 디바이스(1000)는 디바이스(1000)의 화면에 표시된 오브젝트가 확장 영상에 표시되도록 할 수 있다.

단계 S470에서 디바이스(1000)는 변경된 확장 영상을 서버(2000)에게 제공하고, 단계 S480에서 서버(2000)는 변경된 확장 영상을 프로젝션 장치(3000)에게 제공한다.

단계 S480에서 서버(2000)는 변경된 확장 영상을 플레이트에 어떻게 조사해야 하는지에 관한 정보를 변경된 확장 영상과 함께 제공할 수 있다. 서버(2000)는 플레이트 상의 디바이스(1000)의 위치 및 방향에 기초하여, 변경된 확장 영상을 플레이트에 어떠한 방향으로 조사해야 하는지를 판단하고, 변경된 확장 영상의 조사 방향에 관한 정보를 프로젝션 장치(3000)에게 제공할 수 있다.

단계S490에서 프로젝션 장치(3000)는 변경된 확장 영상을 플레이트 상에 조사한다. 프로젝션 장치(3000)는 변경된 확장 영상의 조사 방향에 관한 정보에 기초하여, 변경된 확장 영상을 플레이트에 조사할 수 있다.

한편, 도 4에서는, 서버(2000)가 촬영 영상에 기초하여 확장 영상에 대한 사용자의 입력을 확인하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(2000)는 촬영 영상을 디바이스(1000)에게 제공하고, 디바이스(1000)가 서버(2000)로부터 수신된 촬영 영상에 기초하여 확장 영상에 대한 사용자 입력을 확인할 수도 있다.

또한, 도 4에서와 달리, 서버(2000)가 디바이스(1000)에 표시된 영상 및 확장 영상을 변경할 수도 있다. 이 경우, 서버(2000)는 디바이스(1000)로부터 디바이스(1000)에 대한 사용자 입력에 관한 정보 및 디바이스(1000)에 표시된 영상에 관한 정보를 수신할 수 있다. 또한, 서버(2000)는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 영상 및 확장 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 화면에 지도 이미지가 표시된 경우에, 서버(2000)는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 지도 이미지 및 확장 영상에 포함된 지도 이미지를 변경할 수 있다.

또한, 도 4에서와는 달리, 디바이스(1000)와 프로젝션 장치(3000)가 연결되고, 프로젝션 장치(3000)에서 촬영된 영상을 디바이스(1000) 수신하고, 디바이스(1000)가 촬영 영상을 분석하여 변경된 확장 영상을 프로젝션 장치(3000)에게 제공할 수도 있다. 이 경우, 도 4의 서버(2000)의 기능은 디바이스(1000)에 의해 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자 입력의 일례를 도시한 도면이다.

도 5a에서와 같이, 디바이스(1000)에 대한 사용자 입력은, 디바이스(1000)의 화면을 터치하는 입력을 포함할 수 있다. 디바이스(1000)의 화면에 대한 터치 입력은, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있다. 디바이스(1000)의 화면에 대한 터치 입력은 디바이스(1000)에 포함된 터치 센서에 의해 감지될 수 있다.

또한, 도 5b에서와 같이, 디바이스(1000)에 대한 사용자 입력은, 플레이트 상에서 디바이스(1000)의 위치를 이동시키는 입력을 포함할 수 있다.

또한, 도 5c에서와 같이, 디바이스(1000)에 대한 사용자 입력은, 플레이트 상에서 디바이스(1000)의 방향을 변경하는 입력을 포함할 수 있다.

또한, 도 5d에서와 같이, 디바이스(1000)에 대한 사용자 입력은, 플레이트 상에서 디바이스(1000)를 기울이는 입력을 포함할 수 있다.

또한, 도 5b 내지 도 5d에서의 사용자 입력은 촬영 장치(4000)에 의해 촬영된 영상에 의해 확인될 수 있다.

도 6은 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자 입력을 도시한 도면이다.

도 6을 참조하면, 플레이트 상에 표시된 확장 영상에 대한 사용자 입력은, 확장 영상을 터치하는 입력일 수 있다. 확장 영상에 대한 터치 입력은, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있다. 또한, 확장 영상에 대한 터치 입력은, 촬영 장치(4000)에 의해 촬영된 영상에 의해 확인될 수 있다.

도 7은 본 발명의 일 실시예에 따른 디바이스(1000)의 위치가 플레이트 상에서 이동되는 경우에, 확장 영상이 플레이트 상에서 이동되는 일례를 도시한 도면이다.

도 7a에 도시된 바와 같이, 디바이스(1000)의 화면에 ‘D’가 표시되고, ‘A, B, C, E, F, G’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 도 7b에 도시된 바와 같이, 사용자는 디바이스(1000)를 플레이트 상에서 플레이트의 좌측 상단으로 이동시킬 수 있다. 디바이스(1000)가 이동됨에 따라, 도 7c에서와 같이, ‘A, B, C, E, F, G’를 포함하는 확장 영상이 디바이스(1000)가 이동된 위치로 이동되어 표시될 수 있다.

이 경우, 디바이스(1000)의 중심을 기준으로 확장 영상이 표시될 위치가 결정될 수 있다. 즉, 디바이스(1000)가 이동됨에 따라, 이동된 디바이스(1000)의 중심을 기준으로 확장 영상의 표시 위치가 결정될 수 있으나, 이에 제한되지 않는다.

도 8은 본 발명의 일 실시예에 따른 디바이스(1000)의 위치가 플레이트 상에서 이동되는 경우에, 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.

도 8a에 도시된 바와 같이, 디바이스(1000)의 화면에 ‘D’가 표시되고, ‘A, B, C, E, F, G’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다.

또한, 도 8b에 도시된 바와 같이, 사용자는 디바이스(1000)를 플레이트 상에서 플레이트의 좌측으로 이동시킬 수 있으며, 디바이스(1000)가 이동됨에 따라, 디바이스(1000)에 표시된 영상이 변경되어 디바이스(1000)의 화면에 ‘B’가 표시될 수 있다. 또한, 확장 영상에는 ‘A, C, D, E, F, G’가 포함되도록 변경될 수 있다. 또한, 확장 영상이 조사되는 방향 및 위치는 변경되지 않으며, 확장 영상이 변경되어 표시될 수 있다.

도 9는 본 발명의 일 실시예에 따른 디바이스(1000)가 플레이트 상에서 회전하는 경우에, 확장 영상이 회전되는 일례를 도시한 도면이다.

도 9를 참조하면, 디바이스(1000)의 화면에 ‘D’가 표시되고, ‘A, B, C, E, F, G’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 사용자는 디바이스(1000)를 플레이트 상에서 시계 방향으로 회전시킬 수 있으며, 이에 따라, 확장 영상이 시계 방향으로 회전되어 표시될 수 있다.

도 10은 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.

도 10을 참조하면, 디바이스(1000)의 화면에 ‘U’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, V, W, X, Y, Z’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 디바이스(1000)의 화면에 대하여 사용자의 플릭(flick) 입력이 입력되면, 확장 영상은 디바이스(1000)의 좌측으로 이동될 수 있다. 또한, 디바이스(1000)의 화면에는 ‘W’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, X, Y, Z’가 확장 영상에 포함될 수 있다.

도 11은 본 발명의 일 실시예에 따른 디바이스(1000)에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소되는 일례를 도시한 도면이다.

도 11을 참조하면, 디바이스(1000)의 화면에 ‘U’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, V, W, X, Y, Z’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 디바이스(1000)의 화면에 대하여 사용자의 핀치(pinch) 입력이 입력되면, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소될 수 있다. 또한, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소됨에 따라, 디바이스(1000)의 화면에는 ‘U, V’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, W, X, Y, Z’가 확장 영상에 포함될 수 있다.

도 12는 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.

도 12를 참조하면, 디바이스(1000)의 화면에 ‘U’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, V, W, X, Y, Z’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 확장 영상에 대하여 사용자의 플릭(flick) 입력이 입력되면, 확장 영상은 디바이스(1000)의 좌측으로 이동될 수 있다. 또한, 디바이스(1000)의 화면에는 ‘W’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, X, Y, Z’가 확장 영상에 포함될 수 있다.

도 13은 본 발명의 일 실시예에 따른 확장 영상에 대한 사용자의 터치 입력에 기초하여, 확장 영상 및 디바이스(1000)에 표시된 영상이 변경되는 일례를 도시한 도면이다.

도 13을 참조하면, 디바이스(1000)의 화면에 ‘U’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, V, W, X, Y, Z’를 포함하는 확장 영상이 플레이트 상에 표시될 수 있다. 또한, 확장 영상에 대하여 사용자의 핀치(pinch) 입력이 입력되면, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소될 수 있다. 또한, 확장 영상 및 디바이스(1000)에 표시된 영상이 축소됨에 따라, 디바이스(1000)의 화면에는 ‘U, V’가 표시되고, ‘A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, W, X, Y, Z’가 확장 영상에 포함될 수 있다.

도 14는 본 발명의 일 실시예에 따른 지도 영상이 확장 영상으로 표시되는 일례를 도시한 도면이다.

도 14a에서와 같이, 디바이스(1000)의 화면에 표시된 지도 애플리케이션의 아이콘이 선택되면, 아이콘에 대응되는 지도 애플리케이션이 실행될 수 있다. 또한, 도 14b에서와 같이, 디바이스(1000)의 화면에는 지도 이미지가 표시될 수 있다.

이후, 디바이스(1000)가 플레이트 상에 놓여지면, 도 14c에서와 같이, 디바이스(1000)에 표시된 지도 이미지 밖의 영역에 대한 지도 이미지가 확장 영상으로 표시될 수 있다. 따라서, 사용자는 디바이스(1000)에 표시된 영상 및 플레이트 상에 조사되는 확장 영상을 이용하여, 디바이스(1000)에 표시된 지도 이미지의 영역보다 넓은 영역에 대한 지도 이미지를 확인할 수 있게 된다.

한편, 도 14d 및 도 14e에서와 같이 디바이스(1000)의 복수의 홈페이지 중의 하나가 표시된 디바이스(1000)가 플레이트 상에 놓이면, 디바이스(1000)의 복수의 홈페이지 중 나머지 홈페이지들이 플레이트 상에 표시될 수 있다. 또한, 사용자는 플레이트 상에 표시된 홈페이지에서 지도 애플리케이션의 아이콘을 선택할 수 있다.

도 14e에서와 같이 지도 애플리케이션의 아이콘이 선택되면, 도 14c에서와 같이, 디바이스(1000)에 소정의 지도 이미지가 표시되고, 디바이스(1000)에 표시된 지도 이미지 밖의 영역에 대한 지도 이미지가 확장 영상으로 표시될 수 있다.

도 15는 본 발명의 일 실시예에 따른 지도 영상인 확장 영상 위에, 다른 디바이스(5000)의 화면에 표시된 사진 이미지가 이동되는 일례를 도시한 도면이다.

도 15a에서와 같이, 지도 이미지가 표시된 플레이트 상에 다른 디바이스(5000)가 놓여질 수 있다. 또한, 다른 디바이스(5000)의 화면에는 복수의 사진 이미지가 모자이크 형식으로 표시될 수 있다.

또한, 도 15b에서와 같이, 플레이트 상에서 다른 디바이스(5000)가 기울여지면, 도 15c에서와 같이 다른 디바이스(5000)에 표시된 사진 이미지가 확장 영상으로 이동될 수 있다. 예를 들어, 다른 디바이스(5000)에 표시된 사진 이미지가 다른 디바이스(5000)의 화면에서 쏟아져서 확장 영상에 지도 이미지 상에 표시될 수 있다. 또한, 도 15c에서와 같이 다른 디바이스(5000)에 표시된 사진 이미지는 다른 디바이스(5000)로부터 쏟아져서, 사진 이미지가 촬영된 장소에 대응되는 지도 이미지 상의 소정의 위치에 표시될 수 있다.

도 16은 본 발명의 일 실시예에 따른, 다른 디바이스(5000)의 화면에 표시된 사진 이미지가 확장 영상 위로 이동된 이후에, 사진 이미지가 확대되어 표시되는 일례를 도시한 도면이다.

도 16a에서와 같이, 확장 영상에 표시된 소정의 사진 이미지를 사용자가 터치하면, 도 16b에서와 같이, 터치된 사진 이미지의 확대 이미지가 확장 영상에 표시될 수 있다.

또한, 도 16c에서와 같이, 다른 디바이스(5000)가 플레이트의 밖으로 이동되면, 확장 영상에 표시되었던 다른 디바이스(5000)의 사진 이미지가 확장 영상에서 사라질 수 있다.

도 17은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000)의 화면에 스트리트 뷰 이미지가 표시되는 일례를 도시한 도면이다.

도 17a에서와 같이, 디바이스(1000)의 화면에 표시된 이미지 및 확장 영상에 포함된 이미지가 지도 이미지이며, 사용자는 소정의 스트리트 뷰 이미지를 보기 위한 아이콘을 선택할 수 있다.

이 경우, 도 17b에서와 같이, 지도에서 디바이스(1000)가 놓은 위치에 해당되는 거리에서 촬영된 스트리트 뷰 이미지가 디바이스(1000)의 화면에 표시될 수 있다. 또한, 도 17b에서는 지도의 위쪽 방향으로 디바이스(1000)가 놓여 있으므로, 디바이스(1000)가 놓인 위치에 해당되는 거리에서, 지도의 위쪽 방향으로 촬영된 스트리트 뷰 이미지가 디바이스(1000)의 화면에 표시될 수 있다.

또한, 도 17c에서와 같이, 디바이스(1000)가 회전되면, 디바이스(1000)의 화면에 표시된 스트리트 뷰가 변경될 수 있다. 도 17c에서는 지도의 좌측 방향으로 디바이스(1000)가 놓여 있으므로, 디바이스(1000)가 놓인 위치에 해당되는 거리에서, 지도의 좌측 방향으로 촬영된 스트리트 뷰 이미지가 디바이스(1000)의 화면에 표시될 수 있다.

도 18은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000)의 근처에 스트리트 뷰가 표시되는 일례를 도시한 도면이다.

도 18a에서와 같이, 디바이스(1000)의 화면에 표시된 이미지 및 확장 영상에 포함된 이미지가 지도 이미지이며, 사용자는 소정의 스트리트 뷰 이미지를 보기 위한 아이콘을 선택할 수 있다.

이 경우, 도 18b에서와 같이, 지도에서 디바이스(1000)가 놓은 위치에 해당되는 거리에서 촬영된 스트리트 뷰 이미지가 확장 영상에 오버랩될 수 있다. 또한, 도 18b에서는 지도의 위쪽 방향으로 디바이스(1000)가 놓여 있으므로, 디바이스(1000)가 놓인 위치에 해당되는 거리에서, 지도의 위쪽 방향으로 촬영된 스트리트 뷰 이미지가 확장 영상에 오버랩될 수 있다.

또한, 도 18c에서와 같이, 디바이스(1000)가 회전되면, 디바이스(1000)의 화면에 표시된 스트리트 뷰가 변경될 수 있다. 도 18c에서는 지도의 좌측 방향으로 디바이스(1000)가 놓여 있으므로, 디바이스(1000)가 놓인 위치에 해당되는 거리에서, 지도의 좌측 방향으로 촬영된 스트리트 뷰 이미지가 확장 영상에 오버랩될 수 있다.

도 19는 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 디바이스(1000) 및 확장 영상에 대한 사용자 입력에 기초하여, 길찾기 경로가 표시되는 일례를 도시한 도면이다.

도 19a에 도시된 바와 같이, 사용자가 디바이스(1000)에 표시된 소정의 지점을 기 설정된 시간 이상 터치함에 따라, 길찾기의 출발점이 입력될 수 있다. 또한, 도 19b에 도시된 바와 같이, 사용자가 출발점의 입력을 위한 터치를 유지한 채로 확장 영상의 소정의 지점을 기 설정된 시간 이상 터치함에 따라, 길찾기의 도착점이 입력될 수 있다. 또한, 출발점 및 도착점이 입력되면, 도 19c에서와 같이, 출발점으로부터 도착점까지의 경로가 디바이스(1000)의 화면 및 확장 영상에 표시될 수 있다.

도 20은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 사용자 입력에 기초하여, 길찾기와 관련된 출발점 및 도착점이 입력되는 일례를 도시한 도면이다.

도 20a에서와 같이, 사용자는 디바이스(1000)의 소정 지점을 터치하여 길찾기의 출발점을 입력할 수 있고, 도 20b에서와 같이, 확장 영상에 대하여 핀치(pinch) 입력을 하여 확장 영상에 표시된 지도를 축소할 수 있다. 이 경우, 디바이스(1000)의 화면에 표시된 지도는 축소되지 않을 수 있다.

또한, 도 20c에서와 같이, 사용자가 확장 영상을 터치하고 드래그하거나, 사용자가 디바이스(1000)를 이동시킬 수 있으며, 이에 따라 확장 영상에 표시된 지도가 이동될 수 있다.

또한, 도 20d에서와 같이, 사용자가 이동된 확장 영상에 표시된 지도의 소정의 지점을 터치함에 따라, 길찾기의 도착점이 입력될 수 있다.

도 21은 본 발명의 일 실시예에 따라, 확장 영상이 지도 영상인 경우에, 사용자 입력에 기초하여 길찾기와 관련된 출발점이 변경되는 일례를 도시한 도면이다.

도 21에 도시된 바와 같이, 사용자가 디바이스(1000)에 표시된 출발점을 터치하고 드래그함에 따라, 길찾기의 출발점이 이동될 수 있다. 또한, 이동된 출발점으로부터 도착점까지의 경로가 디바이스(1000)의 화면 및 확장 영상에 표시될 수 있다.

도 22는 본 발명의 일 실시예에 따른 디바이스(1000)의 복수의 홈페이지들이 확장 영상으로 표시되는 일례를 도시한 도면이다.

도 22에 도시된 바와 같이, 디바이스(1000)의 복수의 홈페이지들(20, 22, 24) 중 하나의 홈페이지(22)가 디바이스(1000)의 화면에 표시되고, 복수의 홈페이지들 중 나머지 홈페이지들(20, 24)이 확장 영상에 표시될 수 있다.

또한, 도 22a에서와 같이, 사용자가 확장 영상에 표시된 홈페이지(20)를 플릭하거나, 도 22c에서와 같이, 사용자가 디바이스(1000)에 표시된 홈페이지(22)를 플릭할 수 있다. 이에 따라, 도 22b에서와 같이, 복수의 홈페이지들(20, 22, 24)이 좌측으로 이동되고, 디바이스(1000)의 화면에는 홈페이지(20)이 표시되고, 확장 영상에는 홈페이지(22, 24)가 표시될 수 있다.

도 23은 본 발명의 일 실시예에 따른 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서 확장 영상이 표시되는 일례를 도시한 도면이다.

도 23a에 도시된 바와 같이, 디바이스(1000)의 복수의 홈페이지들 중 하나의 홈페이지가 디바이스(1000)의 화면에 표시되고, 복수의 홈페이지들 중 나머지 홈페이지들이 확장 영상에 표시될 수 있다.

또한, 도 23b에서와 같이, 사용자가 디바이스(1000)를 기울이면, 도 23c에서와 같이, 디바이스(1000)의 화면에 표시된 홈페이지가 확장 영상으로 이동됨으로써, 디바이스(1000)의 복수의 홈페이지들이 모두 확장 영상에 표시될 수 있다. 도 23c는 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서의 확장 영상의 일례이다.

도 23c에서와 같이, 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서는, 디바이스(1000)의 화면에는 홈페이지를 추가하기 위한 아이콘이 표시될 수 있으며, 플레이트에 조사되는 확장 영상(30)은 디바이스(1000)에는 복수의 홈페이지들(32), 임시 영역(34), 삭제 아이콘(36), 및 폴더 추가 아이콘(38)이 포함될 수 있다. 또한, 사용자는 확장 영상(30)에 포함된 임시 영역(34), 삭제 아이콘(36), 및 폴더 추가 아이콘(38)을 이용하여 홈페이지들(32)에 포함된 오브젝트를 편집할 수 있게 된다.

도 24 내지 26은 본 발명의 일 실시예에 따른 디바이스(1000)의 홈페이지들을 편집하기 위한 편집 모드에서, 확장 영상에 포함된 홈페이지들이 편집되는 일례를 도시한 도면이다.

도 24를 참조하면, 사용자는 홈페이지들(32)에 포함된 소정의 아이콘을 터치하고 드래그하여 임시 영역(34)으로 잠시 이동시킬 수 있다.

또한, 도 25를 참조하면, 사용자가 편집 모드를 종료하기 위한 소정의 버튼을 터치하면, 홈페이지들(32)의 편집이 종료되며, 디바이스(1000)의 복수의 홈페이지들 중 하나의 홈페이지가 디바이스(1000)의 화면에 표시되고, 복수의 홈페이지들 중 나머지 홈페이지들이 확장 영상에 표시될 수 있다.

또한, 도 26a 내지 도 26d를 참조하면, 편집 모드에서 사용자가 폴더를 추가하기 위한 아이콘을 터치하면, 새폴더(37)이 임시 영역(34)에 생성되며, 사용자는 홈페이지들(32)에 포함된 소정의 아이콘을 새폴더(37)로 이동시킬 수 있다. 또한, 사용자는 새폴더(39)를 터치하고 드래그함으로써 새폴더(39)를 임시 영역(34)으로부터 홈페이지들(32) 내로 이동시킬 수 있다.

도 27은 본 발명의 일 실시예에 따른 확장 영상에 소정의 웹 페이지가 포함되는 일례를 도시한 도면이다.

도 27을 참조하면, 디바이스(1000)는 웹 브라우저를 실행하고, 디바이스(1000)의 화면에는 웹 페이지(A)가 표시될 수 있다. 또한, 디바이스(1000)가 디바이스(1000)가 플레이트 상에 놓여지면, 플레이트 상에 조사되는 확장 영상에는 웹 페이지(B), 웹 페이지(C), 웹 페이지(D), 및 웹 페이지(E)가 표시될 수 있다.

사용자는 웹 브라우저가 실행 중인 디바이스(1000)가 플레이트 상에 놓이면, 플레이트 상에 조사되는 확장 영상에 표시될 웹 페이지들을 미리 설정할 수 있으나, 이에 제한되지 않는다.

사용자가 복수의 웹 페이지들을 열고 그 중 하나의 웹 페이지가 디바이스(1000)의 화면에 표시된 경우에, 디바이스(1000)가 플레이트 상에 놓여지면, 열려있는 복수의 웹 페이지들이 플레이트에 조사되는 확장 영상에 포함될 수 있다.

또한, 사용자가 디바이스(1000)에 표시된 웹 페이지에 포함된 소정의 오브젝트를 선택하면, 선택된 오브젝트에 링크된 웹 페이지가 플레이트에 조사되는 확장 영상에 포함될 수 있다.

도 28은 본 발명의 일 실시예에 따른 확장 영상에 세계 시각에 관한 정보가 포함되는 일례를 도시한 도면이다.

도 28에 도시된 바와 같이, 현재 시각이 표시된 디바이스(1000)가 플레이트 상에 놓여지면, 플레이트에 조사되는 확장 영상에는 세계 지도 및 세계 지도의 각 지역의 시각이 표시될 수 있다. 또한, 디바이스(1000)의 화면에는 디바이스(1000)의 세계 지도 상의 위치에서의 현재 시각이 표시될 수 있다. 또한, 세계 지도 상에서 디바이스(1000)가 이동되면, 디바이스(1000)의 화면에는 디바이스(1000)가 이동된 위치에서의 현재 시각이 표시될 수 있다.

도 29은 본 발명의 일 실시예에 따른 확장 영상에 사전 검색 결과가 포함되는 일례를 도시한 도면이다.

도 29를 참조하면, 디바이스(1000)에서 사전 검색 애플리케이션이 실행되고, 디바이스(1000)에 소정의 단어가 입력되면, 입력된 단어의 뜻, 입력된 단어에 관한 숙어 및 예문을 포함하는 페이지들이 확장 영상에 포함될 수 있다.

또한, 디바이스(1000)에 새로운 단어가 입력되면, 확장 영상이 입력된 새로운 단어의 뜻, 입력된 새로운 단어에 관한 숙어 및 예문을 포함하는 페이지들을 포함하도록 변경될 수 있다.

도 30은 본 발명의 일 실시예에 따른 디바이스(1000)의 화면에 연락처가 표시되고, 확장 영상에는 연락처에서 선택된 사용자에 관한 정보가 포함되는 일례를 도시한 도면이다.

도 30을 참조하면, 디바이스(1000)의 화면에는 연락처가 표시되고, 사용자가 연락처에 포함된 소정의 사용자를 선택하면, 선택된 사용자에 관한 정보가 확장 영상으로 표시될 수 있다. 선택된 사용자에 관한 정보는, 예를 들어, 선택된 사용자가 이용하는 SNS 서비스의 홈페이지, 선택된 사용자가 소정의 SNS 서비스를 이용하여 업로드한 게시글을 포함할 수 있으나, 이에 제한되지 않는다.

도 31은 본 발명의 일 실시예에 따른 디바이스(1000)의 화면에 웹툰의 페이지가 표시되고, 웹툰의 다른 페이지가 확장 영상에 포함되는 일례를 도시한 도면이다.

도 31을 참조하면, 디바이스(1000)의 화면에는 소정의 웹툰의 소정의 페이지가 표시될 수 있다. 또한, 웹툰의 페이지가 표시된 디바이스(1000)가 플레이트 상에 놓여지면, 디바이스(1000)에 표시된 페이지의 앞,뒤 페이지가 플레이트에 조사되는 확장 영상에 포함될 수 있다.

도 32는 본 발명의 일 실시예에 따른 확장 영상에 복수의 메모 정보가 표시되는 일례를 도시한 도면이다.

디바이스(1000)에서 메모 애플리케이션이 실행되고, 디바이스(1000)의 화면에 메모 목록이 표시되거나 소정의 메모가 표시될 수 있다. 또한, 메모 목록 또는 메모가 표시된 디바이스(1000)가 플레이트 상에 놓여지면, 디바이스(1000)에 저장된 메모들이 플레이트에 표시되는 확장 영상에 포함될 수 있다.

도 33은 본 발명의 일 실시예에 따른 디바이스(1000)에 저장된 사진 이미지가 확장 영상으로 표시되는 일례를 도시한 도면이다.

도 33a를 참조하면, 디바이스(1000)의 화면에는 복수의 사진 이미지들이 포함된 복수의 폴더가 표시되고, 사용자가 소정의 폴더를 선택할 수 있다. 또한, 사용자가 소정의 폴더를 선택하면, 선택된 폴더에 포함된 사진 이미지들이 플레이트에 조사되는 확장 영상에 포함될 수 있다. 이 경우, 사진 이미지들은 확장 영상 내에서 모자이크 형식으로 배열될 수 있다.

또한, 도 33b를 참조하면, 디바이스(1000)의 화면에는 사진 이미지들이 모자이크 형식으로 표시될 수 있으며, 디바이스(1000)의 화면에 표시되지 않은 다른 사진 이미지들이 확장 영상으로 플레이트 상에 표시될 수 있다.

도 34는 본 발명의 일 실시예에 따른 디바이스(1000)가 이용할 수 있는 음악 파일의 목록이 확장 영상으로 표시되는 일례를 도시한 도면이다.

도 34를 참조하면, 디바이스(1000)의 화면에 음악 앨범의 목록이 표시되고, 사용자가 소정의 음악 앨범을 선택할 수 있다. 또한, 사용자가 소정의 음악 앨범을 선택하면, 선택된 음악 앨범에 포함된 음악 파일의 목록이 확장 영상으로 표시될 수 있다.

그러나, 이에 제한되지 않으며, 디바이스(1000)의 화면에 아티스트의 목록이 표시되고, 사용자가 소정의 아티스트를 선택하면, 선택된 아티스트의 음악의 목록이 확장 영상으로 표시될 수 있다. 또한, 디바이스(1000)의 화면에 복수의 폴더가 표시되고, 사용자가 소정의 폴더를 선택하면, 선택된 폴더에 포함된 음악 파일의 목록이 확장 영상으로 표시될 수 있다.

도 35 및 도 36은 본 발명의 일 실시예에 따른 칼렌더 영상이 확장 영상으로 표시되는 일례를 도시한 도면이다.

도 35를 참조하면, 월 단위의 칼렌더가 표시된 디바이스(1000)가 플레이트 상에 놓이면, 디바이스(1000)에 표시된 월과 다른 월의 칼렌더들이 확장 영상으로 플레이트 상에 표시될 수 있다. 예를 들어, 8월의 칼렌더가 표시된 디바이스(1000)가 플레이트 상에 놓여지면, 1~7월, 9~12월의 칼렌더가 확장 영상으로 표시될 수 있다.

도 36을 참조하면, 소정 날짜가 표시된 디바이스(1000)가 플레이트 상에 놓이면, 디바이스(1000)에 표시된 소정 날짜를 포함하는 월의 달력이 확장 영상으로 표시될 수 있다. 예를 들어, 11월 16일이 디바이스(1000)에 표시되고, 디바이스(1000)가 플레이트 상에 놓이면, 11월의 달력이 확장 영상으로 표시될 수 있다.

도 37은 본 발명의 일 실시예에 따른 디바이스(1000)의 블럭도이다.

이동 통신부(1001)는 3G/4G와 같은 셀룰러 네트워크를 통해 기지국과의 호 설정, 데이터 통신 등을 수행한다. 서브 통신부(1002)는 블루투스나 NFC 등 근거리 통신을 위한 기능을 수행한다. 방송부(1003)는 DMB 방송 신호를 수신한다.

카메라부(1004)는 사진이나 동영상을 촬영하기 위한 렌즈 및 광학 소자들을 포함한다.

센서부(1005)는 휴대 단말(1000)의 움직임을 감지하는 중력 센서, 빛의 밝기를 감지하는 조도 센서, 사람의 근접도를 감지하는 근접 센서, 사람의 움직임을 감지하는 모션 센서 등을 포함할 수 있다.

GPS 수신부(1006)는 인공 위성으로부터 GPS 신호를 수신한다. 이러한 GPS 신호를 이용하여 다양한 서비스가 사용자에게 제공될 수 있다.

입출력부(1010)은 외부 기기나 사람과의 인터페이스를 제공하며, 버튼(1011), 마이크(1012), 스피커(1013), 진동 모터(1014), 커넥터(1015), 키패드(1016)을 포함한다.

터치 스크린(1018)은 사용자의 터치 입력을 수신한다. 터치 스크린 컨트롤러(1017)는 터치 스크린(1018)을 통해 입력된 터치 입력을 제어부(1050)에 전달한다. 전원 공급부(1019)는 휴대 단말(1000)에 필요한 전력을 공급하기 위해 배터리 또는 외부 전원 소스와 연결된다.

제어부(1050)는 메모리(1060)에 저장된 프로그램들을 실행함으로써 본 발명에 따라 확장 영상을 서버(2000) 또는 프로젝션 장치(3000)에게 제공한다.

메모리(1060)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 이동 통신 모듈(1061), Wi-Fi 모듈(1062), 블루투스 모듈(1063), DMB 모듈(1062), 카메라 모듈(1065), 센서 모듈(1066), GPS 모듈(1067), 동영상 재생 모듈(1068), 오디오 재생 모듈(1069), 전원 모듈(1070), 터치 스크린 모듈(1071), UI 모듈(1072), 어플리케이션 모듈(1073) 등으로 분류될 수 있다.

각 모듈들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있을 것이므로 여기서는 어플리케이션 모듈(1073)에 대해서만 설명하기로 한다.

어플리케이션 모듈(1073)은 서버(2000)로부터의 확장 영상 요청을 수신하고, 확장 영상 요청에 응답하여 소정의 확장 영상을 서버(2000)에게 제공할 수 있다.

어플리케이션 모듈(1073)은 이동 통신부(1001) 또는 서브 통신부(1002)를 통하여 서버 정보 및 디바이스(1000)의 위치 정보를 수신한다. 디바이스(1000)의 위치 정보는, 플레이트 상의 디바이스(1000)의 위치에 관한 정보로서, 예를 들어, 플레이트의 크기, 플레이트 상에서 디바이스(1000)가 놓인 방향, 디바이스(1000)의 위치, 및 플레이트 상에서 확장 영상이 표시되는 영역에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.

또한, 어플리케이션 모듈(1073)은 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 생성한다. 어플리케이션 모듈(1073)은 디바이스(1000)에서 실행 중인 애플리케이션을 확인하고, 디바이스(1000)의 화면에 표시된 영상을 확인하고, 확장 영상에 포함될 이미지를 결정하고, 결정된 이미지를 포함하는 확장 영상을 생성할 수 있다. 예를 들어, 지도 애플리케이션이 실행 중이고, 지도의 전체 영상의 일부분이 디바이스(1000)의 화면에 표시되는 경우에, 어플리케이션 모듈(1073)은 지도의 전체 영상 중 나머지 부분을 확장 영상에 포함시킬 수 있다. 또한, 예를 들어, 디바이스(1000)의 홈 페이지들 중 하나가 디바이스(1000)의 화면에 표시된 경우에, 어플리케이션 모듈(1073)은 나머지 홈페이지들을 확장 영상에 포함시킬 수 있다. 또한, 인터넷 브라우저가 실행 중이고, 웹툰의 소정 페이지가 디바이스(1000)의 화면에 표시된 경우에, 어플리케이션 모듈(1073)은 웹툰의 다른 페이지들을 확장 영상에 포함시킬 수 있다. 그러나 이에 제한되지 않는다.

또한, 어플리케이션 모듈(1073)은 플레이트의 크기, 디바이스(1000)의 크기, 플레이트 상의 디바이스(1000)의 위치에 기초하여 확장 영상에 포함될 이미지를 결정할 수 있다. 예를 들어, 디바이스(1000)의 크기에 비하여 플레이트의 크기가 클수록 어플리케이션 모듈(1073)은 보다 많은 이미지를 확장 영상에 포함시킬 수 있다.

또한, 어플리케이션 모듈(1073)은 확장 영상에 대한 사용자 입력 정보를 서버(2000)로부터 수신하고, 디바이스(1000)에 대한 사용자 입력을 확인할 수 있다. 디바이스(1000)에 대한 사용자 입력은, 디바이스(1000)의 화면에 대한 터치 입력 및 디바이스(1000)를 움직이는 입력을 포함할 수 있다. 또한, 어플리케이션 모듈(1073)은 터치 스크린(1018) 및 센서부(1005)를 통하여 디바이스(1000)에 대한 사용자 입력을 확인할 수 있다.

또한, 어플리케이션 모듈(1073)은 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 영상 중 소정의 오브젝트가 선택됨에 따라, 오브젝트의 선택에 대응되는 애플리케이션이 실행되고, 실행된 애플리케이션의 실행 화면이 디바이스(1000)에 표시될 수 있다. 또한, 예를 들어, 디바이스(1000)에 소정의 전체 영상 중 일부가 디바이스(1000)의 화면에 표시되고, 소정의 전체 영상 중 나머지 부분이 확장 영상으로 표시된 경우에, 디바이스(1000)의 화면 또는 확장 영상을 플릭하는 사용자 입력에 응답하여, 어플리케이션 모듈(1073)은 확장 영상으로 표시된 부분의 일부를 디바이스(1000)의 화면에 표시되도록 할 수 있다. 또한, 예를 들어, 어플리케이션 모듈(1073)은 디바이스(1000)의 화면 또는 확장 영상을 핀칭 또는 언핀칭하는 사용자 입력에 응답하여, 디바이스(1000)에 표시된 화면을 축소 또는 확대할 수 있다. 또한, 예를 들어, 디바이스(1000)가 플레이트 상에서 기울여짐에 따라, 어플리케이션 모듈(1073)은 디바이스(1000)의 화면에 표시된 오브젝트가 디바이스(1000)의 화면에서 사라지도록 할 수 있다.

또한, 어플리케이션 모듈(1073)은 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 확장 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 영상 중 소정의 오브젝트가 선택됨에 따라, 오브젝트의 선택에 대응되는 애플리케이션이 실행되고, 실행된 애플리케이션의 실행 화면 중 디바이스(1000)에 표시되지 않은 화면을 확장 영상에 포함시킬 수 있다. 또한, 예를 들어, 디바이스(1000)에 소정의 전체 영상 중 일부가 디바이스(1000)의 화면에 표시되고, 소정의 전체 영상 중 나머지 부분이 확장 영상으로 표시된 경우에, 디바이스(1000)의 화면 또는 확장 영상을 플릭하는 사용자 입력에 응답하여, 어플리케이션 모듈(1073)은 디바이스(1000)의 화면에 표시된 영상을 확장 영상에 표시되도록 할 수 있다. 또한, 예를 들어, 어플리케이션 모듈(1073)은 디바이스(1000)의 화면 또는 확장 영상을 핀칭 또는 언핀칭하는 사용자 입력에 응답하여, 확장 영상을 축소 또는 확대할 수 있다. 또한, 예를 들어, 디바이스(1000)가 플레이트 상에서 기울여짐에 따라, 어플리케이션 모듈(1073)은 디바이스(1000)의 화면에 표시된 오브젝트가 확장 영상에 표시되도록 할 수 있다.

또한, 어플리케이션 모듈(1073)은 이동 통신부(1001) 또는 서브 통신부(1002)를 통하여 확장 영상을 서버(2000) 또는 프로젝션 장치(3000)에게 제공한다.

도 38은 본 발명의 다른 실시예에 따른 디바이스(1000)의 블럭도이다.

도 38에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 디바이스(1000)는, 사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600), 메모리부(1700), 송수신부(1800) 및 제어부(1900)를 포함한다.

사용자 입력 수신부(1100)는 디바이스(1000)에 대한 사용자 입력을 수신한다. 또한, 사용자 입력 수신부(1100)는 서버(2000)로부터 확장 영상에 대한 사용자 입력 정보를 수신한다. 확장 영상에 대한 사용자 입력은 확장 영상에 대한 사용자의 터치 입력일 수 있다. 또한, 디바이스(1000)에 대한 사용자 입력은, 디바이스(1000)의 화면에 대한 터치 입력 및 디바이스(1000)를 움직이는 입력을 포함할 수 있다.

디바이스 위치 확인부(1200)는 서버(2000)로부터 디바이스(1000)의 위치에 관한 위치 정보를 수신하고, 플레이트 상의 디바이스(1000)의 위치를 확인한다. 디바이스(1000)의 위치 정보는, 플레이트 상의 디바이스(1000)의 위치에 관한 정보로서, 예를 들어, 플레이트의 크기, 플레이트 상에서 디바이스(1000)가 놓인 방향, 디바이스(1000)의 위치, 및 플레이트 상에서 확장 영상이 표시되는 영역에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.

영상 생성부(1300)는 디바이스(1000)에 표시될 영상 및 플레이트 상에 조사될 확장 영상을 생성한다. 영상 생성부(1300)는 디바이스(1000)에서 실행 중인 애플리케이션을 확인하고, 디바이스(1000)의 화면에 표시된 영상을 확인하고, 확장 영상에 포함될 이미지를 결정하고, 결정된 이미지를 포함하는 확장 영상을 생성할 수 있다. 예를 들어, 지도 애플리케이션이 실행 중이고, 지도의 전체 영상의 일부분이 디바이스(1000)의 화면에 표시되는 경우에, 영상 생성부(1300)는 지도의 전체 영상 중 나머지 부분을 확장 영상에 포함시킬 수 있다. 그러나 이에 제한되지 않는다.

또한, 영상 생성부(1300)는 플레이트의 크기, 디바이스(1000)의 크기, 플레이트 상의 디바이스(1000)의 위치에 기초하여 확장 영상에 포함될 이미지를 결정할 수 있다. 예를 들어, 디바이스(1000)의 크기에 비하여 플레이트의 크기가 클수록 영상 생성부(1300)는 보다 많은 이미지를 확장 영상에 포함시킬 수 있다.

또한, 영상 생성부(1300)는 서버(2000)로부터 확장 영상의 요청을 수신하고, 확장 영상의 요청에 응답하여 확장 영상을 생성할 수 있다.

영상 변경부(1400)는 디바이스(1000)에 대한 사용자 입력 및 확장 영상에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 영상 및 플레이트 상에 조사된 확장 영상을 변경할 수 있다.

확장 영상 제공부(1500)는 확장 영상을 서버(2000)에게 제공한다.

정보 제공부(1600)는 확장 영상이 플레이트 상의 어느 위치에 조사되어야 하는지에 관한 정보를 서버(2000)에게 제공할 수 있다. 정보 제공부(1600)는 서버(2000)로부터 수신된 디바이스(1000)의 위치 정보에 기초하여, 확장 영상의 조사 위치 및 조사 방향에 관한 정보를 서버(2000)에게 제공할 수 있다. 그러나, 이에 제한되지 않는다.

정보 제공부(1600)가 확장 영상의 조사 위치 및 조사 방향에 관한 정보를 서버(2000)에게 제공하지 않을 수 있으며, 이 경우에는 서버(2000)가 디바이스(1000)의 위치 정보에 기초하여, 확장 영상의 조사 위치 및 조사 방향을 판단할 수도 있다.

메모리부(1700)는 디바이스(1000)가 디바이스(1000)에 표시될 영상 및 확장 영상을 생성 및 변경하고 확장 영상을 서버(2000)에게 제공하는데 필요한 각종 정보를 저장한다.

송수신부(1800)는 디바이스(1000)가 디바이스(1000)에 표시될 영상 및 확장 영상을 생성 및 변경하고 확장 영상을 서버(2000)에게 제공하는데 필요한 각종 정보를 서버(2000) 및 프로젝션 장치(3000)와 송수신한다.

제어부(1900)는 디바이스(1000)의 전체 동작을 제어하며, 디바이스(1000)가 디바이스(1000)에 표시될 영상 및 확장 영상을 생성 및 변경하고 확장 영상을 서버(2000)에게 제공할 수 있도록, 사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600), 메모리부(1700), 및 송수신부(1800)를 제어한다.

사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600), 송수신부(1800) 및 제어부(1900) 중 일부 또는 전부는 소프트웨어 모듈에 의해 동작할 수 있으나 이에 제한되지 않는다. 또한, 사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600), 송수신부(1800) 및 제어부(1900) 중 일부가 하드웨어에 의해 동작할 수도 있다.

또한, 사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600) 및 송수신부(1800) 중 적어도 일부는 제어부(1900)에 포함될 수 있으며, 사용자 입력 수신부(1100), 디바이스 위치 확인부(1200), 영상 생성부(1300), 영상 변경부(1400), 확장 영상 제공부(1500), 정보 제공부(1600), 송수신부(1800) 및 제어부(1900)는 하나의 프로세서의 의해 동작될 수 있다. 그러나, 이에 제한되지 않는다.

도 39는 본 발명의 일 실시예에 따른 서버(2000)의 블록도이다.

도 39에 도시된 바와 같이, 본 발명의 일 실시예에 따른 서버(2000)는, 촬영 영상 수신부(2100), 디바이스 식별부(2200), 위치 정보 제공부(2300), 사용자 입력 정보 제공부(2400), 확장 영상 수신부(2500), 확장 영상 제공부(2600), DB(2700), 송수신부(2800) 및 제어부(2900)를 포함한다.

촬영 영상 수신부(2100)는 촬영 장치(4000)로부터 촬영 영상을 수신한다. 촬영 장치(4000)는 플레이트에 놓인 디바이스(1000)와 플레이트를 함께 촬영할 수 있으며, 촬영 장치(4000)는 촬영되는 영상에 변화가 있는 경우에 촬영된 영상을 서버(2000)에게 제공할 수 있다.

디바이스 식별부(2200)는, 촬영 영상을 이용하여 디바이스(1000)를 식별한다. 디바이스(1000)에는 소정의 마커가 표시될 수 있으며, 디바이스 식별부(2200)는 촬영 영상에 포함된 디바이스(1000)의 마커에 기초하여 디바이스(1000)를 식별할 수 있다. 디바이스 식별부(2200)는 디바이스(1000)의 마커로부터, 예를 들어, 디바이스(1000)의 모델명, 디바이스(1000)의 사용자의 ID, 디바이스(1000)의 전화 번호를 확인할 수 있다.

또한, 디바이스 식별부(2200)는 플레이트 상에 디바이스(1000)가 놓였는지를 확인하고, 플레이트 상에 디바이스(1000)가 놓임에 따라, 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 디바이스(1000)에게 요청할 수 있다.

위치 정보 제공부(2300)는 디바이스(1000)에게 플레이트 상의 디바이스(1000)의 위치에 관한 위치 정보를 제공한다. 위치 정보 제공부(2300)는 촬영 장치(4000)로부터 수신된 촬영 영상으로부터, 플레이트 상의 디바이스(1000)의 위치를 확인할 수 있다. 위치 정보 제공부(2300)는 플레이트 상에서 디바이스(1000)가 어느 위치에 놓여있는지를 확인하고, 디바이스(1000)의 위치에 관한 위치 정보를 생성할 수 있다. 예를 들어, 플레이트 상의 디바이스(1000)의 위치 정보는 소정의 좌표 값을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)의 위치 정보는, 플레이트 상의 디바이스(1000)의 위치에 관한 정보로서, 예를 들어, 플레이트의 크기, 플레이트 상에서 디바이스(1000)가 놓인 방향, 디바이스(1000)의 위치, 및 플레이트 상에서 확장 영상이 표시되는 영역에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.

사용자 입력 정보 제공부(2400)는 확장 영상에 대한 사용자 입력에 관한 정보를 제공한다. 사용자 입력 정보 제공부(2400)는 플레이트에 표시된 확장 영상에 대한 사용자 입력을 확인할 수 있다. 사용자는 플레이트에 표시된 확장 영상에 대하여 터치 입력을 할 수 있으며, 사용자 입력 정보 제공부(2400)는 사용자의 터치 입력을 촬영한 영상으로부터 사용자가 확장 영상의 어느 부분을 어떻게 터치하였는지를 확인할 수 있다. 예를 들어, 서버(2000)는 사용자가 확장 영상의 어느 부분을 터치하였는지, 확장 영상을 멀티 터치하였는지, 터치 입력의 종류가 무엇인지를 확인할 수 있다.

한편, 사용자 입력 정보 제공부(2400)는 확장 영상에 대한 사용자의 터치가 촬영된 영상을 디바이스(1000)에게 제공할 수 있으며, 이 경우, 디바이스(1000)가 사용자의 터치 입력을 촬영한 영상으로부터 사용자가 확장 영상의 어느 부분을 어떻게 터치하였는지를 확인할 수도 있다.

확장 영상 수신부(2500)는 디바이스(1000)로부터 확장 영상을 수신한다. 또한, 확장 영상 수신부(2500)는 확장 영상을 플레이트 상의 어느 위치에 어느 방향으로 조사하여야 하는지에 관한 정보를 확장 영상과 함께 수신할 수도 있다.

확장 영상 제공부(2600)는 프로젝션 장치(3000)에게 확장 영상을 제공한다. 또한, 확장 영상 제공부(2600)는 확장 영상을 플레이트 상의 어느 위치에 어느 방향으로 조사하여야 하는지에 관한 정보를 확장 영상과 함께 프로젝션 장치(3000)에게 제공할 수 있다.

한편, 확장 영상 수신부(2500)가 확장 영상의 조사 위치 및 방향에 관한 정보를 디바이스(1000)로부터 수신하지 않는 경우에는, 확장 영상 제공부(2600)는 플레이트 상의 디바이스(1000)의 위치 및 방향, 플레이트의 크기에 기초하여, 확장 영상을 플레이트 상의 어느 위치에 어느 방향으로 조사하여야 하는지를 판단할 수도 있다.

DB(2700)는 서버(2000)가 촬영 장치(4000)로부터 촬영 영상을 수신하고, 디바이스(1000)의 위치 정보를 디바이스(1000)에게 제공하고, 디바이스(1000)로부터 확장 영상을 수신하고, 수신된 확장 영상을 프로젝션 장치(3000)에게 제공하는데 필요한 각종의 정보를 저장한다.

송수신부(2800)는 서버(2000)가 촬영 장치(4000)로부터 촬영 영상을 수신하고, 디바이스(1000)의 위치 정보를 디바이스(1000)에게 제공하고, 디바이스(1000)로부터 확장 영상을 수신하고, 수신된 확장 영상을 프로젝션 장치(3000)에게 제공하는데 필요한 각종의 정보를 디바이스(1000), 촬영 장치(4000) 및 프로젝션 장치(3000)와 송수신한다.

제어부(2900)는 서버(2000)가 촬영 장치(4000)로부터 촬영 영상을 수신하고, 디바이스(1000)의 위치 정보를 디바이스(1000)에게 제공하고, 디바이스(1000)로부터 확장 영상을 수신하고, 수신된 확장 영상을 프로젝션 장치(3000)에게 제공할 수 있도록, 촬영 영상 수신부(2100), 디바이스 식별부(2200), 위치 정보 제공부(2300), 사용자 입력 정보 제공부(2400), 확장 영상 수신부(2500), 확장 영상 제공부(2600), DB(2700), 및 송수신부(2800)를 제어한다.

도 40은 본 발명의 다른 실시예에 따른 확장 영상 제공 시스템의 개요도이다.

도 40을 참조하면, 본 발명의 다른 실시예에 따른 확장 영상 제공 시스템에서, 디바이스(1000)는 디바이스(1000)보다 큰 화면을 갖는 외부 디바이스(6000)에 놓여질 수 있다. 또한, 외부 디바이스(6000)는 외부 디바이스(6000)의 화면에 디바이스(1000)가 놓여졌음을 감지하고, 디바이스(1000)에게 확장 영상을 요청할 수 있다. 또한, 디바이스(1000)는 디바이스(1000)의 화면에 표시된 영상과 관련된 확장 영상을 외부 디바이스(6000)에게 제공하며, 외부 디바이스(6000)는 확장 영상을 외부 디바이스(6000)의 화면의 전부 또는 일부에 디스플레이할 수 있다.

외부 디바이스(6000)는 디바이스(1000)의 화면보다 큰 화면을 가진 디바이스이며, 예를 들어, 스마트폰, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, GPS(global positioning system) 장치, 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

도 41은 본 발명의 다른 실시예에 따른 확장 영상 표시 시스템이 디바이스(1000)에 표시된 영상과 관련된 확장 영상을 외부 디바이스(6000)에 표시하는 방법의 흐름도이다

단계 S4010에서 외부 디바이스(6000)는 외부 디바이스(6000)의 화면에 디바이스(1000)가 놓여짐을 확인한다. 외부 디바이스(6000)는 외부 디바이스(6000) 내의 센서를 이용하여 외부 디바이스(6000)의 화면에 디바이스(1000)가 놓였는지를 확인할 수 있다. 또한, 외부 디바이스(6000)는 외부 디바이스(6000) 내의 센서를 이용하여 디바이스(1000)가 외부 디바이스(6000)의 화면 상의 어느 위치에 놓였는지를 확인할 수 있다. 또한, 외부 디바이스(6000)는 외부 디바이스(6000) 내의 센서를 이용하여 디바이스(1000)가 외부 디바이스(6000)의 화면 상에서 어느 방향으로 놓였는지를 확인할 수 있다. 센서는, 예를 들어, 터치 센서, 압전 센서 및 근접 센서를 포함할 수 있으나, 이에 제한되지 않는다.

단계 S4020에서 외부 디바이스(6000)는 디바이스(1000)와 통신 연결된다. 디바이스(1000)가 외부 디바이스(6000)의 화면 상에 놓여짐이 확인됨에 따라, 외부 디바이스(6000)는 디바이스(1000)에게 통신 연결을 요청할 수 있다. 또한, 디바이스(1000)와 외부 디바이스(6000)는 다양한 종류의 통신 방법을 이용하여 서로 통신 연결될 수 있다. 이 경우, 외부 디바이스(6000)는 통신 연결을 위한 정보를 디바이스(1000)에게 브로드캐스팅할 수 있다. 또한, 통신 방법은, 예를 들어, 블루투스 통신 및 와이파이 통신을 포함할 수 있으나, 이에 제한되지 않는다.

단계 S4030에서 외부 디바이스(6000)는 디바이스(1000)의 위치 정보를 디바이스(1000)에게 제공한다. 디바이스(1000)의 위치 정보는, 외부 디바이스(6000)의 화면 상의 디바이스(1000)의 위치에 관한 정보로서, 예를 들어, 외부 디바이스(6000)의 화면의 크기 및 해상도, 외부 디바이스(6000)의 화면 상에서 디바이스(1000)가 놓인 방향, 디바이스(1000)의 위치, 및 외부 디바이스(6000)의 화면 상에서 확장 영상이 표시되는 영역에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.

단계 S4040에서 디바이스(1000)는 확장 영상을 생성한다. 확장 영상은, 디바이스(1000)의 화면에 표시된 영상에 관련된 영상으로서, 디바이스(1000)의 화면 크기가 작음으로 인하여 디바이스(1000)의 화면에 한꺼번에 표시되기 어려운 영상일 수 있다. 예를 들어, 디바이스(1000)에 표시된 영상이 지도 이미지인 경우에, 확장 영상은 디바이스(1000)에 표시된 지도 이미지 밖의 영역에 대한 지도 이미지일 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 디바이스(1000)의 복수의 홈 페이지들 중 하나인 경우에, 확장 영상은 디바이스(1000)의 나머지 홈페이지들을 포함할 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 소정의 웹 페이지인 경우에, 디바이스(1000)에 표시된 웹 페이지에 포함된 소정의 오브젝트에 링크된 다른 웹 페이지들이 확장 영상에 포함될 수 있다. 또한, 예를 들어, 디바이스(1000)에 표시된 영상이 웹 툰의 소정의 페이지인 경우에, 디바이스(1000)에 표시된 페이지의 앞, 뒤 페이지들이 확장 영상에 포함될 수 있다. 그러나, 이에 제한되지 않는다.

또한, 디바이스(1000)는 외부 디바이스(6000)의 화면의 크기 및 디바이스(1000)의 크기를 고려하여 확장 영상의 해상도를 결정하고, 결정된 해상도로 확장 영상을 생성할 수도 있다.

단계 S4050에서 디바이스(1000)는 외부 디바이스(6000)에게 확장 영상을 제공하고, 단계 S4060에서 외부 디바이스(6000)는 확장 영상을 디스플레이한다. 외부 디바이스(6000)는 외부 디바이스(6000) 상의 디바이스(1000)의 위치 및 방향에 기초하여, 확장 영상을 외부 디바이스(6000) 상의 어느 위치에 어느 방향으로 디스플레이해야 하는지를 판단할 수 있다. 또한, 외부 디바이스(6000)는 판단된 위치 및 방향에 기초하여 확장 영상을 디스플레이할 수 있다. 따라서, 외부 디바이스(6000)는 확장 영상을 디바이스(1000)의 주변에 적절하게 디스플레이하여, 확장 영상이 디바이스(1000)에 표시된 영상에 연결되어 표시될 수 있도록 할 수 있다.

상기에서는 외부 디바이스(6000)가 확장 영상의 디스플레이 위치 및 방향을 판단하는 것으로 설명하였지만, 이에 제한되지 않는다. 디바이스(1000)가 확장 영상의 디스플레이 위치 및 방향을 판단하고, 확장 영상의 디스플레이 위치 및 방향에 관한 정보를 외부 디바이스(6000)에게 제공할 수도 있다.

단계 S4070은 외부 디바이스(6000)의 화면에 대한 사용자 입력을 수신한다. 사용자는 확장 영상이 디스플레이된 외부 디바이스(6000)의 화면을 터치할 수 있으며, 외부 디바이스(6000)는 사용자의 터치 입력을 감지할 수 있다. 터치 입력의 종류는, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있으나, 이에 제한되지 않는다.

단계 S4080에서 외부 디바이스(6000)는 외부 디바이스(6000)에 대한 사용자 입력에 관한 정보를 디바이스(1000)에게 제공한다.

단계 S4090에서 디바이스(1000)는 디바이스(1000)에 대한 사용자 입력을 수신한다. 디바이스(1000)에 대한 사용자 입력은, 디바이스(1000)의 화면에 대한 터치 입력 및 디바이스(1000)를 움직이는 입력을 포함할 수 있다. 디바이스(1000)의 화면에 대한 터치 입력은, 예를 들어, 탭(tap), 롱 탭(long tap), 드래그(drag), 플릭(flick) 및 핀치(pinch) 입력을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(1000)를 움직이는 입력은, 외부 디바이스(6000) 상에서 디바이스(1000)의 위치를 이동시키는 입력, 외부 디바이스(6000) 상에서 디바이스(1000)를 회전시키는 입력 및 디바이스(1000)를 기울이는 입력을 포함할 수 있다.

단계 S4100 및 단계 S4110에서 디바이스(1000)는 디바이스(1000)에 표시된 영상 및 확장 영상을 변경한다. 단계 S4100 및 단계 S4110은 단계 S450 및 단계 S460과 유사하므로, 이에 대한 설명은 생략하기로 한다.

단계 S4120에서 디바이스(1000)는 변경된 확장 영상을 외부 디바이스(6000)에게 제공하며, 단계 S4130에서 외부 디바이스(6000)는 변경된 확장 영상을 디스플레이한다.

또한, 디바이스(1000)가 외부 디바이스(6000) 상에 놓여지면, 도 5 내지 도 36에서 플레이트 상에 확장 영상이 표시되는 것과 마찬가지로, 외부 디바이스(6000)에 확장 영상이 디스플레이될 수 있다.

한편, 도 41에서는 디바이스(1000)가 확장 영상을 생성하고, 디바이스(1000)에 표시된 영상 및 생성된 확장 영상을 변경하는 것으로 설명하였지만, 이에 제한되지 않는다.

디바이스(1000)가 디바이스(1000)의 화면에 표시된 영상에 관한 정보를 외부 디바이스(6000)에게 제공하면, 외부 디바이스(6000)가 확장 영상을 생성할 수도 있다. 예를 들어, 디바이스(1000)의 화면에 소정의 지도 이미지가 표시된 경우에, 디바이스(1000)는 외부 디바이스(6000)에게 디바이스(1000)의 화면에 표시된 지도 이미지에 관한 정보를 제공할 수 있다. 이 경우, 지도 이미지에 관한 정보는, 디바이스(1000)의 화면에 표시된 지도 이미지의 위치 정보(예를 들어, GPS 값, 위도 값, 경도 값), 및 지도 이미지의 해상도를 포함할 수 있다. 또한, 외부 디바이스(6000)는 지도 이미지의 위치 정보 및 지도 이미지의 해상도에 기초하여, 디바이스(1000)에 표시된 지도 이미지 밖의 지도에 관한 이미지를 확장 영상으로 생성할 수 있다. 또한, 외부 디바이스(6000)는 디바이스(1000)에 표시된 지도 이미지 밖의 지도에 관한 이미지를 별도의 지도 정보 제공 서버(미도시)로부터 수신할 수 있다. 또한, 외부 디바이스(6000)는 디바이스(1000)의 위치 정보에 기초하여 확장 영상을 생성할 수도 있다.

또한, 외부 디바이스(6000)가 디바이스(1000)에 표시된 영상 및 확장 영상을 변경할 수도 있다. 이 경우, 외부 디바이스(6000)는 디바이스(1000)로부터 디바이스(1000)에 대한 사용자 입력에 관한 정보 및 디바이스(1000)에 표시된 영상에 관한 정보를 수신할 수 있다. 또한, 외부 디바이스(6000)는 디바이스(1000)에 대한 사용자 입력 및 외부 디바이스(6000)에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 영상 및 확장 영상을 변경할 수 있다. 예를 들어, 디바이스(1000)의 화면에 지도 이미지가 표시된 경우에, 외부 디바이스(6000)는 디바이스(1000)에 대한 사용자 입력 및 외부 디바이스(6000)에 대한 사용자 입력에 기초하여, 디바이스(1000)에 표시된 지도 이미지 및 확장 영상에 포함된 지도 이미지를 변경할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

디바이스가 디바이스에 표시된 제 1 영상과 관련된 제 2 영상 을 제공하는 방법에 있어서,
디바이스의 화면에 표시된 제 1 영상과 관련된 제 2 영상의 요청을 서버로부터 수신하는 단계; 및
상기 요청에 응답하여, 상기 제 2 영상을 상기 서버에게 제공하는 단계;
를 포함하며,
상기 제 2 영상은 상기 서버와 연결된 프로젝션 장치를 통하여 상기 디바이스가 놓인 플레이트 상에 조사되며,
상기 디바이스의 화면에 표시된 제 1 영상은, 상기 디바이스의 화면에 표시된 제 1 영상과 관련된 전체 영상의 일부이며, 상기 제 2 영상은 상기 전체 영상의 나머지 일부를 포함하는 것인, 방법.
제 1 항에 있어서,
상기 플레이트 상에 상기 디바이스가 놓였는지가, 상기 서버와 연결된 촬영 장치에서 촬영된 영상에 기초하여, 상기 서버에 의해 판단되며,
상기 제 2 영상의 요청을 수신하는 단계는, 상기 플레이트상에 상기 디바이스가 놓임에 따라 상기 서버로부터 상기 요청을 수신하는 것인, 방법.
제 1 항에 있어서,
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상을 변경하는 단계;
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나 에 기초하여, 상기 제 2 영상을 변경하는 단계; 및
상기 변경된 제 2 영상을 상기 서버에게 제공하는 단계;
를 더 포함하는, 방법.
제 3 항에 있어서,
상기 플레이트에 조사된 제 2 영상에 대한 사용자의 터치가 상기 촬영 장치에 의해 촬영되며,
상기 촬영된 상기 사용자의 터치 영상에 기초하여, 상기 제 2 영상에 대한 사용자 입력이 확인되는 것인, 방법.
제 3 항에 있어서,
상기 디바이스에 대한 사용자 입력은, 상기 디바이스의 화면에 대한 사용자의 터치 입력, 상기 플레이트 상의 상기 디바이스의 위치를 이동시키는 사용자 입력, 상기 플레이트 상에서 상기 디바이스를 회전시키는 사용자 입력, 및 상기 디바이스를 기울이는 사용자 입력 중 적어도 하나를 포함하는 것인, 방법.
제 3 항에 있어서,
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상 및 상기 제 2 영상 중 적어도 하나가 확대 또는 축소되는 것인, 방법.
제 3 항에 있어서,
상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 제 2 영상의 조사 위치가 이동되는 것인, 방법.
제 3 항에 있어서,
상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 전체 영상의 다른 일부 영역이 상기 제 1 영상으로 표시되는 것인, 방법.
제 3 항에 있어서,
상기 플레이트 상에서 상기 디바이스가 회전됨에 따라, 상기 제 2 영상의 표시 방향이 변경되는 것인, 방법.
제 3 항에 있어서,
상기 플레이트 상에서 상기 디바이스가 기울여짐에 따라, 상기 제 1 영상에 표시된 적어도 하나의 오브젝트가 상기 제 1 영상에서 사라지고 상기 사라진 오브젝트가 상기 제 2 영상에 표시되는 것인, 방법.
제 1 항에 있어서,
상기 제 1 영상은 상기 디바이스의 복수의 홈 페이지들 중 하나에 대한 영상이며, 상기 제 2 영상은 상기 복수의 홈 페이지들 중 나머지에 대한 영상을 포함하는 것인, 방법.
제 11 항에 있어서,
상기 디바이스가 기울여짐에 따라, 상기 디바이스의 복수의 홈페이지들이 모두 상기 제 2 영상에 표시되며,
상기 제 2 영상에 표시된 복수의 홈페이지에 표시된 오브젝트들이, 상기 제 2 영상에 대한 사용자 입력에 기초하여, 상기 복수의 홈페이지들 사이에서 이동되는 것인, 방법.
제 11 항에 있어서,
상기 제 2 영상은 상기 복수의 홈 페이지들을 편집하는데 이용되는 임시 영역(temporary area)을 포함하는 것인, 방법.
제 1 항에 있어서,
상기 전체 영상은 지도 이미지이며, 상기 제 1 영상은 상기 지도 이미지의 일부 영역에 대한 이미지이며, 상기 제 2 영상은 상기 지도 이미지의 나머지 영역의 이미지를 포함하는 것인, 방법.
제 14 항에 있어서,
상기 제 2 영상 위에 놓인 다른 디바이스가 기울여짐에 따라, 상기 다른 디바이스의 화면에 표시된 콘텐트가 상기 제 2 영상에 표시되며,
상기 콘텐트는 상기 콘텐트가 생성된 위치에 대응되는 상기 제 2 영상 상의 위치에 표시되는 것인, 방법.
적어도 하나의 프로그램이 저장되는 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써 확장 영상을 서버에게 제공하도록 하는 프로세서를 포함하고,
상기 적어도 하나의 프로그램은,
디바이스의 화면에 표시된 제 1 영상과 관련된 제 2 영상의 요청을 서버로부터 수신하는 단계; 및
상기 요청에 응답하여, 상기 제 2 영상을 상기 서버에게 제공하는 단계;
를 실행하는 명령어들을 포함하며,
상기 제 2 영상은 상기 서버와 연결된 프로젝션 장치를 통하여 상기 디바이스가 놓인 플레이트 상에 조사되며,
상기 디바이스의 화면에 표시된 제 1 영상은, 상기 디바이스의 화면에 표시된 제 1 영상과 관련된 전체 영상의 일부이며, 상기 제 2 영상은 상기 전체 영상의 나머지 일부를 포함하는 것인, 휴대 단말 장치.
제 16 항에 있어서,
상기 플레이트 상에 상기 디바이스가 놓였는지가, 상기 서버와 연결된 촬영 장치에서 촬영된 영상에 기초하여, 상기 서버에 의해 판단되며,
상기 제 2 영상의 요청을 수신하는 단계는, 상기 플레이트상에 상기 디바이스가 놓임에 따라 상기 서버로부터 상기 요청을 수신하는 것인, 휴대 단말 장치.
제 16 항에 있어서,
상기 적어도 하나의 프로그램은,
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상을 변경하는 단계;
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나 에 기초하여, 상기 제 2 영상을 변경하는 단계; 및
상기 변경된 제 2 영상을 상기 서버에게 제공하는 단계;
를 실행하는 명령어들을 더 포함하는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 플레이트에 조사된 제 2 영상에 대한 사용자의 터치가 상기 촬영 장치에 의해 촬영되며,
상기 촬영된 상기 사용자의 터치 영상에 기초하여, 상기 제 2 영상에 대한 사용자 입력이 확인되는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 디바이스에 대한 사용자 입력은, 상기 디바이스의 화면에 대한 사용자의 터치 입력, 상기 플레이트 상의 상기 디바이스의 위치를 이동시키는 사용자 입력, 상기 플레이트 상에서 상기 디바이스를 회전시키는 사용자 입력, 및 상기 디바이스를 기울이는 사용자 입력 중 적어도 하나를 포함하는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 제 2 영상에 대한 사용자 입력 및 상기 디바이스에 대한 사용자 입력 중 적어도 하나에 기초하여, 상기 제 1 영상 및 상기 제 2 영상 중 적어도 하나가 확대 또는 축소되는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 제 2 영상의 조사 위치가 이동되는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 플레이트 상에서 상기 디바이스의 위치가 이동됨에 따라, 상기 전체 영상의 다른 일부 영역이 상기 제 1 영상으로 표시되는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 플레이트 상에서 상기 디바이스가 회전됨에 따라, 상기 제 2 영상의 표시 방향이 변경되는 것인, 휴대 단말 장치.
제 18 항에 있어서,
상기 플레이트 상에서 상기 디바이스가 기울여짐에 따라, 상기 제 1 영상에 표시된 적어도 하나의 오브젝트가 상기 제 1 영상에서 사라지고 상기 사라진 오브젝트가 상기 제 2 영상에 표시되는 것인, 휴대 단말 장치.
제 16 항에 있어서,
상기 제 1 영상은 상기 디바이스의 복수의 홈 페이지들 중 하나에 대한 영상이며, 상기 제 2 영상은 상기 복수의 홈 페이지들 중 나머지에 대한 영상을 포함하는 것인, 휴대 단말 장치.
제 26 항에 있어서,
상기 디바이스가 기울여짐에 따라, 상기 디바이스의 복수의 홈페이지들이 모두 상기 제 2 영상에 표시되며,
상기 제 2 영상에 표시된 복수의 홈페이지에 표시된 오브젝트들이, 상기 제 2 영상에 대한 사용자 입력에 기초하여, 상기 복수의 홈페이지들 사이에서 이동되는 것인, 휴대 단말 장치.
제 26 항에 있어서,
상기 제 2 영상은 상기 복수의 홈 페이지들을 편집하는데 이용되는 임시 영역(temporary area)을 포함하는 것인, 휴대 단말 장치.
제 16 항에 있어서,
상기 전체 영상은 지도 이미지이며, 상기 제 1 영상은 상기 지도 이미지의 일부 영역에 대한 이미지이며, 상기 제 2 영상은 상기 지도 이미지의 나머지 영역의 이미지를 포함하는 것인, 휴대 단말 장치.
제 29 항에 있어서,
상기 제 2 영상 위에 놓인 다른 디바이스가 기울여짐에 따라, 상기 다른 디바이스의 화면에 표시된 콘텐트가 상기 제 2 영상에 표시되며,
상기 콘텐트는 상기 콘텐트가 생성된 위치에 대응되는 상기 제 2 영상 상의 위치에 표시되는 것인, 휴대 단말 장치.
제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.