KR101270305B1 - 인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및시스템 - Google Patents

인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및시스템 Download PDF

Info

Publication number
KR101270305B1
KR101270305B1 KR1020077031008A KR20077031008A KR101270305B1 KR 101270305 B1 KR101270305 B1 KR 101270305B1 KR 1020077031008 A KR1020077031008 A KR 1020077031008A KR 20077031008 A KR20077031008 A KR 20077031008A KR 101270305 B1 KR101270305 B1 KR 101270305B1
Authority
KR
South Korea
Prior art keywords
user
frame
movie
base station
server
Prior art date
Application number
KR1020077031008A
Other languages
English (en)
Other versions
KR20080028900A (ko
Inventor
로니 아미라
아사프 하렐
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20080028900A publication Critical patent/KR20080028900A/ko
Application granted granted Critical
Publication of KR101270305B1 publication Critical patent/KR101270305B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 서버에 위치한 인터랙티브 무비를 네트워크를 통해 전송하고 이를 사용자 기지국에서 디스플레이하기 위한 시스템에 있어서, (a) 무비 프레임을 디스플레이하기 위한 상기 사용자 기지국에서의 디스플레이 유닛; (b) 상기 무비 내를 사용자가 탐색할 수 있도록 하기 위한 상기 사용자 기지국에서의 제어 장치; (c) 개개의 무비 프레임과 각 무비 프레임의 인덱스 간의 링크를 기술하는 상기 무비의 맵으로서, 상기 맵 내 사용자의 현재의 가상 위치를 주어진 임의의 시간에서 관리하는 맵; 및 (d) 상기 맵과 사용자 제어 장치로부터 입력을 수신하고, 상기 입력에 기초하여 사용자에 의해 관람이 요구될 수 있는 미래의 프레임을 예측하며, 상기 서버가 상기 사용자 기지국에 상기 예측된 미래의 프레임을 전달하도록 지시하는 예측 유닛을 포함하는 시스템에 관련되어 있다. 상기 예측 유닛은 사용자가 가상의 이동 중인 경우에 제 1 레벨의 해상도 프레임을, 사용자가 상기 가상 무비 내에서 정지해 있는 경우에 제 2 레벨의 해상도 프레임을 명령할 수 있다.
인터랙티브 무비, 사용자 기지국, 서버, 맵, 프레임

Description

인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및 시스템 {METHOD AND SYSTEM FOR DISPLAYING VIA A NETWORK OF AN INTERACTIVE MOVIE}
본 발명의 분야는 인터넷을 통하여 무비를 디스플레이하는 시스템 및 방법에 관련된다. 더욱 상세하게는, 본 발명은 인터넷과 같은 네트워크를 통하여 인터랙티브 무비(Interactive Movie)를 디스플레이하는 시스템 및 방법, 혹은 가장 바람직한 경우에 있어서는 빌딩 사무실 등과 같은 물리적인 장소 내에서 사용자가 가상으로 이동할 수 있도록 하는 인터랙티브 무비를 인터넷을 통하여 디스플레이하는 시스템 및 방법에 관한 것이다.
가상 무비(Virtual Movie)는 박람회, 지역의 원격 안내나 투어, 교육, 훈련, 전자 게임 등과 같은 다양한 목적을 위하여 널리 사용되고 있다. 그러한 무비 중 일부는 애니메이션화되어 있고, 다른 일부는 실제적이고 물리적인 사이트 내에서 촬영된 실제 프레임을 포함한다는 의미에서 실제적이며, 일부는 실제와 애니메이션 프레임의 혼합을 결합하고 있다(여기서, 본 출원에 걸쳐서 "프레임"이라는 용어는 특정 시간 단위에서 사용자에게 보여지는 단일 화면을 지칭한다는 점에 주의한다. 이와 관련하여, 이 프레임이 어떻게 생성되는지, 그것을 완전히 멀티미디어 컨텐츠로부터 얻거나 어떤 압축 툴이 동작하는 방식으로 그 이전 프레임으로부터 차이점 만을 완성함으로써 이전 프레임으로부터 그것을 생성하는지 여부에 관해서는 아무런 차이가 없다는 점에 주의한다). 본 발명은 그러한 모든 경우에 관련되지만, 후자의 경우, 즉 가상 및 인터랙티브(Interactive) 무비를 마련함으로써 사용자가 실제 사이트를 인터랙티브하게 탐험할 수 있도록 하는 경우, 다시 말해 사용자가 어떤 사이트의 무비를 보고 그 사이트 내에서 인터랙티브하게 돌아다니길 원하는 경우에 주로 관련되어 있다.
최근, 연속적인 재생을 하기 이전에 영화가 먼저 완전히 로딩될 것을 요구하지 않고서 컴퓨터 네트워크상에서 멀티미디어의 재생을 능률적으로 하기 위한 광범위한 노력이 있어왔다. 본 발명의 일부 측면들은 멀티미디어의 다른 유형에 관련되어 있을 수 있겠지만, 본 출원을 통해서는 비디오 무비(또는 클립)에 대한 논의가 이루어진다. 대부분의 현존하는 해법들은 네트워크 대역폭이 제한되어 있고, 전송 속도가 동적으로 변화한다는 사실을 고려한다. 몇몇 해법들은 전송되는 데이터량의 감소(예컨대, 미디어의 품질을 양보하거나 데이터를 압축하는 방식에 의하여) 및 네트워크 속도에 대한 전송 데이터량의 조정을 제안한다. 주된 목적은 주어진 대역폭에 대하여 최대의 이미지 품질을 가진 유연한 경험을 얻는 것이다. 하나의 공통된 해법은 멀티미디어 시퀀스(무비 클립 등)의 프리로드(Preload)를 수행하여 재생 도중에 로딩되는 정보 스트림의 균형을 맞춤으로써 사용자측 기지국에서 클립 부분의 가용성을 개선하고 지연과 정지를 방지하는 것을 제안한다. 이러한 응용에 있어서, "기지국"이라는 용어는 컴퓨터, 프로세서, 단말, 워크스테이션, PDA, 휴대전화 등 컨텐츠를 재생하기 위한 플레이어를 갖는 어떠한 유형과도 관련되어 있는 것이 다. 클라이언트측에서 멀티미디어 정보를 처리하는 적절한 방식에 영향을 줄 수 있는 다른 요인들은 데이터 파일의 사이즈와 사용자측의 자유 저장 용량이다. 원격 (서버) 측면에서의 멀티미디어 파일은 통상적으로 크기 때문에, 클라이언트측에 언제나 충분히 저장되거나 프리로드될 수 없다는 사실은 감안하여야 한다. 그러한 경우, 사용자의 경험은 그 사람이 재생하고자 하는 데이터에 대한 상대적으로 긴 대기의 필요성으로 인하여 방해받을 수 있다.
상술한 종래기술의 해법들은 연속적인 기존의 멀티미디어 클립을 재생할 때 상대적으로 만족스럽다. 그러나, 그러한 해법들이 제한된 대역폭의 네트워크를 거쳐 인터랙티브 무비를 재생하는 엄격한 요구조건을 만족할 수는 없다. 종래의 무비에서, 무비 프레임의 시퀀스는 잘 정의되어 있고, 따라서 사용자 기지국에서 선입선출 타입 레지스터의 유지는 현재 재생되고 있는 시퀀스의 가용성과 통합성에 도움이 될 수 있다. 그러나, 이는 무비의 여러 단계 도중에 사용자에게 그 무비의 다양한 시퀀스를 선택하여 진행하게 하도록 몇 가지 선택이 주어지는 인터랙티브 가상 무비를 재생하는 경우에는 해당하지 않는다. 어떤 주어진 시간에서라도 사용자에게 몇몇 비디오 시퀀스를 제공해야 하는 이러한 요구조건은 인터넷(혹은 대역폭이 제안된 다른 것들) 네트워크를 통하여 인터랙티브 가상 무비를 효과적으로 재생하는데 있어서 부담이 된다.
동일 발명자에 의한 WO2004/049263는 인터랙티브 무비의 준비를 위한 방법 및 시스템을 개시하고 있으며, 이는 실제 사이트 내에서 사용자의 이동을 시뮬레이션하고 있으며, 사용자가 사이트를 탐색할 수 있도록 한다. 그러한 가상 무비는 고 해상도와 빠른 방식으로 비교적 부드럽게 사용자에게 스트리밍되어 디스플레이될 수 있다. 그러나, 무비가 저장된 위치로부터 떨어진 기지국에서 인터넷과 같은 네트워크를 통하여 인터랙티브 무비를 전송함과 동시에 디스플레이하려는 시도는 특히 상호동작성과 부드러운 요구조건을 만족하는데 있어서 어려움에 직면한다.
본 발명의 목적은 인터넷과 같이 대역폭이 제한된(때로는 매우 낮은 대역폭) 네트워크를 통하여 가상 무비를 재생하기 위한 방법 및 시스템을 제공하는 것이다.
사용자가 경험하는 품질에 최소한으로 영향을 미치는 방식으로 그러한 무비를 재생하는 것을 가능하게 하는 것이 본 발명의 또 다른 목적이다.
본 발명의 특유한 목적은 사이트를 탐색하기 위한 가상 무비의 인터넷(혹은 다른 네트워크)을 통한 관람을 가능하게 하는 것이다.
본 발명의 다른 목적이나 이점은 상세한 설명을 하면서 명확해질 것이다.
본 발명은, 서버에 위치한 인터랙티브 무비를 네트워크를 통해 전송하고 이를 사용자 기지국에서 디스플레이하기 위한 시스템에 있어서, (a) 무비 프레임을 디스플레이하기 위한 상기 사용자 기지국에서의 디스플레이 유닛; (b) 상기 무비 내를 사용자가 탐색할 수 있도록 하기 위한 상기 사용자 기지국에서의 제어 장치; (c) 개개의 무비 프레임과 각 무비 프레임의 인덱스 간의 링크를 기술하는 상기 무비의 맵으로서, 상기 맵 내 사용자의 현재의 가상 위치를 주어진 임의의 시간에서 관리하는 맵; 및 (d) 상기 맵과 사용자 제어 장치로부터 입력을 수신하고, 상기 입력에 기초하여 사용자에 의해 관람이 요구될 수 있는 미래의 프레임을 예측하며, 상기 서버가 상기 사용자 기지국에 상기 예측된 미래의 프레임을 전달하도록 지시하는 예측 유닛을 포함하는 시스템에 관련되어 있다.
바람직하게는, 본 발명의 시스템은 일시적으로 무비 프레임을 저장하기 위한 사용자 기지국에서의 캐시 유닛을 더 포함한다.
바람직하게는, 상기 예측 유닛은 사용자가 상기 인터랙티브 무비 내에서 가상의 이동 중인 경우에 제 1 레벨의 해상도 프레임을, 사용자가 상기 가상 무비 내에서 정지해 있는 경우에 제 2 레벨의 해상도 프레임을 명령한다. 본 출원에 있어서 프레임의 "해상도"라는 용어는 프레임의 픽셀 수 혹은 프레임의 품질 중 어느 하나를 지칭하도록 광의로 사용되며, 여기서 "품질"은 (예컨대 압축과 압축해제로 인한) 데이터의 용량이나 프레임의 왜곡율을 나타낸다.
바람직하게는, 상기 제 1 레벨은 상기 제 2 레벨보다 낮다.
바람직하게는, 상기 프레임은 적어도 2개의 해상도 레벨로 상기 서버에 저장되어 있다.
바람직하게는, 상기 프레임은 적어도 하나의 해상도 레벨로 상기 서버에 저장되어 있고, 상기 서버는 상기 프레임 해상도를 적어도 하나의 또 다른 해상도 레벨로 변환하기 위한 변환 수단을 포함한다.
바람직하게는, 상기 예측 유닛은 상기 서버가 사용자에 의한 특별 요구에 따라 제 3 레벨의 해상도 프레임을 전달하도록 지시한다.
바람직하게는, 상기 제 3 레벨의 해상도는 최상위 해상도 레벨이다.
일 실시형태에서, 상기 예측 유닛은 상기 사용자 기지국에 위치해 있다.
다른 실시형태에서, 상기 예측 유닛은 상기 서버에 위치해 있다.
일 실시형태에서, 상기 맵은 상기 서버에 위치해 있다.
다른 실시형태에서, 상기 맵은 상기 사용자 기지국에 위치해 있다.
또 다른 실시형태에서, 상기 예측 유닛과 상기 맵 양자는 상기 서버에 위치해 있다.
또 다른 실시형태에서, 상기 예측 유닛과 상기 맵 양자는 상기 사용자 기지국에 위치해 있다.
바람직하게는, 상기 시스템은 상기 캐시와 통신하여 사용자 화면상에 프레임을 디스플레이하는 것을 조정하는 상기 사용자 기지국에서의 조정 장치를 더 포함한다.
본 발명의 일 실시형태에서, 상기 예측 유닛과 맵은 상기 서버에 위치해 있다. 바람직하게는, 상기 시스템은 상기 캐시와 통신하여 상기 사용자 화면상에 프레임의 디스플레이를 조정하기 위한 상기 사용자 기지국에서의 조정 장치를 더 포함한다.
본 발명의 일 실시형태에서, 각 프레임은 하나 이상의 다음 프레임 인덱스와 연계하여 상기 서버로부터 상기 사용자 기지국으로 전달되며, 상기 사용자 기지국에서 상기 조정 장치는 상기 다음 프레임 인덱스로부터 디스플레이될 프레임의 순서를 결정한다.
바람직하게는, 상기 사용자 기지국에서의 상기 조정 장치는 상기 하나 이상의 다음 프레임 인덱스와 상기 사용자 제어 장치로부터 수신하는 입력으로부터 상기 프레임의 순서를 결정한다.
바람직하게는, 상기 시스템은 상기 서버로부터 상기 사용자 기지국으로의 프레임의 흐름을 조정하기 위한 상기 서버에서의 전송 조정 장치를 더 포함한다.
본 발명은 무비를 원격 서버로부터 네트워크를 거쳐서 전송하고 상기 무비를 사용자 기지국에서 디스플레이하기 위한 방법에도 관련되어 있는 것으로, 상기 방법은, (a) 사용자가 상기 무비 내에서 이동 중인 한 사용자에게 저급 해상도 프레임을 전송 및 디스플레이하는 단계; 및 (b) 사용자가 상기 무비 내에서 정지해 있는 한 사용자에게 중급 혹은 고급 해상도 프레임을 전송 및 디스플레이하는 단계를 포함한다.
바람직하게는, 상기 방법은, (a) 상기 무비의 맵을 제공하는 단계; (b) 상기 무비 내에서 사용자의 현재 위치를 갖는 맵을 계속적으로 업데이트하는 단계; 및 (c) 상기 맵을 감시하고, 상기 사용자의 현재 위치로부터 사용자에게 디스플레이하도록 요구될 수 있는 선택적인 인접한 미래의 프레임을 예측하고, 상기 미래의 프레임을 상기 서버로부터 명령하는 단계를 포함한다.
도 1은 종래기술에 따라 가상 무비가 준비되는 사무실의 예시적인 스킴(scheme)을 나타낸다.
도 2a는 본 발명의 제 1 실시형태에 따라 가상 무비를 전송 및 재생하는 시스템의 사용자측을 나타낸다.
도 2b는 본 발명의 제 1 실시형태에 따라 가상 무비를 전송 및 재생하는 시 스템의 서버측을 나타낸다.
도 3a는 본 발명의 제 2 실시형태에 따라 가상 무비를 전송 및 재생하는 시스템의 사용자측을 나타낸다.
도 3b는 본 발명의 제 2 실시형태에 따라 가상 무비를 전송 및 재생하는 시스템의 서버측을 나타낸다.
도 3c는 본 발명의 제 2 실시형태의 변형예에 따라 가상 무비를 전송 및 재생하는 시스템의 사용자측을 나타낸다.
도 3d는 본 발명의 제 2 실시형태의 변형예에 따라 가상 무비를 전송 및 재생하는 시스템의 서버측을 나타낸다.
가상 무비는 무비 내 적어도 몇몇 장소에서 사용자가 자신에게 디스플레이되는 비디오 세그먼트를 선택하는 옵션을 갖는 비디오(또는 프레임의 시퀀스)를 사용자로 하여금 관람할 수 있도록 하는 무비이다. 따라서, 무비의 전체적인 시퀀스와 순서가 고정되고 미리 정해져 있으며 알려져 있는 일반 무비의 경우와 달리, 가상 무비에 있어서 무비 세그먼트의 순서는 사용자의 결정권에 달려 있다. 그러므로, 사용자 기지국에서의 재생을 위한 네트워크를 통한 무비 전송(이는 사용자 기지국에서 무비 프레임의 실시간 가용성을 요구한다)은, 네트워크의 대역폭이 상대적으로 낮은 경우에 특히 훨씬 더 복잡하게 된다. 물론, 무비의 해상도가 높고 전체 무비의 컨텐츠가 커질수록, 사용자 기지국에서 무비 프레임의 이러한 실시간 가용성 문제는 더욱 복잡하게 된다.
이미 언급한 바와 같이, 사용자가 관람하기를 원하는 미래의 무비 세그먼트의 적어도 일부(일반적으로 프레임의 시퀀스로 이루어짐)는 그 기지국에서 임의의 시간에 가용한 것이어야 한다. 그러나, 상호작용성에서 볼 때, 그리고 사용자가 일부 무비 세그먼트를 선택하게 되는 무비의 포인트들이 존재하기 때문에, 상기 선택적인 각 세그먼트들의 적어도 일부는 부드럽고 연속적인 관람을 보장하기 위하여 선택이 이루어지는 시점에서 그 기지국에서 디스플레이될 수 있는 것이어야 한다. 이러한 상호작용성의 요구조건은 본 발명이 직면하는 문제를 더욱 증가시킨다.
어떠한 가상 무비에서도, 사용자가 이동 중에 탐색하는 때가 있고, 사용자가 멈추고 특정 관점에서 초점을 맞추는 다른 때가 있다. 본 발명의 일 측면은 무비 프레임이 빠르게 변하는 사용자의 "이동" 중에 해상도가 감소될 수 있다는 점에 주목하며, 이는 움직임 도중에 사용자는 빠르게 변하는 프레임 시퀀스에 포함된 어떠한 특정 화면에 크게 관심을 기울이지 않는다고 가정하기 때문이다. 또한, 상기 "이동" 기간 중에 프레임의 변화율은 그러한 해상도의 감소가 사용자 체험을 심각하게 훼손하지 않도록 해준다. 그러나, 사용자가 "정지"해서 특정 화면에 집중할 때, 사용자는 그 화면에 높은 관심을 기울인다고 가정하기 때문에, 그러한 "정지" 시기에 증가된 해상도를 갖는 프레임이 사용자에게 제공되어 디스플레이된다. 나아가, 본 발명의 바람직한 측면에 따르면, 포인트를 정지시키는 그런 모든 사용자에 있어서 사용자에게는 최고 해상도 프레임을 요청하여 즉시 수신하는 옵션이 주어진다.
각 무비는 하나 이상의 프레임 시퀀스를 포함한다. 종래의 무비는 본질적으로 하나의 긴 프레임의 시퀀스인데 반해, 가상 무비는 몇 개의 세그먼트로 이루어 져 있고, 각 세그먼트는 프레임들의 시퀀스로 이루어져 있다. 가상 무비는 또한 사용자가 2개 이상의 선택적인 세그먼트들로부터 진행하기를 선택할 수 있는 적어도 수개의 접점을 포함한다. 사용자는 무비에서 각 포인트로부터 다른 모든 포인트로 이동할 수 있는 것이 아니라 몇몇 접점으로부터 그렇게 할 수 있을 뿐이기 때문에, 무비의 실질성의 비율은 일반적으로 제한되어 있다. 따라서, 세그먼트 내 프레임 시퀀스는 보통 고정되어 있으나, 하나의 세그먼트로부터 다른 세그먼트로의 이동은 탄력적이다.
본 발명은 그러한 모든 접점과 각 접점에서 사용자에게 제공되는 선택적인 세그먼트들을 포함하여 무비의 모든 가능한 경로를 나타내면서 무비의 디지털 스킴(여기서는 "맵"이라고도 함)의 가용성을 가정한다. 그러한 스킴은 적어도 몇몇 프레임 세그먼트들을 포함한다. 각 세그먼트에서, 각 무비 프레임은 적어도 하나, 그리고 통상적으로는 하나 이상의 다음 및/또는 이전 세그먼트 프레임에 연결되어 있다. 어떤 프레임이 이전 프레임에 대해 갖는 연결부는 "입구"라고 할 수 있으며, 어떤 프레임이 다음 프레임에 대해 갖는 각각의 연결부는 "출구"라고 할 수 있다. 그러한 스킴과 가상 무비의 예는 WO2004/049263에 제시되어 있다.
도 1은 여기에 그 전체 내용이 참고로 편입되어 있는 WO2004/049263에 따라 가상 무비가 준비되는 사무실의 예시적인 스킴을 나타낸다. 본 발명은 상술한 바와 같이 프레임, 접점 및 몇몇 선택적인 세그먼트들 간의 연결성을 적어도 포함하고 있는 한 다양한 유형의 스킴과 동작할 수 있기 때문에, 본 스킴은 단지 일례로서 제공된다는 점에 주의해야 한다.
도 1의 스킴은 2개의 복도(C1, C2)와 2개의 방(A, B)을 가진 사무실(10)을 나타낸다. WO2004/049263은 사용자가 탐색, 다시 말해 사무실 주위를 "걸어"다닐 수 있게 하는 가상 무비를 제공하는 방법을 보여준다. 도시된 바와 같이, 포인트(11)에서 시작하면서 사용자는 접점(J1)까지 걸어가며, 여기서 사용자는 방(B)으로 우회전을 하거나 곧바로 직진할 수 있다. 마찬가지로, 접점(J2)에 도착하면, 사용자는 방(A)으로 우회전하거나 복도(C1)를 따라 직진할 수 있다. 접점(J3)에 이르면, 사용자는 복도(C2)에서 우회전을 하거나 좌회전을 할 수 있다. 나아가, 복도를 따라 걷는 동안, 일반적으로 사용자는 상대적으로 제한된 시야를 가질 필요가 있다. 접점(J1, J2 및 J3)에서, 사용자는 보다 넓은 시야를 필요로 하며, 방(A 및 B)에서 사용자는 일반적으로 360°의 시야를 필요로 한다. 예컨대, 접점(J1)에서 사용자는 복도를 따라 진행하는 옵션을 선택하여 복도의 끝까지 관찰하거나, 방(B)으로 돌아 들어가는 옵션을 선택하여 방(B)의 모습을 보거나, 돌아서서 복도(C1)를 따라 복귀하는 결정을 할 수도 있다.
WO2004/049263는 스킴의 형태로 나타낼 수 있는 가상 무비를 생성하는 하나의 방법을 기술하며, 이는 본 발명을 실행하는데 적합하다. 사무실은 360°시야까지의 프레임을 캡쳐하는 스캔 장치에 의하여 촬영된다. 스캔 장치는 복수의 촬영 지점(노드)으로부터 관련된(미리 정해진) 시야 내의 사진을 캡쳐하면서 통로를 따라 전진한다.
스캐닝(촬영)이 수행되는 통로를 따른 복수의 포인트들은 도 1에 노드(13)로서 표시되어 있다. 노드(13)는 각각의 특정한 노드 위치에서 해당 포인트에 스캐닝 하는 방식을 도식적으로 나타내며, 이 노드에 특유한 다른 파라미터를 제공한다.
무비의 상호작용성은 사용자가 어떤, 통상적으로 접점인 위치에서 2개의 선택적인 코스 사이에 결정할 수 있도록 한다는 점에 주의한다. 예컨대, 사용자가 노드 포인트(15)에서 접점(J1)을 향해 "걷는다"고 가정한다. 사용자가 접점(J1)에 도달하면, 사용자는 복도(C1)에서 진행하거나 방(B)으로 우회전할 수 있다. 따라서, 사용자가 접점(J1)에(예컨대, 포인트 17에) 도착하기 이전에, 사용자 기지국에서의 디스플레이는 방(B)의 프레임들(노드 20, 27, ...)과 복도(C1)의 진행 부분의 프레임들(노드 21, 28, ...) 양자를 이미 포함해야 한다.
WO2004/049263에 따른 촬영 단계 이전에, 촬영이 이루어질 통로에 관하여 계획이 만들어진다. 계획된 통로를 따라, 예컨대 5-50cm 간격일 수 있는 소정의 거리(D)를 스캔 장치가 통과하거나 소정의 각 Δ°(예컨대 5°)만큼 각도 방위를 변경할 때 노드가 생성된다. 각 노드에 대하여, 특정한 카메라 단위 시야가 생성된다. "카메라 단위 시야"라는 용어는 카메라 단위를 형성하는 개개의 카메라에 의하여 캡쳐된 축적된 시야들, 각 노드에 대한 각을 정의한다. 그 후, 스캔 장치는 계획된 통로를 따라 진행하여 프레임을 캡쳐한다.
따라서, WO2004/049263는 인터랙티브 가상 무비가 물리적인 공간 내의 통로를 따라 캡쳐된 이미지 데이터 프레임의 집합인 것으로 가정한다. 이는 도 1과 같이 노드들의 연결 스킴으로 해석되며, 여기서 모든 노드는 카메라 단위 시야를 나타내는 이미지 데이터를 구성한다. 하나의 노드로부터 다른 노드(즉, 제 1 노드의 선택된 사용자 시야 UFOV로부터 다른 노드의 사용자 시야 UFOV)의 접속은 부드럽게 유지된다. 노드들 간의 연결은 부드러운 방식으로 하나의 노드에서 다른 노드로의 이동을 가능하게 한다. 촬영 프로세스의 마지막에, 무비는 본질적으로 사용할 준비가 된다. 그 후, 무비가 활성화될 때, 사용자는 선택된 뷰 섹터를 보면서 제 1 노드로부터 시작하여 다른 뷰 섹터를 보면서 제 2 노드로 시야의 유연함을 유지할 정도로 충분한 근접성을 가지고 "이동"할 수 있다. 하나의 프레임에서 다음 프레임으로 사용자가 "이동"하는 것은 현재 노드의 출구 방향으로 사용자 시야의 중심을 가리키고 상기 출구에 의하여 상기 현재 노드에 연결된 노드로 나아감으로써 수행된다. 상기 다음 노드에 대한 사용자 입구는 사용자 시야의 중심이 상기 다음 노드의 입구 방향을 가리킬 때 사용자에게 그 사용자 시야(다음 노드 이미지 데이터의 부분)를 보여줌으로써 만들어진다.
무비의 각 세그먼트는 바람직하게는 그것의 고유한 참조번호를 가지고, 각 세그먼트 내의 모든 프레임 역시 바람직하게는 해당 세그먼트 내에서 연속적인 순서에 따라 참조번호를 부여받는다는 점에 주의한다.
기술한 바와 같이, WO2004/049263의 발명은 사용자가 다양한 방향으로 이동하고 선택된 방향을 봄으로써 촬영된 공간을 가상으로 탐색할 수 있도록 한다. 사용자에게는 플레이어가 제공되며, 지시 장치, 키보드, 조이스틱 등에 의하여 이동이 이루어진다. 무비는 매우 많은 양의 데이터를 포함하며, 이는 인터넷과 같은 협소한 대역폭 네트워크를 통하여 사용자가 유연하게 관람하는 것을 허용하지 않는다. 사용자에게 보아야 할 방향이나 더 나아가서는 이동할 방향 내의 접점(J1)과 같은 접점들에서 결정을 하는 옵션을 제공하는 무비의 상호작용성이라는 부분은 실 시간으로 처리되어야 하는 데이터량을 몇배 증폭시킨다. 사용자가 인터넷을 통하여 그러한 무비를 관람할 수 있도록 시도할 때, 이 문제는 훨씬 더 복잡하게 된다.
도 2a 및 2b는 인터넷을 통한 전송 및 가상 무비의 사용자단에서의 재생을 위한 시스템을 도식적이고 일반적인 형태로 나타내고 있다. 도 2a는 사용자단에서 시스템(100)의 구조를 나타내며, 도 2b는 서버단에서 시스템(150)의 구조를 나타낸다. 도 2a를 참조하면, 디스플레이 유닛(101)은 채널(102)을 통해 프레임을 수신하고, 이를 사용자 스크린상에 디스플레이한다. 디스플레이 유닛은 비디오(이는 본질적으로 높은 비율로 디스플레이되는 정지 프레임이다)나 정지 프레임을 표시한다. 채널(102)을 통한 데이터는 종래기술에서 알려진 방식으로 이미 디스플레이된 이전 프레임까지의 업데이트만을 포함할 수 있다는 점을 지적한다. 이하 명백해질 다른 작업들 중에서도, 탐색 조정 장치(103)는 채널(104 및 102)을 통하여 캐시 유닛(105)으로부터 디스플레이 유닛(101)까지 프레임을 전송하는 것을 조정한다. 탐색 조정 장치(103)는 라인(106)에 의하여 캐시 유닛(105)에서 명령된 프레임의 가용성을 요청하고 확인한다. 캐시 유닛(105)은 서버(150, 도 2b)로부터 수신된 프레임을 위한 저장부이다. 그것의 제한된 저장 공간으로 인해, 무비 프레임의 전부가 캐시에 저장되지 않으리라 생각되며, 따라서 캐시는 무비의 디스플레이를 위해 필요하여 수신된 프레임들만(즉, 가장 이용될 것으로 기대되는 프레임들)을 저장한다. 이미 디스플레이된(혹은 불필요하다고 결정된) 이들 프레임들은 캐시에서 제거되어 새롭게 도착하는 프레임들에 의하여 대체될 수 있다. 제어 장치(107)는 사용자가 무비에서 탐색을 위해 사용하는 장치이다. 종래기술에서 전형적인 바와 같이, 이는 사용자의 마우스, 조이스틱, 키보드 등일 수 있다. 특정 방향으로 이동하려는 사용자 의도(예컨대, 대응하는 키보드 화살표를 이용하여 직진하려는 경우)는 라인(111a 및 111b)을 각각 거쳐 제어 장치(107)로부터 예측 및 프레임 명령 조정 장치(이하 "PFOC", 108) 및 탐색 조정 장치(103) 양자로 보고된다. 라인(122)을 거쳐서 맵(109)으로부터 사용자의 현재 위치도 수신하는 탐색 조정 장치(103)는 상기 사용자 의도와 맵상의 현재 사용자 위치로부터 사용자에게 보여져야 할 새로운 프레임을 결정한다. 이와 관련하여, 맵(109)은 무비 내 사용자의 현재 위치가 표시되고 사용자 이동에 따라 지속적으로 업데이트되는(라인 139) 무비의 디지털 스킴이라는 점에 주의한다. 탐색 조정 장치(103)는 캐시(105)에서 새로운 프레임의 가용성을 체크한다. 상기 새로운 프레임이 가용한 것이라면, 후술하는 바에 의하여 명확해지겠지만, 그것은 가장 이용될 것 같은 것으로서(PFOC(108)의 동작으로 인하여), 그 프레임은 즉시 캐시로부터 가져와서 채널(102)을 거쳐 디스플레이 유닛으로 보내어 사용자에게 디스플레이한다. 그렇지 않다면, 탐색 조정 장치(103)는 이 프레임이 캐시(105)에서 이용 가능하게 될 때까지 대기하고, 그 이후에만 해당 프레임을 가져와서 디스플레이 유닛(101)으로 채널(102)을 거쳐 전송한다. 새로운 프레임이 디스플레이 유닛(101)으로 전송될 때에는 언제든지 탐색 조정 장치가 맵(109)상의 사용자 위치를 업데이트한다(라인 139).
PFOC(108)는 맵(109)상의 사용자 위치에 관련된 업데이트(122)를 지속적으로 수신하고, 사용자의 다음 이동을 예측하며, 그에 따라 서버(150)로부터 필요한 프레임을 명령함으로써(이미 캐시에 존재하지 않는 프레임만을 명령함), 부드러운 무 비 재생을 유지하기 위하여 디스플레이 유닛에서의 가용성을 보장한다. 사용자의 다음 이동이 명백히 정해져 있는 연속적인 세그먼트 내에서는, 다음 접점까지 프레임의 전부나 일부가 명령되지만, 만약 다가오는 접점이 존재한다면, PFOC(108)는 그 접점을 따르는 통로에 관련된 프레임들을 명령한다. 상기 통로로부터 명령된 프레임의 수는 변할 수 있다. 어떤 단계에서 상기 몇몇 선택적인 통로 중 하나가 명백하게 되면, 이 통로에 대응하는 프레임들이 사용자에게 디스플레이된다. 가장 오랜 시간 동안 사용되지 않은 프레임은 캐시로부터 삭제되어 새롭게 오는 프레임에 의하여 대체된다. PFOC(108)는 이와 같이 동작함으로써 캐시에서 프레임의 가용성을 필요한 때에 최적화할 수 있다. 각 명령에서 약간의 미래 프레임들을 명령하는 것이 유연성을 보장하는데 충분하다는 것을 알게 되면, 이러한 방식에서는 더 적은 프레임이 명령되어 최종적으로 사용되지 않게 되기 때문에, 이는 바람직하다. 상기 후자의 경우에, 서버(150)로부터의 더 많은 명령 동작이 수행될 것이다. PFOC(108)에 의한 명령은 일반적으로 2개의 단계를 포함하며, 제 1 단계에서 PFOC는 캐시 유닛(105)에서 필요한 프레임의 가용성(라인 112)을 체크하고, 제 2 단계에서 캐시 유닛(105)에서 이용할 수 없는 프레임만을 서버로부터 명령한다(라인 113). 캐시는 다시 PFOC(108)과 탐색 조정 장치(103) 양자에게 라인(114)을 거쳐서 프레임의 가용성을 보고한다. 서버로부터 명령된 프레임은 채널(116)을 거쳐서 사용자단(100)으로 전달된다. 언급한 바와 같이, 탐색 조정 장치(103)는 맵(109)상의 사용자 현재 위치에 관련된 업데이트(122)도 수신하는데, 이는 그것이 주어진 어떠한 순간에라도 맵에서 사용자의 다음 가상 위치가 무엇이 될 것인지를 결정하고 캐시로부터 가져와서 디스플레이 유닛(101)에 전달해야 할 정확한 프레임을 결정하기 위하여 이러한 정보를 필요로 하기 때문이다.
바람직하게는, PFOC의 동작은 또한 사용자 기지국에서 더 이상 필요하지 않다고 판명된 서버로부터의 프레임 전송을 제거하기 위하여 서버로부터 사용자 기지국으로 프레임의 스트리밍을 지속적으로 체크하도록 강화된다. 예를 들면, 미래 프레임의 시퀀스가 서버로부터 명령되었으나, 상기 시퀀스의 일부가 아직 전송되지 않고 이 부분이 사용자 기지국에서 더 이상 필요하지 않다고 결정될 때 PFOC(108)는 서버에 신호를 보내어 더 이상 필요하지 않다고 판명된 그 프레임들의 전송을 취소하는 경우가 있을 수 있다(그러한 경우는 예컨대 PFOC에 의하여 연속적으로 관련성이 없다고 판명되는 예측으로 인한 경우일 수 있다).
기술한 바와 같은 시스템 및 특히 예측 유닛과 맵의 사용은 유연한 재생을 보장하기 위하여 요구될 때마다 디스플레이 유닛(101)에 미래의 프레임들이 이용 가능하도록 보장한다. 캐시의 사용은 사용자단에서 (캐시 유닛(105)에서) 가용한 프레임을 다시 명령하지 않고 이를 캐시로부터 가져오는 것을 보장함으로써 시스템을 더욱 강화한다.
이미 언급한 바와 같이, 본 발명의 또 다른 측면은 명령되어 사용자에게 디스플레이되는 프레임의 2개 이상의 해상도 레벨을 사용하는 것을 포함한다. 도 2b는 블록도 형태로 서버단(150)의 구조를 나타낸다. 무비는 바람직하게는 상이한 해상도 레벨에 각각 관련된 3개의 단계, 즉 저급 해상도 저장부(151), 중급 해상도 저장부(152) 및 고급 해상도 저장부(153) 등으로 서버에 저장되어 있다.
본 발명의 바람직한 실시형태에 따르면, PFOC(108)의 또 다른 목적은 사용자의 이동 타입을 결정하는 것이다. 언급한 바와 같이, PFOC(108)는 라인(111a)을 거쳐 제어 장치(107)로부터 사용자 이동에 관련된 표시를 수신한다. 따라서, 상술한 바와 같은 이유로, PFOC(108)가 사용자가 이동 중이라고 결정하는 경우에 서버로부터 저급 해상도 프레임을 명령한다. PFOC(108)가 사용자가 정지하여 특정한 화면을 유심히 바라본다고 결정하는 경우에는 언제든지 PFOC(108)는 중급 해상도 프레임을 명령한다. 그러나, 사용자가 특정 화면을 세밀하게 관찰하고 싶어하는 경우, 사용자에게는 그러한 고급 해상도 프레임을 명령하기 위하여 사용자 인터페이스의 버튼과 같은 수단이 제공된다. 이 표시는 라인(120)을 거쳐 PFOC(108)로 전달되며, 이것은 다시 서버로부터 최상의 해상도 프레임을 명령한다. 중급 해상도 프레임이나 최상위 해상도 프레임이 명령될 경우에는 언제나 전체 프레임 전송이 중단되고(혹은 우선 순위가 낮게 내려가고), 채널(116)이 상기 중급 혹은 최상위 해상도 프레임의 전송에 단독으로(혹은 거의) 기여하게 된다. 그러나, 이와 같은 저급 해상도 프레임의 전송 중단은 단지 하나의 프레임만이 전송되기 때문에 매우 짧다는 점에 주의한다. 상기 명령된 중급 해상도 혹은 고급 해상도 프레임이 캐시에 도착할 때, 저급 해상도 프레임 전송의 통상적인 프로세스가 재개된다.
탐색 조정 장치(103)는 클라이언트에 의해 요청된 프레임을 어느 순간에서라도 결정하기 위하여 이동 정보(111b)를 사용한다. 그것은 또한 캐시(105)에서 프레임의 가용성을 체크하며, 그 프레임이 PFOC(108)에 의해 이미 명령되어서 캐시(105)에 존재한다고 가정하여, 탐색 조정 장치는 해당 프레임을 가져와서 채 널(102)을 거쳐 이 프레임을 디스플레이 유닛(101)으로 전달한다.
도 2b를 참조하면, 전송 조정 장치(157)는 프레임에 대한 명령 및 각 명령에 대한 필요한 해상도를 라인(113)을 거쳐 수신한다. 그것은 하나의 라인(170, 180, 혹은 190)을 거쳐서 페치 신호(Fetch Signal)를 보내고, 각 채널(171, 181, 혹은 191)을 거쳐서 페치 프레임(Fetched Frame)을 수신한다. 전송 조정 장치(157)는 그후 채널(116)과 네트워크를 사용자단(100)으로 전달되는 프레임의 전송을 조정한다.
3개의 해상도 레벨을 위한 3개의 저장부는 여기에 예시로서 제시되었을 뿐이라는 점에 주의한다. 3개의 별개의 저장부 대신에, 단지 하나의 고급 해상도 저장부만 존재할 수 있으며, 다른 해상도 레벨이 명령되면 언제든지 고급 해상도가 전송 조정 장치(157)에 의해 원하는 해상도로 전송 이전에 변환될 수 있다.
나타낸 바와 같이, 제 1 실시형태에서, 맵은 사용자단에 위치해야 한다. 따라서, 제 1 실시형태에서, 사용자가 특정한 인터랙티브 무비를 보기를 원할 경우에, 해당 무비의 맵이 우선 사용자측으로 전송된다.
도 3a 및 3b는 본 발명의 제 2 실시형태를 도식적이고 일반적인 형태로 나타내고 있다. 제 2 실시형태의 동작은 상술한 제 1 실시형태의 동작과 유사하다. 다만, 제 1 실시형태의 경우 프로세스에 필요한 유닛의 대부분이 사용자측에 위치해 있는 반면에, 제 2 실시형태의 경우 상술한 프로세스 유닛의 대부분이 서버측에 위치해 있다.
도 3a는 사용자단에서 시스템(200)의 구조를 나타내며, 도 3b는 서버단에서 시스템(250)의 구조를 나타낸다. 도 3a를 참조하면, 디스플레이 유닛(201)은 채널(202)을 통해 프레임을 수신하고 이를 사용자의 스크린상에 표시한다. 이 디스플레이 유닛은 비디오(이는 본질적으로 높은 속도로 디스플레이되는 정지 프레임이다)나 정지 프레임을 디스플레이한다. 채널(202)을 통한 데이터는 종래기술에서 알려진 방식으로 이미 디스플레이된 이전 프레임까지의 업데이트만을 포함한다는 점에 주의한다. 디스플레이 조정 장치(218)는 캐시 유닛(205)으로부터 채널(204 및 202)을 거쳐서 디스플레이 유닛(201)까지 프레임의 전송을 조정한다. 디스플레이 조정 장치(218)는 현재 디스플레이되어야 할 프레임의 표시, 현재 위치 및 그에 따라 관련되어 있는 미래나 현재의 옵션에 관한 정보를 라인(229)상에서 수신한다. 그것은 라인(206)에 의하여 캐시 유닛(205)의 현재 프레임의 가용성을 확인한다. 캐시 유닛(205)은 서버(250)로부터 수신된 프레임을 위한 저장부로서 동작한다(도 3b). 제한된 저장 공간으로 인해, 모든 무비 프레임이 캐시에 저장되지는 않을 것으로 생각된다. 캐시는 무비의 디스플레이를 위해 필요하고 수신된 프레임들만(즉, 가장 이용될 것 같은 프레임들)을 저장한다. 이미 디스플레이된(혹은 불필요하다고 결정된) 프레임들은 캐시에서 제거되어 새롭게 도착한 프레임으로 대체된다. 제어 장치(207)는 사용자가 무비에서 탐색을 위하여 사용하는 장치이다. 종래기술에서 일반적인 바와 같이, 이는 사용자의 마우스, 조이스틱, 키보드 등일 수 있다. 특정 방향으로 이동하려는 사용자의 의도(예컨대, 대응하는 키보드 화살표를 이용하여 직진하려는 경우)는 제어 장치(207)로부터 라인(211)을 거쳐서 서버(250)로 보고된다. 서버(250, 도 3b)에서, 사용자의 의도는 PFOC(208, 라인 211a)와 탐색 조정 장 치(203, 라인 111b) 양자에 보고된다. 라인(222)을 통해 맵(209)으로부터 사용자의 현재 위치도 수신하는 탐색 조정 장치(203)는 상기 사용자의 의도와 맵상의 사용자 현재 위치로부터 사용자에게 보여져야 할 새로운 프레임을 결정한다. 새로운 프레임(실제적으로 현재 프레임)에 대한 표시는 라인(229)을 통해 사용자측(200)으로 전달된다(도 3a). 이전 실시형태에서와 마찬가지로, 맵(209)은 무비 내 사용자의 현재 위치가 표시되고 사용자 이동에 따라 지속적으로 업데이트되는(라인 239) 무비의 디지털 스킴이다. 사용자단에서, 새로운 프레임에 대한 표시(229)가 디스플레이 조정 장치(218)에 제공된다. 디스플레이 조정 장치(218)는 캐시(205)의 새로운 프레임의 가용성을 체크한다(라인 206). 만약 상기 새로운 프레임이 이용 가능하다면, 다음 설명에서 명백해지겠지만, 그것은 가장 이용될 것 같은 것으로서(PFOC(208)의 동작으로 인하여), 그 프레임은 캐시로부터 즉시 가져와서 채널(202)을 통해 디스플레이 유닛(201)으로 전송하고 사용자에게 디스플레이한다. 그렇지 않다면, 디스플레이 조정 장치(218)는 이 새로운 프레임이 캐시(205)에서 이용 가능하게 될 때까지 대기하고, 그 이후에만 해당 프레임을 가져와서 이를 디스플레이 유닛(201)으로 채널(202)을 통해 전송한다.
PFOC(208)는 맵(209)상의 사용자 위치에 관한 업데이트(222)를 수신하고, 사용자의 다음 이동을 예측하며, 그에 따라 3개의 프레임 저장부 중 하나(저급 해상도 저장부(251), 중급 해상도 저장부(252), 또는 고급 해상도 저장부(253))로부터 필요한 프레임을 명령한다. 이하 기술하는 바와 같이, 대부분의 경우 명령은 저급 해상도 저장부(251)로부터 수행된다. 이는 부드러운 무비 재생을 유지하기 위하여 디스플레이 유닛에서 필요한 프레임의 가용성을 보장하기 위한 것이다. 사용자의 다음 이동이 확실히 정의되는 계속적인 세그먼트 내에서, 다음 접점까지 프레임의 전부나 일부가 명령될 수 있다는 점에 주의한다. 그러나, 다가오는 접점이 있을 경우, PFOC(208)는 그 접점을 따르는 통로에 관한 프레임을 명령한다. 상기 통로로부터 명령되는 프레임의 수는 달라질 수 있다. PFOC(108)는 필요한 경우 캐시(205)에서(사용자측에서) 프레임의 가용성을 최적화하기 위한 방식으로 동작한다. 일반적으로 사용자측의 캐시(205)는 미사용 기간이 가장 긴 프레임을 새로운 것으로 교체하는 방식으로 동작할 수 있다. 관련된 저장부로부터 명령된 프레임은 전송 조정 장치(257)로 전달되고, 이는 다시 디스플레이를 위하여 네트워크의 채널(216)을 통해 사용자측으로 프레임을 전송한다.
도 2a 및 2b의 실시형태에 관하여 상술한 바와 같이, 미래 프레임의 시퀀스가 서버로부터 사용자 기지국으로의 전송을 위해 할당되었으나, 상기 시퀀스의 일부가 아직 전송되지 않는 동안 이 부분이 더 이상 사용자 기지국에서 필요로 하지 않는다고 결정되는 경우가 있을 수 있다(이러한 경우는, 예컨대, 관련성이 없는 것으로 연속적으로 확인된 PFOC에 의한 예측에 기인한다). 도 2a 및 도 2b의 실시형태와 유사하게, 본 경우에서도 PFOC(208)는 사용자 기지국에서 더 이상 필요하지 않다고 판명된 프레임의 전송을 취소한다.
설명한 바와 같은 시스템, 그리고 특히 예측 조정 장치와 맵(209)의 사용은 부드러운 재생을 보장하기 위해 필요할 때에는 언제든지 미래의 프레임이 디스플레이 유닛(201)에서 이용 가능한 것을 보장한다. 나아가, 캐시의 사용은 사용자단에 서(캐시 유닛(205)에서) 이용 가능한 프레임을 다시 명령하지 않고 캐시로부터 가져오는 것을 보장함으로써 시스템을 강화한다.
제 1 실시형태에서와 마찬가지로, 제 2 실시형태의 동작 역시 사용자에게 디스플레이되는 프레임의 몇 가지 해상도 레벨의 사용을 포함한다. PFOC(208)가 라인(211a)을 통한 신호로부터 사용자가 이동(이 이동은 제어 장치(207)로부터 제어됨) 중인 점을 결정하는 한, PFOC(208)는 사용자에게 저급 해상도 프레임(저장부(251)로부터)이 전송되도록 명령 및 명령한다. 예측 조정 장치(208)가 사용자의 이동 정지를 결정하는 때에는 언제든지 전송 조정 장치가 전송을 중단하도록 즉시 명령한다. 그 후, 저장부(252)로부터 중급 해상도 프레임을 명령하여 이 중급 해상도 프레임을 사용자단으로 전송한다. 한편, 만약 PFOC(208)가 고급 해상도 프레임을 보기를 원하는 것으로 결정한다면, 고급 해상도 저장부(253)로부터 유사한 방식으로 명령이 이루어져서 전달된다.
도 3a 및 3b의 실시형태에서, 캐시 유닛(205)은 사용자 기지국에 위치하는 반면, PFOC(208)는 서버에 위치해 있다. PFOC(208)는, 특정 프레임을 사용자에게 전달할 것인지 여부를 결정할 때, 캐시 유닛(205)의 컨텐츠를 체크하고 캐시(205)에 존재하지 않는 프레임만을 전송해야 한다. 일 실시형태에서, PFOC(208)는 캐시(205)의 특정 프레임의 가용성에 관한 업데이트를 주기적으로 체크하고 수신하여, 특정 프레임을 전송할 것인지 여부를 결정할 수 있다. 다른 예의 경우, 서버는 사용자 캐시 이미지(264)도 포함하며, 이는 캐시(205)의 컨텐츠(프레임 자체가 아니라 프레임 인덱스들)에 관한 현재 정보를 저장한다. 사용자 캐시 이미지(264)는 캐시(205)의 컨텐츠가 변할 때 업데이트되어, 캐시(205)의 실제적이고 현재의 컨텐츠를 반영한다. 한가지 방법으로서, 업데이트는 라인(267)으로 나타낸 바와 같이 사용자 기지국으로부터 제공된다. 다른 예에서, 서버는 알고리즘(269)을 관리하며, 이는 캐시(205)의 컨텐츠를 지배하는 사용자 기지국에서의 유사한 알고리즘(즉, 캐시의 어느 프레임을 제거하여 새로운 프레임을 위한 공간을 비울 것인지)에 정확하게 따르며 동작한다. 이와 같은 방식으로, 상기 알고리즘(269)을 이용하여, 사용자 캐시 이미지(264)는, 동일한 알고리즘이 수행되고 상기 2개의 위치에서 컨텐츠를 지배하는 것과 같이, 캐시(205)의 컨텐츠에 따라 항상 업데이트될 수 있다.
도 3c 및 3d는 본 발명의 또 다른 실시형태를 블록도 형태로 나타내고 있다. 이 실시형태는 본질적으로 도 3a 및 3b의 실시형태와 유사하며, 다음과 같이 몇 가지 변경사항을 포함한다. 도 3a 및 3b의 실시형태의 경우 "디스플레이하는 프레임 229" 신호는 서버로부터 사용자 기지국으로 전성되고, 이 신호는 사용자 디스플레이에 어느 프레임이 표시되는지 언제라도 결정하게 된다. 도 3c 및 3d의 실시형태에 따르면, 이 신호는 제거되어 있다. 대신에, 서버로부터 사용자 기지국으로 채널(216)을 통해 전송된 각 프레임은 다음 이웃하는 프레임의 인덱스(혹은 프레임 뒤에 몇 가지 선택적인 프레임이 뒤따를 경우에는 수개의 인덱스)와 연계되어 있다. 여기서는 "다음"이라는 용어가 현재 프레임에 가능한 인접한 모든 프레임, 다시 말해 이전 프레임이나 이후 프레임 등을 의미하는 것이다. 프레임의 상기 연계된 인덱스 역시 저장되며, 프레임이 디스플레이될 때 언제든지 디스플레이할 다음 프레임을 시스템이 결정할 수 있도록 한다. 대부분의 경우, 이 작업은 단순하며, 대부분의 경우 가능한 다음 프레임이 거의 없기 때문에, 프레임과 연계된 다음 프레임 인덱스가 거의 없다. 그러나, 예컨대 접점 프레임에서, 프레임과 연계된 몇 가지 선택적인 인덱스가 존재할 수 있으며, 디스플레이 조정 장치(218)는 그것이 디스플레이해야 할 다음 선택적인 프레임 중 어느 것을 결정해야 한다. 이 결정은 제어 장치(207)로부터 직접적인 입력(277)을 디스플레이 조정 장치(218)로 제공함으로써 이루어질 수 있다. 이러한 표시를 사용하여, 조정 장치(218)는 디스플레이할 올바른 프레임을 선택할 수 있다.
본 발명의 다른 실시형태에서, 무비의 재상과 동시에, 현재의 사용자 위치가 디스플레이되는 사이트 맵의 소버전을 사용자에게 디스플레이하는 것이 바람직하다. 따라서, 바람직한 실시형태에 따르면, 무비를 재생하기 이전에 사이트 맵이 초기에 서버로부터 사용자에게 전송된다. 이후, 매 시간 프레임이 서버로부터 사용자 기지국으로 전송되고, 프레임이 캡쳐되는 x;y 위치와 시야 방향 역시 프레임과 연계하여 전송된다. 이러한 추가적인 데이터도 사용자 기지국에서 캐시에 저장된다. 가상 무비가 사용자 기지국에서 재생될 때, 상기 추가적인 소형 맵도 디스플레이되며, 상기 추가적인 데이터를 이용하여, 현재의 사용자 위치와 사용자의 시야 방향 역시 지도상에 디스플레이된다.
여기에서 3개 레벨의 해상도를 위한 3개의 저장부는 예시적으로 제시된 것일 뿐이라는 점에도 주의하여야 한다. 3개의 별개의 저장부 대신에, 고급 해상도 저장부 하나만 존재할 수 있으며, 다른 해상도 레벨이 명령될 때마다 고급 해상도가 전송 조정 장치(157)에 의하여 원하는 해상도 레벨로 전송 이전에 변환될 수 있다. 나아가, 제 1 실시형태에서 맵은 사용자측으로 전송되어야 하는데 반해, 제 2 실시형태에 따르면 이러한 사용자측으로의 맵의 전송은 요구되지 않는다. 나아가, 본 발명이 인터랙티브 무비의 재생 이전에 해당 무비의 프리 로딩을 배제하지 않는다는 점에 주의한다. 종래기술에서와 같이, 프리 로딩의 사용은 특히 느린 네트워크에서 이점이 있다.
본 발명의 몇 가지 실시형태를 예시적으로 설명하였지만, 본 발명을 많은 개조, 변경 및 각색하여, 청구항의 범위를 초과하거나 본 발명의 정신을 벗어나지 않으면서 당업자의 범주 내에 속하는 수많은 등가물이나 대안적인 해법들을 사용하여 실제에 적용할 수 있다는 점은 명백하다.

Claims (21)

  1. 서버에 위치한 인터랙티브 무비를 네트워크를 통해 전송하고 이를 사용자 기지국에서 디스플레이하기 위한 시스템에 있어서,
    (a) 무비 프레임을 디스플레이하기 위한 상기 사용자 기지국에서의 디스플레이 유닛;
    (b) 상기 무비 내를 사용자가 탐색할 수 있도록 하기 위한 상기 사용자 기지국에서의 제어 장치;
    (c) 개개의 무비 프레임과 각 무비 프레임의 인덱스 간의 링크를 기술하는 상기 무비의 맵으로서, 상기 맵 내 사용자의 현재의 가상 위치를 주어진 임의의 시간에서 관리하는 맵; 및
    (d) 상기 맵과 사용자 제어 장치로부터 입력을 수신하고, 상기 입력에 기초하여 사용자에 의해 관람이 요구될 수 있는 미래의 프레임을 예측하며, 상기 서버가 상기 사용자 기지국에 상기 예측된 미래의 프레임을 전달하도록 지시하는 예측 및 프레임 명령 조정 장치로서, 상기 서버로부터 사용자로의 상기 프레임의 스트리밍을 지속적으로 체크하고, 상기 예측 및 프레임 명령 조정 장치에 의하여 전달되도록 지시되었으나 결과적으로는 실제적인 전송 이전에 상기 사용자 기지국에서 더 이상 필요하지 않은 것으로 지시된 상기 프레임 혹은 그 일부의 전송을 취소하는 상기 예측 및 프레임 명령 조정 장치를 포함하는 것을 특징으로 하는 시스템.
  2. 제 1 항에 있어서,
    일시적으로 무비 프레임을 저장하기 위한 상기 사용자 기지국에서의 캐시 유닛을 더 포함하는 것을 특징으로 하는 시스템.
  3. 제 1 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치는 사용자가 가상의 이동 중인 경우에 제 1 레벨의 해상도 프레임을, 사용자가 상기 가상 무비 내에서 정지해 있는 경우에 제 2 레벨의 해상도 프레임을 명령하는 것을 특징으로 하는 시스템.
  4. 제 3 항에 있어서,
    상기 제 1 레벨은 상기 제 2 레벨보다 낮은 것을 특징으로 하는 시스템.
  5. 제 3 항에 있어서,
    상기 프레임은 적어도 2개의 해상도 레벨로 상기 서버에 저장되어 있는 것을 특징으로 하는 시스템.
  6. 제 3 항에 있어서,
    상기 프레임은 적어도 하나의 해상도 레벨로 상기 서버에 저장되어 있고,
    상기 서버는 상기 프레임 해상도 레벨을 적어도 하나의 다른 해상도 레벨로 변환하기 위한 변환 수단을 포함하는 것을 특징으로 하는 시스템.
  7. 제 1 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치는, 상기 서버가 사용자에 의한 특별 요구에 따라 특정한 해상도 레벨의 프레임을 전달하도록 지시하는 것을 특징으로 하는 시스템.
  8. 제 7 항에 있어서,
    상기 특정한 해상도 레벨은 최상위 해상도 레벨인 것을 특징으로 하는 시스템.
  9. 제 1 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치는 상기 사용자 기지국에 위치하는 것을 특징으로 하는 시스템.
  10. 제 1 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치는 상기 서버에 위치하는 것을 특징으로 하는 시스템.
  11. 제 1 항에 있어서,
    상기 맵은 상기 서버에 위치하는 것을 특징으로 하는 시스템.
  12. 제 1 항에 있어서,
    상기 맵은 상기 사용자 기지국에 위치하는 것을 특징으로 하는 시스템.
  13. 제 2 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치와 상기 맵은 상기 사용자 기지국에 위치하는 것을 특징으로 하는 시스템.
  14. 제 13 항에 있어서,
    상기 캐시와 통신하고, 사용자 화면상에 프레임의 디스플레이를 조정하기 위한 상기 사용자 기지국에서의 탐색 조정 장치를 더 포함하는 것을 특징으로 하는 시스템.
  15. 제 2 항에 있어서,
    상기 예측 및 프레임 명령 조정 장치와 맵은 상기 서버에 위치하는 것을 특징으로 하는 시스템.
  16. 제 15 항에 있어서,
    상기 캐시와 통신하고, 사용자 화면상에 프레임의 디스플레이를 조정하기 위한 상기 사용자 기지국에서의 탐색 조정 장치를 더 포함하는 것을 특징으로 하는 시스템.
  17. 제 15 항에 있어서,
    각 프레임은 하나 이상의 다음 프레임 인덱스와 연계하여 상기 서버로부터 상기 사용자 기지국으로 전달되며, 상기 사용자 기지국에서 상기 탐색 조정 장치는 상기 다음 프레임 인덱스로부터 디스플레이될 프레임의 순서를 결정하는 것을 특징으로 하는 시스템.
  18. 제 17 항에 있어서,
    상기 사용자 기지국에서 상기 탐색 조정 장치는 상기 하나 이상의 다음 프레임 인덱스 및 상기 사용자 제어 장치로부터 수신하는 입력으로부터 상기 프레임의 순서를 결정하는 것을 특징으로 하는 시스템.
  19. 제 1 항에 있어서,
    상기 서버로부터 상기 사용자 기지국으로의 프레임의 흐름을 조정하기 위한 상기 서버에서의 전송 조정 장치를 더 포함하며, 상기 취소 명령은 상기 예측 및 프레임 명령 조정 장치로부터 상기 전송 조정 장치까지 전송되는 것을 특징으로 하는 시스템.
  20. 이미지 프레임으로 이루어진 무비를 원격 서버로부터 네트워크를 거쳐서 전송하고, 상기 무비를 사용자 기지국에서 디스플레이하기 위한 방법에 있어서,
    (a) 무비 프레임을 위한 상기 서버에서의 저장부를 제공하되, 상기 프레임은 적어도 2개의 해상도 레벨로 상기 저장부에 저장되도록 하는 단계;
    (b) 사용자가 상기 무비 내에서 이동 중인 한 저급 해상도 프레임을 상기 저장부에서 상기 사용자 기지국으로 전송하여 사용자에게 디스플레이하는 단계; 및
    (c) 사용자가 상기 무비 내에서 정지해 있는 한 중급 혹은 고급 해상도 프레임을 상기 저장부에서 상기 사용자 기지국으로 전송하여 사용자에게 디스플레이하는 단계를 포함하고,
    각 이미지 프레임에 대하여 해상도는 해당 프레임 전부에 걸쳐서 동일하며,
    상기 사용자의 이동은 상기 무비가 디스플레이되면서 프레임의 연속적인 교체로 인해 변하는 경우로서 정의되고, 상기 정지 상태는 사용자가 정지하여 동일 화면에 초점을 맞추고 그에 따라 동일 프레임이 지속적으로 사용자에게 디스플레이되는 경우로서 정의되는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서,
    (d) 상기 무비의 맵을 제공하는 단계;
    (e) 상기 무비 내에서 상기 사용자의 현재 위치에 의하여 상기 맵을 계속적으로 업데이트하는 단계;
    (f) 상기 맵 상에서, 상기 사용자의 현재 위치에서의 관점으로부터, 상기 사용자에게 디스플레이하도록 요구될 수 있는 하나 또는 그 이상의 미래의 프레임을 예측하는 단계; 및
    (g) 상기 서버로부터 상기 하나 또는 그 이상의 미래의 프레임을 명령하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020077031008A 2005-05-31 2006-05-29 인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및시스템 KR101270305B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL168903 2005-05-31
IL16890305 2005-05-31

Publications (2)

Publication Number Publication Date
KR20080028900A KR20080028900A (ko) 2008-04-02
KR101270305B1 true KR101270305B1 (ko) 2013-05-31

Family

ID=36952414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077031008A KR101270305B1 (ko) 2005-05-31 2006-05-29 인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및시스템

Country Status (10)

Country Link
US (1) US8402492B2 (ko)
EP (1) EP1889442A1 (ko)
JP (1) JP2008543212A (ko)
KR (1) KR101270305B1 (ko)
CN (1) CN101204062B (ko)
AU (1) AU2006253724A1 (ko)
CA (1) CA2610557A1 (ko)
EA (1) EA200702639A1 (ko)
IL (1) IL187644A0 (ko)
WO (1) WO2006129308A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043365A1 (en) 2005-07-18 2009-02-12 Kolis Scientific, Inc. Methods, apparatuses, and systems for reducing intraocular pressure as a means of preventing or treating open-angle glaucoma
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
WO2012011466A1 (ja) * 2010-07-20 2012-01-26 シャープ株式会社 中継装置、中継方法、通信システム、中継制御プログラム、および記録媒体
US20120062563A1 (en) * 2010-09-14 2012-03-15 hi5 Networks, Inc. Pre-providing and pre-receiving multimedia primitives
US8850075B2 (en) * 2011-07-06 2014-09-30 Microsoft Corporation Predictive, multi-layer caching architectures
US9734513B1 (en) * 2012-10-16 2017-08-15 Alexander F. Mehr System and method for advertising applications to users without requiring the applications to be installed
US9027067B2 (en) * 2013-03-12 2015-05-05 The United States Of America, As Represented By The Secretary Of The Navy System and method for interactive spatio-temporal streaming data
CN106416285A (zh) * 2014-03-28 2017-02-15 耶德托公司 用于防护多态性内容的系统和方法
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
GB2585198B (en) * 2019-07-01 2022-03-02 Sony Interactive Entertainment Inc Method and device for generating video frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004049263A1 (en) 2002-11-25 2004-06-10 Mentorwave Technologies Ltd. Method and apparatus for virtual walkthrough
US20040239699A1 (en) 2003-05-31 2004-12-02 Uyttendaele Matthew T. System and process for viewing and navigating through an interactive video tour
US20050024362A1 (en) 2001-07-11 2005-02-03 Klein Dean A. Three dimensional rendering including motion sorting

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
WO2001072041A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and system for subject video streaming
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
CA2363396A1 (en) * 2001-11-21 2003-05-21 Handshake Interactive Technologies Inc Hard real time control center
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024362A1 (en) 2001-07-11 2005-02-03 Klein Dean A. Three dimensional rendering including motion sorting
WO2004049263A1 (en) 2002-11-25 2004-06-10 Mentorwave Technologies Ltd. Method and apparatus for virtual walkthrough
US20040239699A1 (en) 2003-05-31 2004-12-02 Uyttendaele Matthew T. System and process for viewing and navigating through an interactive video tour

Also Published As

Publication number Publication date
US20090019496A1 (en) 2009-01-15
IL187644A0 (en) 2008-03-20
WO2006129308A1 (en) 2006-12-07
KR20080028900A (ko) 2008-04-02
EA200702639A1 (ru) 2008-06-30
CA2610557A1 (en) 2006-12-07
JP2008543212A (ja) 2008-11-27
AU2006253724A1 (en) 2006-12-07
CN101204062B (zh) 2013-11-13
CN101204062A (zh) 2008-06-18
EP1889442A1 (en) 2008-02-20
US8402492B2 (en) 2013-03-19

Similar Documents

Publication Publication Date Title
KR101270305B1 (ko) 인터랙티브 무비의 네트워크를 통한 디스플레이 방법 및시스템
US10349068B1 (en) Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US20180204381A1 (en) Image processing apparatus for generating virtual viewpoint image and method therefor
EP1489847B1 (en) Video surveillance system, surveillance video composition apparatus, and video surveillance server
US6535226B1 (en) Navigable telepresence method and system utilizing an array of cameras
US20170244984A1 (en) Remote video production using standard ip networks
US7683937B1 (en) Presentation of a multimedia experience
US20170125064A1 (en) Method and Apparatus for Automatic Video Production
US7561187B2 (en) Image distributing apparatus
US20140139610A1 (en) Navigable telepresence method and system utilizing an array of cameras
US20080181572A2 (en) Streaming content receiving apparatus and playback apparatus with stopping of reception of second streaming data during period in which first streaming program is selected
CN105165013A (zh) 具有个性化内容的移动设备
TW201816726A (zh) 影像處理
US20220019280A1 (en) System and Method for Interactive 360 Video Playback Based on User Location
KR20210024071A (ko) 장면의 이미지들을 생성하기 위한 장치 및 방법
KR20180038256A (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN107835435A (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
WO2022085539A1 (ja) 情報処理装置、情報処理方法、及び記憶媒体
KR102464524B1 (ko) 비디오로부터의 이미지 생성
JP2008109434A (ja) ストリームデータ再生システム、ストリームデータ再生システム用送信装置、ストリームデータ再生システム用受信装置及びストリームデータ再生システム用プログラム
US8732767B2 (en) Method and system for displaying via a network of an interactive movie
KR102513176B1 (ko) 스포츠 경기에 대한 영상을 제공하는 사용자 단말, 방법 및 스포츠 경기의 영상을 표시하는 사용자 단말
CN115174941B (zh) 基于多路视频流的实时运动表现分析及实时数据共享方法
Wijnants et al. An optimized adaptive streaming framework for interactive immersive video experiences
JP4241708B2 (ja) ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160512

Year of fee payment: 4