KR20120088507A - 파노라마 장면에서의 네비게이션 방법 - Google Patents

파노라마 장면에서의 네비게이션 방법 Download PDF

Info

Publication number
KR20120088507A
KR20120088507A KR20110095275A KR20110095275A KR20120088507A KR 20120088507 A KR20120088507 A KR 20120088507A KR 20110095275 A KR20110095275 A KR 20110095275A KR 20110095275 A KR20110095275 A KR 20110095275A KR 20120088507 A KR20120088507 A KR 20120088507A
Authority
KR
South Korea
Prior art keywords
video
zone
patches
user terminal
visible
Prior art date
Application number
KR20110095275A
Other languages
English (en)
Other versions
KR101819097B1 (ko
Inventor
고띠에 에릭
르걀레 이봉
로렁 앙또니
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120088507A publication Critical patent/KR20120088507A/ko
Application granted granted Critical
Publication of KR101819097B1 publication Critical patent/KR101819097B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 사용자 단말 상에 표시된 파노라마 비디오 시퀀스에서의 네비게이션 방법에 관한 것이다. 비디오 시퀀스는 각각이 비디오 시퀀스의 구역에 대응하는 복수의 비충첩 비디오 패치로 분할된다. 비디오 패치는 네비게이션 지령에 따라 결정되는 가시 구역이라 불리는, 사용자 단말의 스크린상에 표시될 파노라마 비디오 시퀀스의 구역을 구성하는데 필요하다.
본 발명에 따라서, 비디오 패치 중 일부는 제1 전송 네트워크를 통해, 다른 일부는 상기 제1 전송 네트워크와는 구별되는 제2 전송 네트워크를 통해 사용자 단말에 제공된다.

Description

파노라마 장면에서의 네비게이션 방법{METHOD FOR NAVIGATION IN A PANORAMIC SCENE}
본 발명은 사용자 단말에 표시된 파노라마 비디오 시퀀스(panoramic video sequence)에서의 네비게이션 방법에 관한 것이다.
파노라마 영상을 통한 대화식 네비게이션을 이용한 인터넷 서비스는 과거 수년 동안 큰 성공을 거두었다. 사용자는 이러한 서비스를 이용하여 특히, 유명인사 사이트로부터의 시각적 정보에 액세스하여 재생하고, 시내나 박물관을 가상적으로 방문하고, 건물 내부를 가상적으로 돌아다니는 등의 행위를 할 수 있다. 이러한 서비스는, 그래픽 모델을 구현하는 복잡한 3D 모델링 툴을 사용하는 대신에, 실제 세계로부터의 영상을 텍스처(texture)로서 이용하고 이 텍스처를 사용자가 그 안에서 네비게이션할 수 있는 원통, 관 또는 구와 같은 기본적인 3D 객체(3D object)에 적용하는 영상 기반 렌더링(Image Based Rendering: IBR)이라고 하는 기법에 바탕을 두고 있다. IBR 기법의 주요 단점은 이 기법이 정지된 장면만을 재생할 수 있다는 것이다.
또한, 수년 전에는 3D 객체에 적용된 텍스처가 비디오 스트림인 비디오 기반 렌더링(Video Based Rendering: VBR)이라고 하는 기법이 출현했다. 이 기법에 따르면, 예컨대 몇 개의 시점(viewpoint)을 이용하여 전체 동적(dynamic) 장면을 캡처하는 파노라마 카메라를 통해 몇 개의 동기화된 비디오 스트림이 생성된다. 이 스트림들은 처리되어 3D 객체에 적용된다. 그러면, 사용자는 이 동적 장면에서 몰입된 느낌과 행위의 중심에 있다는 느낌을 갖고서 네비게이션할 수 있다.
파노라마 영상을 통한 대화식 네비게이션과 관련하여, "Efficient Representation and interactive streaming of high-resolution panoramic views"(Carten Grunheit, Aljoscha Smolic 및 Thomas Wiegand 저, ICIP 2002)라는 제목의 문헌이 알려져 있다. 이 문헌에는 사용자로부터의 네비게이션 지령에 따라서 파노라마 장면의 비디오 스트림이 서버로부터 사용자 단말로 전송되는 절차가 기술되어 있다. 이 파노라마 장면의 비디오 스트림은 시간적으로 연속된 파노라마 영상 시퀀스이다. 이 파노라마 비디오 시퀀스는 그 전송을 용이하게 하기 위해 모자이크를 구성하는 소정 크기의 복수의 비중첩 비디오 부분들로 분할된다. 이 비디오 부분들은 상기 문헌에서는 비디오 패치(video patch)라고 부르는데 본 명세서에서도 그렇게 부르기로 한다. 각 비디오 패치는 파노라마 비디오 시퀀스의 공간 구역(spatial zone)에 대응하며 전경(全景)(panoramic view) 내의 특정 공간 위치를 나타낸다. 비디오 패치는 고정된 수 또는 가변적인 수의 연속된 비디오 패치로 이루어질 수 있다. 도 1은 파노라마 비디오 시퀀스를 비디오 패치들로 분할하는 것을 보여준다. 파노라마 비디오 시퀀스(10)는 복수의 비디오 패치(11)로 분할된다. 각 비디오 패치는 서버에서 따로 따로 코딩된다. 도면부호 12로 표시된 비디오 시퀀스 부분은 사용자 단말의 스크린상에 표시된 비디오 시퀀스 부분을 나타낸다. 이 구역은 사용자 단말이 전송한 네비게이션 지령에 의해 정해지며, 본 명세서에서는 이후로는 가시 구역(visibility zone)이라고 부른다.
도 2는 도면부호 11a 내지 11d로 나타낸 몇 개의 비디오 패치를 중첩시킨 가시 구역(12)의 예를 보여준다. 이 경우에는 사용자 단말이 비디오 시퀀스 부분(12)을 표시할 수 있도록 서버가 적어도 이들 4개의 비디오 패치를 사용자 단말에 전송해야 한다.
사용자가 그 장면에 몰입한다는 느낌을 갖기 위해서는 사용자 단말 스크린 상의 비디오 패치의 표시가 빠르면서 유동적이어야 한다. 이를 위해 상기 문헌에서는 비디오 패치의 프리페칭(pre-fetching) 프로세스를 정의한다. 이 프로세스는 비디오 패치가 가시 구역(12)에 포함되기 전이라도 서버 측에서 그 비디오 패치의 전송을 개시하는 것으로 이루어진다. 클라이언트는 서버에게 그 전경의 특정 구역에 대응하는 비디오 패치를, 현재 타임 스탬프와 그 패치를 수신하는데 필요한 최대 시간에 따라서 추정된 특정 표시 타임스탬프보다 늦게 전송할 것으로 요구한다. 또한 클라이언트는 현재 가시 구역에 속하는 비디오 패치 뿐만 아니라 가시 구역이 사용자 네비게이션 지령을 따르는 방향에서 이동한다면 있을 것 같은 비디오 패치도 사용자 단말에 로드하는 것을 포함한다.
이를 위해 검출 구역이라 부르는 구역(13)이 비디오 패치(11)마다 정의되는데, 이 구역(13)은 예컨대 도 3에 도시된 바와 같이 비디오 패치(11)의 영상 부분을 둘러싸고 있다. 이 예에서 비디오 패치의 영상 부분의 경계와 그 검출 구역의 경계는 그 영상 부분의 전체 둘레에 걸쳐 거리 d만큼 분리되어 있다. 가시 구역(12)이 검출 구역(13) 내로 들어오면, 서버에게 비디오 패치(11)를 사용자 단말에 전송하라는 요구가 서버에 전송된다.
도 4의 예에서 가시 구역(12)은 6개의 비디오 패치(11a 내지 11f)의 검출 구역(13a 내지 13f)과 중첩된다. 따라서, 비디오 패치(11a 내지 11d) 만이 현재 가시 구역(12)에 일부 또는 전부가 포함되어 있으나, 사용자 단말이 요구할 시에는 비디오 패치(11a 내지 11f)가 사용자 단말로 프리패치된다.
사용자 단말에서의 비디오 패치 프리페치는 사용자 단말에 의한 요구 전송과 비디오 패치 수신 사이의 대기 시간을 극복할 수 있다.
양호한 네비게이션 속도를 얻기 위해 요구가 서버에 충분히 빨리 전송되도록 검출 구역(13)의 크기가 충분히 크게 되나, 사용자 단말에서 너무 많은 수의 비디오 패치(이들 중 일부는 나중에 스크린상에 표시되지 않음)를 프리페치할 정도로, 따라서 네비게이션의 유동성을 저해할 정도로는 크지 않아야 한다. 실제로는 검출 구역의 크기는 네비게이션의 유동성과 속도 간에 양호한 타협점을 얻기 위해 한정되어야 한다. 네비게이션 유동성은 사용자 단말 프로세서의 부하 용량에 따라 다른데, 검출 구역의 크기에 따라 줄어든다(다운로드될 데이터가 많아진다). 반대로 네비게이션 속도는 검출 구역의 크기에 비례한다(데이터를 로드할 시간이 길어진다). 그러나 이러한 타협은 항상 쉬운 것은 아니다.
더욱이, 네비게이션의 유동성과 속도는 비디오 패치를 전송하는 네트워크의 직접 채널 및/또는 요구를 전송하는 리턴 채널의 치수에 영향을 받을 수 있다.
본 발명의 일 목적은 상기 단점들을 적어도 일부분을 극복할 수 있는, 파노라마 비디오 시퀀스에서의 대화식 네비게이션 방법을 제공하는 것이다.
본 발명에 따라서, 비디오 패치를 사용자 단말에 전송하는데 적어도 2개의 구별되는 전송 네트워크를 사용한다.
본 발명은, 사용자 단말 상에 표시되는 파노라마 비디오 시퀀스에서의 네비게이션을 위한 방법으로서, 파노라마 비디오 시퀀스는 비디오 패치라 불리는 복수의 비중첩 비디오부로 분할되고, 각 비디오부는 파노라마 비디오 시퀀스의 구역에 대응하고, 각 비디오 패치는 상기 파노라마 비디오 시퀀스에서 소정 크기와 공간 위치를 갖고 있고, 비디오 패치는 네비게이션 지령에 따라 결정되는 가시 구역이라 불리는, 사용자 단말의 스크린상에 표시될 파노라마 비디오 시퀀스의 구역을 구성하는데 필요한 네비게이션 방법에 있어서, 비디오 패치들 중 일부는 제1 전송 네트워크를 통해 사용자 단말에 제공하고, 다른 일부는 상기 제1 전송 네트워크와는 다른 제2 전송 네트워크를 통해 사용자 단말에 제공되는 네비게이션 방법을 제공한다.
따라서 이중 네트워크를 사용함으로써 비디오 패치의 전송은 2개의 네트워크를 통해 분배될 수가 있다. 따라서 그와 같은 네트워크의 혼잡 위험이 줄어든다.
바람직한 실시예에 따라서, 제1 전송 네트워크는 단순히 방송 네트워크라고도 하는 공용 방송 네트워크이고, 제2 전송 네트워크는 전용 방송 네트워크이다.
특정 모드에 따라서, 제2 전송 네트워크는 리턴 채널을 포함하는 광대역 네트워크이고, 리턴 채널 상에서의 요구의 전송 후에 비디오 패치가 광대역 네트워크를 통해 사용자 단말에 전송된다.
이 2개의 전송 네트워크를 사용하면 다음과 같은 이점이 있다.
- 전용 방송 네트워크의 대역폭이 공용 방송 네트워크의 대역폭보다 "비용면에서" 더 작고, 따라서 전역 네트워크의 대역폭이 공용 방송 네트워크에 비해 더 작은 비용으로 증가될 수가 있다.
- 전용 방송 네트워크는 모든 사용자에게, 특히 DSLAM(Digital Subscriber Line Access Multiplexer)에서 멀리 떨어져 있는 사용자에게 충분한 비트레이트를 보장할 수 없으나, 공용 방송 네트워크는 이 비트레이트를 증가시킬 수 있다.
본 발명에 따라서, 서비스 가입자는 2개의 네트워크를 통해 전송된 비디오 패치 세트에 액세스할 수 있지만 미가입자는 이들 네트워크 중 하나에 의해서 제공된 비디오 패치에만 액세스할 수 있는 대화식 네비게이션 서비스의 생성을 고려할 수 있다.
예컨대 경찰 수사 프로그램의 경우에 가입자는 단서를 복구하기 위해 범죄 장면 전체에서 네비게이션할 수 있으나 미가입자는 범용 방송 네트워크가 전송한 비디오 패치에 대응하는 장면의 더 제한된 구역에만 액세스할 수 있다.
다른 가능한 응용은 경기장에서 발생하는 스포츠 이벤트의 파노라마식 재전송에 관한 것이다. 예컨대 동시에 일어나는 몇 가지 스포츠 훈련(예컨대 투포환, 높이 뛰기, 장대 높이 뛰기, 멀리 뛰기 등) 육상 경기 회합의 재전송과 관련하여 가입자는 경기장 전체를 돌아다니면서 그 훈련을 볼 수 있으나 미가입자는 하나의 훈련만을, 즉 방송에서 내보낸 훈련만을 볼 수 있다.
미가입자가 전체 파노라마 장면을 네비게이션할 수 있으나 가입자만이 파노라마 장면의 특정 부분을 주밍(zooming)할 수 있는 서비스도 고려할 수 있다. 이 응용을 위해서, 장면의 서브샘플링된 부분에 대응하는 비디오 패치는 공용 방송에서 전송되고, 추가적인 정의를 제공하는 비디오 패치는 전용 방송 네트워크 내에서 전송된다.
그러나 그와 같은 이중 네트워크를 사용하여 비디오 패치를 전송하는 것은 사용자 단말 레벨에서 디스플레이 문제를 야기할 수 있다. 실제로, 프리페치 시간, 따라서 비디오 패치의 스크린상의 표시는 그 전송을 담당하는 네트워크에 따라 달라진다. 공용 방송 네트워크의 경우에, 모든 비디오 패치가 사정 요구 없이 방송되며, 비디오 패치의 스크린상의 표시 시간은 비교적 짧을 수 있다. 리턴 채널을 가진 전용 방송 네트워크의 경우에는 사용자 요구가 있을 때에만 비디오 패치가 전송되고, 스크린상의 표시 시간은 서버에의 요구의 전송 시간, 서버에 의한 요구의 처리 시간, 비디오 패치의 사용자 단말에의 전송 시간, 및 사용자 단말에서의 비디오 패치의 디코딩 및 기억 시간을 포함한다. 전용 방송 네트워크상에서의 전송 시간은 그 네트워크의 상태에 따라서 달라질 수 있음에 유의해야 한다. 그래서 비디오 패치 프리페치 프로세스에서는 전송 네트워크들 간의 이러한 표시 시간 불일치를 고려해야 한다.
한 가지 해법은 더 느린 네트워크로부터의 비디오 패치와 정렬하기 위해 더 빠른 네트워크로부터의 비디오 패치를 버퍼 메모리에 배치함으로써 비디오 패치의 처리를 동기화시키는 것일 수 있다. 그러나 이 해법은 상반되는 행위를 포함하므로, 즉 먼저 비디오 패치가 프리페치되고, 이어서 표시가 지연되기 때문에 만족스럽지 않을 것이다.
본 발명의 변형에 따라서, 다른 해법, 즉 더 빠른 네트워크로부터 들어오는 비디오 패치의 표시를 지연시키지 않도록 더 느린 전송 네트워크로부터 들어오는 비디오 패치를 충분히 빨리 프리페치하는 것을 제안한다. 이 결과는 각 비디오 패치에 대해서 미리 검출 구역을 정의함으로써(그러나 그 크기는 상기 비디오 패치를 제공하는 전송 네트워크에 따라 다름) 얻어진다. 더 느린 네트워크가 전송한 비디오 패치의 검출 구역의 크기는 더 빠른 네트워크가 전송한 비디오 패치의 검출 구역의 크기보다 크도록 설정되고, 그에 따라서 더 느린 네트워크로부터 들어오는 비디오 패치의 프리페치가 다른 네트워크로부터의 비디오 패치의 프리페치 전에 시작한다.
이를 위해 본 발명의 방법은 다음 단계도 포함한다.
- 비디오 패치 각각에 대해서, 비디오 패치를 둘러싸고 비디오 패치의 크기보다 큰 크기를 갖고 있고 이 크기가 비디오 패치를 제공하는 전송 네트워크에 따르는 검출 구역이라 불리는 적어도 하나의 구역을 정의하는 단계;
가시 구역이 비디오 패치의 검출 영역 내로 들어가자 마자 사용자 단말의 메모리에서 상기 비디오 패치의 프리페치를 요구하는 단계; 및
가시 구역이 프리페치된 비디오 패치 내로 들어가자 마자 상기 비디오 패치를 사용자 단말의 스크린상에 표시하는 단계.
본 명세서에서는 비디오 패치의 프리페치는 상기 비디오 패치를 사용자 단말에서 수신하고, 이것을 디코딩하여 단말의 메모리에 저장하는 동작을 의미하는 것으로 이해된다. (단말에서 서버로의) 리턴 패널을 포함하는 전송 네트워크의 경우에는 이 프리페치는 상기 비디오 패치의 전송은 물론 서버를 통한 상기 비디오 패치의 전송을 트리거하는 요구의 전송의 이전 단계도 포함한다.
방송 네트워크가 제공하는 비디오 패치의 프리페치 시간은 비디오 패치를 전송하는 서비스의 디멀티플렉싱 시간, 프레임 I(프레임내 코딩을 가진 프레임)의 수신 대기 시간 및 비디오 패치 디코딩 시간을 포함한다.
리턴 채널을 가진 전용 방송 네트워크가 제공하는 비디오 패치의 프리페치 시간은 사용자 단말로부터 제2 서버로의 요구의 전송 시간, 제2 서버에 의한 요구의 처리 시간, 제2 서버와 사용자 단말 간의 비디오 패치의 전송 시간, 비디오 패치의 영상 부분의 디코딩 시간, 및 비디오 패치의 사용자 단말에의 기억 시간을 포함한다.
바람직한 실시예에 따라서, 전용 방송 네트워크가 전송한 비디오 패치는 그와 같은 프레임 I의 대기 시간을 없애기 위해 프레임 I부터 시작한다.
이 실시예에서는 전용 방송 네트워크가 제공한 비디오 패치의 프리페치 시간은 프레임 대기 시간 I를 포함하지는 않지만 이 시간은 일반적으로 공용 방송 네트워크가 제공한 비디오 패치의 프리페치 시간보다는 길게 유지된다.
2개의 전송 네트워크 간의 이러한 프리페치 시간 차를 적어도 일부라도 보상하기 위해, 전용 방송 네트워크가 제공한 비디오 패치의 검출 구역의 크기는 공용 방송 네트워크가 제공한 비디오 패치의 검출 구역의 크기보다 더 크게 설정된다.
특정 실시예에 따라서, 영상 부분의 경계와 검출 구역의 경계는 영상 부분의 전 둘레에 걸쳐 결정된 거리 d만큼 분리된다.
특정 실시예에 따라서, 각 비디오 패치는 기저 계층(base layer)이라 불리는 기저 비디오 데이터 계층과 증강 계층(enhancement layer)이라 불리는 적어도 하나의 추가 비디오 데이터 계층으로 인코딩된다. 이 실시예에서, 비디오 패치의 기저 계층과 증강 계층 각각에 대한 검출 구역이 정의되고, 가시 구역이 대응하는 검출 구역으로 들어올 때에 기저 계층 또는 증강 계층의 프리페치가 요구된다.
특정 실시예에 따라서, 상기 증강 계층의 검출 구역의 크기는 기저 계층의 검출 구역의 크기와 다르다. 증강 계층의 검출 구역은 예컨대 기저 계층의 검출 구역을 에워싸며, 이에 따라서 증강 계층의 프리페치는 기저 계층의 프리페치 전에 시작한다.
특정 실시예에 따라서, 제1 임계 속도라 불리는 가시 구역의 변위 임계 속도는 기저 계층과 연관되고, 이 속도는 예컨대 상기 가시 구역의 최대 허용 변위 속도이다. 이 실시예에서 기저 계층의 검출 구역의 크기는 상기 제1 임계 속도에 따라서 결정된다.
특정 실시예에 따라서, 제2 임계 속도라 불리는 가시 구역의 변위 임계 속도는 각 증강 계층과 연관되고, 제2 임계 속도 이상에서는, 가시 구역이 상기 적어도 하나의 증강 계층의 검출 구역 내로 들어오더라도 상기 증강 계층이 사용자 단말에서 프리페치되지 않는다.
특정 실시예에 따라서, 각 증강 계층의 검출 구역의 크기는 상기 제2 임계 속도에 따라서 결정된다.
바람직한 실시예에 따라서, 프리페치되지 않은 각 증강 계층에 대해서, 가시 구역이 상기 증강 계층의 검출 구역 내로 들어오는 것과 가시 구역이 상기 검출 구역으로부터 빠져나가는 것 사이에서, 가시 구역의 순간 변위 속도와 상기 증강 계층과 연관된 제2 임계 속도 간의 주기적 비교가 행해지고, 가시 구역의 순간 변위 속도가 상기 제2 임계 속도보다 작다면 상기 증강 계층의 프리페치가 요구된다.
마지막으로, 다른 바람직한 실시예에 따라서, 프리페치되지 않은 각 증강 계층에 대해서, 가시 구역이 상기 증강 계층의 검출 구역 내로 들어오는 것과 가시 구역이 상기 검출 구역으로부터 빠져나가는 것 사이에서, 가시 구역의 순간 변위 속도와 상기 증강 계층과 연관된 제2 임계 속도 간의 주기적 비교가 행해지고, 가시 구역의 순간 변위 속도가 상기 제2 임계 속도보다 크다면 상기 증강 계층의 프리페치의 중지가 요구된다.
본 발명의 다른 목적, 세부사항, 특징 및 이점은 첨부도면을 참조한 하기의 상세한 설명으로부터 더욱 명확하게 드러날 것이다.
도 1은 비디오 패치들로 분할된 파노라마 비디오 시퀀스를 보여주는 도.
도 2는 도 1의 일부로서, 사용자 단말 스크린상에 표시된 비디오 시퀀스의 일부와 이 가시 구역에 전부 또는 일부 포함된 비디오 패치를 보여주는 도.
도 3은 비디오 패치의 검출 구역을 보여주는 도.
도 4는 도 1의 일부로서, 가시 구역에 전부 또는 일부가 포함된 비디오 패치의 검출 구역을 보여주는 도.
도 5는 공용 방송 네트워크를 통해 전송된 비디오 패치와 전용 방송 네트워크를 통해 전송된 비디오 패치를 보여주는 도.
도 6은 2개의 서로 다른 전송 네트워크를 통해 사용자 단말에 접속된 서버를 포함하는 시스템을 도시한 도.
도 7은 비디오 패치의 기점(origin) 네트워크에 따른 가변 크기의 검출 구역을 보여주는 도.
도 8은 각 비디오 패치가 기저 계층과 증강 계층으로 코딩되고 각 계층에 검출 구역이 정해지는 특정 실시예를 보여주는 도.
도 9는 가시 구역이 비디오 패치 계층의 검출 구역으로 들어가거나 이로부터 나올 때에 실시되는 동작으로 보여주는 플로우차트.
도 10은 가시 구역이 계층들의 검출 구역 내에 있는 계층들 각각에 대해 실시된 동작을 보여주는 플로우차트.
도 11은 비디오 패치의 검출 구역에 대한 검출 구역의 크기 계산을 보여주는 도.
도 12는 리턴 채널을 가진 전용 방송 네트워크로부터의 비디오 패치 프레페치 시간을 보여주는 도.
본 발명에 따라서, 사용자 단말의 스크린, 예컨대 셋톱 박스에 연결된 텔레비전 상에 표시될 파노라마 비디오 시퀀스가, 적어도 2개의 별개의 전송 네트워크가 제공하는 복수의 비디오 패치로 분할된다.
이들 2개의 네트워크는 바람직하게는 리턴 채널이 있는 또는 없는 공용 방송 네트워크와 전용 방송 네트워크이다. 공용 방송 네트워크(이후로는 단순히 방송 네트워크라 함)는 무선, 위성 또는 케이블 채널을 통해 수 많은 사람에게 비디오를 방송한다. 전용 방송 네트워크는 더 한정된 수의 사용자, 예컨대 이 네트워크를 이용하는 서비스에 가입한 가입자들에게만 비디오 데이터를 방송한다. 이 네트워크는 이후로는 "광대역 네트워크"라고 한다. 이 네트워크는 예컨대 리턴 채널이 있는 또는 없는 광대역 방송 네트워크이다.
이후로는 비디오 패치가 일부는 방송 네트워크를 통해 다른 일부는 리턴 채널이 있는 광대역 네트워크를 통해 제공되는 것으로 생각하기로 한다.
도 1의 파노라마 비디오 시퀀스를 보여주는 도 5를 참조로 설명하면, 예컨대 음영 구역의 비디오 패치(14)는 방송 네트워크를 통해 전송되고 (음영 구역 밖에 있는) 나머지 다른 비디오 패치는 요구 시에만 광대역 네트워크를 통해 전송되는 것으로 생각할 수 있다.
본 발명의 방법을 구현할 수 있는 시스템은 도 6에 도해되어 있다. 이 시스템은 파노라마 비디오 시퀀스가 기억되어 있는 서버(20)를 포함한다. 이 비디오 시퀀스는 비디오 패치라 불리는 공간적으로 중첩하지 않는 비디오 부분들로 분할된다. 각 비디오 패치는 소정 크기의 직사각형 형태, 예컨대 n×m 픽셀의 비디오 시퀀스 구역에 대응한다. 비디오 시퀀스 내의 비디오 패치의 공간적 위치는 예컨대 비디오 패치의 좌측 상부 픽셀의 좌표(x,y)로 나타낸다. 이들 비디오 패치는 서버에서 독립적으로 코딩된다.
비디오 패치들 중 일부, 예컨대 도 5의 비디오 패치(14)는 서버(20)에 의해, 도 6에 도시된 "방송" 네트워크를 통해, 그리고 서버(20)에 연결된 송신기 안테나(40)와 사용자 단말(30)에 연결된 수신기 안테나(41)를 통해 사용자 단말(30)에 제공된다. 파노라마 영상(10)의 비디오 패치들의 나머지 부분들은 요구 시에만 서버(20)에 의해, 도 6에 도시된 "광대역" 네트워크를 통해, 그리고 인터넷망(50)과, 한 쪽이 인터넷망(50)에 연결되고 다른 한 쪽은 사용자 단말(30)에 연결된 접속 게이트웨이(51)를 통해 사용자 단말(30)에 전송된다.
단말(30)은 2개의 전송 네트워크로부터 비디오 패치를 수신하여 처리하고 비디오 패치 전송 요구를 "광대역" 네트워크를 통해 서버(20)에 전송할 수 있는 셋톱 박스(31)를 포함한다.
방송 네트워크의 경우에는 비디오 시퀀스는 연속 비디오 스트림이고 비디오 패치도 연속 스트림이다.
"광대역" 네트워크의 경우에는 비디오 패치는 요구 시에 서버에서 제공된다. 이들 비디오 패치는 미리 정해진 고정된 지속 기간을 갖거나 가변적인 지속 기간을 갖는다. 전자의 경우(고정 지속 기간)에서는, 비디오 패치 요구의 수신 후에, 예컨대 소정 수의 시간적으로 연속한 비디오 프레임 부분들이 사용자 단말에 전송된다. 후자의 경우(가변 지속 기간)에서는, 그 소정의 수의 시간적으로 연속한 비디오 프레임 부분들이 서버에 전송된 비디오 패치 요구에 표시되거나, 서버에 대한 비디오 패치 전송 요구와 전송 요구의 종단에 의해 정해진다.
비디오 패치는 바람직하게는 SVC (Scalable Video Coding)에 따라서 서버(20)에서 코딩된다. 이를 위해 각 비디오 패치는 기저 비디오 데이터 계층(간단히 기저 계층이라 함)과 적어도 하나의 추가적인 비디오 데이터 계층(증강 계층이라 함)을 포함한다.
바람직하게는, 비디오 패치는 "방송" 네트워크를 통해, 그리고 문헌 「"Information Technology - Generic Coding of Moving Pictures and Audio: Systems: Transport of scalable video over ITU-T Rec. H.222.0", ISO/IEC 13818-1, Amendment 3, 2005.」에 기재된 바와 같은 SVC 비디오 데이터 계층을 전송할 수 있는 기본 스트림을 포함하는 MPEG2-TS 전송 스트림을 통해 전송된다.
더욱이, 비디오 패치는 바람직하게는, "광대역" 네트워크를 통해, 그리고 문헌 「HTTP Live Streaming, draft-pantos-http-live-streaming-01" by R.Pantos, Apple Inc, June 2009.」에 기재된 바와 같은 HTTP 스트림을 통해 전송된다. 따라서 광대역 네트워크를 통해 전송된 비디오 패치는 소정의 고정 지속 기간을 갖는다.
이들 2가지 전송 메커니즘이 모든 비디오 패치에 대해 동일한 PCR(Program Clock Reference)을 이용하여 TS(Transport Stream) 패킷을 전달하는 경우에는 이들 2개의 전송 메커니즘의 동기화는 디지털 텔레비전에서 일반적으로 이용되는 기술에 따른다.
일 변형으로서, "광대역" 네트워크에 이용된 전송 프로토콜은 RTSP 스위칭 프로토콜과 연관될 수 있는 RTP/UDP/IP 프로토콜이다.
비디오 패치 구역을 둘러싸는 적어도 하나의 검출 구역은 비디오 패치마다 정해진다.
본 발명의 중요한 특징에 따라서, "광대역" 네트워크가 제공하는 비디오 패치에 대한 검출 구역의 크기는 "방송" 네트워크가 제공하는 비디오 패치에 대한 검출 구역보다 크다. 이 특징은 도 7에 나타낸다.
도 7은 3개의 비디오 패치의 2행에 따라 인접 배치된 6개의 비디오 패치(71a 내지 71f)를 보여준다. 비디오 패치(71a 내지 71d)는 "방송" 네트워크를 통해 사용자 단말에 제공되고, 비디오 패치(71e, 71f)는 요구 시에 "광대역" 네트워크를 통해 제공된다. 도 7에서 이들 비디오 패치(71a 내지 71f)의 검출 구역에는 각각 도면부호 73a 내지 73f가 병기된다. 이 도로부터 알 수 있듯이 광대역 네트워크를 통해 제공된 비디오 패치의 검출 구역(73e, 73f)의 크기는, 서버(20)에 의한 요구의 전송 시간 및 처리와 광대역 네트워크를 통해 제공된 비디오 패치의 전송 지속 기간을 보상하기 위하여, 방송 네트워크를 통해 제공된 비디오 패치의 검출 구역(73a 내지 73d)의 크기보다 크다.
비디오 패치를 프리페치하기 위한 지령은, 도 7에서의 가시 구역(72)이 상기 비디오 패치의 검출 구역 내로 들어올 때에, 셋톱 박스(31)에서 트리거(trigger)된다.
도 7의 예에서, 구역(72)이 검출 구역(73a 내지 73f)을 적어도 부분적으로 덮고 있다는 점에서 비디오 패치(71a 내지 71f)의 프리페치 지령이 트리거되었다. 상이한 패치의 프리페치 지령은 동시에 전송되는 것이 아니라 가시 구역의 변위에 따른다. 도 7에서 화살표로 나타낸 변위에 대해 설명하자면, 먼저 패치(71a, 71b)가 요구되고, 다음에 패치(71c, 71d)가 요구되고, 마지막에 패치(71e, 71f)가 요구된다.
비디오 패치(71a 내지 71d)의 프레임과 관련하여, 이들 비디오 패치는 표시 시간까지 또는 검출 구역으로부터 빠져나갈 때까지 연장되는 지속 기간 동안 방송 네트워크에 의해 전달됨에 따라 셋톱 박스(31)의 메모리에 프리페치된다.
비디오 패치(71e, 71f)와 관련하여, 이들 비디오 패치 각각에 대한 요구가 광대역 네트워크를 통해 서버(20)에 전송되고, 이에 따라서 서버는 대응 프레임을 광대역 네트워크를 통해 사용자 단말(30)에 전송한다. 바람직한 실시예에 따라서, 서버(20)에 의해 전송된 비디오 패치는 SVC 모드에 따라 코딩되고, 전송될 비디오 패치 계층마다 검출 구역이 정해진다, 즉 기저 계층에 대해서는 기저 검출 구역이, 증강 계층에 대해서는 추가 검출 구역이 정해진다. 이 실시예는 도 8에 나타낸다.
이 도에서, 각 비디오 패치(71a 내지 71f)는 기저 계층과 증강 계층을 포함한다. 각 비디오 패치(71a 내지 71f)는 그 기저 계층에 대해서는 검출 구역(730a 내지 730f)을 그 증강 계층에 대해서는 검출 구역(731a 내지 731f)을 갖고 있다. 이 실시예에서, 증강 계층의 검출 구역은 기저 계층 검출 구역을 포함한다. 따라서, 이 실시예에서는 다른 기준이 없다면 기저 계층의 프리페치 전에 증강 계층의 프리페치가 개시된다.
그러나, 바람직한 실시예에 따라서, 증강 계층을 프레페치하는 결정은 가시 구역의 변위 속도 V에 따라 이루어진다. 간단하게 하기 위해, 도 7과 8에서는 가시 구역(12)이 X 방향에서만 변위된다고 생각한다. 그러나 본 발명의 방법은 가시 구역(12)이 모든 방향에서 변위되는 경우에 적용될 수 있음은 물론이다.
이 실시예에서, 사용자 단말(30)은 가시 구역(12)의 위치, 그 변위 방향 및 그 변위 속도를 정기적으로 결정한다. 기저 계층 또는 증강 계층을 다운로드하는 결정은 도 9의 플로우차트에 따라 이루어진다.
이 플로우차트에 따라서, 제1 단계(단계(90))에서, 가시 구역이 그 검출 구역 내에 존재하는 기저 계층 및 증강 계층의 프리페치를 요구함으로써 프로세스를 개시한다. 이들 계층 각각의 레퍼런스(reference)들은 Llayers라 불리는 리스트에 저장된다. 프리페치될 계층의 데이터 표시 타임스탬프는 그 계층이 표시되어야 하는 순간에 수신되도록 추정되었다. 그 다음에, 비디오 패치 계층의 검출 구역의 경계가 교차되는지 여부를 판단한다 (단계(91)). YES이면, 이것이 비디오 패치 계층의 검출 구역 내로의 진입을 포함하는지 여부를 판단한다(단계(92)). NO이면, 가시 구역 전체가 검출 구역을 빠져나가는지 여부를 판단한다(단계(96)). YES이면, 이 계층의 프리페치가 중지되고(단계(97)), 이 계층의 레퍼런스는 리스트 Llayers에서 삭제되고, 단계(91)가 다시 시작된다. 만일 가시 구역 전체가 검출 구역을 빠져나간 것이 아니라면, 단계(91)로 되돌아간다. 만일 이것이 어떤 계층의 검출 구역 내로의 진입을 포함한다면, 가시 구역의 변위 속도가 상기 계층과 연관된 소정의 임계 속도와 비교된다(단계(93)). 가시 구역의 변위 속도가 임계 속도 이상이면, 상기 계층은 프리페치되지 않고, 이 계층의 레퍼런스는 리스트 Llayers에 추가되고(단계(95)), 단계(91)가 다시 시작된다. 가시 구역의 변위 속도가 임계 속도보다 작다면, 상기 검출 구역에 관계된 계층의 프리페칭이 트리거되고(단계(94)), 이것은 단계(91)에서 다시 시작한다.
본 방법에 따라서, 증강 계층의 프리페치는 가시 구역의 변위 속도가, 예컨대 초당 수 백개의 픽셀인 이 증강 계층과 연관된 임계 속도보다 작은 경우에만 트리거된다. 실제로는 가시 구역이 매우 빠르게 변위되면 증강 계층이 사용자 경험을 향상시키지 않을 것이라는 점에서 증강 계층의 프리페치를 트리거할 필요가 없다. 그러나, 기저 계층의 프리페치는 가시 구역의 최대 변위 속도 이상인 기저 계층의 임계 속도를 고정시킴으로써 가시 구역의 변위 속도에 관계없이 체계적으로 트리거되도록 설계된다.
비디오 패치가 몇 개의 증강 계층, 예컨대 증간 계층(중간 레벨)과 높은 계층(높은 레벨)을 포함하는 경우에는, 임계 속도는 바람직하게는 이들 2개의 증강 계층 각각에 대해 정의되는데, 이 경우에 증간 계층의 임계 속도는 바람직하게는 높은 계층의 임계 속도보다 크다.
가시 구역이 기저 계층의 검출 구역 내로 진입한 후에는 비디오 패치 기저 계층의 프리페치가 트리거된 것이 확실한데, 그 이유는 이 계층의 프레 페치가 가시 구역의 변위 속도에 상관없이(기저 계층의 임계 속도는 가시 구역의 최대 변위 속도보다 큼) 일어나기 때문이다. 그러나 증강 계층(들)의 프리페치는, 가시 구역의 변위 속도가 이들 증강 계층의 검출 구역 내로 진입하는 순간에서의 관련 임계 속도보더 컸다면 트리거되지 않았을 수 있다. 그러나 기저 계층의 검출 구역 내에서의 가시 구역의 변위 동안에 변위 속도가 변했을 수 있다. 예컨대 기시 구역의 변위 속도는 상기 가시 구역이 증강 계층의 검출 구역으로 들어가는 것과 이 구역으로부터 빠져 나오는 것 사이에서 감소되었을 수 있으며, 증강 계층과 연관된 임계 속도 이하로 통과하였다. 그러면, 디스플레이된 비디오 데이터에 증강 계층이 없다는 것이 스크린상에 보여질 수 있다(저해상도).
바람직한 실시예에 따라서, 가시 구역의 순간 변위 속도에 따라 프리페치될 증강 계층의 수를 구성하는 주기적 검증 프로세스가 제공된다. 이 프로세스는 도 10에 나타나 있으며 가시 구역이 그 검출 구역에 제시되는 계층들 각각에 적용된다. 즉 이 계층들은 미리 정의된 리스트 Llayer에서 참조된다.
단계(100)에 따라서, 계층의 프리페치가 계속 진행 중인지 여부를 판단한다. 계속 진행 중이라면, 지연(temporizing) 단계(단계(101))가 수행된다. 즉, 검증 단계가 요구된 타임스탬프에 대한 계층의 프리페치의 종료를 기다리기 위해 기간 tempo1 동안 일시 중지하고, 그런 다음에 프리페치 종료여부를 판단한다(단계(102)). 기간 tempo1은 프리페치가 트리거되었던 계층에 대해 이 계층이 표시될 준비가 되었는지 여부를 판단하기 전의 대기 시간을 나타낸다. 이 지연의 값은 그 계층의 표시 타임스탬프와 현재 타임스탬프 간의 차이이다.
가시 구역의 변위 속도가 이 계층의 임계 속도보다 컸던 이유로 이 계층의 프리페치가 트리거되지 않았다면 기간 tempo2 동안에 지연 단계(단계(104))가 수행되고, 그런 다음에 가시 구역의 변위 속도가 계층의 임계 속도와 비교된다(단계(105)).
가시 구역의 변위 속도가 임계 속도보다 큰 경우에는 단계(104)로 되돌아 간다. 그렇지 않으면 프리페치를 요구한(단계(106)) 다음에 단계(101)로 간다. 기간 tempo2는 프리페치가 트리거되지 않았던 계층에 대해 가시 구역의 변위 속도와 계층의 임계 속도의 2개의 비교 테스트 간의 기간을 나타낸다. 이 기간은 계층마다 다를 수 있다. 이 기간은 예컨대 가시 구역이 임계 속도에서 계층의 검출 구역과 교차하는데 이용하는 기간과 일치한다.
단계(102)에서, 프리페치가 종료하면 명목(nominal) 모드(단계(103))로 되돌아 가고, 여기서 가시 구역이 이 계층의 검출 구역 내에 있는 동안에 장래 타임스탬프를 위한 계층을 프리페치한다.
그러나 프리페치가 종료되지 않은 경우에는 계층은 계층이 표시되어야 하는 순간 후에 도달할 것이며, 따라서 계속 진행 중인 프리페치는 중지되고(단계(107), 방법은 단계(106)로 진행하고, 여기서 다시 장래 표시 타임스탬프를 가진 계층의 프리페치를 요구한다.
이 프로세스에 따라서, 가시 구역의 변위 속도가 증강 계층과 연관된 임계 속도보다 작아졌고 또 이 계층의 검출 구역이 여전히 가시 구역 내에 포함되어 있어도 이 증강 계층이 프리페치되지 않았다면 상기 증강 계층은 프리페치된다.
이 프로세스는 주로 증강 계층을 위한 것이지만 기저 계층에도 동일하게 적용될 수 있다. 실제로 기저 계층의 프리페치가 가시 구역이 기저 계층의 검출 구역 내로 진입하자 마자 체계적으로 트리거되더라도, 네트워크 또는 서버와 관련된 문제로 인해 패치가 표시되어야 할 순간에 패치가 수신되지 않았을 수가 있다. 이 알고리즘에 따라서 그러한 문제가 발생하더라도 프리페치가 다시 개시될 수 있다.
바람직하게는, 가시 구역의 변위 속도가 갑자기 증가하여 증강 계층과 관련된 임계 속도 이상으로 되는 경우에 이 증강 계층의 프리페치를 중지시키는 프로세스가 계획될 수 있다. 이 프로세스는 단계들(102, 102) 사이의 테스트 단계를 통해 구현될 수 있다.
기저 계층 또는 증강 계층의 프리페치가 충분히 일찍 시작하도록 하기 위해서, 바람직하게는 검출 구역의 크기가 가시 구역의 변위 속도에 따라 구성된다. 검출 구역의 크기는 예컨대 다음과 같은 방식으로 계산된다. 예컨대 비디오부(110)가 직사각형의 nx×ny 픽셀을 갖고 있고, 상기 비디오부를 에워싸는 직사각형 검출 구역이 [nx+2Δnx(j)]×[ny+2Δny(j)] 픽셀을 갖고 있고, 이 검출 구역이 비디오 패치의 계층 j에 관계있다고 생각한다. 이 예는 도 11에 도시되어 있다.
계층 0은 예컨대 기저 계층에, 계층 1은 중간 증강 계층에, 그리고 계층 2는 높은 증강 계층에 관계한다.
특정 실시예에 따라서, Δnx(j)는 다음과 같이 계산된다.
Δnx(j)≥seuil_vitesse_x(j)*temps_pr?h arg ement(j)
여기서, threshold_speed_x(j)는 초당 픽셀 수로 표현된, 계층 j의 방향 x에 따른 임계 속도를 나타내고,
pre-fetching_time(j)는 비디오 패치의 계층 j의 적어도 하나의 프레임(프레임내 코딩을 가진 프레임)을 얻고 디코딩하는 기간을 나타낸다.
증강 계층들의 임계 속도는 이들 계층의 프리페치 결정에 이미 이용된 임계 속도이다. 기저 계층의 임계 속도는 파노라마 장면에서 가시 구역의 변위에 허용된 최대 속도이다.
비디오 패치 계층 프리페치 시간은 계층 전송에 사용된 전송 네트워크에 따라 달라진다.
방송 네트워크에서는 모든 비디오 패치가 (요구가 없어도) 방송되어 단말에 제공되고, 단말은 가시 구역이 검출 영역(들) 내로 들어올 때에 비디오 패치를 프리페치한다. 가시 구역이 검출 구역으로 들어오면 비디오 패치의 프레임 I는 단말에 의해 반드시 수신되어 있지 않아도 되며 기다리는 것이 최상이다. 따라서 프리페치 시간은 검출 구역 내로 들어오는 것과 비디오 패치가 사용자 스크린상에 재위치될 수 있는 순간 사이의 기간에 대응한다. 따라서 이 프리페치 시간은 디멀티플렉싱, 다음 프레임 I 대기, 디코딩 버퍼의 충진(filling), 및 비디오 패치의 표시 전의 비디오 프레임의 디코딩, 기억 및 재정렬에 필요한 기간들을 포함한다.
광대역 네트워크에서는 비디오 패치는 단말이 미리 서버에 요구했던 경우에만 네트워크에 의해 제공된다. 이 경우, 프리페치 시간은 도 12에 나타낸 바와 같이 정의된다.
Pre-fetching_time=T1+T2+T3+T4
여기서, T1은 서버에의 요구의 전송 기간,
T2는 서버에 의한 요구의 처리 기간,
T3은 비디오 패치의 단말로의 전송 시간,
T4는 단말에서의 비디오 패치의 기억과 디코딩 기간.
T2는 서버에 따라 다르고 T4는 단말에 따라 다르다. T1과 T3는 네트워크의 RTT(Round-Trip delay Time)에 따라 다르다. T3는 네트워크 대역폭, 비디오 패치의 크기, 그리고 전송 프로토콜(HTTP, RTP 등)에 의해 도입되는 신호 방식에 따라서도 달라진다.
따라서 본 발명에 따라서, 비디오 패치의 검출 구역의 크기는 이를 제공하는 네트워크에 따라서 정해진다. 더욱이 비디오 패치의 프리페치의 트리거링 및/또는 계속은 가시 구역의 변위 속도에 따라서 결정된다.
지금까지 여러 가지 특정 실시예와 관련해서 본 발명을 설명하였지만, 이를 본 발명을 한정하는 것으로 해석해서는 않되며 본 발명은 청구범위에 있는 수단들과 이 수단들의 조합은 물론 이들의 기술적 등가물도 포함한다고 할 것이다.

Claims (12)

  1. 사용자 단말 장치상에 표시되는 파노라마 비디오 시퀀스(panoramic video sequence)에서의 네비게이션을 위한 상기 사용자 단말 장치에서의 방법으로서 - 상기 파노라마 비디오 시퀀스는 비디오 패치들로 불리는 복수의 비중첩 비디오부로 분할되고, 각각의 비디오부는 상기 파노라마 비디오 시퀀스의 한 구역에 대응하고, 각각의 비디오 패치는 상기 파노라마 비디오 시퀀스에서 미리 정의된 크기 및 공간 위치를 갖고 있고, 상기 비디오 패치들은 네비게이션 지령들에 따라 결정되는, 가시 구역(visibility zone)이라 불리는, 상기 사용자 단말의 스크린상에 표시될 상기 파노라마 비디오 시퀀스의 구역을 형성하는데 요구됨 -,
    상기 네비게이션 지령들에 따라서 그리고 상기 파노라마 비디오 시퀀스 내에서의 상기 가시 구역의 위치에 따라서 제1 전송 네트워크를 통해 일부 제1 비디오 패치들이 상기 사용자 단말에게 제공되고 또한 상기 제1 전송 네트워크와는 다른 제2 전송 네트워크를 통해 일부 제2 비디오 패치들이 상기 사용자 단말에게 제공되는 것을 특징으로 하고,
    또한, 상기 방법은,
    상기 제1 및 제2 비디오 패치들의 각각에 대해서, 상기 비디오 패치들을 둘러싸고 또한 상기 비디오 패치들의 크기보다 큰 크기를 갖고 있는 검출 구역(detection zone)이라 불리는 적어도 하나의 구역을 정의하는 단계 - 상기 비디오 패치들의 검출 구역의 크기는 상기 비디오 패치들을 제공하는 전송 네트워크에 따름 -;
    상기 가시 구역이 한 비디오 패치의 검출 영역 내로 들어가자 마자 상기 사용자 단말의 메모리에서 상기 비디오 패치의 프리페치가 요구되는 단계; 및
    상기 가시 구역이 프리페치된 비디오 패치 내로 들어가자 마자 상기 비디오 패치가 상기 사용자 단말의 스크린상에 표시되는 단계
    를 더 포함하는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  2. 제1항에 있어서,
    상기 제1 전송 네트워크는 공용 방송 네트워크이고 상기 제2 전송 네트워크는 전용 방송 네트워크(personalized broadcast network)인 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  3. 제2항에 있어서,
    상기 제2 전송 네트워크는 리턴 채널을 포함하는 광대역 네트워크이고, 상기 리턴 채널상에서의 요구의 전송 후에 상기 비디오 패치들이 상기 광대역 네트워크를 통해 상기 사용자 단말에게 전송되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  4. 제1항에 있어서,
    상기 제2 전송 네트워크를 통해 제공된 상기 제2 비디오 패치들의 검출 구역의 크기는 상기 제1 전송 네트워크를 통헤 제공된 상기 제1 비디오 패치들의 검출 구역의 크기보다 큰 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  5. 제4항에 있어서,
    각각의 비디오 패치는 기저 계층이라 불리는 기저 비디오 데이터 계층과 증강 계층이라 불리는 적어도 하나의 추가 비디오 데이터 계층이 되도록 코딩되고, 또한 상기 비디오부의 기저 계층과 증강 계층 각각에 대해 검출 구역이 정의되고, 상기 가시 구역이 대응하는 검출 구역 내로 진입할 때에 상기 기저 계층 또는 상기 증강 계층의 프리페치가 요구되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 증강 계층의 검출 구역의 크기는 상기 기저 계층의 검출 구역의 크기보다 큰 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  7. 제5항 또는 제6항에 있어서,
    임계 속도라 불리는 상기 가시 구역의 변위 임계 속도는 상기 기저 계층과 연관되고, 상기 기저 계층의 검출 구역의 크기는 상기 제1 임계 속도에 따라서 결정되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  8. 제5항 또는 제6항에 있어서,
    제2 임계 속도라 불리는 상기 가시 구역의 변위 임계 속도는 상기 증강 계층과 연관되고, 상기 제2 임계 속도를 넘을 때는 상기 가시 구역이 상기 적어도 하나의 증강 계층의 검출 구역 내로 진입하더라도 상기 증강 계층이 상기 사용자 단말에서 프리페치되지 않는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 증강 계층의 검출 구역의 크기는 상기 제2 임계 속도에 따라서 결정되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  10. 제8항에 있어서,
    프리페치되지 않은 각각의 증강 계층에 대해서, 상기 가시 구역이 상기 증강 계층의 검출 구역 내로 진입하는 것과 상기 가시 구역이 상기 검출 구역으로부터 빠져나오는 것 사이에서, 상기 가시 구역의 순간 변위 속도와 상기 증강 구역과 연관된 상기 제2 임계 속도 간의 주기적 비교들이 행해지고, 상기 가시 구역의 순간 변위 속도가 상기 제2 임계 속도보다 작다면 상기 증강 계층의 프리페치가 요구되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  11. 제8항에 있어서,
    프리페치되지 않은 각각의 증강 계층에 대해서, 상기 가시 구역이 상기 증강 계층의 검출 구역 내로 진입하는 것과 상기 가시 구역이 상기 검출 구역으로부터 빠져나오는 것 사이에서, 상기 가시 구역의 순간 변위 속도와 상기 증강 구역과 연관된 상기 제2 임계 속도 간의 주기적 비교들이 행해지고, 상기 가시 구역의 순간 변위 속도가 상기 제2 임계 속도보다 크다면 상기 증강 계층의 프리페치의 종료가 요구되는 것을 특징으로 하는 네비게이션을 위한 사용자 단말 장치에서의 방법.
  12. 비디오 디코더를 포함하는 장치로서,
    파노라마 비디오 시퀀스에 걸쳐 있는 비디오 패치들을 네비게이션 지령들에 의해 선택하기 위한 수단;
    제1 전송 네트워크로부터 일부 제1 비디오 패치들을 수신하기 위한 수단;
    양방향 네트워크인 제2 전송 네트워크로부터 제2 비디오 패치들을 수신하기 위해 원격 서버에 요구들을 보내기 위한 수단;
    제2 전송 네트워크로부터 일부 제2 비디오 패치들을 수신하기 위한 수단; 및
    상기 제1 및 제2 비디오 패치들을 디코딩하고 표시하기 위한 수단
    을 포함하는 것을 특징으로 하는 장치.
KR1020110095275A 2010-09-22 2011-09-21 파노라마 장면에서의 네비게이션 방법 KR101819097B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1057601 2010-09-22
FR1057601 2010-09-22

Publications (2)

Publication Number Publication Date
KR20120088507A true KR20120088507A (ko) 2012-08-08
KR101819097B1 KR101819097B1 (ko) 2018-01-16

Family

ID=43920332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110095275A KR101819097B1 (ko) 2010-09-22 2011-09-21 파노라마 장면에서의 네비게이션 방법

Country Status (5)

Country Link
US (1) US9232257B2 (ko)
EP (1) EP2434772B1 (ko)
JP (1) JP5818603B2 (ko)
KR (1) KR101819097B1 (ko)
CN (1) CN102413376B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838687B1 (en) * 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
EP2824884A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client for smooth display of a panoramic video
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
DE102014205485A1 (de) * 2014-03-25 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
CN107197135B (zh) * 2016-03-21 2021-04-06 成都理想境界科技有限公司 一种视频生成方法及视频生成装置
CN109565610B (zh) * 2016-05-25 2021-03-30 皇家Kpn公司 处理全向视频的方法、装置以及存储介质
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20180007422A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
EP3485646B1 (en) * 2016-07-15 2022-09-07 Koninklijke KPN N.V. Streaming virtual reality video
EP3513562A1 (en) * 2016-09-14 2019-07-24 Koninklijke KPN N.V. Streaming virtual reality video
EP3535644B1 (en) 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video
US10176615B2 (en) * 2016-12-13 2019-01-08 Topcon Corporation Image processing device, image processing method, and image processing program
TWI634779B (zh) * 2016-12-14 2018-09-01 中華電信股份有限公司 Viewing angle control system and method for playing surround image through set-top box
CN108810574B (zh) * 2017-04-27 2021-03-12 腾讯科技（深圳）有限公司 一种视频信息处理方法及终端
EP3461132A1 (en) 2017-09-26 2019-03-27 Thomson Licensing Method and terminal for tile selection amongst a set of tiles
KR101881705B1 (ko) * 2017-11-24 2018-07-25 공간정보기술 주식회사 실내뷰 영상 기반의 파노라마 라벨링 시스템
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN110572203B (zh) * 2019-10-14 2020-12-29 中国科学院计算技术研究所 一种卫星通信中的用户切换方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075673A (en) 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
AU1250501A (en) 1999-09-10 2001-04-10 Quokka Sports, Inc. A system for distributing and delivering multiple streams of multimedia data
EP1087618A3 (en) 1999-09-27 2003-12-17 Be Here Corporation Opinion feedback in presentation imagery
US7006111B1 (en) 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
IL153164A0 (en) 2000-06-09 2003-06-24 Imove Inc Streaming panoramic video
JP3472273B2 (ja) 2001-03-07 2003-12-02 キヤノン株式会社 画像再生装置及び画像処理装置及び方法
JP2003111050A (ja) 2001-09-27 2003-04-11 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP3906685B2 (ja) 2001-12-25 2007-04-18 日本電気株式会社 ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
CN1162806C (zh) * 2002-03-07 2004-08-18 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法
US20050021779A1 (en) * 2003-04-29 2005-01-27 Ahamed Syed V. Localized knowledge-based intelligent network
WO2005055607A1 (en) 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
US7830965B2 (en) 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US8417939B2 (en) 2007-04-11 2013-04-09 The DIRECTV Goup, Inc. Method and apparatus for file sharing between a group of user devices with encryption-decryption information sent via satellite and the content sent separately
JP4935632B2 (ja) 2007-11-07 2012-05-23 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2009147571A (ja) 2007-12-13 2009-07-02 Nec Corp 映像配信システム、端末装置、プログラム、及び映像配信方法
CN101897178B (zh) 2008-10-10 2014-09-24 松下电器（美国）知识产权公司 视频输出设备和视频输出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image

Also Published As

Publication number Publication date
CN102413376B (zh) 2016-09-07
EP2434772A1 (en) 2012-03-28
KR101819097B1 (ko) 2018-01-16
JP5818603B2 (ja) 2015-11-18
CN102413376A (zh) 2012-04-11
JP2012070378A (ja) 2012-04-05
US9232257B2 (en) 2016-01-05
EP2434772B1 (en) 2014-01-22
US20120242781A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
KR101819097B1 (ko) 파노라마 장면에서의 네비게이션 방법
US20190141373A1 (en) Spatially-Segmented Content Delivery
EP3028472B1 (en) Providing tile video streams to a client
ES2905128T3 (es) Atributos de señalización para datos de vídeo transmitidos por red
EP1775953A1 (en) Switching between digital video streams using buffering of second digital video stream
US9392303B2 (en) Dynamic encoding of multiple video image streams to a single video stream based on user input
Jeppsson et al. Efficient live and on-demand tiled HEVC 360 VR video streaming
WO2009095080A1 (en) Method and apparatus for obtaining media over a communications network
Mavlankar et al. Video streaming with interactive pan/tilt/zoom
WO2019121163A1 (en) Method and terminal for managing a streaming session of an immersive video spatially tiled with a set of tiles and stored on a network equipment
US11871079B2 (en) Client and a method for managing, at the client, a streaming session of a multimedia content
WO2022222533A1 (zh) 视频播放方法、装置及系统、计算机可读存储介质
KR20230117609A (ko) 몰입형 비디오들에서의 비디오 트랙들의 변경

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant