KR20190018914A - 서버, 디스플레이장치 및 그 제어방법 - Google Patents

서버, 디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20190018914A
KR20190018914A KR1020170103655A KR20170103655A KR20190018914A KR 20190018914 A KR20190018914 A KR 20190018914A KR 1020170103655 A KR1020170103655 A KR 1020170103655A KR 20170103655 A KR20170103655 A KR 20170103655A KR 20190018914 A KR20190018914 A KR 20190018914A
Authority
KR
South Korea
Prior art keywords
image
view
divided
server
divided image
Prior art date
Application number
KR1020170103655A
Other languages
English (en)
Other versions
KR102336997B1 (ko
Inventor
김보은
김성현
김용덕
이종인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170103655A priority Critical patent/KR102336997B1/ko
Priority to US16/638,585 priority patent/US11303871B2/en
Priority to PCT/KR2018/008790 priority patent/WO2019035581A1/ko
Priority to EP18846089.3A priority patent/EP3648463A4/en
Publication of KR20190018914A publication Critical patent/KR20190018914A/ko
Application granted granted Critical
Publication of KR102336997B1 publication Critical patent/KR102336997B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명에 따른 서버에 있어서, 복수의 디스플레이장치와 통신하는 통신부와; 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하고, 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하도록 통신부를 제어하는 제어부를 포함한다.

Description

서버, 디스플레이장치 및 그 제어방법 {SERVER, DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 서버, 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 다중 스크린에서 360도영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법에 관한 것이다.
최근 VR(Virtual Reality)에 대한 관심이 증대되고 다양한 개인용 촬영기기가 출시되면서, 방송이나 영화 등에서 360도 컨텐츠의 제작이 기하급수적으로 증가하고 있다. 이러한 360도 컨텐츠는 HMD (Head Mounted Display)뿐만 아니라, PC, TV, 스마트폰 등 여러 디바이스에서 감상이 가능하다.
360도 컨텐츠는 시청자에게 전 방향의 뷰(view)를 감상할 수 있는 경험을 제공한다. 특히, 다중 스크린을 이용하여 360도 컨텐츠를 감상하는 경우 넓은 화각으로 몰입감 있는 시청 경험을 제공할 수 있다.
기존의 HMD에서는, 현재 사용자의 시점(viewpoint)에 따라 360도 영상의 일부를 전송 받아 재생하도록 한다. 그러나, 다중 스크린에서 360도 컨텐츠를 재생하기 위해서는, 각 스크린에 서로 다른 시점(view point)의 컨텐츠가 표시되어야 한다.
또한, 한정된 네트워크 상태에서는, 다중 스크린을 이용하여 360도 영상을 고화질로 재생하는 데 제약이 따른다.
따라서, 본 발명의 목적은, 다중 스크린에서 360도 영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360도영상을 고화질로 제공하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 서버에 있어서, 복수의 디스플레이장치와 통신하는 통신부와; 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하도록 통신부를 제어하는 제어부를 포함하는 서버에 의해 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다.
상기 제어부는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 해당 스크린으로 업데이트된 분할영상을 제공하도록 한다.
상기 제어부는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린에 대해 우선적으로 업데이트된 분할영상을 제공할 수 있다.
상기 제어부는, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하고, 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 레이아웃 정보를 이용하여 각 스크린으로 360도 영상의 분할영상을 제공할 수 있다.
상기 제어부는, 상기 각 스크린의 개별화각, 네트워크 상태, 송수신 주기 및 대역폭 중 적어도 하나에 기초하여 상기 디스플레이장치로 전송되는 분할영상의 데이터량을 결정할 수 있다. 이에 따라, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360동영상을 고화질로 제공할 수 있다.
상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하고, 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다.
상기 인스트럭션은, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 것을 포함할 수 있다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 디스플레이부와; 서버와 통신하는 통신부와; 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 수신된 분할영상을 입체에 매핑하고, 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 디스플레이부에 표시하도록 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다.
상기 제어부는, 상기 결정된 개별화각에 관한 정보를 상기 서버로 전송하고, 상기 전송된 개별화각에 관한 정보에 기초하여 생성된 상기 분할영상을 상기 서버로부터 수신할 수 있다. 이에 따라, 스크린의 시점 및 화각 정보를 서버로 제공하여, 360도영상 중 각 스크린에 대응하는 분할영상을 제공받을 수 있다.
상기 디스플레이장치는 사용자입력을 수신하는 입력수신부를 더 포함할 수 있고, 상기 제어부는, 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신할 수 있다. 이에 따라, 사용자컨트롤에 따라 변경된 스크린의 시점 및 화각 정보를 서버로 제공하여, 업데이트된 분할영상을 제공받을 수 있다.
상기 제어부는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하도록 상기 영상처리부를 제어할 수 있다. 이에 따라, 360도영상의 재생을 위해, 서버로부터 수신한 분할영상을 해당 스크린의 시점에 대응하는 구(Sphere)의 영역에 매핑하도록 한다.
상기 제어부는, 상기 수신된 분할영상 내부에 경계영역을 설정하고, 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 업데이트된 분할영상을 제공받도록 한다.
상기 제어부는, 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 서버로 상기 해당 분할영상의 업데이트를 요청할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린의 경우 우선적으로 업데이트된 분할영상을 요청할 수 있다.
상기 제어부는, 상기 서버로부터 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 수신하고, 상기 수신된 레이아웃 정보에 기초하여 분할영상을 수신할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 각 스크린은 레이아웃 정보를 이용하여 360도 영상의 분할영상을 제공받을 수 있다.
상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 수신된 분할영상을 입체에 매핑하고, 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다.
상기 목적은, 본 발명에 따라, 서버의 제어방법에 있어서, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하는 단계와; 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하는 단계와; 시점의 이동에 따른 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 단계를 포함하는 서버의 제어방법에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다.
상기 업데이트된 분할영상을 전송하는 단계는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하는 단계와; 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 해당 스크린으로 업데이트된 분할영상을 제공하도록 한다.
상기 업데이트된 분할영상을 전송하는 단계는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린에 대해 우선적으로 업데이트된 분할영상을 제공할 수 있다.
상기 방법은, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하는 단계와; 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하는 단계를 포함할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 레이아웃 정보를 이용하여 각 스크린으로 360도 영상의 분할영상을 제공할 수 있다.
상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하는 단계와; 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하는 단계와; 수신된 분할영상을 입체에 매핑하는 단계와; 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다.
상기 방법은, 사용자입력을 수신하는 단계와; 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 따라 변경된 스크린의 시점 및 화각 정보를 서버로 제공하여, 업데이트된 분할영상을 제공받을 수 있다.
상기 입체에 매핑하는 단계는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하는 단계를 포함할 수 있다. 이에 따라, 360도영상의 재생을 위해, 서버로부터 수신한 분할영상을 해당 스크린의 시점에 대응하는 구(Sphere)의 영역에 매핑하도록 한다.
상기 방법은, 상기 수신된 분할영상 내부에 경계영역을 설정하는 단계와; 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 업데이트된 분할영상을 제공받도록 한다.
상기한 바와 같이, 본 발명에 의하면, 다중 스크린에서 360도 영상을 재생 가능하도록 하는 효과가 있다. 또한, 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 제공 가능하다.
또한, 본 발명에 의하면, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360도영상을 고화질로 제공하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 2는 본 발명의 일실시예에 따른 다중 스크린에 360도영상을 프로젝션하는 예를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 360도영상으로부터 각 스크린에 대응하는 분할영상을 생성하는 예를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 각 스크린에 대응하는 분할영상을 구에 매핑하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다.
도 8은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 9는 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 10은 본 발명의 일실시예에 따른 디스플레이장치로 제공되는 분할영상의 예를 도시한 것이다.
도 11은 본 발명의 일실시예에 따른 프로젝션 영상이 분할영상의 범위를 초과하여 표시되는 경우를 도시한 예이다.
도 12는 본 발명의 일실시예에 따른 분할영상의 업데이트 시점을 도시한 예이다.
도 13은 본 발명의 일실시예에 따른 분할영상의 업데이트 시점을 도시한 예이다.
도 14는 본 발명의 일실시예에 따른 사용자컨트롤에 의한 화각의 변경에 대응하여 분할영상을 업데이트하는 예를 도시한 것이다.
도 15는 본 발명의 일실시예에 따른 사용자컨트롤에 따라 프로젝션 영상이 표시되는 예를 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 서버 및 다중 스크린 간 동작의 흐름도이다.
이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간의 구성을 도시한 예이다. 도 1에 도시된 바와 같이, 서버(10)는 스플리터(Splitter)(37)와 연결되고, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 스플리터(37)를 통해 병렬적으로 연결된다. 서버(10)는 LAN 또는 무선 통신방식을 이용하여 스플리터(37)와 통신하고, 상호간 360도영상(도 3의 부호 950 참조)의 컨텐츠 및 정보를 송수신한다. 여기서, 360도영상(950)는 둘 이상의 렌즈를 이용하여 각각 촬영된 둘 이상의 영상을 스티칭(Stitching) 방식으로 이어 붙여 제작한 것으로, 모든 방향에서 시청 가능하다.
스플리터(37)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각과 HDMI(High-Definition Multimedia Interface) 또는 DVI(Digital Visual Interface)를 통해 연결된다.
스플리터(37)는 서버(10)로부터 360도영상(950)의 각 프레임으로부터 생성된 복수의 분할영상(도 3의 부호 91, 92,... 참조)을 수신하고, 수신된 복수의 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34) 각각으로 분배하여 전송한다.
다른 경우에 있어, 스플리터(37)는 360도영상(950)을 저장하고 있는 USB 장치(381)과 연결될 수도 있다. 이 때, 스플리터(37)는 USB 장치(381)에 저장되어 있는 360도영상(950)을 수신하고, 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각에 대응하는 복수의 분할영상(91, 92, ...)을 생성하는 프로세스를 수행하고, 생성된 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다.
이 외에도 스플리터(37)는 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등의 장치와 연결되어, 각 장치에 저장된 360도영상(950) 혹은 기 처리된 복수의 분할영상(91, 92, ...)을 제공받아 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다.
도 2는 본 발명의 일실시예에 따른 다중 스크린에 360도영상을 프로젝션하는 예를 도시한 것이다. 도 2에 도시된 바와 같이, 다중 스크린(81, 82, 83,...)에서 360도영상(950)을 재생하기 위해, 각 스크린의 시점(813, 823, 833,...)에 대응하는 프로젝션 중심점(812, 822, 832, ...)을 기준으로 프로젝션 영상(811, 821, 831,...)을 생성하고, 이를 스크린(81, 82, 83, ...)에 표시한다. 이 때, 각 스크린의 시점(813, 823, 833,...) 및 화각은 각 스크린(81, 82, 83,...) 사이의 거리 및 스크린(81, 82, 83,...)의 크기를 이용하여 결정된다.
여기서, 스크린(81, 82, 83,...)에 표시되는 프로젝션 영상(811, 821, 831, ...)은 각 스크린(81, 82, 83,...)의 화각, 스크린의 시점(813, 823, 833,...) 및 다양한 프로젝션(projection) 방법 등을 이용하여 생성된다.
예로서, 도 15에 도시된 바와 같이, 화각이 큰 경우 360도영상(950) 의 넓은 영역에 해당하는 프로젝션 영상(901)을 생성하고, 화각이 작은 경우 360도영상(950)의 좁은 영역에 해당하는 프로젝션 영상(902)을 생성할 수 있다.
또한, 프로젝션 방법이 직선 투영법(rectilinear projection)인 경우, 구면의 일부분을 평면 이미지에 매핑하는 방식으로 프로젝션 영상(903)을 생성할 수 있다.
프로젝션 방법이 입체 투영법(stereographic projection)인 경우, 구 전체를 평면에 투사하는 방식으로 프로젝션 영상(904)를 생성할 수 있다.
상기와 같이, 각 스크린(81, 82, 83,...)에 사용되는 프로젝션 방법은, 스크린의 종횡비 및 곡률 등을 고려하여 적합한 방법으로 결정할 수 있다.
도 3은 본 발명의 일실시예에 따른 360도영상으로부터 각 스크린에 대응하는 분할영상을 생성하는 예를 도시한 것이다. 도 3에 도시된 바와 같이, 서버(10)는 360도영상(950)으로부터 각 스크린(81, 82, ...)에 대응하는 복수의 분할영상(91, 92, ...)을 생성한다. 이 때, 분할영상(91, 92, ...) 각각은 360도영상(950) 중 각 스크린(81, 82, ...)의 시점에 대응하는 영역을 잘라내는(crop) 방식으로 생성된다.
예로서, 6개의 스크린(81, 82, ...)으로 구성된 경우, 서버(10)는 8K 해상도를 가진 360도영상(950)이 저장되어 있는 상태에서, 매 프레임마다 4K 해상도를 가진 복수의 분할영상(91, 92, ...)을 각 스크린(81, 82, ...)에 대응하는 복수의 디스플레이장치(도 1의 부호 20, 30, ... 참조)로 전달할 수 있다. 이 때, 분할영상(91, 92, ...)은 360도영상(950)의 전체 영역 중 각 스크린(81, 82, ...)의 시점에 대응하는 위치를 중심점으로 하여 4K해상도에 해당되는 영역을 잘라낸 것이다.
서버(10)는 상기와 같이 360도영상(950)의 각 프레임으로부터 생성한 복수의 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, ...)로 전송한다.
여기서, 분할영상(91, 92, ...)의 전송시 스트리밍되는 데이터량을 줄이기 위해, 서버(10)는 360도영상(950)의 중앙 영역에 해당하는 분할영상은 고화질로, 나머지 영역에 해당하는 분할영상은 저화질로 생성할 수 있다. 이와 같은 방법 외에도, 분할영상(91, 92, ...)의 데이터량은 각 스크린(81, 82, ...)에 대응하는 디스플레이장치의 입력 제한 해상도, 네트워크 상태, 송수신 주기, 및 대역폭 중 적어도 하나를 고려하여 결정할 수 있다.
또한, 서버(10)는 복수의 디스플레이장치(20, 30, ...)로 복수의 분할영상(91, 92, ...)을 전송함에 있어, 분할영상의 중심점의 각도, 분할영상의 가로 및 세로 화각 등에 관한 정보를 함께 전송한다. 디스플레이장치(20, 30, ...)는 서버(10)로부터 전송된 정보를 이용하여 분할영상(91, 92, ...)을 구 형상(도 4의 부호 120 참조)에 매핑(mapping)하는 동작을 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 각 스크린에 대응하는 분할영상을 구에 매핑하는 예를 도시한 것이다. 도 4에 도시된 바와 같이, 서버(10)에 의해 360도영상(950)으로부터 각 스크린(81, 82, 83, ...)에 대응하는 분할영상(91, 92, 93, ...)이 생성된다. 분할영상(91, 92, 93,...)은 대응하는 각 스크린(81, 82, 83, ...)을 포함하는 디스플레이장치(도1 의 부호 20, 30, 31, ... 참조)로 전송된다.
디스플레이장치(20, 30, 31, ...)는 CPU(Central Processing Unit) 또는 GPU(Graphic Processing Unit)을 이용하여 서버(10)로부터 전송된 분할영상(91, 92, 93, ...)을 구 형상(120)에 텍스처 매핑(texture mapping)한다. 이 때, 디스플레이장치(20, 30, 31, ...)는 서버(10)로부터 제공된 분할영상(91, 92, 93, ...)의 중심점의 각도, 가로 및 세로 화각 등에 관한 정보를 이용하여 구 형상(120)에 각각의 분할영상(91, 92, 93, ...)을 매핑한다.
여기서, 분할영상(91, 92, 93, ...)이 360도영상(950)의 일부분인 경우 구 형상(12)의 일부분에만 매핑이 이루어지고, 360도영상(950)의 전체에 해당하는 경우 구 형상(120)의 전체에 대해 매핑이 이루어진다.
또한, 다른 경우에 있어, 360도영상(950)의 시청 형태, 스크린의 개수 및 배치형태 등에 따라, 분할영상(91, 92, 93, ...)을 구 형상(120)이 아닌 파노라마, 원통 또는 원뿔 형상 등에 매핑할 수도 있다.
도 5는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다. 도 5에 도시된 바와 같이, 서버(10)는 통신부(11), 제어부(12), 및 저장부(15)를 포함하고, 통신부(11)를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신한다. 이 때, 복수의 디스플레이장치(20, 30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 서버(10)의 구성은 이에 한정되지 않고, 예컨대, 서버(10)가 디스플레이장치로 마련되는 경우 영상수신부(미도시), 영상처리부(미도시) 및 디스플레이부(미도시)의 구성을 더 포함할 수 있다.
통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(11)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 복수의 디스플레이장치(20, 30, 31,...)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신할 수 있다. 통신부(11)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다.
일실시예로서, 통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(11)는 스플리터(37)로 데이터를 송신하여, 스플리터(37)가 복수의 디스플레이장치(20, 30, 31,...)로 데이터를 분배하여 전송하도록 할 수 있다.
저장부(15)는 외부장치로부터 입력된 360도영상(950)을 저장한다. 저장부(15)는 저장된 360도영상(950)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(15)는 서버(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.
제어부(12)는 각 스크린(81, 82, 83, ...)의 개별화각에 관한 정보를 수신한다. 각 스크린(81, 82, 83, ...)의 개별화각은 사용자컨트롤에 의한 시점에 대응하여 결정된다.
이 때, 각 스크린(81, 82, 83, ...)의 개별화각에 관한 정보는 복수의 디스플레이장치(20, 30, 31, ...) 중 사용자가 컨트롤하는 디스플레이장치(20)에 대한 시점 이동 명령에 따라 수신될 수 있다. 다른 경우에 있어, 개별화각에 관한 정보는 서버(10) 및 복수의 디스플레이장치(20, 30, 31, ...) 중 적어도 하나의 동작을 제어하는 사용자입력 기기, 예컨대 리모컨 등으로부터 수신되는 제어신호에 포함될 수도 있다.
제어부(12)는 복수의 프레임으로 구성된 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, ...)의 각 스크린(81, 82, 83, ...)의 개별화각에 대응하는 복수의 분할영상(91, 92, 93, ...)을 생성한다. 이 때, 360도영상(950)은 저장부(15)에 저장되어 있거나, 예컨대 서버(10)에 연결된 USB 장치(381), 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등으로부터 수신될 수도 있다.
제어부(12)는 프레임별로 생성된 복수의 분할영상(91, 92, 93, ...)을 대응하는 디스플레이장치(20, 30, 31, ...)로 전송한다.
또한, 제어부(12)는 디스플레이장치(20, 30, 31, ...)로부터 사용자컨트롤에 따라 변경된 개별화각에 관한 정보를 수신하면, 360도영상(950) 중 변경된 개별화각에 대응하는 영역으로 분할영상(91, 92, 93, ...)을 업데이트한다.
도 6은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 6에 도시된 바와 같이, 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 복수의 디스플레이장치(30, 31,...)와 통신한다. 이 때, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다.
통신부(21)는 서버(10)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(21)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 서버(10)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 서버(10)와 통신할 수 있다. 통신부(21)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다.
일실시예로서, 통신부(21)는 서버(10)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(21)는 서버(10)로부터 수신되는 데이터를 스플리터(37)를 통해 분배하여 제공받을 수 있다.
입력수신부(26)는 디스플레이장치(20)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 예로서, 입력수신부(26)는 디스플레이부(24)에 표시되는 사용자 인터페이스(User Interface)의 일부를 선택하기 위한 사용자입력을 수신할 수 있다. 입력수신부(26)는 디스플레이장치(20)의 외측에 구비된 입력패널의 형태로 구현되거나 디스플레이장치(20)와 적외선 방식으로 통신하는 리모트 컨트롤러로 구현될 수 있다. 또한, 입력수신부(26)는 디스플레이장치(20)와 연결되는 키보드, 마우스 등으로 구현될 수 있고, 디스플레이장치(20)에 마련되는 터치스크린으로 구현될 수도 있다.
저장부(25)는 서버(10)로부터 수신되는 분할영상(91)을 저장한다. 분할영상(91)은 360도영상(950)의 전체영역 중 스크린(81)의 개별화각에 대응하는 영역을 잘라내는 방식으로 얻어진다. 저장부(25)는 저장된 분할영상(91)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(25)는 디스플레이장치(20)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.
영상처리부(23)는 저장부(25)에 저장된 분할영상(91)에 대해 영상처리 프로세스를 수행한다. 또한, 영상처리부(23)는 구 형상(120)에 매핑된 분할영상(91)으로부터 스크린(81)의 개별화각에 대응하여 생성되는 프로젝션 영상(811)에 대해 영상처리 프로세스를 수행한다. 영상처리부(23)에서 수행하는 영상처리의 예로서, 디멀티플렉싱(demultiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(23)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.
디스플레이부(24)는 영상처리부(23)에서 처리된 영상신호에 기초하여 영상을 표시하는 스크린(81)을 포함한다. 디스플레이부(24)의 구현 방식은 한정되지 않는 바, PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.
제어부(22)는 입력수신부(26)에서 수신된 사용자입력에 따른 시점에 기초하여 복수의 스크린(81, 82, 83, ...) 중 디스플레이장치(20)에 대응하는 스크린(81)의 개별화각을 결정한다.
제어부(22)는 결정된 개별화각에 대한 정보를 서버(10)로 전송한다. 제어부(22)는 복수의 프레임으로 구성된 360도영상(950)의 각 프레임으로부터 전송된 개별화각에 대응하여 얻어진 분할영상(91)을 서버(10)로부터 수신한다.
제어부(22)는 서버(19)로부터 수신된 분할영상(91)을 구 형상(120) 에 매핑한다. 이 때, 제어부(22)는 서버(10)로부터 제공되는 분할영상(91)의 중심점의 각도, 가로 및 세로 화각 등에 관한 정보를 이용하여 구 형상(120)의 대응하는 영역에 분할영상(91)을 매핑한다.
제어부(22)는 매핑된 분할영상(91)로부터 개별화각에 대응하는 프로젝션 영상(811)을 생성하여 디스플레이부(24)에 표시하도록 영상처리부(23)를 제어한다.
여기서, 제어부(22)는 수신되는 사용자입력에 따라 개별화각이 변경되는 경우, 서버(10)로부터 개별화각의 변경에 대응하여 업데이트된 분할영상(91)을 수신한다. 이에 따라, 제어부(22)는 업데이트된 분할영상(91)에 대응하여 변경된 프로젝션 영상(811)을 디스플레이부(24)에 표시하도록 한다.
도 7은 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다. 도 7에 도시된 바와 같이, 먼저 동작 S701에서, 서버(10)는 디스플레이장치(20)로부터 스크린(81)의 개별화각에 관한 정보를 수신한다.
다음으로, 동작 S702에서, 서버(10)는 360도영상(950)으로부터 스크린(81)의 개별화각에 대응하는 분할영상(91)을 생성한다. 여기서, 스크린(81)의 개별화각은 디스플레이장치(20)에서 사용자의 입력에 따른 시점에 의해 결정된다.
동작 S703에서는, 서버(10)는 프레임별로 생성된 분할영상(91)을 대응하는 디스플레이장치(20)로 전송한다.
동작 S704에서, 디스플레이장치(20)는 분할영상(91)을 구 형상(120)에 매핑한다. 다음으로, 동작 S705에서, 디스플레이장치(20)는 매핑된 분할영상(91)으로부터 개별화각에 대응하는 프로젝션 영상(도 2의 부호 811 참조)을 생성하여 표시한다.
이 때, 디스플레이장치(20)는 프로젝션 영상(811)을 생성하기 위해, 예컨대 직선 투영법(rectilinear projection) 또는 입체 투영법(stereographic projection)을 적용할 수 있다. 상기와 같은 프로젝션 방법 외에도, 스크린의 종횡비 및 곡률 등을 고려하여 다양한 방법으로 투영할 수 있다.
동작 S706에서, 서버(10)는 사용자입력에 따라 변경된 개별화각에 관한 정보를 수신한다. 다음으로, 동작 S707에서, 서버(10)는 개별화각의 변경에 대응하여 분할영상(91)을 업데이트한다. 마지막으로, 동작 S708에서, 서버(10)는 업데이트된 분할영상(91)을 디스플레이장치(20)로 전송한다.
상기와 같이, 본 발명에 의하면 다중 스크린에서 360도 영상을 각 스크린의 시점에 대응하도록 재생할 수 있다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다.
도 8은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다. 도 8에 도시된 바와 같이, 서버(10)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 중 하나의 디스플레이장치(20)와 연결된다. 이 때, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 직렬적으로 연결되고, 예컨대 데이지 체인(daisy chain) 방식으로 서버(10)에 연결된 디스플레이장치(20)가 다른 디스플레이장치(30, 31, 32, 33, 34)로 신호를 바이패스(bypass)하도록 한다.
서버(10)는 LAN 또는 무선 통신방식을 이용하여 디스플레이장치(20)와 통신하고, 상호간 360도영상(950)의 컨텐츠 및 정보를 송수신한다.
일실시예로서, 서버(10)는 8K 해상도를 가지는 360도영상(950)의 하나의 프레임과 360도영상(950)에 대한 레이아웃 정보를 디스플레이장치(20)로 전송할 수 있다. 여기서, 레이아웃 정보는 360도영상(950)의 해당 프레임 중 복수의 스크린(81, 82, 83, ...) 각각에 대응하는 분할영상(91, 92, 93, ...)의 위치 및 크기에 관한 정보를 포함한다.
이 때, 디스플레이장치(20)는 서버(10)로부터 수신된 레이아웃 정보에 기초하여, 360도영상(950)의 프레임으로부터 해당 스크린(81)에 대응하는 영역을 잘라내는 방식으로 분할영상(91)을 생성할 수 있다.
다음으로, 디스플레이장치(20)는 서버(10)로부터 수신한 360도영상(950) 및 레이아웃 정보를 연결되어 있는 제1디스플레이장치(30)로 전달한다.
제1디스플레이장치(30)는 디스플레이장치(20)로부터 전달받은 레이아웃 정보에 기초하여 360도영상(950)의 프레임으로부터 해당 스크린(82)에 대응하는 영역을 잘라내어 분할영상(92)을 생성할 수 있다.
마찬가지로, 제1디스플레이장치(30)는 제2디스플레이장치(31)로 360도영상(950) 및 레이아웃 정보를 전달하여, 제2디스플레이장치(32)가 대응하는 분할영상(93)을 생성할 수 있도록 한다.
상기와 같이, 서버(10)에 대해 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)가 직렬적으로 연결된 경우, 하나의 디스플레이장치(20)가 서버(10)로부터 제공된 360도영상(950) 및 레이아웃 정보를 연결되어 있는 다른 제1디스플레이장치(30)로 바이패스하는 방식으로 각 디스플레이장치(20, 30, 31, 32, 33, 34)가 분할영상을 생성하도록 한다.
또한, 디스플레이장치(20)는 360도영상(950)을 저장하고 있는 USB 장치(381), 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등과 연결될 수도 있다. 이 때, 디스플레이장치(20)는 USB 장치(381) 등에 저장되어 있는 360도영상(950)을 수신하고, 서버(10)로부터 수신한 레이아웃 정보에 기초하여 360도영상(950)으로부터 분할영상(91)을 생성할 수 있다.
다른 실시예로서, 네트워크 상태 및 디스플레이장치(20)의 입력 해상도를 고려하여, 서버(10)가 디스플레이장치(20)로 전송하는 360도영상(950)의 데이터량을 조정할 수 있다.
예로서, 도 10에 도시된 바와 같이, 디스플레이장치(20)가 4K 해상도의 영상만을 수신 가능한 경우, 서버(10)는 디스플레이장치(20)로 8K 해상도의 360도영상(950) 중 일부에 해당하는 4K 해상도의 통합영상(도 10의 부호 110 참조)을 전송할 수 있다.
즉, 서버(10)는 360도영상(950) 중 각각 2/3K 해상도에 해당하는 영역을 잘라내는 방식으로 복수의 분할영상(91, 92, 93, 94, 95, 96)을 생성하고, 이를 통합한 4K 해상도의 통합영상(110)과 레이아웃 정보를 디스플레이장치(20)로 전달할 수 있다. 이에 따라, 디스플레이장치(20)는 레이아웃 정보에 기초하여 통합영상(110) 중 대응하는 2/3K 해상도의 분할영상(91)을 제공받도록 한다. 마찬가지로 다른 디스플레이장치(30, 31, 32, 33, 34) 또한 데이지 체인 방식으로 전달되는 4K 해상도의 통합영상(110)으로부터 해당되는 2/3K 해상도의 분할영상(92, 93, 94, 95, 96)을 제공받을 수 있다.
도 9는 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 9에 도시된 바와 같이, 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 디스플레이장치(30)와 통신한다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다. 여기서, 디스플레이장치(20)의 구성 각각은 도 6의 구성과 동일하므로, 반복되는 설명은 생략하고, 차이가 있는 특징에 대해서만 설명하기로 한다.
도시된 구성에서, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 직렬적으로 연결되고, 예컨대, 데이지 체인 방식으로 연결된다.
즉, 디스플레이장치(20)는 서버(10)로부터 전달받은 신호 및 데이터를 제1디스플레이장치(30)로 전달하고, 제1디스플레이장치(30)는 다시 제2디스플레이장치(31)로 전달한다.
일실시예로서, 제어부(22)는 복수의 디스플레이장치(20, 30, 31, ...)에 대응하는 복수의 분할영상(91, 92, ...)을 통합한 통합영상(도 10의 부호 110 참조)을 서버(10)로부터 수신할 수 있다.
이 때, 제어부(22)는 통합영상(110)과 함께 통합영상(110)에 관한 레이아웃 정보를 서버(10)로부터 수신할 수 있고, 레이아웃 정보를 이용하여 통합영상(110)으로부터 해당 분할영상(91)을 획득할 수 있다. 여기서, 레이아웃 정보는, 통합영상(110) 중 복수의 스크린(81, 82, ...) 각각에 대응하는 분할영상(91, 92, ...)의 위치 및 크기에 관한 정보를 포함한다.
또한, 제어부(22)는 상기와 같이 서버(10)로부터 수신한 통합영상(110) 및 레이아웃 정보를 연결되어 있는 제1디스플레이장치(30)로 전달한다. 이에 따라, 제1디스플레이장치(30)가 디스플레이장치(20)로부터 전달된 레이아웃 정보를 이용하여 통합영상(110)으로부터 대응하는 분할영상(92)를 획득하도록 한다.
도 11은 본 발명의 일실시예에 따른 프로젝션 영상이 분할영상의 범위를 초과하여 표시되는 경우를 도시한 예이다. 도 11에 도시된 바와 같이, 디스플레이장치(20)는 서버(10)로부터 360도영상(950)의 각 프레임으로부터 생성된 분할영상(91)을 수신한다.
디스플레이장치(20)는 수신한 분할영상(91) 중 스크린(81)에 표시될 영역을 계산하여 프로젝션 영상(811)을 생성한다. 이 때, 스크린(81)에 표시되는 영역은 스크린(81)의 시점, 화각 및 프로젝션 방법 등을 이용하여 계산된다.
프로젝션 영상(811)을 안정적으로 표시하기 위해, 분할영상(91)의 경계 내측에 일정 폭의 범위를 가지도록 경계영역(102)을 설정한다.
즉, 디스플레이장치(20)가 서버(10)로부터 소정 주기로 분할영상(91)을 수신하는 동안 분할영상(91)의 업데이트를 요청한 후 수신할 때까지 소요되는 시간을 보장할 수 정도로, 분할영상(91)의 경계와 경계영역(102) 사이의 폭을 설정한다.
예로서, 10초 주기로 분할영상(91)을 수신하는 경우, 처음 10초 구간에서 수신되는 분할영상(91)이 업데이트되는 다음 10초 구간이 될 때까지 프로젝션 영상(811)을 오류 없이 안정적으로 표시할 수 있도록 분할영상(91)의 경계와 경계영역(102) 사이의 폭을 설정할 수 있다.
도시된 예에서, 사용자컨트롤에 의해 스크린(81)의 시점 또는 화각이 변경되는 경우, 프로젝션 영상(811)은 수신되는 분할영상(91)의 경계영역(102)을 초과하여 표시될 수 있다. 여기서, 프로젝션 영상(811)이 경계영역(102)을 초과하는지 여부는 스크린(81)에서 연산하여 서버(10)로 전달되거나, 서버(10) 자체에서 연산할 수 있다.
상기와 같이, 프로젝션 영상(811)이 분할영상(91)의 경계영역(102)을 초과하여 표시되는 경우, 네트워크 상태를 고려하여 분할영상(91)의 업데이트 방식을 결정할 수 있다.
예로서, 도 12에 도시된 바와 같이, 네트워크가 원활하지 않은 상태에서 10초 주기로 단위 프레임의 분할영상(91)을 수신하는 동안 프로젝션 영상(811)이 경계영역(102)을 초과하여 표시되는 경우, 서버(10)로 해당 스크린(81)에 대응하는 분할영상(91)의 업데이트를 우선적으로 요청할 수 있다.
이 때, 서버(10)는 상기 요청에 대해, 해당 스크린(81)의 시점의 변화에 대응하는 분할영상(91)을 업데이트하여 스크린(81)으로 전송한다.
이 경우, 해당 스크린(81)을 제외한 나머지 스크린(82, 83)에 대해서는, 10초가 경과된 다음 주기에 업데이트된 분할영상(92, 93)을 수신하거나, 네트워크 상태가 회복된 이후에 수신하도록 한다.
다른 예로서, 도 13에 도시된 바와 같이, 네트워크가 양호한 상태에서 10초 주기로 단위 프레임의 분할영상(91)을 수신하는 동안 프로젝션 영상(811)이 경계영역(102)을 초과하여 표시되는 경우, 서버(10)로 해당 스크린(81)뿐만 아니라, 해당 스크린(81)과 연결되어 있는 나머지 스크린(82, 83)에 대응하는 분할영상(91, 92, 93)의 업데이트를 동시에 요청할 수 있다.
이 때, 서버(10)는 상기 요청에 대해, 해당 스크린(81)의 시점의 변화에 기초하여 복수의 분할영상(91, 92, 93)을 업데이트하고 이를 각 스크린(81, 82, 83)으로 전송한다.
이 경우, 프로젝션 영상(811)이 분할영상의 경계영역(102)를 초과한 스크린(81)뿐만 아니라 나머지 스크린(82, 83)에 대해서도, 10초가 경과되기 이전에 업데이트된 분할영상(91, 92, 93)을 동시에 수신하도록 한다.
도 14는 본 발명의 일실시예에 따른 사용자컨트롤에 의한 화각의 변경에 대응하여 분할영상을 업데이트하는 예를 도시한 것이다. 도 14에 도시된 바와 같이, 사용자컨트롤에 의해 줌 인(zoom in) 상태가 되면, 스크린(81)에는 축소된 프로젝션 영상(181)이 표시되고, 줌 아웃(zoom out) 상태가 되면 확대된 프로젝션 영상(182)이 표시된다.
따라서, 줌 인 상태의 프로젝션 영상(181)은 분할영상(91)의 경계영역(102)을 초과할 가능성이 적어지고, 줌 아웃 상태의 프로젝션 영상(182)은 분할영상(91)의 경계영역(102)을 초과할 가능성이 커지게 된다.
이에 따라, 줌 인 및 줌 아웃 여부에 따라 분할영상(91)의 크기를 조정함에 의해, 스크린(81) 상에 영상이 정상적으로 표시되도록 할 수 있다.
즉, 줌 인 상태의 프로젝션 영상(181)에 대해서는 분할영상(91)의 크기를 축소하고, 줌 아웃 상태의 프로젝션 영상(182)에 대해서는 분할영상(91)의 크기를 확대하도록 서버(10)로 요청한다. 이와 같은 방법에 의해, 줌 인 또는 줌 아웃에 따라 스크린(81)에 영상이 비정상적으로 표시되는 경우가 발생하지 않도록 한다.
도 16은 본 발명의 일실시예에 따른 서버 및 다중 스크린 간 동작의 흐름도이다. 도 16에 도시된 바와 같이, 먼저 동작 S160에서, 다중 스크린의 크기, 곡률 및 연결상태 등을 감지한다. 동작 S161에서는, 감지된 다중 스크린의 정보에 기초하여 각 스크린의 시점, 화각 및 프로젝션 방법을 결정한다.
다음으로, 동작 S162에서, 서버는 결정된 각 스크린의 시점, 화각 및 프로젝션 방법에 기초하여 각 스크린에 전달할 분할영상을 생성하여 전송한다.
동작 S163에서는, 각 스크린 또는 서버가 각 스크린에 표시될 영역을 계산하여 프로젝션 영상을 생성한다.
다음으로, 동작 S164에서, 프로젝션 영상이 분할영상의 경계영역을 초과하여 표시되는지 여부를 판단한다.
동작 S164의 판단 결과, 프로젝션 영상이 분할영상의 경계영역을 초과하는 경우, 동작 S162에서, 서버가 각 스크린에 대응하는 분할영상을 다시 생성하여 전송하도록 한다.
동작 S164의 판단 결과, 프로젝션 영상이 분할영상의 경계영역을 초과하지 않는 경우, 동작 S165에서, 각 스크린은 분할영상을 이용하여 구에 대해 텍스처 매핑을 수행한다.
다음으로, 동작 S166에서, 각 스크린은 매핑된 결과로부터 프로젝션 영상을 렌더링하여 표시한다.
동작 S167에서, 리모컨, 터치 및 모션센서 등에 의한 사용자입력을 수신하면, 동작 S168에서, 사용자입력에 의해 각 스크린의 시점, 화각 및 프로젝션 방법이 변경된다. 이 경우, 동작 S162에서, 서버가 각 스크린에 대응하는 분할영상을 다시 생성하여 전송하도록 한다.
상기와 같은 본 발명의 실시예에 따라, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다. 또한, 각 스크린에서 프로젝션 및 렌더링을 동시에 진행하므로 서버의 부담을 저감시킬 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.
10: 서버
11: 통신부
12: 제어부
15: 저장부
20: 디스플레이장치
21: 통신부
22: 제어부
23: 영상처리부
24: 디스플레이부
25: 저장부
26: 입력수신부
30: 제1디스플레이장치
31: 제2디스플레이장치
81, 82, 83, ...: 스크린
91, 92, 93, ...: 분할영상
102: 경계영역
120: 구 형상
811: 프로젝션 영상
950: 360도영상

Claims (20)

  1. 서버에 있어서,
    복수의 디스플레이장치와 통신하는 통신부와;
    복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하도록 상기 통신부를 제어하는 제어부를 포함하는 서버.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 서버.
  3. 제 1항에 있어서,
    상기 제어부는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송하는 서버.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하고, 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하고,
    상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 서버.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 각 스크린의 개별화각, 네트워크 상태, 송수신 주기 및 대역폭 중 적어도 하나에 기초하여 상기 디스플레이장치로 전송되는 분할영상의 데이터량을 결정하는 서버.
  6. 컴퓨터프로그램제품에 있어서,
    인스트럭션이 저장된 메모리와;
    프로세서를 포함하고,
    상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 것을 포함하는 컴퓨터프로그램제품.
  7. 제 6항에 있어서,
    상기 인스트럭션은, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 것을 포함하는 컴퓨터프로그램제품.
  8. 디스플레이장치에 있어서,
    영상신호를 처리하는 영상처리부와;
    디스플레이부와;
    서버와 통신하는 통신부와;
    사용자입력에 따른 시점에 기초하여 복수의 스크린 중 상기 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 상기 서버로부터 수신하고, 상기 수신된 분할영상을 입체에 매핑하고, 상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 상기 디스플레이부에 표시하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
  9. 제 8항에 있어서,
    상기 제어부는, 상기 결정된 개별화각에 관한 정보를 상기 서버로 전송하고, 상기 전송된 개별화각에 관한 정보에 기초하여 생성된 상기 분할영상을 상기 서버로부터 수신하는 디스플레이장치.
  10. 제 8항에 있어서,
    사용자입력을 수신하는 입력수신부를 더 포함하고,
    상기 제어부는, 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 디스플레이장치.
  11. 제 8항에 있어서,
    상기 제어부는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하도록 상기 영상처리부를 제어하는 디스플레이장치.
  12. 제 8항에 있어서,
    상기 제어부는, 상기 수신된 분할영상 내부에 경계영역을 설정하고, 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시하는 디스플레이장치.
  13. 제 8항에 있어서,
    상기 제어부는, 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 서버로 상기 해당 분할영상의 업데이트를 요청하는 디스플레이장치.
  14. 제 8항에 있어서,
    상기 제어부는, 상기 서버로부터 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 수신하고, 상기 수신된 레이아웃 정보에 기초하여 분할영상을 수신하고,
    상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 디스플레이장치.
  15. 컴퓨터프로그램제품에 있어서,
    인스트럭션이 저장된 메모리와;
    프로세서를 포함하고,
    상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 상기 수신된 분할영상을 입체에 매핑하고, 상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품.
  16. 서버의 제어방법에 있어서,
    복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하는 단계와;
    상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하는 단계와;
    시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 단계를 포함하는 서버의 제어방법.
  17. 제 16항에 있어서,
    상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하는 단계와;
    상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 단계를 포함하는 서버의 제어방법.
  18. 제 16항에 있어서,
    상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하는 단계와;
    상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하는 단계를 포함하고,
    상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 서버의 제어방법.
  19. 디스플레이장치의 제어방법에 있어서,
    사용자입력에 따른 시점에 기초하여 복수의 스크린 중 상기 디스플레이장치에 대응하는 스크린의 개별화각을 결정하는 단계와;
    복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하는 단계와;
    상기 수신된 분할영상을 입체에 매핑하는 단계와;
    상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 제 19항에 있어서,
    사용자입력을 수신하는 단계와;
    상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 단계를 포함하는 디스플레이장치의 제어방법.
KR1020170103655A 2017-08-16 2017-08-16 서버, 디스플레이장치 및 그 제어방법 KR102336997B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170103655A KR102336997B1 (ko) 2017-08-16 2017-08-16 서버, 디스플레이장치 및 그 제어방법
US16/638,585 US11303871B2 (en) 2017-08-16 2018-08-02 Server and display apparatus, and control methods thereof
PCT/KR2018/008790 WO2019035581A1 (ko) 2017-08-16 2018-08-02 서버, 디스플레이장치 및 그 제어방법
EP18846089.3A EP3648463A4 (en) 2017-08-16 2018-08-02 SERVER, DISPLAY DEVICE AND CONTROL METHOD THEREFOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170103655A KR102336997B1 (ko) 2017-08-16 2017-08-16 서버, 디스플레이장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190018914A true KR20190018914A (ko) 2019-02-26
KR102336997B1 KR102336997B1 (ko) 2021-12-08

Family

ID=65361897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103655A KR102336997B1 (ko) 2017-08-16 2017-08-16 서버, 디스플레이장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US11303871B2 (ko)
EP (1) EP3648463A4 (ko)
KR (1) KR102336997B1 (ko)
WO (1) WO2019035581A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119123B1 (ko) * 2019-08-14 2020-06-04 (주)모스트 콘텐츠 O.s.t. 콘서트용 영상파일 제작 및 제어방법
WO2024058369A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346682A (zh) * 2019-08-09 2021-02-09 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
KR20220021229A (ko) * 2020-08-13 2022-02-22 삼성전자주식회사 디스플레이 장치
CN111988650B (zh) * 2020-08-14 2022-11-04 乐视新生代(北京)文化传媒有限公司 立体屏幕的视频播放方法、装置、设备和存储介质
CN114416000B (zh) * 2021-12-29 2024-02-20 上海赫千电子科技有限公司 一种应用于智能汽车的多屏互动方法、多屏互动系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109160A (ja) * 2004-10-06 2006-04-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP2013030161A (ja) * 2011-06-20 2013-02-07 Fujifilm Corp 画像処理装置、画像処理方法および画像処理プログラム
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
WO2016191467A1 (en) * 2015-05-27 2016-12-01 Google Inc. Capture and render of panoramic virtual reality content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6669346B2 (en) * 2000-05-15 2003-12-30 Darrell J. Metcalf Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action
US8724868B2 (en) * 2009-10-12 2014-05-13 Capso Vision, Inc. System and method for display of panoramic capsule images
US20130181901A1 (en) * 2012-01-12 2013-07-18 Kanye Omari West Multiple Screens for Immersive Audio/Video Experience
US9894422B2 (en) * 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
GB2523555B (en) 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
KR102229927B1 (ko) 2014-08-01 2021-03-22 주식회사 엘지유플러스 멀티스크린 시스템, 영상분할서버 및 그 영상분할방법, 분할영상단말기 및 멀티스크린 제어방법
KR101602879B1 (ko) * 2014-09-30 2016-03-21 삼성전자주식회사 멀티 디스플레이 시스템을 위한 미디어 처리 방법 및 장치
KR20160054249A (ko) 2014-11-06 2016-05-16 삼성전자주식회사 멀티 디스플레이 시스템 및 방법
US11727645B2 (en) * 2016-04-27 2023-08-15 Immersion Device and method for sharing an immersion in a virtual environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109160A (ja) * 2004-10-06 2006-04-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP2013030161A (ja) * 2011-06-20 2013-02-07 Fujifilm Corp 画像処理装置、画像処理方法および画像処理プログラム
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
WO2016191467A1 (en) * 2015-05-27 2016-12-01 Google Inc. Capture and render of panoramic virtual reality content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119123B1 (ko) * 2019-08-14 2020-06-04 (주)모스트 콘텐츠 O.s.t. 콘서트용 영상파일 제작 및 제어방법
WO2024058369A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US11303871B2 (en) 2022-04-12
EP3648463A1 (en) 2020-05-06
WO2019035581A1 (ko) 2019-02-21
US20200221061A1 (en) 2020-07-09
KR102336997B1 (ko) 2021-12-08
EP3648463A4 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
KR102336997B1 (ko) 서버, 디스플레이장치 및 그 제어방법
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US9781356B1 (en) Panoramic video viewer
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US20180309982A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
EP3065049A2 (en) Interactive video display method, device, and system
US8762846B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
US11317072B2 (en) Display apparatus and server, and control methods thereof
US20190335166A1 (en) Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
TWI572203B (zh) 媒體串流系統、控制方法及非暫態電腦可讀取儲存媒體
KR102257132B1 (ko) 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들
JP6628343B2 (ja) 装置および関連する方法
US20230018560A1 (en) Virtual Reality Systems and Methods
JP2022051978A (ja) 画像処理装置、画像処理方法、及び、プログラム
US20220113675A1 (en) Delivering pre-rendered holographic content over a network
TWI501646B (zh) 建立３維視訊顯示器中的圖形平面之ｚ軸位置
US20120268576A1 (en) Electronic apparatus, display control method and recording medium
US20220239895A1 (en) Display apparatus and control method thereof
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right