KR20180019421A - 영상 표시 장치 및 그 동작방법 - Google Patents

영상 표시 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20180019421A
KR20180019421A KR1020160103756A KR20160103756A KR20180019421A KR 20180019421 A KR20180019421 A KR 20180019421A KR 1020160103756 A KR1020160103756 A KR 1020160103756A KR 20160103756 A KR20160103756 A KR 20160103756A KR 20180019421 A KR20180019421 A KR 20180019421A
Authority
KR
South Korea
Prior art keywords
angle
view
information
degree
image
Prior art date
Application number
KR1020160103756A
Other languages
English (en)
Other versions
KR102567002B1 (ko
Inventor
김영일
장정록
김정래
최길수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160103756A priority Critical patent/KR102567002B1/ko
Priority to US15/673,924 priority patent/US11062423B2/en
Priority to PCT/KR2017/008722 priority patent/WO2018034462A1/en
Priority to EP17841645.9A priority patent/EP3375197B1/en
Priority to JP2019506662A priority patent/JP6746772B2/ja
Priority to CN201710702848.2A priority patent/CN107770627B/zh
Publication of KR20180019421A publication Critical patent/KR20180019421A/ko
Application granted granted Critical
Publication of KR102567002B1 publication Critical patent/KR102567002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들에 따라 영상 표시 장치 및 영상 표시 장치의 동작 방법이 개시된다. 개시된 영상 표시 장치는, 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 360도 컨텐츠 및 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하고, 상기 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어한다.

Description

영상 표시 장치 및 그 동작방법{Image display apparatus and operating method for the same}
다양한 실시예들은 영상 표시 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 360도 영상을 표시하는 영상 표시 장치 및 그 동작방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 영상표시장치는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 최근에는 디지털 방송 기능에 더하여 다양한 컨텐츠를 제공하는 스마트 티브이가 제공되고 있다. 스마트 티브이는 사용자의 선택에 따라 수동적으로 동작하는 것이 아니라, 사용자의 조작 없이도 사용자가 원하는 것을 분석하여 제공하는 것을 목표로 한다.
다양한 실시예들은, 360도 영상의 재생에 이용되는 화각 정보를 효과적으로 관리할 수 있는 영상 표시 장치 및 영상 표시 장치의 동작방법을 제공하고자 한다.
일 실시예에 따른 영상 표시 장치는, 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 360도 컨텐츠 및 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하고, 상기 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어한다.
일 실시예에 따라 상기 각 화각 값은, 화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 높이 정보, 및 줌 크기 정보를 포함할 수 있다.
일 실시예에 따라 영상 표시 장치는 통신 인터페이스를 더 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 화각 정보를 외부 컴퓨터로부터 수신하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시예에 따라 화각 정보는, 상기 360도 컨텐츠에 대응하는 복수의 화각 정보 중에서, 미리 정한 기준에 따라 추천된 화각 정보일 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 화각 정보를, 상기 360도 컨텐츠의 파일로부터 추출하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로부터 획득할 수 있다.
일 실시예에 따른 영상 표시 장치는, 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 360도 컨텐츠의 재생 중 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하고, 상기 360도 컨텐츠의 재생을 위해 선택된 상기 하나 이상의 화각 값을 포함하는 화각 정보를 생성할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 화각 정보를, 상기 360도 컨텐츠의 파일에 저장하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로 저장할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 360도 컨텐츠를 구성하는 복수의 파일들중 하나 이상의 파일에 대응하는 360도 영상의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하고, 상기 360도 영상의 재생을 위해 선택된, 하나 이상의 파일에 대응하는 하나 이상의 화각 값 및 각 화각 값에 대응하는 파일 식별자를 포함하는 화각 정보를 생성할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작 방법은, 360도 컨텐츠 및 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하는 동작; 및, 상기 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 컨텐츠를 디스플레이하하는 동작을 포함한다.
일 실시예에 따른 영상 표시 장치의 동작 방법은, 360도 컨텐츠의 재생 중 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하는 동작; 및 상기 360도 컨텐츠의 재생을 위해 선택된 상기 하나 이상의 화각 값을 포함하는 화각 정보를 생성하는 동작을 포함한다.
일 실시예에 따라 영상 표시 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
실시예들에 따라 사용자가 360도 영상을 보면서 화각 제어한 정보를 저장해 둠으로써 사용자는 다음 번 360도 영상 재생시 다시 화각 제어할 필요없이 저장해둔 화각 정보를 가져다 이용함으로써 360도 영상을 편리하게 즐길 수 있다.
또한 실시예들에 따라 화각 정보를 360도 영상과 별도의 파일로 만들어 관리함으로써 360도 영상의 활용을 증대시킬 수 있다.
도 1은 일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치 및 제어 장치를 나타내는 도면이다.
도 2는 360도 영상의 화각을 설명하기 위한 도면이다.
도 3a는 개시된 일 실시예에 따른 360도 영상을 표시하는 방법을 나타내는 도면이다.
도 3b는 360도 영상에 대응하는 복수의 화각 정보를 설명하기 위한 참고도이다.
도 4는 일 실시예에 따라 360도 영상의 화각 정보를 관리하기 위해 하나 이상의 서버와 하나 이상의 단말을 포함하는 시스템 400을 설명하기 위한 개략도이다.
도 5 는 일 실시예에 따른 360도 영상에 대응하는 화각 정보를 생성하고 저장하는 영상 표시 장치의 구성을 나타내는 블록도이다.
도 6은 일 실시예에 따른 360도 영상에 대응하는 화각 정보를 이용하여 360도 영상을 재생하는 영상 표시 장치의 구성을 나타내는 블록도이다.
도 7은 일 실시예에 따라 화각 정보를 생성하고 및/또는 화각 정보를 이용하여 360도 영상을 재생하는 영상 표시 장치의 구성을 나타내는 블록도이다.
도 8은 일 실시예에 따라 영상 표시 장치에서 화각 정보를 생성하는 과정을 나타내는 흐름도이다.
도 9는 360도 영상 재생에서 화각을 조정할 필요성을 설명하기 위한 예의 참고도이다.
도 10은 360도 영상 재생시에서 화각을 조정해서 보여지는 화면을 나타낸다.
도 11은 일 실시예에 따라 360도 영상을 기초로 화각 메타 파일을 생성하는 방법을 설명하기 위한 참고도이다.
도 12는 일 실시예에 따라 360도 영상을 기초로 생성된 화각 메타 정보를 이용하여 360도 영상을 재생하는 방법을 설명하기 위한 참고도이다.
도 13은 일 실시예에 따라 화각 정보의 저장 위치를 설명하기 위한 참고도이다.
도 14는 일 실시예에 따른 화각 정보의 일 예를 나타낸다.
도 15는 도 14에 도시된 화각 정보의 일 예를 나타낸다.
도 16은 일 실시예에 따른 화각 정보의 일 예를 나타낸다.
도 17은 일 실시예에 따라 오브젝트 정보를 포함하는 화각 정보의 일 예를 나타낸다.
도 18은 일 실시예에 따라 화각 정보를 자동으로 생성하는 예를 설명하기 위한 참고도이다.
도 19는 일 실시예에 따라 화각 정보를 수동으로 생성하는 예를 설명하기 위한 참고도이다.
도 20은 일 실시예에 따라 조정 엔트리를 포함하는 화각 정보의 일 예를 나타낸다.
도 21은 도 20에 도시된 조정 엔트리를 설명하기 위한 예를 나타낸다.
도 22는 일 실시예에 따라 생성된 화각 정보를 이용하여 360도 컨텐츠를 재생하는 방법의 과정을 나타내는 흐름도이다.
도 23은 일 실시예에 따라 화각 정보가 360도 컨텐츠와 별도의 파일로 구성되는 경우 활용의 범용성을 설명하기 위한 참고도이다.
도 24는 일 실시예에 따라 영상 표시 장치에서 360도 컨텐츠의 화각 정보를 표시하기 위한 사용자 인터페이스의 일 예를 나타낸다.
도 25는 일 실시예에 따라 하나의 360도 컨텐츠에 대해서 생성되어 유지될 수 있는 다양한 형태의 화각 정보 파일을 설명하기 위한 참고도이다.
도 26은 일 실시예에 따라 360도 컨텐츠를 제공하는 서버에서 화각 정보의 선택을 위해 제공할 수 있는 사용자 인터페이스의 일 예를 나타낸다.
도 27은 일 실시예에 따라 360도 컨텐츠에 복수의 오브젝트가 있고 화각 정보가 복수의 오브젝트중 어느 하나의 오브젝트를 트랙킹하여 생성한 경우 오브젝트의 위치를 화면에 표시하기 위한 방법을 설명하기 위한 참고도이다.
도 28은 복수의 파일로 구성된 360도 컨텐츠에 대해서 화각 정보를 관리하는 시나리오의 개요를 설명하기 위한 참고도이다.
도 29는 일 예에 따라 복수의 파일로 구성된 360도 컨텐츠를 설명하기 위한 참고도이다.
도 30은 도 29에 도시된 파일 1,2,3을 이용하여 화각 정보를 생성하는 예를 설명하기 위한 참고도이다.
도 31은 도 30에 도시된 동작에 따라 생성된 화각 정보 파일의 구조의 일 예를 나타낸다.
도 32는 도 31에 도시된 바와 같은 화각 정보를 이용하여 360도 컨텐츠를 재생하는 것을 설명하기 위한 참고도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 영상 표시 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치 및 제어 장치를 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상 표시 장치100는 360도 영상을 표시할 수 있다. 일 실시예에 따른 360도 영상은, 360도의 화각(angle of view)을 가지는 영상일 수 있다. 360도 영상은 정지 영상, 동영상, 또는 파노라마 영상일 수 있다. 예를 들어, 360도 영상은 적어도 하나의 카메라를 이용하여 360도 방향으로 촬영된 복수의 영상들에 기초하여, 생성된 영상일 수 있다. 이때, 촬영된 복수의 영상들은 구(sphere)에 맵핑될 수 있으며, 맵핑된 영상들의 접점들이 연결(스티칭(stiching))되어, 구(sphere) 형식의 360도 영상이 생성될 수 있다. 또한, 구(sphere) 형식의 360도 영상은, 다른 디바이스로 전송하거나 저장하기 위해 도 1에 도시된 바와 같이, 평면 형식의 360도 영상 50으로 변환될 수 있다.
일 실시예에 따른 영상 표시 장치100는 평면 형식의 360도 영상50에 그래픽 처리를 하여, 평면 형식의 360도 영상50을 구 형식의 360도 영상70으로 변환할 수 있다. 영상 표시 장치100는 변환된 구 형식의 360도 영상 중 어떤 화각에 대응하는 일부 영역80을 선택하고, 선택된 영역80에 대응하는 영상을 디스플레이부에 표시할 수 있다. 이때, 영상 표시 장치100는 선택된 영역80에 대응하는 영상을 디스플레이의 해상도에 따라 스케일링하여 표시할 수 있다. 또한, 일 실시예에 따른, 영상 표시 장치100는 360도 영상 내에서 일부 영역80의 위치를 나타내는 3차원 형태의 인디케이터 20를 표시할 수 있다. 360도 영상의 화각에 대한 상세한 설명은 도 2를 참조하여 후술하기로 한다.
한편, 일 실시예에 따른 영상 표시 장치100는 TV일 수 있으나, 이는 일 실시예에 불과하며, 디스플레이를 포함하는 전자 장치로 구현될 수 있다. 예를 들어, 영상 표시 장치100는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 영상 표시 장치100는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
영상 표시 장치100는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 영상 표시 장치100의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
한편, 영상 표시 장 00는 제어 장치 200에 의해 제어될 수 있으며, 제어 장치 30는 리모컨 또는 휴대폰과 같이 영상 표시 장치 100를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다.
또한, 제어 장치 30는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 영상 표시 장치 100를 제어할 수 있다. 제어 장치 30는 구비된 키(버튼을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치 200의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여 영상 표시 장치 100의 기능을 제어할 수 있다.
일 실시예에 따른 제어 장치200는 4방향 키(또는, 4방향 버튼)를 포함할 수 있다. 4방향 키는 360도 영상 내에서 디스플레이부에 표시되는 일부 영역80의 위치를 이동시키는 데 이용될 수 있다.
또한, 제어 장치30는 포인팅 장치일 수 있다. 예를 들어, 제어 장치30는 특정 키 입력을 수신하는 경우에, 포인팅 장치로 동작할 수 있다. 제어 장치30가 포인팅 장치로 동작하는 경우, 영상 표시 장치100는 제어 장치30를 상, 하, 좌, 우로 움직이거나 임의의 방향으로 기울이는 사용자 입력에 의해 제어될 수 있다. 제어 장치30의 센서를 통하여 감지된 제어 장치30의 움직임에 관한 정보는, 영상 표시 장치100로 전송될 수 있다. 영상 표시 장치100는 제어 장치30의 움직임에 관한 정보에 기초하여, 360도 영상 내에서 디스플레이부에 표시되는 일부 영역80을 이동시킬 수 있다.
또는, 제어 장치30가 터치 패드를 포함하는 경우, 터치 패드 상에서 움직이는 사용자의 손가락과 같은 피사체의 변위 값에 따라 360도 영상 내에서 디스플레이부에 표시되는 일부 영역80의 위치를 이동시킬 수 있다.
도 2는 360도 영상의 화각을 설명하기 위한 도면이다.
전술한 바와 같이, 360도 영상은 적어도 하나의 카메라를 이용하여 360도 방향으로 촬영된 복수의 영상들에 기초하여, 생성된 영상일 수 있다. 이때, 촬영된 복수의 영상들은 구(sphere)에 맵핑될 수 있으며, 맵핑된 영상들의 접점들이 연결(스티칭(stiching))되어, 구(sphere) 형식의 360도 영상이 생성될 수 있다.
그리고, 360도 영상은 360도의 화각(angle of view)을 가지는 영상을 의미할 수 있다. 360도 영상을 구 형식의 영상 200으로 표현할 때, 360도 영상의 화각은, x축 좌표와 y축 좌표로 구성될 수 있다. x축 좌표는 구의 중심을 지나는 세로 평면이 구의 표면을 따라 회전하면서 형성되는 각도를 나타낼 수 있다. y 축 좌표는 구의 중심을 지나는 가로 평면이 구의 표면을 따라 회전하면서 형성되는 각도를 나타낼 수 있다. 예를 들어 x축 좌표는 0도에서 360도 범위를 가질 수 있다. 예를 들어y축 좌표는 -90도 에서 90도 또는 0도에서 180 도의 범위를 가질 수 있다.
예를 들어, 도 2를 참조하면, 구 형식의 영상200에서 구의 표면에 위치하는 소정의 지점 221의 화각 (x,y) 을 (0도, 0도)로 설정할 때, 지점 222의 화각은 (30도, 30도)가 될 수 있다.
도 3a는 개시된 일 실시예에 따른 360도 영상을 표시하는 방법을 나타내는 도면이다.
사용자는 360도 영상 중 원하는 각도에 대응하는 영상을 보기 위하여 360도 영상을 네비게이션 할 수 있다. 도 3a를 참조하면, 예를 들어 사용자가 화각이 0도에 대응하는 영역 311에 대응하는 영상320을 보다가 좀 더 오른쪽 방향에 있는 영역의 영상을 보고 싶을 때 사용자는 제어 장치 30를 이용하여 화각을 조정하는 사용자 입력을 선택할 수 있다. 예를 들어 사용자가 화각을 60도로 변경하는 사용자 입력을 선택할 때 영상 표시 장치 100는 화각이 60도에 대응하는 영역 312에 대응하는 영역 321을 표시할 수 있다.
일 실시예에 따라 사용자는 제어 장치 30의 4방향 키를 이용하여 360도 영상의 화각을 이동시킬 수 있다. 예를 들어 4방향 키의 좌 우 방향키를 이용하여 360도 영상을 좌우 방향으로 이동시킬 수 있다. 예를 들어 4 방향 키의 상 하 방향키를 이용하여 360도 영상을 상하 방향으로 이동시킬 수 있다.
일 실시예에 따라 사용자는 가속도 센서나 자이로스코프를 포함하는 제어 장치 30를 상하좌우 또는 임의의 방향으로 움직임으로써 360도 영상의 화각을 조정할 수 있다.
일 실시예에 따라 사용자는 제어 장치 30에 마련된 터치패드에 사용자의 손가락을 터치하면서 움직이는 방향에 따라 360도 영상의 화각을 조정할 수 있다.
일 실시예에 따라 영상 표시 장치 100가 터치 센서티브 스크린으로 구성된 경우, 사용자는 영상 표시 장치 100의 터치 센서티브 스크린 상에서의 사용자의 손가락의 터치 움직임을 이용하여 360도 영상의 화각을 조정할 수 있다.
일 실시예에 따라 사용자는 제어 장치 30의 특정한 키나 버튼 또는 제어 장치 30을 이용한 제스쳐를 통하여 360도 영상을 줌인 하거나 줌 아웃 할 수 있다. 줌 인 입력에 응답해서 영상 표시 장치 100는 현재 표시되는 영역을 확대하여 표시할 수 있다. 줌 아웃 입력에 응답해서 영상 표시 장치 100는 현재 표시되는 영역을 축소하여 표시할 수 있다. 일 예에 따라 줌 아웃 정도가 미리 정한 임계치를 넘어가면 영상 표시 장치 100는 영상을 구 형상으로 표시할 수 있다. 일 예로 줌은 -4 배에서 4 배까지의 범위를 가질 수 있다.
도 3b는 360도 영상에 대응하는 복수의 화각 정보를 설명하기 위한 참고도이다.
360도 영상은 말 그대로 하나의 시점에 360도 전 방위에 대한 영상을 담고 있기 때문에 하나의 방향에서 촬영한 영상 보다 훨씬 많은 정보를 담고 있다. 즉, 특정 시점에서 사용자가 화각 0도에서 보는 영상과 화각 90도나 화각 180도에서 보는 영상은 전혀 다를 수 있다. 이와 같이 360도 영상은 각 화각에서 제공할 수 있는 데이터나 정보가 많기 때문에 사용자는 360도 영상에서 보기를 원하는 영역을 화각을 이용하여 선택할 수 있다. 예를 들어, 여러명의 가수들로 이루어진 그룹의 뮤직 비디오가 360도 영상으로 이루어진 경우, 사용자는 여러명의 가수들중 특정한 한 명의 가수 A를 포커스할 수 있는 화각들에서 360도 영상을 감상하기를 원할 수 있다. 따라서 사용자는 여러명의 가수들중 가수 A를 포커스하는 화각으로 조정하고 360도 영상을 감상할 수 있다. 또 다른 사용자는 가수 B를 포커스하는 화각으로 조정하고 360도 영상을 감상할 수 있다.
도 3b를 참조하면, 사용자는 360도 뮤직 비디오를 시청할 때 화각을 조정하여 화각이 A1 에서 360도 영상을 감상하다가 소정 시점 이후에 화각을 A2로 조정해서 감상할 수 있다. 360도 영상의 시작부터 끝까지 사용자가 선택한 화각은 A1-A2-A3-A4-A5-A6-A7-A8 으로 나타낼 수 있다. 또한 사용자가 다음번에 동일한 360도 뮤직 비디오를 시청할 때는 화각이 B1인 부분을 감상하다가 소정 시점 이후에 화각을 B2로 조정함으로써 결국 360도 영상의 시작부터 끝까지 사용자가 선택한 화각은 B1-B2-B3-B4-B5-B6-B7 으로 나타낼 수 있다. 이와 같이 하나의 360도 영상의 경우에도 사용자가 선택한 화각에 따라 보여지는 영상은 전혀 다른 영상이 될 수 있고 또한 360도 영상에는 선택할 수 있는 화각이 무수히 많기 때문에 하나의 360도 영상으로 기초로 화각에 따라 무수히 많은 영상이 제공될 수 있다.
사용자는 자신이 지난번에 시청한 형태의 화각 정보 즉, A1-A2-A3-A4-A5-A6-A7-A8 에 따라 다시 이 360도 뮤직 비디오를 감상하기를 원할 수 있다. 따라서 본 명세서에 개시된 실시예들은 이와 같이 사용자가 선택한 화각들을 화각 정보로 저장하여 관리하고자 하는 것이다. 이와 같이 화각 정보를 관리하면, 사용자는 360도 영상을 감상할 때 다시 자신이 화각을 조정할 필요 없이, 저장해둔 화각 정보를 읽어들여 편리하게 360도 영상을 감상할 수 있다.
또한 화각 정보를 별도로 관리하기 때문에 사용자는 한번 만들어 둔 화각 정보를 편집할 수도 있다.
또한 한번 생성된 화각 정보는 반드시 처음 대상으로 했던 해당 360도 영상에만 이용될 수 있는 것은 아니고 다른 360도 영상에도 이용될 수 있다. 예를 들어, 5명의 가수로 이루어진 그룹의 360도 뮤직 비디오 1에서 센터 위치에 있는 가수를 트랙킹하는 화각 정보를 생성한 경우, 이 센터 가수를 트랙킹하는 화각 정보는, 이 그룹의 다른 뮤직 비디오 즉 360도 뮤직 비디오 2에서도 이용될 수 있다. 즉, 예를 들어 센터 가수를 트랙하는 화각 정보는, 이 그룹의 모든 다른 360도 뮤직 비디오에도 이용하여 재생될 수 있는 것이다.
또한 사용자는 화각 정보를 다른 사용자나 또는 네트워크상으로 전달 또는 배포할 수 있다. 마찬가지로 사용자는 다른 사용자나 네트워크를 통해서 이미 만들어진 화각 정보를 얻을 수 있다.
또한 360도 컨텐츠를 제공하는 서비스 제공자는 360도 컨텐츠와 함께 또는 별도로 360도 컨텐츠에 대응하는 화각 정보를 제작하고 이를 사용자에게 제공할 수 있다. 따라서 사용자들은 360도 컨텐츠를 검색할 수 있을 뿐만 아니라 360도 컨텐츠에 대응하여 만들어진 복수의 화각 정보중 원하는 화각 정보도 검색할 수 있게 될 것이다.
앞서도 말한 바와 같이, 360도 영상은 방대한 정보를 담고 있기 때문에 본 실시예들에 따른 화각 정보를 별도로 관리함으로써 360도 영상의 방대한 정보를 체계적으로 그리고 효과적으로 관리할 수 있게 된다.
도 4는 일 실시예에 따라 360도 영상의 화각 정보를 관리하기 위해 하나 이상의 서버와 하나 이상의 단말을 포함하는 시스템 400을 설명하기 위한 개략도이다.
도 4를 참조하면, 예를 들어 시스템 400은 서버 410, 420, 단말 430,440,450,460, 단말 그룹 470 및 네트워크 405를 포함할 수 있다.
서버 410, 420와 단말 430,440,450,460, 단말 그룹 470는 네트워크 405를 통해 연결될 수 있다.
단말 430,440,450,460, 및 단말 그룹 470은 프로세서와 디스플레이를 구비하여 360도 영상을 표시할 수 있는 어떠한 전자 장치 또는 컴퓨팅 장치를 포함할 수 있다.
일 실시예에 따라 단말 430,440,450,460, 및 단말 그룹 470은 360도 영상을 표시하고, 360도 영상의 화각을 조정하는 사용자 입력에 따라 하나 이상의 화각 값을 포함하는 화각 정보를 생성할 수 있다. 또한 단말은 생성된 화각 정보를 저장하고, 추후 이 360도 영상을 재생할 때 이 360도 영상에 대해 생성된 화각 정보를 이용하여 이 360도 영상을 재생할 수 있다. 따라서 사용자는 360도 영상을 보면서 자신이 원하는 360도 영상의 이동 방향을 선택하고 선택된 이동 방향을 트랙킹하는 화각 정보를 생성하고 이를 저장해둠으로써, 사용자는 나중에 360도 영상을 다시 감상할 때 번거롭게 또 새로이 화각을 조정할 필요없이, 이미 만들어둔 화각 정보를 이용하여 360도 영상을 재생함으로써, 자신이 원하는 방향의 360도 영상을 편리하게 감상할 수 있다.
일 실시예에 따라 단말 430,440,450,460, 및 단말 그룹 470은 생성된 화각 정보를 용이하게 수정 또는 편집할 수 있다.
단말 그룹 470은 TV 471, PC 472, 스마트폰 473 을 포함할 수 있다. 예를 들어 사용자가 PC 472를 이용하여 360도 영상에 대응하는 화각 정보를 생성하고 저장해 둘 수 있다. 그리고, 사용자는 TV 471 또는 스마트폰 473에서 이 360도 영상을 재생할 때 PC 472를 이용하여 생성한 화각 정보를 읽어들여, 이 360도 영상에 대응하는 화각 정보를 이용하여 360도 영상을 재생할 수 있다.
일 실시예에 따라 단말 430,440,450,460, 및 단말 그룹 470은 생성된 화각 정보를 네트워크 405를 통해 다른 단말로 전송하거나 또는 서버 410, 420로 전송할 수 있다.
일 실시예에 따라 단말 430,440,450,460, 및 단말 그룹 470은 이미 만들어진 화각 정보를 서버 410 또는 420로부터 수신하고, 수신한 화각 정보를 이용하여 360도 영상을 재생할 수 있다.
일 실시예에 따라 서버 410, 420는 하나 이상의 단말로부터 360도 영상에 대응하는 화각 정보를 수집할 수 있다. 서버 410, 420는 수집된 화각 정보를 일정한 기준에 따라 관리하고 또는 순위를 매길 수 있다. 예를 들어 서버는 특정한 360도 뮤직 비디오에 대해서 만들어진 하나 이상의 화각 정보를 수집하고, 관리하며, 또한 단말로부터의 요청이 있는 경우 단말로 요청된 화각 정보를 전송할 수 있다. 서버는 360도 영상을 제공하는 서비스 제공자의 서버일 수 있다. 서버는 360도 영상과 함께 화각 정보를 제공하거나 또는 360도 영상과 별도로 화각 정보를 제공할 수 있다.
이와 같이 도 4에 도시된 화각 정보 관리 시스템 400에 의하면, 앞으로 수요가 증대되는 360도 영상 컨텐츠에 대해서 화각 정보를 별도로 생성하고, 관리하고, 유통시킴으로써 360도 컨텐츠를 소비하는 사용자의 다양한 욕구를 충족시킬 수 있다.
도 5 는 일 실시예에 따른 360도 영상에 대응하는 화각 정보를 생성하고 저장하는 영상 표시 장치의 구성을 나타내는 블록도이다. 도 5의 영상 표시 장치 100a는 도 1의 영상 표시 장치100의 일 실시예일 수 있다.
도 5를 참조하면, 일 실시예에 따른 영상표시장치100a는 감지부160, 제어부130, 메모리 120 및 디스플레이부110를 포함할 수 있다.
디스플레이부110는, 제어부110에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부110는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부110는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른, 디스플레이부110는 360도 영상 중 소정 화각에 대응하는 일부 영역에 대응하는 영상을 표시할 수 있다. 또한, 화각을 조정하는 사용자 입력에 응답하여 조정된 화각에 대응하는 영상을 표시할 수 있다.
감지부160는, 사용자 입력을 감지하여, 감지된 신호를 제어부130로 전달할 수 있다. 또한, 감지부160는 제어 장치30로부터 전원 온/오프, 채널 선택, 채널-업/다운, 화면 설정 등의 사용자 입력을 감지할 수 있다. 또한, 일 실시예에 따른 감지부160는 360도 영상 중 디스플레이부110에 표시되는 일부 영역의 위치를 이동시키기 위한 입력, 디스플레이부에 표시되는 영상을 줌 인 시키거나 줌 아웃시키기 위한 입력, 360도 영상 중 특정 위치의 영역에 대응하는 영상을 표시시키기 위한 입력 등을 감지할 수 있다.
제어부130는 영상 신호를 처리하여 디스플레이부110로 입력할 수 있다. 이에 따라, 해당 영상 신호에 대응하는 영상이 디스플레이부110에 표시될 수 있다. 또한, 제어부130는 감지부160를 통하여 감지된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치100a를 제어할 수 있다.
예를 들어, 일 실시예에 따르면, 제어부130는 감지된 사용자 입력에 대응하여, 360도 영상 중 디스플레이부에 표시되는 일부 영역의 위치를 이동시키고, 이동된 영역에 대응하는 영상을 표시하도록 디스플레이부를 제어할 수 있다.
또한, 제어부130는 감지된 줌 인 입력 또는 줌 아웃 입력에 대응하여, 360도 영상 중 디스플레이부120에 표시되는 일부 영역의 범위를 감소시키거나 증가시킬 수 있다.
일 실시예에 따라 제어부 130는 360도 영상의 재생을 위해 사용자에 의해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 생성하고 이를 메모리 120에 저장할 수 있다. 각 화각 값은, 화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 크기 정보, 및 줌 크기 정보를 포함할 수 있다.
일 실시예에 따라 제어부 130는 메모리 120에 저장된 화각 정보를 이용하여 화각 정보에 포함된 하나 이상의 화각 값에 대응하는 360도 영상을 재생할 수 있다.
일 실시예에 따라 제어부 130은 화각 정보를, 상기 360도 컨텐츠의 파일에 저장하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로 저장할 수 있다.
일 실시예에 따라 화각 정보는 상기 360도 컨텐츠에 포함된 오브젝트에 대응하고, 상기 화각 정보는 상기 오브젝트를 식별하기 위한 정보를 더 포함할 수 있다.
일 실시예에 따라 제어부 130는 360도 컨텐츠를 구성하는 복수의 파일들중 하나 이상의 파일에 대응하는 360도 영상의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하고, 상기 360도 영상의 재생을 위해 선택된, 하나 이상의 파일에 대응하는 하나 이상의 화각 값 및 각 화각 값에 대응하는 파일 식별자를 포함하는 화각 정보를 생성할 수 있다.
메모리 120는 오퍼레이팅 시스템, 제어부 130에서 처리되는 데이터, 제어부 130에서 실행되는 하나 이상의 인스트럭션을 포함할 수 있다.
특히 일 실시예에 따른 메모리 120는 제어부 130에 의해 생성된, 360도 영상의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 저장할 수 있다.
통신부 150는 영상 표시 장치 100a가 다른 전자 장치와 통신하는 것을 가능하게 한다. 통신부 150는 생성된 화각 정보 또는 메모리 120에 저장된 화각 정보를 네트워크를 통해 외부로 전송할 수 있다.
도 6은 일 실시예에 따른 360도 영상에 대응하는 화각 정보를 이용하여 360도 영상을 재생하는 영상 표시 장치의 구성을 나타내는 블록도이다. 도 6의 영상 표시 장치 100b는 도 1의 영상 표시 장치100의 일 실시예일 수 있다.
도 6을 참조하면, 일 실시예에 따른 영상표시장치100b는 디스플레이부110, 메모리 120, 제어부 130, 및 통신부 150을 포함할 수 있다.
디스플레이부110와 메모리 120의 기능은 도 5와 중복되므로 설명을 생략한다.
통신부 150는 서버 600의 통신부 620와 통신을 수행할 수 있다. 통신부 150는 제어부 130의 제어에 따라 서버 600로 360도 영상에 대응하는 화각 정보를 요청하고, 이러한 화각 정보 요청에 응답하여 서버 600로부터 화각 정보를 수신할 수 있다.
통신부 150는 360도 영상에 대응하는 화각 정보를 360도 영상과 함께 수신할 수 있거나 360도 영상과 별도로 수신하거나 또는, 360도 영상은 영상 표시 장치 100b의 메모리 120에 이미 저장되어 있을 수 있다.
제어부 130는 360도 영상 및 상기 360도 영상의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하고, 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 영상을 디스플레이 할 수 있다. 각 화각 값은, 화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 높이 정보, 및 줌 크기 정보를 포함할 수 있다.
제어부 130는 화각 정보를 내부 메모리로부터 획득하거나 또는 통신 인터페이스를 통해 서버로부터 수신할 수 있다.
제어부 130는 화각 정보를, 상기 360도 컨텐츠의 파일로부터 추출하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로부터 획득할 수 있다.
서버 600는 360도 영상에 대응하는 화각 정보를 제공할 수 있다. 서버 600는 제어부 610, 통신부 620, 메모리 630을 포함할 수 있다.
통신부 620는 영상 표시 장치 100b의 화각 정보 요청에 응답하여 메모리 630에 저장된 화각 정보를 전달할 수 있다. 또한 통신부 520는 영상 표시 장치 100b로부터 화각 정보를 수신하거나 또는 다른 단말 장치로부터 화각 정보를 수신할 수 있다.
제어부 610는 통신부 620과 메모리 630을 포함하여 서버의 구성요소 전반을 제어한다. 또한 제어부 610는 360도 영상에 대응하는 화각 정보를 관리할 수 있다.
일 예에 따라 제어부 610는 복수개의 360도 영상에 각각 대응하는 하나 이상의 화각 정보를 관리할 수 있다. 하나의 360도 영상에 대해서도 복수개의 화각 정보가 생성될 수 있고 관리될 수 있다.
일 실시예에 따라 하나의 360도 영상에 대해서 복수의 편집자 또는 제작자에 의해 생성된 복수의 화각 정보가 존재할 수 있다.
일 실시예에 따라 하나의 360도 영상에 포함된 복수의 오브젝트 각각에 대응하는 화각 정보가 존재할 수 있다. 예를 들어 5명의 가수로 이루어진 그룹의 뮤직 비디오를 포함하는 360도 영상의 경우, 각 각수를 트래킹하기 위한 화각 정보가 각각 존재할 수 있다.
일 실시예에 따라 제어부 610는 하나의 360도 영상에 대해서도 생성될 수 있는 복수의 화각 정보를 관리할 수 있다. 즉, 제어부 610는 하나의 360도 영상에 대해서 선택할 수 있는 복수의 화각 정보를 관리하고, 사용자가 복수의 화각 정보중 원하는 화각 정보를 선택할 수 있도록 관리할 수 있다.
또한 제어부 610는, 복수의 화각 정보에 대한 조회수 또는 인기도 등을 모니터함으로써 복수의 화각 정보중 하나 이상을 사용자에게 추천할 수 있다.
또한 제어부 610는 영상 표시 장치 100b로부터 360도 영상에 대한 화각 정보를 서치를 요청받은 경우, 메모리 630에 저장되거나 또는 연결된 외부 컴퓨터에 저장된 데이터베이스로부터 요청받은 360도 영상에 대응하는 화각 정보를 검색하여 이를 영상 표시 장치 100b에 제공할 수 있다. 화각 정보 서치 요청은 360도 영상의 식별자를 포함할 수도 있고, 또는 360도 영상의 일부 캡쳐 이미지를 포함할 수도 있다. 화각 정보 서치 요청이 360도 영상의 식별자를 포함하는 경우 제어부 610는360도 영상의 식별자를 이용하여 이에 대응하는 화각 정보를 서치할 수 있다. 화각 정보 서치 요청이 360도 영상의 일부 캡쳐 이미지를 포함하는 경우 제어부 610는 다양한 이미지 분석 알고리즘을 이용하여 해당 캡쳐 이미지가 포함된 360도 영상의 식별자를 찾아내고 이 360도 영상의 식별자에 대응하는 화각 정보를 검색할 수 있다.
도 7은 일 실시예에 따라 화각 정보를 생성하고 및/또는 화각 정보를 이용하여 360도 영상을 재생하는 영상 표시 장치의 구성을 나타내는 블록도이다. 도 7의 영상 표시 장치100c는 도 1의 영상 표시 장치100의 일 실시예일 수 있다.
도 7을 참조하면, 일 실시예에 따른 영상 표시 장치100c는 제어부130, 디스플레이부120 및 감지부130 이외에 비디오 처리부180, 오디오 처리부115, 오디오 출력부125, 전원부160, 튜너부140, 통신부150, 입/출력부170, 저장부190를 더 포함할 수도 있다.
제어부110, 디스플레이부120 및 감지부130에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략하기로 한다.
비디오 처리부180는, 영상 표시 장치100c가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부180에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
그래픽 처리부181는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부160를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부110의 디스플레이 영역 내에 표시된다. 일 실시예에 따른 그래픽 처리부181는 도 1에서 설명한 바와 같이, 평면 형식의 360도 영상을 구(sphere)에 맵핑하여, 구 형식의 360도 영상을 생성할 수 있다.
디스플레이부120는 제어부130의 제어에 의해 튜너부140를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이부110는 통신부150 또는 입/출력부170를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부110는 제어부130의 제어에 의해 메모리 120에 저장된 영상을 출력할 수 있다. 또한, 디스플레이부110는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
오디오 처리부115는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부115에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부115는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부125는 제어부130의 제어에 의해 튜너부140를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부125는 통신부150 또는 입/출력부170를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부125는 제어부110의 제어에 의해 저장부190에 저장된 오디오를 출력할 수 있다. 오디오 출력부125는 스피커126, 헤드폰 출력 단자127 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자128 중 적어도 하나를 포함할 수 있다. 오디오 출력부125는 스피커126, 헤드폰 출력 단자127 및 S/PDIF 출력 단자128의 조합을 포함할 수 있다.
튜너부140는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 영상 표시 장치 100c에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부140는 사용자 입력(예를 들어, 제어 장치200로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호(예를 들어, 케이블 방송 506번)에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부140는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부140는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부140를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 제어부130의 제어에 의해 저장부190에 저장될 수 있다.
영상 표시 장치100c의 튜너부140는 하나이거나 복수일 수 있다. 튜너부140는 영상 표시 장치100c와 일체형(all-in-one)으로 구현되거나 또는 영상 표시 장치100c와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부170에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부150는 제어부130의 제어에 의해 영상 표시 장치100c를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 제어부130는 통신부150를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부150은 디스플레이 장치100의 성능 및 구조에 대응하여 무선 랜151, 블루투스152, 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부150은 무선랜151, 블루투스152, 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다. 통신부150는 제어부110의 제어에 의해 제어 장치200의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부150는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
일 실시예에 따라 통신부 150는 360도 영상에 대응하는 화각 정보를 서버에 요청하고, 이러한 요청에 응답하여 서버로부터 화각 정보를 수신할 수 있다.
감지부160는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크161, 카메라부162 및 광 수신부163를 포함할 수 있다.
마이크161는 사용자의 발화(utterance)된 음성을 수신한다. 마이크161는 수신된 음성을 전기 신호로 변환하여 제어부130로 출력할 수 있다. 사용자 음성은 예를 들어, 영상 표시 장치100c의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 일 예에 따라 화각을 제어하는 사용자 입력을 마이크 161을 통해서 수신할 수 있다.
카메라부162는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 제어부130는 수신된 모션의 인식 결과를 이용하여 영상 표시 장치100c에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동, 커서 이동, 360도 영상 중 디스플레이부에 표시되는 일부 영역의 이동을 포함할 수 있다.
광 수신부163는 외부의 제어 장치200에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부 110의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부163는 제어 장치 30로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 제어부130의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 화각을 제어하는 사용자 입력을 광 수신부 163을 통해서 수신할 수 있다.
입/출력부 170는 제어부130의 제어에 의해 영상 표시 장치100c의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부170는 HDMI 포트 (High-Definition Multimedia Interface port) 171, 컴포넌트 잭component jack, 172, PC 포트173, 및 USB 포트174 중 하나를 포함할 수 있다. 입/출력부170는 HDMI 포트(171), 컴포넌트 잭172, PC 포트173, 및 USB 포트174의 조합을 포함할 수 있다.
제어부130는 영상 표시 장치100c의 전반적인 동작 및 영상 표시 장치100c의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부130는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리 120에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
제어부 130는 영상 표시 장치100c의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 영상 표시 장치100c에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 영상 표시 장치100c의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.
일 실시예에 따른 제어부 130은 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써, 360도 영상을 재생하는 동안 화각을 제어하는 사용자 입력에 대응하는 하나 이상의 화각 값을 포함하는 화각 정보를 생성할 수 있다.
일 실시예에 따른 제어부 130은 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써, 메모리에 저장된 화각 정보 또는 서버로부터 수신한 화각 정보를 이용하여 360도 영상을 재생하거나 또는 화각 정보를 편집할 수 있다.
프로세서는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 프로세서는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
저장부 190는 제어부130의 제어에 의해 영상 표시 장치100c를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부190는 비디오 처리부180, 디스플레이부120, 오디오 처리부115, 오디오 출력부125, 전원부130, 튜너부140, 통신부150, 감지부130, 입/출력부170의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부190는 영상 표시 장치100c 및 제어부의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에 따라 저장부 190은, 화각 정보를 생성하는 하나 이상의 인스트럭션, 생성된 화각 정보를 저장하는 하나 이상의 인스트럭션, 저장된 화각 정보를 읽어오는 하나 이상의 인스트럭션, 읽어들인 화각 정보를 편집하는 하나 이상의 인스트럭션, 화각 정보를 이용하여 360도 영상을 재생하는 하나 이상의 인스트럭션을 포함하는 하나 이상의 어플리케이션을 포함할 수 있다.
일 실시예에서 "저장부"라는 용어는 저장부190, 제어부의 롬, 램또는 영상 표시 장치100c에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 저장부190는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
또한, 디스플레이부120를 가지는 영상 표시 장치100c는 튜너부를 가지는 별도의 외부 장치(예를 들어, 셋탑 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다. 예를 들어, 영상 표시 장치100c는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2 및 3에 도시된 영상표시장치100a, 100b의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치100의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
실시예들에 따라 화각 정보를 생성하는 방법을 설명한다.
도 8은 일 실시예에 따라 영상 표시 장치에서 화각 정보를 생성하는 과정을 나타내는 흐름도이다.
도 8을 참조하면, S810에서, 영상 표시 장치는 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 획득할 수 있다.
영상 표시 장치는 360도 컨텐츠를 재생하는 동안 360도 컨텐츠의 화각을 제어하는 이벤트를 포함하는 사용자 입력을 수신할 수 있다. 예를 들어 사용자는 제어 장치 30를 이용하여 화각을 제어하거나 또는 터치 센서티브 스크린으로 된 영상 표시 장치의 경우 터치 센서티브 스크린상에서 손가락 움직임에 의해 화각을 제어할 수 있다. 영상 표시 장치는 이와 같이 화각을 제어하는 사용자 입력으로부터 하나 이상의 화각 값을 획득할 수 있다.
S820에서, 영상 표시 장치는 획득된 하나 이상의 화각 값을 포함하는 화각 정보를 생성할 수 있다.
영상 표시 장치는 화각 정보를 360도 컨텐츠의 파일에 저장할 수도 있고, 360도 컨텐츠 파일과 별도의 파일로 저장할 수도 있다.
이제 도 9 내지 도 11을 참조하여 화각 정보를 생성하는 방법을 상세히 설명한다.
도 9는 360도 영상 재생에서 화각을 조정할 필요성을 설명하기 위한 예의 참고도이다.
도 9를 참조하면, 910은 360도 영상의 1초 때의 영상, 920은 3초 때의 영상, 930은 5초 때의 영상을 나타낸다. 360도 영상은 어느 한 시점에서 사용자가 360도의 어느 화각에서라도 그 화각에 대응하는 영상을 보여줄 수는 있지만, 사용자가 조작을 하지 않는 경우 360도 영상의 화각은 변화하지 않고 하나의 화각에서만 360도 영상의 일부를 보여줄 수 있다. 도 9에 도시된 바와 같은 360도 영상의 경우 화각 조정이 없다면 사용자는 920과 930에서는 오브젝트 즉, 사람이 잘 보여지지 않는 크게 의미없는 영상을 보게 될 수 있다. 따라서 이러한 경우 360도 영상의 화각 조정이 필요하게 될 수 있다.
도 10은 360도 영상 재생시에서 화각을 조정해서 보여지는 화면을 나타낸다. 도 10을 참조하면, 1010은 360도 영상의 1초 때의 영상, 1020은 3초 때의 영상, 1030은 5초 때의 영상을 나타낸다. 1010은 도 9에서의 910과 같은 1초 때의 영상이지만, 1020에서 사용자는 3초때 화각을 90도 오른쪽 방향으로 이동시켰고 따라서 원하는 오브젝트가 영상에 표시되게 할 수 있다. 또한 1030에서 사용자는 5초때 화각을 180도 방향으로 이동시킴으로써 뒤쪽 방향에 있는 영상을 표시되게 할 수 있다.
본 명세서에서 개시된 실시예들에 따라 영상 표시 장치는, 예를 들어 3초 때 사용자 입력에 따른 화각 값 즉 90도, 및 5초 때 사용자 입력에 따른 화각 값 즉 180도를 포함하는 화각 정보를 생성할 수 있다.
도 11은 일 실시예에 따라 360도 영상을 기초로 화각 메타 파일을 생성하는 방법을 설명하기 위한 참고도이다.
도 11을 참조하면, 영상 표시 장치는 360도 영상 1100을 재생하다가 제1시간에 화각을 조정하는 사용자 입력을 수신하면, 화각 엔트리 1 1110을 생성할 수 있다. 화각 엔트리 1 1110은 화각이 조정된 시간과 화각 값을 포함할 수 있다. 마찬가지로 영상 표시 장치는 제2시간에 화각을 조정하는 사용자 입력에 따라 화각 엔트리 2 1120를 생성하고, 제3 시간에 화각을 조정하는 사용자 입력에 따라 화각 엔트리 3 1130을 생성할 수 있다. 360도 동영상 1100에 대해서 생성된 모든 화각 엔트리가 모아지면, 영상 표시 장치는 화각 엔트리들로 구성된 화각 메타 정보 1140를 생성할 수 있다.
도 12는 일 실시예에 따라 360도 영상을 기초로 생성된 화각 메타 정보를 이용하여 360도 영상을 재생하는 방법을 설명하기 위한 참고도이다.
도 12를 참조하면, 영상 표시 장치는 360도 영상 1100을 1110을 재생할 때 이미 생성된 화각 메타 정보 1140를 이용하여 화각을 조정할 수 있다. 즉, 영상 표시 장치는 360도 영상을 재생할 때, 화각 메타 정보 1140에 포함된 화각 엔트리의 시간 정보를 참조하여, 화각 엔트리에 지시된 시간이 되면 화각 엔트리에 포함된 화각 값으로 360도 영상을 조정할 수 있다. 구체적으로, 영상 표시 장치는 화각 엔트리 1 1110에 포함된 제1시간이 되면 360도 영상을 화각 엔트리 1에 포함된 화각 값으로 조정할 수 있다. 마찬가지로 화각 엔트리 2 1120에 포함된 제2시간이 되면 360도 영상을 화각 엔트리 2에 포함된 화각 값으로 조정하고, 화각 엔트리 3 1130에 포함된 제3시간이 되면 360도 영상을 화각 엔트리 3에 포함된 화각 값으로 조정할 수 있다.
이와 같이 영상 표시 장치는 하나 이상의 화각 값을 포함하는 화각 메타 정보를 이용하여 360도 영상을 재생함으로써 360도 영상을 이미 만들어진 화각 트래킹 정보에 따라 재생할 수 있게 된다.
도 13은 일 실시예에 따라 화각 정보의 저장 위치를 설명하기 위한 참고도이다.
도 13의 1300A을 참조하면, 화각 정보 1320는 360도 컨텐츠 파일 1300의 일부에 360도 컨텐츠 1310와 함께 저장될 수 있다. 즉, 화각 정보 1320는 360도 컨텐츠의 파일 1300을 구성할 수 있다.
도 13의 1300B를 참조하면, 화각 정보 1320는 360도 컨텐츠 파일 1300과 별도로 화각 정보 메타 파일 1330에 저장될 수 있다. 화각 정보를 360도 컨텐츠 파일과 별도의 파일로 관리하게 되면 화각 정보의 편집이 용이해지고, 화각 정보의 유통이 편리해질 수 있다.
도 14는 일 실시예에 따른 화각 정보의 일 예를 나타낸다.
도 14를 참조하면, 하나의 360도 컨텐츠 파일에 대해서 하나의 화각 정보 1400가 생성될 수 있다. 화각 정보 1400는 하나 이상의 화각 엔트리를 포함할 수 있다. 각 화각 엔트리 1410은 화각 조정이 발생된 시간에 관한 정보 1411, 화각 값 1412, 줌 값 1413을 포함할 수 있다. 시간 정보 1411은 반드시 시간으로 나타내질 필요는 없으며, 해당 화각 제어가 이루어진 시점을 나타낼 수 있기만 하면 프레임 번호로 표시될 수도 있다. 화각 값 1412는 예를 들어 화각의 x좌표와 y좌표를 포함할 수 있다. 줌 값 1413은 줌 인 또는 줌 아웃의 정도를 나타내는 크기를 나타낼 수 있다.
도 15는 도 14에 도시된 화각 정보의 일 예를 나타낸다.
도 15를 참조하면, 일 예에 따른 화각 정보 1500는 화각 엔트리 1510, 화각 엔트리 1520, 화각 엔트리 1530을 포함할 수 있다. 각 화각 엔트리는 시간 정보, 화각 값, 줌 값을 포함할 수 있다. 예를 들어 화각 엔트리 1510은, 시간 정보 1511로서 1000ms, 화각 값 1512으로 x=90, y=0, 줌 값 1513으로 0임을 나타낸다.
도 16은 일 실시예에 따른 화각 정보의 일 예를 나타낸다.
360도 컨텐츠는 복수의 파일들로 구성될 수 있다. 예를 들어 뮤직 비디오를 제작하는데 하나의 360도 카메라를 이용하여 촬영하는 것이 아니라 복수개의 360도 카메라를 이용해서, 제1카메라는 전방에, 제2카메라는 왼쪽에, 제3카메라는 오른쪽에 배치하고 동시에 촬영함으로써 하나의 현장을 촬영하는데 3개의 360도 카메라를 이용함으로써 3개의 360도 컨텐츠 파일을 얻을 수 있다.
이와 같이 360도 컨텐츠가 복수의 파일을 포함하는 경우, 복수의 파일에 대응하는 하나의 화각 정보를 생성할 수 있다. 즉, 사용자는 제1시간 구간에서는 제1파일을 재생하면서 화각을 조정하고, 다음 제2시간 구간에서는 제2파일을 재생하면서 화각을 조정하는 등에 의해 복수의 파일에 대한 화각 조정 정보를 하나의 화각 정보 파일에 담을 수 있다.
도 16을 참조하면, 360도 컨텐츠는 360도 컨텐츠 파일 1,2,3 으로 구성되어 있다. 그리고 이 360도 컨텐츠에 대응하는 화각 정보 1600는 하나의 화각 엔트리를 포함할 수 있다. 각 화각 엔트리 1610은 파일 식별자 1611, 시간 정보 1612, 화각 값 1613, 줌 값 1614를 포함할 수 있다. 시간 정보, 화각 값, 줌 값은 도 14를 참조하여 설명한 바와 같으며, 파일 식별자 1611은 해당 화각 값이 적용되는 360도 컨텐츠 파일의 식별자를 나타낼 수 있다. 예를 들어 어떤 화각 엔트리는 360도 컨텐츠 파일 1의 식별자를 나타낼 수 있고 어떤 화각 엔트리는 컨텐츠 파일 2의 식별자를 나타낼 수 있을 것이다.
도 17은 일 실시예에 따라 오브젝트 정보를 포함하는 화각 정보의 일 예를 나타낸다.
일 실시예에 따라 화각 정보는 오브젝트 정보를 더 포함할 수 있다. 도 3B에서 설명한 바와 같이 사용자가 360도 컨텐츠에 포함된 복수의 오브젝트들중 어느 하나의 오브젝트를 타겟으로 화각 정보를 생성한 경우, 화각 정보는 오브젝트 정보를 더 포함할 수 있다. 예를 들어 360도 뮤직 비디오에 출현하는 복수의 가수들중 사용자가 가수 A를 트랙킹하여 가수 A가 나온 화각들로 360도 영상을 조정함으로써 화각 정보를 생성하는 경우 화각 정보는 해당 오브젝트인 가수 A에 대한 정보를 오브젝트 정보로 포함할 수 있다.
도 17을 참조하면, 화각 정보 1700은 오브젝트 정보 1710, 화각 엔트리 1720, 화각 엔트리 1730, 화각 엔트리 1740을 포함할 수 있다. 화각 엔트리들은 도 14 내지 도 16을 참조하여 설명한 바와 같다. 오브젝트 정보 1710은 이 화각 정보 1700에 대응하는 오브젝트를 식별하기 위한 정보로서, 오브젝트 식별자를 포함할 수 있다. 오브젝트는 360도 컨텐츠에 출현하는 엔티티로서, 화각에 따라 트래킹될 수 있는 어떠한 엔티티도 될 수 있다. 예를 들어, 오브젝트는 뮤직 비디오에서 출현하는 가수, 스포츠 비디오에서 출현하는 선수나, 또는 공, 다양한 비디오에서 출현하는 물체나, 동물, 등 어떠한 엔티티라도 가능할 수 있다.
사용자는 360도 컨텐츠를 재생하면서 자동으로 또는 수동으로 화각 정보를 생성할 수 있다.
도 18은 일 실시예에 따라 화각 정보를 자동으로 생성하는 예를 설명하기 위한 참고도이다.
도 18을 참조하면, 자동 모드에서 사용자는 360도 컨텐츠의 재생 시작 전에, 또는 360도 컨텐츠의 재생과 함께 자동으로 화각 정보를 저장하는 메뉴를 선택할 수 있다. 예를 들어 현재 화각 정보가 자동으로 저장되는 상태임을 표시하기 위해 영상 표시 장치 100는 <자동저장중> 이라는 메시지 1840를 디스플레이부에 표시할 수 있다.
자동모드에서, 영상 표시 장치는 360도 컨텐츠의 재생 중 사용자의 화각 제어 이벤트가 발생할 때마다 화각 제어 이벤트에 따라 결정되는 화각 값을 화각 정보로 저장할 수 있다. 화각 제어 이벤트는 사용자가 제어장치나 손가락 등을 이용하여 화각을 제어하는 입력이 발생되었음을 나타내는 이벤트 일 수 있다.
도 18을 참조하면, 사용자의 화각 제어 이벤트가 발생하는 제1 시간, 제2 시간, 제3시간에서 영상 표시 장치는 자동으로 해당 이벤트들에 대응하는 화각 값을 포함하는 화각 엔트리 1810, 1820, 1830을 생성하고 이를 화각 정보 1800으로 저장할 수 있다. 즉, 사용자는 360도 컨텐츠를 시청하면서 원하는 화각으로 제어하기만 하면, 영상 표시 장치는 자동으로 입력된 화각 값을 화각 정보로 생성할 수 있다.
도 19는 일 실시예에 따라 화각 정보를 수동으로 생성하는 예를 설명하기 위한 참고도이다.
수동 모드에서, 사용자는 360도 컨텐츠를 재생하면서 시청하다가 원하는 시점에 화면을 일시정지시키고 편집모드로 진입하여 화각 정보를 저장할 수 있다.
도 19를 참조하면, 사용자가 화각 정보를 저장하기를 원하는 시점에 사용자는 화면의 재생을 일시 정지시키고 편집모드로 진입할 수 있다. 편집 모드로 진입한 경우에 영상 표시 장치는 해당 시점 부근에 있는 몇 개의 비디오 프레임 1910, 1920, 1930을 디스플레이부에 표시할 수 있다. 사용자는 디스플레이부에 표시된 몇 개의 비디오 프레임들중에서 화각을 제어하고자 하는 프레임을 선택하고 해당 프레임의 화각을 제어할 수 있다. 화각을 선택한 후 사용자가 디스플레이부에 표시된 <저장> 메뉴 1950를 선택한 경우 영상 표시 장치는 해당 프레임에서 선택된 화각 값을 이용하여 화각 엔트리 1960을 생성하고 이를 화각 정보 1900에 저장할 수 있다.
일 실시예에 따라 사용자는 생성된 화각 정보를 편집할 수 있다. 화각 정보가 360도 컨텐츠와 별도의 화각 정보 파일로 생성되는 경우 화각 정보 파일은 예를 들어 텍스트 파일로 저장될 수 있고 따라서 사용자는 텍스트 파일을 열어서 용이하게 화각 정보를 수정 또는 편집할 수 있다.
일 실시예에 따라 사용자는 화각 정보를 포함하는 텍스트 파일을 열어서, 화각 엔트리에 포함된 화각 값이나 줌 값을 수정하거나 편집할 수 있다.
일 실시예에 따라 영상 표시 장치는 생성된 화각 정보를 자동으로 수정할 수 있다. 예를 들어, 사용자의 화각 제어에 따라 생성된 화각 정보는 사용자의 화각 제어의 능숙도에 따라 재생하기에 불편하게 화각 값이 포함되어 있을 수도 있다. 예를 들어, 사용자가 갑자기 줌 값의 변경을 급격하게 한다든지, 또는 짧은 시간 구간에서 사용자가 화각 변경을 급격하게 한 경우 이러한 화각 정보에 따라 360도 컨텐츠를 재생해서 볼 경우 360도 컨텐츠의 재생이 자연스럽지 않고 사용자에게 불편함을 줄 수도 있다. 따라서 영상 표시 장치는 자동 조정 모드에서 화각 정보에 포함된 화각 엔트리들의 화각 값과 줌 값을 스캔하여 부자연스럽게 영상이 재생될 수 있는 구간을 찾고 이 구간에서 영상의 재생을 자연스럽게 할 수 있도록 하는 조정 엔트리를 삽입할 수 있다.
도 20은 일 실시예에 따라 조정 엔트리를 포함하는 화각 정보의 일 예를 나타낸다.
도 20을 참조하면 화각 정보 2000는 화각 엔트리 1 내지 5를 포함한다. 영상 표시 장치는 화각 정보 2000에 포함된 화각 엔트리 1 내지 5를 스캔하여 영상이 부자연스럽게 재생될 수 있는 구간을 찾아내고 해당 구간에 조정 엔트리 2010를 삽입할 수 있다. 조정 엔트리는 화각엔트리와 화각 엔트리 사이에 삽입되어, 화각 값이 부드럽게 변경될 수 있도록 명령어 또는 줌 값이 부드럽게 변경될 수 있도록 하는 명령어를 포함할 수 있다. 예를 들어 영상 표시 장치는 화각 엔트리 들 사이의 시간 구간동안 소정 임계값을 넘는 화각 값의 변경이 있으면 조정 엔트리를 삽입할 수 있다. 또는 예를 들어 영상 표시 장치는 화각 엔트리들 사이의 시간 구간동안 소정 임계값을 넘는 줌 값의 변경이 있으면 조정 엔트리를 삽입할 수 있다.
도 21은 도 20에 도시된 조정 엔트리를 설명하기 위한 예를 나타낸다.
도 21을 참조하면, 일 예에 따른 화각 정보 2100는 화각 엔트리 2110, 화각 엔트리 2120, 화각엔트리 2130을 포함한다. 영상 표시 장치는 화각 엔트리 2120과 2130을 스캔하고, 시간이 3000ms와 5000ms 사이에 화각의 x 좌표가 90도에서 370도로 급격히 변화된 것을 찾아낼 수 있다. 영상 표시 장치는 2000ms 의 시간 동안 280도의 화각이 변경된 것을 확인하고 이러한 변경은 사용자에게 불편을 주는 화각 변경이라고 판단할 수 있다. 이러한 경우에 영상 표시 장치는 조정 엔트리 2140를 화각 엔트리 2120과 화각 엔트리 2130 사이에 삽입할 수 있다. 조정 엔트리 2140는 명령어 Direction=Smooth (value)를 포함할 수 있다. 명령어 Direction=Smooth (value)는 화각엔트리 2120에 포함된 시간 값과 화각 엔트리 2130에 포함된 시간 값 사이에 value 만큼의 프레임을 재생하라는 의미일 수 있다. 예를 들어 Direction=Smooth(100) 이면 화각 엔트리 2120에 의해 나타내진 시간과 화각 엔트리 2130에 의해 나타내진 시간 사이에 100 장의 프레임을 재생하라는 의미일 수 있다. 이와 같이 조정 엔트리를 삽입함으로써 360도 컨텐츠의 재생을 부드럽게 할 수 있다.
일 실시예에 따라 사용자는 화각 정보를 구성하는 텍스트 파일에 도 20에서 설명된 바와 같은 조정 엔트리를 직접 입력할 수도 있을 것이다.
도 22는 일 실시예에 따라 생성된 화각 정보를 이용하여 360도 컨텐츠를 재생하는 방법의 과정을 나타내는 흐름도이다.
도 22를 참조하면, 동작 s2210에서, 영상 표시 장치는 360도 영상 및 화각 정보를 획득할 수 있다.
실시예들에 따라 영상 표시 장치는 화각 정보를 360도 영상을 담고 있는 파일로부터 획득할 수도 있고 360도 영상 파일과 별도의 독립적인 파일로부터 획득할 수도 있다.
실시예들에 따라 영상 표시 장치는 화각 정보를 영상 표시 장치 내부에 저장된 메모리로부터 획득할 수도 있고 또는 화각 정보를 제공하는 서버로부터 수신하여 획득할 수도 있다.
화각 정보는 애초에 이 360도 영상에 대응해서 생성된 화각 정보일 수도 있고 또는 다른 360도 영상에 대응해서 만들어진 화각 정보일 수도 있다.
실시예들에 따라 360도 영상은 하나의 파일로 이루어 질 수도 있고, 복수개의 파일로 이루어질 수도 있다.
동작 s2220에서, 영상 표시 장치는 획득된 화각 정보를 이용하여 360도 영상을 재생할 수 있다.
영상 표시 장치는 화각 정보에 포함된 화각 엔트리에 담겨진 시간 정보, 화각 값, 줌 값 등을 참조하여 360도 영상 재생시 화각을 결정하거나 줌 정도를 결정할 수 있다. 구체적으로, 영상 표시 장치는 화각 엔트리에 담겨진 시간이 되는 시점에, 해당 화각 엔트리에 담겨진 화각 값으로 화각을 변경하고, 변경된 화각에 대응하는 영역의 영상을 표시할 수 있다. 또한 마찬가지로 해당 화각 엔트리에 담겨진 줌 값으로 줌 크기를 조정하고, 조정된 줌 크기에 따라 영상을 확대하거나 축소하여 표시할 수 있다.
실시예들에 따라 영상 표시 장치가 화각 정보를 참조하여 360도 영상을 재생하는 동안 화각을 제어하는 사용자 입력이 수신된 경우에 영상 표시 장치는 다양한 시나리오에 따라 동작할 수 있다.
일 실시예에 따라 영상 표시 장치가 화각 정보를 참조하여 360도 영상을 재생하는 동안 화각을 제어하는 사용자 입력이 수신된 경우 영상 표시 장치는 화각 정보는 무시하고 화각을 제어하는 사용자 입력에 따라 화각에 대응하여 영상을 재생할 수 있다.
일 실시예에 따라 영상 표시 장치가 화각 정보를 참조하여 360도 영상을 재생하는 동안 화각을 제어하는 사용자 입력이 수신된 경우 영상 표시 장치는 화각을 제어하는 사용자 입력에 따른 화각에 대응하여 영상을 재생하고, 일정한 시간 경과후 (예를 들어 30초 경과후) 다시 화각 정보에 기반하여 360도 영상을 재생할 수 있다. 즉, 영상 표시 장치가 화각 정보를 참조하여 360도 영상을 재생중 화각을 제어하는 사용자 입력을 수신하면, 사용자 입력 수신 시점으로부터 일정 시간 동안 사용자 입력에 따라 화각을 조정하여 영상을 재생하고, 일정 시간이 경과후에는 다시 원래대로 화각정보에 기반하여 360도 영상을 재생할 수 있다.
도 23은 일 실시예에 따라 화각 정보가 360도 컨텐츠와 별도의 파일로 구성되는 경우 활용의 범용성을 설명하기 위한 참고도이다.
도 23을 참조하면, 제1 360도 컨텐츠 2310과 제2 360도 컨텐츠 2320, 및 제1화각 정보 파일 2330, 제2화각 정보 파일 2340, 제3화각 정보 파일 2350, 제4화각 정보 파일 2360이 있다고 가정하자.
제1화각 정보 파일 2330 내지 제4화각 정보 파일 2360은 제1 360도 컨텐츠 2310의 재생에 이용될 수 있다. 또한 마찬가지로 제1화각 정보 파일 2330 내지 제4화각 정보 파일 2360은 제2 360도 컨텐츠 2320의 재생에도 이용될 수 있다.
도 23에서와 같이 화각 정보 파일이 복수의 컨텐츠에 이용될 수 있는 상황은 복수의 가수로 구성된 그룹의 360도 뮤직 비디오에 잘 활용될 수 있다. 예를 들어 복수의 가수로 구성된 그룹의 경우 대체로 특정 가수의 위치는 정해져 있는 경우가 많다. 따라서 제1 뮤직 비디오에서 센터 위치에 있는 가수 A를 타겟으로 화각 정보 파일을 생성한 경우, 이 그룹의 제2 뮤직 비디오에서도 가수 A는 센터 위치에 있으며 가수A의 동선도 제1 뮤직 비디오에서와 유사할 가능성이 높다. 이러한 경우 제1뮤직 비디오에 대응해서 만들어진 화각 정보 파일은 제2 뮤직 비디오와 함께 이용될 수도 있다.
도 24는 일 실시예에 따라 영상 표시 장치에서 360도 컨텐츠의 화각 정보를 표시하기 위한 사용자 인터페이스의 일 예를 나타낸다.
도 24를 참조하면, 사용자 인페이스 2400는 복수의 360도 컨텐츠에 대한 정보를 표시할 수 있다. 그중 하나의 360도 컨텐츠에 대한 정보 2410은 360 컨텐츠의 썸네일 이미지 2411, 360도 컨텐츠의 파일 식별자 2412, 360도 컨텐츠에 대응하여 저장된 화각 정보 버튼 2413, 화각 정보 검색 버튼 2414, 재생 버튼 2415를 포함할 수 있다.
저장된 화각 정보 버튼 2413의 선택에 의해 영상 표시 장치는 이 360도 컨텐츠에 대응해서 생성된 하나 이상의 화각 정보 파일로서 영상 표시 장치의 로컬 스토리지에 저장된 파일들을 보여줄 수 있다.
화각 정보 검색 버튼 2414의 선택에 의해 영상 표시 장치는 이 360도 컨텐츠에 대응해서 생성된 화각 정보 파일의 검색 요청을 네트워크를 통해 서버로 전송하고, 이러한 검색 요청에 응답하여 수신된 화각 정보 파일 리스트를 수신하여 보여줄 수 있다.
도 25는 일 실시예에 따라 하나의 360도 컨텐츠에 대해서 생성되어 유지될 수 있는 다양한 형태의 화각 정보 파일을 설명하기 위한 참고도이다.
도 25를 참조하면, 하나의 360도 컨텐츠 파일 2510에 대응해서 하나 이상의 편집자들에 의해 만들어진 화각 정보 파일이 있을 수 있다. 예를 들어 도 25에는 편집자 A, 편집자 B, 편집자 C에 의해 각각 만들어진 화각 정보 파일 2570, 2580, 2590이 저장되어 있다.
또한 360도 컨텐츠 파일 2510에 복수의 오브젝트가 있으면 각 오브젝트에 대응해서 하나 이상의 화각 정보 파일이 생성될 수 있다. 도 25를 참조하면, 360도 컨텐츠 파일 2510에 출현하는 가수 A에 대해서만도 세개의 화각 정보 파일 2520, 2530, 2540이 생성되어 있다. 또한 가수 B에 대응해서 제1화각 정보 파일 2560이 저장되어 있다. 이와 같이 하나의 360도 컨텐츠 파일에 대해서도 복수개의 화각 정보 파일이 생성될 수 있기 때문에 사용자는 이 360도 컨텐츠 파일 재생시 선택할 수 있는 화각 정보 파일의 선택의 폭이 넓어질 수 있다.
도 25에 도시된 바와 같은 화각 정보 파일을 저장하는 데이터베이스는 360도 컨텐츠를 제공하는 서버에 저장될 수 있다. 물론 이러한 데이터베이스는 단말에 존재할 수도 있는 것은 물론이다.
도 26은 일 실시예에 따라 360도 컨텐츠를 제공하는 서버에서 화각 정보의 선택을 위해 제공할 수 있는 사용자 인터페이스의 일 예를 나타낸다.
예를 들어 도 24의 버튼 2414를 선택한 경우 영상 표시 장치는 서버에 접속하여 도 26에 도시된 바와 같은 사용자 인터페이스를 표시할 수 있다.
도 26을 참조하면, 사용자 인터페이스 2600는 360도 컨텐츠의 썸네일 이미지나 프리뷰 영상 2610을 표시할 수 있다. 그리고 그 하단에는 이 360도 컨텐츠의 재생에 이용될 수 있는 화각 정보를 선택할 수 있도록 다양한 카테고리에 따른 화각 정보를 표시할 수 있다.
사용자 인터페이스 2600에는 오브젝트에 따라 선택할 수 있는 메뉴 2620가 표시될 수 있다. 예를 들어 선택할 수 있는 오브젝트는 가수 A, 가수 B, 가수 C 를 포함할 수 있다.
사용자 인터페이스 2600에는 조회수에 따라 선택할 수 있는 메뉴 2630가 표시될 수 있다. 서버는 화각 정보 파일을 조회하거나 다운로드한 회수에 따라 다수의 화각 정보 파일의 순위를 매길 수 있고, 이렇게 매겨진 순위에 대한 정보를 사용자에게 제공함으로써 사용자는 보다 인기있는 화각 정보 파일을 선택할 수 있다.
사용자 인터페이스 2600에는 편집자에 따라 선택할 수 있는 메뉴 2640이 표시될 수 있다. 예를 들어, 선택할 수 있는 편집자는 편집자 A, 편집자 B, 편집자 C 를 포함할 수 있다. 360도 컨텐츠의 사용 수요에 따라 360도 컨텐츠를 전문적으로 편집하는 전문가가 나타날 수 있다. 또는 360도 컨텐츠 제작자는 자신이 만든 360도 컨텐츠와 함께 이용될 수 있는 화각 정보 파일을 제작할 수도 있다. 따라서 사용자들은 특정한 편집자가 만들거나 또는 특정한 제작자가 만든 화각 정보 파일을 원할 수도 있으므로, 메뉴 2640의 제공이 편리하게 이용될 수 있다.
도 27은 일 실시예에 따라 360도 컨텐츠에 복수의 오브젝트가 있고 화각 정보가 복수의 오브젝트중 어느 하나의 오브젝트를 트랙킹하여 생성한 경우 오브젝트의 위치를 화면에 표시하기 위한 방법을 설명하기 위한 참고도이다.
도 27을 참조하면, 영상 표시 장치는 360도 영상 중 일부 영역에 대응하는 영상 2700 및 일부 영역의 위치를 나타내는 3차원 형태의 인디케이터 2720를 표시할 수 있다. 3차원 형태의 인디케이터 2720는, 구 형태의 인디케이터 및 실린더 형태의 인디케이터를 포함할 수 있으나, 이에 한정되지 않는다. 또한, 3차원 형태의 인디케이터 2720는 일부 영역의 위치를 나타내기 위해 영역을 표시할 수 있다. 이러한 구 형태의 인디케이터 2720는 볼 맵 (ball map)으로 불리울 수도 있다.
일 실시예에 따라 영상 표시 장치가 360도 영상에 포함된 복수의 오브젝트들중 어느 하나의 오브젝트를 트래킹하는 화각 정보를 이용하여 360도 영상을 재생할 수 있다. 이때 영상 표시 장치는 인디케이터 2720를 이용하여 현재 재생되는 영상이 특정 오브젝트를 트랙킹하는 정보임을 나타낼 수 있다.
도 27을 참조하면, 영상 표시 장치는 인디케이터 2720에 현재 표시되고 있는 360도 영상에 보여지는 복수의 오브젝트를 미리 정한 기호나, 문자나, 다각형 등으로 표시할 수 있다. 인디케이터 2720에서 오브젝트를 나타내는 기호나, 문자나 다각형 등은 360도 영상에서 오브젝트의 움직임이나 이동에 따라 대응하여 움직이거나 이동될 수 있다. 예를 들어 도 27에는 가수를 나타내는 오브젝트가 인디케이터 2720에서 원의 형태로 표시되어 있다. 그리고 또한 영상 표시 장치는 현재 재생되고 있는 360도 영상이 특정한 오브젝트를 트래킹하는 화각 정보에 따라 표시되고 있음을 나타내기 위해 인디케이터 2720에 표시된 복수의 원 중 해당하는 오브젝트에 대응하는 원을 다르게 표시할 수 있다. 예를 들어 도 27을 참조하면, 영상 표시 장치는 인디케이터 2720에서 복수의 오브젝트를 속이 빈 원 2721, 2722, 2724, 2725으로 나타내고, 현재 트랙킹 하고 있는 오브젝트 2710를 나타내는 원만 속이 채워진 원 2723으로 표시할 수 있다.
복수의 오브젝트들중 현재 영상 표시 장치가 화각 정보 트래킹에 이용하는 오브젝트를 다른 오브젝트들과 구별되게 표시하는 방법은 다양하게 존재할 수 있다. 예를 들어, 다른 색깔을 이용하여 또는 다른 모양을 이용하여, 또는 타겟 오브젝트에 대응되는 다각형에만 화살표 표시를 한다든지, 또는 타겟 오브젝트에 대응되는 다각형만 깜빡거리게 한다든지 등에 의해 다양하게 방법으로 구별할 수 있다.
복수의 파일로 구성된 360도 컨텐츠에 대해서 화각 정보가 생성되는 실시예들을 도 28 내지 도 32를 참조하여 설명한다.
도 28은 복수의 파일로 구성된 360도 컨텐츠에 대해서 화각 정보를 관리하는 시나리오의 개요를 설명하기 위한 참고도이다.
도 28을 참조하면, 영상 표시 장치는 파일 1, 파일 2, 파일 3으로 구성된 360도 컨텐츠 2800에 대해서 하나의 화각 정보 파일 2810을 생성할 수 있다. 화각 정보 파일 2810은 파일 1, 파일 2, 파일 3 모두에 대한 화각 정보를 포함할 수 있다.
이후 영상 표시 장치는 파일 1, 파일 2, 파일 3으로 구성된 360도 컨텐츠 2800를 재생할 때 화각 정보 파일 2810을 참조하여 360도 컨텐츠 2800를 재생할 수 있다. 화각 정보 파일 2810은 파일 1, 파일 2, 파일 3 에 대한 화각 정보를 담고 있을 수 있기 때문에 영상 표시 장치는 화각 정보 파일 2810을 참조할 때 파일 1, 파일 2, 파일 3의 각각을 번갈아가며 재생할 수 있다.
도 29는 일 예에 따라 복수의 파일로 구성된 360도 컨텐츠를 설명하기 위한 참고도이다.
예를 들어, 스포츠 게임 현장을 복수의 360도 카메라로 촬영하거나, 콘서트나 뮤직 비디오 촬영시 복수의 360도 카메라로 촬영하는 경우 등과 같이 하나의 현장을 촬영하기 위해 복수의 360도 카메라가 이용되는 경우, 복수의 파일로 구성된 360도 컨텐츠가 만들어 질 수 있다.
도 29를 참조하면, 뮤직 비디오 촬영을 위해 또는 콘서트 현장 촬영을 위해 세 개의 카메라, 즉 카메라 2910, 2920, 2930를 이용하여 현장 2900을 촬영하는 것을 나타낸다. 무대의 좌측에 설치된 카메라 2910을 이용하여 촬영된 영상은 파일 1 2940을 나타내고, 무대의 전방에 설치된 카메라 2930을 이용하여 촬영된 영상은 파일 2 2950을 나타내고, 무대의 우측에 설치된 카메라 2920를 이용하여 촬영된 영상은 파일 3 2960을 나타낸다.
도 30은 도 29에 도시된 파일 1,2,3을 이용하여 화각 정보를 생성하는 예를 설명하기 위한 참고도이다.
도 30을 참조하면, 영상 표시 장치는 360도 컨텐츠를 구성하는 파일1,2,3을 동시에 재생할 수 있다. 파일 1, 2, 3은 하나의 화면에서 오버랩되어 표시될 수도 있고 또는 하나의 화면을 복수개의 서브 화면으로 분할하여 표시될 수도 있다. 파일 1, 2, 3이 재생되는 동안 사용자는 파일 1, 2, 3에 대한 화각 제어를 수행할 수 있다.
파일 1, 2, 3의 재생이 시작된 후 사용자의 파일 1에 대한 화각 제어 동작이 발생한 경우 영상 표시 장치는 파일 1 관련 화각 엔트리들 3010 을 생성할 수 있다. 다음 시점에 사용자의 파일 3에 대한 화각 제어 동작이 발생한 경우 영상 표시 장치는 파일 3 관련 화각 엔트리들 3020을 생성할 수 있다. 이와 같이 사용자가 어느 하나의 파일에 대해서 뿐만 아니라 여러 개의 파일을 번갈아가면서 화각 제어 동작을 하는 경우 영상 표시 장치는 화각 제어 동작이 수행된 파일에 관한 화각 엔트리들을 모아서 화각 정보 파일 3000을 생성할 수 있다.
도 31은 도 30에 도시된 동작에 따라 생성된 화각 정보 파일의 구조의 일 예를 나타낸다.
도 31을 참조하면, 화각 정보 3000은 복수의 파일들에 대해서 화각 엔트리들이 생성되었기 때문에 각 화각 엔트리들이 어떠한 파일에 대한 것인지를 표시할 필요가 있다. 따라서 화각 정보 3000의 각 화각 엔트리들은 파일 식별자를 더 포함할 수 있다. 예를 들어, 파일 1관련 화각 엔트리들의 각 화각 엔트리 3110는 파일 식별자로서 파일 1임을 나타내는 정보와 함께 시간 정보, 화각 값, 줌 값을 포함할 수 있다. 또한 파일 3 관련 화각 엔트리들의 각 화각 엔트리 3120는 파일 식별자로서 파일 3임을 나타내는 정보와 함게 시간 정보, 화각 값, 줌 값을 포함할 수 있다.
도 32는 도 31에 도시된 바와 같은 화각 정보를 이용하여 360도 컨텐츠를 재생하는 것을 설명하기 위한 참고도이다.
도 32를 참조하면, 영상 표시 장치는 파일 1 2940, 파일 2 2950, 파일 3 2960을 이용하여 360도 컨텐츠를 재생할 때 화각 정보 3000를 참조할 수 있다.
예를 들어, 영상 표시 장치는 저장된 화각 정보 3000을 읽어들여 화각 정보 3000에 포함된 화각 엔트리들에 따라 360도 컨텐츠를 재생할 수 있다.
구체적으로, 영상 표시 장치는 화각 정보의 맨 앞 화각 엔트리들부터 스캔을 하면서 360도 컨텐츠를 재생할 수 있는데, 처음에 파일 1 관련 화각 엔트리들 3010이므로, 영상 표시 장치는 파일 1의 영상에서, 해당 각 화각 엔트리에 포함된 각 화각 값에 대응하는 영역의 영상을 표시할 수 있다. 또한 다음 화각 정보 3000에 파일 3관련 화각 엔트리들 3020이므로, 영상 표시 장치는 파일 3의 영상에서, 해당 각 화각 엔트리에 포함된 각 화각 값에 대응하는 영역의 영상을 표시할 수 있다. 이와 같은 방식으로, 영상 표시 장치는 화각 정보에 포함된 각 화각 엔트리의 내용 즉, <파일 식별자, 시간 정보, 화각 값, 줌 값> 를 참조하여, 파일 식별자에 대응하는 파일의 영상에서, 시간 정보가 나타내는 시간에, 화각 값에 대응하는 영역의 영상을 표시함으로써 복수의 파일로 구성된 360도 컨텐츠를 재생할 수 있다.
일 실시예에 따른 영상 표시 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 영상 표시 장치에 있어서,
    디스플레이;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    360도 컨텐츠 및 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하고,
    상기 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하는, 영상 표시 장치.
  2. 제1항에 있어서,
    상기 각 화각 값은,
    화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 높이 정보, 및 줌 크기 정보를 포함하는, 영상 표시 장치.
  3. 제1항에 있어서,
    통신 인터페이스를 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화각 정보를 외부 컴퓨터로부터 수신하도록 상기 통신 인터페이스를 제어하는, 영상 표시 장치.
  4. 제1항에 있어서,
    상기 화각 정보는, 상기 360도 컨텐츠에 대응하는 복수의 화각 정보 중에서, 미리 정한 기준에 따라 추천된 화각 정보인, 영상 표시 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화각 정보를, 상기 360도 컨텐츠의 파일로부터 추출하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로부터 획득하는, 영상 표시 장치.
  6. 영상 표시 장치에 있어서,
    디스플레이;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    360도 컨텐츠의 재생 중 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하고,
    상기 360도 컨텐츠의 재생을 위해 선택된 상기 하나 이상의 화각 값을 포함하는 화각 정보를 생성하는, 영상 표시 장치.
  7. 제6항에 있어서,
    상기 각 화각 값은,
    화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 크기 정보, 및 줌 크기 정보를 포함하는, 영상 표시 장치.
  8. 제6항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화각 정보를, 상기 360도 컨텐츠의 파일에 저장하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로 저장하는, 영상 표시 장치.
  9. 제6항에 있어서,
    상기 화각 정보는 상기 360도 컨텐츠에 포함된 오브젝트에 대응하고,
    상기 화각 정보는 상기 오브젝트를 식별하기 위한 정보를 더 포함하는, 영상 표시 장치.
  10. 제6항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 360도 컨텐츠를 구성하는 복수의 파일들중 하나 이상의 파일에 대응하는 360도 영상의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하고,
    상기 360도 영상의 재생을 위해 선택된, 하나 이상의 파일에 대응하는 하나 이상의 화각 값 및 각 화각 값에 대응하는 파일 식별자를 포함하는 화각 정보를 생성하는, 영상 표시 장치.
  11. 영상 표시 장치의 동작 방법에 있어서,
    360도 컨텐츠 및 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값을 포함하는 화각 정보를 획득하는 동작; 및,
    상기 획득된 화각 정보에 포함된 상기 하나 이상의 화각 값에 따라 상기 360도 컨텐츠를 디스플레이하하는 동작을 포함하는, 영상 표시 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 각 화각 값은,
    화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 높이 정보, 및 줌 크기 정보를 포함하는, 영상 표시 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 화각 정보를 외부 컴퓨터로부터 수신하는 동작을 더 포함하는, 영상 표시 장치의 동작 방법.
  14. 제11항에 있어서,
    상기 화각 정보는, 상기 360도 컨텐츠에 대응하는 복수의 화각 정보 중에서, 미리 정한 기준에 따라 추천된 화각 정보인, 영상 표시 장치의 동작 방법.
  15. 제11항에 있어서,
    상기 화각 정보를, 상기 360도 컨텐츠의 파일로부터 추출하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로부터 획득하는 동작을 더 포함하는, 영상 표시 장치의 동작 방법.
  16. 영상 표시 장치의 동작 방법에 있어서,
    360도 컨텐츠의 재생 중 상기 360도 컨텐츠의 재생을 위해 선택된 하나 이상의 화각 값에 대응하는 사용자 입력을 수신하는 동작; 및
    상기 360도 컨텐츠의 재생을 위해 선택된 상기 하나 이상의 화각 값을 포함하는 화각 정보를 생성하는 동작을 포함하는, 영상 표시 장치의 동작 방법.
  17. 제16항에 있어서,
    상기 각 화각 값은,
    화각이 적용되는 시간 또는 프레임에 대한 정보, 상기 화각을 나타내는 방향 정보와 크기 정보, 및 줌 크기 정보를 포함하는, 영상 표시 장치의 동작 방법.
  18. 제16항에 있어서,
    상기 화각 정보를, 상기 360도 컨텐츠의 파일에 저장하거나, 또는 상기 360 컨텐츠의 파일과 별도의 메타 파일로 저장하는 동작을 더 포함하는, 영상 표시 장치의 동작 방법.
  19. 제6항에 있어서,
    상기 화각 정보는 상기 360도 컨텐츠에 포함된 오브젝트에 대응하고,
    상기 화각 정보는 상기 오브젝트를 식별하기 위한 정보를 더 포함하는, 영상 표시 장치의 동작 방법.
  20. 제11항 내지 제19항중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160103756A 2016-08-16 2016-08-16 영상 표시 장치 및 그 동작방법 KR102567002B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160103756A KR102567002B1 (ko) 2016-08-16 2016-08-16 영상 표시 장치 및 그 동작방법
US15/673,924 US11062423B2 (en) 2016-08-16 2017-08-10 Image display apparatus and method of operating the same
PCT/KR2017/008722 WO2018034462A1 (en) 2016-08-16 2017-08-11 Image display apparatus and method of operating the same
EP17841645.9A EP3375197B1 (en) 2016-08-16 2017-08-11 Image display apparatus and method of operating the same
JP2019506662A JP6746772B2 (ja) 2016-08-16 2017-08-11 映像表示装置及びその動作方法
CN201710702848.2A CN107770627B (zh) 2016-08-16 2017-08-16 图像显示装置和操作图像显示装置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160103756A KR102567002B1 (ko) 2016-08-16 2016-08-16 영상 표시 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20180019421A true KR20180019421A (ko) 2018-02-26
KR102567002B1 KR102567002B1 (ko) 2023-08-14

Family

ID=61191896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160103756A KR102567002B1 (ko) 2016-08-16 2016-08-16 영상 표시 장치 및 그 동작방법

Country Status (6)

Country Link
US (1) US11062423B2 (ko)
EP (1) EP3375197B1 (ko)
JP (1) JP6746772B2 (ko)
KR (1) KR102567002B1 (ko)
CN (1) CN107770627B (ko)
WO (1) WO2018034462A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10848668B2 (en) * 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10664127B2 (en) * 2017-12-29 2020-05-26 Facebook, Inc. Connected TV 360-degree media interactions
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
US11259081B2 (en) 2020-02-28 2022-02-22 Rovi Guides, Inc. Systems and methods for adaptively modifying presentation of media content
CN113473157B (zh) * 2020-04-28 2022-08-12 海信集团有限公司 一种自由视点视角信息推荐方法以及相关设备
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和系统、拍摄设备、可移动平台
EP4064691A1 (en) * 2021-03-23 2022-09-28 Ricoh Company, Ltd. Communication management device, image communication system, communication management method, and carrier means

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0313866D0 (en) 2003-06-14 2003-07-23 Impressive Ideas Ltd Display system for recorded media
KR100827129B1 (ko) 2006-10-28 2008-05-02 삼성전자주식회사 미디어 컨텐츠의 부가정보 제공 장치 및 방법
WO2009003169A2 (en) 2007-06-27 2008-12-31 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
KR101397433B1 (ko) 2007-07-18 2014-06-27 삼성전자주식회사 미디어 파일 재생 장치에서 이퀄라이저를 설정하는 방법 및이를 위한 장치
CN101583010A (zh) 2008-05-14 2009-11-18 致伸科技股份有限公司 图像处理方法及图像处理系统
US20120092348A1 (en) 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
BR112014001565A2 (pt) 2011-07-22 2017-06-13 Fujifilm Corp método de geração de imagem panorâmica e dispositivo de captura de imagem
JP6056293B2 (ja) 2012-09-12 2017-01-11 株式会社リコー 照明光源装置及びこの照明光源装置を備えた投射装置及び投射装置の制御方法
CN107509029A (zh) 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
JP5825279B2 (ja) 2013-02-27 2015-12-02 ブラザー工業株式会社 端末装置及びプログラム
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
JP5942933B2 (ja) 2013-07-04 2016-06-29 ブラザー工業株式会社 端末装置、及びプログラム
KR101518814B1 (ko) 2013-09-11 2015-05-28 (주) 메리제이콘텐츠 360도 서라운드 뷰 영상 데이터를 이용한 방송 컨텐츠의 저작방법
KR101826704B1 (ko) 2013-09-13 2018-02-08 인텔 코포레이션 비디오 프로덕션 공유 장치 및 방법
EP3110160A4 (en) 2014-02-18 2017-10-11 LG Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
WO2015134537A1 (en) 2014-03-04 2015-09-11 Gopro, Inc. Generation of video based on spherical content
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
CN104199944B (zh) 2014-09-10 2018-01-09 重庆邮电大学 一种实现街景视图展示的方法及装置
CA2998482A1 (en) 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction
US20160234556A1 (en) * 2015-02-11 2016-08-11 Fan Media Network, Inc. System and Method for Organizing, Ranking and Identifying Users as Official Mobile Device Video Correspondents
KR20170055867A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102536945B1 (ko) * 2016-08-30 2023-05-25 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
US11062423B2 (en) 2021-07-13
CN107770627B (zh) 2020-11-06
KR102567002B1 (ko) 2023-08-14
CN107770627A (zh) 2018-03-06
EP3375197B1 (en) 2022-10-12
JP2019525628A (ja) 2019-09-05
WO2018034462A1 (en) 2018-02-22
EP3375197A1 (en) 2018-09-19
JP6746772B2 (ja) 2020-08-26
US20180053280A1 (en) 2018-02-22
EP3375197A4 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
KR102567002B1 (ko) 영상 표시 장치 및 그 동작방법
US10453246B2 (en) Image display apparatus and method of operating the same
US20220013086A1 (en) Display device and operating method thereof
US10536742B2 (en) Display apparatus and display method
US10203927B2 (en) Display apparatus and display method
KR102347069B1 (ko) 전자 장치 및 그 동작방법
KR102525575B1 (ko) 영상 표시 장치 및 그 동작 방법
KR20180028782A (ko) 전자 장치 및 그 제어 방법
US20160373828A1 (en) Display device and operating method thereof
US20160170597A1 (en) Display apparatus and display method
CN109661809B (zh) 显示设备
KR20170009087A (ko) 영상 표시 장치 및 그 동작 방법
KR20180118499A (ko) 영상 표시 장치 및 영상 표시 방법
KR20180037725A (ko) 디스플레이 장치
KR20180016805A (ko) 디스플레이 장치 및 그의 동작 방법
EP3032392B1 (en) Display apparatus and display method
KR102713560B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20170138145A (ko) 디스플레이 장치 및 그의 동작 방법
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
KR20240037796A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant