KR102054947B1 - 영상 표시 장치 및 영상 표시 방법 - Google Patents

영상 표시 장치 및 영상 표시 방법 Download PDF

Info

Publication number
KR102054947B1
KR102054947B1 KR1020170104367A KR20170104367A KR102054947B1 KR 102054947 B1 KR102054947 B1 KR 102054947B1 KR 1020170104367 A KR1020170104367 A KR 1020170104367A KR 20170104367 A KR20170104367 A KR 20170104367A KR 102054947 B1 KR102054947 B1 KR 102054947B1
Authority
KR
South Korea
Prior art keywords
degree image
image
time point
category
viewpoint
Prior art date
Application number
KR1020170104367A
Other languages
English (en)
Other versions
KR20180118499A (ko
Inventor
김성현
김용덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2018/003239 priority Critical patent/WO2018194273A1/en
Priority to JP2019556349A priority patent/JP7090642B2/ja
Priority to EP18787910.1A priority patent/EP3593539A4/en
Priority to US15/946,210 priority patent/US10845941B2/en
Publication of KR20180118499A publication Critical patent/KR20180118499A/ko
Application granted granted Critical
Publication of KR102054947B1 publication Critical patent/KR102054947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

360도 영상을 표시하는 영상 표시 장치 및 영상 표시 방법이 개시된다.
개시된 일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치는, 디스플레이, 및 360도 영상의 시점을 이동시키는 사용자 입력을 수신하고, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여, 사용자 입력에 대응하는 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득하고, 360도 영상 중 추천 시점에 대응하는 영역을 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함할 수 있다.

Description

영상 표시 장치 및 영상 표시 방법{Image display apparatus and method for displaying image}
개시된 다양한 실시예들은 영상 표시 장치 및 영상 표시 방법에 관한 것으로서, 보다 상세하게는, 360도 영상을 표시하는 영상 표시 장치 및 영상 표시 방법에 관한 것이다.
영상 표시 장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 영상 표시 장치를 통하여 방송을 시청할 수 있다. 영상 표시 장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
최근에는 디지털 방송 기능에 더하여 다양한 컨텐츠를 제공하는 스마트 TV가 제공되고 있으며, 360도 영상을 표시할 수 있는 영상 표시 장치가 제공되고 있다. 사용자는 360도 영상의 시점을 이동시켜 다양한 각도에서 360도 영상을 시청할 수 있다. 시점의 선택에 따라 360도 영상 중에서 사용자에게 보여지는 영역이 달라지기 때문에, 360도 영상을 시청할 때 적절한 시점을 선택할 수 있는 방법이 필요하다.
일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치는, 디스플레이, 및 360도 영상의 시점을 이동시키는 사용자 입력을 수신하고, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여, 사용자 입력에 대응하는 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득하고, 360도 영상 중 추천 시점에 대응하는 영역을 디스플레이하도록 디스플레이를 제어하는, 프로세서를 포함할 수 있다.
일 실시예에 따른 구도 검출 파라미터 세트는, 하나 이상의 뉴럴 네트워크에 360도 영상의 카테고리를 나타내는 카테고리 정보 및 카테고리에 속하는 복수의 영상이 입력된 것에 응답하여, 360도 영상의 카테고리를 위한 추천 구도를 학습함으로써 결정될 수 있다.
일 실시예에 따른 구도 검출 파라미터 세트는, 360도 영상의 카테고리를 위한 하나 이상의 추천 구도를 나타내는 하나 이상의 레이어 및 하나 이상의 레이어에 적용되는 가중치가 선형 결합된 형태로 결정될 수 있다.
일 실시예에 따른 프로세서는, 탐색 영역을 360도 영상이 디스플레이되는 화면의 크기를 갖는 복수의 영역으로 분할하고, 복수의 영역 각각에 상기 구도 검출 파라미터 세트 또는 사용자의 선호 구도를 적용하여 분석하고, 분석 결과에 기초하여, 상기 추천 시점을 결정할 수 있다.
일 실시예에 따른 프로세서는, 360도 영상의 현재 재생 위치를 나타내는 정보 및 360도 영상의 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송하고, 외부 서버에 의해 결정된 추천 시점에 관한 정보를 외부 서버로부터 수신할 수 있다.
일 실시예에 따른 탐색 영역은 추천 시점을 결정하기 위해 분석되는 360도 영상의 일부 영역으로서, 사용자 입력에 응답하여 360도 영상의 시점이 이동하는 방향에 기초하여 결정되며, 탐색 영역의 크기는, 360도 영상이 디스플레이되는 화각 및 360도 영상이 디스플레이되는 화면의 종횡비 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시예에 따른 탐색 영역은, 사용자 입력에 응답하여 360도 영상의 시점이 이동함에 따라 업데이트되고, 추천 시점은 업데이트된 탐색 영역 및 카테고리 정보에 기초하여 결정될 수 있다.
일 실시예에 따른 360도 영상의 카테고리는, 360도 영상의 장르, 360도 영상이 촬영된 장소, 및 360도 영상의 내용 중 적어도 하나에 기초하여 결정되고, 프로세서는, 360도 영상의 제목(title), 360도 영상의 메타데이터 중 적어도 하나에 기초하여, 360도 영상의 카테고리에 관한 정보를 획득할 수 있다.
일 실시예에 따른 프로세서는, 360도 영상의 현재 시점과 추천 시점 사이의 이동 거리 및 360도 영상의 시점을 이동시키는 사용자 입력의 종류 중 적어도 하나에 기초하여, 360도 영상이 추천 시점으로 이동하는 속도를 다르게 설정할 수 있다.
일 실시예에 따른 프로세서는, 탐색 영역으로부터 하나 이상의 객체를 검출하고, 검출된 하나 이상의 객체의 움직임 정보를 더 고려하여 추천 시점에 관한 정보를 획득할 수 있다.
일 실시예에 따른 영상 표시 방법은, 360도 영상의 시점을 이동시키는 사용자 입력을 수신하는 단계, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여, 사용자 입력에 대응하는 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득하는 단계, 및 360도 영상 중 상기 추천 시점에 대응하는 영역을 디스플레이하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 3은 다른 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 4a 및 도 4b는 일 실시예에 따라 구도 검출 파라미터 세트를 학습하는 과정을 설명하기 위한 도면이다.
도 5a 및 도 5b는 일 실시예에 따라 추천 시점이 결정되는 과정을 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시예에 따라 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 추천 시점을 결정하는 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 일 실시예에 따라 추천 시점을 나타내는 정보를 외부 서버로부터 수신하는 과정을 설명하기 위한 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 영상 표시 장치가 현재 디스플레이되는 시점 및 추천 시점의 거리 차이에 따라 360도 영상의 시점을 다른 속도로 이동시키는 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 영상 표시 장치가 360도 영상에서 검출된 객체의 움직임에 따라 360도 영상의 시점을 이동시키는 예를 나타내는 도면이다.
도 10은 일 실시예에 따른 영상 표시 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 360도 영상을 표시하는 영상 표시 장치를 나타내는 도면이다.
일 실시예에 따른 영상 표시 장치(100)는 360도 영상을 표시할 수 있다.
360도 영상은, 360도의 화각(angle of view)을 가지는 영상일 수 있다. 예를 들어, 360도 영상은 적어도 하나의 카메라를 이용하여 360도 방향으로 촬영된 복수의 영상들에 기초하여, 생성된 영상일 수 있다. 이때, 촬영된 복수의 영상은 구(sphere)에 맵핑(mapping)될 수 있으며, 맵핑된 영상들의 접점들이 연결(스티칭(stiching))되어, 구(sphere) 형식의 360도 영상이 생성될 수 있다. 또한, 구(sphere) 형식의 360도 영상은, 다른 장치로 전송하거나 저장하기 위해 도 1에 도시된 바와 같이, 평면 형식의 360도 영상(50)으로 변환될 수 있다.
일 실시예에 따른 영상 표시 장치(100)는 평면 형식의 360도 영상(50)에 그래픽 처리를 하여, 평면 형식의 360도 영상(50)을 구 형태의 360도 영상(70)으로 변환할 수 있다. 예를 들어, 영상 표시 장치(100)는 평면 형식의 360도 영상을 구(sphere)에 맵핑하여, 구 형태의 360도 영상(70)을 생성할 수 있다. 그리고, 영상 표시 장치(100)는 구 형태의 360도 영상(70) 중 특정 시점(view point)에 대응하는 일부 영역(80)을 선택하고, 선택된 영역(80)에 대응하는 영상을 표시할 수 있다.
일 실시예에 따른 영상 표시 장치(100)는, 360도 영상 중 선택된 시점에 대응하는 영역을 표시할 수 있으며, 시점을 변경하는 사용자 입력에 응답하여, 변경된 시점에 대응하는 영역을 표시할 수 있다. 이때, 영상 표시 장치(100)가 HMD(Head Mount Display)와 같은 장치일 경우, 사용자는 영상 표시 장치(100)를 착용한 상태에서 360도 영상을 시청할 수 있다. 따라서, 사용자는 360도 영상의 시점을 원하는 시점으로 용이하게 변경할 수 있다. 그러나, TV와 같이 제어 장치(101)에 의해 제어되는 영상 표시 장치(100) 인 경우, 사용자는 제어 장치(101)를 이용하여 360도 영상의 시점을 미세하게 조정하는 것이 용이하지 않을 수 있다. 예를 들어, 사용자가 제어 장치(101)를 이용하여 360도 영상의 시점을 변경하는 경우, 시청하기에 적절한 구도를 찾기 위해서 시점을 이동시키는 조작이 수회 이상 필요할 수 있다. 영상 표시 장치(100)는, 360도 영상의 특정 시점에 대응하는 일부 영역만 디스플레이하기 때문에, 사용자는 시점을 이동시키기 전까지 디스플레이되지 않은 시점에 대한 정보를 알기 어렵다. 따라서, 사용자는, 360도 영상에서 현재 디스플레이되지 않는 영역을 고려할 때, 어느 시점이 시청하기에 적절한 구도인지 용이하게 판단하기 어려울 수 있다. 따라서, 360도 영상의 시점을 이동시키는 사용자 입력이 수신될 때, 시점의 이동 방향을 고려하여, 시청하기에 적절한 구도를 갖는 추천 시점을 제공할 수 있는 방법이 요구된다.
일 실시예에 따른 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 시점이 이동하는 방향에 기초하여 탐색 영역을 설정하고, 설정된 탐색 영역을 분석하여 시청하기에 적절한 구도를 갖는 추천 시점을 결정하고, 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다. 이에 따라, 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자의 입력에 응답하여 360도 영상의 시점을 이동시킬 때, 시청하기에 적절한 구도를 고려하여 360도 영상의 시점을 이동시킬 수 있다.
일 실시예에 따른 영상 표시 장치(100)는 TV일 수 있으나, 이에 한정되지 않으며, 디스플레이를 포함하는 전자 장치로 구현될 수 있다. 예를 들어, 영상 표시 장치(100)는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 또한, 영상 표시 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
영상 표시 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 영상 표시 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
영상 표시 장치(100)는 제어 장치(101)에 의해 제어될 수 있으며, 제어 장치(101)는 리모컨 또는 휴대폰과 같이 영상 표시 장치(100)를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다. 또는 영상 표시 장치(100)의 디스플레이가 터치스크린으로 구현되는 경우 제어 장치(101)는 사용자의 손가락이나 입력 펜 등으로 대체될 수 있다.
또한, 제어 장치(101)는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 영상 표시 장치(100)를 제어할 수 있다. 제어 장치(101)는 구비된 키(버튼을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치(101)의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여 영상 표시 장치(100)의 기능을 제어할 수 있다.
제어 장치(101)는 영상 표시 장치(100)의 전원을 온(on)시키거나 오프(off)시키기 위한 전원 온/오프 버튼을 포함할 수 있다. 또한, 제어 장치(101)는 사용자 입력에 의해 영상 표시 장치(100)의 채널 변경, 음량 조정, 지상파 방송/케이블 방송/위성 방송 선택, 또는 환경 설정(setting)을 할 수 있다.
또한, 제어 장치(101)는 포인팅 장치일 수도 있다. 예를 들어, 제어 장치(101)는, 특정 키 입력을 수신하는 경우에 포인팅 장치로 동작할 수 있다.
본 명세서의 실시예에서 “사용자”라는 용어는 제어 장치(101)를 이용하여 영상 표시 장치(100)의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 2는 일 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 2에 도시된 영상 표시 장치(100a)는 도 1에 도시된 영상 표시 장치(100)의 일 실시예일 수 있다. 도 2를 참조하면, 개시된 일 실시예에 따른 영상 표시 장치(100a)는 프로세서(210) 및 디스플레이(220)를 포함할 수 있다. 그러나, 영상 표시 장치(100a)는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
프로세서(210)는 하나 이상의 메모리 및 하나 이상의 프로세서의 다양한 조합으로 구현될 수 있다. 예를 들어, 메모리는 프로세서(210)의 동작에 따라 프로그램 모듈을 생성하고 삭제할 수 있으며, 프로세서(210)는 프로그램 모듈의 동작들을 처리할 수 있다.
일 실시예에 따른 프로세서(210)는, 360도 영상의 시점을 이동시키는 사용자 입력을 수신한다.
360도 영상의 시점을 이동시키는 사용자 입력은, 제어 장치(101)에서 소정의 방향키를 선택하는 입력일 수 있으나, 이에 한정되지 않는다. 예를 들어, 제어 장치(101)가 터치스크린을 이용하여 구현된 경우, 360도 영상의 시점을 이동시키는 사용자 입력은, 특정 방향에 대응하는 키를 나타내는 아이콘을 터치하는 입력을 의미할 수 있으나, 이에 한정되지 않는다. 또한, 시점의 이동은, 360도 영상의 시점을 이동시키는 사용자 입력의 종류(예를 들어, 짧게 터치하는 입력, 길게 터치하는 입력, 싱글 탭, 및 더블 탭 등)에 따라, 기설정된 단위(예를 들어, 30도 단위)로 불연속적으로 이동할 수도 있으며, 연속적으로 이동할 수도 있다.
일 실시예에 따른 프로세서(210)는, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 및 사용자의 선호 구도 중 적어도 하나에 기초하여, 사용자 입력에 응답하여 설정된 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득한다.
카테고리는, 360도 영상의 적어도 하나의 속성에 기초하여 분류될 수 있다. 카테고리는, 360도 영상의 장르, 360도 영상이 촬영된 장소, 및 360도 영상의 내용 중 적어도 하나에 기초하여 결정될 수 있으나, 이에 한정되지 않는다. 예를 들어, 카테고리는, 영화, 뮤직비디오, 다큐멘터리, 스포츠 영상, 뉴스, 교육 영상 등을 포함하는 360도 영상의 장르에 따라 달라질 수 있다. 또한, 카테고리는, 360도 영상이 실내에서 촬영된 영상인지, 야외에서 촬영된 영상인지, 바다에서 촬영된 영상인지 여부에 따라 달라질 수 있다. 또한, 카테고리는, 영상에 촬영된 내용이 결혼식인지, 동물인지, 공연인지, 스포츠인지에 따라 달라질 수 있으나, 이에 한정되지 않는다.
카테고리 정보는, 360도 영상의 카테고리를 나타내는 정보로서, 360도 영상의 메타데이터(metadata), 360도 영상의 제목, 360도 영상의 태그 등의 형태로 나타낼 수 있으나, 이에 한정되지 않는다. 예를 들어, 카테고리 정보는, 360도 영상에 관한 부가 정보를 표현하기 위한 메타데이터의 일부로 나타낼 수 있다. 또한, 카테고리 정보는, 예를 들어, “결혼식”, “전국농구대회 결승”, “ABC 오케스트라 정기 공연” 등과 같은 360도 영상의 제목으로 나타낼 수 있다. “결혼식”, “전국농구대회 결승”, “ABC 오케스트라 정기 공연”과 같은 제목은, 360도 영상의 카테고리가 각각 결혼식 영상, 스포츠 영상, 공연 영상임을 나타낼 수 있다. 또한, 스트리밍 서비스를 제공하는 웹 사이트는, 웹 사이트에 의해 제공되는 360도 영상을 설명하기 위한 하나 이상의 태그를 360도 영상과 함께 표시할 수 있다. 예를 들어, ABC 축구대회 결승 경기 영상이 웹 사이트에 업로드될 때, “ABC 축구대회”, “축구”, “스포츠”와 같이 ABC 축구대회 결승 경기를 설명하기 위한 태그가 함께 업로드될 수 있다. 이때, “ABC 축구대회”, “축구”, “스포츠” 등의 태그는, 해당 영상의 카테고리가 예를 들어 “스포츠 영상”임을 나타낼 수 있다.
탐색 영역은, 추천 시점을 결정하기 위해 분석되는 360도 영상의 일부 영역으로서, 사용자 입력에 응답하여 360도 영상의 시점이 이동하는 방향에 기초하여 설정될 수 있다. 예를 들어, 영상 표시 장치(100)는, 360도 영상의 시점을 특정 방향으로 이동시키는 사용자 입력이 수신되기 시작하면, 영상 표시 장치(100)는 360도 영상 중에서 현재 디스플레이되는 영역을 포함하는 소정의 영역을 초기 탐색 영역으로 설정할 수 있다. 이때, 탐색 영역의 크기는, 360도 영상이 하나의 화면에 디스플레이되는 화각 및 360도 영상이 디스플레이되는 화면의 종횡비 중 적어도 하나에 기초하여 결정될 수 있다. 탐색 영역의 크기는, 360도 영상이 디스플레이되는 화면의 크기보다 클 수 있으며, 360도 영상이 하나의 화면에 디스플레이되는 화각이 클수록 탐색 영역의 크기도 클 수 있다. 또한, 탐색 영역의 크기가 클수록, 추천 시점을 결정하기 위해 분석해야 하는 영역이 커지므로, 추천 시점을 결정하는데 필요한 연산량이 증가할 수 있다. 탐색 영역의 크기는 사전에 결정되어 영상 표시 장치(100)에 저장될 수 있으며, 탐색 영역은 기저장된 탐색 영역의 크기에 대응되도록 설정될 수 있다.
영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력이 멈출 때까지, 탐색 영역을 업데이트할 수 있다. 예를 들어, 360도 영상의 시점을 오른쪽으로 이동시키는 사용자 입력이 계속적으로 수신되면, 영상 표시 장치(100)는 탐색 영역을 오른쪽으로 계속적으로 이동시키면서 탐색 영역을 업데이트할 수 있다. 그리고, 360도 영상의 시점을 이동시키는 사용자 입력이 종료되면, 영상 표시 장치(100)는 최종적으로 업데이트된 탐색 영역을 분석한 결과에 기초하여 추천 시점을 나타내는 정보를 획득할 수 있다.
구도 검출 파라미터 세트는, 하나 이상의 뉴럴 네트워크에 360도 영상의 카테고리 정보 및 해당 카테고리에 속하는 복수의 영상이 입력된 것에 응답하여, 해당 카테고리를 위한 추천 구도를 학습함으로써 결정될 수 있다. 뉴럴 네트워크는, 인공지능(Artificial Intelligence)에 기초하여, 뉴럴 네트워크에 입력된 360도 영상의 카테고리를 나타내는 카테고리 정보 및 해당 카테고리에 속하는 복수의 학습 영상으로부터 해당 카테고리를 위한 추천 구도를 학습하는 알고리즘의 집합일 수 있다.
예를 들어, 360도 영상이 결혼 영상일 때, 360도 영상의 카테고리가 “결혼 영상”임을 나타내는 카테고리 정보 및 “결혼 영상”의 카테고리에 속하는 복수의 학습 영상이 하나 이상의 뉴럴 네트워크에 입력될 수 있다. 복수의 학습 영상은, 서로 다른 구도에서 촬영된 복수의 결혼 영상을 포함할 수 있다. 이때, 복수의 학습 영상은, 결혼 영상에 적절한 추천 구도로 촬영된 복수의 영상을 포함할 수 있다. 예를 들어, 추천 구도로 촬영된 복수의 영상은, 전문가가 촬영한 영상, 조회수가 높은 영상, 유료로 촬영된 영상 등을 포함할 수 있으나, 이에 한정되지 않는다.
예를 들어, 뉴럴 네트워크는, 입력된 학습 영상이 해당 카테고리에 적절한 구도를 갖는 영상인지, 해당 카테고리에 적절하지 않은 구도를 갖는 영상인지를 지도함으로써 해당 카테고리를 위한 추천 구도를 학습하는 지도 학습(supervised learning), 입력된 복수의 영상들을 별다른 지도 없이 스스로 학습함으로써, 해당 카테고리에 적절한 구도와 적절하지 않은 구도를 판단하기 위한 패턴을 발견하는 비지도 학습(unsupervised learning)에 기초하여, 360도 영상의 카테고리와 추천 구도 사이의 연관 관계를 학습할 수 있다. 또한, 예를 들어, 뉴럴 네트워크는, 학습에 따른 사용자의 상태를 판단한 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 이용하여, 360도 영상의 카테고리와 추천 구도 사이의 연관 관계를 학습할 수 있다. 카테고리와 추천 구도 사이의 연관 관계를 학습하는 과정에 대한 설명은, 도 4를 참조하여 후술하기로 한다.
실시예에 따라, 프로세서(210)는, 사용자가 시청중인 360도 영상의 카테고리를 나타내는 카테고리 정보와 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송하고, 외부 서버로부터 해당 카테고리를 위한 구도 검출 파라미터 세트를 수신할 수 있다. 이때, 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 추천 시점을 결정하는 동작은 프로세서(210)에 의해 수행될 수 있다. 프로세서(210)는, 사용자가 현재 시청중인 360도 영상의 시점 및 360도 영상의 시점을 이동시키는 사용자 입력에 기초하여, 탐색 영역을 설정할 수 있다. 프로세서(210)는, 외부 서버로부터 수신된 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 탐색 영역을 분석함으로써, 탐색 영역 내에서 적절한 구도를 갖는 영역에 대응하는 시점을 추천 시점으로 결정할 수 있다.
실시예에 따라, 추천 시점을 결정하는 동작은, 외부 서버에 의해 수행될 수 있다. 예를 들어, 외부 서버는, 사용자가 영상 표시 장치(100)를 통해 시청하는 360도 영상 및 360도 영상의 카테고리에 따른 구도 검출 파라미터 세트를 저장하고 있을 수 있다. 프로세서(210)는, 360도 영상의 현재 재생 위치를 나타내는 정보 및 360도 영상의 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송할 수 있다. 그리고, 프로세서(210)는, 외부 서버로부터 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 결정된 추천 시점에 관한 정보를 수신할 수 있다.
추천 시점에 관한 정보는, 추천 시점을 나타내는 좌표의 형태일 수 있으며, 탐색 영역에서 추천 시점에 대응하는 영역을 구별되게 표시한 형태일 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 영상 표시 장치(100)는, 획득한 추천 시점에 관한 정보에 기초하여, 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다.
전술한 바와 같이, 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력에 응답하여 360도 영상의 시점을 이동시킬 때, 사용자가 시청하기에 적절한 구도에 대응하는 시점으로 360도 영상의 시점을 이동시킴으로써, 사용자가 시청하기에 적절한 구도를 찾기 위해 시점을 수동으로 조정할 필요가 없다.
도 3은 다른 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 3에 도시된 바와 같이, 영상 표시 장치(100b)는, 프로세서(210) 및 디스플레이(220) 이외에, 메모리(120), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(115), 오디오 출력부(125), 및 사용자 입력부(190)를 더 포함할 수 있다.
프로세서(210) 및 디스플레이(220)에 대하여, 도 3에서 설명한 내용과 동일한 내용은 도 3에서 생략한다.
메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따른 메모리(120)는, 360도 영상의 시점을 이동시키는 사용자 입력을 수신하고, 360도 영상의 카테고리를 위한 구도 검출 파라미터 또는 사용자의 선호 구도에 기초하여, 사용자 입력에 대응하는 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득하고, 360도 영상 중 추천 시점에 대응하는 영역을 디스플레이하도록 디스플레이를 제어하는 인스트럭션(instruction)을 포함하는 모듈을 포함할 수 있다.
일 실시예에 따른 메모리(120)는, 외부 서버로부터 수신된 구도 검출 파라미터 세트를 저장할 수 있다.
튜너부(140)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 영상 표시 장치(100b)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(120)에 저장될 수 있다.
영상 표시 장치(100b)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 영상 표시 장치(100b)와 일체형(all-in-one)으로 구현되거나 또는 영상 표시 장치(100b)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(150)는 프로세서(210)의 제어에 의해 영상 표시 장치(100b)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 프로세서(210)는 통신부(150)를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드하거나 또는 웹 브라우징을 할 수 있다.
통신부(150)는 영상 표시 장치(100b)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다. 통신부(150)는 프로세서(210)의 제어에 의해 제어 장치(101)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
일 실시예에 따른 통신부(150)는, 외부 서버로부터 추천 시점을 나타내는 정보를 수신할 수 있으며, 실시예에 따라 외부 서버로부터 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트를 수신할 수 있다.
감지부(160)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162), 및 광 수신부(163)를 포함할 수 있다.
마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다.
카메라부(162)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다.
광 수신부(163)는, 제어 장치(101)에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 제어 장치(101)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(210)의 제어에 의해 제어 신호가 추출될 수 있다.
일 실시예에 따른 광 수신부(163)는, 제어 장치(101)로부터 시점을 변경하는 사용자 입력에 대응되는 광 신호를 수신할 수 있다.
입/출력부(170)는 프로세서(210)의 제어에 의해 영상 표시 장치(100b)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는 HDMI 포트(High-Definition Multimedia Interface port, 171), 컴포넌트 잭(component jack, 172), PC 포트(PC port, 173), 및 USB 포트(USB port, 174) 중 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174)의 조합을 포함할 수 있다.
일 실시예에 따른 메모리(120)는, 프로세서(210)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 영상 표시 장치(100b)로 입력되거나 영상 표시 장치(100b)로부터 출력되는 데이터를 저장할 수 있다.
프로세서(210)는 영상 표시 장치(100b)의 전반적인 동작 및 영상 표시 장치(100b)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(210)는 사용자의 입력이 있거나 기설정되어 저장된 조건을 만족하는 경우, 메모리(120)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
일 실시예에 따른 프로세서(210)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 수행함으로써, 360도 영상의 시점을 이동시키는 사용자 입력을 수신하고, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여,사용자 입력에 대응하는 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득하고, 360도 영상 중 추천 시점에 대응하는 영역을 디스플레이하도록 디스플레이를 제어할 수 있다.
비디오 처리부(180)는, 디스플레이(220)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.
디스플레이(220)는 프로세서(210)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 디스플레이(220)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(220)는 프로세서(210)의 제어에 의해 메모리(120)에 저장된 영상을 출력할 수 있다.
오디오 처리부(115)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 출력부(125)는 프로세서(210)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오, 메모리(120)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(125)는 스피커(126), 헤드폰 출력 단자(127) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(128) 중 적어도 하나를 포함할 수 있다.
사용자 입력부(190)는, 사용자가 영상 표시 장치(100b)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(190)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드, 조그 휠, 조그 스위치 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 사용자 입력부(190)는, 전술한 제어 장치(101)의 구성요소일 수 있고, 영상 표시 장치(100b)의 구성요소일 수 있다.
일 실시예에 따른 사용자 입력부(190)는, 360도 영상의 시점을 이동시키는 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(190)가 키 패드 또는 돔 스위치로 구성되는 경우, 시점을 이동시키는 입력은 특정 방향에 대응되는 키를 클릭(click)하거나 누르는 입력일 수 있다. 또는, 사용자 입력부(190)가 터치 패드로 구성되는 경우, 특정 방향에 대응하는 키를 터치하는 입력일 수 있으나, 전술한 예에 한정되지 않는다.
시점을 이동시키는 사용자 입력은, 키를 클릭하거나 터치하는 방법에 따라 시점의 변화량이 달라질 수 있다. 예를 들어, 키를 소정의 시간 이상 길게 누르거나 터치하는 경우, 시점이 연속적으로 이동할 수 있다. 키를 짧게 클릭하거나 짧게 터치하는 경우, 시점이 소정의 각도 단위로 이동할 수 있다. 예를 들어, 사용자가 오른쪽 방향에 대응하는 키를 한번씩 클릭하거나 터치할 때마다, 시점이 오른쪽으로 30도씩 이동할 수 있으나, 이에 한정되지 않는다.
한편, 도 2 및 도 3에 도시된 영상 표시 장치(100a 및 100b)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상 표시 장치(100a 및 100b)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 4a 및 도 4b는 일 실시예에 따라 구도 검출 파라미터 세트를 학습하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 영상 표시 장치(100)는, 하나 이상의 뉴럴 네트워크를 이용하여 360도 영상의 카테고리와 해당 카테고리를 위한 추천 구도 사이의 연관 관계를 학습함으로써, 구도 검출 파라미터 세트를 설정할 수 있다.
사용자가 360도 영상을 시청할 때, 360도 영상 중 현재 디스플레이되는 시점에 대응하는 영역이 적절한 구도를 갖는 영역인지 여부는 360도 영상의 카테고리에 따라 상이할 수 있다. 예를 들어, 360도 영상 속 객체의 움직임이 상대적으로 많은 스포츠 영상, 신랑과 신부가 주요 객체인 결혼 영상, 자연 경관을 촬영한 여행 프로그램의 영상 등 360도 영상이 속하는 카테고리에 따라 추천 구도가 다를 수 있다. 따라서, 영상 표시 장치(100)는, 360도 영상의 카테고리와 추천 구도 사이의 연관 관계를 학습하여 구도 검출 파라미터 세트를 설정하고, 설정된 구도 검출 파라미터 세트에 기초하여 추천 시점을 결정할 수 있다.
예를 들어, 하나 이상의 뉴럴 네트워크는, 360도 영상의 카테고리를 나타내는 카테고리 정보 및 해당 카테고리에 속하는 복수의 학습 영상을 이용하여, 해당 카테고리를 위한 추천 구도를 학습할 수 있다. 이때, 복수의 학습 영상은, 동일한 카테고리에 속하는 영상들로서 서로 다른 구도를 갖는 영상들을 포함할 수 있으며, 360도 영상이 아닌 영상으로서 제한적인 화각을 가지는 영상들을 의미할 수 있다. 예를 들어, 도 4a를 참조하면, 360도 영상의 카테고리가 결혼 영상(410)일 때, 복수의 학습 영상은 서로 다른 구도로 촬영된 복수의 결혼 영상(411, 412, 413, 414, 415)을 포함할 수 있다. 예를 들어, 결혼 영상에서, 신랑 및 신부를 정면에서 촬영한 장면, 신랑 및 신부를 측면에서 촬영한 장면, 하객들을 촬영한 장면, 결혼식장의 주변을 촬영한 장면 등에 따라 추천 구도가 다를 수 있기 때문에, 결혼 영상이라는 하나의 카테고리 내에서도, 추천 구도가 복수개일 수 있다. 따라서, 360도 영상의 카테고리가 결혼 영상임을 나타내는 카테고리 정보와 다양한 구도에서 촬영된 결혼 영상(411, 412, 413, 414, 415)이 하나 이상의 뉴럴 네트워크(400)에 입력되면, 하나 이상의 뉴럴 네트워크(400)는 결혼 영상에 대한 추천 구도를 학습할 수 있다. 그리고, 하나 이상의 뉴럴 네트워크(400)는 추천 구도를 학습한 결과를 구도 검출 파라미터 세트로 나타낼 수 있다.
구도 검출 파라미터 세트는, 하나의 카테고리를 위한 복수의 추천 구도를 각각 나타내는 복수의 레이어와 복수의 레이어에 적용되는 가중치가 선형 결합된 형태일 수 있다. 영상 표시 장치(100)는, 탐색 영역에 대하여 각 레이어를 매칭시키고, 매칭 결과에 기초하여 복수의 추천 구도와 유사도가 가장 높은 영역에 대응하는 시점을 추천 시점으로 결정할 수 있다.
실시예에 따라, 일 실시예에 따른 영상 표시 장치(100)는, 하나 이상의 뉴럴 네트워크를 이용하여 사용자가 선호하는 구도를 학습할 수 있다. 예를 들어, 사용자는, 영상의 카테고리와 상관없이 사용자가 선호하는 특정 구도로 360도 영상을 시청하고자 할 수 있다. 이때, 하나 이상의 뉴럴 네트워크는, 사용자가 선호하는 구도로 촬영된 복수의 학습 영상을 이용하여 사용자가 선호하는 구도를 학습할 수 있다.
예를 들어, 도 4b를 참조하면, 사용자는 360도 영상의 카테고리에 상관없이, 3분할 구도(430)로 360도 영상을 시청하고자 할 수 있다. 하나 이상의 뉴럴 네트워크(420)는, 3분할 구도(430)로 촬영된 복수의 학습 영상(431, 432, 433)이 입력된 것에 응답하여, 사용자가 선호하는 구도를 학습하고, 사용자가 선호하는 구도를 학습한 결과를 구도 검출 파라미터 세트로 나타낼 수 있다. 예를 들어, 3분할 구도라도, 객체가 위치하는 지점에 따라 다양한 형태가 존재할 수 있다. 따라서, 3분할 구도를 학습한 구도 검출 파라미터 세트는, 3분할 구도에 포함되는 하나 이상의 구도를 나타내는 하나 이상의 레이어와 하나 이상의 레이어에 적용되는 가중치들의 선형 결합 형태일 수 있으나, 이에 한정되지 않는다.
실시예에 따라, 360도 영상의 카테고리에 따른 추천 구도를 학습하는 동작 및 사용자가 선호하는 구도를 학습하는 동작은, 영상 표시 장치(100) 또는 외부 서버에서 수행될 수 있으며, 외부 서버는 학습한 결과를 구도 검출 파라미터 형태로 저장할 수 있다.
도 5a 및 도 5b는 일 실시예에 따라 추천 시점이 결정되는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 사용자 입력에 대응하는 탐색 영역을 설정할 수 있다. 도 5a를 참조하면, 영상 표시 장치(100)는, 360도 영상(500)에서 소정의 시점에 대응하는 영역(501)을 디스플레이할 수 있다. 사용자는, 소정의 시점에 대응하는 영역(501)을 시청하다가, 360도 영상의 시점을 이동시키고자 할 수 있다. 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 추천 시점을 결정하기 위해 분석할 탐색 영역(502)을 설정할 수 있다. 전술한 바와 같이, 탐색 영역(502)는, 360도 영상(500)의 일부 영역으로서, 현재 디스플레이되는 영역(501)을 기준으로 설정될 수 있으며, 현재 디스플레이되는 영역(501)보다 큰 영역일 수 있다. 탐색 영역(502)의 크기가 클수록, 추천 시점을 결정하기 위해 분석되는 영역이 넓어지므로, 추천 시점을 결정하는데 소요되는 시간이 늘어날 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 360도 영상의 시점을 오른쪽으로 이동시키는 사용자 입력에 응답하여, 영상 표시 장치(100)는 현재 디스플레이되는 영역(501)을 포함하고, 현재 디스플레이되는 영역(501)의 오른쪽에 위치하는 영역을 더 포함하는 탐색 영역(502)을 설정할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 영상 표시 장치(100)는, 360도 영상(500)의 시점을 이동시키는 사용자 입력이 멈출 때까지, 탐색 영역(502)을 업데이트할 수 있다. 예를 들어, 영상 표시 장치(100)는, 360도 영상(500)의 시점을 오른쪽으로 이동시키는 사용자 입력이 계속적으로 수신됨에 따라, 설정된 탐색 영역(502)을 오른쪽으로 이동시킴으로써 탐색 영역(502)을 업데이트할 수 있다. 360도 영상(500)의 시점을 오른쪽으로 이동시키는 사용자 입력이 중단됨에 따라, 최종 탐색 영역이 설정되면, 영상 표시 장치(100)는 최종 탐색 영역을 분석하여 추천 시점을 결정할 수 있다.
일 실시예에 따른 영상 표시 장치(100)는, 탐색 영역(502)을 360도 영상이 디스플레이되는 화면의 크기 단위로 분할하고, 분할된 각 영역에 구도 검출 파라미터 또는 사용자의 선호 구도를 적용하여 분석할 수 있다. 예를 들어, 탐색 영역(502)은, 360도 영상이 디스플레이되는 화면의 크기(510)보다 클 수 있다. 영상 표시 장치(100)는, 탐색 영역(502)을 360도 영상이 디스플레이되는 화면의 크기(510)를 갖는 복수의 영역으로 분할할 수 있으며, 복수의 영역은 서로 중첩될 수 있다. 영상 표시 장치(100)는, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 복수의 영역 중 가장 좋은 구도를 갖는 영역을 결정하고, 해당 영역에 대응하는 시점을 추천 시점으로 결정할 수 있다.
예를 들어, 도 5b를 참조하면, 영상 표시 장치(100)는, 360도 영상이 디스플레이되는 화면과 동일한 크기를 갖는 윈도우(510)를 설정할 수 있으며, 탐색 영역(502) 내에서 윈도우(510)의 위치를 이동시킬 수 있다. 영상 표시 장치(100)는, 윈도우(510)의 위치가 변경될 때마다, 변경된 위치에 존재하는 윈도우에 대응하는 영역(521, 522, 523, 524)을 분석할 수 있다.
영상 표시 장치(100)는, 구도 검출 파라미터 또는 사용자의 선호 구도에 기초하여 탐색 영역(502) 내에서 분할된 복수의 영역(521, 522, 523, 524)을 각각 분석함으로써, 복수의 영역(521, 522, 523, 524) 중에서 360도 영상의 카테고리에 가장 적절한 구도 또는 사용자의 선호 구도와 가장 유사한 구도를 갖는 영역(530)을 결정할 수 있다. 그리고, 영상 표시 장치(100)는, 결정된 영역(530)에 대응하는 시점을 추천 시점으로 결정할 수 있다.
도 6a 및 도 6b는 일 실시예에 따라 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 추천 시점을 결정하는 방법을 설명하기 위한 도면이다.
360도 영상이 카테고리를 위한 구도 검출 파라미터에 기초하여 추천 시점을 결정하는 경우, 영상 표시 장치(100)는, 탐색 영역(600)을 360도 영상이 디스플레이되는 화면의 크기를 갖는 복수의 영역으로 분할할 수 있으며, 구도 검출 파라미터 세트를 적용하여 각 영역을 분석할 수 있다.
도 6a를 참조하면, 영상 표시 장치(100)는, 구도 검출 파라미터 세트(620)를 적용하여 탐색 영역(600)에서 분할된 영역(610)을 분석할 수 있다.
구도 검출 파라미터 세트(620)는, 현재 재생중인 360도 영상의 카테고리를 위한 구도 검출 파라미터로서, 구도 검출 파라미터 세트(620)는 360도 영상의 카테고리에 따라 달라질 수 있다. 구도 검출 파라미터 세트(620)는, 360도 영상의 카테고리에 적합한 하나 이상의 추천 구도를 나타내는 레이어들(621, 622, 623, 624, 625)과 각 레이어에 적용되는 가중치들로 표현될 수 있다.
일 실시예에 따른 영상 표시 장치(100)는, 탐색 영역(600) 내부의 각 영역(610, 611, 612)에 대하여, 구도 검출 파라미터 세트(620)의 각 레이어(621, 622, 623, 624, 625)와 매칭시킬 수 있다. 그리고, 각 레이어(621, 622, 623, 624, 625)와 매칭시킨 결과에 기초하여, 탐색 영역(600) 내에서 가장 적절한 구도를 갖는 영역(630)을 결정할 수 있다. 예를 들어, 영상 표시 장치(100)는, 탐색 영역(600)에서 분할된 영역(610)을 구도 검출 파라미터 세트(620)의 각 레이어(621, 622, 623, 624, 625)와 매칭시키고, 분할된 영역(610)과 각 레이어(621, 622, 623, 624, 625)와의 유사도에 따라 점수를 계산할 수 있다. 그리고, 영상 표시 장치(100)는, 각 레이어(621, 622, 623, 624, 625)에 적용되는 가중치를 고려하여 합산함으로써, 분할된 영역(610)이 적절한 구도를 갖는 영상인지 여부에 관한 종합 점수를 계산할 수 있다. 영상 표시 장치(100)는, 탐색 영역에서 분할된 복수의 영역(610, 611, 612)에 대하여, 분할된 영역(610)이 적절한 구도를 갖는 영상인지 여부에 관한 종합 점수를 계산할 수 있으며, 종합 점수가 가장 높은 영역(630)에 대응하는 시점을 추천 시점으로 결정할 수 있다.
추천 시점을 나타내는 정보는, 도 6a에 도시된 바와 같이, 탐색 영역(600)에서 종합 점수가 가장 높은 영역(630)에 대응하는 시점을 구별되게 표시(631)하는 형태일 수 있으며, 실시예에 따라, 종합 점수가 가장 높은 영역(630)에 대응하는 시점을 나타내는 좌표 형태일 수 있으나, 이에 한정되지 않는다.
사용자의 선택에 따라, 일 실시예에 따른 영상 표시 장치(100)는, 사용자의 선호 구도에 기초하여 추천 시점을 결정할 수 있다. 예를 들어, 사용자는, 360도 영상의 카테고리와 상관없이, 사용자가 선호하는 구도로 360도 영상을 시청하고자 할 수 있다. 이때, 사용자가 선호하는 구도는, 영상 표시 장치(100)에 의해 제공되는 복수의 구도 중에서 선택된 하나의 구도일 수 있으나, 이에 한정되지 않는다. 예를 들어, 영상 표시 장치(100)는, 사용자가 360도 영상을 시청할 수 있는 구도로서, 3분할 구도, 수직선 구도, 원 구도, 사선 구도 등 복수의 구도를 제공할 수 있다. 사용자가 영상 표시 장치(100)에 의해 제공되는 복수의 구도 중에서 하나의 구도를 선택하면, 영상 표시 장치(100)는 사용자에 의해 선택된 구도를 사용자의 선호 구도로 인식할 수 있다. 그리고, 사용자가 360도 영상을 시청할 때, 사용자의 선호 구도에 따라 추천 시점을 제공받고자 할 경우, 영상 표시 장치(100)는, 사용자의 선호 구도에 기초하여 추천 시점을 결정할 수 있다.
도 6b를 참조하면, 영상 표시 장치(100)는, 탐색 영역(640)에서 검출된 하나 이상의 객체의 윤곽선 정보에 기초하여, 중요도 맵(saliency map)(641)을 생성할 수 있다. 중요도 맵(641)은, 탐색 영역(640)에서 다른 영역에 비해 상대적으로 밝기 및/또는 색상의 차이가 크게 나는 영역, 윤곽선의 특징이 상대적으로 강한 영역을 구별되게 표시한 맵을 의미할 수 있다. 예를 들어, 도 6b에 도시된 바와 같이, 영상 표시 장치(100)는, 탐색 영역(640)에서 스키를 타는 사람을 검출하고, 검출된 사람의 윤곽선 정보에 기초하여 검출된 사람에 대응하는 영역을 중요도 맵(641)에 밝게 표시할 수 있다.
제어 장치(101)로부터 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 360도 영상의 시점을 이동시킬 때, 영상 표시 장치(100)는, 360도 영상의 시점을 사람에 대응하는 영역이 중요도 맵(641) 상에서 3분할 지점에 위치하는 시점을 추천 시점으로 결정할 수 있다. 그리고, 영상 표시 장치(100)는, 360도 영상 중에서 추천 시점에 대응하는 영역(650)을 디스플레이할 수 있다. 따라서, 영상 표시 장치(100)는, 사용자의 선택에 따라, 360도 영상의 카테고리를 위한 추천 구도 또는 사용자의 선호 구도에 매칭되는 추천 시점을 자동으로 결정하고, 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다.
도 7a 및 도 7b는 일 실시예에 따라 추천 시점을 나타내는 정보를 외부 서버로부터 수신하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 영상 표시 장치(100)는, 360도 영상의 시점을 이동시키기 위한 사용자 입력이 제어 장치(101)로부터 수신됨에 따라, 외부 서버로부터 추천 시점을 나타내는 정보를 수신할 수 있다.
도 7a 를 참조하면, 영상 표시 장치(100)는, 제어 장치(101)를 통해 수신된 360도 영상의 시점을 이동시키는 사용자 입력에 응답하여, 360도 영상의 현재 재생 위치를 나타내는 정보(710) 및 시점을 이동시키는 사용자 입력에 관한 정보(711)를 외부 서버(700)에 전송할 수 있다.
예를 들어, 360도 영상이 전체 재생시간이 1시간인 동영상일 때, 현재 재생 위치를 나타내는 정보(710)는, 동영상에서 현재 31분 40초에 대응하는 영상이 재생중임을 나타내는 정보일 수 있다. 또한, 사용자 입력에 관한 정보(711)는, 현재 디스플레이되는 시점에 관한 정보, 사용자가 시점을 이동시키려는 방향(예: 상/하/좌/우 방향), 사용자 입력의 종류(예를 들어, 길게 터치하는 입력, 짧게 터치하는 입력, 싱글 탭, 또는 더블 탭 등) 등에 관한 정보를 포함할 수 있으나, 이에 한정되지 않는다.
외부 서버(700)는, 현재 재생 위치를 나타내는 정보(710)와 사용자 입력에 관한 정보(711)에 기초하여, 360도 영상의 일부를 탐색 영역을 설정(720)할 수 있다. 이때, 현재 영상 표시 장치(100)에서 재생중인 360도 영상 및 360도 영상의 카테고리 정보는 외부 서버(700)의 데이터베이스에 사전에 저장된 상태일 수 있다. 따라서, 외부 서버(700)는, 영상 표시 장치(100)로부터 360도 영상의 현재 재생 위치를 나타내는 정보(710)와 시점을 이동시키는 사용자 입력에 관한 정보(711)가 수신되면, 360도 영상에서 추천 시점을 결정하기 위한 탐색 영역을 설정할 수 있다.
탐색 영역은, 추천 시점을 결정하기 위해 분석되는 360도 영상의 일부 영역으로서, 사용자 입력에 응답하여 360도 영상의 시점이 이동하는 방향에 기초하여 설정될 수 있다. 외부 서버(700)는, 현재 재생 위치를 나타내는 정보(710)에 기초하여 전체 360도 영상에서 몇 번째 프레임이 재생중인지 알 수 있으며, 시점을 이동시키는 사용자 입력에 관한 정보(711)로부터 시점이 이동하는 방향을 확인할 수 있다. 외부 서버(700)는, 현재 재생중인 프레임에서 현재 디스플레이되는 시점 및 사용자 입력에 응답하여 360도 영상의 시점이 이동하는 방향에 기초하여, 탐색 영역을 설정할 수 있다.
외부 서버(700)는, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도를 적용하여 탐색 영역을 분석할 수 있으며, 탐색 영역을 분석한 결과에 기초하여, 추천 시점을 결정(721)할 수 있다. 외부 서버(700)는, 결정된 추천 시점을 나타내는 정보(730)를 영상 표시 장치(100)에 전송할 수 있다. 추천 시점을 나타내는 정보(730)는, 추천 시점을 나타내는 좌표 형태일 수 있으며, 또는 탐색 영역에서 추천 시점에 대응하는 영역을 구별되게 표시한 형태일 수 있으나, 이에 한정되지 않는다.
영상 표시 장치(100)는, 외부 서버(700)로부터 수신된 추천 시점을 나타내는 정보(730)에 기초하여, 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다.
실시예에 따라, 영상 표시 장치(100)가 추천 시점을 결정하는 동작을 수행할 수 있다. 예를 들어, 예를 들어, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트에 기초하여 추천 시점이 결정될 때, 영상 표시 장치(100)는 외부 서버(700)의 데이터베이스에 저장된 구도 검출 파라미터를 외부 서버(700)로부터 수신하고, 수신된 구도 검출 파라미터에 기초하여 추천 시점을 결정할 수 있다.
도 7b를 참조하면, 영상 표시 장치(100)는, 제어 장치(101)로부터 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 360도 영상의 카테고리 정보(740) 및 시점을 이동시키는 사용자 입력에 관한 정보(741)를 외부 서버(700)로 전송할 수 있다. 또한, 영상 표시 장치(100)는, 외부 서버(700)로부터 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트(750)를 수신할 수 있다.
영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력에 응답하여 탐색 영역을 설정(760)할 수 있고, 수신된 구도 검출 파라미터 세트에 기초하여 설정된 탐색 영역을 분석하여 추천 시점을 결정(761)할 수 있다. 그리고, 영상 표시 장치(100)는, 360도 영상의 시점을 결정된 추천 시점으로 이동시킬 수 있다. 이에 따라, 사용자가 시청하기에 좋은 구도를 찾기 위하여 360도 영상의 시점을 수동으로 조정하지 않더라도, 영상 표시 장치(100)는 탐색 영역 내에서 좋은 구도를 자동으로 검출하고, 검출된 구도에 대응하는 시점으로 360도 영상의 시점을 이동시킬 수 있다.
추천 시점을 결정하는 동작이 외부 서버(700)에서 수행되는 경우, 추천 시점을 결정하는데 소요되는 시간이 감소할 수 있으며, 영상 표시 장치(100)는 360도 영상의 시점을 이동시키는 사용자 입력에 응답하여 360도 영상의 시점을 추천 시점으로 보다 빠르게 이동시킬 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 영상 표시 장치가 현재 디스플레이되는 시점 및 추천 시점의 거리 차이에 따라 360도 영상의 시점을 다른 속도로 이동시키는 예를 나타내는 도면이다.
일 실시예에 따른 영상 표시 장치(100)는, 현재 디스플레이되는 시점과 구도 검출 파라미터에 기초하여 결정된 추천 시점 사이의 거리가 멀수록, 360도 영상의 시점을 빠르게 이동시킬 수 있다.
도 8a를 참조하면, 영상 표시 장치(100)는, 제어 장치(101)를 통하여 360도 영상(800)의 시점을 이동시키는 입력을 수신할 수 있다. 예를 들어, 360도 영상(800)의 시점을 오른쪽으로 이동시키는 사용자 입력에 응답하여, 영상 표시 장치(100)는 360도 영상(800)의 시점을 오른쪽으로 이동시킬 수 있다. 이때, 360도 영상(800)의 시점을 오른쪽으로 이동시키는 사용자 입력이 계속되는 동안, 영상 표시 장치(100)는 360도 영상(800)의 시점을 오른쪽으로 계속 이동시킬 수 있다. 또한, 영상 표시 장치(100)는, 360도 영상(800)의 시점을 오른쪽으로 이동시키는 사용자 입력이 계속되는 동안, 탐색 영역을 계속 업데이트할 수 있다. 예를 들어, 360도 영상(800)의 시점이 오른쪽으로 이동함에 따라, 탐색 영역 또한 오른쪽으로 이동할 수 있다. 360도 영상(800)의 시점을 오른쪽으로 이동시키는 사용자 입력이 종료되면, 영상 표시 장치(100)는, 최종 업데이트된 탐색 영역을 분석함으로써, 추천 시점(811)을 결정할 수 있다. 360도 영상의 시점이 현재 디스플레이된 시점(810)에서 추천 시점(811)으로 점차적으로 이동할 때, 두 시점 간의 거리에 따라 시점의 이동 속도가 달라질 수 있다.
예를 들어, 도 8a에 도시된 시점의 이동은, 현재 디스플레이된 시점(810)과 추천 시점(811) 사이의 거리가 상대적으로 가까운 경우이고, 도 8b에 도시된 시점의 이동은, 현재 디스플레이된 시점(810)과 추천 시점(821) 사이의 거리가 상대적으로 먼 경우일 수 있다. 이때, 도 8a에 도시된 경우보다 도 8b에 도시된 경우, 360도 영상(800)의 시점이 더 빠르게 이동할 수 있다. 이에 따라, 영상 표시 장치(100)는, 현재 디스플레이된 시점(810)과 추천 시점(821) 사이의 거리가 상대적으로 먼 경우에도, 사용자가 추천 시점(821)에 대응하는 영상을 보다 빠르게 시청할 수 있도록 한다.
도 9는 일 실시예에 따른 영상 표시 장치가 360도 영상에서 검출된 객체의 움직임에 따라 360도 영상의 시점을 이동시키는 예를 나타내는 도면이다.
일 실시예에 따르면, 영상 표시 장치(100)는, 현재 재생중인 360도 영상에서 하나 이상의 객체를 검출하고, 검출된 하나 이상의 객체의 움직임 정보를 더 고려하여 360도 영상의 시점을 이동시킬 수 있다. 360도 영상에서 검출되는 객체는, 360도 영상에서 발생하는 주요 이벤트에 관련된 객체일 수 있다. 영상 표시 장치(100)는, 360도 영상에서 하나 이상의 객체를 검출하고, 검출된 하나 이상의 객체의 움직임에 따라 360도 영상의 시점을 이동시킴으로써, 시청하기에 적절한 구도의 영상을 제공하면서 사용자가 360도 영상에서 발생하는 주요 이벤트를 놓치지 않도록 할 수 있다.
예를 들어, 시점을 이동시키는 사용자 입력이 수신됨에 따라, 추천 시점이 결정되면, 영상 표시 장치(100)는 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다. 추천 시점에 대응하는 영역이 디스플레이(220) 상에 디스플레이되면, 영상 표시 장치(100)는, 추천 시점에 대응하는 영역으로부터 하나 이상의 객체를 검출할 수 있다. 검출되는 하나 이상의 객체는, 360도 영상에 등장하는 사람 및/또는 동물이거나 360도 영상에서 발생하는 주요 이벤트와 관련된 사물일 수 있으나, 이에 한정되지 않는다. 예를 들어, 360도 영상이 영화 또는 드라마일 때, 검출되는 하나 이상의 객체는 영화에 등장하는 주인공일 수 있다.
예를 들어, 도 9를 참조하면, 현재 재생중인 360도 영상은, 열기구를 타고 이동하면서 촬영된 영상일 수 있다. 360도 영상의 시점을 이동시키는 사용자 입력이 수신됨에 따라, 시청하기에 적절한 구도를 가지는 추천 시점이 결정되면, 영상 표시 장치(100)는 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다. 추천 시점에 대응하는 영역(900)이 디스플레이(220) 상에 디스플레이되고, 추천 시점에 대응하는 영역(900)에서 열기구를 탄 사람들(910)이 등장할 때, 영상 표시 장치(100)는 열기구를 탄 사람들(910)을 객체로서 검출할 수 있다. 그리고, 디스플레이된 영상(900)에서 열기구를 탄 사람들(910)이 이동함에 따라, 영상 표시 장치(100)는 열기구를 탄 사람들(910)의 움직임 정보에 기초하여 360도 영상의 시점을 이동시킬 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 열기구를 탄 사람들(910)이 디스플레이(220) 상에서 오른쪽으로 이동함에 따라, 영상 표시 장치(100)는 열기구를 탄 사람들(910)이 이동 방향 및 이동 속도 중 적어도 하나에 기초하여, 360도 영상의 시점을 오른쪽으로 이동시킬 수 있다. 이에 따라, 영상 표시 장치(100)는, 시청하기에 적절한 구도의 영상을 제공하면서 사용자가 360도 영상에서 발생하는 주요 이벤트를 놓치지 않도록 할 수 있다.
실시예에 따라, 검출된 객체(910)의 움직임에 따라 360도 영상의 시점을 이동시키는 중, 360도 영상에서 이야기의 흐름이 전환되거나 장면이 변경됨에 따라, 검출된 객체(910)가 디스플레이(220) 상에 더 이상 나타나지 않을 수 있다. 이때, 영상 표시 장치(100)는, 360도 영상의 시점을 기설정된 초기 시점(예를 들어, 0도)으로 이동시킬 수 있으나, 이에 한정되지 않는다.
도 10은 일 실시예에 따른 영상 표시 방법을 나타내는 흐름도이다.
S1000 단계에서, 영상 표시 장치(100)는 360도 영상의 시점을 이동시키는 사용자 입력을 수신한다.
360도 영상의 시점을 이동시키는 사용자 입력은, 제어 장치(101)에서 소정의 방향키를 선택하는 입력일 수 있으나, 이에 한정되지 않는다. 예를 들어, 제어 장치(101)가 터치스크린을 이용하여 구현된 경우, 360도 영상의 시점을 이동시키는 사용자 입력은, 특정 방향에 대응하는 키를 나타내는 아이콘을 터치하는 입력을 의미할 수 있으나, 이에 한정되지 않는다. 또한, 시점의 이동은, 360도 영상의 시점을 이동시키는 사용자 입력의 종류(예를 들어, 짧게 터치하는 입력, 길게 터치하는 입력, 싱글 탭, 및 더블 탭 등)에 따라, 기설정된 단위(예를 들어, 30도 단위)로 불연속적으로 이동할 수도 있으며, 연속적으로 이동할 수도 있다.
S1010 단계에서, 영상 표시 장치(100)는, 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 및 사용자의 선호 구도 중 적어도 하나에 기초하여, 사용자 입력에 응답하여 설정된 탐색 영역으로부터 추천 시점을 나타내는 정보를 획득한다.
탐색 영역은, 추천 시점을 결정하기 위해 분석되는 360도 영상의 일부 영역으로서, 사용자 입력에 응답하여 360도 영상의 시점이 이동하는 방향에 기초하여 설정될 수 있다. 예를 들어, 영상 표시 장치(100)는, 360도 영상의 시점을 특정 방향으로 이동시키는 사용자 입력이 수신되기 시작하면, 영상 표시 장치(100)는 360도 영상 중에서 현재 디스플레이되는 영역을 포함하는 소정의 영역을 초기 탐색 영역으로 설정할 수 있다. 이때, 탐색 영역의 크기는, 360도 영상이 디스플레이되는 화각 및 360도 영상이 디스플레이되는 화면의 종횡비 중 적어도 하나에 기초하여 결정될 수 있다. 탐색 영역의 크기는, 360도 영상이 디스플레이되는 화면의 크기보다 클 수 있으며, 360도 영상이 하나의 화면에 디스플레이되는 화각이 클수록 탐색 영역의 크기도 클 수 있다. 또한, 탐색 영역의 크기는, 사전에 설정되어 영상 표시 장치(100)에 저장될 수 있으며, 탐색 영역은 기저장된 탐색 영역의 크기에 대응되도록 설정될 수 있다.
영상 표시 장치(100)는, 360도 영상의 시점을 이동시키는 사용자 입력이 멈출 때까지, 탐색 영역을 업데이트할 수 있다. 예를 들어, 360도 영상의 시점을 오른쪽으로 이동시키는 사용자 입력이 계속적으로 수신되면, 영상 표시 장치(100)는 탐색 영역을 오른쪽으로 계속적으로 이동시키면서 탐색 영역을 업데이트할 수 있다. 그리고, 360도 영상의 시점을 이동시키는 사용자 입력이 종료되면, 영상 표시 장치(100)는 최종적으로 업데이트된 탐색 영역을 분석한 결과에 기초하여 추천 시점을 나타내는 정보를 획득할 수 있다.
구도 검출 파라미터 세트는, 하나 이상의 뉴럴 네트워크에 360도 영상의 카테고리 정보 및 해당 카테고리에 속하는 복수의 영상이 입력된 것에 응답하여, 해당 카테고리를 위한 추천 구도를 학습함으로써 결정될 수 있다.
실시예에 따라, 영상 표시 장치(100)는, 사용자가 시청중인 360도 영상의 카테고리를 나타내는 카테고리 정보와 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송하고, 외부 서버로부터 해당 카테고리를 위한 구도 검출 파라미터 세트를 수신할 수 있다. 이때, 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 추천 시점을 결정하는 동작은 영상 표시 장치(100)에 의해 수행될 수 있다. 영상 표시 장치(100)는, 사용자가 현재 시청중인 360도 영상의 시점 및 360도 영상의 시점을 이동시키는 사용자 입력에 기초하여, 탐색 영역을 설정할 수 있다. 영상 표시 장치(100)는, 외부 서버로부터 수신된 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 탐색 영역을 분석함으로써, 탐색 영역 내에서 적절한 구도를 갖는 영역에 대응하는 시점을 추천 시점으로 결정할 수 있다.
실시예에 따라, 추천 시점을 결정하는 동작은, 외부 서버에 의해 수행될 수 있다. 예를 들어, 외부 서버는, 사용자가 영상 표시 장치(100)를 통해 시청하는 360도 영상 및 360도 영상의 카테고리에 따른 구도 검출 파라미터 세트를 저장하고 있을 수 있다. 영상 표시 장치(100)는, 360도 영상의 현재 재생 위치를 나타내는 정보 및 360도 영상의 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송할 수 있다. 그리고, 영상 표시 장치(100)는, 외부 서버로부터 360도 영상의 카테고리를 위한 구도 검출 파라미터 세트 또는 사용자의 선호 구도에 기초하여 결정된 추천 시점에 관한 정보를 수신할 수 있다.
S1020 단계에서, 영상 표시 장치(100)는, 획득한 추천 시점에 관한 정보에 기초하여, 360도 영상의 시점을 추천 시점으로 이동시킬 수 있다.
개시된 실시예들은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해하여야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 360도 영상을 표시하는 영상 표시 장치에 있어서,
    디스플레이; 및
    상기 360도 영상의 제1시점에 대응하는 영역을 표시하고,
    상기 360도 영상의 표시 시점을 상기 제1시점에서 제2시점으로 이동시키는 사용자 입력을 수신하고,
    상기 사용자 입력에 따라 상기 제2시점에 기반하여 탐색 영역을 결정하고,
    상기 탐색 영역을 복수의 영역으로 분할하고, 분할된 각 영역을 상기 360도 영상이 속하는 카테고리에 따라 결정된 구도 검출 파라미터 세트에 기초하여 분석함으로써, 상기 복수의 분할된 영역들 중 상기 구도 검출 파라미터 세트에 매칭되는 영역에 대응하는 시점을 추천 표시 시점으로 획득하고,
    상기 360도 영상 중 상기 추천 표시 시점에 대응하는 영역을 디스플레이하도록 상기 디스플레이를 제어하는, 프로세서;를 포함하는, 영상 표시 장치.
  2. 제 1항에 있어서, 상기 구도 검출 파라미터 세트는,
    하나 이상의 뉴럴 네트워크에 상기 360도 영상의 카테고리를 나타내는 카테고리 정보 및 상기 카테고리에 속하는 복수의 영상이 입력된 것에 응답하여, 상기 360도 영상의 카테고리를 위한 추천 구도를 학습함으로써 결정되는, 영상 표시 장치.
  3. 제 2항에 있어서, 상기 구도 검출 파라미터 세트는,
    상기 360도 영상의 카테고리를 위한 하나 이상의 추천 구도를 나타내는 하나 이상의 레이어 및 상기 하나 이상의 레이어에 적용되는 가중치가 선형 결합된 형태로 결정되는, 영상 표시 장치.
  4. 제 1항에 있어서, 상기 프로세서는,
    상기 탐색 영역을 상기 360도 영상이 디스플레이되는 화면의 크기를 갖는 복수의 영역으로 분할하는, 영상 표시 장치.
  5. 제 1항에 있어서, 상기 프로세서는,
    상기 360도 영상의 현재 재생 위치를 나타내는 정보 및 상기 360도 영상의 표시 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송하고,
    상기 외부 서버에 의해 결정된 상기 추천 표시 시점에 관한 정보를 상기 외부 서버로부터 수신하는, 영상 표시 장치.
  6. 제 1항에 있어서,
    상기 탐색 영역은 상기 추천 표시 시점을 결정하기 위해 분석되는 상기 360도 영상의 일부 영역으로서, 상기 사용자 입력에 응답하여 상기 360도 영상의 표시 시점이 이동하는 방향에 기초하여 결정되며,
    상기 탐색 영역의 크기는, 상기 360도 영상이 디스플레이되는 화각 및 상기 360도 영상이 디스플레이되는 화면의 종횡비 중 적어도 하나에 기초하여 결정되는, 영상 표시 장치.
  7. 제 1항에 있어서,
    상기 탐색 영역은, 상기 사용자 입력에 응답하여 상기 360도 영상의 표시 시점이 이동함에 따라 업데이트되고,
    상기 추천 표시 시점은, 상기 구도 검출 파라미터 세트에 기초하여, 상기 업데이트된 탐색 영역으로부터 결정되는, 영상 표시 장치.
  8. 제 1항에 있어서,
    상기 360도 영상의 카테고리는, 상기 360도 영상의 장르, 상기 360도 영상이 촬영된 장소, 및 상기 360도 영상의 내용 중 적어도 하나에 기초하여 결정되고,
    상기 프로세서는, 상기 360도 영상의 제목(title), 상기 360도 영상의 메타데이터 중 적어도 하나에 기초하여, 상기 360도 영상의 카테고리에 관한 정보를 획득하는, 영상 표시 장치.
  9. 제 1항에 있어서, 상기 프로세서는,
    상기 360도 영상의 현재 표시 시점과 상기 추천 시점 사이의 이동 거리 및 상기 360도 영상의 표시 시점을 이동시키는 사용자 입력의 종류 중 적어도 하나에 기초하여, 상기 360도 영상이 상기 추천 표시 시점으로 이동하는 속도를 다르게 설정하는, 영상 표시 장치.
  10. 제 1항에 있어서, 상기 프로세서는,
    상기 탐색 영역으로부터 하나 이상의 객체를 검출하고,
    상기 검출된 하나 이상의 객체의 움직임 정보를 더 고려하여 상기 추천 표시 시점에 관한 정보를 획득하는, 영상 표시 장치.
  11. 360도 영상을 표시하는 영상 표시 방법에 있어서,
    상기 360도 영상의 제1시점에 대응하는 영역을 표시하는 단계;
    상기 360도 영상의 표시 시점을 상기 제1시점에서 제2시점으로 이동시키는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 따라 상기 제2시점에 기반하여 탐색 영역을 결정하고,
    상기 탐색 영역을 복수의 영역으로 분할하고, 분할된 각 영역을 상기 360도 영상이 속하는 카테고리에 따라 결정된 구도 검출 파라미터 세트에 기초하여 분석함으로써, 상기 복수의 분할된 영역들 중 상기 구도 검출 파라미터 세트에 매칭되는 영역에 대응하는 시점을 추천 표시 시점으로 획득하는 단계; 및
    상기 360도 영상 중 상기 추천 표시 시점에 대응하는 영역을 디스플레이하는 단계;
    를 포함하는, 영상 표시 방법.
  12. 제 11항에 있어서, 상기 구도 검출 파라미터 세트는,
    하나 이상의 뉴럴 네트워크에 상기 360도 영상의 카테고리를 나타내는 카테고리 정보 및 상기 카테고리에 속하는 복수의 영상이 입력된 것에 응답하여, 상기 360도 영상의 카테고리를 위한 추천 구도를 학습함으로써 결정되는, 영상 표시 방법.
  13. 제 12항에 있어서, 상기 구도 검출 파라미터 세트는,
    상기 360도 영상의 카테고리를 위한 하나 이상의 추천 구도를 나타내는 하나 이상의 레이어 및 상기 하나 이상의 레이어에 적용되는 가중치가 선형 결합된 형태로 결정되는, 영상 표시 방법.
  14. 제 11항에 있어서, 상기 추천 표시 시점으로 획득하는 단계는,
    상기 탐색 영역을 상기 360도 영상이 디스플레이되는 화면의 크기를 갖는 복수의 영역으로 분할하는 단계;
    를 포함하는, 영상 표시 방법.
  15. 제 11항에 있어서, 상기 추천 표시 시점에 관한 정보를 획득하는 단계는,
    상기 360도 영상의 현재 재생 위치를 나타내는 정보 및 상기 360도 영상의 표시 시점을 이동시키는 사용자 입력에 관한 정보를 외부 서버에 전송하는 단계; 및
    상기 외부 서버에 의해 결정된 상기 추천 표시 시점에 관한 정보를 상기 외부 서버로부터 수신하는 단계;를 포함하는, 영상 표시 방법.
  16. 제 11항에 있어서,
    상기 탐색 영역은 상기 추천 표시 시점을 결정하기 위해 분석되는 상기 360도 영상의 일부 영역으로서, 상기 사용자 입력에 응답하여 상기 360도 영상의 표시 시점이 이동하는 방향에 기초하여 결정되며, 상기 탐색 영역의 크기는, 상기 360도 영상이 디스플레이되는 화각 및 상기 360도 영상이 디스플레이되는 화면의 종횡비 중 적어도 하나에 기초하여 결정되는, 영상 표시 방법.
  17. 제 11항에 있어서,
    상기 탐색 영역은, 상기 사용자 입력에 응답하여 상기 360도 영상의 표시 시점이 이동함에 따라 업데이트되고,
    상기 추천 표시 시점은, 상기 구도 검출 파라미터 세트에 기초하여, 상기 업데이트된 탐색 영역으로부터 결정되는, 영상 표시 방법.
  18. 제 11항에 있어서,
    상기 360도 영상의 카테고리는, 상기 360도 영상의 장르, 상기 360도 영상이 촬영된 장소, 및 상기 360도 영상의 내용 중 적어도 하나에 기초하여 결정되고,
    상기 영상 표시 방법은, 상기 360도 영상의 제목(title), 상기 360도 영상의 메타데이터 중 적어도 하나에 기초하여, 상기 360도 영상의 카테고리에 관한 정보를 획득하는 단계를 더 포함하는, 영상 표시 방법.
  19. 제 11항에 있어서, 상기 추천 표시 시점에 관한 정보를 획득하는 단계는,
    상기 탐색 영역으로부터 하나 이상의 객체를 검출하는 단계; 및
    상기 검출된 하나 이상의 객체의 움직임 정보를 더 고려하여 상기 추천 표시 시점에 관한 정보를 획득하는 단계;를 포함하는, 영상 표시 방법.
  20. 제 11항의 영상 표시 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020170104367A 2017-04-21 2017-08-17 영상 표시 장치 및 영상 표시 방법 KR102054947B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2018/003239 WO2018194273A1 (en) 2017-04-21 2018-03-21 Image display apparatus and method
JP2019556349A JP7090642B2 (ja) 2017-04-21 2018-03-21 映像表示装置及び映像表示方法
EP18787910.1A EP3593539A4 (en) 2017-04-21 2018-03-21 IMAGE DISPLAY DEVICE AND METHOD
US15/946,210 US10845941B2 (en) 2017-04-21 2018-04-05 Image display apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762488158P 2017-04-21 2017-04-21
US62/488,158 2017-04-21

Publications (2)

Publication Number Publication Date
KR20180118499A KR20180118499A (ko) 2018-10-31
KR102054947B1 true KR102054947B1 (ko) 2019-12-11

Family

ID=64099801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170104367A KR102054947B1 (ko) 2017-04-21 2017-08-17 영상 표시 장치 및 영상 표시 방법

Country Status (3)

Country Link
EP (1) EP3593539A4 (ko)
JP (1) JP7090642B2 (ko)
KR (1) KR102054947B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102179243B1 (ko) * 2019-05-07 2020-11-16 재단법인대구경북과학기술원 360도 영상 재생 방법 및 장치
KR102284913B1 (ko) * 2020-08-27 2021-08-02 세종대학교산학협력단 360도 영상에서의 사용자 시야각 선택 방법 및 그 장치
WO2022190735A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 表示制御装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671400B1 (en) 2000-09-28 2003-12-30 Tateyama R & D Co., Ltd. Panoramic image navigation system using neural network for correction of image distortion
US20150161807A1 (en) * 2012-10-17 2015-06-11 Google Inc. Reference orientations for viewing panoramic images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101308872B1 (ko) * 2011-12-21 2013-09-16 한국과학기술원 사용자 행동의 예측에 기반하여 서비스를 제공하기 위한 서비스 서버 및 단말
JP6124517B2 (ja) 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5918098B2 (ja) 2012-10-01 2016-05-18 日本電信電話株式会社 視聴領域推定装置、視聴領域推定方法、及びプログラム
US20170142486A1 (en) 2014-07-18 2017-05-18 Sony Corporation Information processing device, display device, information processing method, program, and information processing system
JP2016212784A (ja) 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671400B1 (en) 2000-09-28 2003-12-30 Tateyama R & D Co., Ltd. Panoramic image navigation system using neural network for correction of image distortion
US20150161807A1 (en) * 2012-10-17 2015-06-11 Google Inc. Reference orientations for viewing panoramic images

Also Published As

Publication number Publication date
JP2020520489A (ja) 2020-07-09
EP3593539A4 (en) 2020-03-18
KR20180118499A (ko) 2018-10-31
EP3593539A1 (en) 2020-01-15
JP7090642B2 (ja) 2022-06-24

Similar Documents

Publication Publication Date Title
US10845941B2 (en) Image display apparatus and method
US10453246B2 (en) Image display apparatus and method of operating the same
CN113016189B (zh) 识别音频场景的电子设备和方法
US20220147870A1 (en) Method for providing recommended content list and electronic device according thereto
US10524018B2 (en) Apparatus and method for displaying image
US20190066158A1 (en) Method and electronic device for providing advertisement
KR102054947B1 (ko) 영상 표시 장치 및 영상 표시 방법
US20200221179A1 (en) Method of providing recommendation list and display device using the same
US11412308B2 (en) Method for providing recommended channel list, and display device according thereto
US11895375B2 (en) Display device and operation method thereof
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
EP3489860B1 (en) Image display apparatus and method of operating the same
KR20190026560A (ko) 영상 표시 장치 및 그 동작 방법
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
KR102464907B1 (ko) 전자 장치 및 그 동작 방법
US11404042B2 (en) Electronic device and operation method thereof
KR20190051428A (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
US20230319376A1 (en) Display device and operating method thereof
EP3930336A1 (en) Display apparatus for providing content in connection with user terminal and method therefor
KR20180025089A (ko) 영상 표시 장치 및 영상 표시 방법
US20230328298A1 (en) Display device and operation method thereof
KR20220066724A (ko) 전자 장치 및 그 동작 방법
KR20240037796A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant