KR20200111408A - 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법 - Google Patents

360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법 Download PDF

Info

Publication number
KR20200111408A
KR20200111408A KR1020190031044A KR20190031044A KR20200111408A KR 20200111408 A KR20200111408 A KR 20200111408A KR 1020190031044 A KR1020190031044 A KR 1020190031044A KR 20190031044 A KR20190031044 A KR 20190031044A KR 20200111408 A KR20200111408 A KR 20200111408A
Authority
KR
South Korea
Prior art keywords
image
resolution image
resolution
region
sub
Prior art date
Application number
KR1020190031044A
Other languages
English (en)
Other versions
KR102278748B1 (ko
Inventor
장준환
박우출
양진욱
김용화
이준석
윤상필
최민수
김현욱
조은경
양재영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190031044A priority Critical patent/KR102278748B1/ko
Priority to PCT/KR2019/003177 priority patent/WO2020189816A1/ko
Publication of KR20200111408A publication Critical patent/KR20200111408A/ko
Application granted granted Critical
Publication of KR102278748B1 publication Critical patent/KR102278748B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법이 제공된다. 본 발명의 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법은 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지를 수신하는 단계; 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 단계; 및 생성된 화면 이미지를 출력하는 단계;를 포함한다.
이에 의해, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 중계 및 다수 영상을 하나의 화면 안에서 재생할 수 있으며, 360 VR 영상 시청 시, 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여, 재생 중인 화면을 전환하도록 함으로써, 사용자에게 편의를 제공할 수 있다.

Description

360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법{User interface and method for 360 VR interactive relay}
본 발명은 사용자 인터페이스 및 방법에 관한 것으로, 더욱 상세하게는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법에 관한 것이다.
HMD를 착용하는 가상 혹은 증강현실 기술들은 매우 빠르게 발전하고 있다. 이러한 가상현실은 사용자가 가상의 공간에 들어가게 되는 기술로써, 이를 적용한 대표적인 기기로는 오큘러스 리프트, 바이브 등이 있으며, 콘텐츠 조작을 위한 입력장치로써 전용 컨트롤러를 사용한다.
이러한 HMD 등을 착용하여 360VR 영상과 파노라마 영상을 시청하는 것은 전체 영역을 한번에 보는 것이 아니라, 한 순간에는 일부 영역(Field of View; FOV)만을 보는 것이다.
즉, 전체영역을 보기 위해서는 일부 영역을 상하좌우로 조금씩 움직이면서 보게 되는데, 사용자의 음성 인식, 시점(view) 등을 인식하여, 표시화면을 제어할 수 있다.
한편, 8K(7680x4320)/16K(15360x8640)급 360VR 및 파노라마 영상과 같은 초대용량 비디오를 스트리밍 서비스하기 위해서, 초대용량 영상 데이터를 한번에 스트리밍하기보다는 영상을 미리 분할 영상(타일)로 분할하여 사용자가 현재 보고 있는 영역만을 적응적으로 스트리밍하는 방법인 타일 기반 스트리밍 서비스 기술이 개발되었으나, 이를 이용하여 다수 영상을 선택적으로 시청하거나 하나의 화면 안에서 재생되도록 하기 위한 사용자 인터페이스는 마련되어 있지 않아, 불편함이 존재한다.
따라서, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 영상 시청 시, 다수 영상을 선택적으로 시청하거나 하나의 화면 안에서 재생할 수 있는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 중계 및 다수 영상을 하나의 화면 안에서 재생할 수 있는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 360 VR 영상 시청 시, 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여, 재생 중인 화면을 전환하도록 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법은, 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지를 수신하는 단계; 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 단계; 및 생성된 화면 이미지를 출력하는 단계를 포함한다.
그리고 본 발명의 일 실시예에 따른, 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법은, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하는 단계;를 더 포함할 수 있다.
또한, 서브 이미지는, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함될 수 있다.
그리고 비디오는, 타일 기반 MPEG 영상이며, 서브 이미지는, 화면 이미지를 구성하는 초고해상도 또는 고해상도 이미지의 타일별 분할영상 또는 저해상도 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
또한, 화면 이미지를 출력하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 화면 이미지를 출력할 수 있다.
그리고 본 발명의 일 실시예에 따른, 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법은, 화면 이미지가 출력되는 상태에서 화면의 시점(view)이 이동하거나 또는 사용자가 커서를 이동하여 특정 객체를 선택하면, 출력되는 화면 이미지가 갱신되는 단계;를 더 포함할 수 있다.
또한, 화면 이미지가 갱신되는 단계는, 사용자의 머리 이외의 신체에 착용된 웨어러블 기기의 움직임에 따라 화면의 시점이 이동하거나 커서가 이동될 수 있다.
그리고 화면 이미지가 갱신되는 단계는, 화면 이미지가 출력되는 상태에서, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 할 수 있다.
또한, 화면 이미지가 갱신되는 단계는, 화면 이미지가 출력되는 상태에서, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 하되, 관심영역에 출력되던 초고해상도 이미지 또는 고해상도 이미지와 동일한 비디오를 기반으로 생성된 서브 이미지가 선택된 서브 이미지가 출력되던 주변영역의 자리에 부가되어 출력되도록 할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 360 VR 인터랙티브 중계를 위한 사용자 인터페이스는 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지가 수신하는 통신부; 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 프로세서; 및 화면 이미지를 출력하는 디스플레이;를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법은 비디오별로 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지를 생성하는 단계; 및 특정 비디오에 대한 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지를 선택하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 다른 비디오에 대한 서브 이미지가 주변영역에 부가된 화면 이미지를 출력하는 단계;를 포함하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 360 VR 인터랙티브 중계를 위한 사용자 인터페이스는 비디오별로 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지를 생성하는 프로세서; 및 특정 비디오에 대한 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지를 선택하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 다른 비디오에 대한 서브 이미지가 주변영역에 부가된 화면 이미지를 출력하는 디스플레이;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 중계 및 다수 영상을 하나의 화면 안에서 재생할 수 있으며, 360 VR 영상 및 음성 시청 시, 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여, 재생 중인 화면을 전환하도록 함으로써, 사용자에게 편의를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 시스템의 설명에 제공된 도면,
도 2는 360 VR 영상을 재생하기 위한 사용자 인터페이스를 예시한 도면,
도 3은 재생 중인 360 VR 영상을 제어하기 위한 사용자 인터페이스를 예시한 도면,
도 4는 HMD를 통해 재생 중인 360 VR 영상을 제어하기 위한 사용자 인터페이스를 예시한 도면,
도 5는 360 VR 영상이 재생 중인 화면 이미지를 예시한 도면, 그리고
도 6은 재생 중인 360 VR 영상을 서브 미디어로 전환하기 위한 사용자 인터페이스를 예시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 시스템의 설명에 제공된 도면이다. 도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 시스템은 프로세서(100), 디스플레이(200), 통신부(300) 및 저장부(400)를 포함하여, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 중계 및 다수 영상을 하나의 화면 안에서 재생할 수 있으며, 360 VR 영상 시청 시, 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여, 재생 중인 화면을 전환할 수 있다.
프로세서(100)는, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성할 수 있다.
예를 들면, 프로세서(100)는 통신부(300)를 통해, 서버로부터 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지에 대한 데이터를 수신하면, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 동시에 관심영역의 주변영역에 서브 이미지가 부가된 화면 이미지가 생성될 수 있다.
이때, 서브 이미지는, 화면 이미지를 통해 출력되는 중계 영상을 다른 시점(view)에서 중계하는 영상, 상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함될 수 있다.
그리고 비디오는 타일 기반 MPEG 영상이며, 화면 이미지를 구성하는 초고해상도 또는 고해상도 이미지의 타일별 분할영상 또는 저해상도 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080일 수 있다.
다른 예를 들면, 프로세서(100)는, 통신부(300)를 통해, 서버로부터 저해상도 이미지, 초고해상도 이미지, 고해상도 이미지 및 서브 이미지에 대한 데이터를 수신한 이후, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 제1 이미지를 생성할 수 있다.
또 다른 예를 들면, 프로세서(100)는, 비디오별로 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지를 생성하고, 사용자의 시점(View)에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정한 이후, 특정 비디오에 대한 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지를 선택하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 다른 비디오에 대한 서브 이미지가 주변영역에 부가된 화면 이미지를 생성할 수 있다.
또한, 프로세서(100)는, 화면 이미지가 출력되는 상태에서 화면의 시점(view)이 이동하거나 또는 사용자가 커서를 이동하여 특정 객체를 선택하면, 새로운 화면 이미지를 생성하여, 출력되는 화면 이미지가 갱신되도록 할 수 있다.
이때, 프로세서(100)는 통신부(300)를 통해, 별도로 마련되어 사용자의 머리 이외의 신체에 착용된 웨어러블 기기와 무선으로 연결되면, 사용자의 머리 이외의 신체에 착용된 웨어러블 기기의 움직임에 따라 화면의 시점이 이동하거나 커서가 이동함으로써, 사용자에게 편의를 제공할 수 있다.
또한, 프로세서(100)는, 화면 이미지가 출력되는 상태에서, 사용자의 시점을 계산하고, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 할 수 있다.
그리고 프로세서(100)는, 관심영역에 출력되던 초고해상도 이미지 또는 고해상도 이미지와 동일한 비디오를 기반으로 생성된 서브 이미지가 선택된 서브 이미지가 출력되던 주변영역의 자리에 부가되어 출력되도록 할 수 있다.
디스플레이(200)는, 사용자의 머리에 착용되는 HMD(Head Mounted Display) 또는 360 VR 영상의 출력이 가능한 디스플레이(200)로 구현되어, 360 VR 중계 및 다수 영상을 하나의 화면 안에서 재생하기 위해, 생성된 화면 이미지를 출력할 수 있다.
통신부(300)는, 서버에 무선으로 연결된 모듈에서, 서버로부터 360 VR 영상에 대한 데이터를 수신하고, 별도로 마련되어 사용자의 머리 이외의 신체에 착용된 웨어러블 기기와 무선으로 연결되어, 데이터를 수신하는 통신 수단이고, 저장부(400)는, 프로세서(100)가 동작함에 있어 필요한 저장 공간을 제공하는 저장매체이다.
구체적으로 통신부(300)는, 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지를 수신할 수 있다.
도 2는 360 VR 영상을 재생하기 위한 사용자 인터페이스를 예시한 도면이다.
본 발명의 일 실시예에 따른 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 시스템은 디스플레이(200)를 통해, 사용자 인터페이스를 제공할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 디스플레이(200)는 도 2에 예시된 바와 같이 360 VR 영상을 재생하기 위한 사용자 인터페이스를 제공할 수 있다.
360 VR 영상을 재생하기 위해 디스플레이(200)가 제공하는 사용자 인터페이스는, 서버 URL 입력할 수 있는 A-1 영역(211), 서버 포트 넘버의 입력할 수 있는 A-2 영역(212), 특정 영상의 재생 시작 지점(time)을 선택하기 위해, 새그먼트 인덱스의 입력할 수 있는 A-3 영역(213), TV 출력 모드를 선택할 수 있는 A-4 영역(214), HMD 출력 모드를 선택할 수 있는 A-5 영역(215), 그리고 선택된 360 VR 영상을 재생할 수 있는 A-6 영역(216)을 포함할 수 있다.
도 3은 재생 중인 360 VR 영상을 제어하기 위한 사용자 인터페이스를 예시한 도면이며, 도 4는 HMD를 통해 재생 중인 360 VR 영상을 제어하기 위한 사용자 인터페이스를 예시한 도면이고, 도 5는 360 VR 영상이 재생 중인 화면 이미지를 예시한 도면이다.
본 발명의 일 실시예에 따른 디스플레이(200)는 도 3 내지 도 5에 예시된 바와 같이 재생 중인 360 VR 영상을 제어하기 위한 사용자 인터페이스를 제공할 수 있다.
재생 중인 360 VR 영상을 제어하기 위해, 디스플레이(200)가 제공하는 사용자 인터페이스는, 하나 이상의 서브 미디어를 선택하여 재생하기 위한 서브 이미지가 출력되어, 화면 이미지로 전환하고자 하는 서브 이미지를 선택할 수 있는 B-1 영역(221), 360 VR 영상을 구성하는 화면 이미지가 출력되는 B-2 영역(222), 메뉴 그룹을 on/off 할 수 있는 B-3 영역(223), 사운드 볼륨을 제어할 수 있는 B-4 영역(224), 360 VR 영상을 관심영역 및 주변영역으로 설정하지 않고, 동일한 화질의 영상으로 재생하는 FULL 모드를 선택할 수 있는 B-5 영역(225), 360 VR 영상을 관심영역 및 주변영역으로 설정하여, 설정된 관심영역 이외에 영역을 주변영역으로 설정하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되는 영상을 재생하는 VR 모드를 선택할 수 있는 B-6 영역(226), 화면 이미지에 부가되는 서브 이미지의 수를 조절할 수 있는 B-7 영역(227)을 포함할 수 있다.
도 6은 재생 중인 360 VR 영상을 서브 미디어로 전환하기 위한 사용자 인터페이스를 예시한 도면이다.
본 발명의 일 실시예에 따른 디스플레이(200)는 도 6에 예시된 바와 같이 360 VR 영상을 서브 미디어로 전환하기 위한 사용자 인터페이스를 제공할 수 있다.
기본적으로 사용자의 시점(관심영역)에 따라 초고해상도 또는 고해상도의 이미지와 저해상도의 이미지가 관심영역을 중심으로 재생된다.
360 VR 영상을 서브 미디어로 전환하기 위해, 디스플레이(200)가 제공하는 사용자 인터페이스는, 재생 중인 영상을 종료할 수 있는 C-1 영역(231), 360 VR 영상 중 저해상도 이미지로 구성된 저해상도 영상이 재생 중인 C-2 영역(232), 서브 미디어를 선택하여 재생하기 위한 서브 이미지를 선택할 수 있는 C-3 영역(233), 360 VR 영상 중 초고해상도 또는 고해상도 이미지로 구성된 초고해상도 또는 고해상도 영상이 재생 중인 C-4 영역(234)을 포함할 수 있다.
즉, 사용자는 360 VR 영상을 서브 미디어로 전환하기 위한 사용자 인터페이스를 이용하여, 화면 이미지가 출력되는 상태에서, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 할 수 있다.
이때, 관심영역에 출력되던 초고해상도 이미지 또는 고해상도 이미지와 동일한 비디오를 기반으로 생성된 서브 이미지는 선택된 서브 이미지가 출력되던 주변영역의 자리에 부가되어 출력될 수 있다.
이를 통해, 360 VR 영상 시청 시, 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여, 재생 중인 화면을 전환하도록 할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 프로세서
200 : 디스플레이
300 : 통신부
400 : 저장부

Claims (12)

  1. 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지를 수신하는 단계;
    사용자의 시점(View)을 계산하여, 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 단계; 및
    생성된 화면 이미지를 출력하는 단계;를 포함하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  2. 청구항 1에 있어서,
    사용자의 시점에 따라 사용자의 관심영역을 설정하고, 설정된 관심영역 이외에 영역을 주변영역으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  3. 청구항 2에 있어서,
    서브 이미지는,
    상업적인 목적을 갖는 광고정보 또는 해당 영상과 관련된 추천영상에 대한 정보가 포함되는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  4. 청구항 2에 있어서,
    비디오는,
    타일 기반 MPEG 영상이며,
    서브 이미지는,
    화면 이미지를 구성하는 초고해상도 또는 고해상도 이미지의 타일별 분할영상 또는 저해상도 이미지의 해상도가 1024X1024인 경우, 해상도가 1920X1080인 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  5. 청구항 1에 있어서,
    화면 이미지를 출력하는 단계는,
    사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 화면 이미지를 출력하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  6. 청구항 1에 있어서,
    화면 이미지가 출력되는 상태에서 화면의 시점(view)이 이동하거나 또는 사용자가 커서를 이동하여 특정 객체를 선택하면, 출력되는 화면 이미지가 갱신되는 단계;를 더 포함하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  7. 청구항 6에 있어서,
    화면 이미지가 갱신되는 단계는,
    사용자의 머리 이외의 신체에 착용된 웨어러블 기기의 움직임에 따라 화면의 시점이 이동하거나 커서가 이동하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  8. 청구항 6에 있어서,
    화면 이미지가 갱신되는 단계는,
    화면 이미지가 출력되는 상태에서, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  9. 청구항 8에 있어서,
    화면 이미지가 갱신되는 단계는,
    화면 이미지가 출력되는 상태에서, 커서가 선택한 특정 객체가 서브 이미지인 경우, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 초고해상도 이미지 또는 고해상도 이미지가 관심영역에 출력되고, 선택된 서브 이미지와 동일한 비디오를 기반으로 생성된 저해상도 이미지가 주변영역에 출력되도록 하되,
    관심영역에 출력되던 초고해상도 이미지 또는 고해상도 이미지와 동일한 비디오를 기반으로 생성된 서브 이미지가 선택된 서브 이미지가 출력되던 주변영역의 자리에 부가되어 출력되도록 하는 것을 특징으로 하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  10. 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지가 수신하는 통신부;
    사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 프로세서; 및
    화면 이미지를 출력하는 디스플레이;를 포함하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스.
  11. 비디오별로 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지를 생성하는 단계; 및
    특정 비디오에 대한 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지를 선택하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 다른 비디오에 대한 서브 이미지가 주변영역에 부가된 화면 이미지를 출력하는 단계;를 포함하는 단계;를 포함하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법.
  12. 비디오별로 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지, 그리고 서브 이미지를 생성하는 프로세서; 및
    특정 비디오에 대한 저해상도 이미지 및 초고해상도 이미지 또는 고해상도 이미지를 선택하여, 사용자의 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 다른 비디오에 대한 서브 이미지가 주변영역에 부가된 화면 이미지를 출력하는 디스플레이;를 포함하는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스.
KR1020190031044A 2019-03-19 2019-03-19 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법 KR102278748B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190031044A KR102278748B1 (ko) 2019-03-19 2019-03-19 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법
PCT/KR2019/003177 WO2020189816A1 (ko) 2019-03-19 2019-03-19 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190031044A KR102278748B1 (ko) 2019-03-19 2019-03-19 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법

Publications (2)

Publication Number Publication Date
KR20200111408A true KR20200111408A (ko) 2020-09-29
KR102278748B1 KR102278748B1 (ko) 2021-07-19

Family

ID=72520906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190031044A KR102278748B1 (ko) 2019-03-19 2019-03-19 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법

Country Status (2)

Country Link
KR (1) KR102278748B1 (ko)
WO (1) WO2020189816A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230027950A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 터치식 사용자 인터페이스를 가지는 가상현실 시스템
CN118175434B (zh) * 2024-05-11 2024-07-09 成都索贝数码科技股份有限公司 一种分布式视频实时拼接方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068431A (ko) * 2012-11-28 2014-06-09 한국전자통신연구원 스마트 글래스 기반 영상 처리 장치 및 방법
KR20170088654A (ko) * 2016-01-25 2017-08-02 한국기술교육대학교 산학협력단 레이싱 영상 서비스를 제공하기 위한 방법 및 그 시스템
KR20180035089A (ko) * 2016-09-28 2018-04-05 가천대학교 산학협력단 관심 영역을 고려한 가상 현실 서비스 제공

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130009980A1 (en) * 2011-07-07 2013-01-10 Ati Technologies Ulc Viewing-focus oriented image processing
WO2017048104A1 (ko) * 2015-09-16 2017-03-23 (주)바텍이우홀딩스 다중 해상도 3차원 엑스선 영상 재구성 장치 및 방법
KR102014240B1 (ko) * 2016-09-08 2019-08-27 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
WO2018064502A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068431A (ko) * 2012-11-28 2014-06-09 한국전자통신연구원 스마트 글래스 기반 영상 처리 장치 및 방법
KR20170088654A (ko) * 2016-01-25 2017-08-02 한국기술교육대학교 산학협력단 레이싱 영상 서비스를 제공하기 위한 방법 및 그 시스템
KR20180035089A (ko) * 2016-09-28 2018-04-05 가천대학교 산학협력단 관심 영역을 고려한 가상 현실 서비스 제공

Also Published As

Publication number Publication date
KR102278748B1 (ko) 2021-07-19
WO2020189816A1 (ko) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6846130B2 (ja) ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
CN111742353B (zh) 信息处理装置、信息处理方法和程序
US8749712B2 (en) Method for processing on-screen display and associated embedded system
US8683067B2 (en) Video perspective navigation system and method
US20150036050A1 (en) Television control apparatus and associated method
CN102292994A (zh) 用于在视频接口上发送以及用于合成3d视频与3d覆盖的方法和系统
CN103282962A (zh) 内容排序
US20150350565A1 (en) Techniques for magnifying a high resolution image
CN108604438A (zh) 显示控制方法以及用于使计算机实施该显示控制方法的程序
CN112019907A (zh) 直播画面分流方法、计算机设备及可读存储介质
KR20150029461A (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR20160024983A (ko) 통합된 컨텐츠 소스들을 이용하여 미디어 컨텐츠를 제시하기 위한 방법들, 시스템들 및 매체들
KR102278748B1 (ko) 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법
JP2016082541A (ja) 受信機およびプログラム
KR102073230B1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
CN112019906A (zh) 直播方法、计算机设备及可读存储介质
JP2002351438A (ja) 映像監視システム
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP4769122B2 (ja) 映像呈示システム
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
US20140218395A1 (en) Image processor and image processing method
JP2015037290A (ja) 映像制御装置、映像表示装置、映像制御システム、および方法
WO2014122798A1 (ja) 画像処理装置、及び画像処理方法
US11792380B2 (en) Video transmission method, video processing device, and video generating system for virtual reality
JP6473469B2 (ja) 映像配信システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant