KR20170121662A - 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템 - Google Patents

파노라마 영상의 자동 시야각 제어 방법 및 그 시스템 Download PDF

Info

Publication number
KR20170121662A
KR20170121662A KR1020160087623A KR20160087623A KR20170121662A KR 20170121662 A KR20170121662 A KR 20170121662A KR 1020160087623 A KR1020160087623 A KR 1020160087623A KR 20160087623 A KR20160087623 A KR 20160087623A KR 20170121662 A KR20170121662 A KR 20170121662A
Authority
KR
South Korea
Prior art keywords
viewing angle
poi
automatic
information
angle control
Prior art date
Application number
KR1020160087623A
Other languages
English (en)
Other versions
KR101837282B1 (ko
Inventor
최준균
양진홍
박효진
전규영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20170121662A publication Critical patent/KR20170121662A/ko
Application granted granted Critical
Publication of KR101837282B1 publication Critical patent/KR101837282B1/ko

Links

Images

Classifications

    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H04N13/0436—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

파노라마 영상의 자동 시야각 제어 방법 및 그 시스템이 개시된다. 자동 시야각 제어 방법은, 파노라마 영상에 대해 POI(point of interest)를 설정하는 단계; 상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하는 단계; 및 상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 단계를 포함할 수 있다.

Description

파노라마 영상의 자동 시야각 제어 방법 및 그 시스템{METHOD AND SYSTEM TO CONTROLLING VIEW ANGLE OF SPHERICAL CONTENT}
아래의 설명은 파노라마 영상의 시야각(view angle)을 제어하는 기술에 관한 것이다.
VR(virtual reality, 가상 현실)에 대한 관심이 높아짐에 따라 VR 컨텐츠에 대한 관심 또한 높아지고 있다. 예컨대, 한국공개특허공보 제10-2002-0078141호(공개일 2002년 10월 18일)에는 다수의 비디오 카메라를 이용하여 오브젝트 동영상을 획득하고 이를 네트워크 및 로컬을 통해 실시간으로 뷰어를 통해 디스플레이 할 수 있도록 하는 동영상 가상현실 이미지 제작시스템 및 방법이 개시되어 있다.
VR 컨텐츠 중 하나인 스페리컬 컨텐츠(spherical content)는 360도 전방위 시점의 파노라마 영상으로, 기존 비디오에서 제공하지 못한 입체적인 시청이 가능하고 촬영자의 특정 시선에 종속된 시청 형태가 아닌 360도 전방위에서 사용자가 원하는 방향을 선택해서 시청할 수 있다.
스페리컬 컨텐츠를 이용하기 위해서는 추가적인 장비가 필수이며 VR 플레이어를 착용하지 않은 상태에서 평면 디스플레이로 컨텐츠를 감상하는 경우에는 일반 비디오와의 차별성이 부족하다. 마우스 커서나 방향키 등으로 스페리컬 컨텐츠의 시야각 제어가 가능하기는 하나 이는 실시간으로 재생 중인 영상에서 시야각 전환이 빠르지도 용이하지도 않으며, 이러한 문제로 인해 재생 시야각에 따라 주요 장면이나 특정 장면을 놓치기도 한다. 또한, 다른 대안으로 스페리컬 컨텐츠를 평면에 펼쳐 보여주는 경우에는 컨텐츠의 왜곡으로 인해 컨텐츠에 대한 사용자 몰입을 방해할 수 있다.
파노라마 영상의 시야각(view angel)을 자동으로 제어할 수 있는 방법 및 시스템을 제공한다.
파노라마 영상에 대해 주요 이벤트에 대한 정보, 혹은 다른 사용자들의 시청 기록에 기반한 POI(point of interest)에 따라 시야각을 자동으로 제어할 수 있는 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 자동 시야각 제어 방법에 있어서, 파노라마 영상에 대해 POI(point of interest)를 설정하는 단계; 상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하는 단계; 및 상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 단계를 포함하는 자동 시야각 제어 방법을 제공한다.
일 측면에 따르면, 상기 설정하는 단계는, 상기 파노라마 영상을 시청한 사용자들의 시청 기록에 기반하여 상기 POI를 설정할 수 있다.
다른 측면에 따르면, 상기 설정하는 단계는, 상기 파노라마 영상과 관련된 영상 정보에 기록된 주요 이벤트에 대한 정보에 기반하여 상기 POI를 설정할 수 있다.
또 다른 측면에 따르면, 상기 자동 시야각 제어 방법은, 사용자 단말로부터 수신된 컨텐츠 재생 요청에 응답하여 상기 사용자 단말로 상기 파노라마 영상을 제공하는 단계; 및 상기 사용자 단말로부터 상기 파노라마 영상에 대한 시야각 이동 요청에 따른 시야각 정보를 수집하는 단계를 더 포함하고, 상기 설정하는 단계는, 상기 파노라마 영상에 대해 상기 수집된 시야각 정보를 기반으로 POI 영역을 추출하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 설정하는 단계는, 상기 파노라마 영상을 시청한 사용자들 간에 상기 파노라마 영상을 시청한 시야각이 중첩되는 구간을 상기 POI 영역으로 추출할 수 있다.
또 다른 측면에 따르면, 상기 시야각 정보에는 상기 사용자 단말의 재생 환경 정보에 따른 가중치가 부여될 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 POI 간의 재생 시점 차이에 따라 상기 시야각의 이동 방향과 이동 속도를 결정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 이전 POI로의 시야각 이동 방향과 카메라 이동 중심 방향에 따라 상기 시야각의 이동 방향을 결정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 특정 재생 시간 이내에 이동되는 시야각의 총 이동 각이 일정 범위 이상인 경우 상기 POI 중 일부 POI를 스킵(skip)하는 경로 정보를 생성할 수 있다.
또 다른 측면에 따르면, 상기 일부 POI는 해당 시야각의 노출 횟수와 체류 시간 중 적어도 하나를 기준으로 결정될 수 있다.
또 다른 측면에 따르면, 상기 자동 시야각 제어 방법은, 상기 파노라마 영상의 재생 시 상기 파노라마 영상과 연결된 상기 경로 정보에 맞춰 상기 시야각을 자동으로 전환하는 단계를 더 포함할 수 있다.
자동 시야각 제어 방법을 실행시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 자동 시야각 제어 방법은, 파노라마 영상에 대해 POI(point of interest)를 설정하는 단계; 상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하는 단계; 및 상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램을 제공한다.
컴퓨터로 구현되는 자동 시야각 제어 시스템에 있어서, 상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 파노라마 영상에 대해 POI(point of interest)를 설정하고, 상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하고, 상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 것을 특징으로 하는 자동 시야각 제어 시스템을 제공한다.
본 발명의 실시예들에 따르면, 파노라마 영상의 사전에 설정된 주요 이벤트나 다른 사용자들에 의해 검증된 POI를 위주로 시야각을 자동으로 변경함으로써 사용자가 직접 시야각을 이동하는 노력 없이, 그리고 사용자가 중요 장면을 놓치는 일 없이 파노라마 영상을 서비스 할 수 있고, 사용자가 평면 디스플레이와 같은 일반 디바이스를 이용하더라도 원활하게 파노라마 영상을 서비스 할 수 있다.
본 발명의 실시예들에 따르면, 파노라마 영상을 서비스 하는 플랫폼에서 파노라마 영상의 자동 시야각 제어 기능을 제공함으로써 파노라마 영상에 대한 사용자 편의와 서비스 만족도를 향상시킬 수 있으며, 이를 통해 서비스 이용자의 증가와 서비스 이용 시간의 증가를 기대할 수 있다.
본 발명의 실시예들에 따르면, 파노라마 영상의 영상 정보로서 주요 이벤트에 대한 정보를 기록하고 이를 바탕으로 해당 컨텐츠의 시야각을 자동으로 변경함으로써 파노라마 영상을 제공함에 있어 컨텐츠 제작자(content creator)의 제작 의도를 효과적으로 살릴 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3 내지 도 4는 스페리컬 컨텐츠가 재생되는 영상 화면의 예를 도시한 것이다.
도 5는 시야각에 따라 영상 화면에 노출되는 영역과 노출되지 않은 영역을 설명하기 위한 예시 도면이다.
도 6은 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 시야각이 이동하는 경로를 설명하기 위한 예시 도면이다.
도 8 내지 도 9는 본 발명의 일실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, TV와 같은 디스플레이 장치, VR(virtual reality) 플레이어, HMD(head mounted display), 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 전자 기기 1(110)은 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), CDN(content delivery network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(160)는 네트워크(170)를 통해 접속한 전자 기기 1(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 전자 기기 1(110)은 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한 전자 기기 1(110)이 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 전자 기기 1(110)이 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 전자 기기 1(110)로 전송할 수 있고, 전자 기기 1(110)은 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
다른 예로, 서버(150)는 파노라마 영상, 일례로 스페리컬 컨텐츠를 제공하는 서비스 플랫폼 역할을 할 수 있으며, 예를 들어 전자 기기 1(110)로부터 서비스 요청 메시지가 수신되면 서비스 요청 메시지에 대응하는 파노라마 영상을 전자 기기 1(110)로 제공할 수 있다. 이때, 서버(150)는 복수의 전자 기기들(110, 120, 130, 140)을 이용하여 사용자들이 소비한 파노라마 영상의 시청 기록을 수집할 수 있으며, 파노라마 영상을 전자 기기 1(110)로 제공하는 과정에서 다른 사용자들의 시청 기록에 기반하여 파노라마 영상 내 POI를 설정하고 이에 따라 해당 파노라마 영상의 시야각을 자동으로 전환해 줄 수 있다. 사용자들의 시청 기록에 기반한 POI 이외에도 컨텐츠 제작자에 의해 영상 정보에 주요 이벤트에 대한 정보가 사전 기록될 수 있으며, 이러한 영상 정보를 바탕으로 파노라마 영상의 시야각을 자동으로 전환하는 것 또한 가능하다.
도 2는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 전자 기기 1(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.
전자 기기 1(110)과 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 전자 기기 1(110)에 설치되어 구동되는 브라우저나 영상 통화를 위한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(170)를 통해 전자 기기 1(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 전자 기기 2(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기 1(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(일례로 파노라마 영상 서비스를 위한 요청)이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 전자 기기 1(110)의 통신 모듈(213)을 통해 전자 기기 1(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기 1(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(214, 224)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 전자 기기 1(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 전자 기기 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.
또한, 다른 실시예들에서 전자 기기 1(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기 1(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기 1(110)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기 1(110)에 더 포함되도록 구현될 수 있음을 알 수 있다.
본 발명의 실시예들은 파노라마 영상의 시야각(view angle)을 자동으로 제어하는 기술에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 전용 디바이스는 물론, 평면 디스플레이와 같은 일반 디바이스를 이용하더라도 파노라마 영상을 원활하게 소비할 수 있는 환경을 달성할 수 있고 이를 통해 편의성, 효율성, 비용 절감 등의 측면에 있어서 상당한 장점들을 달성한다.
본 명세서에서 파노라마 영상은 스페리컬 컨텐츠(spherical content), 3D 영상, 다시점 영상(예컨대, 360도 영상 등), VR 영상 등을 포함하며, 영상 스트리밍 서비스, 방송 서비스, VR 환경 등에서 제공되는 파노라마 형태의 모든 영상 컨텐츠를 포괄하여 의미할 수 있다. 그리고, 본 명세서에서 자동 제어 대상인 시야각은 파노라마 영상의 360도 전방위 시점에서 사용자가 시청하는 비디오 영역에 실제로 노출되는 범위를 의미할 수 있다.
이하의 실시예에서는 스페리컬 컨텐츠를 파노라마 영상의 대표적인 예로 하여 설명하나, 이에 한정되는 것은 아니다.
도 3 내지 도 4는 스페리컬 컨텐츠가 재생되는 영상 화면(300)의 예를 도시한 것이다.
도 3의 영상 화면(300)은 스페리컬 컨텐츠의 초기 재생 화면으로, 360도 전방위 시야각 내에서 초기 카메라의 기본 시야각(301)에 따라 스페리컬 컨텐츠가 재생되는 모습을 나타내고 있다. 영상 화면(300)에는 영상 화면(300)에 노출되는 영상의 시야각을 조정하기 위한 사용자 인터페이스(310)가 포함될 수 있으며, 마우스나 커서 등으로 사용자 인터페이스(310)를 직접 조작함으로써 영상 화면(300)에 노출되는 스페리컬 컨텐츠의 시야각을 조절할 수 있다.
도 4는 영상 화면(400)에 노출되는 영상의 시야각이 변경되는 모습을 나타내고 있다. 사용자가 기본 시야각(401)에서 스페리컬 컨텐츠를 시청하다가 자신이 원하는 시야각(402)으로 조정한 경우 영상 화면(400)에는 사용자가 선택한 시야각(402)의 영상 부분으로 이동되어 노출될 수 있다. 이때, 동일 재생 시점이더라도 영상의 시야각에 따라 영상 화면(400)에 노출되는 정보의 차이가 발생할 수 있다. 예를 들어, 기본 시야각(401)에서는 영상 화면(400)에 'ABCDEFG'가 노출될 수 있고, 이후 사용자 조정으로 인해 변경된 시야각(402)에서는 영상 화면(400)에 'EFGHIJKL'이 노출될 수 있다.
다시 말해, 스페리컬 컨텐츠는 360도 전방위 시야각을 가진 파노라마 영상이므로 재생 시점의 시야각에 따라 일부 영역만이 화면에 노출된다. 도 5에 도시한 바와 같이, 스페리컬 컨텐츠의 임의 재생 시점에서 사용자가 시청하는 영상 화면(500)에는 해당 시점의 특정 시야각(501)에 해당되는 일부 영역만이 노출되고 그 외 나머지 시야각(503)에 해당되는 비디오 영역(5)은 노출되지 못한다.
스페리컬 컨텐츠의 재생 시 영상 화면에 한정된 시야각이 노출됨으로 인해 재생 시점의 시야각에 따라 주요 장면이나 특정 장면을 사용자가 시청하지 못하고 놓칠 수 있고, 사용자가 컨텐츠 시청 중에 시야각을 일일이 옮기는 것은 불편과 부담이 될 수 있다.
이에, 본 발명의 실시예들은 스페리컬 컨텐츠의 특성에 맞춘 자동 시야각 제어 기능을 제공할 수 있다. 본 발명에서는 스페리컬 컨텐츠에 대해 주요 이벤트나 사용자들의 시청 기록에 기반한 주요 장면들을 기록해두고 이를 활용하여 해당 스페리컬 컨텐츠를 서비스 할 때 주요 장면에 대응되는 시야각으로 자동 전환해줄 수 있다.
도 6은 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 6에 도시된 바와 같이, 서버(150)의 프로세서(222)는 플레이어 검출부(player detector)(610), 시야각 분석부(view angle parser)(620), 시야각 기록부(view angle logger)(630), POI 추출부(POI extractor)(640), 자동 시야각 경로 생성부(auto view angle path generator)(650), 및 컨텐츠 제공부(content streamer)(660)를 포함할 수 있다. 이러한 프로세서(222) 및 프로세서(222)의 구성요소들은 도 8 내지 도 9의 방법이 포함하는 단계들을 수행하도록 서버(150)를 제어할 수 있다. 이때, 프로세서(222) 및 프로세서(222)의 구성요소들은 메모리(221)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 또한, 프로세서(222)의 구성요소들은 운영체제나 어플리케이션이 제공하는 제어 명령에 따라 프로세서(222)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(222)가 상술한 제어 명령에 따라 서비스를 요청하는 플레이어의 특징을 판단하는 것에 대한 기능적 표현으로서 플레이어 검출부(610)가 사용될 수 있다.
서버(150)는 WAS(web application server) 역할을 하는 것으로, 사용자 단말(end-user)(예를 들어, 전자 기기 1(110) 등)로부터 수신된 스페리컬 컨텐츠 요청(spherical content request)에 대해 응답하는 기능을 담당할 수 있다. 사용자가 스페리컬 컨텐츠를 소비하기 위해 이용하는 단말 또는 플레이어가 웹을 이용하지 않고 별도의 프로토콜을 이용하는 경우 해당 상황에 맞는 어플리케이션 서버로 대신할 수도 있다. 스페리컬 컨텐츠 요청에는 사용자 단말에 대응되는 사용자 에이전트(user agent) 정보, 사용자가 재생을 원하는 시야각 정보(예컨대, 사용자에 의해 선택 또는 조정된 시야각) 등이 포함될 수 있다.
플레이어 검출부(610)는 사용자 단말로부터 수신된 스페리컬 컨텐츠 요청의 정보 상의 사용자 에이전트 정보를 이용하여 사용자 단말의 특징을 판단할 수 있다. 예컨대, Samsung의 Gear VR의 사용자 에이전트 정보는 <Current: Mozilla/5.0 (Linux; Android 5.0.2; SAMSUNG SM-G925K Build/LRX22G) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/4.0 Chrome/44.0.2403.133 Mobile VR Safari/537.36>과 같다.
시야각 분석부(620)는 사용자 단말로부터 수신된 스페리컬 컨텐츠 요청의 정보 상에서 사용자가 재생을 원하는 시야각 정보를 분석할 수 있다. 시야각 분석부(620)는 사용자가 스페리컬 컨텐츠를 시청하는 중에 이동을 요청하는 경우 해당 요청 신호로부터 시야각 정보를 분석할 수 있다. 서버(150)는 사용자가 서비스를 요청하거나 시청 중인 스페리컬 컨텐츠에 대해 시야각 분석부(620)를 통해 사용자가 재생을 원하는 시야각을 확인한 후 해당 시야각 영역의 컨텐츠를 사용자 단말로 스트리밍 할 수 있다.
시야각 기록부(630)는 사용자가 스페리컬 컨텐츠를 시청하는 중에 시야각을 이동시킨 정보, 즉 시야각 정보를 기록할 수 있다. 시야각 정보에는 시야각을 이동시킨 스페리컬 컨텐츠의 재생 시간(play time)과 프레임 위치(frame location), 그리고 시야각 이동에 이용된 컨트롤러(예컨대, 키보드, 마우스, 자이로 센서 등) 등에 대한 정보가 포함될 수 있다.
따라서, 서버(150)는 스페리컬 컨텐츠를 소비하는 사용자들의 시청 기록, 다시 말해 스페리컬 컨텐츠 각각에 대하여 사용자들이 해당 컨텐츠를 시청한 시야각에 대한 정보를 수집할 수 있다.
그리고, 서버(150)는 스페리컬 컨텐츠에 대해 사용자들의 시청 기록에 기반하여 주요 POI를 설정할 수 있고 이후 다른 사용자에게 해당 스페리컬 컨텐츠를 서비스 할 때 주요 POI에 따라 스페리컬 컨텐츠의 시야각을 자동으로 전환해줄 수 있다.
POI 추출부(640)는 스페리컬 컨텐츠에 대해 해당 컨텐츠의 시야각 정보를 기반으로 주요 POI 영역을 추출할 수 있다. 이때, 시야각 정보는 스페리컬 컨텐츠를 시청한 사용자가 시야각을 이동시킨 정보를 의미한다. 일례로, POI 추출부(640)는 스페리컬 컨텐츠를 소비하는 사용자들의 시청 기록, 즉 사용자들이 해당 컨텐츠를 시청한 시야각에 대한 정보를 바탕으로 주요 POI를 추출할 수 있다. 이때, POI 추출부(640)는 기본적으로 특정 재생 시점에서 사용자들 간에 컨텐츠를 시청한 시야각의 중첩이 높은 구간을 POI 영역으로 추출할 수 있다. 다른 예로, POI 추출부(640)는 스페리컬 컨텐츠에 대해 컨텐츠 제작자에 의해 사전 기록된 주요 이벤트에 대한 정보를 기반으로 주요 POI를 추출하는 것 또한 가능하다.
자동 시야각 경로 생성부(650)는 스페리컬 컨텐츠에 대해 POI 추출부(640)에서 추출된 주요 POI 정보를 기반으로 해당 스페리컬 컨텐츠의 재생 정보에 맞춰 POI 정보를 중심으로 시야각을 이동하는 경로 정보를 생성할 수 있다. 자동 시야각 경로 생성부(650)는 시야각의 자연스러운 이동을 위해 다음과 같은 기능을 수행할 수 있다.
먼저, 자동 시야각 경로 생성부(650)는 POI 간의 재생 시간 차를 계산한 후 시야각의 최적 이동 방향 및 속도를 계산할 수 있다. 예를 들어, 도 7을 참조하면 POI 1(701)에서 POI 2(702)로의 시야각 이동은 POI 2(702)의 재생 시점에서 POI 1(701)의 재생 시점을 뺀 값에 해당되는 시간 동안 시야각의 이동 각을 계산함으로써 가능하다. 이때, 이동 각이 너무 클 경우 각 POI 1(701)과 POI 2(702)의 이동 각 중 중간 부분부터 재생 시간에 맞추어 중간 영역을 건너뜀으로써 일반 비디오 편집의 카메라 워크(camera work)와 같은 자연스러운 기능을 제공할 수 있다.
다음으로, 자동 시야각 경로 생성부(650)는 POI 간 시야각의 이동 시 방향성을 결정할 수 있다. 자동 시야각 경로 생성부(650)는 POI 간의 시야각 이동 시 일정 각도(예를 들어, 80도) 이상 각의 변화가 발생한 경우 최적 방향이 아닌 이전 POI로의 시야각 이동 방향과 카메라 이동 중심 방향에 가중치를 주어 시야각의 이동 방향을 설정할 수 있다. 시야각의 좌/우 간 이동이 빈번한 경우 사용자 입장에서 재생이 매끄럽지 못하다고 느낄 수 있기 때문에 이전 POI가 0도에서 170도 방향으로 이동되어 왔다면 다음 POI는 170도에서 0도 방향으로 이동하는 것이 각도 상 더 가깝더라도 170도에서 360도 방향으로 이동하여 시야각의 방향성을 제공할 수 있다.
그리고, 자동 시야각 경로 생성부(650)는 특정 재생 시간 이내에 포함된 총 시야각의 이동 각이 일정 범위 이상으로 큰 경우 일부 POI를 건너뛸 수 있으며, 이때 일부 POI는 해당 시야각의 노출 횟수와 체류 시간 중 적어도 하나를 기준으로 결정될 수 있다. 스페리컬 컨텐츠를 시청하는 사용자 입장에서는 지속적인 시야각의 변화로 인해 어지러움 등의 불편이 발생할 수 있기 때문에 설정된 시간 내에서 시야각의 이동이 빈번한 경우 해당 POI 중 사용자들에 의한 시청 횟수가 적거나, POI 상에 시야각의 체류 시간이 짧은 POI 순으로 스킵할 수 있다.
컨텐츠 제공부(660)는 스페리컬 컨텐츠를 사용자 단말로 스트리밍 하는 역할을 하는 것으로, 시야각 분석부(620)에서 확인된 시야각, 즉 사용자가 이동 요청한 시야각에 해당하는 영역을 컨텐츠 저장부(61)로부터 읽어 들여 사용자 단말로 스트리밍 할 수 있다. 특히, 컨텐츠 제공부(660)는 스페리컬 컨텐츠에 대해 해당 컨텐츠의 재생 정보로 연결된 자동 시야각 경로 정보에 맞춰 시야각을 자동으로 전환하면서 해당 컨텐츠를 스트리밍 할 수 있다.
서버(150)는 스페리컬 컨텐츠를 서비스 하기 위해 필요한 정보를 저장하기 위한 저장소로서 컨텐츠 저장부(61)와 시야각 저장부(62)를 더 포함할 수 있다. 컨텐츠 저장부(61)와 시야각 저장부(62)는 메모리(221)에 포함될 수 있으며, 혹은 별도의 저장 공간으로 구성될 수도 있다.
컨텐츠 저장부(61)는 스페리컬 컨텐츠를 저장하고 있는 저장소로, 개별 컨텐츠 각각에 대하여 자동 시야각 조절을 위한 시야각 경로 정보를 함께 저장 및 유지할 수 있다.
시야각 저장부(62)는 서비스 이용자인 사용자 각각에 대하여 해당 사용자가 시청한 스페리컬 컨텐츠 별로 시야각 정보, 즉 컨텐츠를 시청하는 중에 시야각을 이동시킨 정보를 저장할 수 있다.
따라서, 서버(150)는 스페리컬 컨텐츠에 대해 사용자들의 시청 기록에 기반하여 주요 POI를 추출할 수 있고 이후 다른 사용자에게 해당 스페리컬 컨텐츠를 서비스 할 때 주요 POI에 따라 스페리컬 컨텐츠의 시야각을 자동으로 전환해줄 수 있다.
도 8 내지 도 9는 본 발명의 일실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
도 8은 스페리컬 컨텐츠에 대해 사용자가 해당 컨텐츠를 시청한 시야각을 수집하는 과정을 도시한 것이다.
단계(S801)에서 서버(150)는 사용자 단말로부터 스페리컬 컨텐츠에 대한 재생 요청을 수신할 수 있다.
단계(S802)에서 서버(150)는 컨텐츠 재생을 요청한 사용자 단말의 재생 환경 정보를 분석할 수 있다. 일례로, 서버(150)는 컨텐츠 재생 요청(예컨대, HTTP 또는 다른 프로토콜 등)의 헤더 값 또는 디스크립션(description) 값을 분석하여 단말 정보(예컨대, 웹 플레이어, 모바일 플레이어, VR 플레이어 등의 여부)를 판단할 수 있다.
단계(S803)에서 서버(150)는 사용자 단말의 재생 환경 정보를 기록하고 사용자가 요청한 스페리컬 컨텐츠를 단말의 재생 환경 정보에 따라 사용자 단말로 스트리밍 할 수 있다.
단계(S804)에서 서버(150)는 사용자가 스페리컬 컨텐츠를 시청하는 중에 이동시킨 시야각 정보를 저장할 수 있다. 이때, 시야각 정보에는 시야각을 이동시킨 스페리컬 컨텐츠의 재생 시간과 프레임 위치, 그리고 시야각 이동에 이용된 컨트롤러(예컨대, 키보드, 마우스, 자이로 센서 등) 등에 대한 정보가 포함될 수 있다. 그리고, 시야각 정보에는 사용자 단말의 재생 환경 정보에 따른 가중치가 부여될 수 있다. 예를 들어, VR 플레이어, 모바일 플레이어, 웹 플레이어 순으로 가중치가 부여될 수 있으며, 이러한 가중치의 기준은 컨텐츠 소비 시 사용자의 반응을 가장 효과적으로 받아들 수 있는 장치부터 높은 가중치가 부여되는 것이다.
스페리컬 컨텐츠를 시청하는 사용자들로부터 수집된 시야각 정보는 스페리컬 컨텐츠에서 주요 POI 정보를 추출하는데 이용되며, 스페리컬 컨텐츠에 대해 사용자들이 주로 시청한 시야각을 기반으로 POI 정보를 추출할 수 있다.
단계(S805)에서 서버(150)는 사용자 단말로부터 컨텐츠 재생 종료 요청을 수신할 수 있고, 컨텐츠 재생 종료 요청에 따라 사용자 단말로의 컨텐츠 스트리밍을 종료할 수 있다.
도 9는 스페리컬 컨텐츠에 대해 시야각을 자동으로 조절하는 방법의 예를 도시한 흐름도이다.
단계(S901)에서 서버(150)는 스페리컬 컨텐츠에 대해 시야각 저장부(62)에 저장된 시야각 정보, 즉 사용자들로부터 수집된 시야각 정보를 읽어올 수 있다. 다시 말해, 서버(150)는 분석 대상의 컨텐츠에 대해 시야각 저장부(62)로 시야각 정보를 요청하여 로딩할 수 있다.
단계(S902)에서 서버(150)는 시야각 정보를 기반으로 스페리컬 컨텐츠의 주요 장면에 해당되는 주요 POI를 추출할 수 있다. 일례로, 서버(150)는 스페리컬 컨텐츠에 대해 사용자들의 시청 기록에 기반하여 사용자들이 주로 시청한 시야각의 중첩이 높은 구간을 주요 POI 영역으로 추출할 수 있다.
단계(S903)에서 서버(150)는 컨텐츠 재생을 요청한 사용자 단말에 대해 재생 환경 정보에 따른 가중치를 부여할 수 있다. 예를 들어, VR 플레이어, 모바일 플레이어, 웹 플레이어 순으로 가중치가 부여될 수 있으며, 이러한 가중치의 기준은 컨텐츠 소비 시 사용자의 반응을 가장 효과적으로 받아들 수 있는 장치부터 높은 가중치가 부여되는 것이다. 모바일은 일반 웹과 대비하여 사용자들의 시야각 변경 이벤트 수집이 용이한 특성을 반영할 수 있다.
단계(S904)에서 서버(150)는 스페리컬 컨텐츠에 대해 해당 컨텐츠의 주요 POI 영역을 기반으로 시야각을 자동으로 조절하기 위한 경로를 설정할 수 있다. 인접한 구간(프레임)의 시야각이 일정 수준 이상인 경우 자연스러운 시야각 이동이 어려운 측면에 있어 이러한 경우 롱테이크(long take)가 아닌 끊어서 재생하는 형태의 기법을 적용할 수 있다.
단계(S905)에서 서버(150)는 스페리컬 컨텐츠에 대해 생성된 자동 시야각 경로 정보를 별도의 파일 포맷으로 저장할 수 있다.
단계(S906)에서 서버(150)는 스페리컬 컨텐츠와 해당 컨텐츠의 자동 시야각 경로 정보를 연결할 수 있다. 다시 말해, 서버(150)는 스페리컬 컨텐츠와 해당 컨텐츠에 대해 생성된 자동 시야각 경로를 상호 연결하는 링크를 생성할 수 있으며, 스페리컬 컨텐츠의 재생 기능을 가진 플레이어들은 컨텐츠와 자동 시야각 경로 간의 링크 정보를 포함하는 별도의 스크립트(script)나 메타데이터(metadata)를 기반으로 시야각을 자동으로 제어할 수 있다.
상기한 바와 같이, 서버(150)는 스페리컬 컨텐츠의 효과적인 재생 방법을 제공함으로써 사용자 편의와 서비스 질을 향상시킬 수 있다. 컨텐츠 제작자가 사전에 기록한 주요 이벤트나 사용자의 시청 기록에 기반한 POI에 따라 자동으로 시야각을 전환함으로써 최적의 스페리컬 컨텐츠 이용 환경을 제공할 수 있으며, 자동 시야각을 컨텐츠 제작자가 직접 지정하는 경우 컨텐츠 제작자의 제작 의도를 사용자에게 용이하게 전달할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 파노라마 영상의 사전에 설정된 주요 이벤트나 다른 사용자들에 의해 검증된 POI를 위주로 시야각을 자동으로 변경함으로써 사용자가 직접 시야각을 이동하는 노력 없이, 그리고 사용자가 중요 장면을 놓치는 일 없이 파노라마 영상을 서비스 할 수 있고, 사용자가 평면 디스플레이와 같은 일반 디바이스를 이용하더라도 원활하게 파노라마 영상을 서비스 할 수 있다. 그리고, 본 발명의 실시예들에 따르면, 파노라마 영상을 서비스 하는 플랫폼에서 파노라마 영상의 자동 시야각 제어 기능을 제공함으로써 파노라마 영상에 대한 사용자 편의와 서비스 만족도를 향상시킬 수 있으며, 이를 통해 서비스 이용자의 증가와 서비스 이용 시간의 증가를 기대할 수 있다. 또한, 본 발명의 실시예들에 따르면, 파노라마 영상의 영상 정보로서 주요 이벤트에 대한 정보를 기록하고 이를 바탕으로 해당 컨텐츠의 시야각을 자동으로 변경함으로써 파노라마 영상을 제공함에 있어 컨텐츠 제작자의 제작 의도를 효과적으로 살릴 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 자동 시야각 제어 방법에 있어서,
    파노라마 영상에 대해 POI(point of interest)를 설정하는 단계;
    상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하는 단계; 및
    상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 단계
    를 포함하는 자동 시야각 제어 방법.
  2. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 파노라마 영상을 시청한 사용자들의 시청 기록에 기반하여 상기 POI를 설정하는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  3. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 파노라마 영상과 관련된 영상 정보에 기록된 주요 이벤트에 대한 정보에 기반하여 상기 POI를 설정하는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  4. 제1항에 있어서,
    상기 자동 시야각 제어 방법은,
    사용자 단말로부터 수신된 컨텐츠 재생 요청에 응답하여 상기 사용자 단말로 상기 파노라마 영상을 제공하는 단계; 및
    상기 사용자 단말로부터 상기 파노라마 영상에 대한 시야각 이동 요청에 따른 시야각 정보를 수집하는 단계
    를 더 포함하고,
    상기 설정하는 단계는,
    상기 파노라마 영상에 대해 상기 수집된 시야각 정보를 기반으로 POI 영역을 추출하는 단계
    를 포함하는 자동 시야각 제어 방법.
  5. 제4항에 있어서,
    상기 설정하는 단계는,
    상기 파노라마 영상을 시청한 사용자들 간에 상기 파노라마 영상을 시청한 시야각이 중첩되는 구간을 상기 POI 영역으로 추출하는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  6. 제4항에 있어서,
    상기 시야각 정보에는 상기 사용자 단말의 재생 환경 정보에 따른 가중치가 부여되는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 POI 간의 재생 시점 차이에 따라 상기 시야각의 이동 방향과 이동 속도를 결정하는 단계
    를 포함하는 자동 시야각 제어 방법.
  8. 제1항에 있어서,
    상기 생성하는 단계는,
    이전 POI로의 시야각 이동 방향과 카메라 이동 중심 방향에 따라 상기 시야각의 이동 방향을 결정하는 단계
    를 포함하는 자동 시야각 제어 방법.
  9. 제1항에 있어서,
    상기 생성하는 단계는,
    특정 재생 시간 이내에 이동되는 시야각의 총 이동 각이 일정 범위 이상인 경우 상기 POI 중 일부 POI를 스킵(skip)하는 경로 정보를 생성하는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  10. 제9항에 있어서,
    상기 일부 POI는 해당 시야각의 노출 횟수와 체류 시간 중 적어도 하나를 기준으로 결정되는 것
    을 특징으로 하는 자동 시야각 제어 방법.
  11. 제1항에 있어서,
    상기 자동 시야각 제어 방법은,
    상기 파노라마 영상의 재생 시 상기 파노라마 영상과 연결된 상기 경로 정보에 맞춰 상기 시야각을 자동으로 전환하는 단계
    를 더 포함하는 자동 시야각 제어 방법.
  12. 자동 시야각 제어 방법을 실행시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 자동 시야각 제어 방법은,
    파노라마 영상에 대해 POI(point of interest)를 설정하는 단계;
    상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하는 단계; 및
    상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 단계
    를 포함하는, 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램.
  13. 컴퓨터로 구현되는 자동 시야각 제어 시스템에 있어서,
    상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    파노라마 영상에 대해 POI(point of interest)를 설정하고,
    상기 POI를 기반으로 상기 파노라마 영상의 재생 시점에서 실제 노출되는 영역인 시야각(view angle)을 이동하기 위한 경로 정보를 생성하고,
    상기 시야각을 이동하기 위한 경로 정보를 상기 파노라마 영상과 연결하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  14. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    사용자 단말로부터 수신된 컨텐츠 재생 요청에 응답하여 상기 사용자 단말로 상기 파노라마 영상을 제공하고,
    상기 사용자 단말로부터 상기 파노라마 영상에 대한 시야각 이동 요청에 따른 시야각 정보를 수집하고,
    상기 적어도 하나의 프로세서는, 상기 POI를 설정하기 위해,
    상기 파노라마 영상에 대해 상기 수집된 시야각 정보를 기반으로 POI 영역을 추출하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 POI를 설정하기 위해,
    상기 파노라마 영상을 시청한 사용자들 간에 상기 파노라마 영상을 시청한 시야각이 중첩되는 구간을 상기 POI 영역으로 추출하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  16. 제13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 POI를 설정하기 위해,
    상기 파노라마 영상과 관련된 영상 정보에 기록된 주요 이벤트에 대한 정보에 기반하여 상기 POI를 설정하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  17. 제13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 경로 정보를 생성하기 위해,
    상기 POI 간의 재생 시점 차이에 따라 상기 시야각의 이동 방향과 이동 속도를 결정하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  18. 제13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 경로 정보를 생성하기 위해,
    이전 POI로의 시야각 이동 방향과 카메라 이동 중심 방향에 따라 상기 시야각의 이동 방향을 결정하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  19. 제13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 경로 정보를 생성하기 위해,
    특정 재생 시간 이내에 이동되는 시야각의 총 이동 각이 일정 범위 이상인 경우 상기 POI 중 일부 POI를 스킵(skip)하는 경로 정보를 생성하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
  20. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 파노라마 영상의 재생 시 상기 파노라마 영상과 연결된 상기 경로 정보에 맞춰 상기 시야각을 자동으로 전환하는 것
    을 특징으로 하는 자동 시야각 제어 시스템.
KR1020160087623A 2016-04-25 2016-07-11 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템 KR101837282B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160049807 2016-04-25
KR1020160049807 2016-04-25

Publications (2)

Publication Number Publication Date
KR20170121662A true KR20170121662A (ko) 2017-11-02
KR101837282B1 KR101837282B1 (ko) 2018-03-09

Family

ID=60383524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160087623A KR101837282B1 (ko) 2016-04-25 2016-07-11 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101837282B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056640A (ko) * 2017-11-17 2019-05-27 주식회사 케이티 Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001740A (ko) * 1999-06-08 2001-01-05 이호균 지도와 연계된 파노라마 영상의 탐색 시스템 및 그 제어방법
KR20030015765A (ko) * 2001-08-17 2003-02-25 주식회사 차케어스 인터넷상에서 파노라마사진을 제공하는 방법 및 시스템
JP2003224838A (ja) * 2002-01-28 2003-08-08 Sony Corp 視点自由形画像表示装置及び方法、課金装置及び課金方法、記憶媒体、並びにコンピュータ・プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056640A (ko) * 2017-11-17 2019-05-27 주식회사 케이티 Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
US11321845B2 (en) 2019-01-31 2022-05-03 Alphacircle Co., Ltd. Method and device for controlling transit time of reproduced image among a plurality of segmented images

Also Published As

Publication number Publication date
KR101837282B1 (ko) 2018-03-09

Similar Documents

Publication Publication Date Title
CN109891899B (zh) 视频内容切换和同步系统及用于在多种视频格式之间切换的方法
CN109416931B (zh) 用于视线跟踪的装置和方法
US10015527B1 (en) Panoramic video distribution and viewing
KR101926018B1 (ko) 동영상 녹화 방법 및 시스템
US8730354B2 (en) Overlay video content on a mobile device
EP2870771B1 (en) Augmentation of multimedia consumption
US8787726B2 (en) Streaming video navigation systems and methods
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
KR102025334B1 (ko) 검출된 물리적 표시를 통한 사용자 관심 결정
JP7017175B2 (ja) 情報処理装置、情報処理方法、プログラム
EP2884751A1 (en) A multimedia platform for generating and streaming content based on data provided by capturing devices corresponding to multiple viewpoints including subjective viewpoints
US10600188B2 (en) Method and system for correcting field of view using user terminal information upon playback of 360-degree image
KR101837282B1 (ko) 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템
US20180014067A1 (en) Systems and methods for analyzing user interactions with video content
KR102316822B1 (ko) 영상과 관련된 사용자 반응에 기반하여 컨텐츠를 제공하는 방법, 장치, 및 컴퓨터 프로그램
JP2016012351A (ja) クライアントデバイスにより超高解像度ビデオコンテンツ内をナビゲートするための方法、システムおよびデバイス
Bassbouss et al. Interactive 360 video and storytelling tool
Carrillo et al. Automatic football video production system with edge processing
KR101906718B1 (ko) ３６０도 영상 재생 시 사용자 단말 정보를 이용하여 재생 영역을 보정하는 방법 및 시스템
Demiris et al. Enhanced sports broadcasting by means of augmented reality in MPEG-4
WO2024084943A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2018178510A2 (en) Video streaming
US20240323497A1 (en) Systems and methods for enabling an enhanced extended reality experience
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치
CN116566961A (zh) 用于对多媒体数据进行处理的方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant