KR101950852B1 - 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법 - Google Patents

메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR101950852B1
KR101950852B1 KR1020170166302A KR20170166302A KR101950852B1 KR 101950852 B1 KR101950852 B1 KR 101950852B1 KR 1020170166302 A KR1020170166302 A KR 1020170166302A KR 20170166302 A KR20170166302 A KR 20170166302A KR 101950852 B1 KR101950852 B1 KR 101950852B1
Authority
KR
South Korea
Prior art keywords
data
free
point
selection
user
Prior art date
Application number
KR1020170166302A
Other languages
English (en)
Inventor
박구만
양지희
김영애
강예진
김민주
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020170166302A priority Critical patent/KR101950852B1/ko
Application granted granted Critical
Publication of KR101950852B1 publication Critical patent/KR101950852B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에서는 종래 자유선택시점에 관한 다양한 종류의 수많은 동영상 데이터를 각각의 개별적인 특징에 따라서 일일이 처리하는 것은 매우 어려우며, 서버에서 클라이언트로 전송 시 많은 데이터로 인해 트래픽이 걸릴 수 있는 문제점과, 다시점 영상 및 음향 데이터를 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어가 없고, 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점에서 재생시키는 장치개발이 전무후무한 문제점을 개선하고자, 메타데이터 생성부(100), 데이터 전송부(200), 자유선택시점 데이터 재생제어부(300)로 구성됨으로서, 클라이언트에서 사용자의 명령이 입력되었을 때 이에 대한 요구사항을 분석하여 원하는 시점과 표출 방법에 따른 영상 및 음향 데이터를 전달할 수 있는 메타데이터를 생성시킬 수 있어, 기존에 비해 데이터 과부하에 따른 트래픽 발생율을 80% 이하로 낮출 수 있고, 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점을 제공해 줄 수 있어, 사용자와 상호작용이 가능한 맞춤형 인터랙티브 방송 기술을 기존에 비해 2배~4배 향상시킬 수 있으며, 혁신적인 자유시점 영상 및 음향 기술의 창의적 기법을 제시하고 다양한 장르의 콘텐츠와 연동 및 통합화를 통한 시너지 기술을 발굴·제시할 수 있는 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법을 제공하는데 그 목적이 있다.

Description

메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법{THE APPARATUS AND METHOD FOR USING MULTI-VIEW IMAGE ACQUISITION CAMERS}
본 발명에서는 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점을 제공해 줄 수 있는 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법에 관한 것이다.
시점 영상 및 음향 데이터를 자유선택시점으로 구현하기 위해서는 어떤 종류의 카메라 또는 마이크를 사용하여 데이터가 획득되었는지, 공간상의 어떤 위치에 배치해야하는지, 콘텐츠 제작 환경은 어떤지에 관한 정보를 필요로 한다.
영상 데이터인 경우 자유 시점을 구현하기 위해 수 백 대의 카메라를 필요로 하며 최근에는 여러 개의 카메라를 수평면 이외의 위치에 배치하여 독자적인 방식으로 다시점 영상을 획득하는 방법과 실감 미디어로 표출할 수 있는 방법이 연구되고 있다.
또한 MPEG FTV 그룹에서는 이러한 다시점 영상을 클라이언트에게 전송할 수 있는 표준화를 진행 중에 있다.
MPEG-V는 가상 세계와 현실 세계 사이의 소통을 위한 감각 효과 정보 메타데이터 및 감각 효과 표현 기기 명령어의 규격을 정의하고 있다.
특히 다양한 실감 효과들의 표현, 가상 세계와 현실 세계의 인터페이스 연동을 위한 포맷, 실감 효과들을 현실 세계에서 재현하기 위한 다양한 기기에 대한 제어 방법 등 다양한 범위를 다루고 있다.
자유선택시점으로는 자유 시점, 자유위치시점, 1인칭시점 등을 포함하는 실감 영상 표출 방법으로 일반 영상, 광각 영상, 초고해상도 영상, 360도 영상, 다시점 영상 등 영상 자체의 종류도 많고, 전송 데이터의 포맷과 영상의 내용도 매우 다양하다.
그러나 이렇게 다양한 종류의 수많은 동영상 데이터를 각각의 개별적인 특징에 따라서 일일이 처리하는 것은 매우 어려우며, 서버에서 클라이언트로 전송 시 많은 데이터로 인해 트래픽이 걸릴 수 있는 문제점이 발생된다.
또한, 다시점 영상 및 음향 데이터를 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어가 없고, 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점에서 재생시키는 장치개발이 전무후무한 실정이다.
국내등록특허공보 제10-1538947호
상기의 문제점을 해결하기 위해 본 발명에서는 클라이언트에서 사용자의 명령이 입력되었을 때 이에 대한 요구사항을 분석하여 원하는 시점과 표출 방법에 따른 영상 및 음향 데이터를 전달할 수 있는 메타데이터를 생성시킬 수 있고, 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점을 제공해 줄 수 있으며, 혁신적인 자유시점 영상 및 음향 기술의 창의적 기법을 제시하고 다양한 장르의 콘텐츠와 연동 및 통합화를 통한 시너지 기술을 발굴·제시할 수 있는 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치는
자유선택시점에 관한 영상 로우데이터 및 음향 로우데이터를 분석하여, 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 메타데이터 생성부(100)와,
메타데이터 생성부가 생성한 영상 및 음향 데이터를 MPEG-DASH 서버를 통해 자유선택시점 데이터 재생 장치에 전송시키는 데이터 전송부(200)와,
데이터 전송부를 통해 전송된 영상 및 음향 데이터를 수신받아, 분석 후, 재생을 거쳐, 사용자에게 자유선택시점 콘텐츠를 제공하는 자유선택시점 데이터 재생제어부(300)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 클라이언트에서 사용자의 명령이 입력되었을 때 이에 대한 요구사항을 분석하여 원하는 시점과 표출 방법에 따른 영상 및 음향 데이터를 전달할 수 있는 메타데이터를 생성시킬 수 있어, 기존에 비해 데이터 과부하에 따른 트래픽 발생율을 80% 이하로 낮출 수 있다.
둘째, 자유선택시점을 구현하는 상태에서 사용자가 원하는 장면을 찾거나, 사용자가 원하는 시점 내의 객체에 대한 정보를 직접적으로 제공하는데 있어서, 사용자 인터랙션을 지원해주는 명령어와 연계되어 시점 영상 및 음향 데이터를 사용자가 원하는 시점을 제공해 줄 수 있어, 사용자와 상호작용이 가능한 맞춤형 인터랙티브 방송 기술을 기존에 비해 2배~4배 향상시킬 수 있다.
셋째, 혁신적인 자유시점 영상 및 음향 기술의 창의적 기법을 제시하고 다양한 장르의 콘텐츠와 연동 및 통합화를 통한 시너지 기술을 발굴·제시할 수 있다.
도 1은 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 메타데이터 생성부를 통해 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 것을 도시한 일실시예도,
도 4는 본 발명에 따른 MPEG-DASH서버를 통해 컨텐츠를 HTTP를 베이스로 하는 작은 세그먼트의 시퀀스로 쪼개는 것을 도시한 일실시예도,
도 5는 본 발명에 따른 자유선택시점 데이터 재생제어부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 사용자 명령어 제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공장치를 통해, 콘텐츠 내 있는 객체를 자유자재로 위치를 이동 시키는 것을 도시한 일실시예도,
도 8은 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 방법에 관한 구체적인 동작과정을 도시한 순서도.
자유선택시점이란 자유시점, 자유위치시점, 1인칭시점 등을 포함하는 실감 영상 표출 방법으로 스포츠, 음악 공연 등 다양한 콘텐츠에서 사용자에게 실감성을 제공할 수 있는 기술이다.
사용자는 콘텐츠 내 있는 객체 시점 또는 관객 시점, 무대에서 관객을 바라보는 시점 등 원하는 시점을 선택하여 자유자재로 시청할 수 있는 것을 말한다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 메타데이터 생성부(100), 데이터 전송부(200), 자유선택시점 데이터 재생제어부(300)로 구성된다.
도 7에 도시한 바와 같이, 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 장치를 통해 콘텐츠 내 있는 객체를 자유자재로 위치를 이동 시킬 수 있으며, 추가하거나 제거가 가능하다.
또한 관객이 연주자 또는 스포츠 선수가 되어 1인칭 시점으로 시청을 할 수 있으며, 다양한 연출이 가능하다.
자유선택시점 영상 제공을 위한 영상 및 음향에 대한 데이터 제공 방법은 각각의 데이터 제공 장치에 의해 수행될 수 있으며, 영상 및 음향에 대한 메타데이터 제공 방법은 메타데이터 제공 장치에 의해 수행될 수 있다.
자유선택시점 재생 방법은 자유선택시점 데이터 재생 장치에 의해 수행 될 수 있다.
사용자 명령어 제공 방법은 사용자 명령어 제공 장치에 의해 수행될 수 있다.
자유선택시점 영상을 표출할 수 있는 데이터는 크게 영상 데이터와 음향 데이터로 구분할 수 있다.
상기 영상 데이터는 영상 로우 데이터와 영상 메타데이터를 포함할 수 있다.
여기서, 영상 로우 데이터는 다시점 카메라로부터 획득된 재생하려는 콘텐츠 영상을 나타내며, 다양한 카메라 배열과 카메라 객체를 포함할 수 있다.
예를 들어, 10크기의 1차원 배열로 배치된 카메라인 경우, 획득한 영상 로우 데이터는 1~10까지의 번호를 갖는 선형 카메라 배열과 액션카메라(고프로), 시선카메라(이어카메라), 360도 카메라 등과 같은 카메라 객체를 포함할 수 있다. 단, 영상 데이터가 포함할 수 있는 영상 로우 데이터와 영상 메타데이터의 종류는 위의 기재에 한정되지 아니한다.
상기 영상 메타데이터는 영상 로우 데이터에 포함된 카메라 배열 및 카메라 객체의 재생과 관련된 정보를 포함할 수 있다.
그리고, 영상 메타데이터는 카메라 배열 및 카메라 객체의 개수 정보, 카메라 배열 및 카메라 객체의 위치 정보, 카메라 객체에 대한 내부, 외부 파라미터 정보 등을 포함할 수 있다.
상기 음향 데이터는 영상 데이터와 동일하게 음향 로우 데이터와 음향 메타데이터를 포함할 수 있다.
음향 로우 데이터는 무대에서 설치된 마이크로 획득한 음향 신호를 나타내며, 다양한 음향 채널 및 음향 객체를 포함할 수 있다.
음향 메타데이터는 영상 메타데이터와 동일하게 음향 로우 데이터의 재생과 관련된 정보를 포함할 수 있다.
음향 메타데이터는 음향 채널 및 음향 객체의 개수 정보, 음향 채널 및 객체의 위치 정보 등을 포함할 수 있다.
본 발명에 따른 자유선택시점 영상 제공 장치는 스포츠, 문화 공연 등에서 획득한 영상 데이터와 음향 데이터를 자유선택시점 데이터 재생 장치에 전송하도록 구성된다.
먼저, 본 발명에 따른 메타데이터 생성부(100)에 관해 설명한다.
상기 메타데이터 생성부(100)는 자유선택시점에 관한 영상 로우데이터 및 음향 로우데이터를 분석하여, 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 역할을 한다.
도 3은 본 발명에 따른 메타데이터 생성부를 통해 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 것을 도시한 일실시예도에 관한 것이다.
상기 메타데이터 생성부가 생성한 메타데이터는 다음과 같은 표 1을 포함할 수 있다.
카메라 파라미터
ID종류 카메라 캘리브레이션 카메라 매트릭스 Zoom


의미


 카메라 내부 Rotation Matrix
Zoom in
Zoom out
Depth
파라미터 Translation Matrix
카메라 외부 Fundamental Matrix
파라미터 Essential Matrix
왜곡계수 Epline
카메라 ID(번호) Feature Point
비트수 12bits 12bits 8bits
영상획득
ID종류 카메라종류 카메라번호 카메라 배치좌표

의미
 액션카메라(고프로) 사용자 선택 뷰에 일치하는 카메라 번호와 기타 추가 필요한 카메라 번호 구 좌표
격자 좌표
방사형 좌표 등
시선카메라(이어카메라)
360도카메라
비트수 12bits 6bits 6bits
Object VR
ID종류 Billboard Add/Reduction 객체검출

의미

 Billboard ID
객체 추가, 감소
기능종류
객체ID
객체 위치 좌표
객체 구분
Billboard 위치
Billboard 컬러
카메라 정보
비트수 12bits 6bits 6bits
가상 시점 영상
ID종류 keypoint(특징점) descriptor(기술자) 영상 매칭

의미
 영상의 특징을 잘
나타내줄 수 있는
부분		 특징점의 지역적
특성 및 비교를
가능할 수 있는
서술자		 영상 내 특징점을
매칭시켜 획득되는
inlier
비트수 12bits 12bits 12bits
음향 획득 및 표출
ID종류 오디오번호 스피커 음향효과

의미
 카메라 번호와
일치하는 오디오
프레임(타임스템프, 길이)		 획득된 음향을
표출할 수 있는
스피커		 획득된 음향을
자유시점으로
표출하기 위한 효과
채널수(reverberation)
비트수 12bits 12bits 12bits
스트리밍 서비스
ID종류 streaming ID 서버신호 MPEG-DASH

의미
 사용자 선택 뷰,
카메라 번호, 오디오
번호와 연동되는 Streaming 번호

MPEG-I
MPEG-FTV
MPEG-V
MPEG-F
비트수 12bits 6bits
콘텐츠 표출
ID종류 사용자 선택 뷰 UI모드 장르






의미


 현장내향시점
(Inward Scene View)
현장외향시점
(Outward Scene View, 360°VR)
객체관찰시점
(Inward Object View)
객체인칭시점
(Free 1st person view)
자유공간시점
(Free position Outward Scene View)

시선
손제스처
바디제스처
마우스
키보드
조그셔틀 등
스포츠 1,...,n
음악공연 1,...,n
게임 1,...,n
가상노래방
비트수 12bits 6bits 6bits
즉, 표 1에 기재된 바와 같이, 메타데이터 생성부가 생성한 메타데이터는 카메라 파라미터(카메라 캘리브레이션, 카메라 매트릭스, Zoom), 영상획득(카메라종류, 카메라 번호, 카메라 배치 좌표), Object VR(Billboard, Add/Reduction, 객체검출), 가상 시점 영상(keypoint(특징점), descriptor(기술자), 영상매칭, 음향 획득 및 표출(오디오 번호, 스피커, 음향효과), 스트리밍서비스(streaming ID, 서버번호, MPEG-DASH), 콘텐츠표출(사용자 선택 뷰, UI모드, 장르)등을 모두 포함한다.
다음으로, 본 발명에 따른 데이터 전송부(200)에 관해 설명한다.
상기 데이터 전송부(200)는 메타데이터 생성부가 생성한 영상 및 음향 데이터를 MPEG-DASH 서버를 통해 자유선택시점 데이터 재생 장치에 전송시키는 역할을 한다.
여기서, MPECH-DASH서버는 MPEG(Moving Picture Expert Group)의 가장 최근의 standard로서, 다양한 디바이스에 단일적이고 통합적인 미디어 전달의 복잡성을 해결하기 위해 탄생한 것으로, 이는 데이터 delivery와 compression에 대한 문제 해결, Transcoding에 대한 비용절감, Content 제작가 인코딩에 관계없이 모든 디바이스에 콘텐츠 전달이 가능하고, 소비자 또한 우너하는 컨텐츠의 이용 불가에 대해서 걱정할 필요가 없는 특성을 가진다.
상기 MPEC-DASH의 동작원리는 다음과 같다.
도 4에 도시한 바와 같이, 컨텐츠를 HTTP를 베이스로 하는 작은 세그먼트의 시퀀스로 쪼갠다.
각각의 세그먼트는 짧은 간격의 플레이백을 포함하고 있는데, 이 플레이백의 총 합계가 컨텐츠의 총시간이 된다.
이 사간은 수분부터 수시간까지 다양하다.
컨텐츠는 다앙향 bit rates에서 이용할 수 있게끔 대체하는 세그먼트를 다양한 bit rate로 인코딩한다.
즉, 사용자는 현재의 네트워크환경에 따라서 들어오는 다음의 세그먼트 중에 어떤 bit rate로 인코딩된 세그먼트를 다운로드할 것인지를 지정한다.
이때, stall이나 re-buffering을 할 필요없이 download 할 수 있는 가장 높은 bit rate의 segment를 선택해 download한다.
이를 통해 MPEG-DASH 서버는 바뀌는 네트워크 환경에 맞춰서 끊김없이 데이터를 받을 수 있게 한다.
다음으로, 본 발명에 따른 자유선택시점 데이터 재생제어부(300)에 관해 설명한다.
상기 자유선택시점 데이터 재생제어부(300)는 데이터 전송부를 통해 전송된 영상 및 음향 데이터를 수신받아, 분석 후, 재생을 거쳐, 사용자에게 자유선택시점 콘텐츠를 제공하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 데이터 수신부(310), 메타데이터 분석부(320), 영상 및 음향 로우데이터 재생부(330)로 구성된다.
첫째, 본 발명에 따른 데이터 수신부(310)에 관해 설명한다.
상기 데이터 수신부(310)는 데이터 제공 장치로부터 영상 및 음향 데이터를 수신하는 역할을 한다.
둘째, 본 발명에 따른 메타데이터 분석부(320)에 관해 설명한다.
상기 메타데이터 분석부(320)는 데이터 수신부가 수신한 영상 및 음향 데이터를 분석시키는 역할을 한다.
셋째, 본 발명에 따른 영상 및 음향 로우데이터 재생부(330)에 관해 설명한다.
상기 영상 및 음향 로우데이터 재생부(330)는 메타데이터 분석부를 통해 분석한 영상 및 음향 로우 데이터를 기준으로 영상·음향 로우 데이터, 영상·음향 메타데이터로 분리시킨 후, 영상·음향 로우 데이터를 사용자에게 제공하여 재생시키는 역할을 한다.
또한, 본 발명에 따른 자유선택시점 데이터 재생제어부(300)는
사용자가 현재 제공받고 있는 콘텐츠에 대해 원하는 시점과 원하는 표출 방법이 있을 경우 사용자의 명령을 해석하여 자유선택시점 데이터 재생 장치에 전송시키도록 제어하는 사용자 명령어 제어부(340)가 포함되어 구성된다.
상기 사용자 명령어 제어부(340)는 도 6에 도시한 바와 같이, 사용자 명렁어 분석부(341), 사용자 명령어 데이터 전송부(342)로 구성된다.
상기 사용자 명령어 분석부(341)는 사용자 명렁어 제공 장치로부터 획득한 명령어를 분석하여 데이터로 생성하는 역할을 한다.
상기 사용자 명령어 데이터 전송부(342)는 생성한 사용자 명령어 데이터를 자유선택시점 데이터 재생부로 전송시키는 역할을 한다.
상기 사용자 명령어 제어부의 명령어는 인스턴스를 시작하기 위해 사용된 AMI ID를 나타내는 ami-id와, 1개 이상의 인스턴스를 동시에 시작하는 경우 이 값은 인스턴스가 시작된 순서를 나타내고, 첫 번째 인스턴스의 값은 0임을 나타내는 ami-launch-index와, S3에 위치한 AMI 매니페스트 파일 경로를 나타내는 ami-manifest-path Amazon와, AMI를 생성하기 위해 다시 번들링된 모든 인스턴스의 AMI ID을 나타내는 ancestor-ami-ids와, 루트/부트 파일 시스템을 포함하는 가상 디바이스를 나타내는 block-device-mapping/ami와, 인스턴스의 프라이빗 IPv4 DNS 호스트 이름으로서, 다중 네트워크 인터페이스가 존재하는 경우 eth0 디바이스를 나타내는 hostname와, 인스턴스 시작 시 IAM 역할이 연결되어 있을 경우, 인스턴스의 LastUpdated date, InstanceProfileArn 및 InstanceProfileId 등 마지막으로 인스턴스 프로파일이 업데이트된 시간 관련 정보를 포함하는 것을 나타내는 iam/info와, 이 인스턴스와 함께 시작한 커널 ID를 나타내는 kernel-id와, 인스턴스의 미디어 액세스 제어(MAC) 주소를 나타내는 mac로 구성된다.
이하, 본 발명에 따른 메타데이터를 이용한 자유선택시점 영상 제공 방법에 관한 구체적인 동작과정에 관해 설명한다.
먼저, 도 8에 도시한 바와 같이, 메타데이터 생성부를 통해 자유선택시점에 관한 영상 로우데이터 및 음향 로우데이터를 분석하여, 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시킨다(S100).
다음으로, 데이터 전송부에서 메타데이터 생성부가 생성한 영상 및 음향 데이터를 MPEG-DASH 서버를 통해 자유선택시점 데이터 재생 장치에 전송시킨다(S200).
다음으로, 자유선택시점 데이터 재생제어부에서 데이터 전송부를 통해 전송된 영상 및 음향 데이터를 수신받아, 분석 후, 재생을 거쳐, 사용자에게 자유선택시점 콘텐츠를 제공한다(S300).
이는 데이터 수신부(310)에서 데이터 제공 장치로부터 영상 및 음향 데이터를 수신한다.
이어서, 메타데이터 분석부에서 데이터 수신부가 수신한 영상 및 음향 데이터를 분석시킨다.
이어서, 영상 및 음향 로우데이터 재생부에서 메타데이터 분석부를 통해 분석한 영상 및 음향 로우 데이터를 기준으로 영상·음향 로우 데이터, 영상·음향 메타데이터로 분리시킨 후, 영상·음향 로우 데이터를 사용자에게 제공하여 재생시킨다.
끝으로, 사용자 명령어 제어부를 통해 사용자가 현재 제공받고 있는 콘텐츠에 대해 원하는 시점과 원하는 표출 방법이 있을 경우 사용자의 명령을 해석하여 자유선택시점 데이터 재생 장치에 전송시키도록 제어한다(S400).
1 : 자유선택시점 영상 제공 장치
100 : 메타데이터 생성부
200 : 데이터 전송부
300 : 자유선택시점 데이터 재생제어부

Claims (5)

  1. 자유선택시점에 관한 영상 로우데이터 및 음향 로우데이터를 분석하여, 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 메타데이터 생성부(100)와,
    메타데이터 생성부가 생성한 영상 및 음향 데이터를 MPEG-DASH 서버를 통해 자유선택시점 데이터 재생 장치에 전송시키는 데이터 전송부(200)와,
    데이터 전송부를 통해 전송된 영상 및 음향 데이터를 수신받아, 분석 후, 재생을 거쳐, 사용자에게 자유선택시점 콘텐츠를 제공하는 자유선택시점 데이터 재생제어부(300)로 구성되고;,
    상기 자유선택시점 데이터 재생제어부(300)는
    데이터 제공 장치로부터 영상 및 음향 데이터를 수신하는 데이터 수신부(310)와,
    데이터 수신부가 수신한 영상 및 음향 데이터를 분석시키는 메타데이터 분석부(320)와,
    메타데이터 분석부를 통해 분석한 영상 및 음향 로우 데이터를 기준으로 영상·음향 로우 데이터, 영상·음향 메타데이터로 분리시킨 후, 영상·음향 로우 데이터를 사용자에게 제공하여 재생시키는 영상 및 음향 로우데이터 재생부(330)와,
    사용자가 현재 제공받고 있는 콘텐츠에 대해 원하는 시점과 원하는 표출 방법이 있을 경우 사용자의 명령을 해석하여 자유선택시점 데이터 재생 장치에 전송시키도록 제어하는 사용자 명령어 제어부(340)가 포함되어 구성되는 메타데이터를 이용한 자유선택시점 영상 제공 장치에 있어서,
    상기 사용자 명령어 제어부(340)는
    사용자 명렁어 제공 장치로부터 획득한 명령어를 분석하여 데이터로 생성하는 사용자 명령어 분석부(341)와,
    생성한 사용자 명령어 데이터를 자유선택시점 데이터 재생부로 전송시키는 사용자 명령어 데이터 전송부(342)가 포함되어 구성되는 것을 특징으로 하는 메타데이터를 이용한 자유선택시점 영상 제공 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 메타데이터 생성부를 통해 자유선택시점에 관한 영상 로우데이터 및 음향 로우데이터를 분석하여, 영상 로우데이터의 카메라 배열과 카메라 객체 정보 및 음향 로우데이터의 음향 채널과 음향 객체 정보를 메타데이터 형식으로 생성시키는 단계(S100)와,
    데이터 전송부에서 메타데이터 생성부가 생성한 영상 및 음향 데이터를 MPEG-DASH 서버를 통해 자유선택시점 데이터 재생 장치에 전송시키는 단계(S200)와,
    자유선택시점 데이터 재생제어부에서 데이터 전송부를 통해 전송된 영상 및 음향 데이터를 수신받아, 분석 후, 재생을 거쳐, 사용자에게 자유선택시점 콘텐츠를 제공하는 단계(S300)와,
    사용자 명령어 제어부를 통해 사용자가 현재 제공받고 있는 콘텐츠에 대해 원하는 시점과 원하는 표출 방법이 있을 경우 사용자의 명령을 해석하여 자유선택시점 데이터 재생 장치에 전송시키도록 제어하는 단계(S400)로 이루어진 메타데이터를 이용한 자유선택시점 영상 제공 방법에 있어서,
    상기 메타데이터 생성부는
    카메라 캘리브레이션, 카메라 매트릭스, 줌(Zoom)에 관한 카메라 파라미터;, 카메라종류, 카메라 번호, 카메라 배치 좌표에 관한 영상획득;, 빌보드(Billboard), 애드(Add)/리덕션(Reduction), 객체검출에 관한 오브젝트 VR(Object VR);, 가상 시점 영상(keypoint(특징점));, 디스크립터(descriptor(기술자));, 영상매칭, 오디오 번호, 스피커, 음향효과에 관한 음향 획득 및 표출;, 스트리밍 ID(streaming ID), 서버번호, MPEG-DASH에 관한 스트리밍서비스;, 사용자 선택 뷰, UI모드, 장르에 관한 콘텐츠표출을 포함하여 이루어진 메타데이터를 생성시키는 것을 특징으로 하는 메타데이터를 이용한 자유선택시점 영상 제공 방법.
KR1020170166302A 2017-12-06 2017-12-06 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법 KR101950852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170166302A KR101950852B1 (ko) 2017-12-06 2017-12-06 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170166302A KR101950852B1 (ko) 2017-12-06 2017-12-06 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101950852B1 true KR101950852B1 (ko) 2019-02-21

Family

ID=65585131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170166302A KR101950852B1 (ko) 2017-12-06 2017-12-06 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101950852B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006300A (ko) * 2008-07-09 2010-01-19 한국전자통신연구원 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
KR101538947B1 (ko) 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR20170051913A (ko) * 2015-11-03 2017-05-12 주식회사 케이티 멀티 트랙 영상을 이용한 다시점 영상 시청 방법 및 다시점 영상 제공 방법 및 사용자 단말

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006300A (ko) * 2008-07-09 2010-01-19 한국전자통신연구원 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
KR101538947B1 (ko) 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR20170051913A (ko) * 2015-11-03 2017-05-12 주식회사 케이티 멀티 트랙 영상을 이용한 다시점 영상 시청 방법 및 다시점 영상 제공 방법 및 사용자 단말

Similar Documents

Publication Publication Date Title
US10375424B2 (en) Point of view multimedia platform
US9100706B2 (en) Method and system for customising live media content
US20110214141A1 (en) Content playing device
CN106488311B (zh) 音效调整方法及用户终端
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects
EP2822288A1 (en) Method and apparatus for frame accurate advertisement insertion
US20180242030A1 (en) Encoding device and method, reproduction device and method, and program
EP3316247B1 (en) Information processing device, information processing method, and program
Niamut et al. Towards a format-agnostic approach for production, delivery and rendering of immersive media
EP3105933A1 (en) Apparatus and method for processing media content
CN102508646A (zh) 内容签名用户界面
EP2743917B1 (en) Information system, information reproducing apparatus, information generating method, and storage medium
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN114402625B (zh) 对所有其他调谐数据进行分类的方法和装置
CN102347839A (zh) 内容签名
Kasuya et al. LiVRation: Remote VR live platform with interactive 3D audio-visual service
KR101843815B1 (ko) 비디오 클립간 중간영상 ppl 편집 플랫폼 제공 방법
WO2019187437A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20130050464A (ko) 증강 콘텐츠 생성 장치 및 방법, 증강 방송 송신 장치 및 방법, 및 증강 방송 수신 장치 및 방법
US20080059999A1 (en) Multi-function display controller
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
KR101950852B1 (ko) 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법
JP2010010736A (ja) 映像コンテンツ再生装置
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Suzuki et al. AnnoTone: Record-time audio watermarking for context-aware video editing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant