KR20200095112A - 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법 - Google Patents

스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법 Download PDF

Info

Publication number
KR20200095112A
KR20200095112A KR1020190012802A KR20190012802A KR20200095112A KR 20200095112 A KR20200095112 A KR 20200095112A KR 1020190012802 A KR1020190012802 A KR 1020190012802A KR 20190012802 A KR20190012802 A KR 20190012802A KR 20200095112 A KR20200095112 A KR 20200095112A
Authority
KR
South Korea
Prior art keywords
image
stitching
information
images
eye
Prior art date
Application number
KR1020190012802A
Other languages
English (en)
Other versions
KR102178947B1 (ko
Inventor
서봉석
이예훈
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020190012802A priority Critical patent/KR102178947B1/ko
Publication of KR20200095112A publication Critical patent/KR20200095112A/ko
Application granted granted Critical
Publication of KR102178947B1 publication Critical patent/KR102178947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 기술은 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법에 관한 것이다. 본 기술의 구체적인 예에 따르면, 좌안 영상 및 우안 영상 각각에 대해 육면체 중 상, 하, 좌, 우의 4개의 입력 영상을 처리함으로써, 육면체의 전면에 대한 영상을 처리하는 경우에 비해 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있고, 이에 전송 데이터의 용량이 감소됨에 따라 대역의 효율을 높일 수 있다. 또한 다중 시점의 360 멀티뷰 서비스를 제공함에 따라 사용자와 컨텐츠 간 상호작용 및 능동성을 향상시킬 수 있고, 다양한 스마트 모바일 기기에서 실감 미디어 및 3D 영상 서비스를 제공받을 수 있게 된다.

Description

스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법 {SYSTEM AND METHOD FOR TRANSMITTING 360 MULTI VIEW VIDEO USING STITCHING}
본 발명은 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 좌/우 360 이미지를 각각 6개의 면으로 나누어 촬영한 후 6면 중 상, 좌, 우, 하 면에 대한 2차원 공간 스티칭을 통해 360 다중 시점의 영상을 획득할 수 있도록 한 기술에 관한 것이다.
최근 360 및 VR(Virtual Reality) 콘텐츠에 대한 관심과 요구가 증가하고 있으며, 그에 따른 콘텐츠와 사용자 간 상호작용 그리고 사용자의 능동성이 부각되고 있다.
이에 따라, 효율적인 VR 콘텐츠와 사용자 간 상호작용 및 능동성을 증대시키기 위한 비디오 변환관련 연구되고 있다.
이러한 연구에 의해 기존의 일반 2D 사진으로 임의시점을 생성할 때 좌(Left), 우(Right) 이미지의 연결성을 가지는 부분의 특징점을 찾아 스티칭하여 파노라믹 이미지를 만들면 다양한 시점의 2D 이미지를 만들어 낼 수 있다.
하지만 기존 360 이미지의 경우 메르카토르 도법으로 구형 이미지를 직사각형 형태로 재구성하고, 이에 모든 방향의 정보를 담아내므로 두 이미지간의 연결성을 확보해 낼 수 없다. 따라서, 360도 가상현실(VR: Virtual Reality) 콘텐츠를 멀티뷰 형태로 재생하는 서비스를 제공할 수 없었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 360 이미지를 좌우 각각의 6개의 2차원 공간으로 나누어 촬영한 후 각각에 상응하는 2차원 공간 간의 스티칭을 통해 다중 시점(multi-view)을 획득함에 따라 사용자와 컨텐츠 간 상호작용 및 능동성을 향상시키는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법을 제공하고자 한다.
이에 시청자에게 실감나는 HD 360도 VR 서비스, UHD 360도 VR 서비스, 및 스테레오스코픽 UHD 3D 360도 VR 서비스를 제공할 수 있는 2차원 공간 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
일 실시 예에 따른 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템은, 적어도 하나의 카메라를 이용하여 좌안 영상 및 우안 영상 각각을 획득한 다음 획득된 좌안 영상 및 우안 영상의 각각에 대해 구체 이미지로 합성한 후 합성된 구체 이미지를 큐브 타입 이미지로 매핑하고 매핑된 큐브 형태의 이미지를 생성하는 영상 획득부; 상기 좌안 영상 및 우안 영상 각각에 대해 큐브 형태의 육면체 중 상, 하, 좌, 우 4면의 4개 입력 영상을 스티칭하여 파노라마 영상으로 변환하는 영상 처리부; 상기 영상 처리부의 4개 입력 영상에 대해 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상 관련 정보를 포함하는 MPD(Media Presentation Description)를 생성하여 전송하는 전송부를 포함하는 할 수 있다.
상기 MPD 정보는, 각 시점의 영상의 연관성을 나타내는 EssentialProperty의 AdaptationSet ID를 포함할 수 있다.
상기 MPD 정보는, 스티칭 정보를 AdaptationSet에 포함하고,
각 AdaptationSet의 SupplementalProperty에 스티칭 정보의 사용성에 대한 정보를 포함하며, Representation의 dependency에 스티칭에 필요한 영상 ID를 포함할 수 있다.
일 실시 예에 따른 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 방법은,
적어도 하나의 카메라를 이용하여 좌안 영상 및 우안 영상 각각을 획득하고 획득된 좌안 영상 및 우안 영상의 각각에 대해 구체 이미지로 합성한 후 합성된 구체 이미지를 큐브 타입 이미지로 매핑하고 매핑된 큐브 형태의 이미지를 생성하는 단계; 상기 좌안 영상 및 우안 영상 각각에 대해 큐브 형태의 육면체 중 상, 하, 좌, 우 4면의 4개 입력 영상을 스티칭하는 단계; 상기 4개의 입력 영상간의 결합에 관한 스티칭 정보를 획득하여 큐브 형태의 영상을 파노라마 영상으로 변환하는 단계; 및 상기 4개 입력 영상에 대해 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상 관련 정보를 포함하는 MPD(Media Presentation Description)를 생성하여 전송하는 단계를 포함할 수 있다.
상기 MPD 정보는, 각 시점의 영상의 연관성을 나타내는 EssentialProperty의 AdaptationSet ID를 포함하고, 스티칭 정보를 AdaptationSet에 포함하되, 각 AdaptationSet의 SupplementalProperty에 스티칭 정보의 사용성에 대한 정보를 포함하며, Representation의 dependency에 스티칭에 필요한 영상 ID를 포함할 수 있다.
일 실시 예에 의하면 좌안 영상 및 우안 영상 각각에 대해 육면체 중 상, 하, 좌, 우의 4개의 입력 영상을 처리함으로써, 육면체의 전면에 대한 영상을 처리하는 경우에 비해 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있고, 이에 전송 데이터의 용량이 감소됨에 따라 대역의 효율을 높일 수 있다.
또한 일 실시 예에 따르면, 다중 시점의 360 멀티뷰 서비스를 제공함에 따라 사용자와 컨텐츠 간 상호작용 및 능동성을 향상시킬 수 있고, 다양한 스마트 모바일 기기에서 실감 미디어 및 3D 영상 서비스를 제공받을 수 있게 된다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시 예에 따른 360 멀티뷰 영상 전송 시스템의 구성도이다.
도 2는 일 실시 예의 4개의 입력 영상의 스티칭을 보인 도이다.
도 3은 일 실시 예의 4개의 입력 영상을 스티칭한 전체 영상을 보인 도이다.
도 4는 일 실시 예에 따른 시스템의 MPD 시그널링 예시도이다.
도 5는 일 실시 예의 360 멀티뷰 영상 전송하는 동작을 보인 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시 예에서 방송망에 적용되는 전송 스트림은 ROTUE(Real-time Object Delivery over Unidirectional Transport) 또는 MPEG (Media Transport Protocol)가 될 수 있다. ROUTE 및 MMTP는 현재 ATSC 3.0에서 표준화 진행 중인 방송망 전송 스트림 다중화 규격을 나타낸다. 또한, 인터넷 망으로 전송되는 전송 스트림은 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
일 실시 예에 따르면, 360 멀티뷰 영상 전송 시스템은 360도 카메라를 통해 획득된 좌안 영상 및 우안 영상 각각에 대한 상 하 좌 우 4면의 4개의 입력 영상에 대해 스티칭을 통해 획득된 좌안 영상 및 우안 영상을 파노라마 영상으로 변환한 다음 임의의 시점의 영상을 추출하여 360도 영상의 새로운 시점의 영상을 생성함에 따라 360 다중 시점의 영상을 획득할 수 있다.
일 실시 예에 따르면, 360 멀티뷰 영상 전송 시스템은 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상의 관련 정보를 MPD 정보로 ATSC 3.0 프로토콜 기반의 표준화 및 다중화하여 방송망(ROUTE) 및/또는 인터넷 망(DASH)을 통해 전송할 수 있다.
도 1은 본 발명의 실시 예가 적용되는 360도 VR 방송 서비스 제공 시스템의 구성도이고, 도 2는 도 1에 도시된 영상 획득부(100)에서 획득된 영상에 대해 스트칭 도면을 보인 도이며, 도 3은 도 1에 도시된 영상 처리부(300)의 스티칭을 통해 결합된 영상을 보인 도이다.
본 발명의 실시 예에 따른 시스템(S)은 영상 획득부(100), 영상 처리부(300), 전송부(500), 및 수신부(700)를 포함한다.
영상 획득부(100)는 도 2에 도시된 바와 같이 적어도 하나의 카메라로부터 수집된 다수의 2차원의 좌안 영상 및 우안 영상을 각각의 구체 이미지로 합성한 후 합성된 구체 이미지를 큐브 타입 이미지로 매핑하고 매핑된 큐브 형태의 이미지를 영상 처리부(300)로 전달할 수 있다.
영상 처리부(300)는 큐브 형태의 좌우 영상 및 우안 영상 각각에 대해 상(top) 하(bottom), 좌(left), 우(right) 각 면에 대한 4개의 입력 영상을 스티칭하여 도 3에 도시된 파노라마 영상으로 변환할 수 있다. 여기서 입력 영상은 큐브 형태의 좌우 영상 각각의 6면 중 상(top) 하(bottom), 좌(left), 우(right) 각 면에 대응하여 획득된 영상으로 지칭된다. 파노라마 영상은 구형 형태로 결합된 입력 영상들의 평면 형태로 지칭될 수 있다.
즉, 파노라마 영상은 큐브 형태의 좌우 영상 각각의 6면 중 상(top) 하(bottom), 좌(left), 우(right) 각 4 개의 입력 영상을 스티칭한 결과가 포함될 수 있다. 여기서, 사용자의 움직임에 따라 파노라마 영상이 생성될 때 움직이는 방향에 대해, 영상의 크기의 변화 이외에 밝기 또는 영역 조정의 변화가 없다. 이에 파노라마 영상은 상, 하, 좌, 우 각 4개의 입력 영상 만으로 생성할 수 있다. 일 실시 예는 육면체의 각 6면 중 상, 하, 좌, 우, 각 4개의 입력 영상 만으로 파노라마 이미지를 생성할 수 있다. 그리고, 전 후 면에 대한 임의의 시점의 영상은 줌 인(Zoom-in) 및 줌 아웃(Zoom-out)을 이용하여 생성될 수 있다.
영상 처리부(300)는 입력 영상을 저장할 수 있다. 영상 처리부(300)는 좌안상, 영상 및 우안 영상 각각에 대해 하, 좌, 우, 4개의 입력 영상을 스티칭함에 따라 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상에 관련 정보를 저장할 수 있다.
전송부(500)는 상기 스티칭 정보 및 4개의 입력 영상을 인터넷망/방송망을 이용하여 사용자에게 전송하기 위해 인코딩된 전송 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 시그널링을 통해 MPD 정보를 생성한다.
도 4는 도 1에 도시된 전송부(500)의 MPD 정보를 나타낸 예시도로서, 도 4를 참조하면, 일 실시 예의 MPD 정보는 각 시점의 영상 마다 연관성 및 각 시점의 영상을 스티칭하기 위한 스티칭 정보가 포함되며, 예를 들어 스티칭 정보는 영상 2개를 스티칭할 때 스티칭되는 이미지는 4쌍이므로 각 이미지의 각 면에 포함된다.
이에 MPD 정보는 각 시점의 영상의 연관성을 나타내는 EssentialProperty의 변수 값을 포함하고, 변수값은 연관된 영상의 AdaptationSet ID를 나타낸다. 이에 변수값으로 각 시점의 영상과 매칭되는 영상이 확인될 수 있다.
또한 MPD 정보는 스티칭 정보를 나타내는 AdaptationSet를 포함하고, 각 스티칭 정보의 사용성에 대한 정보는 SupplementalProperty 에 포함되며, 이에 각 면에 적용된 스티칭 정보는 SupplementalProperty의 변수값에 의해 확인될 수 있다. 그리고 MPD 정보는 스티칭에 필요한 영상 ID를 나타내는 Representation의 dependency에 포함될 수 있다.
그리고 전송부(500)는 스티칭에 필요한 영상 및 스티칭 정보를 포함하는 AdaptationSet와 각 시점의 영상 연관성을 나타내는 EssentialProperty를 포함하는 MPD 정보를 인터넷 망을 통해 전송 스트림의 형태로 수신부(700)로 전송할 수 있다. 이때 인터넷 망으로 전송되는 전송 스트림은 DASH(Dynamic Adaptive Streaming over HTTP) 규격을 따른다.
이에 영상 처리부(300)는 큐브 형태의 육면체의 상, 하, 좌, 우, 4면의 입력 영상을 파노라마 영상으로 변환한 다음 전송부(500)로 전달하고, 전송부(500)는 스티칭에 필요한 영상 및 스티칭 정보를 포함하는 MPD 정보를 생성한 다음 수신부(700)로 전달할 수 있다. 이에 수신부(700)는 스티칭 정보를 이용하여 4개의 입력 영상을 스티칭함으로써 다중 시점의 영상을 추출한 다음 다중 시점 영상을 구형 형태로 랜더링하여 360 멀티뷰 영상을 재생할 수 있다.
일 실시 예는 좌안 영상 및 우안 영상 각각에 대해 육면체 중 상, 하, 좌, 우의 4개의 입력 영상을 처리함으로써, 육면체의 전면에 대한 영상을 처리하는 경우에 비해 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있고, 이에 전송 데이터의 용량이 감소됨에 따라 대역의 효율을 높일 수 있다. 또한 다중 시점의 360 멀티뷰 서비스를 제공함에 따라 다양한 스마트 모바일 기기에서 실감 미디어 및 3D 영상 서비스를 제공받을 수 있게 된다.
도 5는 일 실시 예에 따른 360 멀티뷰 영상을 전송하는 동작을 도시한 흐름도이다.
일 실시 예에 따르면 단계(S10)에서 도 1의 영상 획득부(S)는 적어도 하나의 카메라로부터 획득된 좌안 및 우안 영상 각각의 육면체의 각 면에 대응되는 6 개의 입력 영상을 각각 획득할 수 있다.
일 실시 예에 따르면, 단계(S20)에서 360 멀티뷰 영상 전송 시스템(S)는 좌안 및 우안 영상 각각에 대해 6개의 입력 영상 중 상, 하, 좌, 우를 포함하는 4개의 입력 영상 들 간의 결합에 관한 스티칭 정보를 획득할 수 있다.
단계(S30)에서 360 멀티뷰 영상 전송 시스템(S)는 4개의 입력 영상을 결합하여 파노라마 영상으로 변환할 수 있다, 이때 4개의 입력 영상의 영역 또는 밝기를 조정할 수 있다. 변환된 파노라마 영상에 대해 줌인 및 줌 아웃 기법을 적용하여 다중 시점의 영상을 도출할 수 있으므로, 360 멀티뷰 영상 전송 시스템(S)는 좌안 영상 및 우안 영상 각각에 대해 4개의 입력 영상만으로 360 다중 시점의 영상을 획득할 수 있다.
일 실시 예에 따르면, 단계(S40)에서, 360 멀티뷰 영상 전송 시스템(S)는 각 좌안 영상 및 우안 영상에 대해 4개의 입력 영상 정보와 스트칭 정보를 포함하는 MPD 정보를 생성할 수 있다. 360 멀티뷰 영상 전송 시스템(S)는 MPD 정보에 따라 각 시점의 영상의 연관성을 나타내는 EssentialProperty의 AdaptationSet ID에 포함된 각 시점의 영상과 매칭되는 좌안 영상 및 우안 영상을 확인될 수 있다. 그리고, 360 멀티뷰 영상 전송 시스템(S)는 MPD 정보의 AdaptationSet에 스티칭 정보를 포함하고, 각 AdaptationSet의 SupplementalProperty에 스티칭 정보의 사용성에 대한 정보를 포함하며, Representation의 dependency에 스티칭에 필요한 영상 ID를 포함할 수 있다.
일 실시 예에 따르면, 단계(S50)에서, 360 멀티뷰 영상 전송 시스템(S)는 각 좌안 영상 및 우안 영상 각각에 대한 4개의 입력 영상 및 각 4개의 입력 영상의 결합에 관한 스티칭 정보를 포함하는 MPD 정보를 전송할 수 있다.
이상에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
좌안 영상 및 우안 영상 각각에 대해 육면체 중 상, 하, 좌, 우의 4개의 입력 영상을 처리함으로써, 육면체의 전면에 대한 영상을 처리하는 경우에 비해 시스템의 복잡도를 줄일 수 있고, 압축 효율을 향상시킬 수 있고, 이에 전송 데이터의 용량이 감소됨에 따라 대역의 효율을 높일 수 있다. 또한 다중 시점의 360 멀티뷰 서비스를 제공함에 따라 사용자와 컨텐츠 간 상호작용 및 능동성을 향상시킬 수 있고, 다양한 스마트 모바일 기기에서 실감 미디어 및 3D 영상 서비스를 제공받을 수 있는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 360 멀티뷰 영상 재생 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (5)

  1. 적어도 하나의 카메라를 이용하여 좌안 영상 및 우안 영상 각각을 획득한 다음 획득된 좌안 영상 및 우안 영상의 각각에 대해 구체 이미지로 합성한 후 합성된 구체 이미지를 큐브 타입 이미지로 매핑하고 매핑된 큐브 형태의 이미지를 생성하는 영상 획득부;
    상기 좌안 영상 및 우안 영상 각각에 대해 큐브 형태의 육면체 중 상, 하, 좌, 우 4면의 4개 입력 영상을 스티칭하여 파노라마 영상으로 변환하는 영상 처리부;
    상기 영상 처리부의 4개 입력 영상에 대해 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상 관련 정보를 포함하는 MPD(Media Presentation Description)를 생성하여 전송하는 전송부; 를 포함하는 것을 특징으로 하는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템.
  2. 제1항에 있어서, 상기 MPD 정보는,
    각 시점의 영상의 연관성을 나타내는 EssentialProperty의 AdaptationSet ID를 포함하는 것을 특징으로 하는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템.
  3. 제2항에 있어서, 상기 MPD 정보는,
    스티칭 정보를 AdaptationSet에 포함하고,
    각 AdaptationSet의 SupplementalProperty에 스티칭 정보의 사용성에 대한 정보를 포함하며,
    Representation의 dependency에 스티칭에 필요한 영상 ID를 포함하는 것을 특징으로 하는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템.
  4. 적어도 하나의 카메라를 이용하여 좌안 영상 및 우안 영상 각각을 획득하고 획득된 좌안 영상 및 우안 영상의 각각에 대해 구체 이미지로 합성한 후 합성된 구체 이미지를 큐브 타입 이미지로 매핑하고 매핑된 큐브 형태의 이미지를 생성하는 단계;
    상기 좌안 영상 및 우안 영상 각각에 대해 큐브 형태의 육면체 중 상, 하, 좌, 우 4면의 4개 입력 영상을 스티칭하는 단계;
    상기 4개의 입력 영상간의 결합에 관한 스티칭 정보를 획득하여 큐브 형태의 영상을 파노라마 영상으로 변환하는 단계; 및
    상기 4개 입력 영상에 대해 스티칭 관련 영상 및 스티칭 정보와 4개의 입력 영상 관련 정보를 포함하는 MPD(Media Presentation Description)를 생성하여 전송하는 단계를 포함하는 것을 특징으로 하는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 방법.
  5. 제4항에 있어서, 상기 MPD 정보는,
    각 시점의 영상의 연관성을 나타내는 EssentialProperty의 AdaptationSet ID를 포함하고,
    스티칭 정보를 AdaptationSet에 포함하되, 각 AdaptationSet의 SupplementalProperty에 스티칭 정보의 사용성에 대한 정보를 포함하며, Representation의 dependency에 스티칭에 필요한 영상 ID를 포함하는 것을 특징으로 하는 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 방법.
KR1020190012802A 2019-01-31 2019-01-31 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법 KR102178947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190012802A KR102178947B1 (ko) 2019-01-31 2019-01-31 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190012802A KR102178947B1 (ko) 2019-01-31 2019-01-31 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200095112A true KR20200095112A (ko) 2020-08-10
KR102178947B1 KR102178947B1 (ko) 2020-11-13

Family

ID=72049648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012802A KR102178947B1 (ko) 2019-01-31 2019-01-31 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102178947B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824818B1 (ko) * 2016-11-28 2018-03-14 서울과학기술대학교 산학협력단 360도 영상 스티칭 방법 및 장치
KR20190009378A (ko) * 2016-05-24 2019-01-28 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009378A (ko) * 2016-05-24 2019-01-28 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
KR101824818B1 (ko) * 2016-11-28 2018-03-14 서울과학기술대학교 산학협력단 360도 영상 스티칭 방법 및 장치

Also Published As

Publication number Publication date
KR102178947B1 (ko) 2020-11-13

Similar Documents

Publication Publication Date Title
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102322508B1 (ko) 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
Domański et al. Immersive visual media—MPEG-I: 360 video, virtual navigation and beyond
US11140373B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
US10771764B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US20120224025A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US10869017B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US20120162367A1 (en) Apparatus and method for converting image display mode
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2004004350A1 (ja) 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置
CN101002471A (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
JP5700703B2 (ja) 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US20130070052A1 (en) Video procesing device, system, video processing method, and video processing program capable of changing depth of stereoscopic video images
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
JPWO2019031469A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20190313074A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
Zheng et al. Research on panoramic stereo live streaming based on the virtual reality
KR102178947B1 (ko) 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법
CN110198457A (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
KR20190050817A (ko) 정보 처리 디바이스 및 이를 제어하는 방법, 및 컴퓨터 프로그램
CN114556962A (zh) 多视点视频处理方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant