KR101475936B1 - 3d 영상 배포 시스템 - Google Patents

3d 영상 배포 시스템 Download PDF

Info

Publication number
KR101475936B1
KR101475936B1 KR1020130049964A KR20130049964A KR101475936B1 KR 101475936 B1 KR101475936 B1 KR 101475936B1 KR 1020130049964 A KR1020130049964 A KR 1020130049964A KR 20130049964 A KR20130049964 A KR 20130049964A KR 101475936 B1 KR101475936 B1 KR 101475936B1
Authority
KR
South Korea
Prior art keywords
image
unit
spectacles
data
image data
Prior art date
Application number
KR1020130049964A
Other languages
English (en)
Other versions
KR20140140137A (ko
Inventor
김황남
이석규
김환태
김현순
정종택
이웅희
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130049964A priority Critical patent/KR101475936B1/ko
Publication of KR20140140137A publication Critical patent/KR20140140137A/ko
Application granted granted Critical
Publication of KR101475936B1 publication Critical patent/KR101475936B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명에 따른 3D 영상 배포 장치는 3D 카메라를 포함하는 사용자 단말로부터 3D 영상 데이터를 수신하는 수신부, 상기 3D 영상 데이터를 디코딩하여 시각 영상 및 깊이 영상을 추출하는 추출부, 상기 시각 영상 및 깊이 영상이 저장되는 저장부, 상기 저장부에 저장된 시각 영상 및 깊이 영상에 기초하여 무안경 3D 영상을 생성하는 3D 영상 생성부 및 상기 무안경 3D 영상을 사용자 단말로 전송하는 배포부를 포함하되, 상기 사용자 단말은 상기 무안경 3D 영상의 재생모듈을 포함하고,상기 수신부, 상기 추출부, 상기 저장부, 상기 3D 영상 생성부, 및 상기 배포부는 클라우드 네트워크 환경에서 구현되어 상기 무안경 3D 영상을 생성하고 배포한다.

Description

3D 영상 배포 시스템{3D MEDIA DISTRIBUTION SYSTEM}
본 발명은 3D 영상 배포 시스템에 관한 것이다.
모바일 기기의 보급이 기하급수적으로 증가되고 모바일 기기의 기술이 발전됨에 따라 이를 활용한 다양한 콘텐츠에 대한 개발 요구 또한 증가되고 있다. 이에 콘텐츠는 사용자에게 보다 다양한 경험을 제공하는 3D 콘텐츠로 발전되어 가고 있으며, 현재 3D 콘텐츠를 제공하는 전자기기가 보급되면서 점차 그 수요가 증가됨에 따라 사용자에게 보다 나은 3D 콘텐츠를 제공하기 위한 다양한 연구가 요구되고 있다.
특히, 모바일 기기에서 3D 콘텐츠를 무선으로 전송하는 기술에 대한 연구가 필요하다. 기존의 2D 콘텐츠를 배급하는 시스템은 예컨대, 유튜브(You Tube)와 같은 사이트는 2D 콘텐츠를 서버에 저장한 뒤 배포하는 방식을 취하고 있다. 그러나 3D 콘텐츠를 실시간으로 업로드하고, 서버 등에 저장된 3D 콘텐츠를 모바일 환경에서 재생할 수 있도록 하는 시스템에 대한 개발은 미비한 실정이다.
따라서, 2D 콘텐츠를 3D 콘텐츠로 빠르게 생성시킬 수 있고, 3D 콘텐츠를 무선 네트워크상에서 실시간으로 빠르게 전송할 수 있는 시스템의 개발이 필요하다.
한편, 이와 관련하여 한국 공개특허공보 제 2011-0044419호(발명의 명칭: 클라우드 컴퓨팅 기반 영상 제작 제공 시스템, 그의 영상 제작 제공 방법 및 이를 위한 장치)는 클라우드 컴퓨팅에 기반하여 영상을 제작할 수 있도록 하는 영상 제작 제공 장치에 있어서, 영상 제작에 필요한 어플리케이션을 탑재되어 있고, 단말 장치는 네트워크를 통해 서비스 장치에 구비된 영상 제작 리소스를 사용하여 3D 영상을 제작할 수 있으며, 컨텐츠 제공부는 네트워크를 통해 단말장치에 컨텐츠를 제공할 수 있으며, 이때 클라우드 컴퓨팅부는 단말 장치를 위한 리소스를 할당하는 장치를 제안하고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 모바일 기기에 대하여 3D 콘텐츠를 배포할 수 있는 3D 영상 배포 시스템을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 3D 영상 배포 장치는 3D 카메라를 포함하는 사용자 단말로부터 3D 영상 데이터를 수신하는 수신부, 상기 3D 영상 데이터를 디코딩하여 시각 영상 및 깊이 영상을 추출하는 추출부, 상기 시각 영상 및 깊이 영상이 저장되는 저장부, 상기 저장부에 저장된 시각 영상 및 깊이 영상에 기초하여 무안경 3D 영상을 생성하는 3D 영상 생성부 및 상기 무안경 3D 영상을 사용자 단말로 전송하는 배포부를 포함하되, 상기 사용자 단말은 상기 무안경 3D 영상의 재생모듈을 포함하고, 상기 수신부, 상기 추출부, 상기 저장부, 상기 3D 영상 생성부, 및 상기 배포부는 클라우드 네트워크 환경에서 구현되어 상기 무안경 3D 영상을 생성하고 배포한다.
또한, 본 발명의 제 2 측면에 따른 3D 영상 배포 시스템에 포함되는 사용자 단말은 3D카메라, 사용자 단말의 3D카메라를 통해 촬영된 원본 영상에서 시각 영상 및 깊이 영상을 추출하는 추출부, 상기 추출부에 의해 추출된 시각 영상 및 깊이 영상을 인코딩하는 인코딩부, 상기 인코딩부에 의해 생성된 3D 영상 데이터를 3D 영상 배포 장치로 전송하는 전송부, 송수신하고자 하는 영상을 선택할 수 있는 인터페이스를 제공하고, 상기 인터페이스를 통해 선택된 무안경 3D 영상을 상기 3D 영상 배포 장치에 요청하는 인터페이스부, 상기 인터페이스부에 의해 요청된 무안경 3D 영상을 상기 3D 영상 배포 장치로부터 수신하는 수신부, 상기 무안경 3D영상 데이터를 디코딩하여 무안경 3D 영상을 복원시키는 디코딩부 및 상기 디코딩부에 의해 복원된 무안경 3D영상을 디스플레이에 표시하는 디스플레이부를 포함하고, 상기 무안경 3D 영상은 상기 3D 영상 데이터에 기초하여 클라우드 네트워크 환경에서 구현된 상기 3D 영상 배포 장치에 의해 생성되고 배포되는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 사용자 단말에서 네트워크를 통해 3D 영상 배포 시스템에 접속하여 효율적으로 3D 영상을 생성할 수 있으며, 3D 영상을 실시간으로 빠르게 배급받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 영상 배포 시스템이 도시된 구성도이다.
도 2는 본 발명의 일 실시예에 따른 무안경 3D 영상을 배포하는 3D 영상 배포 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 무안경 3D 영상을 제공하는 사용자 단말의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템의 구성을 설명하기 위한 일례이다.
도 5는 본 발명의 일 실시예에 따른 3D 영상 배포 장치의 클러스터 구성이 도시된 구성도이다.
도 6a 내지 6d는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템을 이용한 모바일 기기에서의 성능 평가 결과를 도시한 그래프이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 3D 영상 배포 시스템이 도시된 구성도이다.
본 발명의 일 실시예에 따른 3D 영상 배포 시스템(100)은 3D 영상 배포 장치(200) 및 사용자 단말(300)을 포함한다.
도 1에 도시된 바와 같이, 3D 영상 배포 장치(200)는 복수의 사용자 단말(300)로부터 3D 영상 데이터를 수신하고, 수신된 3D 영상 데이터를 바탕으로 무안경 3D 영상을 실시간으로 생성한 후 무안경 3D 영상을 요청하는 복수의 사용자 단말(300)로 전송을 할 수 있다. 이때, 무안경 3D 영상은 사용자 단말로부터 송신된 3D 영상 데이터의 시각 영상 및 깊이 영상을 추출하여 중간시점 영상 합성(Intermediate View Synthesis) 알고리즘을 통해 생성될 수 있다. 또한, 3D 영상 배포 장치(200)는 2D 영상 데이터를 수신할 경우 2D 영상의 시차 지도(Disparity Map)를 추출하여 무안경 3D 영상을 생성할 수 있다. 이에 대한 자세한 설명은 하기 도 2를 참조하여 보다 구체적으로 설명하도록 한다.
한편, 3D 영상 배포 장치(200)는 복수의 처리부가 클러스터 단위로 분산 처리된 형태일 수 있다. 이에 대한 자세한 설명은 하기 도 6을 참조하여 보다 구체적으로 설명하도록 한다.
사용자 단말(300)은 3D 카메라를 포함할 수 있고, 3D 카메라에 의해 촬영된 3D 영상 데이터를 3D 영상 배포 장치(200)에 전송할 수 있다. 또한, 사용자 단말(300)은 무안경 3D 영상을 3D 영상 배포 장치(200)에 요청할 수 있으며, 3D 영상 배포 장치(200)로부터 수신하여 표시할 수 있다. 이에 대한 자세한 설명은 하기 도 3 및 도 4를 참조하여 보다 구체적으로 설명하도록 한다.
사용자 단말(300)은 네트워크를 통해 3D 영상 배포 장치(200)에 접속할 수 있는 2D 카메라 또는 3D 카메라를 포함한 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 스마트카메라(Smart Camera), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access) 또는 Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 무안경 3D 영상을 배포하는 3D 영상 배포 장치의 블록도이다.
본 발명의 일 실시예에 따른 3D 영상 배포 장치(200)는 수신부(210), 추출부(220), 저장부(230), 시차 지도 추출부(240), 3D 영상 생성부(250) 및 배포부(260)를 포함한다.
수신부(210)는 3D 카메라를 포함하는 사용자 단말(300)로부터 3D 영상 데이터를 수신할 수 있다. 또한, 사용자 단말(300)로부터 경우에 따라 2D 영상 데이터를 수신할 수 있다.
추출부(220)는 3D 영상 데이터를 디코딩하여 시각 영상 및 깊이 영상을 추출할 수 있다. 이때, 추출부(220)는 압축되어 수신된 3D 영상 데이터의 크기를 복원하여 디코딩할 수 있다. 추출부(220)는 복원된 3D 영상 데이터에서 시각 영상 및 깊이 영상을 추출할 수 있으며, 추출된 시각 영상 및 깊이 영상은 무안경 3D 영상을 생성하는 데이터로 사용될 수 있다.
저장부(230)는 시각 영상 및 깊이 영상이 저장될 수 있다. 추출부(220)에 의해 추출되어 저장부(230)에 저장된 시각 영상 및 깊이 영상은 무안경 3D 영상을 생성할 때 호출될 수 있다.
시차 지도 추출부(240)는 수신된 데이터가 2D영상 데이터인 경우 시차 지도 예측(Disparity Map Prediction) 알고리즘을 적용하여 시차 지도(Disparity Map)를 추출할 수 있다. 즉, 시차 지도 추출부(240)는 깊이 정보를 포함하지 않는 2D 영상 데이터를 3D 영상으로 생성하기 위한 정보인 시차 지도를 추출할 수 있다. 시차 지도 예측 알고리즘은 통상의 알고리즘 구현 방법에 의해 구현될 수 있으며, 구체적인 알고리즘에 대한 설명은 생략한다.
3D 영상 생성부(250)는 저장부(230)에 저장된 시각 영상 및 깊이 영상에 기초하여 무안경 3D 영상을 생성할 수 있다. 이때, 3D 영상 생성부(250)는 3D 영상 데이터의 시각 영상 및 깊이 영상에 중간시점 영상 합성(Intermediate View Synthesis) 알고리즘을 적용하여 무안경 3D 영상을 생성할 수 있다. 중간시점 영상 합성 알고리즘은 별도의 3D안경을 착용하지 않고 디스플레이 안에서 깊이감을 느낄 수 있는 무안경(Auto-stereoscopic) 3D 영상 화면을 생성할 수 있다. 중간시점 영상 합성 알고리즘은 통상의 알고리즘 구현 방법에 의해 구현될 수 있으며, 구체적인 알고리즘에 대한 설명은 생략한다.
또한, 3D 영상 생성부(250)는 2D 영상에서 추출된 시차 지도를 바탕으로 무안경 3D 영상을 생성할 수 있다. 시차 지도는 깊이 정보를 포함하지 않은 2D 영상에서 3D 영상을 생성하기 위한 정보로서 시차 지도 추출부(240)에 의해 추출될 수 있다. 3D 영상 생성부(250)는 2D 영상에서 추출된 시차 정보 및 2D 영상의 시각 정보를 바탕으로 중간시점 영상 합성 알고리즘을 적용하여 무안경 3D 영상을 생성할 수 있다.
배포부(260)는 무안경 3D 영상을 사용자 단말로 전송할 수 있다. 이때, 배포부(260)는 무안경 3D 영상의 데이터를 암호화 및 압축하여 전송할 수 있다. 즉, 배포부(260)는 무안경 3D 영상을 요청하는 사용자 단말(300)로 무안경 3D 영상을 암호화 및 압축하여 송신할 수 있으며, 사용자 단말(300)은 무안경 3D 영상의 재생모듈을 포함할 수 있다. 사용자 단말(300)에 대한 상세한 설명은 하기 도 3을 참조하여 보다 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 무안경 3D 영상을 제공하는 사용자 단말의 블록도이다.
본 발명의 일 실시예에 따른 사용자 단말(300)은 3D카메라(310), 추출부(320), 인코딩부(330), 전송부(340), 2D 영상 데이터부(350), 인터페이스부(360), 수신부(370), 디코딩부(380) 및 디스플레이부(390)를 포함한다.
3D 카메라(310)는 영상을 촬영하고, 무안경 3D 영상을 생성하기 위한 시각 영상 및 깊이 영상을 포함하는 원본의 3D 영상을 생성할 수 있다.
추출부(320)는 사용자 단말(300)의 3D카메라(310)를 통해 촬영된 원본 영상에서 시각 영상 및 깊이 영상을 추출할 수 있다. 이때, 추출된 시각 영상 및 깊이 영상은 무안경 3D 영상을 생성하는 데이터로 사용될 수 있다.
인코딩부(330)는 추출부(320)에 의해 추출된 시각 영상 및 깊이 영상을 인코딩할 수 있다. 즉, 인코딩부(330)는 시각 영상 및 깊이 영상을 전송하기 위해 시각 인코더 및 깊이 인코더를 이용해서 영상들을 압축할 수 있다. 이때, 인코더는 M3DVC, MVC 등의 3D 영상 인코더 알고리즘이 사용될 수 있다.
전송부(340)는 인코딩부(330)에 의해 압축된 3D 영상 데이터를 3D 영상 배포 장치(200)로 전송할 수 있다.
2D 영상 데이터부(350)는 2D 카메라를 통해 촬영된 2D 영상 데이터를 획득할 수 있다. 이때, 인코딩부(330)는 획득한 2D 영상 데이터를 인코딩하여 전송할 수 있다.
인터페이스부(360)는 송수신하고자 하는 영상을 선택할 수 있는 인터페이스를 제공하고, 상기 인터페이스를 통해 선택된 무안경 3D 영상을 3D 영상 배포 장치(200)에 요청할 수 있다. 예를 들면, 인터페이스부(360)는 사용자 단말(300)의 어플리케이션 또는 모바일 웹 등의 접속을 통해 무안경 3D 영상 정보를 제공할 수 있으며, 사용자에 의해 선택된 무안경 3D 영상을 3D 영상 배포 장치(200)에 요청할 수 있다.
수신부(370)는 인터페이스부(360)에 의해 요청된 무안경 3D 영상을 3D 영상 배포 장치(200)로부터 수신할 수 있다.
디코딩부(380)는 무안경 3D영상 데이터를 디코딩하여 무안경 3D 영상을 복원시킬 수 있다. 즉, 디코딩부(380)는 수신부(370)에 의해 수신된 무안경 3D 영상을 디코더를 이용하여 영상 크기를 복원시킬 수 있다. 이때, 디코더는 M3DVC, MVC 등의3D 영상 디코더 알고리즘이 사용될 수 있다.
디스플레이부(390)는 디코딩부(380)에 의해 복원된 무안경 3D 영상을 디스플레이에 표시할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템의 구성을 설명하기 위한 일례이다.
도 4에 도시된 바와 같이, 본 발명의 3D 영상 배포 시스템(100)은 복수의 사용자 단말(300)로부터 3D 영상 데이터를 수신하고 복수의 사용자 단말(300)로 무안경 3D 영상 데이터를 송신하는 복수의 3D 영상 배포 장치(200)로 구성될 수 있다.
예를 들면, 3D 영상 데이터를 생성하는 사용자 단말(300)로 3D 카메라(310)를 포함하는 스마트폰, 스마트카메라, 캠코더 등이 포함될 수 있으며, 생성된 3D 영상 데이터는 3D 영상 배포 장치(200)로 전송될 수 있다. 3D 영상 배포 장치(200)는 무안경 3D 영상을 생성하여 네트워크에 접속된 복수의 사용자 단말(300), 예컨대 스마트폰, 태블릿PC, 노트북, 컴퓨터 등에 송신할 수 있다.
이때, 복수의 3D 영상 배포 장치(200)는 클러스터 단위로 분산 처리될 수 있으며, 각 클러스터 및 사용자 단말(300)은 클라우드 네트워크에 접속하여 데이터를 송수신할 수 있다. 이에 대한 상세한 설명은 하기 도 5를 참조하여 보다 구체적으로 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 3D 영상 배포 장치의 클러스터 구성이 도시된 구성도이다.
본 발명의 일 실시예에 따른 3D 영상 배포 장치(200)의 복수의 처리부는 클러스터 단위로 분산 처리될 수 있다. 즉, 3D 영상 배포 장치(200)를 구성하는 수신부(210), 추출부(220), 저장부(230), 시차 지도 추출부(240), 3D 영상 생성부(250) 및 배포부(260)는 인터페이스 클러스터(Interface Cluster), 프로세싱 클로스터(Processing Cluster), 스토리지 클러스터(Storage Cluster) 및 디스트리뷰션 클러스터(Distribution Cluster) 등의 단위로 구성되어 분산 처리될 수 있다.
예를 들면, 도 5에 도시된 바와 같이, 복수의 서버 또는 단말로 이루어진 프로세싱 클러스터(510)를 통해 3D 영상 생성부(250)의 기능을 수행할 수 있다. 또한, 복수의 서버 또는 단말로 이루어진 스토리지 클러스터(520)는 저장부(230) 및 시차 지도 추출부(240)의 기능을 수행할 수 있으며, 디스트리뷰션 클러스터(530)는 추출부(220), 및 배포부(260)의 기능을 수행할 수 있다. 또한, 복수의 서버 또는 단말로 이루어진 인터페이스 클러스터(540)를 통해서는 수신부(210)의 기능을 수행할 수 있다. 이때, 각 클러스터를 구성하는 서버 또는 단말은 클라우드 네트워크(550)에 의해 데이터를 송수신할 수 있다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템을 이용한 모바일 기기에서의 성능 평가 결과를 도시한 그래프이다.
도 6a 내지 도 6d에 도시된 바와 같이, 3D 영상 배포 시스템(100)에서의 각 항목별 성능 평가 결과는 다음과 같다. 이때, 성능 평가는 스마트폰 및 클라우드 네트워크에서 데이터를 처리하는 시간을 측정하였으며, 스마트폰은 현재 시판 중인 스마트폰을 대상으로 실험한 결과이다. 성능 평가에 쓰여진 스마트폰은 갤럭시 S2, 갤럭시 S2 LTE, 갤럭시 넥서스, 갤럭시 S3, 아이폰4이다.
도 6a는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템(100)을 이용한 스마트폰에서의 3D 영상 데이터 수신 시간을 도시한 그래프이다. 갤럭시S2의 수신 시간은 2.26ms로 측정되었으며 갤럭시S2 LTE의 경우 4.47ms, 갤럭시 넥서스는 4.35ms, 갤럭시 S3는 2.37ms 그리고 마지막으로 iPhone4는 3.91ms로 측정되었음을 확인할 수 있다.
도 6b는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템(100)을 이용한 스마트폰에서의 디코딩 시간을 도시한 그래프이다. 갤럭시S2의 디코딩 시간은 26.95ms로 측정되었으며 갤럭시S2 LTE의 경우 33.34ms, 갤럭시 넥서스는 30.63ms, 갤럭시 S3는 22ms 그리고 마지막으로 iPhone4는 137.58ms로 측정되었음을 확인할 수 있다.
도 6c는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템(100)을 이용한 스마트폰에서의 3D 영상 수신시 FPS(Frame per Second)를 도시한 그래프이다. 갤럭시S2의 FPS는 35.35 FPS로 측정되었으며 갤럭시S2 LTE의 경우 27.59 FPS, 갤럭시 넥서스는 29.29 FPS, 갤럭시 S3는 42 FPS 그리고 마지막으로 iPhone4는 7.16 FPS로 측정되었음을 확인할 수 있다.
도 6d는 본 발명의 일 실시예에 따른 3D 영상 배포 시스템(100)에서 3D 영상 배포 장치(200)내 각 클러스터의 데이터 처리 소요 시간을 도시한 그래프이다. 스토리지 클러스터는 12.99ms로 측정되었으며, 프로세싱 클러스터는 14.09ms, 디스트리뷰션 클러스터는 8.77ms, 그리고 인터페이스 클러스터는 29.15ms로 측정되었음을 확인할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 3D 영상 배포 시스템 200: 3D 영상 배포 장치
210: 수신부 220: 추출부
230: 저장부 240: 시차 지도 추출부
250:3D 영상 생성부 260: 배포부
300: 사용자 단말

Claims (10)

  1. 3D 영상 배포 장치에 있어서,
    무선 네트워크 망을 통해, 3D 카메라를 포함하는 복수의 사용자 단말로부터 3D 영상 데이터를 각각 수신하는 수신부,
    각각의 3D 영상 데이터를 디코딩하여 시각 영상 및 깊이 영상을 추출하는 추출부,
    상기 시각 영상 및 깊이 영상이 저장되는 저장부,
    상기 저장부에 저장된 시각 영상 및 깊이 영상에 기초하여 무안경 3D 영상을 생성하는 3D 영상 생성부 및
    상기 생성된 무안경 3D 영상을 수신 모바일 단말로 전송하는 배포부를 포함하되,
    상기 수신 모바일 단말은 상기 무안경 3D 영상을 재생하는 재생모듈을 포함하고,
    상기 수신부, 상기 추출부, 상기 저장부, 상기 3D 영상 생성부, 및 상기 배포부는 클라우드 네트워크 환경에서 구현되어 상기 무안경 3D 영상을 생성하고 배포하되,
    상기 배포부는 상기 무선 네트워크 망을 통해, 상기 생성된 무안경 3D 영상 중 상기 수신 모바일 단말에서 선택되어 요청된 무안경 3D 영상을 압축하여 상기 수신 모바일 단말로 전송하는 3D 영상 배포 장치.
  2. 제 1 항에 있어서,
    수신된 데이터가 2D영상 데이터인 경우 시차 지도 예측(Disparity Map Prediction) 알고리즘을 적용하여 시차 지도(Disparity Map)를 추출하는 시차 지도 추출부를 더 포함하고,
    상기 3D 영상 생성부는 상기 추출된 시차 지도를 바탕으로 무안경 3D 영상을 생성하는 3D 영상 배포 장치.
  3. 제 2 항에 있어서,
    상기 3D영상 생성부는 상기 3D 영상 데이터의 시각 영상 및 깊이 영상에 중간시점 영상 합성(Intermediate View Synthesis) 알고리즘을 적용하여 무안경 3D 영상을 생성하는 3D 영상 배포 장치.
  4. 제 2 항에 있어서,
    상기 추출부는 압축되어 수신된 상기 3D 영상 데이터의 크기를 복원하여 디코딩하는 3D 영상 배포 장치.
  5. 제 2 항에 있어서,
    상기 배포부는 상기 무안경 3D 영상의 데이터를 암호화 및 압축하여 전송하는 3D 영상 배포 장치.
  6. 제 2 항에 있어서,
    상기 3D 영상 배포 장치는 복수의 처리부가 클러스터 단위로 분산 처리되는 3D 영상 배포 장치.
  7. 3D 영상 배포 시스템에 포함되는 사용자 단말에 있어서,
    3D카메라,
    상기 3D카메라를 통해 촬영된 원본 영상에서 시각 영상 및 깊이 영상을 추출하는 추출부,
    상기 추출부에 의해 추출된 시각 영상 및 깊이 영상을 인코딩하는 인코딩부,
    무선 네트워크 망을 통해, 상기 인코딩부에 의해 생성된 3D 영상 데이터를 3D 영상 배포 장치로 전송하는 전송부,
    송수신하고자 하는 영상을 선택할 수 있는 인터페이스를 제공하고, 상기 인터페이스를 통해 상기 3D 영상 데이터를 전송하는 것을 요청하는 동작과 선택된 무안경 3D 영상을 상기 3D 영상 배포 장치에 요청하는 동작을 수행 가능한 인터페이스부,
    상기 무선 네트워크 망을 통해, 상기 인터페이스부에 의해 요청된 무안경 3D 영상을 상기 3D 영상 배포 장치로부터 수신하는 수신부,
    상기 무안경 3D영상 데이터를 디코딩하여 압축된 상태로 수신된 상기 무안경 3D 영상을 복원시키는 디코딩부 및
    상기 디코딩부에 의해 복원된 무안경 3D영상을 디스플레이에 표시하는 디스플레이부를 포함하고,
    상기 무안경 3D 영상은 상기 3D 영상 데이터에 기초하여 클라우드 네트워크 환경에서 구현된 상기 3D 영상 배포 장치에 의해 생성되고 배포되는 것인, 사용자 단말.
  8. 제 7 항에 있어서,
    2D 카메라를 통해 촬영된 2D 영상 데이터를 획득하는 2D 영상 데이터부를 더 포함하고,
    상기 인코딩부는 획득한 2D 영상 데이터를 인코딩하여 전송하는 사용자 단말.
  9. 제 7 항에 있어서,
    상기 인코딩부는 M3DVC 또는 MVC 인코더의 시각 인코더 및 깊이 인코더를 이용하여 압축하는 사용자 단말.
  10. 제 7 항에 있어서,
    상기 디코딩부는 M3DVC 또는 MVC 디코더를 이용하여 영상 크기를 복원하여 디코딩하는 사용자 단말.
KR1020130049964A 2013-05-03 2013-05-03 3d 영상 배포 시스템 KR101475936B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130049964A KR101475936B1 (ko) 2013-05-03 2013-05-03 3d 영상 배포 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130049964A KR101475936B1 (ko) 2013-05-03 2013-05-03 3d 영상 배포 시스템

Publications (2)

Publication Number Publication Date
KR20140140137A KR20140140137A (ko) 2014-12-09
KR101475936B1 true KR101475936B1 (ko) 2014-12-23

Family

ID=52458070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049964A KR101475936B1 (ko) 2013-05-03 2013-05-03 3d 영상 배포 시스템

Country Status (1)

Country Link
KR (1) KR101475936B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914171B1 (ko) * 2008-02-28 2009-08-28 한국전자통신연구원 휴대 방송에서의 ３차원 서비스를 위한 깊이 영상 기반렌더링 장치 및 방법
KR20100116520A (ko) * 2009-04-22 2010-11-01 한국전자통신연구원 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
KR20110099526A (ko) * 2010-03-02 2011-09-08 (주) 스튜디오라온 평면 영상을 입체 영상으로 변환하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914171B1 (ko) * 2008-02-28 2009-08-28 한국전자통신연구원 휴대 방송에서의 ３차원 서비스를 위한 깊이 영상 기반렌더링 장치 및 방법
KR20100116520A (ko) * 2009-04-22 2010-11-01 한국전자통신연구원 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
KR20110099526A (ko) * 2010-03-02 2011-09-08 (주) 스튜디오라온 평면 영상을 입체 영상으로 변환하는 방법

Also Published As

Publication number Publication date
KR20140140137A (ko) 2014-12-09

Similar Documents

Publication Publication Date Title
US10491711B2 (en) Adaptive streaming of virtual reality data
JP6030230B2 (ja) パノラマベースの３ｄビデオコーディング
JP6415414B2 (ja) ３ｄビデオエンコーダ、システム、プログラム、コンピュータ可読記録媒体
US10244167B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
EP3036911B1 (en) Method, terminal, and system for reproducing content
CN111179437B (zh) 一种Cloud VR无连接串流系统及连接方法
KR101626683B1 (ko) 멀티뷰 비디오 코딩 방안
US20200259880A1 (en) Data processing method and apparatus
EP3477949B1 (en) Picture decoding method and device using division information of a coding tree unit
CN115103175B (zh) 图像传输方法、装置、设备及介质
KR102444044B1 (ko) 이미지 처리장치 및 방법
CN113986177A (zh) 投屏方法、投屏装置、存储介质与电子设备
US10917477B2 (en) Method and apparatus for MMT integration in CDN
KR102164686B1 (ko) 타일 영상의 영상 처리 방법 및 장치
KR20120087225A (ko) 솔리드 압축을 이용한 타일 맵 서비스 방법 및 이를 위한 시스템
KR101475936B1 (ko) 3d 영상 배포 시스템
CN113784105A (zh) 一种沉浸式vr终端的信息处理方法及系统
CN116264619A (zh) 资源处理方法、装置、服务器、终端、系统及存储介质
US20170048532A1 (en) Processing encoded bitstreams to improve memory utilization
Tollmar et al. Beyond foveal rendering: smart eye-tracking enabled networking (SEEN)
CN113473180B (zh) 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
Yang et al. Stereotime: A wireless 2D and 3D switchable video communication system
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치
KR20130066121A (ko) 단말들간의 영상 공유 요청에 대응하여 단말들로 3ｄ 영상 데이터를 제공하는 서버 및 방법, 그리고 단말
Lee et al. Integrated approach of streaming 3d multimedia contents in real-time for mobile devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 5