KR101373611B1 - 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법 - Google Patents

안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법 Download PDF

Info

Publication number
KR101373611B1
KR101373611B1 KR1020120156197A KR20120156197A KR101373611B1 KR 101373611 B1 KR101373611 B1 KR 101373611B1 KR 1020120156197 A KR1020120156197 A KR 1020120156197A KR 20120156197 A KR20120156197 A KR 20120156197A KR 101373611 B1 KR101373611 B1 KR 101373611B1
Authority
KR
South Korea
Prior art keywords
image
video
user
display
camera
Prior art date
Application number
KR1020120156197A
Other languages
English (en)
Inventor
손행선
이선영
민경원
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120156197A priority Critical patent/KR101373611B1/ko
Application granted granted Critical
Publication of KR101373611B1 publication Critical patent/KR101373611B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

안경형 촬영／디스플레이 장치들을 이용한 3Ｄ 영상 공유 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 3D 영상 공유 장치는, 사용자 시선 방향을 촬영하는 3D 카메라, 3D 카메라의 촬영 영상으로 3D 영상을 생성하는 프로세서 및 프로세서에 의해 생성된 3D 영상을 네트워크를 통해 다른 사용자에 전송하는 네트워크 통신부를 포함한다. 이에 의해, 사용자가 현재 보고 있는 장면을 3D 영상으로 생성하여, 저장하거나 유/무선 네트워크를 통해 다른 사용자의 안경 디스플레이에 전송하여, 3D 영상을 다수의 사용자가 동 시점에서 공유할 수 있게 된다.

Description

안경형 촬영／디스플레이 장치들을 이용한 3Ｄ 영상 공유 시스템 및 방법{System and method for sharing 3D video with glasses type camera/display apparatuses}
본 발명은 영상 촬영/디스플레이에 관한 것으로 3D 영상을 생성하고 디스플레이할 수 있는 장치들을 이용하여 다수의 사용자들이 3D 영상 공유할 수 있도록 한 시스템 및 방법에 관한 것이다.
다수의 사용자들이 영상을 공유할 수 있도록 한 다양한 시스템들이 존재한다. 하지만, 이와 같은 시스템들은 어느 한 곳에서 촬영된 영상을 유/무선으로 연결된 다수의 디스플레이 장치들을 통해 공유하는 것이 일반적인 형태라 할 수 있다.
즉, 기존의 영상 공유 시스템들은, 사용자가 자신이 실제로 보고 있는 환경이나 장면을 다른 사용자들과 실시간으로 공유하는 시스템은 아니다. 뿐만 아니라, 기존의 영상 공유 시스템은 사용자들 간에 공유하는 영상이 2D 영상에만 국한되어 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 안경 형태의 HMD(Head-Mounted Display)에 두 개 이상 다수의 카메라를 장착하고, 스테레오 비젼 처리를 이용하여 깊이 지도(Depth Map)를 구성하여 3D 입체 영상을 생성, 저장 또는 실시간 전송하는 3D 영상 공유 시스템 및 방법을 제공함에 있다.
또한, 타인으로부터 실시간으로 전송되는 3D 입체 영상을 자신의 안경형 디스플레이에서 실시간 재생하여 감상하기 위한 3D 영상 공유 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3D 영상 공유 장치는, 사용자 시선 방향을 촬영하는 3D 카메라; 상기 3D 카메라의 촬영 영상으로 3D 영상을 생성하는 프로세서; 및 상기 프로세서에 의해 생성된 3D 영상을 네트워크를 통해 다른 사용자에 전송하는 네트워크 통신부;를 포함한다.
그리고, 본 발명의 일 실시예에 따른 3D 영상 공유 장치는, 3D 디스플레이;를 더 포함하고, 상기 네트워크 통신부는, 상기 다른 사용자로부터 3D 영상을 수신하며, 상기 프로세서는, 상기 네트워크 통신부를 통해 수신된 3D 영상을 상기 3D 디스플레이에 표시할 수 있다.
또한, 상기 3D 디스플레이는, 씨스루 디스플레이들을 포함할 수 있다.
그리고, 상기 프로세서는, 상기 3D 카메라의 촬영 영상에서 추출된 특정 오브젝트만이 포함된 3D 영상을 생성할 수 있다.
또한, 상기 특정 오브젝트는, 상기 촬영 영상에서 중앙에 위치한 오브젝트일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 3D 영상 공유 방법은, 사용자 시선 방향을 촬영하는 단계; 상기 촬영 단계를 통해 생성된 촬영 영상으로 3D 영상을 생성하는 단계; 및 상기 생성 단계에 의해 생성된 3D 영상을 네트워크를 통해 다른 사용자에 전송하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명에 따르면, 사용자가 현재 보고 있는 장면을 3D 영상으로 생성하여, 저장하거나 유/무선 네트워크를 통해 다른 사용자의 안경 디스플레이에 전송하여, 3D 영상을 다수의 사용자가 동 시점에서 공유할 수 있게 된다.
또한, 두 개의 카메라를 이용하여 스테레오 영상 뿐만 아니라, 스테레오 비젼 처리를 하여 정확한 깊이 지도를 구성하고 이를 함께 다른 사용자에게 전송할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 안경형 촬영/디스플레이 장치의 외관을 도시한 도면,
도 2는, 도 1에 도시된 안경형 촬영/디스플레이 장치의 내부 블럭도, 그리고,
도 3은 안경형 촬영/디스플레이 장치들을 이용한 3D 영상 공유 시스템을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 안경형 촬영/디스플레이 장치의 외관을 도시한 도면이다. 도 1에 도시된 안경형 촬영/디스플레이 장치(100)는 3D 영상을 생성, 녹화 및 재생/표시할 수 있는 장치로, 본 실시예에서는 3D 영상 공유 장치로 기능한다.
안경형 촬영/디스플레이 장치(100)들이 네트워크를 통해 다수 개가 연결되어 3D 영상 공유 시스템이 구축된다.
도 1에 도시된 바와 같이, 본 실시예에 따른 안경형 촬영/디스플레이 장치(100)의 외관에는, 카메라-R(110), 카메라-L(120), 씨스루 디스플레이-R(130) 및 씨스루 디스플레이-L(140)가 마련된다.
카메라-R(110)과 카메라-L(120)은 안경 렌즈의 중앙 상부에 각각 위치하여, 사용자의 시선 방향을 촬영하여 3D 영상을 생성하는 3D 카메라로 기능한다. 구체적으로, 카메라-R(110)은 사용자의 우안으로 바라본 우안-영상을 생성하고, 카메라-L(110)은 사용자의 좌안으로 바라본 좌안-영상을 생성한다.
씨스루 디스플레이-R(130)와 씨스루 디스플레이-L(140)는 안경 렌즈 부분에 각각 위치하여, 네트워크를 통해 다른 장치로부터 수신한 스테레오 영상을 표시하는 3D 투명 디스플레이로 기능한다.
구체적으로, 씨스루 디스플레이-R(130)은 수신한 스테레오 영상 중 우안-영상 성분을 표시하고, 씨스루 디스플레이-L(140)은 수신한 스테레오 영상 중 좌안-영상 성분을 표시한다.
도 2는, 도 1에 도시된 안경형 촬영/디스플레이 장치(100)의 내부 블럭도이다. 도 2에 도시된 바와 같이, 안경형 촬영/디스플레이 장치(100)는, 외관에 마련된 카메라-R(110), 카메라-L(120), 씨스루 디스플레이-R(130) 및 씨스루 디스플레이-L(140) 외에, 프로세서(150), 메모리(160) 및 네트워크 통신부(170)를 더 포함한다.
프로세서(150), 메모리(160) 및 네트워크 통신부(170)는 안경테(보다 구체적으로는 안경 다리 부분)에 실장된다.
프로세서(150)는 카메라-R(110)과 카메라-L(120)로부터 생성된 우안-영상과 좌안-영상을 전달받아, 우안-영상과 좌안-영상으로부터 스테레오 비젼 처리 기법을 이용하여 영상의 3D 깊이(Depth)를 추출한다.
사람은 양안의 시차에 의해 입체감을 느끼게 된다는 기본 원리를 이용하여, 실제 영상의 Depth가 주어지고, Depth에 따른 좌/우 영상을 구성할 수 있다. 예를 들어 가까운 물체는 양안의 시차가 크고, 먼 물체는 시차가 작다.
3D 깊이는 카메라로부터 전방 물체까지의 실제 거리 값을 나타내며, 프로세서(150)는 영상 내 픽셀 각각에 대해서 깊이 값을 추출하여 깊이 지도(Depth Map)을 생성할 수 있다.
스테레오 영상(우안-영상과 좌안-영상)과 깊이 지도는 네트워크 통신부(170)를 통해 유/무선 네트워크에 접속하여 다른 사용자의 안경형 촬영/디스플레이 장치로 실시간 전송할 수 있다.
뿐만 아니라, 스테레오 영상(우안-영상과 좌안-영상)과 깊이 지도는 메모리(160)에 저장되어, 추후 프로세서(150)에 의해 씨스루 디스플레이-R(130)과 씨스루 디스플레이-L(140)을 통해 3D 영상으로 표시될 수 있다.
한편, 네트워크 통신부(170)는 네트워크를 통해 다른 사용자의 안경형 촬영/디스플레이 장치로부터 스테레오 영상과 깊이 지도를 수신할 수 있다.
프로세서(150)는 네트워크 통신부(170)를 통해 수신한 스테레오 영상과 깊이 지도로 씨스루 디스플레이-R(130)과 씨스루 디스플레이-L(140)에 3D 영상을 표시할 수 있다.
도 3은 안경형 촬영/디스플레이 장치들을 이용한 3D 영상 공유 시스템을 도시한 도면이다.
도 3에 도시된 바와 같이, 안경형 촬영/디스플레이 장치(100)를 통해 스테레오 영상을 취득하고, 그로부터 깊이 지도를 추출하여, 네트워크를 통해 스테레오 영상과 깊이 지도를 다른 안경형 촬영/디스플레이 장치들(200-1, 200-2 및 200-3)로 전송할 수 있다.
그리고, 안경형 촬영/디스플레이 장치들(200-1, 200-2 및 200-3)은 수신된 스테레오 영상과 깊이 지도로 양안 3D 영상을 구성하여 씨스루 디스플레이들에 표시함으로서, 안경형 촬영/디스플레이 장치(100)에서 촬영되는 3D 영상을 실시간으로 표시할 수 있다.
이에 의해, 안경형 촬영/디스플레이 장치(100)의 사용자가 보고 있는 장면을 다른 공간에 떨어져 있는 안경형 촬영/디스플레이 장치들(200-1, 200-2 및 200-3)의 사용자들이 실시간으로 공유할 수 있게 된다.
그 결과, 안경형 촬영/디스플레이 장치들(200-1, 200-2 및 200-3)의 사용자들은 안경형 촬영/디스플레이 장치(100)의 사용자와 동일 공간에 있는 것과 같은 체험을 할 수 있다.
지금까지, 안경형 촬영/디스플레이 장치 및 이들을 이용한 3D 영상 공유 시스템에 대해, 바람직한 실시예들을 들어 상세히 설명하였다.
위 실시예에서, 생성된 3D 영상이 모두 전송되어 공유되는 것을 상정하였는데, 이는 예시적인 것에 불과하다. 3D 영상 중 일부만을 추출하여 전송/공유하는 방안을 상정할 수 있다.
이 경우, 3D 영상에서 추출되는 일부는 중요 오브젝트로, 촬영 영상에서 중앙에 위치한 오브젝트로 구현할 수 있다. 중앙에 위치하는 오브젝트는 사용자의 관심이 집중된 오브젝트임을 감안한 것이다.
한편, 카메라-R(110)와 카메라-L(120)를 통해 현재 촬영되는 3D 영상을 전송하는 것 외에 메모리(160)에 저장되어 있는 이전 촬영된 3D 영상을 전송하여 공유하는 것으로 구현하는 것도 가능하다.
또한, 3D 영상 전송은 전이중 방식으로도 구현될 수 있다. 구체적으로, 사용자-A의 안경형 촬영/디스플레이 장치에서 촬영되는 3D 영상이 사용자-B의 안경형 촬영/디스플레이 장치에 전송되어 표시되는 중에, 사용자-B의 안경형 촬영/디스플레이 장치에서 촬영되는 3D 영상이 사용자-A의 안경형 촬영/디스플레이 장치에 전송되어 표시되도록 구현되는 것도 가능하다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 안경형 촬영/디스플레이 장치
110 : 카메라-R 120 : 카메라-L
130 : 씨스루 디스플레이-R 140 : 씨스루 디스플레이-L
150 : 프로세서 160 : 메모리
170 : 네트워크 통신부

Claims (6)

  1. 사용자 시선 방향을 촬영하는 3D 카메라;상기 3D 카메라의 촬영 영상으로 3D 영상을 생성하는 프로세서;
    전이중 방식으로, 상기 프로세서에 의해 생성된 3D 영상을 네트워크를 통해 다른 사용자에 전송함과 동시에 상기 다른 사용자의 장치가 촬영하여 생성한 3D 영상을 수신하는 네트워크 통신부; 및
    상기 네트워크 통신부를 통해 수신된 3D 영상이 표시되는 씨스루 3D 디스플레이;를 포함하는 것을 특징으로 하는 3D 영상 공유 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 프로세서는,
    상기 3D 카메라의 촬영 영상에서 추출된 특정 오브젝트만이 포함된 3D 영상을 생성하는 것을 특징으로 하는 3D 영상 공유 장치.
  5. 제 4항에 있어서,
    상기 특정 오브젝트는,
    상기 촬영 영상에서 중앙에 위치한 오브젝트인 것을 특징으로 하는 3D 영상 공유 장치.
  6. 사용자 시선 방향을 촬영하는 단계;
    상기 촬영 단계를 통해 생성된 촬영 영상으로 3D 영상을 생성하는 단계;
    상기 생성 단계에 의해 생성된 3D 영상을 네트워크를 통해 다른 사용자에 전송하는 단계;
    상기 전송 단계가 수행되는 중에 전이중 방식으로, 상기 다른 사용자의 장치가 촬영하여 생성한 3D 영상을 수신하는 단계; 및
    상기 수신 단계에 의해 수신된 3D 영상을 씨스루 3D 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 3D 영상 공유 방법.
KR1020120156197A 2012-12-28 2012-12-28 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법 KR101373611B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120156197A KR101373611B1 (ko) 2012-12-28 2012-12-28 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120156197A KR101373611B1 (ko) 2012-12-28 2012-12-28 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101373611B1 true KR101373611B1 (ko) 2014-03-12

Family

ID=50648502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120156197A KR101373611B1 (ko) 2012-12-28 2012-12-28 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101373611B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160145976A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001281520A (ja) 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
KR20090013412A (ko) * 2007-08-01 2009-02-05 (주)케이티에프테크놀로지스 영상데이터 공유 방법 및 장치
KR20110069985A (ko) * 2009-12-18 2011-06-24 에스케이텔레콤 주식회사 복수의 단말기간 영상공유시스템 및 방법, 그 단말기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001281520A (ja) 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
KR20090013412A (ko) * 2007-08-01 2009-02-05 (주)케이티에프테크놀로지스 영상데이터 공유 방법 및 장치
KR20110069985A (ko) * 2009-12-18 2011-06-24 에스케이텔레콤 주식회사 복수의 단말기간 영상공유시스템 및 방법, 그 단말기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160145976A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
KR102349716B1 (ko) * 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
US10235560B2 (en) Image processing apparatus, image processing method, and image communication system
US11455032B2 (en) Immersive displays
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN106484116B (zh) 媒体文件的处理方法和装置
KR20190026004A (ko) 단일 깊이 추적 순응-수렴 솔루션
KR101313797B1 (ko) 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
CN105516639A (zh) 头戴设备、三维视频通话系统和三维视频通话实现方法
US20160373725A1 (en) Mobile device with 4 cameras to take 360°x360° stereoscopic images and videos
JP2013128181A (ja) 表示装置、表示方法および表示プログラム
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
KR101373611B1 (ko) 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법
CN103813148A (zh) 三维立体显示装置及其方法
CN108702499A (zh) 二维影像的立体影像化显示装置
TW201909627A (zh) 同步的３ｄ全景視訊播放系統
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video
WO2012147482A1 (ja) 立体画像表示装置および立体画像表示方法
CN207603821U (zh) 一种基于集群和渲染的裸眼3d系统
JP2013070127A (ja) 立体画像表示装置
KR101802308B1 (ko) 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템
KR20200120282A (ko) 깊이 카메라와 입체영상 디스플레이 장치를 이용한 라이트 필드 디스플레이 시스템 및 방법
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
CN203217186U (zh) 一种兼容性双镜头投影系统
CN113382229B (zh) 一种基于全息沙盘的动辅相机调整方法及装置
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7