KR20180040338A - 다시점 실감 영상 제공 장치 및 방법 - Google Patents

다시점 실감 영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR20180040338A
KR20180040338A KR1020160132082A KR20160132082A KR20180040338A KR 20180040338 A KR20180040338 A KR 20180040338A KR 1020160132082 A KR1020160132082 A KR 1020160132082A KR 20160132082 A KR20160132082 A KR 20160132082A KR 20180040338 A KR20180040338 A KR 20180040338A
Authority
KR
South Korea
Prior art keywords
image
data
view
depth
present
Prior art date
Application number
KR1020160132082A
Other languages
English (en)
Inventor
최은정
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160132082A priority Critical patent/KR20180040338A/ko
Publication of KR20180040338A publication Critical patent/KR20180040338A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 다시점 실감 영상 제공 장치는 통신모듈, 실감 영상을 제공하기 위한 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 사용자의 입력 이벤트에 대응하는 상호작용 데이터와 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터를 동시에 획득하면, 상기 획득한 상호작용 데이터와 영상 데이터를 동기화시킨 뒤, 상기 동기화된 상호작용 데이터와 영상 데이터를 상기 통신모듈을 통해 디스플레이 장치 및 통신중인 하나 이상의 렌더링 노드에 전송한다.

Description

다시점 실감 영상 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MULTI-VIEW REALISTIC IMAGES}
본 발명은 다시점 실감 영상 제공 장치 및 방법에 관한 것이다.
종래 3D 디스플레이 기술은 구글 글래스와 같은 웨어러블 디바이스로 개발되어 상용화되어 왔다. 그러나 이러한 특수 안경과 같은 웨어러블 타입은 착용으로 인한 불편함이 존재하여 매출이 감소하고 있는 실정이다.
이러한 상황에 따라, 최근 다시점 영상 디스플레이 기술은 무안경 3D 디스플레이 방식이 가장 빠르게 대중화가 이루어질 것으로 예상되고 있다.
한편, 종래 기술에 따른 대용량 다시점 실감 영상 처리 기술은 다시점 실사 영상 획득 및 이를 렌더링하기 위한 기술에 초점이 맞추어져 있었다. 이러한 종래 기술은 기가급 대용량 영상을 실시간으로 처리하기 위하여 실사 영상 획득 및 렌더링 서버 등이 노드별로 역할을 분산하여 처리하고 있으며, 상호 작용은 별도의 장치를 통해 입력받고 있다.
이때, 획득한 실사 영상과 상호작용 데이터를 통합하기 위해, 상호작용 데이터를 렌더링 노드에 연결할 경우 대용량 다시점 영상을 실시간으로 획득함에 있어 현재 기술로는 노드의 성능에 많은 제약을 가져오기 때문에, 실사 영상과 상호작용 데이터간의 동기화가 이루어지지 않아 실감나는 시연을 제공할 수 없다는 문제가 있다.
즉, 대용량 영상을 원격지 노드로 전송할 경우, 전처리 시간소요로 인하여 예를 들어 5~6fps 정도의 전송 지연이 발생하게 되며, 상호작용 입력을 렌더링 노드에서 획득할 경우 예를 들어 30fps 정도의 실시간으로 상호작용 이벤트를 획득할 수 있다. 그러나 이 경우 원격지의 대용량 영상 전송 지연으로 인하여 영상과 사용자 입력간의 동기가 이루어지지 않게 되는 문제가 발생하게 된다.
이러한 문제는 특히 많은 계산량을 요하는 홀로그램의 경우, 상호작용 입력을 렌더링 노드에서 획득하게 되면 동기화가 거의 불가능하게 되는 문제가 있다.
이와 관련하여, 한국공개특허공보 제10-2014-0126112호(발명의 명칭: 초다시점 영상 렌더링 장치 및 방법)는 초다시점 영상을 실시간으로 생성하기 위해 프로세서의 내부 메모리의 특성을 고려한 렌더링 장치를 개시하고 있다.
본 발명의 실시예는 다시점 컬러 영상 및 다시점 깊이 영상과 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 함께 전송함으로써 실제 동작 영상과 사용자의 입력 이벤트를 동기화할 수 있는 다시점 실감 영상 제공 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 다시점 실감 영상 제공 장치는 통신모듈, 실감 영상을 제공하기 위한 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 사용자의 입력 이벤트에 대응하는 상호작용 데이터와 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터를 동시에 획득하면, 상기 획득한 상호작용 데이터와 영상 데이터를 동기화시킨 뒤, 상기 동기화된 상호작용 데이터와 영상 데이터를 상기 통신모듈을 통해 디스플레이 장치 및 통신중인 하나 이상의 렌더링 노드에 전송한다.
또한, 본 발명의 제 2 측면에 다시점 실감 영상 제공 장치에서의 다시점 실감 영상 제공 방법은 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터와 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 획득하는 단계; 상기 획득한 영상 데이터 및 상호작용 데이터를 동기화시키는 단계 및 상기 동기화된 영상 데이터 및 상호작용 데이터를 통신중인 하나 이상의 렌더링 노드로 전송하는 단계를 포함한다. 이때, 상기 렌더링로부터 동기화된 영상 데이터 및 상호작용 데이터를 수신한 경우, 수신한 영상 데이터 및 상호작용 데이터를 렌더링하여 상기 획득한 영상 데이터 및 상호작용 데이터와 함께 또는 이와 별도로 디스플레이 장치에 전송한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다시점 컬러 영상과 다시점 깊이 영상 및 상호작용 데이터를 동기화시켜 3D 객체를 제어할 수 있다. 따라서, 다시점 실사 획득 대상이 되는 사용자는 CG 등과의 상호작용 제어를 통해 실감나는 다시점 영상을 제공받을 수 있다.
또한, 종래 기술에서 발생하던 영상과 사용자의 입력 이벤트 간의 동기가 맞지 않아 실감있는 영상을 제공할 수 없었다는 문제를 해소할 수 있다.
특히, 많은 계산량을 요하는, 예를 들어 홀로그램 영상의 경우에도 영상 데이터와 상호작용 데이터를 동시에 획득 및 동기화시킴에 따라 수신하는 측에서도 동기가 맞는 실감 영상을 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치의 블록도이다.
도 3은 영상 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 영상 데이터 및 상호작용 데이터를 전송하는 방법을 설명하기 위한 도면이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원은 다시점 실감 영상 제공 장치(100) 및 방법에 관한 것이다.
본 발명의 일 실시예에 따르면, 다시점 컬러 영상 및 다시점 깊이 영상과 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 취득하면 렌더링 노드(200)에 전송하기 이전에 미리 동기화시켜 함께 전송함으로써, 영상과 입력 이벤트간의 동기가 맞지 않던 종래 기술에 따른 문제를 해소할 수 있다.
이하에서는 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 시스템(1)을 개략적으로 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 다시점 실감 영상 제공 시스템(1)은 복수의 다시점 실감 영상 제공 장치(100, 200, 300)를 포함한다. 그리고 각각의 다시점 실감 영상 제공 장치(100, 200, 300)는 영상 획득 장치(10, 10’), 디스플레이 장치(20, 20’) 및 사용자 입력 장치(30, 30’)와 연결되어 있다.
한편, 도 1에 도시된 각 구성요소는 네트워크(network, A)를 통해 연결될 수 있다. 네트워크(A)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(A)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
영상 획득 장치(10, 10’)는 다양한 각도로 배치된 카메라를 통해 다시점 컬러 영상을 획득하는 컬러 영상 획득 장치(10a, 예를 들어 RGB 카메라)와, 컬러 영상의 깊이맵을 획득하기 위한 깊이 영상 획득 장치(10b, 예를 들어 깊이 카메라)를 포함한다.
이때, 깊이맵은 깊이 카메라와 같은 깊이 영상 획득 장치(10b)로부터 획득할 수 있으나, 반드시 이에 한정되는 것은 아니며 본 발명의 일 실시예는 컬러 영상 획득 장치(10a)에 의해 촬영된 스테레오 영상 간의 변위(disparity) 등을 통한 획득 방법 및 상기 방법을 조합하여 깊이맵을 획득할 수 있다.
디스플레이 장치(20, 20’)는 다시점을 가지는 장치로서, 송수신하고자 하는 영상 데이터와 상호작용 데이터를 출력할 수 있다.
사용자 입력 장치(30, 30’)는 가속도 센서, 근육 신호 센서 등 부착 가능한 다양한 제스처 입력 장치로 구현되거나 3차원 공간 마우스, 슬랩-온(slap-on), 비전 트래킹 등으로 구현될 수 있다. 그밖에 사용자 입력 장치(30, 30’)는 사용자의 음성을 입력받기 위한 장치, 터치 센서, 일반적으로 널리 사용되는 키보드, 마우스 등 다양한 형태의 입력 수단으로 구현될 수 있다.
이때, 사용자의 입력 이벤트에 대응하는 상호작용 데이터는 사용자 입력 장치(30, 30’)로부터 획득할 수 있으나, 반드시 이에 한정되는 것은 아니며 본 발명의 일 실시예는 다시점 컬러 영상으로부터 사용자 모션(손의 제스처, 움직임 등) 추적(비전 트래킹) 등의 다양한 기법을 통해 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 획득할 수도 있다.
즉, 본 발명의 일 실시예는 깊이 영상 획득 장치(10b)나 사용자 입력 장치(30)를 구비하지 않는 경우에도 다시점 컬러 영상을 분석하여 깊이맵, 상호작용 데이터를 획득 가능하며, 이 경우 타임 스탬프(timestamp) 등이 필요 없이 동기화된 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 획득할 수 있다.
한편, 다시점 실감 영상 제공 장치(100, 200, 300)가 획득하는 컬러 영상, 깊이 영상 및 사용자 입력 이벤트에 대응하는 상호작용 데이터의 획득 순서는 최종 결과에 영향을 미치지 않으며, 필요에 따라 각 영상 데이터 및 상호작용 데이터를 선택적으로 사용 가능하다.
이러한 다시점 실감 영상 제공 장치(100, 200, 300)는 각각 상호간에 동기화된 영상 데이터와 상호작용 데이터를 송수신할 수 있다. 이하에서는 설명의 편의상 복수의 다시점 실감 영상 제공 장치(100, 200, 300) 중 영상 데이터와 상호작용 데이터를 송신하는 측(100)을 기준으로 설명하도록 한다.
이때, 제 1 다시점 실감 영상 제공 장치(100)는 송신측 다시점 실감 영상 제공 장치(100), 그리고 제 2 다시점 실감 영상 제공 장치(200) 또는 렌더링 노드(200)는 수신측 다시점 실감 영상 제공 장치(200)와 동일한 대상을 지칭하는 것이다.
도 2는 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)의 블록도이다. 도 3은 영상 데이터를 획득하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 영상 획득 장치(10), 디스플레이 장치(20) 및 사용자 입력 장치(30)와 데이터를 송수신할 수 있으며, 하나 이상의 렌더링 노드(200)와 데이터를 송수신할 수 있다.
이와 같은 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리(120)에는 다시점 실감 영상을 제공하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다.
구체적으로 프로세서(130)는 통신모듈(110)을 통해 사용자의 입력 이벤트에 대응하는 상호작용 데이터와 다시점 컬러 영상 및 다시점 깊이 영상에 대응하는 영상 데이터를 획득하면, 획득한 상호작용 데이터와 영상 데이터를 동기화시킨다. 즉, 프로세서(130)는 사용자의 입력 이벤트가 발생한 경우, 이에 대응하는 상호작용 데이터를 영상 데이터와 동기화시킨다.
그 다음 프로세서(130)는 동기화된 상호작용 데이터와 영상 데이터를 디스플레이 장치(20) 및 통신중인 하나 이상의 렌더링 노드(200)에 전송할 수 있다.
이때, 깊이 영상 획득 장치(10b)가 구비되어 있지 않은 경우, 프로세서(130)는 스테레오 카메라 등과 같은 컬러 영상 획득 장치(10a)에 의해 촬영된 다시점 컬러 영상으로부터 깊이맵을 획득할 수도 있다.
또한, 사용자 입력 장치(30)가 구비되어 있지 않은 경우, 프로세서(130)는 획득한 다시점 컬러 영상으로부터 손동작을 트래킹하는 방법 등의 다양한 비전 트래킹을 통해 사용자의 입력 이벤트를 인식할 수 있다.
이 경우 다시점 컬러 영상으로부터 획득한 깊이맵과 상호작용 데이터는 다시점 컬러 영상과 동기화되므로 별도의 동기화 단계는 필요로 하지 않는다.
한편, 통신모듈(110)은 복수의 제 1 수신부(111-1~111-n)와, 제 2 수신부(113)를 포함할 수 있다.
복수의 제 1 수신부(111-1~111-n)는 컬러 영상 획득 장치(10a) 및 깊이 영상 획득 장치(10b)의 개수가 기 설정된 개수 이상인 경우, 복수의 컬러 영상 획득 장치(10a) 및 깊이 영상 획득 장치(10b)를 일정 개수의 그룹으로 분할하여, 분할된 그룹에 각각 대응하는 다시점 컬러 영상 및 다시점 깊이 영상을 수신할 수 있다.
예를 들어, 도 3에 도시된 바와 같이 컬러 영상 획득 장치(a1, a2,…,an)가 21개이고, 깊이 영상 획득 장치(b1, b2,…,bn)가 3개인 경우, 프로세서(130)는 컬러 영상 획득 장치(a1, a2,…,an)와 깊이 영상 획득 장치(b1, b2,…,bn)를 3개로 그룹화하고, 3개의 제 1 수신부(111-1~111-n)를 이용하여 다시점 컬러 영상과 다시점 깊이 영상을 각각 수신할 수 있다.
이때, 각각의 제 1 수신부(111-1~111-n)는 컬러 영상 획득 장치(a1, a2,…,an) 및 깊이 영상 획득 장치(b1, b2,…,bn)와 각각 연결되어 이를 제어하기 위한 제어신호를 전송할 수 있으며, 프로세서(130)의 제어에 따라 각 장치의 내부 파라미터의 설정도 가능하다.
이와 같이 복수의 제 1 수신부(111-1~111-n)가 그룹화된 컬러 영상 획득 장치(a1, a2,…,an)와 깊이 영상 획득 장치(b1, b2,…,bn)로부터 다시점 컬러 영상 및 다시점 깊이 영상을 각각 수신하면 이를 제 2 수신부(113)로 전송한다.
제 2 수신부(113)는 복수의 제 1 수신부(111-1~111-n)가 전송한 다시점 컬러 영상 및 다시점 깊이 영상을 취합할 수 있다. 이에 따라, 프로세서(130)는 취합된 각 영상으로부터 시점 별로 깊이맵을 생성할 수 있다.
또한, 제 2 수신부(113)는 사용자 입력 장치(30)로부터 입력 이벤트에 대응하는 상호작용 데이터를 수신할 수 있다.
한편, 영상 데이터와 상호작용 데이터의 전송 순서는 시점의 수가 많아지게 되면 용량의 한계로 인하여 한번에 전송할 수 없는바, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)는 도 4에 도시된 방법에 따라 위 문제를 해소할 수 있다.
도 4는 영상 데이터 및 상호작용 데이터를 전송하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 프로세서(130)는 도 4와 같이 영상 데이터에 포함된 다시점 컬러 영상과 다시점 깊이 영상을 각 시점마다 쌍으로 구성하여 전송할 수 있다.
이때, 프로세서(130)는 영상 데이터에 대응하는 1개의 다시점 영상 프레임과, 입력 이벤트의 종류, 발생시각 및 입력 이벤트에 대응하는 데이터를 포함하는 상호작용 데이터를 렌더링 노드(200)로 전송할 수 있다.
한편, 한번에 전송 가능한 데이터의 크기는 하부 PDU(Packet Data Unit)에 따라 변동 가능하다.
이와 같은 방법에 따라 동기화된 영상 데이터 및 상호작용 데이터를 렌더링 노드(200)로 전송할 수 있으며, 또한 위 방법에 따라 렌더링 노드(200)로부터 동기화된 영상 데이터 및 상호작용 데이터를 수신할 수도 있다.
통신모듈(110)을 통해 렌더링 노드(200)로부터 동기화된 상호작용 데이터 및 영상 데이터를 수신하게 되면, 프로세서(130)는 수신한 상호작용 데이터 및 영상 데이터를 렌더링하여 중간시점을 생성한 뒤, 디스플레이 장치(20)로 전송하여 동기화된 영상 데이터 및 상호작용 데이터가 출력되도록 할 수 있다.
참고로, 본 발명의 실시예에 따른 도 2 및 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 5 내지 도 7을 참조하여, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법에 대하여 설명하도록 한다.
도 5는 송신하는 측의 다시점 실감 영상 제공 장치(100)에서의 순서도이다. 도 6a내지 도 6c는 영상 데이터와 상호작용 데이터를 획득하는 방법의 예시도이다. 도 7은 수신하는 측의 렌더링 노드(200)에서의 순서도이다.
먼저 도 5를 참조하면, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)에서의 다시점 실감 영상 제공 방법은, 컬러 영상 획득 장치(10a) 및 깊이 영상 획득 장치(10b)로부터 다시점 컬러 영상과 다시점 깊이 영상에 대응하는 영상 데이터를 획득한다(S510).
이때, 본 발명의 일 실시예는 다시점 컬러 영상 및 다시점 깊이 영상을 획득하는 컬러 영상 획득 장치(10a) 및 깊이 영상 획득 장치(10b)의 개수가 기 설정된 개수 이상인 경우, 복수의 컬러 영상 획득 장치(10a) 및 깊이 영상 획득 장치(10b)를 일정 개수의 그룹으로 분할하고, 분할된 그룹에 각각 대응하는 다시점 컬러 영상 및 깊이 영상을 수신할 수 있다.
그리고 사용자 입력 장치(30)를 통해 사용자의 입력 이벤트가 발생하는지 여부를 지속적으로 트래킹하여(S520), 사용자의 입력 이벤트가 발생하였는지 여부를 판단한다(S530).
이때, 사용자의 입력 이벤트가 발생한 경우, 입력 이벤트에 대응하는 상호작용 데이터를 획득하고(S540), 영상 데이터와 동기화시킨 뒤(S550), 동기화된 영상 데이터 및 상호작용 데이터를 렌더링 노드(200)로 전송한다(S560).
이때, 본 발명의 일 실시예는 영상 데이터에 포함된 다시점 컬러 영상 및 다시점 깊이 영상을 각 시점마다 쌍으로 구성하고, 쌍으로 구성된 영상 데이터에 대응하는 1개의 다시점 영상 프레임과, 상기 입력 이벤트의 종류, 발생 시각 및 입력 이벤트에 대응하는 데이터를 포함하는 상호작용 데이터를 상기 렌더링 노드(200)에 전송할 수 있다.
이와 달리 사용자의 입력 이벤트가 발생하지 않은 경우에는 획득한 영상 데이터만을 렌더링 노드(200)로 전송할 수도 있다(S565).
도 6a 내지 도 6c를 참조하여 다시점 실감 영상 제공 장치(100)에서의 영상 데이터 및 상호작용 데이터를 획득하는 과정을 구체적으로 설명하면 다음과 같다.
먼저 도 6a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법은 다시점 컬러 영상, 깊이맵 및 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 동시에 획득한다(S611a, S611b, S611c).
다음으로, 획득한 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터와 상호작용 데이터를 취합하여 동기화시킨 뒤(S612), 동기화된 영상 데이터와 상호작용 데이터를 렌더링 노드(200)로 전송한다(S613).
이와 같이 동기화된 데이터를 수신한 렌더링 노드(200)에서는 영상 데이터 및 상호작용 데이터를 각각 렌더링하게 된다.
또 다른 예로 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법은 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 단일 노드(100)에서 획득하여 렌더링 노드(200)로 전송함에 있어서, 영상 데이터와 상호작용 데이터를 순차적 또는 병렬적으로 동기화시킬 수 있다.
예를 들어 도 6b와 같이 다시점 컬러 영상을 획득한 뒤(S621), 깊이 영상 획득 장치(10b)로부터 깊이맵을 획득한다(S623a). 이때, 본 발명의 일 실시예는 깊이 영상 획득 장치(10b)가 존재하는지 여부를 판단하여(S622), 깊이 영상 획득 장치(10b)가 존재하지 않는 경우 다시점 컬러 영상으로부터 다시점 컬러 영상과 동기화된 깊이맵을 획득할 수도 있다(S623b).
다음으로, 사용자 입력 장치(30)로부터 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 획득한다(S625a). 이때, 본 발명의 일 실시예는 사용자 입력 장치(30)가 존재하는지 여부를 판단하여(S624), 사용자 입력 장치(30)가 존재하지 않는 경우 비전 트래킹 기법 등을 이용하여 이전에 획득한 다시점 컬러 영상으로부터 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 획득할 수도 있다(S625a).
다음으로, 획득한 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터와 상호작용 데이터를 취합하여 동기화시킨 뒤(S626), 동기화된 영상 데이터와 상호작용 데이터를 렌더링 노드(200)로 전송한다(S627).
이를 수신한 렌더링 노드(200)는 영상 데이터와 상호작용 데이터를 각각 렌더링할 수 있다.
이와 같이, 본 발명의 일 실시예는 도 6 a와 같이 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 동시에 획득할 수도 있으며, 도 6b와 같이 순차적 또는 병렬적으로 획득할 수도 있다. 뿐만 아니라, 깊이 영상 획득 장치(10b) 및/또는 사용자 입력 장치(30)가 구비되어 있지 않은 경우라 하더라도 다시점 컬러 영상을 통해 깊이맵 및/또는 사용자의 입력 이벤트에 대응하는 상호작용 데이터를 회득할 수도 있다.
도 6a 및 도 6b에서 설명한 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 동시에 획득하거나 순차적 또는 병렬적으로 획득하는 내용에 대하여 도 6c를 참조하여 보다 구체적으로 설명하면 다음과 같다.
도 6c를 참조하면, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법은 컬러 영상 획득 장치(10a), 깊이 영상 획득 장치(10b) 및 사용자 입력 장치(30)가 존재하는지 여부를 각각 판단한다(S631a, S631b, S631c). 이때, 컬러 영상 획득 장치(10a)가 존재하지 않는 경우 즉, 다시점 컬러 영상을 수신하지 않은 상태에서는 수신 대기 상태로 존재하게 된다.
컬러 영상 획득 장치(10a)로부터 다시점 컬러 영상을 수신한 경우(S632), 깊이 영상 획득 장치(10b)로부터 깊이맵을 획득하고(S633a) 획득한 깊이맵을 취합한다. 이때, 깊이 영상 획득 장치(10b)가 존재하지 않는 경우, 획득한 다시점 컬러 영상으로부터 동기화된 깊이맵을 획득할 수도 있다(S633b)
또한, 위 단계와 동시에 또는 순차적으로 사용자 입력 장치(30)가 사용자의 입력 이벤트를 수신하면(S634a), 입력 이벤트에 대응하는 상호작용 데이터를 이벤트 큐에 저장하고(S634b), 이벤트 큐로부터 순차적으로 상호작용 데이터를 출력한다(S634c). 이때, 사용자 입력 장치(30)가 존재하지 않는 경우, 획득한 다시점 컬러 영상으로부터 동기화된 상호작용 데이터를 획득할 수도 있다(S634d).
이와 같이 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 획득하면 이를 취합하여 동기화시키고(S635), 동기화된 다시점 컬러 영상, 깊이맵에 대응하는 영상 데이터와 상호작용 데이터를 렌더링 노드로 전송한다(S636).
이와 같이, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 방법은 깊이 영상 획득 장치(10b)와 사용자 입력 장치(30)가 모두 존재하는 경우에는 다시점 컬러 영상, 깊이맵 및 상호작용 데이터를 모두 취합하고 동기화시킨 뒤 렌더링 노드로 전송하게 되며, 깊이 영상 제공 장치(10b) 및 사용자 입력 장치(30) 중 하나 이상이 존재하지 않는 경우에는 획득한 다시점 컬러 영상으로부터 동기화된 깊이맵 또는 상호작용 데이터를 획득할 수 있다.
만약 깊이 영상 획득 장치(10b) 및 사용자 입력 장치(30)가 모두 존재하지 않는 경우에는 다시점 컬러 영상으로부터 동기화된 깊이맵과 동기화된 상호작용 데이터를 획득하게 되므로 별도의 동기화 절차는 필요로 하지 않게 된다.
다음으로 도 7을 참조하면, 렌더링 노드(200)와 연결된 사용자 입력 장치(30’)로부터 사용자 입력 이벤트가 발생된 경우(S710), 렌더링 노드(200)로부터 동기화된 영상 데이터 및 상호작용 데이터를 수신한다(S720). 그 다음, 수신한 상호작용 데이터를 이용하여 입력 이벤트를 적용시키고, 영상 데이터와 렌더링 시킨 뒤(S730), 디스플레이 장치(20)에 출력한다(S760).
이와 달리 사용자의 입력 이벤트가 발생하지 않은 경우(S710), 렌더링 노드(200)로부터 영상 데이터만을 수신할 수도 있고(S740), 수신한 영상 데이터를 렌더링시킨 뒤(S750), 디스플레이 장치(20)에 출력한다(S760).
한편, 상술한 설명에서, 단계 S610 내지 S760은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4에서 이미 기술된 내용은 도 5 내지 도 7의 다시점 실감 영상 제공 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 다시점 컬러 영상과 다시점 깊이 영상 및 상호작용 데이터를 동기화시켜 3D 객체를 제어할 수 있다. 따라서, 다시점 실사 획득 대상이 되는 사용자는 CG 등과의 상호작용 제어를 통해 실감나는 다시점 영상을 제공받을 수 있다.
또한, 종래 기술에서 발생하던 영상과 사용자의 입력 이벤트 간의 동기가 맞지 않아 실감있는 영상을 제공할 수 없었다는 문제를 해소할 수 있다.
특히, 많은 계산량을 요하는, 예를 들어 홀로그램 영상의 경우에도 영상 데이터와 상호작용 데이터를 동시에 획득 및 동기화시킴에 따라 수신하는 측에서도 동기가 맞는 실감 영상을 제공받을 수 있다.
이에 따라, 본 발명의 일 실시예는 다자간 화상 통신에서 화자간에 공통의 객체를 제어할 수 있다. 즉, 원거리에 위치한 다수의 사용자가 상대방의 모습을 디스플레이 장치를 통해 서로 보면서 3D 객체를 선택하여 확대, 축소, 회전 및 이동 등의 조작을 하는 등의 상호작용이 가능하다.
한편, 본 발명의 일 실시예에 따른 다시점 실감 영상 제공 장치(100)에서의 다시점 실감 영상 제공 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 다시점 실감 영상 제공 시스템
10, 10’: 영상 획득 장치
10a: 컬러 영상 획득 장치
10b: 깊이 영상 획득 장치
20, 20’: 디스플레이 장치
30, 30’: 사용자 입력 장치
100, 200, 300: 다시점 실감 영상 제공 장치
110: 통신모듈
111-1~111-n: 제 1 수신부
113: 제 2 수신부
120: 메모리
130: 프로세서

Claims (1)

  1. 다시점 실감 영상 제공 장치에 있어서,
    통신모듈,
    실감 영상을 제공하기 위한 프로그램이 저장된 메모리 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 사용자의 입력 이벤트에 대응하는 상호작용 데이터와 다시점 컬러 영상 및 깊이맵에 대응하는 영상 데이터를 동시에 획득하면, 상기 획득한 상호작용 데이터와 영상 데이터를 동기화시킨 뒤, 상기 통신모듈을 통해 상기 동기화된 상호작용 데이터와 영상 데이터를 디스플레이 장치 및 통신중인 하나 이상의 렌더링 노드에 전송하는 것인 다시점 실감 영상 제공 장치.
KR1020160132082A 2016-10-12 2016-10-12 다시점 실감 영상 제공 장치 및 방법 KR20180040338A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160132082A KR20180040338A (ko) 2016-10-12 2016-10-12 다시점 실감 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160132082A KR20180040338A (ko) 2016-10-12 2016-10-12 다시점 실감 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180040338A true KR20180040338A (ko) 2018-04-20

Family

ID=62088223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160132082A KR20180040338A (ko) 2016-10-12 2016-10-12 다시점 실감 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180040338A (ko)

Similar Documents

Publication Publication Date Title
EP3560195B1 (en) Stereoscopic omnidirectional imaging
JP7443314B2 (ja) ３ｄテレプレゼンスシステム
US11108972B2 (en) Virtual three dimensional video creation and management system and method
US10171792B2 (en) Device and method for three-dimensional video communication
US11184599B2 (en) Enabling motion parallax with multilayer 360-degree video
US10871800B2 (en) Apparatuses and methods for linking mobile computing devices for use in a dual-screen extended configuration
CN113190111A (zh) 一种方法和设备
CN113272863A (zh) 基于双像素图像的深度预测
CN103270759A (zh) 用于基于反馈的三维视频的零视差平面
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
WO2014000370A1 (zh) 景深保持装置、3d显示系统及显示方法
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
US11568893B2 (en) Image acquisition system and method
CN208724107U (zh) 一种立体场景拍摄装置
CN103813148A (zh) 三维立体显示装置及其方法
US10482671B2 (en) System and method of providing a virtual environment
KR20180040338A (ko) 다시점 실감 영상 제공 장치 및 방법
KR101803475B1 (ko) 초다시점 콘텐츠 생성 시스템
CN114040184B (zh) 图像显示方法、系统、存储介质及计算机程序产品
KR20200120282A (ko) 깊이 카메라와 입체영상 디스플레이 장치를 이용한 라이트 필드 디스플레이 시스템 및 방법
KR101373611B1 (ko) 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
CN117745982A (zh) 录制视频的方法、装置、系统、电子设备和存储介质
CN118229921A (zh) 图像显示方法、装置、电子设备和存储介质