WO2016153161A1 - 양방향 가상현실 구현 시스템 - Google Patents

Abstract

본 발명은 양방향 가상현실 구현 시스템에 관한 것으로, 보다 상세하게는, 3D 깊이 카메라를 이용하여 추출된 사용자 영상 및 음성, 그리고 인터랙티브(Interactive)한 콘텐트 영상 및 사운드를 합성 처리한 미디어를 이용함으로써 양방향 가상현실을 구현할 수 있도록 하는 시스템에 관한 것이다. 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템은, 2 이상의 단말; 및 상기 단말로부터 전송되는 신호를 처리하여 생성된 믹싱 데이터를 상기 각각의 단말로 전송하기 위한 믹싱 서버;를 포함하되, 상기 2 이상의 단말 가운데 적어도 하나의 메인 단말은, 3D 깊이 카메라; 프로세서 및 메모리를 구비하며 운용 프로그램이 탑재되는 본체부; 상기 본체부와 연결되어 상기 본체부에 의해 제어되며, 오디오 출력 단자 및 마이크 단자를 구비하는 적어도 2개의 사운드 디바이스; 및 상기 본체부와 연결되어 상기 본체부에 의해 제어되는 적어도 2개의 디스플레이부;를 구비할 수 있다.

Description

양방향 가상현실 구현 시스템

본 발명은 양방향 가상현실 구현 시스템에 관한 것으로, 보다 상세하게는, 3D 깊이 카메라를 이용하여 추출된 사용자 영상 및 음성, 그리고 인터랙티브(Interactive)한 콘텐트 영상 및 사운드를 합성 처리한 미디어를 이용함으로써 양방향 가상현실을 구현할 수 있도록 하는 시스템에 관한 것이다.

통상의 표준 영상 회의에는 원격지 간에 콘텐트를 공유하기 위해 H.239, BFCP 등의 기능 지원을 필요로 하기 때문에, 콘텐트 공유 기능 지원을 하지 않는 단말을 사용하는 회의 참가자는 이를 이용할 수 없는 불편함이 있다. 이와 같은 방식은 사람의 영상과 음성을 싣는 채널, 공유할 데이터를 싣는 채널이 각각 분리 되어 운용되는 듀얼 채널 방식을 따르기 때문이다.

또한 일부 구형의 상용 코덱 장비들의 경우, 외부 소스 연결 장치를 통해 PC 영상 또는 그 밖의 영상 소스를 받아, 사용자 영상을 PIP(Picture in Picture) 합성 처리하여 송출하는 경우가 있으나, 이와 같은 방식은, 코덱 하드웨어 장비를 별도 구비하여야 하는 경제적 부담이 따를 뿐만 아니라, PIP 영상이 사용자에게 진부한 느낌을 주고 또한 배경 영상으로 단순 영상이 적용됨으로써 타 사용자와 상호작용을 할 수 없다는 등의 한계를 지니고 있다.

또한, 초기 단계에 있는 3D 깊이 카메라를 이용한 영상통화 방식의 경우, 3D 깊이 카메라를 장착한 영상 회의 단말들은 카메라가 지원하는 해상도(CIF, VGA 등)에 따라 추출 영상의 배경이 채워지기 때문에, 해상도의 한계성 등으로 인해 배경 콘텐트의 해상도가 낮아져, 배경 콘텐트의 공유라기 보다는 거의 사용자 주변을 가리는 프라이버시 보호 용도와 같은 한계성을 지니며, 아울러 배경 콘텐트의 사운드는 이용할 수 없고 배경 콘텐트가 타 사용자와 상호작용 할 수 없다는 등의 문제점이 있다.

(선행기술문헌)

(특허문헌 1) 대한민국 공개특허공보 제 10-2014-98573호(발명의 명칭: 영상 회의 서비스 제공 장치 및 방법)

(특허문헌 2) 대한민국 공개특허공보 제 10-2014-16154호(발명의 명칭: 다양한 참가 디바이스의 화상 회의 방법 및 시스템)

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 3D 깊이 카메라를 이용하여 추출된 사용자 영상 및 음성, 그리고 인터랙티브 한 콘텐트 영상 및 사운드를 합성 처리한 미디어를 이용함으로써 양방향 가상현실을 구현함은 물론, 동일의 가상 공간을 배경으로 접속자들의 현장 몰입감을 극대화 시킬 수 있도록 하는 시스템을 제공하는 것에 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 양방향 가상현실 구현 시스템은, 2 이상의 단말; 및 상기 단말로부터 전송되는 신호를 처리하여 생성된 믹싱 데이터를 상기 각각의 단말로 전송하기 위한 믹싱 서버;를 포함하되, 상기 2 이상의 단말 가운데 적어도 하나의 메인(main) 단말은, 3D 깊이 카메라; 프로세서 및 메모리를 구비하며 운용 프로그램이 탑재되는 본체부; 상기 본체부와 연결되어 상기 본체부에 의해 제어되며, 오디오 출력 단자 및 마이크 단자를 구비하는 적어도 2개의 사운드 디바이스; 및 상기 본체부와 연결되어 상기 본체부에 의해 제어되는 적어도 2개의 디스플레이부;를 구비하고, 상기 사운드 디바이스는, 일 사운드 디바이스의 오디오 출력 단자가 복수 채널의 믹서 디바이스의 제1 입력 단자와 연결되고, 마이크 단자가 상기 믹서 디바이스의 제2 입력 단자와 연결되며, 상기 믹서 디바이스의 출력 단자가 타 사운드 디바이스의 마이크 단자와 연결되도록 구성될 수 있다.

여기서, 상기 디스플레이부는, 일 디스플레이부에 바탕화면이, 타 디스플레이부에 영상회의 프로그램 등의 양방향 가상현실 응용 프로그램이 각각 디스플레이되도록 구성될 수 있는데, 이때, 상기 일 디스플레이부에는, 상기 3D 깊이 카메라를 통해 획득된 사용자의 영상 추출 데이터가 디스플레이 되고, 상기 타 디스플레이부에는, 상기 믹싱 데이터가 디스플레이 되도록 구성되는 것이 바람직할 수 있다.

상기한 바와 같은 본 발명에 의하면, 인터넷 방송 또는 영상 회의 프로그램 등에서 콘텐트 공유를 위한 표준 기능의 지원 여부와 무관하게 복합 문서, SW 프로그램, 멀티미디어 콘텐트 등을 사용자의 선택에 따라, 가상 공간을 배경으로 3D 깊이 카메라로 추출된 사용자의 영상, 음성과 콘텐트의 사운드를 함께 송출할 수 있게 함으로써, 원격지의 모든 참여자들에게 고품질의 콘텐트 전달이 가능하도록 한다는 효과가 있다.

나아가, 나머지 참석자들이 진행자의 가상 공간 배경 콘텐트를 직접 제어 할 수 있도록 양방향 가상현실을 구현함으로써, 보다 생동감 있는 콘텐트의 전달이 가능하다는 등의 장점도 있다.

아울러, 영상 회의 참석자들이 모두 본 발명의 장치 단말을 구비하는 경우, 동일 공간 처리 믹싱 서버에 의해 회의 참석자들이 동일 공간 내에 존재하는 것과 같은 높은 현장감을 느끼게 함으로써, 회의 집중도 및 사용자 경험의 높은 가치를 획득하도록 한다는 등의 장점도 있다.

따라서, 본 발명은 영상 회의는 물론 쌍방향 원격교육, 사이버 모델 하우스 등과 같은 양방향 이벤트 행사 중계가 필요한 엔터테인먼트나, 양방향 세미나 중계, 재해 재난 대응과 같은 공공분야 및 양방향 홈 쇼핑이나 인터넷 방송 등과 같은 다양한 분야에 응용 가능하다는 등의 장점을 갖는다.

도 1 및 도 4는 본 발명의 일 실시예에 따른 양방향 가상현실 구현 시스템의 구성을 개략적으로 나타낸 설명도이다.

도 2, 도 3 및 도 5는 도 1의 양방향 가상현실 구현 시스템을 이용한 영상 회의 과정의 다양한 예를 설명하기 위한 개념도이다.

상술한 본 발명의 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해질 것이다.

이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들은 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떠한 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 또는 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들, 즉 "~ 사이에"와 "바로 ~사이에" 또는 "~에 인접하는"과 "~에 바로 인접하는" 등의 표현도 마찬가지로 해석되어야 한다.

본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명하도록 한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 양방향 가상현실 구현 시스템의 구성을 개략적으로 나타낸 설명도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 양방향 가상현실 구현 시스템은, 본체(1), 비디오 그래픽 카드(2), 3D 깊이 카메라(3), 제1 및 제2 디스플레이부(4, 5), 제1 및 제2 사운드 디바이스(6, 7), 오디오 믹서(8), 스피커(9) 및 마이크(10) 등을 구비함을 확인할 수 있다.

본체(1)는 본 시스템의 구성을 위한 중심 구성요소로써 PC 등에 의해 구성될 수 있는데, 프로세서와 메모리 및 기타 IO 장치들을 구비하며 OS를 비롯한 응용 소프트웨어들이 탑재되고, 본체(1)와 연결되는 각각의 구성요소들의 동작을 제어한다.

비디오 그래픽 카드(2)는 2 이상의 비디오 출력 포트를 구비하는 것이 바람직할 수 있는데, 2 포트를 구비한는 경우, 하나는 기본 바탕화면 제공의 용도로 사용되고 다른 하나는 방송 또는 영상 회의 프로그램용으로 사용될 수 있다.

이를 위해, 본체(1)의 OS 기본 화면 제어 프로그램을 이용하여, 제1 디스플레이(4)에 바탕화면이 위치하도록 하고, 제2 디스플레이(5)에 방송 또는 영상 회의 프로그램이 위치할 수 있도록 디스플레이를 확장 모드로 설정하는 것이 좋다.

제1 사운드 디바이스(6)의 오디오 출력 단자는 오디오 케이블을 이용하여 오디오 믹서(8)의 제1 입력단자(16)에 연결되고, 콘텐트 송신자의 음성 송신용 마이크(10)는 오디오 믹서(8)의 제2 입력단자(17)에 연결될 수 있다. 이에 따라, 제1 사운드 디바이스(6)의 오디오 출력 신호와, 마이크(10)를 통해 수신되는 오디오 신호의 믹싱이 가능해짐으로써, 콘텐트의 사운드와 함께 송신자의 음성에 대한 동시 송신이 가능할 수 있다.

이를 위해, 콘텐트(미디어) 플레이어 소프트웨어(23)의 사운드 재생용으로 제1 사운드 디바이스(6)를 설정하고, 방송 또는 영상 회의 프로그램(24)의 사운드 재생용으로 제2 사운드 디바이스(7)를 설정하는 것이 바람직할 수 있음은 도면에 도시된 바와 같다.

콘텐트 송신자의 음성과 더불어 영상을 함께 송신하기 위해서는 본체(1)에 연결된 3D 깊이 카메라(3)를 통해 추출된 송신자 영상을 제1 디스플레이부(4)의 적절한 위치에 디스플레이 할 수 있으며, 그러면 제1 디스플레이부(4)의 배경 콘텐트와 더불어 실시간 화면 캡쳐된 송신자의 영상이, 음성 및 배경 사운드의 믹싱 데이터와 결합된 미디어 소스로 제2 디스플레이부(5)의 방송 또는 영상 회의 프로그램(24)을 통해 디스플레이 될 수 있다.

도 2는 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템을 이용한 영상 회의 과정의 일 예를 설명하기 위한 개념도이다.

즉, 도 2는 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템의 구성이 적용된 장치가 메인(main) 단말인 일 단말(A)로 적용된 영상 회의에 있어서, 2D 카메라를 장착한 타 단말들(B,C,D)이 동일한 영상 회의에 참여하는 경우를 설명하기 위한 도면을 나타낸다. 이하, 도 2를 통해 서로 다른 하드웨어 구성을 갖는 단말들 사이의 영상 및 음성 데이터에 대한 인터랙티브 콘텐트 제어 과정을 상세히 설명하도록 한다.

먼저, 일 단말(A)에 구비되는 디스플레이1(110)의 해상도(제1 해상도)를 파악한다. 그리고, 송신자의 추출 영상이 놓여진 디스플레이1(110)의 전체 화면을 실시간 캡쳐하여 이를 영상 회의의 자신의 영상 소스로 선택된 제2 해상도로 인코딩 후 서버(100)로 송출한다.

그러면 2D 카메라를 사용하는 타 단말들(B,C,D)은 카메라 영상을 캡쳐한 후 인코딩하여 서버(100)로 송출한다. 또한, 서버(100)는 각 단말들의 영상 및 음성 데이터를 수신하여 디코딩 후 믹싱 및 인코딩 등의 단계를 거쳐 최종 생성된 양방향 가상 공간 합성 영상(150)을 각 접속 단말들에게 전송하거나 또는 각각의 영상을 그대로 중계한다. 각 단말들은 이들 영상을 수신한 후 디코딩하여 적절한 위치에 렌더링 함으로써 영상통신을 할 수 있게 되는 것이다.

이 때 음성 하울링 방지 및 에코 방지를 위한 기술로 통상의 어떠한 방식이 적용되더라도 무방할 수 있음은 당연하며, 본 발명의 명세서에 있어서는 이와 관련된 구체적인 기술에 대한 별도의 설명은 생략하기로 한다.

이어서, 일 단말(A)의 사용자는 진행권을 획득한 후 접속자들 중 임의로 선택한 접속 단말(B)에게 제어 공유권을 부여한다. 제어 공유권를 부여 받은 접속 단말(B)은 일 단말(A)의 영상이 표시되는 영역 위에 마우스 포커싱을 하고 마우스, 키보드 또는 펜마우스 등의 유사 포인팅 이벤트 발생 디바이스를 이용하여 이벤트를 발생시키며 접속 단말(B)은 해당 이벤트를 캡쳐한다.

접속 단말(B)은, 일 단말(A)로부터 또는 일 단말(A)의 영상을 중계하는 서버(100)로부터 수신한 일 단말(A)의 영상 해상도(제2 해상도)에 대응되도록 마우스 이벤트의 좌표 값을 변환한다. 이는 제2 해상도의 영상이 접속 단말(B)의 화면에 다른 크기로 렌더링 될 수 있기 때문이다.

계속해서, 접속 단말(B)은 해당 변환된 좌표값, 캡쳐된 마우스 이벤트, 키보드 이벤트 데이터를 일 단말(A) 또는 데이터 중계 서버(100)에 송신한다. 그러면 일 단말(A)은 수신된 제어 데이터가 정상적인지 확인 후, 정상인 경우 수신 받은 마우스 좌표 값을 디스플레이1(110)의 해상도(제1 해상도)에 맞게 변환시키고, 이어서 디스플레이1(110)에 포커스를 둔 후 마우스, 키보드 또는 기타 이벤트를 발생시킨다. 디스플레이1의 해상도와 다른 해상도로 타 단말들(B,C,D)이 인코딩을 선택할 수 있기 때문에 이와 같은 마우스 좌표 변환 과정이 필요하다.

해당 이벤트에 따라 일 단말(A) 디스플레이1(110)의 인터렉티브 콘텐트에 상태 변화가 발생되면 실시간으로, 제어 공유권을 부여 받은 접속 단말(B)을 포함하는 모든 타 접속 단말들(C,D)은, 접속 단말(B)에 의하여 발생된 일 단말(A)의 배경 콘텐트가 변화됨을 실시간으로 확인할 수 있게 된다.

도 3은 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템을 이용한 영상 회의 과정의 다른 예를 설명하기 위한 개념도이다. 즉, 도 3은, 모든 단말이 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템의 구성이 적용된 장치인 영상 회의에 있어, 인터랙티브 콘텐트를 제어하는 과정을 설명하기 위한 도면이다.

먼저, 3D 깊이 카메라(120)를 장착한 일 단말(A)의 디스플레이1(110)에 대한 해상도(제1 해상도)를 파악한다.

이어서, 영상 회의의 진행권을 획득한 일 단말(A)은 송신자의 추출 영상이 배치된 디스플레이1(110)의 전체 화면을 실시간 캡쳐하여, 이를 영상 회의의 자신의 영상소스로서 선택된 해상도(제2 해상도)로 인코딩한 후 믹싱 서버(200)에 송출한다. 나머지 단말들(B,C,D)은 각자 추출된 영상의 해상도에 맞춰 배경에 단색(그린 또는 블루)을 채운 후 믹싱 서버(200)에 송출한다.

믹싱 서버(200)의 영상 전처리 모듈은, 진행권을 가진 일 단말(A)을 제외한 나머지 단말(B,C,D)의 영상에 대해 각각의 단색 배경을 일반적인 영상 처리 방식에 따라 제거하거나 투명하게 할 수 있다.

믹싱 서버(200)는 진행권을 가진 일 단말(A)의 영상을 주 배경으로 하여, 믹싱 서버(200)의 영상 전처리 모듈에 의하여 단색 배경이 제거된 나머지 영상들 (B,C,D)을 주 배경 내에 적절하게 배치하도록 기능할 수 있다. 이를 위해 믹싱 서버(200)의 레이아웃 모듈이 배치 관련 좌표 정보를 믹싱 모듈에 전달하면, 믹싱 모듈은 이에 대응되도록 데이터를 합성한 후 인코딩 모듈에 전달하고, 다시 인코딩 모듈은 이를 인코딩 후 송출 모듈에 전달함으로써 각 접속 단말(A~D)들 또는 중계 서버에게 송출하도록 한다. 영상 전처리 모듈, 레이아웃 모듈, 믹싱 모듈 및 인코딩 모듈 등을 구비하는 믹싱 서버(200)의 구성 및 기능에 대해서는 추후 별도의 도면을 통해 다시 설명하도록 한다.

계속해서, 동일 세션의 접속 단말들(A~D)은 상기 인코딩 모듈로부터 송출된 데이터를 수신하여 디코딩한 후 이를 각각의 단말에 구비되는 디스플레이부의 특정 영역에 렌더링한다.

여기서, 진행자는 렌더링 된 화면을 보면서 화면 속의 타 사용자들의 위치를 동일 공간 배경 내 임의의 위치로 이동 시킬 수 있으며, 타 사용자들은 자신의 영상 위치를 진행자의 허용 신호가 주어진 후 동일 공간 배경에 속하는 임의의 콘텐트 근처로 옮길 수 있다. 이는 사용자가 임의의 위치를 포인팅하면 해당 좌표 값이 믹싱 서버(200)의 레이아웃 모듈에 전달됨으로써, 실시간으로 해당 좌표 값에 맞도록 레이아웃 정보를 업데이트하여 믹싱 서버(200)에 전달하면 믹싱 서버(200)가 이를 반영하여 믹싱한 후 인코딩 모듈에 전달하는 방식에 의해 구현 가능하다.

진행권을 가진 일 단말(A)의 사용자는 접속자들 중 임의로 선택한 접속 단말(B)에게 제어 공유권을 부여할 수 있다.

제어 공유권를 부여 받은 접속 단말(B)은 동일 공간 합성 영상이 표시되는 디스플레이부(150)의 영역 상에 마우스를 포커싱한 후, 마우스나 키보드 또는 펜 마우스 등의 유사 포인팅 이벤트를 발생시키기 위한 디바이스를 이용하여 이벤트를 발생시킬 수 있으며, 해당 접속 단말(B)은 이를 캡쳐한다.

접속 단말(B)은 일 단말(A)로부터 또는 일 단말(A)의 영상을 중계하는 서버(200)로부터 수신한 일 단말(A)의 영상 해상도(제2 해상도)에 맞춰 마우스 이벤트의 좌표 값을 변환한다. 이는 제2 해상도(2)의 일 단말(A) 영상이 접속 단말(B)의 화면에 상이한 크기로 렌더링 될 수 있기 때문이다.

접속 단말(B)은 해당 변환된 좌표값, 캡쳐된 마우스 이벤트, 키보드 이벤트 데이터를 프로토콜 특성에 맞추어 일 단말(A) 또는 데이터 중계 서버나 믹싱 서버(200)로 송신할 수 있다.

일 단말(A)은 직접 또는 서버(200)로부터 수신된 제어 데이터가 정상적인지 확인 후, 정상인 경우 수신된 마우스 좌표 값을 디스플레이1(110)의 해상도(제1 해상도)에 맞게 변환하며, 디스플레이1(110)에 포커싱을 한 다음 수신받은 마우스 및 키보드 이벤트를 발생시킨다. 이와 같은 변환 과정이, 타 단말의 경우 디스플레이1의 해상도와 다른 해상도를 선택하여 인코딩 할 수 있기 때문임에 대해서는 전술한 바 있다.

해당 이벤트에 따라 일 단말(A) 디스플레이1(110)의 인터렉티브 콘텐트에 상태 변화가 발생되면, 실시간으로 제어 공유권을 부여받은 타 단말(B)을 포함하는 모든 타 접속 단말들(C,D)은, 타 단말(B)에 의하여 발생된 동일 배경 공간인 일 단말(A)의 배경 콘텐트가 변화됨을 실시간으로 확인할 수 있다.

또한, 접속 단말들(B,C,D)이 포인팅 또는 드래그 앤 드롭 등의 적정한 사용자 인터페이스를 이용하여 자신의 영상 위치를 변경하는 경우, 해당 좌표 정보가 믹싱 서버(200)의 레이아웃 모듈에 전달되기 때문에, 해당 위치에 맞게 믹싱을 실시간 업데이트하고 인코딩하여 전송함으로써 각 단말들은 최종적으로 동일 가상 공간에 대해 동일하게 처리된 미디어 데이터를 수신할 수 있다

도 4는 본 발명의 일 실시예에 따른 양방향 가상현실 구현 시스템의 구성을 나타낸 설명도로써, 도 3과 마찬가지로, 영상 회의 세션 내의 단말들이 모두 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템을 이용한 단말로 구성되어 있는 경우에 대해, 동일 가상 공간 연출을 위한 믹싱 서버의 구성을 보다 상세하게 설명하기 위한 도면이다.

도 4를 참조하면, 3D 깊이 카메라(120)에 의해 각 송신자(A,B,C,D)의 영상을 추출한 후, 진행자(단말A)로 선언된 송신자는 디스플레이1의 화면에 위치되어 전체 화면에 대한 실시간 캡쳐(130) 및 인코딩을 수행하고 나머지 송신자들(단말 B,C,D)은 주어진 해상도에 따라 단색(그린 또는 블루)으로 채워진 영상(140)을 인코딩을 한다.

각 단말들(A,B,C,D)의 인코딩된 영상들은 동일 가상 공간 처리를 위한 믹싱 서버(300)로 송출된다. 믹싱 서버(300)가 영상 전처리 모듈(310), 레이아웃 제어 모듈(320), 믹싱 모듈(330), 인코딩 모듈(340) 및 송출 모듈(350) 등을 구비할 수 있음은 도면에 도시된 바와 같다.

이때, 동일 가상 공간 처리를 위한 믹싱 서버(300)는, 영상 전처리 모듈(310)에 의하여 진행자를 제외한 나머지 영상들의 단색 배경을 제거하거나 투명하게 처리하는 기능을 수행하며, 진행자(A)의 영상을 주 배경으로 레이아웃 제어 모듈(320)의 제어에 따라 믹싱 모듈(330)은 적절하게 영상을 배치한 후 인코딩 모듈(340)을 통해 이를 인코딩을 한다.

이후, 송출 모듈(350)은 인코딩 영상을 각 단말들 또는 중계 서버에 송출함으로써, 카메라가 구비되지 않은 일반 단말들(500)은 중계 서버를 통해 상호 통신 없이 미디어 스트리밍을 수신할 수 있다.

도 5는 본 발명의 일 실시예에 따른 양방향 가상현실 구현 시스템의 구성을 나타낸 설명도로써, 영상 회의 세션 내의 단말들로 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템을 이용한 단말들 및 2D 카메라를 장착한 단말들이 혼재되어 있는 경우를 나타낸 예시도이다.

즉, 도 5는 앞서 설명한 도 2의 실시예 및 도 3의 실시예에 대한 혼합 모드를 나타내고 있다.

도면을 참조하면, 본 발명의 실시예에 따른 일 단말들(A,E,F,G)은 3D 깊이 카메라 및 듀얼 디스플레이 구조로 이루어졌으며, 그 밖의 타 단말들(B,C,D)은 2D 카메라가 장착되었음을 확인할 수 있다.

따라서, 동일 세션에 접속하고자 할 경우, 접속 전 각각의 단말에 대한 특성치를 믹싱 서버(300)에 통지하고, 이를 바탕으로 믹싱 서버(300)의 레이아웃 모듈에 의해 일 단말들(A,E,F,G)은 동일 가상 공간 처리되어 하나의 화면(410)으로 별도 구성되며, 이 영상과 나머지 타 단말들(B,C,D)의 영상들(420)은 구분되어 최종 동일 가상 공간 합성 영상(430)으로 제공됨으로써, 앞서 설명한 바와 같은 방식에 의해 각 단말들에 전달되어 상호 통신을 할 수 있게 된다.

지금까지 설명된 본 발명의 실시예에 따른 양방향 가상현실 구현 시스템의 구성 및 동작을 전체적으로 정리하면 다음과 같다.

먼저, 메인(main) 단말을 구성하기 위해 PC 등의 컴퓨터에 오디오 출력 단자와 마이크 단자로 인터페이스가 구성된 사운드 디바이스 두 개를 설치한 다음, 제1 사운드 디바이스의 오디오 출력 단자를 오디오 케이블을 이용하여 복수 채널의 믹서 디바이스의 제1 입력 단자와 연결하고, 마이크 단자를 믹서 디바이스의 제2 입력 단자와 연결한다. 또한, 오디오 케이블을 이용하여 믹서 디바이스의 출력 단자를 제2 사운드 디바이스의 마이크 단자와 연결한다. 이는 콘텐트 송신자의 음성과 동영상 등의 콘텐트의 사운드가 하울링(Howling) 없이 송신 가능하도록 하기 위함이다.

다음, PC를 부팅한 후 각각 디스플레이를 확장모드로 연결하고, 제1 디스플레이부에 바탕화면이, 제2 디스플레이부에 적용하고자 하는 방송 또는 영상 회의 프로그램 등이 나오도록 설정한다.

이때, 3D 깊이 카메라를 이용하여 사용자의 영상을 추출함으로써, 제1 디스플레이부에 해당 영상이 디스플레이 될 수 있도록 한다. 이는 콘텐트 송신자가 제2 디스플레이부를 통해 영상 회의 등의 상대방을 보면서 제1 디스플레이부를 이용하여 송신하고자 하는 인터랙티브 한 콘텐트를 자신의 영상 데이터와 함께 송신할 수 있도록 하기 위함이다.

이후, 제1 디스플레이부의 화면 전체에 대한 실시간 캡쳐 영상을, 콘텐트의 사운드 및 사용자 음성의 믹싱 데이터와 함께 전송함으로써, 보다 입체적이고 사실적인 콘텐트의 송출이 이루어질 수 있도록 한다. 방송의 경우도 유사한 방식을 적용할 수 있다.

이어서, PC에 설치된 미디어 플레이어 소프트웨어의 재생용 사운드 디바이스로 제1 사운드 디바이스를 선택하고, 방송 또는 영상 회의 프로그램 등의 사운드 재생용 또는 마이크용 디바이스로 제2 사운드 디바이스를 선택한다. 이는 동영상의 사운드와 콘텐트 송신자의 음성을 하울링 없이 송신하기 위함이다.

그 다음, 동일 세션에 2D 카메라 등이 장착된 일반 단말을 이용한 접속자가 존재하는 경우, 이들 중 선택된 임의의 접속자에게 권한을 부여함으로써 영상 대화와 함께 상기 주 단말의 인터랙티브한 배경 영상의 제어가 가능한 양방향 가상현실을 제공할 수 있다.

한편, 메인 단말과 마찬가지의 구성을 갖는 단말 장치들이 복수로 접속되는 경우에는, 임의의 선택 단말의 인터랙티브한 배경 영상 속에 다른 단말의 추출된 사용자 영상이 가상 공간 속의 송신자 영상과 함께 동일한 인터랙티브 가상 공간 배경 속에 놓이게 됨으로써, 배경 콘텐트와 상호 작용 및 동일 가상 공간 내 위치 이동 등이 가능하게 되어, 동일 가상 공간의 현장감을 제공할 수 있다는 등의 장점을 갖는다.

이를 위해, 동일 세션 상에서 복수의 단말 장치들이 접속할 경우, 주어진 정책에 따라 임의의 단말 중 하나를 진행자로 선언하면 해당 단말은 상기한 방식으로 인터랙티브 배경 콘텐트와 함께 추출된 진행자 권한의 사용자 영상을 합성하여 특정의 영상 믹싱 서버에 송신하고, 나머지 단말 장치들은 추출한 사용자 영상의 배경으로 그린 또는 블루 색상과 같은 단색 영상을 채워 해당 믹싱 서버에 송신하도록 하는 등의 세부 구성이 제공됨에 대해서는 전술한 바 있다.

이상 도면을 통해 설명된 본 발명의 실시예에 있어서는, 대부분의 경우 화상 회의를 예로 들어 설명을 진행하였으나, 본 발명의 시스템이 반드시 화상 회의용으로만 한정되지 아니함은 당연하며, 이와 같은 시스템이, 쌍방향 원격교육, 사이버 모델 하우스 등과 같은 양방향 이벤트 행사 중계가 필요한 엔터테인먼트 분야나, 양방향 세미나 중계, 재해 재난 대응 등의 공공분야 및 양방향 홈 쇼핑 또는 인터넷 방송 등과 같은 다양한 분야에 응용 가능할 수 있음은 전술한 바 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.

Claims (9)

1. 2 이상의 단말; 및

   상기 단말로부터 전송되는 신호를 처리하여 생성된 믹싱 데이터를 상기 각각의 단말로 전송하기 위한 믹싱 서버;를 포함하되,

   상기 2 이상의 단말 가운데 적어도 하나의 메인(main) 단말은,

   3D 깊이 카메라;

   프로세서 및 메모리를 구비하며 운용 프로그램이 탑재되는 본체부;

   상기 본체부와 연결되어 상기 본체부에 의해 제어되며, 오디오 출력 단자 및 마이크 단자를 구비하는 적어도 2개의 사운드 디바이스; 및

   상기 본체부와 연결되어 상기 본체부에 의해 제어되는 적어도 2개의 디스플레이부;를 구비하고,

   상기 디스플레이부는, 일 디스플레이부에 바탕화면이 타 디스플레이부에 가상현실 응용 프로그램이 각각 디스플레이 되도록 구성되며,

   상기 일 디스플레이부에는, 상기 3D 깊이 카메라를 통해 획득된 사용자의 영상 추출 데이터가 디스플레이 되고,

   상기 타 디스플레이부에는, 상기 믹싱 데이터가 디스플레이 되는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
2. 제 1 항에 있어서,

   상기 사운드 디바이스는,

   일 사운드 디바이스의 오디오 출력 단자가 복수 채널의 믹서 디바이스의 제1 입력 단자와 연결되고, 마이크 단자가 상기 믹서 디바이스의 제2 입력 단자와 연결되며, 상기 믹서 디바이스의 출력 단자가 타 사운드 디바이스의 마이크 단자와 연결되는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
3. 제 1 항에 있어서,

   상기 메인 단말은,

   콘텐트의 사운드와 사용자 음성의 혼합 데이터 및 상기 일 디스플레이부의 화면 전체에 대한 실시간 캡쳐 영상을 상기 믹싱 서버로 전송하는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
4. 제 3 항에 있어서,

   상기 메인 단말은 임의의 타 단말에 대해 제어 공유권 부여가 가능한 것을 특징으로 하는 양방향 가상현실 구현 시스템.
5. 제 4 항에 있어서,

   상기 제어 공유권을 부여받은 타 단말은, 상기 믹싱 서버로부터 전송되는 영상 데이터를 단말의 영상 해상도에 대응되도록 변환하기 위한 좌표 변환 과정을 수행하는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 믹싱 서버는,

   상기 각각의 단말로부터 전송되는 영상 데이터에 대한 전처리를 수행하는 영상 전처리 모듈;

   상기 영상 전처리 모듈을 통해 전처리된 영상 데이터에 대한 레이아웃을 제어하는 레이아웃 제어 모듈; 및

   상기 레이아웃 제어 모듈을 통해 레이아웃이 제어된 데이터를 혼합하여 배치하기 위한 믹싱 모듈;을 포함하여 구성되는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
7. 제 6 항에 있어서,

   상기 믹싱 서버는,

   상기 믹싱 모듈의 출력 데이터에 대해 인코딩을 수행하기 위한 인코딩 모듈; 및

   상기 인코딩 모듈로부터 출력되는 인코딩 데이터를 상기 각각의 단말들에 송출하기 위한 송출 모듈;을 더 포함하여 구성되는 것을 특징으로 하는 양방향 가상현실 구현 시스템.
8. 제 7 항에 있어서,

   상기 믹싱 서버에 의해 생성된 믹싱 데이터를 스트리밍 수신 전용 단말에 대해 전송하기 위한 중계 서버;를 더 포함하는 양방향 가상현실 구현 시스템.
9. 제 8 항에 있어서,

   상기 중계 서버는 상기 송출 모듈로부터 상기 믹싱 서버의 믹싱 데이터를 전달받도록 구성되는 것을 특징으로 하는 양방향 가상현실 구현 시스템.

Images