KR102260193B1

KR102260193B1 - 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템

Info

Publication number: KR102260193B1
Application number: KR1020190178664A
Authority: KR
Inventors: 하태진; 김재인; 김수환; 박노영
Original assignee: 주식회사 버넥트
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2021-06-03
Also published as: US20210201586A1; US11645415B2

Abstract

본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 컴퓨팅 디바이스에서 일정 영역이 보안된 3차원 공간 영상을 기초로 증강현실 환경 내 커뮤니케이션을 제공하는 증강현실 원격 통신방법으로서, 사용자 주변의 물리적 공간을 촬영한 물리적 공간 영상을 획득하는 단계; 상기 획득된 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계; 상기 설정된 3차원 보안영역을 기반으로 상기 물리적 공간 영상을 변환하는 보안 처리를 수행하는 단계; 및 상기 보안 처리를 수행하여 생성된 보안 영상을 제공하는 단계를 포함한다.

Description

3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템{REMOTE AUGMENTED REALITY COMMUNICATION METHOD AND SYSTEM THAT PROVIDES SECURITY FOR 3D-SPACE}

본 발명은 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템에 관한 것이다. 보다 상세하게는, 3차원 공간에 대한 영상의 일정 영역을 변환한 영상을 생성하여 3차원 공간 영상에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템에 관한 것이다.

일반적으로, 대다수의 산업 분야에서 작업자들은 각종 장치, 설비 또는 기기 등의 유지 보수 및 작업을 위한 업무를 수행하여 왔다.

이러한 유지 보수나 작업에 대한 매뉴얼은, 일반적으로 책으로 제작되어 있거나 2D 이미지로 제작되어 있다. 그러나, 책으로 제작된 매뉴얼은 해결해야하는 문제(예컨대, 특정 장치의 고장)에 대한 해당 페이지를 일일이 찾아야 하고, 매뉴얼이 오래되면 해당 책에서 제시하는 방법이 해결책이 되지 못하는 경우가 빈번하게 발생할 수 있는 등의 문제가 있다.

그리하여 최근에는, 임의의 컴퓨터가 다른 장소에 존재하는 컴퓨터를 용이하게 제어할 수 있는 원격 컴퓨터 제어 기술에 기반하여, 위와 같은 유지 보수 및 작업에 대한 가이던스(guidance)를 원격의 관리자가 현장의 작업자에게 제공하는 작업 방식이 사용되고 있다.

이러한 원격 컴퓨터 제어 기술에 따르면, 임의의 컴퓨터는, 원격 제어의 대상이 되는 컴퓨터로부터 독립적으로 떨어진 장소에서도 용이하게 정보를 처리할 수 있다.

하지만, 종래의 원격 컴퓨터 제어 기술은, 상호 송수신되는 정보에 대한 별도의 보안 처리 기능을 제공하고 있지 않아서, 산업 현장에서 외부로의 유출이 제한되는 특정 정보에 대한 보안에 위협을 가할 수 있다는 문제가 있다.

10-1686926 B1

본 발명은, 앙쟈간 증강현실 환경 내에서 커뮤니케이션을 진행할 때, 프라이버시를 보호하는 보안 기능을 제공하는데 그 목적이 있다.

자세히, 본 발명은, 네트워크를 통해 송수신되는 3차원 공간 영상의 일정 영역을 변환한 영상을 생성하여, 해당 3차원 공간 영상에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템을 제공하는데 그 목적이 있다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

이때, 상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 상기 물리적 공간 영상를 이미지 분석하여 검출된 실제객체에 대한 형상정보를 기초로 기 저장된 상기 실제객체에 대한 3차원 공간정보를 획득하고, 상기 획득된 3차원 공간정보를 상기 3차원 보안영역으로 설정하는 단계를 포함한다.

또한, 상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 상기 물리적 공간 영상 내에서 적어도 하나 이상의 실제객체를 검출하는 단계와, 상기 검출한 실제객체에 대한 형상정보를 추출하는 단계와, 상기 추출한 형상정보를 기저장된 실제객체 정보와 비교하는 단계와, 상기 추출한 형상정보와 매칭된 실제객체 정보를 검출하는 단계와, 상기 검출된 실제객체 정보에 대한 3차원 공간정보를 획득하는 단계를 포함한다.

또한, 상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 상기 물리적 공간 영상 상에 상기 3차원 보안영역을 설정하는 3차원 보안영역 지정 인터페이스를 제공하는 단계를 포함한다.

또한, 상기 3차원 보안영역 지정 인터페이스는, 상기 물리적 공간 영상 상에서 실제객체를 지정하는 인터페이스 및 상기 실제객체에 대응하는 3차원 모델정보를 설정하여 상기 실제객체에 대한 3차원 공간정보를 획득하는 인터페이스 중 적어도 하나의 인터페이스를 포함한다.

또한, 상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 상기 3차원 공간정보에 매칭되는 일정 영역 또는 상기 일정 영역을 제외한 나머지 영역을 상기 3차원 보안영역으로 설정하는 단계와, 상기 3차원 보안영역을 블러링한 3차원 보안영상을 표시하는 단계를 더 포함한다.

또한, 상기 3차원 보안영역을 블러링한 3차원 보안영상을 표시하는 단계는, 상기 3차원 보안영상을 원격 유저 컴퓨팅 디바이스에 송신하는 단계와, 상기 원격 유저 컴퓨팅 디바이스로부터 상기 3차원 보안영상에 대한 가상 컨텐츠를 수신하는 단계와, 상기 수신된 가상 컨텐츠를 상기 3차원 보안영상 상에 오버레이한 증강현실 영상을 표시하는 단계를 포함한다.

본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 네트워크를 통해 송수신되는 3차원 공간 영상의 일정 영역을 변환한 영상을 생성하여 해당 3차원 공간 영상에 대한 보안기능을 제공함으로써, 외부로의 유출이 제한되는 특정 정보를 포함하는 3차원 공간 영상에 대한 보안성을 강화할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 사용자 입력 또는 기저장된 정보에 기초하여 3차원 공간 영상 상의 지정된 일정 영역을 변환해 기존과 다르게 표시하고, 해당 일정 영역 또는 해당 일정 영역을 제외한 나머지 영역을 식별하지 못하도록 하는 보안 처리 기능을 제공함으로써, 상황에 따라 3차원 공간 영상에서 보안 처리를 적용할 영역을 유연하게 설정할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 현장 유저 컴퓨팅 디바이스에서 내부 관리자 컴퓨팅 디바이스를 거쳐 원격 유저 컴퓨팅 디바이스로 보안 처리된 3차원 공간 영상을 송신함으로써, 네트워크를 통해 송수신되는 영상을 이중으로 관리하고 검열하여 보안성을 보다 강화할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 확장현실 커뮤니케이션을 경험하는 개념도이다.
도 5는 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 6은 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 물리적 공간 영상이 보안 처리되는 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 실세계의 물리적 공간에 존재하는 적어도 하나 이상의 실제객체를 개념화하여 나타낸 모습의 일례이다.
도 10은 본 발명의 실시예에 따른 실제객체 정보를 일괄적으로 획득하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 실제객체 정보를 개별적으로 획득하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 내부 관리자 컴퓨팅 디바이스가 현장 유저 컴퓨팅 디바이스와 원격 유저 컴퓨팅 디바이스를 중개하는 방법을 설명하기 위한 개념도이다.
도 13은 본 발명의 실시예에 따른 내부 관리자 컴퓨팅 디바이스가 테이블 탑 타입의 컴퓨팅 디바이스로 구현되어 추가적인 3차원 보안영역을 설정하는 모습의 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 시스템은, 네트워크를 통해 송수신되는 3차원 공간 영상의 일정 영역을 보안한 영상을 생성해 해당 3차원 공간 영상에 대한 보안기능을 제공하는 시스템이다.

또한, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 시스템은, 사용자들이 컴퓨팅 디바이스를 통해 확장현실 컨텐츠를 기초로 한 커뮤니케이션을 제공하는 시스템이다.

여기서, 확장현실 환경은, 사용자나 커뮤니케이션 상대방 주변의 물리적 공간에 연관된 가상 컨텐츠가 삽입되어 생성된 환경을 의미하며, 증강현실(AR) 환경과 혼합현실 환경(MR)을 포함할 수 있다. 상기 가상 컨텐츠는, 컴퓨팅 디바이스에서 생성된 가상의 컨텐츠로, 라벨, 텍스트 정보, 이미지, 드로잉 객체 및 3 차원 엔티티를 포함하며, 상기 물리적 공간이나 물리적 공간을 촬영한 영상에 대응하여 생성된 증강/혼합 컨텐츠이다.

그리고 확장현실 커뮤니케이션(XR Communication)이란, 상기 가상 컨텐츠를 포함한 실감형 미디어(예컨대, 영상, 음성)에 기반하여 서로 다른 사용자가 컴퓨팅 디바이스를 통해 상호 의사소통을 위한 커뮤니케이션 데이터(Communication data)를 주고받는 활동을 의미한다.

즉, 실시예에 따른 커뮤니케이션 시스템은, 일반적인 커뮤니케이션의 의사소통 매개인 음성 및 화상과 더불어 물리적 공간이나 촬영영상에 연관된 가상 컨텐츠를 추가 매개로 통신하여, 확장현실 환경 내에서 다자간 커뮤니케이션을 지원할 수 있다.

커뮤니케이션 데이터(Communication data)는, 서로 다른 사용자(예컨대, 원격 관리자 및 현장 작업자)의 컴퓨팅 디바이스가 네트워크를 통해 주고받는 음성, 영상 및/또는 가상 컨텐츠를 포함할 수 있다. 실시예에서, 커뮤니케이션 데이터는, 컴퓨팅 디바이스 및/또는 서버 등에 의해 네트워크를 기반으로 송수신될 수 있다.

실시예에서, 커뮤니케이션 시스템은, 사용자의 컴퓨팅 디바이스의 통신환경에 따라서 서로 다른 커뮤니케이션 데이터 통신방식을 제공하여, 통신환경에 최적화된 확장현실 커뮤니케이션 환경을 제공할 수 있다.

자세히, 확장현실 커뮤니케이션 환경은, 현장의 컴퓨팅 디바이스의 사용자 주변의 물리적 공간에 대응하여 생성되는 확장현실 환경을 기초로 하는데, 사용자 주변의 물리적 공간에서 서로 의사소통에 대상이 되는 실제객체가 존재할 수 있고, 상대방에게 보안이 유지되어야 할 실제객체가 존재할 수 있다.

실시예에서, 커뮤니케이션 시스템은, 상기 보안이 유지되어야 할 실제객체에 대응되는 영역이 보안을 유지하는 영상을 상대방에게 전송하도록 하는 보안기능을 제공할 수 있다.

자세히, 실시예에서 컴퓨팅 디바이스의 확장현실 어플리케이션은, 사용자 주변의 물리적 공간에 대한 영상을 획득할 수 있다. 또한, 컴퓨팅 디바이스의 확장현실 어플리케이션은, 획득된 물리적 공간 영상에 기초하여 3차원 보안영역을 설정할 수 있고, 설정된 3차원 보안영역에 대한 보안 처리를 수행할 수 있다.

여기서, 본 발명의 실시예에 따른 보안 처리란, 물리적 공간 영상 상에서 3차원 보안영역으로 설정된 일정 영역을 변환하여, 상대방이 식별하지 못하도록 하는 기능일 수 있다.

또한, 컴퓨팅 디바이스는, 설정된 3차원 보안영역이 보안 처리된 보안 영상을 생성하여 제공할 수 있다.

이하 설명의 편의를 위해, 컴퓨팅 디바이스를 사용하는 주체, 환경 및/또는 목적에 따라서 그 역할을 구분하여 설명하기로 한다.

실시예에서 컴퓨팅 디바이스는, 제 1 사용자 컴퓨팅 디바이스 및 제 2 사용자 컴퓨팅 디바이스로 구분될 수 있다. 보다 상세히, 제 1 사용자 컴퓨팅 디바이스는, 작업 현장으로부터 원격에 위치하는 원격 관리자의 원격 유저 컴퓨팅 디바이스로서, 네트워크를 기반으로 제 2 사용자 컴퓨팅 디바이스와 데이터를 송수신할 수 있다.

이하 설명에서는, 제 1 사용자 컴퓨팅 디바이스가 현장 작업자의 현장 유저 컴퓨팅 디바이스로부터 수신된 촬영영상에 기초한 확장현실 환경을 제공하고, 제공된 확장현실 인터페이스 환경 내에서 제 1 사용자 입력에 따라 현장 작업자에게 의사를 전달하기 위해 커뮤니케이션 데이터를 생성하는 작업 관리자의 원격 유저 컴퓨팅 디바이스임을 기준으로 설명한다.

여기서, 원격 관리자란, 작업이 진행되는 현장으로부터 원격의 위치에서 해당 현장 작업자의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 컨텐츠로 제공하는 자일 수 있다.

또한, 현장 작업자란, 작업 현장에서 수신된 작업 가이던스를 통해 제공된 확장현실 환경을 기반으로 실제 작업을 수행하는 자일 수 있다.

이하 설명에서, 제 1 사용자는 원격 관리자로, 제 2 사용자는 현장 작업자임을 기준으로 설명한다.

또한, 도 1의 컴퓨팅 디바이스 및 서버 시스템은, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 컴퓨팅 디바이스 및 서버 시스템 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

- 컴퓨팅 디바이스(Computing Device: 100, 200, 300, 400)

상기 컴퓨팅 디바이스는, 사용자에게 확장현실 환경을 제공하며, 이러한 확장현실 환경 내에서 음성, 화상 및 실제객체와 대응된 가상 컨텐츠를 이용하여 타사용자와 커뮤니케이션할 수 있는 확장현실 어플리케이션을 실행할 수 있다.

이러한 컴퓨팅 디바이스는, 확장현실 어플리케이션이 설치된 다양한 타입(예컨대, 모바일 타입, 데스크 탑 타입 또는 테이블 탑 타입)의 컴퓨팅 디바이스를 포함할 수 있다.

1. 모바일 타입 컴퓨팅 디바이스(100, 200)

도 2는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.

다른 예시에서 컴퓨팅 디바이스(100, 200)는, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(100, 200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 가상 컨텐츠를 표시하여 확장현실 환경을 사용자에게 제공할 수 있다.

예를 들어, 컴퓨팅 디바이스는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등이 포함될 수 있다.

모바일 타입 컴퓨팅 디바이스(100, 200)의 확장현실 어플리케이션은, 주변 물리적 공간(20)에서 실제객체(RO)와 마커(MK) 등을 이미지 캡처하고 디스플레이 시스템을 제어하여 표시할 수 있다. 또한, 확장현실 어플리케이션은, 인식된 마커(MK)에 대응되는 위치에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다. 또한, 확장현실 어플리케이션은, 특정 실제객체를 학습하여 인식할 수 있으며, 인식된 특정 실제객체의 위치에 대응되는 사용자의 시야에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다.

또한, 모바일 타입 컴퓨팅 디바이스(100, 200)의 3차원 보안처리 어플리케이션은, 사용자 주변의 물리적 공간에 대한 영상을 획득할 수 있다.

또한, 컴퓨팅 디바이스는, 획득된 물리적 공간 영상에 기초하여 3차원 보안영역을 설정할 수 있고, 설정된 3차원 보안영역에 대한 보안 처리를 수행할 수 있다. 또한, 3차원 보안처리 어플리케이션은, 설정된 3차원 보안영역이 보안 처리된 보안 영상을 생성하여 제공할 수 있다.

도 2를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(100, 200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(100, 200)의 하우징 내에 포함되도록 구성될 수 있다.

메모리(210)에는, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)이 저장되며, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)에는 확장현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(210)는 확장현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

실시예에서 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)은, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 제공하기 위한 각종 어플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.

또한, 메모리(210)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(210)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(210)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(220)는, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 구현하기 위하여, 메모리(210)에 저장된 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(220)는, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 제공하기 위하여 메모리(210)의 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서 어셈블리(220)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(230)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(500))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(230)은, 무선 네트워크를 통해 통신할 수 있다.

실시예에서 통신 모듈(230)은, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스와 관련된 커뮤니케이션 데이터를 서버 시스템(500) 및/또는 다른 컴퓨팅 디바이스(100, 200)와 송수신할 수 있다.

이러한 통신 모듈(230)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(260)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 컴퓨팅 디바이스(100, 200) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 컴퓨팅 디바이스(100, 200)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(100, 200)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

IMU(263)는 컴퓨팅 디바이스(100, 200)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(230)의 GPS와 같은 위치 통신 모듈(230)과 연동하여, 컴퓨팅 디바이스(100, 200) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(263)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(111)은 이러한 IMU(263) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(265)는, 컴퓨팅 디바이스(100, 200) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(265)는, 컴퓨팅 디바이스(100, 200) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(265)는 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(240)은, 컴퓨팅 디바이스(100, 200)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(240)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(240)을 통해 컴퓨팅 디바이스(100, 200)는, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(240)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(240)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(100, 200) 내부에 설치되는 실시예도 포함될 수 있다.

이러한 인터페이스 모듈(240)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(250)은 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(250)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(250)은, 인터페이스 모듈(240)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

디스플레이 시스템(270)은, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 모바일 타입 컴퓨팅 디바이스(100, 200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(100, 200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(100, 200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(100, 200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.

이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.

이러한 모바일 타입 컴퓨팅 디바이스(100, 200)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자에게 적합할 수 있다.

2. 데스크 탑 타입 컴퓨팅 디바이스(300)

도 3은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.

데스크 탑 타입 컴퓨팅 디바이스의 상기 구성요소에 대한 설명 중 중복되는 내용은 모바일 타입 컴퓨팅 디바이스(100, 200)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 모바일 타입 컴퓨팅 디바이스(100, 200)와의 차이점을 중심으로 설명한다.

도 3을 참조하면, 다른 예시에서 컴퓨팅 디바이스(300)는, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 네트워크 속도 반응형 확장현실(XR) 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자의 컴퓨팅 디바이스(300)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭된 가상 컨텐츠를 증강하여 표시함으로써, 확장현실 환경을 사용자에게 제공할 수 있다.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.

예시적으로, 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.

또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.

예시적인 구현으로, 데스크 탑 컴퓨팅 디바이스(300)의 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(311)은, 디스플레이 장치(370)를 통해 타유저의 컴퓨팅 디바이스(300)의 영상을 획득하여 출력할 수 있으며, 상기 영상에 대응한 사용자 입력을 수신하고 수신된 사용자 입력에 따라 영상에 대응되는 가상 컨텐츠를 생성할 수 있다.

또한, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(311)은, 영상의 물리적 공간 내 센서 시스템(260)이나 기 매칭된 가상 컨텐츠 소스로부터 데이터를 수신하고, 수신된 데이터를 영상과 매칭된 가상 컨텐츠로 생성할 수 있다.

또한, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(311)은, 이와 같이 생성된 가상 컨텐츠를 디스플레이 장치에서 출력되는 영상에 오버레이하여 출력함으로써, 사용자에게 확장현실 환경을 제공할 수 있다.

또한, 3차원 보안처리 어플리케이션 및/또는 확장현실 어플리케이션(311)은, 통신 모듈(330)을 통해 생성된 가상 컨텐츠를 커뮤니케이션 데이터로 송신하여, 음성, 화상과 더불어 물리적 공간에 대응된 가상 컨텐츠를 의사소통을 위한 매개로 활용할 수 있다.

예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.

데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 모바일 타입 컴퓨팅 디바이스(100, 200)의 구성요소에 대한 설명으로 대체하기로 한다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 현장 작업자의 컴퓨팅 디바이스(100, 200)와 연동하여 원격으로 지시나 필요한 정보를 전달하는 원격 관지라가 사용하기 유리할 수 있다.

3. 테이블 탑 타입 컴퓨팅 디바이스(400)

예시적 구현에 따르면 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 기존 데스크 탑 타입의 컴퓨팅 디바이스(300)와 다른 새로운 형상과 구조의 테이블 탑(Tabletop) 형상으로 구현될 수 있고, 이러한 경우 테이블 탑 내에 포함된 시스템을 통해 확장현실 환경을 제공할 수 있다.

테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 데스크 탑 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 데스크 탑 타입 컴퓨팅 디바이스(300)와의 차이점을 중심으로 설명한다.

도 4는 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 확장현실 커뮤니케이션을 경험하는 개념도이고, 도 5는 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.

테이블 탑(Tabletop) 타입 컴퓨팅 디바이스(400)란, 원격 관리자가 현장 작업자의 컴퓨팅 디바이스로부터 수신되는 영상을 용이하게 확인하고, 해당 영상에 표시되는 객체에 대한 작업 가이던스를 가상 컨텐츠를 기반으로 수월하게 입력하는 인터페이스 시스템을 제공하는 장치일 수 있다.

즉, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 타 유저의 컴퓨팅 디바이스로부터 획득되는 영상 상에, 현재 위치에서 획득되는 영상의 실제객체를 기반으로 생성되는 가상 컨텐츠를 표시한 증강/혼합현실 영상을 생성 및 제공하는 시스템일 수 있다.

도 4 및 도 5을 참조하면, 예시적인 테이블 탑 타입 컴퓨팅 디바이스(400)는, 메모리(410), 프로세서 어셈블리(420), 통신 모듈(430), 인터페이스 모듈(440), 입력 시스템(450), 센서 시스템(460) 및 디스플레이 시스템(470)을 포함할 수 있다.

이러한 구성요소들은 컴퓨팅 디바이스(400)의 하우징 내에 포함되도록 구성될 수 있다. 테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 상기 기술한 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 차이점을 중심으로 설명한다.

도 4를 보면, 예시의 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)을 통해 타 컴퓨팅 디바이스에서 촬영된 촬영영상과, 상기 촬영영상에 연관된 가상 컨텐츠를 출력하여 확장현실 환경을 사용자에게 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)의 디스플레이(471) 상에 터치 센서(473)를 통해 촬영영상에 대한 사용자의 포인팅, 드래그 등의 터치 입력을 받는 입출력 인터페이스를 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470) 상에 배치된 센서 시스템(460)(예컨대, 이미지 센서(461))를 통해 사용자의 손(LH, RH)의 제스처 입력을 받을 수 있으며, 가이드 도구(Guide tool, GT)에 따른 동작 입력을 받을 수 있다. 이러한 제스처 입력과 가이드 도구의 동작 입력 또한 디스플레이(471)에 촬영영상에 대응하여 입력될 수 있으며, 컴퓨팅 디바이스(300)는 촬영영상에 표시된 실제객체 이미지에 매칭하여 상기 사용자 입력을 감지할 수 있다.

즉, 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)의 확장현실 어플리케이션(411)은, 센서 시스템(460)을 통해 획득된 사용자 입력 기반으로 가상 컨텐츠를 시각화하여 제공하는 서비스를 구현하기 위한 일련의 프로세스를 실행할 수 있다. 이때, 사용자 입력은 디스플레이에 표시된 촬영영상에 대응하여 수행되기 때문에, 입출력 인터페이스를 함께 제공함으로써, 사용자는 좀더 직관적으로 촬영영상에 대한 사용자 입력이 가능할 수 있다.

- 서버 시스템(Server System: 500)

실시예에서 서버 시스템(500)은, 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 서버 시스템(500)은, 실세계의 물리적 공간에 존재하는 적어도 하나 이상의 실제객체에 대한 실제객체 정보를 기저장할 수 있다.

여기서, 실제객체 정보란, 실세계에 실존하는 실제객체에 대한 특징정보 및 3차원 공간정보를 포함하는 정보일 수 있다.

여기서, 특징정보란, 실제객체에 대한 형상정보(예컨대, 외형 정보 및/또는 크기 정보 등), 객체를 식별할 수 있는 객체명 및/또는 세부정보(예컨대, 해당하는 실제객체에서 수행하는 동작기능 정보 등)를 포함하는 정보일 수 있다.

또한, 3차원 공간정보란, 실제객체가 3차원 공간 상에서 가지는 좌표값(위치) 정보 및/또는 방위(방향) 정보 등을 포함하는 정보일 수 있다.

또한, 서버 시스템(500)은, 사용자 컴퓨팅 디바이스들과 통신 중계기 등 사이에서 네트워크 기반으로 송수신되는 커뮤니케이션 데이터의 교환을 중계할 수 있다.

이러한 서버 시스템(500)은, 데이터 중계 서버, 데이터 가공 서버, 가상 컨텐츠 데이터베이스 및 공간정보 데이터베이스를 포함할 수 있다.

자세히, 데이터 중계 서버는, 데이터 중계를 위한 통신설비 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 컴퓨팅 디바이스 간에 송수신하도록 중계할 수 있다. 예를 들어, 데이터 중계 서버는, 제 1 사용자의 컴퓨팅 디바이스와 제 2 사용자 컴퓨팅 디바이스 간에 송수신되는 커뮤니케이션 데이터를 네트워크 통신속도에 맞추어 제공하는 중계 역할을 수행할 수 있다.

또한, 데이터 가공 서버는, 네트워크 속도에 따라 서로 다르게 커뮤니케이션 데이터를 가공하는 역할을 수행할 수 있다. 이하, 실시예에서 네트워크 속도에 따른 커뮤니케이션 모드에 따라 커뮤니케이션 데이터를 가공하는 역할은 컴퓨팅 디바이스에서 수행되는 것으로 설명한다.

또한, 가상 컨텐츠 데이터베이스에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스는, 상기 가상 컨텐츠를 실제객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다.

그리고 가상 컨텐츠 데이터베이스는, 컴퓨팅 디바이스 요청시 상기 컴퓨팅 디바이스의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다.

또한, 공간정보 데이터베이스는, 특정 영역의 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다.

즉, 서버 시스템(500)은, 컴퓨팅 디바이스의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 컴퓨팅 디바이스를 통해 증강현실 환경 또는 확장현실 환경을 제공할 수 있다.

이러한 서버 시스템(500)은, 적어도 하나 이상의 컴퓨팅 서버, 데이터베이스 서버로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 커뮤니케이션 중계 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.

- 3차원 공간에 대한 보안기능을 제공하는 원격 통신방법

이하, 첨부된 도면을 참조하여 현장 유저 컴퓨팅 디바이스에서 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신 서비스를 제공하는 방법에 대해 상세히 설명하고자 한다.

도 6은 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법을 설명하기 위한 개념도이고, 도 7는 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법을 설명하기 위한 흐름도이다.

도 6 및 7를 참조하면, 본 발명의 실시예에서 현장 유저 컴퓨팅 디바이스(100)의 확장현실 어플리케이션(이하, 확장현실 어플리케이션은, 현장 디바이스 사용자 주변의 물리적 공간에 대한 영상을 획득할 수 있다. (S101)

자세히, 확장현실 어플리케이션은, 이미지 센서(카메라)를 이용하여 보안 처리를 수행하고자 하는 영역인 3차원 보안영역을 설정할 수 있는 현장 디바이스(100) 주변 물리적 공간을 촬영한 물리적 공간 영상을 획득할 수 있다.

도 8은 본 발명의 실시예에 따른 물리적 공간 영상이 보안 처리되는 모습의 일례이다.

이때, 도 8을 참조하면, 본 발명의 실시예에서 보안 처리란, 물리적 공간 영상 상에서 3차원 보안영역으로 설정된 일정 영역을 변환해 기존과 다르게 표시하여 식별하지 못하도록 하는 기능일 수 있다.

예를 들어, 확장현실 어플리케이션은, 지정된 3차원 보안영역에 대한 마스킹 처리(예컨대, 블러링, 모자이크 및/또는 암호화 처리 등)를 구현하는 보안 처리를 수행할 수 있다.

다시 돌아와서, 예를 들면 물리적 공간 영상을 획득하기 위하여 확장현실 어플리케이션은, 보안 처리하고자 하는 3차원 보안영역에 대하여 360도 연속 또는 일 시점의 단면 촬영을 수행할 수 있고, 이를 통해 물리적 공간 영상을 획득할 수 있다.

또한, 확장현실 어플리케이션은, 획득된 물리적 공간 영상을 기반으로 보안 처리를 수행하고자 하는 3차원 보안영역 설정할 수 있고, 설정된 3차원 보안영역에 대한 보안 처리를 수행할 수 있다. (S103)

자세히, 실시예에서 확장현실 어플리케이션은, 데이터베이스(컴퓨팅 디바이스의 메모리 및/또는 외부의 서버일 수 있음) 상에 적어도 하나 이상의 실제객체 정보를 기저장할 수 있다.

도 9는 본 발명의 실시예에 따른 실세계의 물리적 공간에 존재하는 적어도 하나 이상의 실제객체를 개념화하여 나타낸 모습의 일례이다.

도 9를 참조하면, 본 발명의 실시예에 따른 실제객체 정보란, 실세계에 실존하는 실제객체에 대한 특징정보 및 3차원 공간정보를 포함하는 정보일 수 있다.

즉, 실시예에서 확장현실 어플리케이션은, 위와 같이 실제객체 정보를 데이터베이스 상에 기저장할 수 있다.

이때, 확장현실 어플리케이션은, 적어도 하나 이상의 실제객체에 대한 실제객체 정보를 일괄적으로 획득하여 저장할 수도 있고, 특정 실제객체에 대한 실제객체 정보를 개별적으로 획득하여 저장할 수도 있다.

도 10는 본 발명의 실시예에 따른 실제객체 정보를 일괄적으로 획득하는 방법을 설명하기 위한 도면이다.

자세히, 도 10를 참조하면 확장현실 어플리케이션은, 1) 적어도 하나 이상의 실제객체(10-1, 10-2, 10-3, …)에 대한 실제객체 정보를 일괄적으로 획득하여 저장할 수 있다.

자세히, 확장현실 어플리케이션은, 먼저 복수의 실제객체(10-1, 10-2, 10-3, …)를 포함하는 물리적 공간을 이미지 센서 등을 기반으로 센싱하여 스캔한 정보인 스캔(scan) 정보를 획득할 수 있다.

또한, 확장현실 어플리케이션은, 획득된 스캔 정보를 기반으로 복수의 실제객체(10-1, 10-2, 10-3, …)에 대한 공간 학습을 수행할 수 있다.

실시예에서, 확장현실 어플리케이션은, 공간 학습을 수행하기 위하여 딥러닝 뉴럴 네트워크(Deep learning neural network)와 연동해 이미지 딥러닝(Image deep learning)을 수행할 수 있다.

예컨대, 확장현실 어플리케이션과 연동하는 딥러닝 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나일 수 있다.

또한, 확장현실 어플리케이션은, 이미지 딥러닝을 수행한 결과로 복수의 실제객체(10-1, 10-2, 10-3, …)에 대한 특징정보 및 3차원 공간정보를 획득하여 데이터베이스에 저장할 수 있다.

예를 들면, 확장현실 어플리케이션은, 획득된 스캔 정보를 기반으로 이미지 딥러닝을 수행하여 복수의 실제객체(10-1, 10-2, 10-3, …)가 실세계에서 점유하는 물리적 공간을 인식할 수 있다. 그리고 확장현실 어플리케이션은, 인식된 물리적 공간 내 복수의 실제객체(10-1, 10-2, 10-3, …)를 이미지 딥러닝에 기반한 분류 모델을 통하여 전경과 분리할 수 있고, 분리된 복수의 실제객체(10-1, 10-2, 10-3, …) 각각에 대한 특징정보 및 3차원 공간정보를 일괄적으로 획득할 수 있다. 또한, 확장현실 어플리케이션은, 획득된 특징정보 및 3차원 공간정보를 기반으로, 복수의 실제객체(10-1, 10-2, 10-3, …) 각각에 대한 실제객체 정보를 한 번에 일괄 생성하여 저장할 수 있다.

도 11는 본 발명의 실시예에 따른 실제객체 정보를 개별적으로 획득하는 방법을 설명하기 위한 도면이다.

한편, 도 11을 참조하면 확장현실 어플리케이션은, 특정 실제객체에 대한 실제객체 정보를 개별적으로 획득하여 기저장할 수 있다. 예를 들면, 확장현실 어플리케이션은, 제 1 실제객체(10-1)에 대한 제 1 실제객체(10-1) 정보를 기저장할 수 있다.

자세히, 확장현실 어플리케이션은, 먼저 제 1 실제객체(10-1)를 이미지 센서 등을 기반으로 센싱하여 스캔한 정보인 스캔(scan) 정보를 획득할 수 있다.

또한, 확장현실 어플리케이션은, 획득된 스캔 정보를 기반으로 제 1 실제객체(10-1)에 대한 공간 학습을 수행할 수 있다.

또한, 확장현실 어플리케이션은, 이미지 딥러닝을 수행한 결과로 제 1 실제객체(10-1)에 대한 특징정보 및 3차원 공간정보 획득하여 데이터베이스에 저장할 수 있다.

예를 들면, 확장현실 어플리케이션은, 획득된 스캔 정보를 기반으로 이미지 딥러닝을 수행하여 전경과 구분되는 제 1 실제객체(10-1)를 판별할 수 있다. 그리고 확장현실 어플리케이션은, 판별된 제 1 실제객체(10-1)에 대한 물리적 공간을 인식하여, 제 1 실제객체(10-1)에 대한 특징정보 및 3차원 공간정보를 획득할 수 있다. 또한, 확장현실 어플리케이션은, 획득된 특징정보 및 3차원 공간정보를 기반으로 제 1 실제객체(10-1)에 대한 실제객체 정보를 생성하여 저장할 수 있다.

이와 같이, 확장현실 어플리케이션은, 복수의 실제객체(10-1, 10-2, 10-3, …)에 대한 실제객체 정보를 일괄 획득하여 신속한 데이터베이스 구축을 도모할 수도 있고, 특정 실제객체를 특정하여 실제객체 정보를 획득하여 보다 정확한 데이터베이스 구축을 도모할 수도 있다.

또한, 본 발명의 실시예에서 확장현실 어플리케이션은, 위와 같이 적어도 하나 이상의 실제객체(10-1, 10-2, 10-3, …)에 대한 기학습을 수행하고 저장하여 관리함으로써, 추후 물리적 공간 영상 상에서 3차원 보안영역 설정을 위한 타겟이 되는 실제객체를 보다 신속하고 편리하게 검출하여 보안 처리할 수 있다.

다시 돌아와서, 본 발명의 실시예에 따른 확장현실 어플리케이션은, 이미지 센서를 통해 획득된 물리적 공간 영상에 기반하여, 위와 같이 데이터베이스에 저장된 적어도 하나 이상의 실제객체 정보 중 어느 하나를 독출할 수 있다.

자세히, 확장현실 어플리케이션은, 획득된 물리적 공간 영상으로부터 3차원 보안영역을 설정하고자 하는 실제객체를 결정할 수 있다.

실시예로, 확장현실 어플리케이션은, 사용자의 선택 입력 또는 기설정된 기준에 따라서 3차원 보안영역을 설정하려는 실제객체를 결정할 수 있다.

예를 들어, 확장현실 어플리케이션은, 물리적 공간 영상에 대한 이미지 딥러닝을 수행하여 가장 큰 면적을 차지하는 객체를 검출하고, 검출된 객체를 3차원 보안영역을 설정하고자 하는 실제객체로 결정하는 기설정된 기준을 기반으로 실제객체를 지정할 수 있다.

또한, 확장현실 어플리케이션은, 결정된 실제객체에 대한 형상정보(예컨대, 외형 정보 및/또는 크기 정보 등)를 도출할 수 있다.

실시예에서, 확장현실 어플리케이션은, 딥러닝 뉴럴 네트워크를 이용한 이미지 딥러닝을 기반으로, 결정된 실제객체에 대한 형상정보를 획득할 수 있다.

또한, 확장현실 어플리케이션은, 도출된 형상정보와, 데이터베이스에 기저장되어 있는 적어도 하나 이상의 실제객체 정보를 비교하여, 해당 형상정보와 일치하는 형상정보를 특징정보에 포함하는 실제객체 정보를 검출할 수 있다.

이때, 확장현실 어플리케이션은, 도출된 형상정보와 일치하는 형상정보를 가지는 실제객체 정보가 존재하여 검출된 경우, 검출된 실제객체 정보에 매칭되는 3차원 공간정보를 추출할 수 있다.

그리고 확장현실 어플리케이션은, 추출된 3차원 공간정보에 기반하여, 해당 물리적 공간 영상 상에서 해당 3차원 공간정보에 매칭되는 일정 영역을 3차원 보안영역으로 설정하여 보안 처리를 수행하거나, 또는 해당 3차원 공간정보에 매칭되는 일정 영역 외의 나머지 영역을 3차원 보안영역으로 설정하여 보안 처리를 수행할 수 있다.

예를 들면, 확장현실 어플리케이션은, 3차원 공간정보에 매칭되는 일정 영역 외의 나머지 영역을 3차원 보안영역으로 설정하여 보안 처리하는 경우, 먼저 물리적 공간 영상에서 상기 일정 영역 매칭되는 영상 영역을 분리하고, 상기 물리적 공간 영상의 나머지 영역을 3차원 보안영역으로 설정할 수 있다. 그리고 확장현실 어플리케이션은, 3차원 보안영역으로 설정된 부분의 영상을 마스킹 처리(예컨대, 블러링, 모자이크 및/또는 암호화 처리 등)하고, 그 외 부분의 영상은 그대로 유지하는 보안 처리를 수행할 수 있다.

이와 같이, 확장현실 어플리케이션은, 기학습되어 데이터베이스에 저장되어 있는 실제객체 정보를 기반으로 물리적 공간 영상의 적어도 하나 이상의 실제객체에 대한 보안 처리를 수행함으로써, 외부로의 유출이 제한되는 특정 정보를 포함하는 3차원 공간 영상에 대한 보안 처리를 보다 신속하고 편리하게 수행할 수 있다.

한편, 다른 실시예에서 확장현실 어플리케이션은, 데이터베이스 상에 기저장된 실제객체 정보가 부재하는 경우에도, 획득된 물리적 공간 영상을 기반으로 보안 처리를 수행하고자 하는 3차원 보안영역 설정할 수 있고, 설정된 3차원 보안영역에 대한 보안 처리를 수행할 수 있다.

자세히, 확장현실 어플리케이션은, 먼저 획득된 물리적 공간 영상을 기반으로 해당 물리적 공간에 대한 공간 학습을 수행할 수 있다.

예를 들면, 확장현실 어플리케이션은, Slam(Simultaneous localization and mapping) 시스템 등을 이용하여 획득된 물리적 공간 영상에 대한 공간 학습을 수행할 수 있다.

또한, 확장현실 어플리케이션은, 학습된 학습된 물리적 공간 내에 3차원 보안영역을 설정할 수 있는 3차원 보안영역 지정 인터페이스를 제공할 수 있다.

실시예에서, 확장현실 어플리케이션은, 3차원 보안영역 지정 인터페이스를 통하여 3차원 보안영역을 설정하고자 하는 실제객체를 지정하는 인터페이스 및/또는 3차원 보안영역을 설정하려는 실제객체에 대응하는 3차원 모델정보를 설정하는 인터페이스를 제공할 수 있다.

여기서, 3차원 모델정보란, 3차원 보안영역을 설정하려는 실제객체의 특징정보(특히, 외형정보)와 3차원 공간정보에 매칭되는 형상으로 생성되는 가상객체에 대한 정보일 수 있다. 즉, 3차원 모델정보는, 3차원 보안영역을 설정하려는 실제객체의 실제객체 정보를 기반으로 생성되는 가상객체에 대한 외형정보 및 3차원 공간정보를 포함할 수 있다.

보다 상세히, 확장현실 어플리케이션은, 3차원 보안영역을 설정하려는 공간 형상에 대응되는 가상객체인 3차원 모델을 결정할 수 있다.

예를 들어, 확장현실 어플리케이션은, 3차원 보안영역을 설정하려는 공간 형상(실제객체)이 사각박스형인 경우 3차원 모델을 육면체로 결정할 수 있다. 다른 예로, 확장현실 어플리케이션은, 3차원 3차원 보안영역을 설정하려는 공간 형상(실제객체)이 원통형인 경우 3차원 모델은 원기둥으로 결정할 수 있다.

또한, 확장현실 어플리케이션은, 결정된 3차원 모델을 물리적 공간 영상 상에 중첩하여 표시할 수 있다.

그리고 확장현실 어플리케이션은, 표시된 3차원 모델에 대한 수동 설정을 수행할 수 있는 3차원 모델 설정 인터페이스를 제공할 수 있다.

자세히, 확장현실 어플리케이션은, 표시된 3차원 모델이 3차원 보안영역을 설정하려는 실제객체와 최대한 일치하는 형상으로 구현되도록, 해당 3차원 모델에 대한 디테일한 형상 설정을 수행할 수 있는 3차원 모델 설정 인터페이스를 제공할 수 있다.

실시예에서, 확장현실 어플리케이션은, 3차원 모델 설정 인터페이스에 기초한 사용자 입력을 기반으로, 물리적 공간 영상에 표시된 3차원 모델에 대한 외형정보 및/또는 3차원 공간정보에 대한 설정을 수행할 수 있다.

예를 들면, 확장현실 어플리케이션은, 3차원 모델 설정 인터페이스에 기초한 사용자 입력을 기반으로, 3차원 모델에 대한 적어도 하나 이상의 포인트(꼭지점)를 지정할 수 있다. 다른 예로, 확장현실 어플리케이션은, 3차원 모델 설정 인터페이스를 통해 기즈모(Gizmos) 인터페이스를 제공하여, 3차원 모델의 위치 속성 및/또는 방향 속성 등을 변경하게 할 수 있고, 이를 통해 3차원 모델의 외형정보 및/또는 3차원 공간정보를 설정할 수 있다.

또한, 확장현실 어플리케이션은, 3차원 모델 설정 인터페이스를 통해 설정된 3차원 모델을 기반으로, 물리적 공간 영상 상에서 해당 3차원 모델에 대응되는 3차원 공간을 결정할 수 있고, 해당 3차원 모델에 대한 3차원 모델정보를 생성할 수 있다.

이후, 확장현실 어플리케이션은, 생성된 3차원 모델정보에 기반하여, 해당 물리적 공간 영상 상에서 상기 3차원 모델정보의 3차원 공간정보에 매칭되는 일정 영역을 3차원 보안영역으로 설정하여 보안 처리를 수행하거나, 또는 해당 3차원 공간정보에 매칭되는 일정 영역 외의 나머지 영역을 3차원 보안영역으로 설정하여 보안 처리를 수행할 수 있다.

예를 들면, 확장현실 어플리케이션은, 3차원 공간정보에 매칭되는 일정 영역 외의 나머지 영역을 3차원 보안영역으로 설정하여 보안 처리하는 경우, 먼저 해당 일정 영역과 나머지 영역을 상호 분리하고, 상기 나머지 영역을 3차원 보안영역으로 설정할 수 있다. 그리고 확장현실 어플리케이션은, 3차원 보안영역으로 설정된 부분의 영상을 마스킹 처리(예컨대, 블러링, 모자이크 및/또는 암호화 처리 등)하고, 그 외 부분의 영상은 그대로 유지하는 보안 처리를 수행할 수 있다.

이와 같이, 본 발명의 실시예에서 확장현실 어플리케이션은, 3차원 모델 설정 인터페이스를 포함하는 3차원 보안영역 지정 인터페이스에 기반한 사용자 입력을 기반으로 보안 처리를 수행함으로써, 상황에 따라서 사용자가 원하는 대로 3차원 보안영역을 유연하게 변경할 수 있고, 이에 기반한 보안 처리가 구현되게 할 수 있다.

또한, 본 발명의 실시예에서 확장현실 어플리케이션은, 설정된 3차원 보안영역이 보안 처리된 보안 영상을 생성하여 송신할 수 있다. (S105)

자세히, 확장현실 어플리케이션은, 이미지 센서를 통해 획득된 물리적 공간 영상 상에 3차원 보안영역을 설정하여 보안 처리한 영상인 보안 영상을 생성할 수 있고, 생성된 보안 영상을 원격 유저 컴퓨팅 디바이스(200)로 송신할 수 있다.

즉, 확장현실 어플리케이션은, 물리적 공간 영상의 일정 영역을 변환하여 보안 처리한 보안 영상을 생성해 원격 유저 컴퓨팅 디바이스(200)로 제공함으로써, 외부로의 유출이 제한되는 특정 정보를 포함하는 3차원 공간 영상에 대한 보안성을 증진시킬 수 있다.

이때, 실시예에 따라서 확장현실 어플리케이션은, 생성된 보안 영상을 내부 관리자 컴퓨팅 디바이스(300)를 거쳐서 원격 유저 컴퓨팅 디바이스(200)로 송신할 수 있다.

도 12은 본 발명의 실시예에 따른 내부 관리자 컴퓨팅 디바이스(300)가 현장 유저 컴퓨팅 디바이스와 원격 유저 컴퓨팅 디바이스(200)를 중개하는 방법을 설명하기 위한 개념도이다.

자세히, 도 12을 참조하면 현장 디바이스(100)는, 원격 유저 컴퓨팅 디바이스(200)로 보안 영상을 송신하기 위하여, 현장 디바이스(100)와 원격 유저 컴퓨팅 디바이스(200) 간의 각종 데이터 교환을 중재할 수 있는 내부 관리자 컴퓨팅 디바이스(300)로 보안 영상을 송신할 수 있다.

여기서, 실시예에 따른 내부 관리자 컴퓨팅 디바이스(300)는, 현장 디바이스(100)와 원격 유저 컴퓨팅 디바이스(200) 간의 보안 영상과 관련된 데이터 송수신을 포함하는 각종 커뮤니케이션을 중재하는 역할을 수행할 수 있다.

자세히, 내부 관리자 컴퓨팅 디바이스(300)는, 현장 디바이스(100)로부터 지정된 3차원 보안영역을 변경하는 인터페이스를 제공할 수 있다.

실시예에서, 내부 관리자 컴퓨팅 디바이스(300)는, 현장 디바이스(100)에서 설정된 3차원 보안영역을 2차 가공할 수 있는 인터페이스를 제공할 수 있고, 제공된 인터페이스에 기반한 사용자 입력을 기초로 3차원 보안영역에 대한 변경 업데이트를 수행할 수 있다.

그리고 내부 관리자 컴퓨팅 디바이스(300)는, 변경 업데이트된 3차원 보안영역을 기반으로 하는 보안 영상을 생성할 수 있고, 생성된 보안 영상을 원격 유저 컴퓨팅 디바이스(200)로 송신할 수 있다.

도 13은 본 발명의 실시예에 따른 내부 관리자 컴퓨팅 디바이스가 테이블 탑 타입의 컴퓨팅 디바이스로 구현되어 추가적인 3차원 보안영역을 설정하는 모습의 일례이다.

또한, 도 13을 참조하면, 내부 관리자 컴퓨팅 디바이스(300)는, 추가적인 3차원 보안영역을 설정하여 보안 처리를 수행하는 프로세스를 진행할 수 있다.

자세히, 내부 관리자 컴퓨팅 디바이스(300)는, 상술된 현장 디바이스(100)에서 3차원 보안영역을 설정하고 보안 처리를 수행하는 프로세스와 동일한 방식으로, 추가적인 3차원 보안영역을 설정하여 보안 처리를 수행할 수 있다. 이에 대한 자세한 설명은 이상에서 기재된 내용으로 대체하기로 한다.

이때, 내부 관리자 컴퓨팅 디바이스(300)는, 테이블 탑 타입 컴퓨팅 디바이스(400)을 통하여 추가적인 3차원 보안영역을 설정하고 보안 처리를 수행할 수 있다.

실시예로, 내부 관리자 컴퓨팅 디바이스(300)는, 테이블 탑 타입 컴퓨팅 디바이스(400)을 기반으로 획득되는 드로잉(drawing) 입력을 통하여 3차원 보안영역을 설정할 수 있다.

자세히, 내부 관리자 컴퓨팅 디바이스(300)는, 테이블 탑 타입 컴퓨팅 디바이스(400)을 통하여 3차원 보안영역으로 설정하려는 실제객체의 외곽을 따라서 입력되는 사용자의 드래그 입력을 기반으로, 3차원 보안영역을 설정하는 드로잉 입력을 획득할 수 있다.

그리고 내부 관리자 컴퓨팅 디바이스(300)는, 획득된 드로잉 입력에 기반하여 3차원 보안영역에 대한 변경 업데이트를 수행할 수 있다.

또한, 내부 관리자 컴퓨팅 디바이스(300)는, 변경 업데이트된 3차원 보안영역을 기반으로 하는 보안 영상을 생성할 수 있고, 생성된 보안 영상을 원격 유저 컴퓨팅 디바이스(200)로 송신할 수 있다.

또한, 실시예에 따른 내부 관리자 컴퓨팅 디바이스(300)는, 현장 디바이스(100)로부터 원격 유저 컴퓨팅 디바이스(200)로 제공되는 보안 영상에 대한 송신 차단 기능을 수행할 수 있다.

자세히, 내부 관리자 컴퓨팅 디바이스(300)는, 현장 디바이스(100)로부터 수신된 보안 영상에 대한 보안 처리가 미흡하다고 판단되는 등의 경우, 현장 디바이스(100)로부터 원격 유저 컴퓨팅 디바이스(200)로 보안 영상이 송신되는 것을 차단하는 송신 차단 기능을 활성화할 수 있다.

이와 같이, 본 발명의 실시예에서는, 현장 디바이스(100)에서 위와 같은 내부 관리자 컴퓨팅 디바이스(300)를 거쳐 원격 유저 컴퓨팅 디바이스(200)로 보안 영상을 송신함으로써, 네트워크를 통해 교환되는 보안 영상을 이중으로 관리 및 검열하여 보안성을 보다 강화할 수 있다.

이상, 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 네트워크를 통해 송수신되는 3차원 공간 영상의 일정 영역을 변환한 영상을 생성하여 해당 3차원 공간 영상에 대한 보안기능을 제공함으로써, 외부로의 유출이 제한되는 특정 정보를 포함하는 3차원 공간 영상에 대한 보안성을 강화할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템은, 현장 유저 컴퓨팅 디바이스에서 내부 관리자 컴퓨팅 디바이스(300)를 거쳐 원격 유저 컴퓨팅 디바이스(200)로 보안 처리된 3차원 공간 영상을 송신함으로써, 네트워크를 통해 송수신되는 영상을 이중으로 관리하고 검열하여 보안성을 보다 강화할 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims

컴퓨팅 디바이스에서 일정 영역이 보안된 3차원 공간 영상을 기초로 증강현실 환경 내 커뮤니케이션을 제공하는 증강현실 원격 통신방법으로서,
사용자 주변의 물리적 공간을 촬영한 물리적 공간 영상을 획득하는 단계;
상기 획득된 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계;
상기 설정된 3차원 보안영역을 기반으로 상기 물리적 공간 영상을 변환하는 보안 처리를 수행하는 단계; 및
상기 보안 처리를 수행하여 생성된 보안 영상을 제공하는 단계를 포함하고,
상기 획득된 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 복수의 실제객체를 포함하는 물리적 공간을 스캔하여 스캔 정보를 획득하는 단계와, 상기 스캔 정보를 기초로 상기 복수의 실제객체에 대한 공간 학습을 수행하여 상기 복수의 실제객체 각각의 특징정보 및 3차원 공간정보를 획득하는 단계와, 상기 복수의 실제객체의 3차원 공간정보 중 적어도 하나를 상기 3차원 보안영역으로 결정하는 단계와, 상기 결정된 3차원 보안영역을 사용자 입력에 따라 변경하는 3차원 보안영역 지정 인터페이스를 제공하는 단계를 포함하는,
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 1 항에 있어서,
상기 상기 스캔 정보를 기초로 상기 복수의 실제객체에 대한 공간 학습을 수행하여 상기 복수의 실제객체 각각의 특징정보 및 3차원 공간정보를 획득하는 단계는,
상기 물리적 공간 영상를 이미지 딥러닝 분석하여 검출된 상기 복수의 실제객체에 대한 상기 특징정보를 기초로 기 저장된 상기 실제객체에 대한 상기 3차원 공간정보를 획득하는 단계를 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 2 항에 있어서,
상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는,
상기 물리적 공간 영상 내에서 적어도 하나 이상의 실제객체를 검출하는 단계와, 상기 검출한 실제객체에 대한 형상정보를 추출하는 단계와, 상기 추출한 형상정보를 기저장된 실제객체 정보와 비교하는 단계와, 상기 추출한 형상정보와 매칭된 실제객체 정보를 검출하는 단계와, 상기 검출된 실제객체 정보에 대한 3차원 공간정보를 획득하는 단계를 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 1 항에 있어서,
상기 3차원 보안영역 지정 인터페이스는, 상기 3차원 보안영역의 3차원 공간영역에 대한 3차원 모델을 결정하는 단계와, 상기 3차원 모델을 상기 물리적 공간 영상 상에 중첩하여 표시하는 단계와, 상기 3차원 모델 상에 하나 이상의 포인트를 표시하고 상기 포인트에 대한 사용자 입력에 따라서 상기 3차원 모델의 형상, 위치 및 방향 중 적어도 하나의 속성을 변경한 후 변경된 상기 3차원 모델에 대한 3차원 모델정보를 생성하는 단계를 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 4 항에 있어서,
상기 획득된 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는, 상기 3차원 모델정보의 3차원 모델이 차지하는 3차원 공간을 기초로 상기 3차원 보안영역으로 설정하는 단계를 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 1 항에 있어서,
상기 물리적 공간 영상을 기반으로 3차원 보안영역을 설정하는 단계는,
상기 3차원 공간정보에 매칭되는 일정 영역 또는 상기 일정 영역을 제외한 나머지 영역을 상기 3차원 보안영역으로 설정하는 단계와, 상기 3차원 보안영역을 블러링한 3차원 보안영상을 표시하는 단계를 더 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.
제 6 항에 있어서,
상기 3차원 보안영역을 블러링한 3차원 보안영상을 표시하는 단계는,
상기 3차원 보안영상을 원격 유저 컴퓨팅 디바이스에 송신하는 단계와, 상기 원격 유저 컴퓨팅 디바이스로부터 상기 3차원 보안영상에 대한 가상 컨텐츠를 수신하는 단계와, 상기 수신된 가상 컨텐츠를 상기 3차원 보안영상 상에 오버레이한 증강현실 영상을 표시하는 단계를 포함하는
3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법.