KR20220120266A

KR20220120266A - Ar 스마트 글래스 시스템

Info

Publication number: KR20220120266A
Application number: KR1020210024136A
Authority: KR
Inventors: 이윤석; 박지은; 강나영; 곽명훈; 소요환; 김선호
Original assignee: 한남대학교 산학협력단
Priority date: 2021-02-23
Filing date: 2021-02-23
Publication date: 2022-08-30
Also published as: KR102527918B1

Abstract

본 발명은 AR 스마트 글래스 시스템에 관한 것이다. 특히, 열영상 카메라, GPS 모듈 및 얼굴인식 모듈을 이용하여 팀 전쟁 시뮬레이션 레포츠 활동이나 시큐리티 분야 등에 적용될 수 있는 발명이다.

Description

AR 스마트 글래스 시스템{AR SMART GLASS SYSTEM}

AR 글래스(Augmented Reality glass, AR glass) 장치는 사용자의 머리에 착용하는 웨어러블 장치로써, 디스플레이를 통해 시각적 정보를 제공함으로써 사용자에게 증강 현실 서비스를 제공할 수 있다.

2019년 구글은 새 모델인 ‘구글 글래스 엔터프라이즈 에디션2’(구글 글라스 에디션2)를 공개했다. 구글 글래스는 2013년 출시된 최초의 증강현실(AR·Augmented Reality) 웨어러블 스마트 안경이다. 기기에 장착된 소형 프로젝터를 이용해 컴퓨터가 생성한 이미지를 사용자 눈에 투사하는 방식이다.

이를 통해 사용자는 현실 세계에서 컴퓨터 이미지들이 떠다니는 것을 볼 수 있다. 또 스마트폰과 연동되기 때문에 길을 찾거나 음성 명령으로 실시간 촬영이나 메시지를 주고받을 수도 있다. 안드로이드 OS를 채택해 첫 모델보다 이용자 편의성이 높다.

선행특허문헌을 참조하여 보면, 대한민국 공개특허공보 10-2021-0019826 에는 "AR 글래스 장치 및 그 동작 방법"이 기재되어 있다. 청구항 1을 살펴보면, "AR(Augmented Reality) 글래스 장치의 동작 방법에 있어서, 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작; 상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작; 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작; 상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작; 상기 AR 글래스 장치의 움직임을 측정하는 동작; 상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작; 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작; 및 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작; 을 포함하는, 방법."이 기재되어 있는데, 모션 정보에 기초하여 AR 글래스의 촬영 동작을 제어하는 것이 기술적 특징이다.

대한민국 등록특허공보 10-1540771 에는 "ＡＲ 글래스를 이용한 스포츠 경기 판정 시스템 및 방법"이 기재되어 있다. 청구항 1을 살펴보면, "경기를 촬영하기 위해 경기장 내에 설치되어 복수의 촬영 각도에서 동영상을 촬영하는 복수의 동영상 카메라; 상기 동영상 카메라에서 촬영된 동영상을 상기 동영상 카메라 별로 저장하고 심판의 음성 명령 또는 터치 명령에 대응되는 클립(clip) 동영상을 송신하는 동영상 서버; 상기 심판의 음성 명령을 입력받는 마이크로폰(microphone)과, 상기 심판의 터치 명령을 입력받는 터치패드(touch pad)와, 상기 마이크로폰을 통해 입력받은 음성 명령 또는 상기 터치패드에 의해 입력받은 터치 명령을 송신하고 상기 음성 명령 또는 터치 명령에 대응되는 클립 동영상을 수신하는 AR 글래스용 근거리 통신 모듈과, 상기 AR글래스용 근거리 통신 모듈에 의해 수신된 클립 동영상을 프리즘(prism)을 통해 상기 심판의 눈에 영사하는 프로젝터(projector)를 포함하는 심판용 AR 글래스(augmented-reality glass); 상기 AR 글래스용 근거리 통신 모듈로부터 음성 명령 또는 터치 명령을 수신하는 스마트폰용 근거리 통신 모듈과, 상기 AR 글래스용 근거리 통신 모듈로부터 수신된 음성 명령 또는 터치 명령을 상기 동영상 서버로 송신하고 상기 동영상 서버로부터 상기 음성 명령 또는 터치 명령에 대응되는 클립 동영상을 수신하는 이동통신 모듈을 포함하고, 상기 스마트폰용 근거리 통신 모듈은 상기 이동통신 모듈에서 수신된 클립 동영상을 상기 AR 글래스용 근거리 통신 모듈로 송신하는 심판용 스마트 폰; 동작 시간이 상기 스마트폰용 근거리 통신 모듈 및 이동통신 모듈을 통해 상기 동영상 서버에 저장된 동영상의 촬영 시간과 동기화되는 심판용 타이머(timer)를 포함하고, 상기 동영상 서버는, 상기 음성 명령에 따라 소정 등번호(back number), 소정 카메라 번호, 소정 초(second) 이전의 클립 동영상을 추출하여 송신하거나, 상기 터치 명령에 따라 미리 지정된 소정 초(second) 이전의 클립 동영상을 추출하여 송신하도록 구성되는 것을 특징으로 하는 AR 글래스를 이용한 스포츠 경기 판정 시스템"이 기재되어 있는데, 동영상 서버, 심판용 AR 글래스, 심판용 스마트폰 및 심판용 타이머로 시스템을 구성하여 스포츠 경기 판정에 활용하는 것을 특징으로 하고 있다.

대한민국 등록특허공보 10-2051889 에는 "스마트 글래스에서 ２Ｄ 데이터를 기반으로 ３Ｄ 증강현실을 구현하는 방법 및 시스템"이 기재되어 있다. 청구항 1을 살펴보면, 스마트 글래스(smart glass)에 포함된 증강현실 구현 시스템에 의해 수행되는 증강현실 구현 방법에 있어서, 상기 스마트 글래스의 2D 카메라를 통해 2D 이미지 데이터를 수집하는 단계; 2D 이미지 호모그래피 행렬 추측 알고리즘을 이용하여 상기 2D 이미지 데이터에서 2D 좌표 데이터를 생성하는 단계; 상기 스마트 글래스의 위치 및 회전 데이터와 주변 공간의 3D 환경 정보에 기초하여 상기 2D 좌표 데이터에서 3D 좌표를 생성하는 단계; 및 상기 스마트 글래스의 홀로그래픽 디스플레이(holographic display)를 통해 상기 3D 좌표를 이용하여 증강현실 객체를 표시하는 단계를 포함하고, 상기 3D 좌표를 생성하는 단계는, 상기 스마트 글래스의 각도와 거리 정보에 대응하는 투영 행렬을 계산하는 단계; 상기 2D 좌표 데이터를 카메라 공간 좌표로 정규화하는 단계; 상기 정규화된 공간 좌표에서 상기 스마트 글래스의 시선과 직각을 이루는 가상의 평면을 생성하는 단계; 상기 투영 행렬을 이용하여 상기 가상의 평면 상의 3D 좌표점을 생성하는 단계; 및 상기 3D 좌표점을 이용하여 상기 증강현실 객체를 표시할 3D 공간 좌표를 결정하는 단계를 포함하는 증강현실 구현 방법."이 기재되어 있는데, 2D 카메라 이미지 데이터에서 2D 좌표 데이터를 생성한 후 2D 좌표 데이터에서 3D 좌표 데이터를 생성하는 과정을 기술적 특징으로 하고 있다.

본 출원발명은 범용성을 위한 어플리케이션 탑재용 임베디드 AR 글래스 단말기 시스템 개발로써 기존의 개발된 HMD 기반의 위치정보 시스템에 쉽고 빠르게 적용할 수 있는 AR 스마트 글래스에 관한 것이다.

특히, 열화상 카메라, GPS 모듈 및 얼굴인식 모듈을 이용하여 팀 전쟁 시뮬레이션 레포츠 활동이나 시큐리티 분야 등에 적용될 수 있는 발명이다.

대한민국 공개특허공보 10-2021-0019826 (2021.02.23 공개) 대한민국 등록특허공보 10-1540771 (2015.07.24 등록) 대한민국 등록특허공보 10-2051889 (2019.11.28 등록)

해결과제는 카메라, 열영상 카메라, GPS 모듈 및 얼굴인식 모듈을 이용하여 팀 전쟁 시뮬레이션 레포츠 활동이나 시큐리티 분야 등에 적용될 수 있는 AR 글래스 시스템을 제공하는 것이다.

해결수단은,

디스플레이부, 프로젝션 및 카메라를 구비한 AR 글래스; 및 열영상 카메라, GPS 모듈 및 프로세서를 구비한 제어수단;을 포함하되, AR 글래스와 제어수단은 유무선으로 연결되도록 포함된 AR 스마트 글래스 시스템에 있어서,

카메라 또는 열영상 카메라가 영상을 촬상하면, GPS 모듈이 AR 글래스 착용자의 GPS 정보 및 상기 영상 중 촬상대상의 GPS 정보를 연산하고, 프로세서가 영상과 상기 촬상대상의 GPS 정보를 중첩하여 프로젝션에 전송한 후 프로젝션이 디스플레이부에 투사하는 것을 특징으로 하는, AR 글래스 시스템이다.

상기에서,

상기 시스템은, 제어수단과 무선으로 연결되는 서버;를 추가로 포함하고,

제어수단은 얼굴인식수단을 추가로 포함하여,

얼굴인식수단이 촬상대상이 사람이라고 구별하면,

서버는, 1명 이상의 글래스 착용자의 GPS 정보 및 촬상대상의 GPS 정보를 이용하여 맵 영상을 제작하여 상기 제어수단에 전송하고,

상기 프로세서는 상기 맵 영상을 프로젝션에 전송한 후 프로젝션이 디스플레이부에 투사하는 것을 특징으로 한다.

상기에서,

상기 얼굴인식수단이 촬상대상이 특정 사람이라고 구별하면,

서버는 특정 사람의 정보를 추가로 이용하여 맵 영상을 제작하는 것을 특징으로 한다.

다른 해결수단은,

디스플레이부 및 카메라를 구비한 AR 글래스; 열영상 카메라, GPS 모듈 및 얼굴인식모듈을 구비한 제어수단; 및 서버;를 포함하는 AR 글래스 시스템의 동작방법에 있어서,

카메라 또는 열영상 카메라가 영상을 촬상하는 1 단계;

GPS 모듈이 AR 글래스 착용자의 GPS 정보 및 상기 영상 중 촬상대상의 GPS 정보를 연산하는 2 단계;

얼굴인식모듈이 촬상대상이 사람인지를 구별하는 3 단계;

서버는, 촬상대상이 사람이면, 1명 이상의 글래스 착용자의 GPS 정보 및 촬상대상의 GPS 정보를 이용하여 맵 영상을 제작하는 4 단계; 및

디스플레이이부는 영상과 촬상대상의 GPS 정보를 중첩하여 디스플레이 하거나 상기 맵 영상을 디스플레이하는 5 단계;를 포함하는 AR 글래스 시스템의 동작방법이다.

상기에서,

상기 3 단계 이후에 얼굴인식모듈이 촬상대상이 특정 사람인지를 구별하는 단계를 추가로 포함하고,

상기 4 단계는, 촬상대상이 사람이면서 특정 사람이면 맵 영상에 특정 사람의 정보가 포함되도록 제작하는 것을 특징으로 한다.

본 발명은 카메라, 열영상 카메라, GPS 모듈 및 얼굴인식 모듈을 이용하여 팀 전쟁 시뮬레이션 레포츠 활동이나 시큐리티 분야 등에 적용될 수 있는 효과를 보유하고 있다.

특히, 영상, GPS 정보 및 얼굴 인식을 이용하여, 영상과 GPS 정보가 중첩된 정보를 제공하거나 복수 명의 사용자 위치 정보가 표시되는 맵 영상을 제공할 수 있는 효과가 있다.

도 1은 본 발명에 따른 AR 글래스 시스템의 개략적인 구성도이다. 도 2는 본 발명에 따른 AR 글래스 시스템의 AR 글래스의 개략적인 구성도이다. 도 3은 본 발명에 따른 AR 글래스 시스템의 AR 글래스의 개략적인 모델링 도면이다. 도 4는 본 발명에 따른 AR 글래스 시스템이 구동되는 방법의 일 예를 흐름도로 표시한 도면이다. 도 5는 본 발명에 따른 AR 글래스 시스템의 시제품 사진이다.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에 따른 AR 글래스 시스템은 AR 글래스, 제어수단 및 서버로 구성된다. 제어수단은 AR 글래스와 유무선으로 연결되고, 서버와 무선으로 연결된다.

AR 글래스는 디스플레이부, 카메라, 터치패드, 유무선통신부, 프로젝션 및 배터리를 포함한다. AR 글래스 일측 글래스에 디스플레이부, 카메라 및 프로젝션을 구비하고, 글래스 다리 부위에 통신부 및 터치패드를 구비하여 구성된다. 설계조건에 따라서는, 카메라 및/또는 프로젝션은 글래스 외곽 부위나 또는 외곽에 형성된 지지수단에 구비될 수도 있다.

사용자는가 AR 글래스를 착용한 상태에서, 카메라 또는 열영상 카메라 센서에서 촬상하는 영상을 프로젝션이 디스플레이부에 투사하면 글래스 디스플레이부를 통해 사용자가 영상을 볼 수 있다. 또한 카메라 촬상 영상 정보 또는 열영상 카메라 센서 영상은 제어수단을 통해 서버로 전송된다.

터치패드는 제어수단과 연동하여 AR 글래스 시스템의 기능을 제어할 수 있는 수단으로 카메라의 온/오프, 줌인/줌아웃, 위치 정보 표시 온/오프, 열영상 카메라 온/오프, 맵 영상 표시 온/오프, 디스플레이 화상도 제어, 얼굴인식 온/오프 등을 제어할 수 있다. 설계조건에 따라서, 간단한 제어 메뉴 화면이 디스플레이부에 투사되면 이를 셀렉트해서 시스템 기능을 제어할 수 있도록 한다.

제어수단은 AR 글래스와 서버 사이에서 각 구성요소간 상호 기능 연동 작용을 수행한다.

제어수단은 열영상 카메라 센서, GPS 모듈 및 임베디드 단말기 보드를 포함한다. 도 1에는 세 가지 구성요소가 별도로 도시되어 있으나, 세 가지 구성요소는 보드에 함께 위치할 수 있다. 또한, 케이스가 도시되어 있지 않지만, 세 가지 구성요소는 케이스에 구비되어 별도의 벨트로 머리, 어깨 또는 허리에 장착될 수 있다.

먼저, 열영상 카메라 센서는 야간에 열영상을 촬상하여 프로젝션에 전송하면 프로젝션이 디스플레이부에 투사하는 기능을 수행하고, 단말기 보드는 촬상 정보를 서버로 전송한다. 사용자는 주간에는 글래스에 구비된 카메라를 이용하다가 야간에는 열영상 카메라 센서를 이용할 수 있다.

GPS 모듈은 카메라 또는 열영상 카메라에 비추어지는 대상의 GPS 정보를 계산하여 단말기 보드 및 서버에 그 정보를 전송한다. 예를 들어, 사용자의 GPS 정보를 이용하여 카메라 또는 열영상 카메라의 촬상 대상의 GPS 정보를 계산한다. 촬상대상까지의 거리 정보가 합산되어 계산될 수 있다.

임베디드 단말기 보드는 운영체계 및 응용 어플리케이션이 포함된 프로세서와 무선통신부를 포함한다. 단말기 보드는 기본적으로 카메라 영상 정보, 열영상 카메라 영상 정보, 사용자 GPS 정보, 촬상 대상 GPS 정보 등을 서버로 전송하고, 서버에서 전송된 정보를 처리하여 글래스 디스플레이부에 표시되도록 한다.

단말기 보드는 GPS 모듈이 촬상 대상의 GPS 정보를 계산하여 전송하면 이 정보를 카메라 영상 또는 열영상 카메라 영상에 중첩하여 프로젝션에 전송한다.

또한, 서버에서 전송된 맵 영상 정보를 프로젝션에 전송하여 디스플레이부에 전송되도록 한다.

단말기 보드 또는 서버는 얼굴인식모듈을 포함한다. 얼굴인식모듈은 기하학적 특징을 가지고 촬상 대상이 사람인지를 확인하는 정도의 기능을 수행하는 모듈일 수도 있고, 특정한 얼굴들의 정보를 데이터베이스로 저장해놓고 있다가 특정 대상인지를 매칭하는 기능까지도 수행하는 모듈일 수도 있다. 특정 대상인 경우에는 그 사람의 이름, 직위 등의 정보가 함께 데이터베이스에 포함될 수 있다.

얼굴인식모듈은 야간에 열영상 카메라 영상 중 촬상 대상이 사람이나 데이터베이스에 있는 사람이라고 인식하게 되면 알람 정보를 별도로 생성할 수도 있다.

서버는 단말기 보드에서 전송된 정보를 지속적으로 저장하고 분석하는 기능을 수행한다. 특히, 카메라 영상, 열영상 카메라 영상, 사용자 GPS 정보, 촬상 대상 GPS 정보, 얼굴인식 정보, 알람정보 등을 총합하여 맵 영상 정보를 생성하여 단말기 보드로 전송하는 기능을 수행한다.

맵 영상은 사용자 위치를 중심으로 하는 지도 맵을 기본으로 촬상 대상의 거리와 이동 방향 정보를 표시된 영상이다.

서버는 AR 글래스 사용자가 복수 명이고 촬상 대상이 복수 명일 경우에 각 사용자 단위로 맵 영상을 제작하거나 전체 맵 영상을 제작하여 전송한다. 예를 들어, 팀 전쟁 시뮬레이션 레포츠 활동이나 시큐리티 분야에서는 아군과 적군이 복수 명이기 때문에 아군의 위치와 적군의 위치를 모두 분석하여 아군 각자에게 맞는 맵 영상과 전체 아군과 적군의 위치상황에 대한 맵 영상을 제작하는 경우이다.

본 발명에 따른 AR 글래스 시스템 구동방법에 대해서 살펴보면 다음과 같다.

1단계) 카메라, 열영상 카메라, GPS 모듈, 얼굴인식모듈, 맵 영상 제작 서버 및 디스플레이부를 포함하는 AR 글래스 시스템에 있어서, 카메라 또는 열영상 카메라가 영상을 촬상하는 단계

2단계) GPS 모듈이 글래스 착용자의 GPS 정보와 영상 중 촬상대상의 GPS 정보를 연산하는 단계

3-1단계) 얼굴인식모듈이 촬상대상이 사람인지를 구별하는 단계

3-2단계) 얼굴인식모듈이 촬상대상이 특정 사람인지를 구별하는 단계

4단계) 촬상대상이 사람이거나 특정 사람이면, 맵 영상 제작 서버는 1명 이상의 글래스 착용자의 GPS 정보, 촬상대상의 GPS 정보, 특정 사람의 정보 등을 이용하여 맵 영상을 제작하는 단계

5단계) 디스플레이부는 영상과 촬상대상의 GPS 정보를 중첩하여 디스플레이 하거나 상기 맵 영상을 디스플레이하는 단계

이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

Claims

디스플레이부, 프로젝션 및 카메라를 구비한 AR 글래스; 및 열영상 카메라, GPS 모듈 및 프로세서를 구비한 제어수단;을 포함하되, AR 글래스와 제어수단은 유무선으로 연결되도록 포함된 AR 스마트 글래스 시스템에 있어서,
카메라 또는 열영상 카메라가 영상을 촬상하면, GPS 모듈이 AR 글래스 착용자의 GPS 정보 및 상기 영상 중 촬상대상의 GPS 정보를 연산하고, 프로세서가 영상과 상기 촬상대상의 GPS 정보를 중첩하여 프로젝션에 전송한 후 프로젝션이 디스플레이부에 투사하는 것을 특징으로 하는, AR 글래스 시스템.
청구항 1에 있어서,
상기 시스템은, 제어수단과 무선으로 연결되는 서버;를 추가로 포함하고,
제어수단은 얼굴인식수단을 추가로 포함하여,
얼굴인식수단이 촬상대상이 사람이라고 구별하면,
서버는, 1명 이상의 글래스 착용자의 GPS 정보 및 촬상대상의 GPS 정보를 이용하여 맵 영상을 제작하여 상기 제어수단에 전송하고,
상기 프로세서는 상기 맵 영상을 프로젝션에 전송한 후 프로젝션이 디스플레이부에 투사하는 것을 특징으로 하는, AR 글래스 시스템.
청구항 2에 있어서,
상기 얼굴인식수단이 촬상대상이 특정 사람이라고 구별하면,
서버는 특정 사람의 정보를 추가로 이용하여 맵 영상을 제작하는 것을 특징으로 하는, AR 글래스 시스템.
디스플레이부 및 카메라를 구비한 AR 글래스; 열영상 카메라, GPS 모듈 및 얼굴인식모듈을 구비한 제어수단; 및 서버;를 포함하는 AR 글래스 시스템의 동작방법에 있어서,
카메라 또는 열영상 카메라가 영상을 촬상하는 1 단계;
GPS 모듈이 AR 글래스 착용자의 GPS 정보 및 상기 영상 중 촬상대상의 GPS 정보를 연산하는 2 단계;
얼굴인식모듈이 촬상대상이 사람인지를 구별하는 3 단계;
서버는, 촬상대상이 사람이면, 1명 이상의 글래스 착용자의 GPS 정보 및 촬상대상의 GPS 정보를 이용하여 맵 영상을 제작하는 4 단계; 및
디스플레이이부는 영상과 촬상대상의 GPS 정보를 중첩하여 디스플레이 하거나 상기 맵 영상을 디스플레이하는 5 단계;를 포함하는 AR 글래스 시스템의 동작방법.
청구항 4에 있어서,
상기 3 단계 이후에 얼굴인식모듈이 촬상대상이 특정 사람인지를 구별하는 단계를 추가로 포함하고,
상기 4 단계는, 촬상대상이 사람이면서 특정 사람이면 맵 영상에 특정 사람의 정보가 포함되도록 제작하는 것을 특징으로 하는 AR 글래스 시스템의 동작방법.