KR102103399B1 - 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법 - Google Patents

Abstract

인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법이 개시된다. 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템은 스마트 디바이스로부터 주변영상을 입력받는 영상 입력부, 상기 입력받은 주변영상으로부터 딥러닝을 수행하는 딥러닝 처리부, 상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 사물인식 처리부, 상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 공간맵 생성부 및 상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 가상 증강정보 제어부를 포함한다.

Description

인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법{SYSTEM FOR OFFERING VIRTUAL-AUGMENTED INFORMATION USING OBJECT RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE AND THE METHOD THEREOF}

본 발명은 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법에 관한 것으로 특히, 원격지의 작업자와 상기 작업자로부터 원거리에 있는 전문가가 협업을 통해 작업을 수행하도록 원격협업을 지원하는 시스템 및 그 방법에 관한 것이다.

원격지의 작업자와 상기 작업자와 원거리에 있는 전문가 간의 의사소통 및 협업을 실현하기 위한 방법으로 다양한 시도들이 이루어지고 있다.

이러한 원격협업은 크게 비디오 영상 및 공간 기반의 원격협업으로 구분이 되며, 구현 형태에 따라 영상 기반 증강현실 원격협업, 영상 기반 혼합현실 원격협업, 가상현실 공간 기반 원격협업, 혼합현실 공간 기반 원격협업, 가상현실 to 혼합현실 공간 기반 원격협업으로 분류될 수 있다.

그러나 종래 기술들의 경우 착용형 디스플레이 기반 원격 협업 장치 및 방법 (한국공개특허 제10-2014-0108428호) 등과 같이 특정 공간(실내 또는 미리 설정된 공간)에 한정 되는 경우가 많으며, 비교적 넓은 실내 및 산업현장과 같은 열악한 환경에서의 원격협업은 불가능한 문제점이 있었다.

또한, 작업장 내에 존재하는 사물의 위치를 효과적으로 파악하고 저장하지 못하여 부정확한 공간 정보를 제공하게 되는 문제점이 있었다.

따라서, 인공지능에 기반하여 공간 내에 존재하는 사물을 정확하고 신속하게 인식하고 저장하여 작업자와 전문가에게 가상 증강정보를 제공할 수 있는 시스템 및 그 방법에 대한 연구의 필요성이 있다.

한국공개특허 제10-2014-0108428호

본 발명은 위도, 경도, 실내 위치를 기반으로 작은 셀단위의 공간 데이터 맵을 생성하고, 이를 기초로 가상 증강정보를 제공함으로써, 작업자와 전문가에게 표현되는 가상 증강정보가 보다 정확하게 제공될 수 있는 가상 증강정보 제공 시스템 및 그 방법을 제공한다.

본 발명은 스마트 디바이스(웨어러블 글라스, 스마트폰, 테블릿 등)를 통해 주변 영상을 획득하고 딥러닝을 통해 주변 환경 정보를 신속하게 업데이트함으로써, 변화하는 주변 환경 상황을 보다 빠르고 정확하게 반영할 수 있는 가상 증강정보 제공 시스템 및 그 방법을 제공한다.

본 발명은 3차원 공간 맵생성기술과 연계하여 원격협업을 지원함으로써, 보다 정확하고 광범위한 지역에서의 원격협업을 지원할 수 있는 가상 증강정보 제공 시스템 및 그 방법을 제공한다.

본 발명의 일실시예에 따른 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템은 스마트 디바이스로부터 주변영상을 입력받는 영상 입력부, 상기 입력받은 주변영상으로부터 딥러닝을 수행하는 딥러닝 처리부, 상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 사물인식 처리부, 상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 공간맵 생성부 및 상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 가상 증강정보 제어부를 포함한다.

본 발명의 일측면에 따르면, 상기 사물인식 처리부는, 입력받은 다수의 주변영상 중 기설정된 시간 간격으로 입력받은 제1주변영상 및 제2주변영상을 추출하여, 상기 제1주변영상에 포함된 객체를 분석하고 배경객체와 비배경객체를 분리하며, 상기 제1주변영상에서 비배경객체를 삭제한 후, 제2 주변영상에서 상기 비배경객체를 보강할 이미지를 추출하여 상기 제1주변영상에 합성하여 최종배경영상을 생성하고, 상기 공간맵 생성부는, 상기 공간 데이터 맵 내의 특정 셀 내에 이동물이 존재하는 것으로 판단한 경우, 상기 특정 셀의 속성에 이동물 속성값을 부여하여 상기 공간 데이터 맵을 업데이트할 수 있다.

본 발명의 일실시예에 따른 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 방법은 스마트 디바이스로부터 주변영상을 입력받는 단계, 상기 입력받은 주변영상으로부터 딥러닝을 수행하는 단계, 상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 단계, 상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 단계; 및 상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 단계를 포함한다.

본 발명의 일실시예에 따르면, 위도, 경도, 실내 위치를 기반으로 작은 셀단위의 공간 데이터 맵을 생성하고, 이를 기초로 가상 증강정보를 제공함으로써, 작업자와 전문가에게 표현되는 가상 증강정보가 보다 정확하게 제공될 수 있는 가상 증강정보 제공 시스템 및 그 방법이 제공된다.

본 발명의 일실시예에 따르면, 스마트 디바이스(웨어러블 글라스, 스마트폰, 테블릿 등)를 통해 주변 영상을 획득하고 딥러닝을 통해 주변 환경 정보를 신속하게 업데이트함으로써, 변화하는 주변 환경 상황을 보다 빠르고 정확하게 반영할 수 있는 가상 증강정보 제공 시스템 및 그 방법이 제공된다.

본 발명의 일실시예에 따르면, 3차원 공간 맵생성기술과 연계하여 원격협업을 지원함으로써, 보다 정확하고 광범위한 지역에서의 원격협업을 지원할 수 있는 가상 증강정보 제공 시스템 및 그 방법이 제공된다.

도 1은 본 발명의 실시예에 따른 인공지능 기반으로 사물을 인식하고 이를 활용하여 가상 증강정보를 제공하는 과정을 나타내는 개념도.
도 2는 본 발명의 실시예에 따른 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템을 나타내는 블록도.
도 3은 본 발명의 실시예에 따라 3차원 공간 내에 위도, 경도 기반의 작은 셀단위로 구성되는 공간 데이터 맵을 생성하여 이를 통한 가상 증강정보를 제공하는 과정을 설명하는 도면.
도 4는 본 발명의 실시예에 따라 작업자와 전문가 간의 협업을 통해 현장의 돌발상황에 대처하는 모습을 도시한 도면.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의　실시예들을 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 인공지능 기반으로 사물을 인식하고 이를 활용하여 가상 증강정보를 제공하는 과정을 나타내는 개념도이고, 도 2는 본 발명의 실시예에 따른 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템을 나타내는 블록도이며, 도 3은 본 발명의 실시예에 따라 3차원 공간 내에 위도, 경도 기반의 작은 셀단위로 구성되는 공간 데이터 맵을 생성하여 이를 통한 가상 증강정보를 제공하는 과정을 설명하는 도면이고, 도 4는 본 발명의 실시예에 따라 작업자와 전문가 간의 협업을 통해 현장의 돌발상황에 대처하는 모습을 도시한 도면이다.

도 1에 도시된 바와 같이, 현장에 있는 작업자가 웨어러블 기기를 착용한 상태에서 작업을 수행하던 중 돌발상황 등이 발생하여 외부의 전문가에게 협업을 요청해야 하는 경우, 상기 작업자의 웨어러블 기기를 통해 확인되는 정보를 통해 전문가가 돌발상황을 진단하고 그에 대한 솔루션을 제공할 수 있도록 전문가에게 현장 상황이 포함된 가상 증강정보를 제공하고, 현장의 작업자도 전문가가 제공하는 이행 정보를 웨어러블 글라스 등을 통해 관찰되는 가상 증강정보를 통해 보다 용이하게 이행할 수 있다.

이를 위해 본 발명의 일실시예에 따른 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템의 구성은 이하에서 보다 상세하게 설명한다.

도 2를 참고하면, 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템(100)은 스마트 디바이스로부터 주변영상을 입력받는 영상 입력부(110), 상기 입력받은 주변영상으로부터 딥러닝을 수행하는 딥러닝 처리부(120), 상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 사물인식 처리부(130), 상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 공간맵 생성부(140) 및 상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 가상 증강정보 제어부(150)를 포함할 수 있다.

여기서, 상기 사물인식 처리부(130)는, 입력받은 다수의 주변영상 중 기설정된 시간 간격으로 입력받은 제1주변영상 및 제2주변영상을 추출하여, 상기 제1주변영상에 포함된 객체를 분석하고 배경객체와 비배경객체를 분리하며, 상기 제1주변영상에서 비배경객체를 삭제한 후, 제2 주변영상에서 상기 비배경객체를 보강할 이미지를 추출하여 상기 제1주변영상에 합성하여 최종배경영상을 생성하고, 상기 공간맵 생성부(140)는, 상기 공간 데이터 맵 내의 특정 셀 내에 이동물이 존재하는 것으로 판단한 경우, 상기 특정 셀의 속성에 이동물 속성값을 부여하여 상기 공간 데이터 맵을 업데이트할 수 있다.

도 3에 도시된 바와 같이, 현장의 작업자가 현장의 정보를 웨어러블 기기를 통해 촬영하면 이러한 현장 정보를 3차원 공간 데이터 맵에 저장하되, 상기 3차원 공간 데이터 맵은 위도, 경도 기반의 작은 셀단위로 생성되고 관리될 수 있다.

이때, 공간 데이터 맵 내에서의 사물 변동 현황을 신속하게 반영하여 제공함으로써, 작업자와 전문가에게 공간 내의 변동 정보를 보다 정확하게 효과적으로 제공할 수 있다.

한편, 가상 증강정보 제공을 통한 작업자와 전문가의 협업은 일예로, 스마트폰, 스마트 태블릿, 스마트 글라스 등을 이용한 영상 기반 Augmented Reality Remote Collaboration을 통해 원격지의 작업자와 전문가가 협업할 수 있으며, 홀로렌즈 등을 사용하여 영상 기반 Mixed reality Remote Collaboration을 통한 협업, Sealed type HMD를 통해 Virtual Reality Remote Collaboration을 통한 협업 등 다양한 방식으로 이루어질 수 있다.

이와 같은 방식으로 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템이 구현될 수 있으며, AR (Augmented Reality) 및 VR (Virtual Reality) 기술을 결합하여 각 플랫폼의 장점을 강화하고, 원격 사용자를 가상의 머리와 손으로 표현한 후 AR 사용자의 실제 환경을 재구성하여 원격 VR 사용자와 공유하는 방법을 통해 둘 다 같은 공간을 공유하고 있는 것처럼 느끼도록 구현할 수도 있다.

또한 본 발명의 일실시예에 따른, 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.　 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 원격협업 시스템
110 : 영상 입력부
120 : 딥러닝 처리부
130 : 사물인식 처리부
140 : 공간맵 생성부
150 : 가상 증강정보 제어부

Claims (3)

1. 스마트 디바이스로부터 주변영상을 입력받는 영상 입력부;
   상기 입력받은 주변영상으로부터 딥러닝을 수행하는 딥러닝 처리부;
   상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 사물인식 처리부;
   상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 공간맵 생성부; 및
   상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 가상 증강정보 제어부
   를 포함하고,
   상기 사물인식 처리부는,
   입력받은 다수의 주변영상 중 기설정된 시간 간격으로 입력받은 제1주변영상 및 제2주변영상을 추출하여, 상기 제1주변영상에 포함된 객체를 분석하고 배경객체와 비배경객체를 분리하며, 상기 제1주변영상에서 비배경객체를 삭제한 후, 제2 주변영상에서 상기 비배경객체를 보강할 이미지를 추출하여 상기 제1주변영상에 합성하여 최종배경영상을 생성하고,
   상기 공간맵 생성부는,
   상기 공간 데이터 맵 내의 특정 셀 내에 이동물이 존재하는 것으로 판단한 경우, 상기 특정 셀의 속성에 이동물 속성값을 부여하여 상기 공간 데이터 맵을 업데이트하는 것을 특징으로 하는 가상 증강정보 제공 시스템.
2. 삭제
3. 스마트 디바이스로부터 주변영상을 입력받는 단계;
   상기 입력받은 주변영상으로부터 딥러닝을 수행하는 단계;
   상기 딥러닝을 수행한 영상 정보를 기반으로 상기 입력받은 주변영상 내의 사물을 인식하는 단계;
   상기 인식된 사물을 공간 데이터 맵에 가상 증강정보 형태로 반영하는 단계; 및
   상기 공간 데이터 맵 내에 반영된 가상 증강정보를 작업자와 전문가가 공유하고 편집하도록 제어하는 단계를 포함하고,
   상기 사물을 인식하는 단계는,
   입력받은 다수의 주변영상 중 기설정된 시간 간격으로 입력받은 제1주변영상 및 제2주변영상을 추출하여, 상기 제1주변영상에 포함된 객체를 분석하고 배경객체와 비배경객체를 분리하며, 상기 제1주변영상에서 비배경객체를 삭제한 후, 제2 주변영상에서 상기 비배경객체를 보강할 이미지를 추출하여 상기 제1주변영상에 합성하여 최종배경영상을 생성하고,
   상기 가상 증강정보 형태로 반영하는 단계는,
   상기 공간 데이터 맵 내의 특정 셀 내에 이동물이 존재하는 것으로 판단한 경우, 상기 특정 셀의 속성에 이동물 속성값을 부여하여 상기 공간 데이터 맵을 업데이트하는 것을 특징으로 하는 가상 증강정보 제공 방법.

Images