KR20210088914A

KR20210088914A - 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇

Info

Publication number: KR20210088914A
Application number: KR1020200001992A
Authority: KR
Inventors: 권정인; 한수현; 신민철; 송승현
Original assignee: 엘지전자 주식회사
Priority date: 2020-01-07
Filing date: 2020-01-07
Publication date: 2021-07-15
Also published as: US11422564B2; US20210208594A1

Abstract

본 발명은 이동로봇이 주행하는 공간의 이미지를 촬영한 후, 촬영된 이미지에서 개인 정보가 포함된 경우, 개인 정보가 포함된 이미지를 특정 색상으로 덮은 뒤, 개인 정보가 보여지지 않도록 하고, 개인 정보가 포함되지 않은 이미지로 대체할 수 있도록 한다. 이로 인해 개인 정보에 대한 정보가 외부로 노출되는 것을 방지할 수 있다. 이와 같이 이미지에서 개인 정보가 포함된 여부를 판단하고, 개인 정보가 포함되지 않은 이미지로 대체하기 위해서 객체 인식 신경망과 프레임 예측 신경망을 이용할 수 있다. 또한, 이미지의 입력 및 출력은 5G 네트워크를 이용한 사물 인터넷 환경에서 이루어질 수 있다.

Description

공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇{METHOD FOR MAKING SPACE MAP AND MOVING ROBOT}

본 발명은 이동로봇이 공간을 이동하며 촬영한 이미지에 개인 정보가 포함되는 경우, 개인 정보가 표시되지 않도록 개인 정보가 포함된 제1 이미지 프레임을 처리한 후 처리된 제1 이미지 프레임을 대체한 대체 제1 이미지 프레임을 포함한 공간의 맵을 생성하도록 하는 기술에 관한 것이다.

이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당했다. 최근에는 로봇을 응용한 분야가 더욱 확대되고 있으며, 예컨대 의료용 로봇, 우주항공 로봇 등이 있다. 또한, 일반 가정에서 사용할 수 있는 가정용 로봇도 개발되고 있다. 이러한 로봇 중에서 자력으로 주행 가능한 로봇을 이동로봇이라고 한다.

이러한 이동로봇 중 가정에서 사용되는 이동로봇의 대표적인 예는 로봇청소기가 될 수 있으며, 로봇청소기는 사용자의 조작 없이도 청소하고자 하는 구역 내를 스스로 주행하면서 바닥 면으로부터 먼지 등의 이물질을 흡입할 수 있다. 즉, 로봇청소기는 청소하고자 하는 구역을 자동으로 청소하는 기기를 말한다.

특히, 로봇청소기가 청소하고자 하는 구역을 청소하기 위해서는 청소하고자 하는 구역의 맵(Map)을 생성해야 한다. 맵을 생성하기 위해서는 청소하고자 하는 구역을 촬영한 후, 촬영한 이미지를 기초로 로봇청소기가 이동하는 주행 동선을 설정할 수 있다.

이때 촬영된 이미지에 개인의 얼굴, 아이디(ID) 정보가 포함된 이미지 등의 개인 정보가 포함될 수 있다. 특히 촬영된 이미지는 외부 서버나 로봇 청소기에 저장될 수 있고, 외부 서버나 로봇 청소기를 통해 개인 정보가 포함된 이미지를 다운받을 수 있으므로 이미지에 포함된 개인 정보의 개인정보가 노출될 수 있다는 문제가 있다.

이와 관련하여 한국공개특허 10-2016-0086794호 '로봇 청소기 및 그의 제어방법'에서는 사용자가 의도하는 명령을 정확하게 인식하고 실행할 수 있도록 로봇 청소기가 사용자의 제스쳐 인식 명령을 인식한 후 활성화된 촬영부를 통해 사용자 이미지를 정확하게 획득하여 인식할 수 있도록 하는 기술이 개시되어 있다.

상기의 '로봇 청소기 및 그의 제어 방법'은 촬영한 사용자의 팔 이미지를 통해 사용자가 나타내는 의도를 판단하는 기술이 개시되어 있으나, 이미지를 통해 개인 정보가 노출될 수 있으며, 이를 위해 개인 정보가 포함된 이미지를 저장하거나 사용하지 않도록 하는 기술에 대해서는 개시되어 있지 않다.

또한, 한국공개특허 제10-2019-0110498호 '영상 파일에서 불특정 개인 정보의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법' 에서는 동영상 또는 사진을 포함하는 영상 파일에서 불특정 개인 정보의 얼굴 영역을 비식별화 처리할 수 있는 기술이 개시되어 있다.

그러나 상기 '영상 파일에서 불특정 개인 정보의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법'은 동영상 또는 사진을 포함하는 영상 파일에서 사용자가 모르는 불특정 개인 정보의 얼굴 영역을 비식별화 처리한 후, 비식별화 처리한 프레임에 주변의 환경과 매칭되는 이미지를 대체하는 기술에 대해서는 구체적으로 개시되어 있지 않다.

따라서, 로봇 청소기에서 촬영한 이미지에 개인 정보가 포함된 경우, 개인 정보를 처리할 수 있으며, 처리된 이미지 대신 개인 정보가 포함된 이미지 전, 후 배경과 매칭되는 이미지를 대체할 수 있는 기술이 필요하다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명의 일 과제는, 이동로봇이 촬영한 이미지에 포함된 개인 정보를 처리하도록 하여 이미지를 통해 개인 정보가 노출되는 것을 방지하고자 하는데 있다.

또한 본 발명의 다른 과제는, 이동로봇이 촬영한 피 촬영자와 이미지에 포함된 개인 정보의 정보가 일치하지 않는 경우, 피 촬영자의 정보를 이동로봇을 사용하는 사용자에게 알림으로써, 이동로봇 사용의 보안성을 향상하고자 하는데 있다.

본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

상기 과제들을 달성하기 위하여, 본 발명의 실시 예에 따른 공간 맵 정보 생성 방법은, 공간에 대한 복수의 이미지 프레임을 수신하고, 상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임을 식별한 뒤, 상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리한 후, 처리된 상기 제1 이미지 프레임을 대체한 대체 제1 이미지 프레임을 포함하여 생성된 상기 공간의 맵을 저장하는 과정으로 이루어질 수 있다.

이로 인해, 이동로봇이 촬영한 이미지에 포함된 개인 정보를 처리하도록 하여 이미지를 통해 개인 정보가 노출되는 것을 방지할 수 있다.

또한, 본 발명의 실시 예에 따른 공간 맵 정보를 생성하는 이동로봇은, 하나 이상의 프로세서와 상기 프로세서들에 연결되는 메모리를 포함하여 구성될 수 있다.

구체적으로 메모리는 상기 프로세서들에 의해 수행될 때, 공간에 대한 복수의 이미지 프레임을 수신하고, 상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임을 식별하며, 상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리하고, 처리된 상기 제1 이미지 프레임을 대체한 대체 제1 이미지 프레임을 포함하여 생성된 상기 공간의 맵을 저장하기 위한 명령을 저장할 수 있다.

또한, 본 발명의 실시 예에 따른 공간 맵 정보를 생성하는 이동로봇은, 이동로봇의 본체, 상기 본체를 이동시키는 구동부, 상기 구동부를 통해 상기 본체가 이동하는 공간을 촬영하는 촬영부, 상기 촬영부에서 촬영된 상기 공간의 복수의 이미지 프레임들이 저장된 메모리 및 상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임에서 개인 정보를 식별하면, 상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리하고, 처리된 상기 제1 이미지 프레임을 대체한 대체 제1 이미지 프레임을 포함하여 생성된 상기 공간의 맵을 저장하는 프로세서를 포함하여 구성될 수 있다.

이러한 이동로봇이 촬영한 이미지에 포함된 개인 정보를 처리하도록 하여 이미지를 통해 개인 정보가 노출되는 것을 방지할 수 있는 특징이 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 의하면, 이동로봇은 이동로봇이 이동하는 공간을 이동로봇에 포함된 촬영부를 이용하여 촬영할 수 있다. 이때, 촬영부에서 촬영한 이미지에 개인 정보가 포함될 수 있다. 포함된 개인 정보는 이동로봇을 사용하는 사용자이거나 공간에서 생활하는 사용자일 수 있다. 이러한 개인 정보가 이미지에 포함되는 경우, 이미지에서 개인 정보를 처리하여 이미지를 통해 개인 정보가 노출되는 것을 방지할 수 있는 효과가 있다.

또한, 본 발명에 의하면 이동로봇은 피 촬영자를 식별할 수 있다. 이동로봇이 촬영한 피 촬영자와 이미지에 포함된 개인 정보의 정보가 일치하지 않는 경우, 피 촬영자의 정보를 이동로봇을 사용하는 사용자에게 알림으로써, 이동로봇 사용의 보안성을 향상할 수 있다.

또한, 본 발명에 따르면 개인 정보가 포함되지 않은 이미지들로 공간의 맵을 설정함으로써 공간 내 이동로봇과 충돌할 수 있는 객체를 보다 쉽게 확인할 수 있다. 따라서, 공간 맵 정보 설정이 용이해질 수 있게 된다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 이동로봇을 제어하기 위한 네트워크 환경의 예시도이다.
도 2는 본 발명의 실시 예에 따른 이동로봇을 도시한 도면이다.
도 3은 도 2의 이동로봇의 시스템을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 개인 정보 인식 신경망을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시 예에 따라 개인 정보가 촬영된 이미지를 처리한 예를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 프레임 예측 신경망을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 이동로봇의 맵 정도 설정 과정을 설명하기 위한 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예들에 한정되지 않는다. 이하 실시 예에서는 본 발명을 명확하게 설명하기 위해서 설명과 직접적인 관계가 없는 부분을 생략하지만, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 생략된 구성이 불필요함을 의미하는 것은 아니다. 아울러, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조번호를 사용한다.

이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 되며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 이하의 설명에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 설명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하 도면을 참고하여 본 발명에 대해 자세히 살펴보기로 한다.

도 1은 본 발명의 실시 예에 따른 이동로봇을 제어하기 위한 네트워크 환경의 예시도이다.

도 1을 참고하면, 본 발명의 실시 예에 따른 공간을 이동하는 이동로봇(100)은 사용자 단말(300), 서버(200) 및 이들이 서로 통신할 수 있도록 하는 네트워크(400)와 통신 연결되어 있다.

설정된 맵 정보를 기초로 공간을 이동하는 이동로봇(100)은 자율 주행 가능한 장치가 될 수 있다. 하지만, 이동로봇(100)은 자율 주행 이외에도 반자율 또는 수동 모드들로 작동될 수 있음은 물론이다. 또한, 본 발명의 실시 예의 기계학습 및 자율주행이 가능한 이동로봇은 청소 로봇 이외에 자율, 반자율 등의 모드로 작동될 수 있는 로봇 중 어느 하나일 수 있다.

이러한 이동로봇(100)은 이동경로를 따라 이동하면서 이동로봇(100)의 전면(全面)에 위치하는 대상물(예: 먼지, 쓰레기 등)을 흡입하는 자율주행 로봇일 수 있다.

사용자 단말(300)은 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, D2D(device to device) 통신 등을 지원할 수 있다.

또한, 사용자 단말(300)은 사물 인터넷을 위해 연결된 5G 환경에서 빅데이터, 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 이용하여 이미지 변환 방식을 결정할 수 있다.

또한, 사용자 단말(300)은 사물인터넷(Internet of thing)으로서 임베디드 시스템(Embedded System)을 포함하도록 구성될 수 있다. 이러한 사용자 단말(300)의 예로는 인공지능 비서 기능을 수행하는 사용자 단말, 가정 내 배치되는 사물 중 어느 하나일 수 있다. 예컨대, 사용자 단말(300)은 TV, 에어컨, 로봇 청소기, 냉장고, 세탁기 등 어느 하나가 될 수 있으며, 사용자 단말(300)의 종류에 의해 본 발명이 제한되는 것은 아니다.

또한, 사용자 단말(300)은 이동로봇(100)이 이동하는 공간의 맵 정보를 수신 받을 수 있고, 맵 정보에 따라 이동로봇(100)이 미리 설정된 조건(예: 청소 조건 등)에 따라 공간을 이동하는지 정보를 수신 받을 수 있다. 더불어, 사용자 단말(300)은 이동로봇(100)이 공간을 이동하며 이동로봇(100)이 수행해야 하는 행위, 즉 청소를 위해 맵 정보를 생성할 때 촬영하는 공간의 이미지를 수신 받을 수도 있다.

이를 위해 사용자 단말(300)은 5G 네트워크를 통해 서버(200)와 데이터를 전송하고 수신할 수 있다. 특히 사용자 단말(300)은 5G 네트워크를 통해 모바일 브로드밴드(Enhanced Mobile Broadband, eMBB), URLLC(Ultra-reliable and low latency communications) 및 mMTC(Massive Machine-type communications) 중에서 적어도 하나의 서비스를 이용하여 서버(200)와 데이터 통신할 수 있다.

eMBB(Enhanced Mobile Broadband)는 모바일 브로드밴드 서비스로, 이를 통해 멀티미디어 콘텐츠, 무선데이터 액세스 등이 제공된다. 또한, 폭발적으로 증가하고 있는 모바일 트래픽을 수용하기 위한 핫스팟 (hot spot)과 광대역 커버리지 등 보다 향상된 모바일 서비스가 eMBB를 통해 제공될 수 있다. 핫스팟을 통해 사용자 이동성이 작고 밀도가 높은 지역으로 대용량 트래픽이 수용될 수 있다. 광대역 커버리지를 통해 넓고 안정적인 무선 환경과 사용자 이동성이 보장될 수 있다.

URLLC(Ultra-reliable and low latency communications) 서비스는 데이터 송수신의 신뢰성과 전송 지연 측면에서 기존 LTE 보다 훨씬 엄격한 요구사항을 정의하고 있으며, 산업 현장의 생산 프로세스 자동화, 원격 진료, 원격 수술, 운송, 안전 등을 위한 5G 서비스가 여기에 해당한다.

mMTC(Massive Machine-type communications)는 비교적 작은 양의 데이터 전송이 요구되는 전송지연에 민감하지 않은 서비스이다. 센서 등과 같이 일반 휴대폰 보다 훨씬 더 많은 수의 단말들이 동시에 무선액세스 네트워크에 mMTC에 의해 접속할 수 있다. 이 경우, 단말의 통신모듈 가격은 저렴해야 하고, 배터리 교체나 재충전 없이 수년 동안 동작할 수 있도록 향상된 전력 효율 및 전력 절감 기술이 요구된다.

네트워크(400)는 유선 및 무선 네트워크, 예를 들어 LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, 4G LTE, 5G, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.

사용자 단말(300), 서버(200) 및 네트워크(400)와 통신 연결된 이동로봇(100)은 청소를 수행하기 위해 공간을 촬영한다. 이동로봇(100)이 촬영하는 이미지에 공간의 주변 환경 이외에 개인 정보가 촬영될 수 있다. 촬영된 개인 정보는 제3자에 의해 사용될 수 있으므로, 촬영된 이미지에서 개인 정보를 처리하여 저장될 수 있어야 한다.

이를 위해, 촬영된 이미지에서 개인 정보가 포함되는지 판단, 분석할 수 있어야 하며, 개인 정보가 포함된 것으로 판단되면 이미지에서 개인 정보를 처리하고, 처리된 이미지에 주변 공간과 유사한 이미지가 대체될 수 있도록 한다. 이로 인해 이동로봇(100)이 이미지를 통해 공간을 판단하여 맵 정보 설정 시, 공백의 공간이 생성되는 것을 방지할 수 있다.

이러한 개인 정보가 포함된 이미지에서 개인 정보를 처리하고 개인 정보 주변의 공간 환경과 유사한 환경을 대체하도록 하는 기술은 인공 지능 기술이 적용된 심층 신경망 또는 다른 타입의 머신 러닝 모델들과 같은 다양한 학습 모델 또는 이들을 포함하는 기술을 통해 수행될 수 있다.

여기서, 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.

머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.

이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.

또한, 머신 러닝의 일종인 딥 러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥 러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.

딥 러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥 러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(CNN)으로 구성될 수 있다. 본 실시 예에 따른 딥 러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥 러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아 올려 인공신경망 구조를 구성할 수 있다. DBN은 딥 러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥 러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.

한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.

본 발명의 실시 예에서 용어 '머신 러닝'은 용어 '기계 학습'과 혼용되어 사용될 수 있다.

기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine), 그리고 인공 신경망(ANN: Artificial Neural Network) 등이 대표적이다.

의사결정나무는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 예측을 수행하는 분석방법이다.

베이지안 망은 다수의 변수들 사이의 확률적 관계(조건부독립성: conditional independence)를 그래프 구조로 표현하는 모델이다. 베이지안 망은 비지도 학습(unsupervised learning)을 통한 데이터마이닝(data mining)에 적합하다.

서포트벡터머신은 패턴인식과 자료분석을 위한 지도 학습(supervised learning)의 모델이며, 주로 분류와 회귀분석을 위해 사용한다.

인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다.

인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.

구체적으로 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.

용어 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.

인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.

인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.

인공 신경망은, CNN(Deep Neural Network), RNN(Recurrent Neural Network), BRCNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.

본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다.

인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다.

일반적인 단층 신경망은, 입력층과 출력층으로 구성된다.

또한 일반적인 다층 신경망은 입력층(Input Layer)과 하나 이상의 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성된다.

입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층은 은닉층으로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런간의 입력신호는 각각의 연결강도(가중치)와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 획득한 출력값을 출력한다.

한편 입력층과 출력층 사이에 복수의 은닉층을 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다.

한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.

인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.

훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화 할 수 있다.

한편 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭 할 수 있다.

다음은 인공 신경망의 학습 방식에 대하여 설명한다.

인공 신경망의 학습 방식은 크게, 지도 학습, 비 지도 학습, 준 지도 학습(Semi-Supervised Learning), 강화 학습(Reinforcement Learning)으로 분류될 수 있다.

지도 학습은 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다.

그리고 이렇게 유추되는 함수 중, 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다.

지도 학습에서는, 훈련 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시킨다.

여기서 레이블이란, 훈련 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.

본 명세서에서는 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 명칭 한다.

또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 명칭 한다.

이 경우 훈련 데이터와 훈련 데이터에 대응하는 레이블)은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망에는 트레이닝 셋의 형태로 입력될 수 있다.

한편 훈련 데이터는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블이 레이블링 된다는 것은 훈련 데이터가 나타내는 특징에 레이블이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.

인공 신경망은 훈련 데이터와 레이블링 데이터를 이용하여, 훈련 데이터와 레이블링 데이터의 연관 관계에 대한 함수를 유추할 수 있다. 그리고, 인공 신경망에서 유추된 함수에 대한 평가를 통해 인공 신경망의 파라미터가 결정(최적화)될 수 있다.

비 지도 학습은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블이 주어지지 않는다.

구체적으로, 비 지도 학습은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다.

비 지도 학습의 예로는, 군집화 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다.

본 명세서에서 용어 '군집화'는 용어 '클러스터링'과 혼용되어 사용될 수 있다.

비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(GAN: Generative Adversarial Network), 오토 인코더(AE: Autoencoder)를 들 수 있다.

생성적 적대 신경망이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 머신 러닝 방법이다.

이 경우 생성기는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.

또한 판별기는 데이터의 패턴을 인식하는 모형으로, 입력된 데이터가 원본 데이터인지 또는 생성기에서 생성한 새로운 데이터인지 여부를 감별하는 역할을 수행할 수 있다.

그리고 생성기는 판별기를 속이지 못한 데이터를 입력 받아 학습하며, 판별기는 생성기로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기는 판별기를 최대한 잘 속이도록 진화할 수 있고, 판별기는 원본 데이터와 생성기에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.

오토 인코더는 입력 자체를 출력으로 재현하는 것을 목표로 하는 신경망이다.

오토 인코더는 입력층, 적어도 하나의 은닉층 및 출력층을 포함한다.

이 경우 은닉 계층의 노드 수가 입력 계층의 노드 수보다 적으므로 데이터의 차원이 줄어들게 되며, 이에 따라 압축 또는 인코딩이 수행되게 된다.

또한 은닉 계층에서 출력한 데이터는 출력 계층으로 들어간다. 이 경우 출력 계층의 노드 수는 은닉 계층의 노드 수보다 많으므로, 데이터의 차원이 늘어나게 되며, 이에 따라 압축 해제 또는 디코딩이 수행되게 된다.

한편 오토 인코더는 학습을 통해 뉴런의 연결 강도를 조절함으로써 입력 데이터가 은닉층 데이터로 표현된다. 은닉층에서는 입력층보다 적은 수의 뉴런으로 정보를 표현하는데 입력 데이터를 출력으로 재현할 수 있다는 것은, 은닉층이 입력 데이터로부터 숨은 패턴을 발견하여 표현했다는 것을 의미할 수 있다.

준 지도 학습은 기계 학습의 일종으로, 레이블이 주어진 훈련 데이터와 레이블이 주어지지 않은 훈련 데이터를 모두 사용하는 학습 방법을 의미할 수 있다.

준 지도 학습의 기법 중 하나로, 레이블이 주어지지 않은 훈련 데이터의 레이블을 추론한 후 추론된 라벨을 이용하여 학습을 수행하는 기법이 있으며, 이러한 기법은 레이블링에 소요되는 비용이 큰 경우에 유용하게 사용될 수 있다.

강화 학습은, 에이전트(Agent)가 매 순간 어떤 행동을 해야 좋을지 판단할 수 있는 환경이 주어진다면, 데이터 없이 경험으로 가장 좋을 길을 찾을 수 있다는 이론이다.

강화 학습은 주로 마르코프 결정 과정(MDP: Markov Decision Process)에 의하여 수행될 수 있다.

마르코프 결정 과정을 설명하면, 첫 번째로 에이전트가 다음 행동을 하기 위해 필요한 정보들이 구성된 환경이 주어지며, 두 번째로 그 환경에서 에이전트가 어떻게 행동할지 정의하고, 세 번째로 에이전트가 무엇을 잘하면 보상(reward)을 주고 무엇을 못하면 벌점(penalty)을 줄지 정의하며, 네 번째로 미래의 보상이 최고점에 이를 때까지 반복 경험하여 최적의 정책(policy)을 도출하게 된다.

인공 신경망은 모델의 구성, 활성 함수(Activation Function), 손실 함수(Loss Function) 또는 비용 함수(Cost Function), 학습 알고리즘, 최적화 알고리즘 등에 의해 그 구조가 특정되며, 학습 전에 하이퍼파라미터(Hyperparameter)가 미리 설정되고, 이후에 학습을 통해 모델 파라미터(Model Parameter)가 설정되어 내용이 특정될 수 있다.

예컨대, 인공 신경망의 구조를 결정하는 요소에는 은닉층의 개수, 각 은닉층에 포함된 은닉 노드의 개수, 입력 특징 벡터(Input Feature Vector), 대상 특징 벡터(Target Feature Vector) 등이 포함될 수 있다.

하이퍼파라미터는 모델 파라미터의 초기값 등과 같이 학습을 위하여 초기에 설정하여야 하는 여러 파라미터들을 포함한다. 그리고, 모델 파라미터는 학습을 통하여 결정하고자 하는 여러 파라미터들을 포함한다.

예컨대, 하이퍼파라미터에는 노드 간 가중치 초기값, 노드 간 편향 초기값, 미니 배치(Mini-batch) 크기, 학습 반복 횟수, 학습률(Learning Rate) 등이 포함될 수 있다. 그리고, 모델 파라미터에는 노드 간 가중치, 노드 간 편향 등이 포함될 수 있다.

손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표(기준)로 이용될 수 있다. 인공 신경망에서 학습은 손실 함수를 줄이기 위하여 모델 파라미터들을 조작하는 과정을 의미하며, 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다.

손실 함수는 주로 평균 제곱 오차(MSE: Mean Squared Error) 또는 교차 엔트로피 오차(CEE, Cross Entropy Error)를 사용할 수 있으며, 본 발명이 이에 한정되지는 않는다.

교차 엔트로피 오차는 정답 레이블이 원 핫 인코딩(one-hot encoding)된 경우에 사용될 수 있다. 원 핫 인코딩은 정답에 해당하는 뉴런에 대하여만 정답 레이블 값을 1로, 정답이 아닌 뉴런은 정답 레이블 값이 0으로 설정하는 인코딩 방법이다.

머신 러닝 또는 딥 러닝에서는 손실 함수를 최소화하기 위하여 학습 최적화 알고리즘을 이용할 수 있으며, 학습 최적화 알고리즘에는 경사 하강법(GD: Gradient Descent), 확률적 경사 하강법(SGD: Stochastic Gradient Descent), 모멘텀(Momentum), NAG(Nesterov Accelerate Gradient), Adagrad, AdaDelta, RMSProp, Adam, Nadam 등이 있다.

경사 하강법은 현재 상태에서 손실 함수의 기울기를 고려하여 손실 함수값을 줄이는 방향으로 모델 파라미터를 조정하는 기법이다.

모델 파라미터를 조정하는 방향은 스텝(step) 방향, 조정하는 크기는 스텝 사이즈(size)라고 칭한다.

이때, 스텝 사이즈는 학습률을 의미할 수 있다.

경사 하강법은 손실 함수를 각 모델 파라미터들로 편미분하여 기울기를 획득하고, 모델 파라미터들을 획득한 기울기 방향으로 학습률만큼 변경하여 갱신할 수 있다.

확률적 경사 하강법은 학습 데이터를 미니 배치로 나누고, 각 미니 배치마다 경사 하강법을 수행하여 경사 하강의 빈도를 높인 기법이다.

Adagrad, AdaDelta 및 RMSProp는 SGD에서 스텝 사이즈를 조절하여 최적화 정확도를 높이는 기법이다. SGD에서 모멘텀 및 NAG는 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Adam은 모멘텀과 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Nadam은 NAG와 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다.

인공 신경망의 학습 속도와 정확도는 인공 신경망의 구조와 학습 최적화 알고리즘의 종류뿐만 아니라, 하이퍼파라미터에 크게 좌우되는 특징이 있다. 따라서, 좋은 학습 모델을 획득하기 위하여는 적당한 인공 신경망의 구조와 학습 알고리즘을 결정하는 것뿐만 아니라, 적당한 하이퍼파라미터를 설정하는 것이 중요하다.

통상적으로 하이퍼파라미터는 실험적으로 다양한 값으로 설정해가며 인공 신경망을 학습시켜보고, 학습 결과 안정적인 학습 속도와 정확도를 제공하는 최적의 값으로 설정한다.

도 2는 본 발명의 실시 예에 따른 이동로봇을 도시한 도면이고, 도 3은 도 2의 이동로봇의 시스템을 설명하기 위한 도면이다.

도면을 참고하면, 이동로봇(100)은 이동로봇(100)의 외형을 형성하는 본체(110), 본체(110)가 이동 및 회전할 수 있도록 본체(110)를 구동시키는 구동부(120), 구동부(120)를 통해 본체(110)가 이동하는 공간을 촬영하는 촬영부(130), 촬영부(130)에서 촬영된 공간의 이미지가 저장된 메모리(150) 및 이미지에 포함된 개인 정보를 판별하는 객체 검출 신경망을 이용하여 이미지에서 개인 정보가 감지되면 개인 정보가 포함된 프레임을 처리하는 프로세서(180)를 포함하며 구성될 수 있다.

구체적으로, 본체(110)는 원형, 다각형 등 다양한 형상 중 어느 하나로 형성될 수 있으며, 본체(110)의 형상은 조건에 따라 변경될 수 있다.

또한, 본체(110)는 먼지, 이물질 등과 같은 공간 내 분포된 대상물을 흡입할 수 있는 흡입부(140)를 포함할 수 있다. 또한, 본체(110)는 흡입부(140)를 통해 대상물을 흡입할 수 있도록 흡입장치(미도시), 흡입된 먼지를 집진할 수 있는 먼지집진통 등을 포함하여 구성될 수 있다.

본체(110)는 배터리(미도시)를 더 포함할 수 있다. 배터리는 후술할 구동부(120) 이외에 이동로봇(100) 작동 전반에 필요한 전원을 공급할 수 있다. 이러한 배터리가 방전되는 경우 배터리를 충전할 수 있다. 예컨대, 배터리가 방전되면 이동로봇(100)은 공간에 설치된 충전독(미도시)으로 이동하여 배터리의 충전을 수행할 수 있다. 특히 이동로봇(100)은 충전독으로 복귀하는 주행 중에 이동로봇(100) 스스로 충전독의 위치를 탐지할 수 있도록 구성될 수도 있다.

구동부(120)는 본체(110)가 공간에서 회전, 이동하도록 적어도 하나의 구동바퀴를 포함할 수 있다. 이러한 구동바퀴는 본체(110)의 일 면에 설치될 수 있지만, 구동바퀴가 설치되는 구조는 조건에 따라 변경될 수 있다. 한편, 본체(110) 또는 구동부(120)는 구동바퀴를 구동시킬 수 있는 별도의 구동 모터를 포함할 수도 있다.

본체(110)에는 전방을 감지할 수 있는 촬영부(130)가 설치될 수 있다. 촬영부(130)는 이동로봇(100) 주변을 촬영하고, 촬영부(130)에서 촬영된 영상 또는 이미지 정보는 메모리(150)에 전송되어 저장될 수 있다.

구체적으로 촬영부(130)는 본체(110) 전면에 위치할 수 있다. 이때, 촬영부(130)는 공간의 상측을 촬영할 수 있는 상측 카메라와 공간의 바닥을 촬영할 수 있는 하측 카메라를 포함하여 구성될 수 있다.

촬영부(130)에서 촬영된 이미지는 메모리(150)에 저장될 수 있다. 메모리(150)에 저장되는 이미지는 공간의 정보가 될 수 있다. 공간의 정보란, 집안, 사무실 등 실내의 맵(map) 정보이며, 예컨대 실내 벽면의 형상(예: 곡선, 직면 등의 같은 형상), 공간의 전체 면적 등의 정보일 수 있다.

프로세서(180)는 촬영부(130)에서 촬영한 이미지를 분석할 수 있으며, 구체적으로 촬영부(130)에서 촬영한 이미지에 개인 정보가 포함되는지 여부를 판단할 수 있다.

예시적으로 촬영부(130)에서 촬영한 이미지에 개인 정보가 포함되지 않은 경우, 촬영부(130)에서 촬영한 이미지를 그대로 이동로봇(100)의 메모리(150) 또는 서버(200)로 송신할 수 있다. 이와 다르게, 촬영부(130)에서 촬영한 이미지에 개인 정보가 포함된 경우, 개인 정보가 포함된 프레임을 처리한 뒤, 처리된 프레임 위치에 처리된 프레임 주변과 유사한 환경이 촬영된 이미지를 대체하도록 하여 촬영된 이미지에 개인 정보가 포함되지 않도록 이미지를 생성할 수 있다.

즉, 개인 정보가 포함된 제1 이미지 프레임을 처리하여 제1 이미지 프레임을 통해 개인 정보가 노출되지 않도록 한다. 이렇게 개인 정보를 포함한 제1 이미지 프레임을 처리한 후, 처리한 결과를 포함하는 복수의 이미지 프레임들을 이용하여 공간의 맵을 생성, 저장할 수 있다.

한편, 촬영된 이미지에서 개인 정보가 포함되는지 여부를 판단하기 위해서는 개인 정보 식별 신경망을 통해 이미지에서 개인 정보의 포함 여부를 판단할 수 있다.

구체적으로 개인 정보 식별 신경망은 이미지에서 사람의 얼굴, 신체 일부 등을 트레이닝한 후, 트레이닝 결과를 기초로 촬영부(130)에서 촬영한 이미지에 사람의 얼굴, 신체 일부 등이 포함되면 이미지에 개인 정보가 포함된 것으로 판단하도록 하는 것을 의미한다.

이미지에 개인 정보가 포함된 것으로 판단되면 개인 정보가 포함된 이미지 프레임을 처리할 수 있다. 개인 정보가 포함된 이미지 프레임을 처리한다는 것은 개인 정보가 포함된 제1 이미지 프레임에 특정 색을 채워 개인 정보 노출을 방지한다는 것을 의미한다.

구체적으로 개인 정보가 포함된 프레임에 특정 색을 채운다는 것은, 개인 정보가 포함된 제1 이미지 프레임 전체에 특정 색(예: 검정색)을 덧입히거나, 제1 이미지 프레임에서 개인 정보 영역만 특정 색을 덧입히도록 하여 개인 정보를 가리는 것을 의미한다.

이렇게 촬영부(130)에서 촬영한 제1 이미지 프레임에 개인 정보가 포함된 것으로 판단되면 프레임 예측 신경망을 이용하여 처리된 프레임에 주변 환경과 매칭되는 이미지를 투입할 수 있다.

구체적으로 프레임 예측 신경망은 촬영부(130)에서 촬영한 전체 이미지에 대한 데이터 세트(Data set)를 획득하고, 획득한 데이터 세트를 트레이닝할 수 있다. 이후, 트레이닝된 정보를 기초로 처리된 프레임의 이전의 이미지 프레임과 이후의 이미지 프레임을 기초로 처리된 프레임에 매칭되는 이미지를 예측할 수 있는 것이다.

이와 같이 개인 정보가 포함된 이미지가 촬영되는 경우, 개인 정보 영역에 특정 색을 채워 개인 정보 영역을 처리하거나 개인 정보가 포함된 제1 이미지 프레임 전체에 특정 색을 채워 개인 정보를 가린다. 이후, 처리된 이미지 이전의 이미지 프레임과 이후의 이미지 프레임을 통해 특정 색이 채워진 제1 이미지 프레임 대신 대체 가능한 이미지를 대체한다. 이로 인해, 개인 정보가 포함된 이미지가 이동로봇(100)을 사용하는 사용자 이외의 제3자가 사용하는 이동로봇에 전송되거나 제3자의 사용자 단말로 전송되는 등의 개인 정보 노출을 방지할 수 있다.

한편, 개인 정보가 포함된 제1 이미지 프레임에서 개인 정보를 처리할 때, 개인의 얼굴, 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함되는지를 판단하면 제1 이미지 프레임을 처리하도록 할 수 있다.

예를 들어 이동로봇(100) 사용자가 제1 이미지 프레임에 포함되는 예를 들면, 사용자의 얼굴이나 사용자의 얼굴이 인식될 수 있는 아이디(ID) 정보가 포함된 이미지 등이 촬영된 경우 제1 이미지 프레임을 처리하는 것이 바람직하다. 이에 반해 사용자의 얼굴이나 사용자의 얼굴이 사용자 얼굴 전체의 약 20% 미만으로 촬영되거나, 아이디(ID) 정보가 전체 이미지의 약 20% 미만으로 촬영되는 경우, 또는 사용자의 신체(예: 팔, 다리, 손가락 등) 일부만 촬영되는 경우에는 사용자로 인식되지 않는다. 따라서, 이 경우 이미지 프레임을 개인 정보를 처리해야 하는 제1 이미지 프레임으로 판단되지 않아 처리 과정이 이루어지지 않게 된다.

이때, 본 발명의 실시 예에서 제1 이미지 프레임을 처리하기 위해서는 사용자 얼굴 전체, 사용자 아이디(ID) 정보가 포함된 이미지에서 개인 정보로 인식 가능하도록 얼굴 전체의 70% 이상, 아이디 정보가 70% 이상 촬영되는 경우에 제1 이미지 프레임을 처리하도록 설정할 수 있는 예를 들어 설명하기로 한다. 그러나, 제1 이미지 프레임을 처리하기 위한 조건은 발명의 조건에 따라 변경될 수 있다.

또한, 프로세서(180)에서 이미지에 개인 정보가 포함되는지 판단할 때, 미리 입력된 개인 정보에 포함된 인물 정보를 통해 안면 인식을 할 수 있다.

구체적으로, 이동로봇(100) 사용자는 사용자 단말(300)을 통해 이동로봇(100)의 촬영부(130)에서 촬영하는 이미지를 실시간으로 수신 받을 수 있다.

이때, 수신되는 이미지에 이동로봇(100)을 사용하는 사용자 이외에 제3인 피 촬영자가 촬영되는 경우, 사용자 이외의 제3자가 공간 내에 위치하는 것으로 판단할 수 있다.

이를 위해, 사용자의 개인 정보 정보를 미리 입력할 수 있다. 입력하는 정보는 사용자 각각의 얼굴정보가 될 수 있으며, 입력된 얼굴정보와 이미지에 포함되는 개인 정보의 얼굴정보를 비교하여 불일치한 경우 사용자 단말(300)을 통해 사용자 이외의 개인 정보가 공간에 출현하였음을 통보할 수 있다.

이와 같이 개인 정보가 포함된 제1 이미지 프레임을 처리한 후, 촬영부(130)에서 촬영한 복수의 이미지 프레임들을 버퍼 메모리(152)에 저장할 수 있다.

버퍼 메모리(152)는 디스플레이에 화상신호를 출력하는 구성이다. 버퍼 메모리(152)는 화소 표현으로 변환된 화면 데이터를 적어도 1화면분 포함하고, 신호에 따라 메모리 내용을 비트열로 출력할 수도 있다.

버퍼 메모리(152)에 저장된 복수의 이미지 프레임들에 의해 버퍼 메모리(152)의 용량이 초과하는 경우 버퍼 메모리(152)에 저장된 복수의 이미지 프레임들을 외부 서버로 전송할 수 있다. 이때 외부 서버는 앞서 설명된 서버(200)가 될 수 있으며 다르게는 네트워크(400)와 통신 연결된 서버 중 어느 하나가 될 수도 있다.

한편, 버퍼 메모리(152)는 외부 서버와 통신 연결되어 필요에 따라 외부 서버에 저장된 복수의 이미지 프레임들을 수신 받을 수도 있다.

버퍼 메모리(152)에 저장된 복수의 이미지 프레임들을 외부 서버로 전송한 후, 버퍼 메모리(152)를 리셋하여 버퍼 메모리(152)에 다른 복수의 이미지 프레임들이 저장될 수 있다.

도 4는 본 발명의 실시 예에 따른 개인 정보 인식 신경망을 설명하기 위한 도면이고, 도 5 및 도 6은 본 발명의 실시 예에 따라 개인 정보가 촬영된 이미지를 처리한 예를 설명하기 위한 도면이며, 도 7은 본 발명의 실시 예에 따른 프레임 예측 신경망을 설명하기 위한 도면이다.

도면을 참고하면, 이동로봇(100)이 촬영한 여러 장의 이미지에서 개인 정보가 어디에 위치하는지 판단하는 과정을 나타내고 있다.

구체적으로 객체 검출(Object Detection) 신경망 중 개인 정보 식별 신경망을 이용하여 이미지 내 객체 중에서 개인 정보를 인식해야 하기 위해 얼굴, 신체 영역 등을 인식해야 한다. 이를 위해 개인 정보라는 존재 여부를 분류법(classification)으로 분류하고, 개인 정보라는 객체의 위치를 찾아냄과 동시에 개인 정보 이외의 객체를 검출법(detection)으로 검출한 후, 개인 정보라는 객체의 형태를 분류법(segmentation)으로 분류할 수 있다.

이러한 개인 정보 식별 신경망은 이미지 속에 포함되는 복수의 객체 위치를 파악함과 동시에 분류(classification)하여 이미지 내 다양한 객체를 인식할 수 있는 신경망 중 하나이다.

또한, 개인 정보 식별 신경망은 선택적 검색(selective search)와 같은 영역 제안(region proposal)알고리즘을 통해 주어진 이미지 내에서 복수의 가중치로 계산된 유사 픽셀들을 모아 영역을 만들 수 있다.

구체적으로 처음에는 여러 작은 영역들을 생성하다 그리디 알고리즘(greedy 알고리즘)을 통해 유사도에 따라 하나의 객체에 하나의 영역이 형성되는 버텀-업(bottom-up) 방식으로 진행될 수 있다.

생성된 영역들에 분류를 진행하여 해당 객체가 어떤 객체인지 판별할 수 있고, 객체 판별 과정에서 딥 러닝을 통해 객체를 검출하게 된다.

이때, 개인 정보라는 객체를 검출할 때, 개인 정보를 의미하는 얼굴, 아이디(ID) 정보가 포함된 이미지 등의 일부가 미리 설정된 임계값 이상 노출되는지 판단할 수 있다. 즉, 이동로봇(100)이 촬영한 이미지에 포함된 개인 정보가 팔, 다리 등의 어떠한 개인 정보인지 확인할 수 없는 신체 일부만 촬영한 경우, 촬영된 신체로 개인 정보를 정확하게 판단할 수 없다. 따라서, 신체 일부만 노출된 경우 개인 정보가 누출되는 것으로 판단하지 않도록 하여 이미지에 얼굴 일부가 예를 들어 70% 이상 촬영되거나, 아이디 정보가 70% 이상 촬영되는 경우에만 개인 정보가 감지된 것으로 판단하도록 미리 설정될 수 있다.

이와 유사하게, 개인 정보의 얼굴이 미리 설정된 임계값 이하로 노출되는 경우, 즉 촬영된 이미지에 일정 면적 이하로 노출된 경우에는 촬영된 이미지는 그대로 이동로봇(100)의 메모리(150)나 서버(200)에 저장되어 맵 정보를 설정하는 데이터로 사용될 수 있다.

이때, 설명되는 임계값은 개인 정보를 가리기 위한 조건에 따라 변경될 수 있으며, 본 발명의 실시 예에서는 사용자의 얼굴, 아이디 정보가 70% 이상 노출되는 경우 개인 정보가 감지된 것으로 판단하는 예를 들지만, 이러한 조건은 본 발명의 실시 예를 한정하지 않는다.

한편, 객체 검출 신경망을 통해 개인 정보가 포함된 이미지를 감지한 경우, 도 5 및 도 6에 도시된 바와 같이 개인 정보가 포함된 이미지 전체 또는 개인 정보 영역만을 선택적으로 특정 색상으로 채울 수 있다. 예컨대, 개인 정보가 포함된 이미지 전체를 특정 색인 검은색으로 채워 개인 정보에 해당하는 이미지가 보여지지 않도록 한다.

이렇게 개인 정보가 포함된 이미지 전체 또는 개인 정보 영역만을 선택적으로 특정 색인 검은색으로 채우면, 검은색으로 채워진 이미지 대신 다른 이미지가 대신할 수 있도록 한다.

구체적으로 프레임 예측 신경망의 비디오 생성 모델을 이용하여 개인 정보가 포함된 이미지와 전방 이미지 및 후방 이미지를 기초로 대신으로 채울 수 있는 이미지를 예측하고, 예측된 이미지를 검은색으로 채워진 이미지 대신 투입하는 것이다.

이와 같이 개인 정보가 포함된 이미지를 사물 객체가 포함된 이미지로 대체한 후, 이동로봇(100)의 메모리(150) 또는 서버(200)에 저장하도록 함으로써, 공간 맵을 설정하는 이미지에 개인 정보를 포함하는 이미지가 포함되는 것을 방지할 수 있다.

또한, 개인 정보가 포함되지 않은 이미지들로 공간의 맵을 설정함으로써 공간 내 이동로봇(100)과 충돌할 수 있는 객체를 보다 쉽게 확인할 수 있다. 따라서, 공간 맵 정보 설정이 용이해질 수 있게 된다.

도 8은 본 발명의 실시 예에 따른 이동로봇의 맵 정도 설정 과정을 설명하기 위한 흐름도이다.

우선, 이동로봇(100) 본체(110) 전방에 설치된 촬영부(130)를 통해 공간 내 이미지를 수신할 수 있다(S110).

수신되는 이미지는 공간의 환경을 촬영한 이미지라고 할 수 있으며, 수신된 이미지를 통해 이동로봇(100)이 공간을 이동하는 맵을 설정할 수 있다.

이때, 수신된 이미지에 개인 정보가 포함되어 있는지를 감지할 수 있다(S120). 이미지에 개인 정보가 포함되었음을 감지한 경우, 개인 정보가 포함된 프레임을 처리한 뒤, 처리된 프레임에 처리된 프레임 주변과 유사한 환경을 대체하도록 하여 촬영된 이미지에 개인 정보가 포함되지 않도록 이미지를 생성할 수 있다(S130).

이와 다르게, 촬영부(130)에서 촬영한 이미지에 개인 정보가 포함되지 않은 경우, 촬영부(130)에서 촬영한 이미지를 그대로 이동로봇(100)의 메모리(150) 또는 서버(200)로 송신할 수 있다.

이를 위해, 앞서 설명한 개인 정보 식별 신경망은 이미지에서 사람의 얼굴, 신체 일부 등을 트레이닝한 후, 트레이닝 결과를 기초로 촬영부(130)에서 촬영한 이미지에 사람의 얼굴, 아이디(ID) 정보가 포함된 이미지 등이 포함되면 이미지에 개인 정보가 포함된 것으로 판단하도록 한다.

이미지에 개인 정보가 포함된 것으로 판단되면 개인 정보가 포함된 프레임을 처리할 수 있다. 여기서 개인 정보 처리라 함은, 개인 정보가 포함된 제1 이미지 프레임에 특정 색을 채워 개인 정보 노출을 방지한다는 것을 의미한다.

구체적으로 이미지에서 개인 정보 영역에만 특정 색상(예: 검정색)으로 변형, 생성하거나, 개인 정보가 포함된 제1 이미지 프레임 전체를 특정 색상(예: 검정색)으로 변형, 생성되도록 하는 것을 의미한다.

이렇게 촬영부(130)에서 촬영한 이미지에서 개인 정보가 포함된 것으로 판단되면 프레임 예측 신경망을 이용하여 처리된 프레임에 주변 환경과 매칭되는 이미지를 투입하여 개인 정보가 포함된 이미지가 개인 정보가 포함된 이미지 전방 이미지 및 후방 이미지 사이에서 부자연스러움 없이 전체의 이미지로 작용할 수 있게 되는 것이다.

이와 같이 개인 정보가 포함된 이미지가 촬영되는 경우, 개인 정보 영역을 처리하거나 개인 정보가 포함된 이미지를 처리한 뒤, 처리된 이미지 이전의 이미지 프레임과 이후의 이미지 프레임을 통해 처리된 이미지와 매칭 가능한 이미지를 투입하도록 한다(S140). 이로 인해, 개인 정보가 포함된 이미지가 이동로봇(100)을 사용하는 사용자 이외의 제3자의 이동로봇에 전송되거나 제3자의 사용자 단말로 전송되는 등의 개인 정보 누출을 방지할 수 있다.

개인 정보가 포함된 이미지가 촬영되는 경우, 개인 정보 영역을 처리하거나 개인 정보가 포함된 이미지를 처리한 뒤, 처리된 이미지 이전의 이미지 프레임과 이후의 이미지 프레임을 통해 처리된 이미지를 대체할 수 있는 이미지를 투입한 후, 공간 환경만 촬영된 이미지만이 서버(200) 또는 이동로봇(100)의 메모리로 송신되며 저장될 수 있다.

저장된 공간 환경만 촬영된 이미지는 공간 맵 정보를 설정할 수 있는 정보라고 할 수 있으며, 별도의 개인 정보가 포함되어 있지 않으므로 보완이 향상된 데이터 정보라고 할 수 있을 것이다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 따른 방법들에 포함된 단계들은 프로세서 또는 해당 단계의 기능을 수행하기 위한 모듈들을 통해서 수행될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 청구에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 청구 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 청구뿐만 아니라 이 청구와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

프로세서에 의해 수행되는, 공간 맵 정보를 생성하는 방법으로서,
공간에 대한 복수의 이미지 프레임을 수신하는 단계;
상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임을 식별하는 단계;
상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리하는 단계; 및
상기 제1 이미지 프레임을 처리한 결과를 포함하는 복수의 이미지 프레임들을 이용하여 생성된 상기 공간의 맵을 저장하는 단계를 포함하는,
공간 맵 정보 생성 방법.
제1항에 있어서,
상기 식별하는 단계는,
개인 정보 식별 신경망에 기초하여 이미지 프레임 내에 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함되는지를 판단하는 단계를 포함하는,
공간 맵 정보 생성 방법.
제2항에 있어서,
상기 처리하는 단계는,
상기 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함된 제1 이미지 프레임에서 상기 개인의 얼굴 이미지 또는 아이디 정보가 포함된 이미지의 부분을 특정 색상으로 채워서 개인 정보를 가리는 단계를 포함하는,
공간 맵 정보 생성 방법.
제2항에 있어서,
상기 개인 정보는 인물 정보를 포함하고, 상기 개인 정보 식별 신경망은 안면 인식을 통해 피 촬영자를 식별하는 단계를 포함하는,
공간 맵 정보 생성 방법.
제1항에 있어서,
상기 처리하는 단계는,
상기 제1 이미지 프레임을 특정 색으로 채우는 단계를 포함하는,
공간 맵 정보 생성 방법.
제1항에 있어서,
상기 처리하는 단계는,
상기 제1 이미지 프레임을 대체 제1 이미지 프레임으로 대체하는 단계를 포함하고,
상기 대체 제1 이미지 프레임은 프레임 예측 신경망을 이용하여 상기 제1 이미지 프레임 이전 이미지 프레임과 상기 제1 이미지 프레임 이후 이미지 프레임을 기초로 예측된 이미지인,
공간 맵 정보 생성 방법.
제1항에 있어서,
상기 처리하는 단계 이후에,
상기 복수의 이미지 프레임들을 버퍼 메모리에 저장하는 단계;
상기 버퍼 메모리의 용량이 초과함에 따라, 상기 버퍼 메모리에 저장된 복수의 이미지 프레임들을 외부 서버로 전송하는 단계; 및
상기 버퍼 메모리를 리셋하는 단계를 포함하는,
공간 맵 정보 생성 방법.
공간 맵 정보를 생성하는 이동로봇으로서,
하나 이상의 프로세서들; 및
상기 프로세서들에 연결되는 메모리를 포함하고,
상기 메모리는,
상기 프로세서들에 의해 수행될 때, 공간에 대한 복수의 이미지 프레임을 수신하고, 상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임을 식별하며, 상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리하고, 상기 제1 이미지 프레임을 처리한 결과를 포함하는 복수의 이미지 프레임들을 이용하여 생성된 상기 공간의 맵을 저장하기 위한 명령을 저장하는,
이동로봇.
제8항에 있어서,
상기 메모리는,
개인 정보 식별 신경망에 기초하여 이미지 프레임 내에 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함되는지 판단하기 위한 명령을 저장하는,
이동로봇.
제9항에 있어서,
상기 메모리는,
상기 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함된 제1 이미지 프레임에서 상기 개인의 얼굴 이미지 또는 아이디 정보가 포함된 이미지의 부분을 특정 색상으로 채워서 개인 정보를 가리기 위한 명령을 저장하는,
이동로봇.
제9항에 있어서,
상기 메모리는,
상기 개인 정보는 인물 정보를 포함하고, 상기 개인 정보 식별 신경망은 안면 인식을 통해 피 촬영자를 식별하기 위한 명령을 저장하는,
이동로봇.
제8항에 있어서,
상기 메모리는,
상기 제1 이미지 프레임을 특정 색으로 채우기 위한 명령을 저장하는,
이동로봇.
제12항에 있어서,
상기 메모리는,
상기 제1 이미지 프레임을 대체 제1 이미지 프레임으로 대체하고, 상기 대체 제1 이미지 프레임은 프레임 예측 신경망을 이용하여 상기 제1 이미지 프레임 이전 이미지 프레임과 상기 제1 이미지 프레임 이후 이미지 프레임을 기초로 예측하는 명령을 저장하는,
이동로봇.
제8항에 있어서,
상기 메모리는,
상기 복수의 이미지 프레임들을 버퍼 메모리에 저장하고, 상기 버퍼 메모리의 용량이 초과함에 따라, 상기 버퍼 메모리에 저장된 복수의 이미지 프레임들을 외부 서버로 전송한 후, 상기 버퍼 메모리를 리셋하기 위한 명령을 저장하는,
이동로봇.
공간 맵 정보를 생성하는 이동로봇으로서,
이동로봇의 본체;
상기 본체를 이동시키는 구동부;
상기 구동부를 통해 상기 본체가 이동하는 공간을 촬영하는 촬영부;
상기 촬영부에서 촬영된 상기 공간의 복수의 이미지 프레임들이 저장된 메모리; 및
상기 복수의 이미지 프레임들 중 개인 정보가 포함된 제1 이미지 프레임에서 개인 정보를 식별하면, 상기 개인 정보가 표시되지 않도록 상기 제1 이미지 프레임을 처리하고, 상기 제1 이미지 프레임을 처리한 결과를 포함하는 복수의 이미지 프레임들을 이용하여 생성된 상기 공간의 맵을 저장하는 프로세서를 포함하는,
이동로봇.
제15항에 있어서,
상기 프로세서는,
개인 정보 식별 신경망에 기초하여 이미지 프레임 내에 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함되는지 판단하는,
이동로봇.
제16항에 있어서,
상기 프로세서는,
상기 개인의 얼굴 이미지 및 아이디(ID) 정보가 포함된 이미지 중 적어도 어느 하나가 포함된 제1 이미지 프레임에서 상기 개인의 얼굴 이미지 또는 아이디 정보가 포함된 이미지의 부분을 특정 색상으로 채워서 개인 정보를 가리는,
이동로봇.
제16항에 있어서,
상기 개인 정보는 인물 정보를 포함하고, 상기 개인 정보 식별 신경망은 안면 인식을 통해 피 촬영자를 식별하는 ,
이동로봇.
제15항에 있어서,
상기 복수의 이미지 프레임들을 저장하고, 용량이 초과함에 따라 저장된 상기 복수의 이미지 프레임들을 외부 서버로 전송 가능한 버퍼 메모리를 더 포함하는,
이동로봇.