KR20190012443A - 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇 - Google Patents

Abstract

본 발명은 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇에 관한 것으로, 본 발명의 일 실시예에 의한 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇은 뎁스 카메라부 또는 비전 카메라부를 포함하며, 카메라부가 영상을 센싱하는 방향의 조도를 센싱하는 조도 센싱부를 포함하는 센싱 모듈, 로봇이 이동하는 공간에 배치되는 객체의 정보를 저장하는 맵 저장부, 조도 센싱부가 센싱한 조도와 맵 저장부에 저장된 객체의 정보와 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 뎁스 카메라부 또는 비전 카메라부의 영상 제어 활성화를 설정하는 제어부를 포함한다.

Description

조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇{METHOD OF CONTROLLING IMAGE BASED ON ILLUMINANCE SENSING AND ROBOT IMPLEMENTING THEREOF}

본 발명은 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇에 관한 기술이다.

공항, 학교, 관공서, 호텔, 사무실, 공장, 체육관, 공연장과 같은 문화시설 등 인적, 물적 교류가 활발하게 발생하는 공간에서 로봇이 동작하기 위해서는 공간을 지속적으로 센싱하여 사물, 사람 등의 객체들을 회피하며 이동하는 것이 필요하다. 이 과정에서 로봇은 주행 과정에서 센싱하는 다양한 정보들에 기반하여 주행 경로를 설정할 수 있는데, 로봇이 주행할 공간을 비추는 외부의 광(조명, 햇빛 등)에 따라 로봇이 사물을 센싱함에 있어 영향을 받을 수 있다.

특히, 뎁스 정보를 취득하는 뎁스 카메라부 혹은 비전(RGB) 카메라는 외부의 사물과의 거리를 3차원 영상 정보로 제공하거나 외부의 영상을 2차원 정보로 제공하는데, 이 과정에서 강한 조명 또는 햇빛과 같은 외부광의 영향을 받을 수 있다. 특히 사물이 외부광을 반사하는 경우 외부의 사물과의 거리나 형상이 정확하게 취득되지 못하는 문제가 있다.

이는 특히 공항, 학교, 관공서, 호텔, 사무실, 공장, 체육관, 공연장과 같은 문화시설 등 인적, 물적 교류가 활발하게 발생하는 공간에서 자주 발생할 수 있는 문제인데, 이러한 공간은 외부의 빛을 내부로 유입시키는 창이 크거나 내부 조명의 밝기가 강한 경우이다. 또한 로봇이 외부 공간에서 이동할 경우에도 외부의 태양광이나 태양광으로부터 반사된 빛에 따라 뎁스/RGB 카메라의 영상 취득에서 왜곡이 발생할 수 있다. 따라서, 이러한 문제점을 해결하기 위해, 본 명세서에서는 사물의 뎁스 영상 또는 RGB 영상을 센싱하는 과정에서 외부광을 필터링하는 방안을 제시하고자 한다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 강한 태양광에 의해 영상을 센싱하는 뎁스 카메라부 또는 비전 카메라부의 동작을 제어하여 영상 정보의 왜곡을 방지하는 방법 및 이를 구현하는 로봇을 제공하고자 한다.

또한, 본 명세서에서는 강한 외부광이 발생할 수 있는 공간적, 시간적 정보를 이용하여 영상 정보를 센싱함에 있어서의 정확도를 높이는 방법 및 이를 구현하는 로봇을 제공하고자 한다.

뿐만 아니라, 본 명세서에서는 센싱한 조도에 따라 뎁스 카메라부와 비전 카메라부가 적응적으로 영상을 센싱 및 제어하여 영상 정보를 센싱함에 있어서의 정확도를 높이는 방법 및 이를 구현하는 로봇을 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇은 뎁스 카메라부 또는 비전 카메라부를 포함하며, 카메라부가 영상을 센싱하는 방향의 조도를 센싱하는 조도 센싱부를 포함하는 센싱 모듈, 로봇이 이동하는 공간에 배치되는 객체의 정보를 저장하는 맵 저장부, 조도 센싱부가 센싱한 조도와 맵 저장부에 저장된 객체의 정보와 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 뎁스 카메라부 또는 비전 카메라부의 영상 제어 활성화를 설정하는 제어부, 및 로봇을 이동시키는 이동부를 포함한다.

본 발명의 다른 실시예에 의한 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법은 센싱 모듈의 뎁스 카메라부 또는 비전 카메라부가 영상을 센싱하는 방향의 조도를 센싱 모듈의 조도 센싱부가 센싱하는 단계, 맵 저장부에 저장된 객체의 정보 또는 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 뎁스 카메라부 또는 비전 카메라부의 영상 제어 활성화를 제어부가 판단하는 단계, 및 제어는 영상 제어 활성화 후 뎁스 카메라부의 뎁스 정보를 필터링하거나 또는 비전 카메라부가 센싱한 색상 정보의 피쳐셋을 선택하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 뎁스 카메라부나 비전 카메라부를 실외에서 사용하거나 햇빛 또는 조명이 많이 유입되는 공간에서 사용되거나 혹은 햇빛이 반사되는 환경에서 뎁스 또는 색상 정보를 취득하는 과정에서 조도 상황을 반영하여 정확한 뎁스 정보 또는 정확한 색상 정보를 센싱하거나 또는 정확한 피쳐셋을 산출할 수 있다.

또한, 본 발명의 실시예들을 적용할 경우, 현재 위치와 상황에 따라 조명이나 햇빛 등 외부광의 발생 여부에 대한 정보에 기반하여 뎁스 값을 필터링할 것인지 여부 또는 색상 정보의 피쳐셋을 선택하여 비전 슬램을 수행할 것인지 여부를 선택하여 장애물 판단과 슬램 동작의 정확도를 높일 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 의한 센싱 모듈의 구성요소를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 로봇의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 맵 저장부의 구성을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 위치 정보를 이용하여 광원과 거리 및 센싱된 조도값을 이용하여 영상 제어 활성화를 수행하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 로봇과 광원과의 거리에 따라 조도 예측값을 산출하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 시간 정보와 센싱된 조도값을 이용하여 영상 제어 활성화를 수행하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 뎁스 카메라부가 조도 센싱부의 제어에 따라 필터링을 수행하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 뎁스 정보의 구성을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 로봇이 색상 정보를 누적하여 저장하는 과정에서 피쳐셋을 선택하거나 저장하거나 혹은 이를 이용하여 비전 슬램을 수행하는 과정을 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 의한 제어부가 조도에 기반하여 비전 카메라부의 색상 정보를 식별하는 도면이다.
도 11은 본 발명의 다른 실시예에 의한 저장부(150)에 저장된 피쳐 셋들의 정보를 보여주는 도면이다.
도 12 및 도 13은 본 발명의 일 실시예에 의한 조도 센싱부가 로봇에 배치되는 구성을 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 의한 영상 제어 활성화를 제어하는 과정을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다. 즉, 본 명세서에서 논리적으로 하나의 모듈 내에 다수의 구성요소들이 배치될 수 있으나, 이들이 물리적으로 근접하지 않게 배치될 수 있음을 의미한다.

본 명세서에서 영상 취득 모듈이 결합하는 로봇은 특정한 목적(청소, 보안, 모니터링, 안내 등)을 가지거나 혹은 로봇이 이동하는 공간의 특성에 따른 기능을 제공하며 이동하는 장치를 포함한다. 따라서, 본 명세서에서의 로봇은 소정의 정보와 센서를 이용하여 이동할 수 있는 이동수단을 보유하며 소정의 기능을 제공하는 장치를 통칭한다.

도 1은 본 발명의 일 실시예에 의한 센싱 모듈의 구성요소를 보여주는 도면이다. 센싱 모듈(100)은 모듈이 탑재된 장치, 예를 들어 로봇이 이동하는 공간에서 사물의 영상 정보를 센싱하는 장치를 의미한다. 센싱 모듈(100)은 사물의 뎁스 영상 정보(뎁스 정보)를 센싱하여 사물의 거리를 산출하는 뎁스 카메라부(110)와 사물의 색상(RGB, Red/Green/Blue) 영상 정보(색상 정보)를 센싱하여 사물의 형상을 산출하는 비전 카메라부(120) 중 어느 하나 이상을 포함한다.

비전 카메라부(120)는 주변의 객체들의 이미지를 촬영할 수 있다. 특히, 고정 객체와 같이 변화가 많지 않은 이미지와 이동 객체가 배치된 이미지를 비전 카메라부(120)가 센싱할 수 있으며, 그 결과 이동하는 객체를 식별할 수 있다. 예를 들어 일정한 시간을 두고 비전 카메라부(120)에서 생성한 색상 정보들을 비교하여 특정한 형상을 가지는 사물의 이동을 센싱 모듈(100)이 확인할 수 있다.

조도 센싱부(130)는 외부광을 센싱한다. 외부광의 조도를 센싱하며, 뎁스 카메라부(110) 또는 비전 카메라부(120) 중 어느 하나 이상의 카메라부가 영상을 센싱하는 방향의 조도를 센싱할 수 있다. 일 실시예로 햇빛과 같이 강한 빛을 센싱할 수 있다. 센싱 모듈(100)이 뎁스 영상 또는 색상 영상을 센싱하는 과정에서 태양과 같은 외부광에 의해 뎁스 또는 색상의 왜곡이 발생할 경우 뎁스 정보에 기반한 외부 사물에 대한 거리나 색상에 기반한 특징점 추출에 오류가 발생할 수 있다. 따라서 조도 센싱부(130)는 센싱한 광의 세기(조도) 혹은 그 외 특성을 센싱하여 이를 후술할 로봇의 제어부(900)에게 제공한다.

후술할 제어부(900)는 영상 제어 활성화 여부에 따라 뎁스 카메라부(110)가 센싱한 뎁스 정보에서 필터링할 영역을 식별한다. 또는 제어부(900)는 영상 제어 활성화 여부에 따라 비전 카메라부(120)가 센싱한 색상 정보를 비교하여 필터링할 영역을 식별하거나 피쳐셋(feature set)을 선택한다. 영상 제어 활성화 여부는 제어부(900)에 의해 설정되는데, 앞서 조도 센싱부(130)가 센싱한 외부광의 크기에 따라 활성화 될 수 있다. 또는 제어부(900)가 취득한 비광학적 정보에 따라 필터링이 활성화될 수 있다. 비광학적 정보는 현재 시각, 계절과 같은 시간 정보, 센싱 모듈(100)을 포함하는 로봇의 현재 위치와 같은 위치 정보, 그리고 외부에 사물이 다수의 센싱부들(제1~제N센싱부)(181~189)이 센싱되었는지 여부에 대한 정보, 즉 사물 정보를 포함한다.

저장부(150)는 뎁스 카메라부(110) 또는 비전 카메라부(120)가 센싱한 영상 정보들(뎁스 정보, 색상 정보)를 저장한다.

그 외 센싱 모듈(100)은 다수의 센싱부들(제1~제N센싱부)(181~189)을 포함한다. 센싱부들의 예로 초음파 센싱부, 라이다 센싱부, 적외선 센싱부, 열감지 센싱부, 클리프 센싱부를 포함한다. 이들은 센싱 모듈(100)이 배치된 로봇의 주변의 사물을 초음파, 레이저, 적외선 등을 이용하여 센싱한다.

이들 센싱부들(181~189)는 외부의 객체들을 센싱하여 센싱한 정보를 센싱 제어부(900)에게 제공한다. 일 실시예로 라이다 센싱부는 현재 위치에서 벽, 유리, 금속성 문 등 외부 객체들의 재질과 거리를 신호의 강도(intensity)와 반사된 시간(속도)로 산출할 수 있다. 초음파 센싱부는 일정 거리 내에 배치된 객체들의 존재 여부를 센싱할 수 있다. 이들 센싱부들(181~189)은 맵을 생성하거나 외부 객체를 센싱하는데 필요한 보조적인 센싱 정보를 제공한다. 또한, 이들 센싱부들(181~189)은 로봇이 주행함에 있어 외부에 배치된 객체를 센싱하여 정보를 제공한다.

제어부(900)는 센싱부들(181~189)이 센싱된 거리 정보를 뎁스 카메라부(110) 또는 비전 카메라부(120)에 제공하여 뎁스 정보 또는 색상 정보를 필터링 하는 과정에서 참조할 수 있도록 한다. 예를 들어, 5미터 이내에 사물이 존재하지 않는 것으로 센싱부들(181~189)이 센싱 제어부(190)에게 센싱 정보를 제공하고 제어부(900)가 이러한 정보를 뎁스 카메라부(110) 또는 비전 카메라부(120)에게 제공할 수 있다.

5미터 이내에 사물이 존재하지 않는 센싱 정보를 취득한 뎁스 카메라부(110)는 센싱한 뎁스 정보에 5미터 이내의 뎁스 값(뎁스 영상 정보에서 특정 픽셀의 뎁스값)이 센싱되면 해당 뎁스 셀이 외부광에 의해 왜곡된 것인지 여부를 확인하여 필터링할 수 있다.

마찬가지로, 5미터 이내에 5미터 이내에 사물이 존재하지 않는는 센싱 정보를 취득한 비전 카메라부(120)는 센싱한 영상 정보에 특정한 형상의 색상 값이 센싱되면 해당 색상 셀이 외부광에 의해 왜곡된 것인지 여부를 확인하여 이를 포함하는 피쳐셋을 저장하여 SLAM(Simultaneous localization and mapping) 을 수행할 수 있다.

제어부(900)는 각 센싱부들 및 카메라부들(110, 120)이 센싱한 정보들을 분석한다. 예를 들어 다수의 센싱부들에 의해 로봇의 주변에 배치된 객체가 감지될 경우, 해당 객체의 특성과 거리에 대한 정보를 각각의 센싱부가 제공할 수 있다. 제어부(900)는 이들의 값을 조합하여 산출하고 이에 기반하여 카메라부들(110, 120)이 센싱한 값의 정확도에서 오류가 발생하였는지를 확인할 수 있다. 만약, 누적하여 카메라부들(110, 120)의 센싱한 값에서 오류가 발생하면 필터링이 필요한 것으로 제어부(900)가 확인할 수 있다. 이는 도 14에서 살펴본다.

도 2는 본 발명의 일 실시예에 의한 로봇의 구성을 보여주는 도면이다. 로봇(1000)은 도 2에서 살펴본 센싱 모듈(100)을 포함한다. 그 외의 구성요소로 로봇이 이동하는 공간에 배치되는 사물들의 정보를 포함하는 맵 저장부(200), 로봇(1000)을 이동시키는 이동부(300)와 특정한 기능을 수행하는 기능부(400), 그리고 통신부(500)가 제시된다.

도 2는 로봇의 구성을 계층적으로 구성하고 있으나, 이는 로봇의 구성요소들을 논리적으로 나타낸 것에 의해서이며, 물리적 구성은 이와 다를 수 있다. 하나의 물리적 구성요소에 다수의 논리적 구성요소가 포함되거나, 다수의 물리적 구성요소가 하나의 논리적 구성요소를 구현할 수 있다. 또한, 반드시 도 2의 계층이 유지될 필요는 없으며 통상의 기술자가 이를 자유로이 변경할 수 있다.

이동부(300)는 바퀴와 같이 로봇(1000)을 이동시키는 수단으로, 제어부(900)의 제어에 따라 로봇(1000)을 이동시킨다. 이때, 제어부(900)는 맵 저장부(200)에 저장된 영역에서 로봇(1000)의 현재 위치를 확인하여 이동부(300)에 이동 신호를 제공할 수 있다. 제어부(900)는 맵 저장부(200)에 저장된 다양한 정보들을 이용하여 경로를 실시간으로 생성하거나 혹은 이동 과정에서 경로를 생성할 수 있다.

기능부(400)는 로봇의 특화된 기능을 제공하는 것을 의미한다. 예를 들어, 청소 로봇인 경우 기능부(400)는 청소에 필요한 구성요소를 포함한다. 안내 로봇인 경우 기능부(400)는 안내에 필요한 구성요소를 포함한다. 보안 로봇인 경우 기능부(400)는 보안에 필요한 구성요소를 포함한다.

기능부(400)는 로봇이 제공하는 기능에 따라 다양한 구성요소를 포함할 수 있으며, 본 발명이 이에 한정되는 것은 아니다. 통신부(500)는 로봇이 취득한 정보를 외부의 서버 또는 다른 로봇들에게 전송하거나 혹은 전술한 서버 또는 다른 로봇으로부터 정보를 수신하는 기능을 제공한다.

특히, 통신부(500)는 현재 날씨에 대한 정보를 외부의 장치들로부터 수신하여 햇빛과 같은 강한 외부광이 발생하는 조건인지를 확인하여 이를 제어부(900)에게 제공하고 제어부(900)는 외부광의 발생 조건을 센싱 모듈(100)에게 제공하여 필터링에 적용할 수 있도록 한다.

로봇(1000)의 제어부(900)는 맵 저장부(200)의 맵을 생성하거나 업데이트할 수 있다. 또한, 제어부(900)는 주행 과정에서 센싱 모듈(100)이 제공하는 센싱 정보를 취합하여 로봇의 이동 경로를 제어할 수 있다. 즉, 제어부(900)는 센싱 모듈(100)에서 센싱된 뎁스 영상 및 색상 영상과 거리 정보 등에 기반하여 로봇 주변의 객체를 확인하여 로봇(1000)의 이동 경로를 제어한다.

도 1 및 도 2의 구성에 기반하여 로봇을 살펴보면, 센싱 모듈(100)은 뎁스 카메라부(110) 또는 비전 카메라부(120)가 영상을 센싱하는 방향의 조도를 센싱한다. 센싱 모듈(100)은 조도의 센싱을 위해 조도 센싱부(130)를 더 포함할 수 있다.

맵 저장부(200)는 로봇이 이동하는 공간에 배치되는 객체의 정보를 저장한다. 벽, 문과 같이 고정된 객체들의 정보를 저장하는 고정맵(210), 그리고 선택적으로 광원정보부(220)를 더 포함할 수 있다. 광원정보부(220)는 천정 혹은 벽 등에 별도의 조명이 배치되거나 혹은 천정의 창을 통해 로봇이 빛을 받는 경우에는 창의 위치 혹은 창의 특성 등에 대한 정보를 저장한다. 일 실시예로 광원이 센싱되는 위치와 광원의 세기(조도) 등을 적용할 수 있다.

제어부(900)는 센싱 모듈(100)이 센싱한 조도와 맵 저장부(200)의 객체의 정보와 로봇의 위치와 시간 정보를 조합하여 뎁스 카메라부(110) 또는 비전 카메라부(120)의 필터를 적용한다. 일 실시예로 조도 센싱부(130)가 센싱한 조도가 일정 수준이상 높은 경우에는 제어부(900)가 센싱 모듈(100)을 제어하여 카메라부들(110, 120)이 센싱한 영상 정보를 저장하여 필터링하거나 피쳐셋을 선택하도록 뎁스 카메라부(110), 비전 카메라부(120) 및 저장부(150)를 제어할 수 있다.

정리하면, 제어부(900)는 조도 센싱부가 센싱한 조도와 맵 저장부에 저장된 객체의 정보 또는 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 뎁스 카메라부 또는 비전 카메라부의 영상 제어 활성화를 설정한다. 여기서 조합하여 영상 제어 활성화를 설정하는 이유는 조도 센싱부가 센싱한 조도가 정확한지를 확인하기 위함이다.

도 2에 미도시되었으나, 각 지점에서 로봇이 비전 카메라부(120)를 이용하여 촬영한 영상에서 피쳐셋을 추출하여 저장할 수 있다. 고정맵(210)의 위치에 대응하여 특정 위치에서 촬영한 피쳐셋을 위치 별(셀 별)로 하나 이상 저장할 수 있는데, 이 과정에서 외부광의 조도가 클 경우 외부광이 반영된 피쳐셋을 별도로 고정맵(210)에 저장할 수 있다. 그 결과 동일한 셀에서 취득할 수 있는 피쳐셋이 둘 이상이며 외부 조도의 상태에 따라 SLAM을 수행하기 위해 피쳐셋을 선택하거나 혹은 저장할 수 있다.

도 1 및 도 2와 같은 구성에 기반하여 로봇은 실외 혹은 건물 외부의 밝기 변화가 그대로 반영되는 건물 내에서 이동하는 과정에서 정확하게 사물을 식별할 수 있다. 뎁스 카메라부(110) 또는 비전 카메라부(120)는 외부의 빛에 의한 정확도를 유지하기 위해 조도 센싱부(130)와 현재 시각에 대한 정보와 계절에 대한 정보, 로봇의 위치에 대응한 광원들의 위치 혹은 사물들의 위치 정보를 융합하여 정확하게 뎁스 정보 및 색상 정보를 생성하거나 혹은 외부의 빛의 세기를 반영한 뎁스 정보 또는 색상 정보를 생성할 수 있다.

도 3은 본 발명의 일 실시예에 의한 맵 저장부의 구성을 보여주는 도면이다.

맵 저장부(200)는 일종의 비트맵과 같은 고정맵(210) 및 광원정보부(220)를 통합하여 도 3과 같이 저장할 수 있다. 맵 저장부(200)는 도 3과 같은 비트맵의 정보를 다수 저장할 수 있으며, 이 과정에서 시간에 따른 고정맵/광원정보부도 누적하여 저장할 수 있다. 이미지 파일의 비트맵에서 각 비트가 하나의 단위 영역을 나타내도록 구성할 수 있다. 각 단위 영역은 좌측 하단을 (0, 0)으로, 우측 상단을 (19, 19)로 지시할 수 있다. 또한, 도 3의 200a은 20x20 구조의 데이터 구조를 가질 수 있다. 예를 들어, 각 위치에 대해 객체가 배치되는지 여부에 대한 정보를 포함할 수 있다. 일종의 행렬과 같이 정보를 배치하고, 고정 객체가 배치되는 경우에는 해당 행렬의 값을 미리 설정된 값으로 설정할 수 있다.

또한, 맵 저장부(200a)는 고정 객체들이 가지는 빛의 반사 혹은 투과 속성에 대한 특성 정보를 저장할 수 있는데, 객체에 대한 특성 정보는 범주로 분류하여 구분하여 맵 저장부(200a)에 저장될 수 있다. 도 3의 맵 저장부(200a)에서 검은 색으로 표시된 부분은 빛의 반사도(reflective)의 값이 10으로 빛의 반사도가 낮은 속성의 객체임을 보여준다.

그 외 212로 지시되는 고정 객체는 빛의 반사도가 30으로 외부광을 30%로 반사함을 보여준다. 213a, 213b로 지시되는 고정 객체는 빛의 반사도가 70으로 외부광을 70%로 반사함을 보여준다. 고정 객체의 빛의 반사도에 대한 범주는 다양하게 설정될 수 있으며, 본 발명이 이들에 한정되는 것은 아니다.

한편, 고정객체들 사이에 T와 숫자로 결합된 부분은 빛의 투과도를 보여준다. 예를 들어, 211a에서 지시하는 "T9"는 빛을 90% 이상 투과시키는 투명 재질의 고정객체, 예를 들어 투명한 유리창이 배치되는 것을 지시한다. 그 결과 태양이 떠오르는 시간 및 해당 방향에서 211a의 주변으로 뎁스 카메라부(110) 또는 비전 카메라부(120)가 이동할 경우, 햇빛이 뎁스/색상 정보의 산출에 영향을 미치는 것을 제어부(900)가 확인할 수 있다.

211b에서 지시하는 "T5"는 빛을 50% 투과시키는 반투명 재질의 고정객체, 예를 들어 반투명한 유리창이 배치되는 것을 의미한다.

맵 저장부(200a)에 L1 또는 L3는 천장에서 빛이 들어올 수 있는 공간 또는 조명이 배치된 지점에 표시된다. L1 또는 L3와 같은 것은 천장의 창문 혹은 조명들을 그룹핑 지은 라벨링이 될 수 있으며, 일 실시예로 조명의 조도가 되거나 창문의 투과도에 의한 빛의 세기 혹은 특정한 범주의 조명들의 그룹명이 될 수 있다.

L1, L3 등이 천장의 창문을 통해 유입되는 햇빛의 세기 또는 조명의 조도를 나타낼 경우, 이들을 범주화시켜 나눌 수 있는데, 일 실시예로 1~5 까지 범주화 시킬 수 있으며, 도 3의 실시예는 "1"이라는 범주에 해당하는 세기의 외부광(L1)과 "3"이라는 범주에 해당하는 세기의 외부광(L3)이 표시된 것으로 볼 수 있다.

일 실시예로 천장이 투명한 유리인 경우에는 빛의 투과도가 높은 것으로 그룹핑할 수 있고, 천장이 불투명한 유리인 경우에는 빛의 투과도가 낮은 것으로 그룹핑할 수 있다.

또다른 실시예로, 외부광의 세기 또는 조명의 조도 외에도 조명들을 그룹핑 지어서 범주화시킬 수도 있다. 예를 들어, 동시에 켜지거나 꺼지는 조명들을 그룹핑하여 이들을 범주화 시켜서 L1, L2 와 같이 라벨링할 수 있다.

L1, L3 등이 천장의 창문을 통해 유입되는 햇빛의 세기 또는 조명의 그룹을 나타내거나 조명의 조도를 나타내는 등 외부광의 특정한 정보를 제공하는 반면, 보다 상세한 외부광의 정보, 예를 들어, 햇빛이 비치는 시간이나 햇빛이 비치는 컨텍스트(날씨, 위도, 경도 등) 조명들이 켜지고 꺼지는 온오프 주기 혹은 온오프하는 컨텍스트(특정 공간에서 불이 켜지는 조건 등)에 대한 정보는 맵 저장부(200) 등에 저장될 수 있다.

도 3에서 바닥의 재질이 빛을 반사하는 정도에 대한 정보도 맵 저장부(200)에 저장될 수 있는데, 예를 들어, 하기의 표와 같이 맵 저장부(200a)의 특정한 영역 별로 바닥의 빛의 반사도에 대한 정보를 저장할 수 있다.

Position	Reflective
(0, 0) ~ (19, 19)	Reflective 50

표 1에서는 (0, 0)을 좌하단 영역, (19, 19)를 우상단 영역으로 하는 바닥의 빛 반사가 "50"이라는 범주에 해당함을 보여준다. 이는 뎁스 카메라부(110) 또는 비전 카메라부(120)가 센싱된 뎁스 값을 필터링하거나 피쳐셋을 선택하는 과정에서 바닥에서 빛이 반사될 수 있다는 정보를 반영할 수 있다. 이와 달리 공간을 세분화하여 표 2와 같이 바닥의 반사 정보를 제시할 수 있다.

Position	Reflective
(0, 0) ~ (19, 10)	Reflective 50
(0, 11)~(19, 19)	Reflective 20

로봇은 표 2에서 첫번째 영역((0, 0) ~ (19, 10))으로 이동할 경우에는 반사도가 50이라는 정보를 반영하여 천장의 조명의 반사 정도가 50에 대응하는 범주에 속하는 공간에서 뎁스 정보를 필터링하거나 색상 정보의 피쳐셋을 선택할 수 있다. 또한, 두번째 영역((0, 11)~(19, 19))으로 이동할 경우에는 반사도가 20이라는 정보를 반영하여 천장의 조명의 반사 정도가 20에 대응하는 범주에 속하는 공간에서 뎁스 정보를 필터링하거나 색상 정보의 피쳐셋을 선택할 수 있다.

전술한 로봇의 구성을 적용할 경우, 주변환경의 밝기 변화에 따라 뎁스 카메라부(110) 및 비전 카메라부(120)의 운용 방식을 변경하여 보다 정확한 뎁스/색상 정보를 산출할 수 있다. 특히, 공항, 터미널, 항만, 또는 학교와 실외 등에서 이동하는 로봇이 영상을 센싱하는 과정에서 통유리로 되어 있거나 빛이 많은 건물 구조 혹은 실외의 환경으로 인해 밝기의 변화에 따라 센싱에 영향을 받는다.

특히, 본 발명을 적용하면, 뎁스 카메라부(110)의 경우, 햇빛에 반사된 구조물을 장애물로 오인식 하는 경우를 방지할 수 있다. 이는 뎁스 카메라부(110)에 필터링을 적용하여 뎁스 정보의 센싱 정확도를 높일 수 있다.

또한, 비전 정보, 즉 색상(RGB) 정보를 생성하는 비전 카메라부(120)의 경우, 카메라로 보이는 특징점을 피쳐(Feature)로 저장하여 위치 인식을 수행할 수 있다. 이를 비전 슬램(Vision SLAM)이라 한다. 그런데 비전 슬램 과정에서 주변의 밝기에 따라 이 피쳐가 동일한 장소임에도 다르게 검출될 수 있으므로, 주변의 밝기에 따라 특징점을 따로 저장하는 것이 필요하다.

따라서, 본 발명을 적용하면 현재 시간이나 계절 정보, 또는 로봇의 위치 정보, 외부의 장애물인 객체 정보 등을 조합하여 조도 센싱부(130)가 센싱한 값을 이용하면 뎁스 카메라부(110)의 필터링 유무를 정확하게 판별할 수 있으며, 비전 슬램에서의 피쳐셋을 선택할 수 있어 로봇이 오류나 지연 없이 이동할 수 있다.

도 4는 본 발명의 일 실시예에 의한 위치 정보를 이용하여 광원과 거리 및 센싱된 조도값을 이용하여 영상 제어 활성화를 수행하는 과정을 보여주는 도면이다.

로봇의 제어부(900)는 로봇의 현재 위치를 기준으로 배치된 광원들 또는 반사되는 빛이 존재하는지 여부를 확인하여 센싱된 조도의 정확도를 증감시킬 수 있다. 여기서 광원은 천장 혹은 벽에 배치된 창을 투과하는 태양광을 포함한다. 조도가 센싱한 빛이 Lum_01이며 로봇의 주변에 배치된 창문을 통한 빛 또는 조명 등을 포괄하는 광원들이나 반사로 인해 발생할 수 있는 빛이 Lum_01와의 오차 범위내에 있는 경우, 센싱된 조도가 정확한 것으로 판단한다.

그 결과 조도 데이터와 위치 정보를 융합하여 영상 제어를 수행할 수 있다.

보다 상세히 살펴보면, 제어부(900)는 맵 저장부(200)에 저장된 광원의 위치 정보와 로봇의 위치 정보를 비교하여 조도 예측값을 산출한다(S41). 조도 예측값은 로봇이 해당 위치에서 받을 수 있는 빛의 영향을 의미하며 예를 들어 광원의 빛의 세기(조도) 및 광원과 로봇 사이의 거리에 따라 산출할 수 있다. 만약 조도가 강하며 로봇이 광원에 인접한 경우에는 조도 예측값은 증가한다. 반면, 조도가 강하지만 로봇의 뎁스 카메라부 또는 비전 카메라부의 영상 센싱 방향과 광원(창문, 조명 등)의 위치가 상이한 경우에는 조도 예측값은 감소한다. 영상 센싱 방향과 광원의 위치를 비교하여 제어부(900)는 로봇이 받을 수 있는 조도의 영향을 보다 정확하게 예측한다. 조도 예측값은 광원의 조도보다 클 수 없으며 광원과 로봇의 거리에 따라 감소할 수 있다.

다음으로 제어부(900)가 조도 예측값과 조도 센싱부(130)가 센싱한 조도값을 비교한다(S42). 예를 들어 센싱한 조도값과 조도 예측값의 차이가 미리 설정된 기준 이상의 값을 가지는 경우인지 확인한다. 확인 결과 전술한 차이가 기준 이상의 값을 가지는 경우 외부에 또다른 광원이 배치되거나 혹은 광원의 조도가 증가하는 등으로 인해 강한 외부광이 배치된 것으로 판단하고 영상 제어를 활성화시킨다(S43). 그 결과 뎁스 카메라부(110)는 필터링을 수행할 수 있으며, 비전 카메라부(120)는 취득한 영상에서 별도의 피쳐셋을 선택할 수 있다.

한편, 조도 예측값과 센싱한 조도값의 비교 결과 미리 설정된 기준 이하의 값을 가지는 경우 이는 원래 예측 보다 실제 측정된 조도가 낮은 것이므로 지속적으로 조도 센싱값을 누적할 수 있다. 특히 이미 영상 제어가 활성화된 경우에 센싱한 조도값이 낮은 경우라면 제어부(900)는 영상 제어를 비활성화할 수 있다(S45).

한편, 제어부는 조도 예측값과 센싱한 조도값의 비교 결과 두 값의 차이가 일정 범위 내에 속할 경우, 센싱한 조도값은 모두 특정한 광원으로부터 발생한 것으로 판단하여 영상 활성화 과정에서 광원의 위치 정보를 적용할 수 있다.

도 5는 본 발명의 일 실시예에 의한 로봇과 광원과의 거리에 따라 조도 예측값을 산출하는 과정을 보여주는 도면이다. 도 5는 로봇이 이동하는 공간을 축약하여 보여준다. L1은 제1카테고리에 속하는 광원이 배치됨을 보여준다. R1의 위치의 로봇은 좌측 화살표 방향으로 이동하고 있다. R1이 좌측으로 이동하므로 두 개의 광원은 R1 로봇의 후면에 배치되어 있다. 따라서 R1의 위치에서 로봇이 센싱한 조도값은 L1으로부터 영향을 받지 않는 방향이다.

만약 로봇의 제어부(900)가 조도를 센싱한 결과 로봇의 주변에 광원이 배치되어 있으나 로봇의 진행 방향이 아닌, 즉 영상을 취득하는 방향이 아닌 경우에는 로봇이 센싱한 조도값이 일정 수준 이상 높을 경우에만 새로운 광원으로부터 빛을 받은 것으로 확인한다. 반면, 센싱한 조도값이 조도 예측값과 동일하거나 낮으며 영상 제어를 활성화하는 기준이 되는 조도 기준값과 비교할 때 센싱한 조도값이 낮은 경우에 제어부(900)는 센싱한 조도를 반영하지 않고 영상을 취득할 수 있다.

한편, R2의 위치에서 로봇은 광원이 배치된 방향, 즉 상측으로 이동 중이다. 이동 과정에서 로봇은 조도를 센싱하며 이동 방향에 배치된 광원의 빛의 세기를 센싱한 조도값이 조도 예측값과 동일하거나 혹은 그보다 높을 수 있다. 이 경우, 로봇의 제어부(900)는 새로운 광원에 의해서 센싱한 조도값이 높은 경우이거나 또는 기존의 광원에 의해 예측된 조도값을 반영하여 영상 제어를 활성화시킬 수 있다. 앞서 살펴본 바와 같이, 뎁스 카메라부(110)는 필터링을 수행할 수 있으며, 비전 카메라부(120)는 취득한 영상에서 높아진 조도값을 반영하여 별도의 피쳐셋을 선택할 수 있다.

만약, R2의 위치에서 센싱한 조도가 조도 예측값보다 매우 낮은 경우 이는 해당 광원이 동작하지 않는 것으로 확인할 수 있다. 제어부(900)는 센싱한 조도값은 맵 상에서 지속적으로 누적하여 각 영역에서의 조도값을 별도로 저장할 수 있다. 센싱한 조도값의 누적된 저장은 추후 광원 정보를 업데이트하거나 또는 뎁스 카메라부(110)/비전 카메라부(120)가 필터링/피쳐셋 선택을 수행함에 있어 정보를 제공한다.

한편 R3의 위치는 광원을 향해 이동 중이지만 R2와 달리 광원과의 거리가 이격되어 있다. 따라서 R3 위치에서 로봇의 제어부(900)는 방향의 변화가 없을 경우 센싱되는 조도값이 점진적으로 증가하는 것으로 추적한다. 이 과정에서 갑자기 센싱된 조도값이 증가하면 새로운 광원이 등장한 것으로 제어부(900)가 확인하고, 영상 제어를 활성화시킬 수 있다.

예를 들어, 도면에서 "New"로 표시된 영역에서 새로운 광원이 발생할 수 있다. 이동하는 사람들이 후레쉬를 터트리거나 또는 새로운 광원을 배치할 수 있다. 제어부(900)는 L1 광원과의 거리에 기반하여 조도 예측값이 증가할 것으로 예상한 상태에서 새로운 광원의 등장으로 조도 센싱부(130)가 센싱한 조도값이 크게 증가하는 경우, 제어부는 영상 제어 활성화를 설정할 수 있다.

정리하면 제어부(900)는 광원(L1)과의 거리가 증가함에 대응하여 조도 예측값을 증가시킨다. 1씩 증가시키는 상황에서 조도 센싱부(130)가 조도 예측값이 증가하는 비율보다 큰 조도값을 센싱한 경우가 발생한다. 예를 들어 조도 예측값은 10->11->12 와 같이 증가하는 것으로 제어부(900)가 예측했으나 새로운 광원으로 인해 20이라는 값이 조도값으로 센싱되면 제어부(900)는 빛의 변화가 발생한 것으로 확인하고 영상 제어 활성화를 설정한다. 예를 들어, 제어부(900)는 영상 제어를 활성화시키며, 뎁스 카메라부(110)는 필터링을 수행할 수 있으며, 비전 카메라부(120)는 취득한 영상에서 높아진 조도값을 반영하여 별도의 피쳐셋을 선택할 수 있다.

전술한 실시예는 특히 태양광에 대해서만 필터링/피쳐셋 선택을 수행할 경우에 적합하다. 다른 조명과 태양광을 비교하여 조명이 비록 일정 수준 이상 밝은 경우라하여도 태양광만큼 강하지 않다면 로봇은 별도의 필터링/피쳐셋 선택 과정을 수행하지 않도록 구성할 수 있다.

도 6은 본 발명의 일 실시예에 의한 시간 정보와 센싱된 조도값을 이용하여 영상 제어 활성화를 수행하는 과정을 보여주는 도면이다.

도 4 및 도 5는 광원의 위치, 예를 들어 태양광이 투과하는 창이나 강한 조명의 위치에 기반하여 조도 센싱부(130)가 센싱한 조도의 정확도를 보완하여 필터링 또는 피쳐셋 선택/저장을 센싱 모듈이 수행하였다. 도 6은 조도 센싱부가 센싱한 조도값과 현재 시각에서 예측 가능한 조도값(조도 예측값)을 비교하여 센싱된 조도가 더 높을 경우에 영상 제어 활성화를 수행할 수 있다.

일 실시예로 제어부(900)는 현재 시각에 따라 혹은 현재의 계절 정보, 또는 날씨 정보에 기반하여 조도 예측값을 산출한다. 계절 정보는 제어부(900) 내의 별도의 메모리에 저장될 수 있으며, 각 계절별로 빛의 세기, 즉 조도값을 데이터베이스로 저장할 수 있다. 또한, 통신부(500)가 실시간으로 수신하는 날씨 정보에 기반하여 제어부(900)는 조도 예측값을 산출할 수 있다.

따라서, 제어부(900)는 현재 외부의 태양광의 세기를 예측할 수 있는 다양한 정보들(현재 시각 정보, 계절 정보, 날씨 정보 등)에 기반하여 조도 예측값을 산출한다(S51). 조도 예측값은 현재 시각을 기준으로 계절별, 날씨의 상황 등을 반영하여 로봇이 받을 수 있는 빛의 영향을 의미한다. 만약 태양광이 강한 시간이라면 조도 예측값은 증가한다. 반면, 조도가 강하지만 로봇의 뎁스 카메라부 또는 비전 카메라부의 영상 센싱 방향과 창문 또는 조명 등의 광원의 위치가 상이한 경우에는 조도 예측값은 감소한다. 영상 센싱 방향과 광원의 위치를 비교하여 제어부(900)는 로봇이 받을 수 있는 조도의 영향을 보다 정확하게 예측한다. 조도 예측값은 광원의 조도보다 클 수 없으며 광원과 로봇의 거리에 따라 감소할 수 있다.

다음으로 제어부(900)가 조도 예측값과 조도 센싱부(130)가 센싱한 조도값을 비교한다(S52). 예를 들어 센싱한 조도값과 조도 예측값의 차이가 미리 설정된 기준 이상의 값을 가지는 경우인지 확인한다. 확인 결과 전술한 차이가 기준 이상의 값을 가지는 경우 새로운 광원이 배치되거나 혹은 태양광의 세기가 증가하는 것으로 판단하고 영상 제어를 활성화시킨다(S53). 그 결과 뎁스 카메라부(110)는 필터링을 수행할 수 있으며, 비전 카메라부(120)는 취득한 영상에서 별도의 피쳐셋을 선택할 수 있다.

한편, 조도 예측값과 센싱한 조도값의 비교 결과 미리 설정된 기준 이하의 값을 가지는 경우 이는 원래 예측 보다 실제 측정된 조도가 낮은 것이므로 지속적으로 조도 센싱값을 누적할 수 있다. 특히 이미 영상 제어가 활성화된 경우에 센싱한 조도값이 낮은 경우라면 제어부(900)는 영상 제어를 비활성화할 수 있다(S45).

제어부(900)는 날씨 정보와 계절 정보, 그리고 시각 정보는 가중치를 부여하여 우선 순위에 따라 선택할 수 있다. 예를 들어, 계절 정보와 시각 정보에 따라 태양이 뜨지 않는 시점에는 조도 센싱부(130)가 센싱하는 빛은 조명인 것으로 제어부(900)가 판단할 수 있다. 조명으로 판단되면 영상 제어를 비활성화 시키거나 혹은 매우 강한 조도의 조명에 대해서만 영상 제어를 활성화시킬 수 있다.

도 7은 본 발명의 일 실시예에 의한 뎁스 카메라부가 조도 센싱부의 제어에 따라 필터링을 수행하는 과정을 보여주는 도면이다.

도 7은 본 발명의 일 실시예에 의한 로봇이 뎁스 정보를 누적하여 저장하는 과정에서 뎁스 정보 내의 뎁스 값을 필터링하는 과정을 보여주는 도면이다. 도 7은 뎁스 카메라부(110)가 필터링이 설정된 후, 일정한 시간 동안 N 개의 뎁스 정보를 센싱하여 그 중에서 외부광의 영향으로 뎁스 정보에 오류가 있는 것을 식별하여 이를 보정하거나 제거하는 등의 작업을 수행할 수 있다.

제어부는 도 4 내지 도 6의 과정 혹은 그 외에 조도 센싱부(130)가 센싱한 조도의 크기에 따라 외부광(태양광, 조명 등)이 일정 수준 이상 큰 조도값을 가지는 경우 제어부는 영상 제어 활성화를 설정한다(S61). 영상 제어 활성화의 일 실시예로 뎁스 정보를 필터링하는 것을 포함한다. 이는 뎁스 정보를 시간에 따라 저장하여 일부 셀의 뎁스 값을 변경하거나 혹은 특정 시점의 뎁스 정보를 제거하는 필터링 작업을 포함한다.

뎁스 카메라부(110)는 N개의 뎁스 정보들(뎁스 데이터들)을 저장부에 저장한다(S62). 예를 들어 N은 1 이상의 자연수가 될 수 있다. 예를 들어 5개의 뎁스 정보들을 큐(queue)의 방식으로 저장부(150)에 저장할 수 있다.

제어부(900)는 N개의 뎁스 정보들에서 뎁스 값의 변화가 일정 범위 이상인 영역을 필터링 영역으로 식별한다(S63). 예를 들어, 제어부(900)는 5개의 큐를 검사하여 뎁스 정보의 각 뎁스 셀 별로 비교하여 뎁스 값이 일정 거리(예를 들어 100 mm) 이상 차이가 발생할 경우 이를 가비지 값으로 판단하여 사용하지 않는다.

또한, 이렇게 차이가 크게 발생한 영역들을 필터링 영역으로 식별한다. 전술한 기준이 되는 거리는 로봇의 이동 속도와 뎁스 정보들이 생성된 시간 등을 고려하여 산출될 수 있다. 예를 들어, 뎁스 카메라부(110)가 장착된 로봇의 이동속도 500mm/s 이고 사람의 이동속도가 1000mm/s인 것으로 가정할 때, 1초에 1500mm의 거리 차이가 발생할 수 있다. 그런데 뎁스 카메라부(110)가 만약 33mm/s 주기로 뎁스 정보를 생성한다면, 이는 1초에 약 30번의 뎁스 정보를 생성하는 것을 의미한다. 왜냐하면 1500mm/30 = 약 50mm/frame 이기 때문이다.

따라서, 하나의 프레임의 뎁스 정보는 이전 프레임 혹은 이후 프레임의 뎁스 정보와 비교할 때, 50mm 이상의 차이가 발생하기가 어려우며 또한 S61에서 영상 제어가 활성화되었으므로, 뎁스 값의 변화가 크게 발생할 경우, 제어부(900)는 객체의 뎁스값이 아니라 외부광의 세기로 인한 뎁스 값이 변화한 것으로 판단할 수 있다.

이후 제어부(900)는 필터링 영역을 구성하는 뎁스 셀들의 뎁스 값을 저장부(150)에 저장된 다른 뎁스 정보를 이용하여 변경할 수 있다. 또는 특정 뎁스 정보의 모든 뎁스 셀들의 뎁스 값이 태양광으로 인한 오류가 발생한 경우 해당 뎁스 정보를 저장부(150)에서 제거할 수 있다. 또는 특정 뎁스 셀의 뎁스 정보만을 저장부(150)에서 제거하여 사용하지 않을 수 있다.

도 8은 본 발명의 일 실시예에 의한 뎁스 정보의 구성을 보여주는 도면이다. 뎁스 정보(10~13)들 각각은 하나의 프레임에서 촬영된 뎁스 영상의 뎁스 셀 별 뎁스 값들을 구분하여 저장한 것을 의미한다. 또한, 뎁스 정보(11~13)는 저장부(150)에 저장되며, 상이한 시점에 촬영된, 즉 다수의 시점의 프레임에 대응하여 저장된 뎁스 정보들이 저장부(150)에 다수 저장될 수 있다.

일 실시예로, 10을 중심으로 살펴보면, 특정 시점에 촬영한 영상의 각 x-y 좌표의 뎁스값으로 구성될 수 있다. 예를 들어 뎁스 카메라부(110)가 특정 시점의 뎁스 영상, 즉 특정 시점의 프레임에 대응하여 가로로 max_x개, 세로로 max_y개로 분할된 뎁스 셀들에 대해 각각 뎁스 값을 산출할 수 있다. 일 실시예로 뎁스 영상에서 각 셀은 하나의 픽셀을 지시할 수 있다. 뎁스 셀(depth cell)은 픽셀 또는 이보다 더 큰 범위를 포함하여 하나의 뎁스 값이 산출되는 단위를 지시한다. 뎁스 셀의 크기는 뎁스 카메라부(110)가 산출하는 뎁스 영상의 해상도에 따라 증감할 수 있다. 뎁스 정보(10)의 상측의 숫자는 x 좌표를, 좌측의 숫자는 y좌표를 지시한다.

하나의 뎁스 셀은 하나의 뎁스 값을 가진다. 따라서, x, y 좌표 상으로 정의되는 하나의 뎁스 셀의 값은 다음과 같이 표시될 수 있다.

Depth Value : 61.3 (X:15, Y: 25) : Frame Number: 52

프레임 넘버(Frame Number)는 하나의 뎁스 영상을 식별하는 식별 정보가 될 수 있다. 뎁스 값(Depth Value)은 특정 프레임의 X, Y로 지시되는 뎁스 셀의 뎁스 값을 제시한다.

11 내지 13에 제시된 바와 같이, 뎁스 카메라부(110)가 생성하는 프레임 별 뎁스 영상의 뎁스 정보는 계속 변화할 수 있다. 일 실시예로, 뎁스 정보를 구성하는 특정 뎁스 셀의 뎁스 값은 계속 바뀔 수 있다. 일 실시예로, (x, y)가 1, 2인 뎁스 셀(15a, 15b, 15c)의 뎁스 값이 매 프레임 별로 변화할 수 있다. 물론 다른 뎁스 셀의 뎁스 값 역시 변화할 수 있다. 정리하면, 뎁스 정보는 뎁스 카메라부(110)가 취득한 하나의 프레임, 즉 한 시점에서 촬영한 뎁스 이미지를 구성하는 뎁스 값들의 집합을 의미한다.

첫번째 프레임의 뎁스 정보(11)와 두번째 프레임의 뎁스 정보(12)와 사이에서는 모든 뎁스 셀의 뎁스 값이 일괄적으로 1씩 증가하였다. 반면 두번째 프레임의 뎁스 정보(12)와 세번째 프레임의 뎁스 정보(13) 사이에는 (x, y)가 1, 2인 뎁스 셀의 뎁스 값이 큰 차이가 발생하였음을 알 수 있다.

즉, 15a에서 557, 15b에서 558, 그리고 15c에서 795로 큰 폭의 차이가 있다. 다른 뎁스 셀의 뎁스 값은 세 개의 프레임에서 일률적으로 1씩 증가한 것이므로, 제어부(900)는 15c의 뎁스 값은 외부광으로 인한 가비지 값으로 판단될 수 있다.

필터링이 적용된 후, 제어부(900)는 누적된 뎁스 정보들 중에서 뎁스 값의 변화가 미리 설정된 기준 보다 큰 경우 이를 분석하여 외부광의 영향으로 인한 가비지 값인 경우 뎁스 값을 시간적으로 이전 또는 이후의 프레임, 즉 시간적으로 이전 또는 이후의 뎁스 영상의 뎁스 정보에서 해당 셀의 뎁스 값을 추출하여 이를 변환시켜 외부광으로 인한 가비지 값을 제거하고 실제 객체들의 뎁스 값이 반영된 뎁스 정보를 산출할 수 있다.

도 9는 본 발명의 일 실시예에 의한 로봇이 색상 정보를 누적하여 저장하는 과정에서 피쳐셋을 선택하거나 저장하거나 혹은 이를 이용하여 비전 슬램을 수행하는 과정을 보여주는 도면이다.

제어부는 도 4 내지 도 6의 과정 혹은 그 외에 조도 센싱부(130)가 센싱한 조도의 크기에 따라 외부광(태양광, 조명 등)이 일정 수준 이상 큰 조도값을 가지는 경우 제어부는 영상 제어 활성화를 설정한다(S71). 영상 제어 활성화의 일 실시예로 현재의 조도 상태에 기반하여 새로운 피쳐셋을 선택하거나 색상 정보를 생성하여 피쳐셋을 저장하는 것을 포함한다.

먼저 비전 카메라부(120)가 색상 정보를 생성한다(S72). 색상 정보는 일종의 픽셀 별 RGB 값을 포함하는 이미지 파일을 일 실시예로 한다. 색상 정보는 비전 카메라부(120)가 취득한 영상의 RGB값을 포함하는데, 외부의 조도가 강한 경우 RGB 값에 변화가 발생할 수 있다.

따라서, 제어부(900)는 비전 카메라부(120)가 취득한 영상의 RGB 값들에 기반한 색상 정보에서 피쳐셋을 선택한다(S73). 예를 들어 의자 모서리로 확인되는 영상에 대해 의자라는 메타 정보가 피쳐셋을 구성할 수 있다. 또한, 문자 형상의 색상 정보에 대해 인식된 문자가 피쳐셋이 될 수 있다.

제어부(900)는 센싱한 조도와 피쳐셋을 저장부(150)에 저장한다(S74). 이후 새로이 저장된 특정 조도에서의 피쳐셋을 제어부(900)가 이용하여 비전 슬램을 수행할 수 있다(S75).

도 10은 본 발명의 일 실시예에 의한 제어부가 조도에 기반하여 비전 카메라부의 색상 정보를 식별하는 도면이다. 비전 카메라부(120)가 동일한 영역을 센싱하는 과정을 살펴보면 81과 같이 비전 카메라부(120)가 81과 같은 색상 정보인 영상을 취득하여 이 중에서 피쳐가 되는 글자(E)를 82와 같이 피쳐셋으로 저장한다. 81 및 82는 일반적인 조도 상황에서 취득한 피쳐셋이므로 조도 정보는 "Normal"로 저장될 수 있다(도 11 참조).

한편, 외부에서 빛이 강하게 비춘 상태에서 비전 카메라부(120)가 영상을 취득하면 83과 같이 빛이 사물에 반사될 수 있다. 이로 인해 81과 달리, 원래의 사물의 색상이 아닌 다른 색상이 영상, 즉 색상 정보(85)에 포함된다. 81에서 확인된 색상 정보와 85에서 확인된 색상 정보는 동일한 사물에 대해 비전 카메라부(120)가 촬영한 정보이지만, 빛으로 인해 상이한 색상 정보를 구성한다.

제어부(900)는 동일한 사물에 대한 상이한 색상 정보(81, 85)에 대해 각각 피쳐셋을 82 및 86과 같이 선택하여 저장할 수 있다. 이 과정에서 조도에 대한 정보(Normal, Bright)를 함께 저장하여 특정한 조도 상황에서는 비전 슬램과정에서 보다 정확한 피쳐셋을 제어부(900)가 선택할 수 있다.

도 11은 본 발명의 다른 실시예에 의한 저장부(150)에 저장된 피쳐 셋들의 정보를 보여주는 도면이다. 시리얼 번호 1과 4는 동일한 위치인 (5, 11)의 "N" 방향(북쪽)에서 취득한 피쳐셋을 각각 지시한다. 두 피쳐셋을 구분하는 것은 조도(LI)의 차이이다(Normal-Bright).

만약, 제어부(900)가 이동 과정에서 특정한 조도 상황을 감지하면 해당 조도를 반영하여 피쳐셋을 선택할 수 있다. 예를 들어 빛이 강하지 않을 경우 (5, 11) 위치에서 로봇(1000)은 시리얼 번호 1의 피쳐셋을 중심으로 비전 슬램을 수행할 수 있다. 반대로 빛이 강할 경우 (5, 11) 위치에서 로봇(1000)은 시리얼 번호 4의 피쳐셋을 중심으로 비전 슬램을 수행할 수 있다.

본 발명의 실시예들을 적용할 경우, 실외 또는 통유리 구조의 실내와 같이 외부 밝기 변화에 취약한 공간에서 뎁스 카메라부(110) 또는 비전 카메라부(120)가 센싱하는 영상을 필터링하거나 또는 별도의 피쳐셋을 저장한다. 이는 뎁스 카메라부(110)의 오류/오차 필터링을 사용할 것인지 여부, 즉 필터링 활성화 유/무를 선택하기 위해 현재시간과 계절, 로봇의 위치, 조도 센싱부(130)의 센싱한 값을 융합하여 활용한다. 특히, 필터링을 조도와 로봇의 위치, 현재 시간과 계절 등 다양한 변수에 기반하여 선택저으로 수행하므로 필터링 시간을 단축시키며 뎁스 카메라부(110)의 센싱 지연(delay)를 최소화할 수 있다. 이는 로봇(1000)의 장애물 대응 능력을 향상시킨다. 로봇 또는 제어부(900)가 현재 시간이나 계절 정보와 위치 정보만을 사용할 경우 조도 상황을 확인할 수 없지만, 본 발명의 실시예에 의하면 정확하게 필터링을 수행하지 못함으로 인한 문제를 해결한다.

또한 비전 카메라부(120)는 다양한 조도 상황에서 피쳐셋을 생성할 수 있으므로 외부 밝기의 변화에도 로봇이 비전 슬램을 수행할 수 있다. 특히, 비전 카메라부(120)가 센싱하는 사물들의 색상 정보는 외부의 빛의 밝기로 인하여 다양하게 변할 수 있으며, 동일한 사물이라도 상이한 피쳐셋을 선택할 수 있다. 따라서, 비전 카메라부(120)가 앞서 추출하여 저장한 피쳐셋을 제어부(900)가 이용하거나 혹은 비전 카메라부(120)가 추출한 피쳐 셋을 새로이 저장하여 비전 슬램 과정에서 외부 밝기에 독립적으로 위치 인식의 정확성을 높일 수 있다.

도 12 및 도 13은 본 발명의 일 실시예에 의한 조도 센싱부가 로봇에 배치되는 구성을 보여주는 도면이다. 도 12는 로봇의 측면을 보여주고, 도 13은 로봇의 전면을 보여주는 도면이다.

로봇(1000a)에 뎁스 카메라부(110a), 비전 카메라부(120a), 그리고 조도 센싱부(130a)가 배치된 상태이다. 조도 센싱부(130a)는 뎁스 카메라부(110a)와 비전 카메라부(120a)가 센싱하고자 하는 방향의 빛의 밝기를 가장 정확하게 센싱할 수 있는 로봇 상의 위치에 배치될 수 있다. 또한, 조도 센싱의 정확도를 높이기 위해 뎁스 카메라부(110a)와 비전 카메라부(120a)가 센싱하고자 하는 방향의 측면 혹은 상면 등 인접한 방향의 빛의 세기를 확인할 수 있도록 분산 배치될 수 있다(130c, 130d). 도 13은 조도 센싱부(130a)가 뎁스 카메라부(110a), 비전 카메라부(120a)와 수직 선상에서 일렬로 배치되는 구조(점선 참조) 및 카메라부들(110a, 120a)을 중심으로 좌우측으로 이격하여 배치된 구성을 보여준다. 카메라부가 영상을 센싱하는 방항(도 12의 88 또는 89)을 중심으로 일정한 범위 내(예를 들어 로봇의 전체 좌우 폭을 반영한 각도)에서 좌측 또는 우측 방향으로 이격하여 조도 센싱부(130c, 130d)가 추가적으로 배치될 수 있다.

물론, 로봇의 꼭대기 부분에 조도 센싱부가 배치될 수도 있다. 조도 센싱부는 뎁스 카메라부 및 비전 카메라부와 인접하지 않은 위치에도 배치될 수 있다.

다만, 다수의 조도 센싱부가 배치될 경우 제어부는 센싱된 조도값에 가중치를 부여할 수 있다. 예를 들어 뎁스 카메라부 및 비전 카메라부에 인접하여 배치된 조도 센싱부가 센싱한 조도에 가중치를 높게 부여하고, 뎁스 카메라부 및 비전 카메라부와 반대편에 배치된 조도 센싱부가 센싱한 조도에 가중치를 낮게 부여하여 뎁스 카메라부 및 비전 카메라부의 센싱 정확도를 높일 수 있다.

또한, 뎁스 카메라부가 뎁스 영상(뎁스 정보)을 센싱하는 방향과 비전 카메라부가 비전 영상(색상 정보)를 센싱하는 방향이 상이할 경우, 각각의 카메라부의 영상 센싱 방향에 대응하여 둘 이상의 조도 센싱부가 배치될 수 있다.

도 14는 본 발명의 일 실시예에 의한 영상 제어 활성화를 제어하는 과정을 보여주는 도면이다. 센싱 모듈(100)은 다수의 센싱부들을 포함할 수 있으며 이 중에서 초음파 센싱부, 적외선 센싱부, 라이다 센싱부 등을 포함할 수 있다. 제어부(900)는 센싱부들이 센싱한 객체의 거리와 뎁스 카메라부(110) 또는 비전 카메라부(120)가 생성한 뎁스 정보 또는 색상 정보를 비교한다(S91).

비교 결과 오차가 발생한 경우(S92) 오차의 누적값이 설정된 값 이상인지 제어부가 확인한다(S94). 그 결과 오차의 누적값이 설정된 값 이상인 경우 외부광의 밝기로 인해 뎁스 카메라부(110) 또는 비전 카메라부(120)의 영상 정보 생성에 오류가 발생한 것으로 판단하고 제어부(90)는 영상 제어 활성화를 설정한다(S96).

반면, 오차가 발생하지 않은 경우 오차 누적값을 리셋한다(S93). S94에서 오차 누적값이 설정된 값 이하인 경우 오차 누적값을 증가시킨다(S95). 오차 누적값은 일정한 시간 간격 내에서 오차가 발생한 경우 +1 씩 누적할 수 있다. 만약 오차가 20인 경우 제어부(900)는 20초 이상 오차가 발생한 것으로 판단하여 영상 제어 활성화를 설정할 수 있다.

또한, 본 발명의 다른 실시예로 반드시 센싱된 사물의 거리 정보 외에도 맵 저장부에 저장된 사물의 위치 정보와 로봇의 위치 정보에서 산출된 거리 정보를 이용할 수 있다. 예를 들어, 맵 저장부(200)에는 로봇을 기준으로 전방 3미터 거리에 벽이 배치된 것을 제어부(900)가 확인하였으나 뎁스 카메라부(110)가 센싱한 뎁스정보를 구성하는 뎁스 값이 모두 3미터 이상이라면 벽을 뎁스 카메라부(110)가 센싱하지 못하는 오류가 발생한 것으로 확인할 수 있다. 마찬가지로 도 14와 같이 오차가 발생한 것을 카운팅하여 누적한 값이 일정 범위를 넘어서면 제어부(900)는 영상 제어 활성화를 설정할 수 있다.

본 발명에서 조도 센싱부(130)는 뎁스 카메라부(110) 또는 비전 카메라부(120)가 설치된 위치에 대응하여 로봇 상에 배치될 수 있다. 수직선으로 일직선 혹은 수평으로 일직선 혹은 일정 각도 내에 조도 센싱부(130)가 배치될 수 있다. 뎁스 카메라부(110) 또는 비전 카메라부(120)가 바라보는 방향으로 조도 센싱부(130)를 배치함으로써 현재 로봇에 설치된 카메라가 받는 외부광의 영향을 측정 및 반영할 수 있다.

또한, 제어부(900)는 조도 센싱부(130)가 센싱한 빛의 강도(카메라부가 영향을 받는 빛의 강도) 외에도 현재 시각, 계절, 위치 정보 등을 종합하여 로봇에 현재 영향을 미치는 빛이 해빛과 같은 강한 빛인지 여부를 확인하여 이에 따라 영상 제어 활성화 여부를 결정한다.

본 발명을 적용할 경우, 로봇은 산출된 뎁스 정보 또는 색상 정보에서 실제 장애물이나 사람 등 로봇이 회피해야 하는 대상과 외부광으로 인한 왜곡된 정보를 구분할 수 있다. 특히, 공항, 학교, 병원, 터미널, 기차역, 복합몰 등과 같은 넓은 면적의 경우 모든 장소에서 로봇이 햇빛의 영향을 받는 것은 아니기 때문에 전체 맵에 기반하여 현재 로봇의 위치와 시간을 분석하여 로봇이 햇빛이나 강한 조명과 같이 외부광의 영향을 받는 구간에서만 영상 제어 활성화 알고리즘을 적용하여 효율적으로 로봇이 운용될 수 있도록 제어할 수 있다.

특히, 빛이 반사되는 경우에 데이터로 인식되는 것을 방지하기 위해 도 3에서 살펴본 바와 같이 조명의 위치, 창문의 위치 및 벽과 바닥의 빛 반사 정도에 대한 정보를 유지하여 외부광으로 인해 데이터가 왜곡될 가능성을 산출하여 이에 기반하여 필터링하거나 혹은 필터링 동작을 수행하거나 피쳐셋을 선택하는 등의 영상 제어 활성화를 수행할 수 있다.

또한, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 센싱 모듈 110: 뎁스 카메라부
120: 비전 카메라부 130: 조도 센싱부
150: 저장부 181~189: 센싱부
200: 맵 저장부 300: 이동부
400: 기능부 500: 통신부
900: 제어부 1000: 로봇

Claims (13)

1. 뎁스 카메라부 또는 비전 카메라부를 포함하며, 상기 카메라부가 영상을 센싱하는 방향의 조도를 센싱하는 조도 센싱부를 포함하는 센싱 모듈;
   로봇이 이동하는 공간에 배치되는 객체의 정보를 저장하는 맵 저장부;
   상기 조도 센싱부가 센싱한 조도와 상기 맵 저장부에 저장된 객체의 정보와 상기 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 영상 제어 활성화를 설정하는 제어부; 및
   상기 로봇을 이동시키는 이동부를 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
2. 제1항에 있어서,
   상기 제어부는 상기 맵 저장부에 저장된 광원의 위치 정보와 상기 로봇의 위치 정보를 비교하여 조도 예측값을 산출하며,
   상기 제어부는 상기 조도 예측값 및 상기 센싱된 조도값을 비교하여 상기 영상 제어 활성화를 설정하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
3. 제2항에 있어서,
   상기 제어부는 상기 광원과의 거리가 증가함에 대응하여 조도 예측값을 증가시키며, 상기 조도 센싱부가 상기 조도 예측값이 증가하는 비율보다 큰 조도값을 센싱한 경우, 상기 제어부는 상기 영상 제어 활성화를 설정하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
4. 제1항에 있어서,
   상기 제어부는 현재 시각 정보 또는 계절 정보 또는 날씨 정보 중 어느 하나 이상에 기반하여 조도 예측값을 산출하며,
   상기 제어부는 상기 조도 예측값 및 상기 센싱된 조도값을 비교하여 상기 영상 제어 활성화를 설정하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
5. 제1항에 있어서,
   상기 센싱 모듈은 뎁스 정보를 저장하는 저장부 및 영상 선택부를 더 포함하며,
   상기 제어부가 영상 제어 활성화를 설정하면,
   상기 뎁스 카메라부가 생성한 제1뎁스 정보 및 제2뎁스 정보를 상기 저장부가 저장하며,
   상기 영상 선택부는 상기 제1뎁스 정보 및 상기 제2뎁스 정보를 비교하여 상기 제2뎁스 정보에서 필터링할 영역을 식별하여 상기 제1뎁스 정보 또는 상기 제2뎁스 정보에서 상기 필터링 영역의 뎁스 값을 변경하거나 또는 상기 제1뎁스 정보 또는 상기 제2뎁스 정보를 상기 저장부에서 제거하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
6. 제1항에 있어서,
   상기 센싱 모듈은 색상 정보를 저장하는 저장부 및 영상 선택부를 더 포함하며
   상기 제어부가 영상 제어 활성화를 설정하고, 상기 비전 카메라부가 생성한 색상 정보에서 상기 제어부는 피쳐셋(feature set)을 선택하여 상기 센싱한 조도와 상기 피쳐셋을 상기 저장부에 저장하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
7. 제1항에 있어서,
   상기 조도 센싱부는 상기 뎁스 카메라부 또는 상기 비전 카메라부와 수직 선상에서 일렬로 배치되는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
8. 제1항에 있어서,
   상기 카메라부가 영상을 센싱하는 방향을 중심으로 일정한 범위 내의 좌측 또는 우측 방향으로 이격하여 배치된 조도 센싱부를 더 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
9. 제1항에 있어서,
   상기 센싱 모듈은 초음파 센싱부, 적외선 센싱부 또는 라이다 센싱부를 더 포함하며,
   상기 제어부는 상기 센싱부들이 센싱한 객체의 거리와 상기 뎁스 카메라부 또는 상기 비전 카메라부가 생성한 뎁스 정보 또는 색상 정보를 비교하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 오차의 누적에 기반하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 영상 제어 활성화를 설정하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 로봇.
   
10. 센싱 모듈의 뎁스 카메라부 또는 비전 카메라부가 영상을 센싱하는 방향의 조도를 상기 센싱 모듈의 조도 센싱부가 센싱하는 단계;
    맵 저장부에 저장된 객체의 정보 또는 상기 센싱 모듈이 센싱한 객체의 정보와 로봇의 위치 정보와 시간 정보 중 어느 하나 이상을 조합하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 영상 제어 활성화를 제어부가 판단하는 단계; 및
    상기 제어는 영상 제어 활성화 후 상기 뎁스 카메라부의 뎁스 정보를 필터링하거나 또는 상기 비전 카메라부가 센싱한 색상 정보의 피쳐셋을 선택하는 단계를 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법.
    
11. 제10항에 있어서,
    상기 제어부는 상기 맵 저장부에 저장된 광원의 위치 정보와 상기 로봇의 위치 정보를 비교하여 조도 예측값을 산출하는 단계; 및
    상기 제어부는 상기 조도 예측값 및 상기 센싱된 조도값을 비교하여 상기 영상 제어 활성화를 설정하는 단계를 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법.
    
12. 제10항에 있어서,
    상기 제어부는 현재 시각 정보 또는 계절 정보 또는 날씨 정보 중 어느 하나 이상에 기반하여 조도 예측값을 산출하는 단계; 및
    상기 제어부는 상기 조도 예측값 및 상기 센싱된 조도값을 비교하여 상기 영상 제어 활성화를 설정하는 단계를 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법.
    
13. 제10항에 있어서,
    상기 센싱 모듈은 초음파 센싱부, 적외선 센싱부 또는 라이다 센싱부를 더 포함하며,
    상기 제어부는 상기 센싱부들이 센싱한 객체의 거리와 상기 뎁스 카메라부 또는 상기 비전 카메라부가 생성한 뎁스 정보 또는 색상 정보를 비교하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 오차를 산출하는 단계; 및
    상기 제어부는 상기 오차의 누적에 기반하여 상기 뎁스 카메라부 또는 상기 비전 카메라부의 영상 제어 활성화를 설정하는 단계를 포함하는, 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법.
    
    

Images