KR102254157B1 - 와핑된 이미지를 통해 바닥 객체를 식별하는 전자 장치 및 그 제어 방법 - Google Patents

Abstract

전자 장치가 개시된다. 본 전자 장치는 센서, 카메라, 메모리 및 프로세서를 포함하고, 메모리는, 객체를 식별하도록 학습된 인공지능 모델을 포함하고, 프로세서는, 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고, 검출된 객체가 바닥 객체인 것으로 식별되면, 카메라를 통해 획득된 이미지 중 검출된 객체를 포함하는 객체 영역을 객체 영역의 거리 정보를 기반으로 와핑하고, 와핑된 객체 영역을 인공지능 모델에 입력하여 검출된 객체를 식별한다.

Description

와핑된 이미지를 통해 바닥 객체를 식별하는 전자 장치 및 그 제어 방법 { WARPED IMAGE BASED GROUND OBJECT RECOGNITION ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF }

본 개시는, 객체 인식용 전자 장치에 관한 것이다. 보다 상세하게는, 카메라를 통해 획득된 이미지에서 납작한 물체를 포함하는 객체 영역을 거리 정보에 따라 보정하고, 보정된 객체 영역을 이용하여 객체 인식을 수행하는 전자 장치에 관한 것이다.

종래 객체 인식을 수행하는 전자 장치는 카메라를 통해 촬영된 이미지를 인공지능 모델에 입력하여 이미지 내 객체를 인식하는 것이 일반적이었다.

다만, 전자 장치에 구비된 카메라가 주변 객체를 촬영하는 각도, 카메라와 주변 객체 간의 거리 등에 따라 객체 인식률이 일정하지 못하다는 문제가 있었다.

특히, 원거리에서 촬영된 물체의 경우 인식률이 상대적으로 낮았다. 또한, 로봇 청소기와 같이 카메라의 위치가 비교적 낮은 경우, 바닥에 놓인 납작한 물체들에 대해서는 인식률이 상대적으로 낮았다.

이러한 문제를 해결하기 위해, 고해상도의 이미지를 획득할 수 있는 카메라를 사용하거나, 또는 촬영된 이미지를 복수의 영역으로 나누고 각 영역 별로 순차적으로 객체를 인식하는 등의 방법이 이용되었으나, 연산량이 증가하고 연산 속도가 감소하는 단점에 비해 그 효과가 크지 않았다.

본 개시는, 카메라를 통해 촬영된 객체의 원근 또는 촬영 각도와 무관하게, 높은 객체 인식률을 유지할 수 있는 전자 장치 및 그 제어 방법을 제공함에 그 목적이 있다.

보다 상세하게는, 지면에 놓인 납작한 물체에 대해서도 높은 객체 인식률로 객체 인식을 수행할 수 있는 전자 장치 및 그 제어 방법을 제공함에 그 목적이 있다.

본 개시의 일 실시 예에 따른 전자 장치는, 센서, 카메라, 메모리 및 프로세서를 포함하고, 상기 메모리는, 객체를 식별하도록 학습된 인공지능 모델을 포함하고, 상기 프로세서는, 상기 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고, 상기 검출된 객체가 상기 전자 장치가 넘거나 오를 수 있는 바닥 객체인지 여부를 식별하고, 상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 상기 카메라를 통해 획득된 이미지 중 상기 검출된 객체를 포함하는 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑하고, 상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별한다.

본 개시의 일 실시 예에 따른 전자 장치는, 센서, 카메라, 메모리 및 프로세서를 포함하고, 상기 메모리는, 객체를 식별하도록 학습된 인공지능 모델을 포함하고, 상기 프로세서는, 상기 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고, 상기 검출된 객체가 상기 전자 장치가 넘거나 오를 수 있는 바닥 객체인지 여부를 식별하고, 상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 상기 카메라를 통해 획득된 이미지를 상기 이미지 내 복수의 영역의 거리 정보를 기반으로 와핑하고, 상기 와핑된 이미지를 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별한다.

본 개시의 일 실시 예에 따른 전자 장치는, 센서, 카메라, 메모리, 및 상기 센서, 상기 카메라 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가 넘거나 오를 수 있는 바닥 객체를 식별하도록 학습된 복수의 인공지능 모델을 포함하고, 상기 복수의 인공지능 모델은 서로 다른 거리에서 촬영된 상기 바닥 객체의 이미지를 기반으로 학습된 것이며, 상기 프로세서는, 상기 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고, 상기 검출된 객체가 상기 바닥 객체인지 여부를 식별하고, 상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 상기 카메라를 통해 획득된 이미지 중 상기 검출된 객체를 포함하는 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑하고, 상기 복수의 인공지능 모델 중 상기 객체 영역의 거리 정보에 대응되는 이미지를 기반으로 학습된 인공지능 모델을 식별하고, 상기 와핑된 객체 영역을 상기 식별된 인공지능 모델에 입력하여 상기 검출된 객체를 식별한다.

본 개시의 일 실시 예에 따라 객체를 식별하도록 학습된 인공지능 모델이 저장된 메모리를 포함하는 전자 장치의 제어 방법은, 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하는 단계, 상기 검출된 객체가 상기 전자 장치가 넘거나 오를 수 있는 바닥 객체인지 여부를 식별하는 단계, 상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 카메라를 통해 획득된 이미지 중 상기 검출된 객체를 포함하는 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑하는 단계, 상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별하는 단계를 포함한다.

본 개시에 따른 전자 장치는, 전자 장치에 구비된 카메라의 높이 및 각도와 무관하게 전자 장치 주변의 객체들을 대부분 정확하게 인식할 수 있다는 효과가 있다.

특히, 본 개시에 따른 전자 장치는, 비록 낮은 위치의 카메라를 통해 촬영된 납작한 형태의 물체라도, 높은 정확도로 인식할 수 있다는 장점이 있다.

도 1은 본 개시에 따른 전자 장치가 객체를 포함하는 객체 영역을 보정하여 객체를 식별하는 예를 개략적으로 설명하기 위한 도면,
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도,
도 2c는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도,
도 2d는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도,
도 3a는 본 개시의 전자 장치가 센서를 통해 객체를 검출하는 예를 설명하기 위한 도면,
도 3b는 본 개시의 전자 장치가 검출된 객체의 바닥으로부터의 높이를 식별하는 예를 설명하기 위한 도면,
도 3c는 본 개시의 전자 장치가 카메라를 통해 획득된 이미지 중 객체 영역을 식별하는 예를 설명하기 위한 도면,
도 3d는 본 개시의 전자 장치가 바닥 객체인지 여부에 따라 객체 영역을 선택적으로 와핑하여 객체를 식별하는 예를 설명하기 위한 도면,
도 4는 본 개시의 전자 장치가 기준 거리에 따라 이미지(ex. 바닥 객체의 객체 영역)를 와핑하는 구체적인 방식의 일 예를 설명하기 위한 도면,
도 5a 및 도 5b는, 전자 장치가, 객체 영역 내에서 가장 가까운 거리의 피사체 부분을 표시하는 픽셀과 가장 먼 거리의 피사체 부분을 표시하는 픽셀 간의 거리 차에 따라 와핑 정도가 달라지는 예를 설명하기 위한 도면들,
도 6은 본 개시의 전자 장치가 기준 거리와 픽셀들 각각의 거리 간의 차이에 따라 픽셀들의 위치 변환을 달리하는 예를 구체적으로 설명하기 위한 도면,
도 7a는 본 개시의 일 실시 예에 따라 바닥 객체를 식별하도록 학습된 인공지능 모델을 이용하는 전자 장치의 구성을 설명하기 위한 블록도,
도 7b는 도 7a의 전자 장치의 기능적 구성의 일 예를 설명하기 위한 블록도,
도 8은 본 개시의 전자 장치가 바닥 객체인지 여부에 따라 다른 인공지능 모델을 이용하는 예를 설명하기 위한 도면,
도 9a는 본 개시의 일 실시 예에 따라 거리별 바닥 객체를 식별하도록 학습된 복수의 인공지능 모델을 이용하는 예를 설명하기 위한 블록도,
도 9b는 도 9a의 전자 장치의 기능적 구성의 일 예를 설명하기 위한 블록도,
도 10은 도 9a의 전자 장치에 저장된 복수의 인공지능 모델의 학습 과정을 설명하기 위한 도면,
도 11은 본 개시의 전자 장치가 바닥 객체인지 여부 및 바닥 객체의 거리 정보에 따라 다른 인공지능 모델을 이용하는 예를 설명하기 위한 도면,
도 12는 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도,
도 13a는 본 개시의 일 실시 예에 따라 복수의 프로세서를 포함하는 전자 장치의 구성을 설명하기 위한 블록도,
도 13b는 도 13a의 전자 장치가 가질 수 있는 보다 상세한 구성의 예를 설명하기 위한 블록도,
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도,
도 15는 본 개시의 제어 방법이 바닥 객체의 검출 여부에 따라 객체 영역을 와핑하고 객체를 식별하는 예를 설명하기 위한 알고리즘,
도 16은 본 개시의 제어 방법이 바닥 객체의 검출 여부에 따라 다른 인공지능 모델을 이용하는 예를 설명하기 위한 알고리즘, 그리고
도 17은 본 개시의 제어 방법이 바닥 객체의 검출 여부 및 객체 식별 결과를 주행에 반영하는 예를 설명하기 위한 알고리즘이다.

본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 개시에 따른 전자 장치가 객체를 포함하는 객체 영역을 스케일링하여 객체를 식별하는 예를 개략적으로 설명하기 위한 도면이다.

도 1을 참조하면, 로봇 청소기로 구현된 전자 장치(10)가 이동하면서 센서를 통해 주변의 객체를 검출하는 한편 카메라를 이용하여 전방을 촬영할 수 있다. 도 1은, 전자 장치(10)가 운행 중 전방의 배변 패드(1)를 검출한 경우를 가정한다.

이때, 전자 장치(10)는 카메라를 통해 촬영된 이미지(11) 중 적어도 일부를 객체 식별용 인공지능 모델에 입력하여 배변 패드(1')를 식별할 수 있다.

다만, 도 1을 참조하면, 로봇 청소기로 구현된 전자 장치(10)의 높이에 따라 배변 패드(1)가 매우 낮은 각도로 촬영된 결과, 이미지(11) 속 배변 패드(1')는 이미지(100)상에서 세로 길이가 매우 좁게 왜곡된 형태로 나타날 수 있다.

즉, 전자 장치(10)가 이미지(11)를 객체 식별용 인공지능 모델에 입력하는 경우, 왜곡된 형태로 인해 '배변 패드'가 식별되지 않을 가능성이 높다.

하지만, 도 1의 전자 장치(10)는 센서를 통해 검출된 객체(1)의 높이를 식별할 수 있다. 그 결과, 전자 장치(10)는 객체(1)가 상대적으로 낮은 높이를 가지는 객체라는 점, 즉 전자 장치가 넘거나 오를 수 있는 바닥 객체에 해당한다는 점을 식별할 수 있다.

이 경우, 전자 장치(10)는 카메라를 통해 획득된 이미지(11) 중 검출된 객체(1)에 해당하는 객체 영역(21)을 식별한 뒤, 객체 영역(21)을 와핑하여 객체 영역(21)이 전반적으로 확대되도록 할 수 있다. 그 결과, 도 1에서 와핑된 객체 영역(21')을 참조하면, 실제 배변 패드(1)의 형상과 유사한 정도로 이미지 내 배변 패드(1')의 형상이 회복되었다.

그리고, 전자 장치(10)는 와핑된 객체 영역(21')을 객체 식별용 인공지능 모델에 입력함으로써 '배변 패드(1)'를 식별할 수 있다.

이렇듯, 본 개시에 따른 전자 장치는 바닥 객체를 포함하는 객체 영역을 보정한 뒤 바닥 객체를 식별하기 때문에, 비교적 낮은 각도에서 촬영된 바닥 객체라 할 지라도 객체 식별의 정확도가 향상될 수 있다.

이하 도면들을 통해서는, 본 개시의 다양한 실시 예에 따른 전자 장치의 구성 및 동작을 보다 상세하게 설명한다.

도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

도 2a를 참조하면, 전자 장치(100)는 센서(110), 카메라(110), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 전자 장치(100)는 로봇 청소기, 헬스 케어 로봇, 스마트폰, 태블릿 PC, 웨어러블 디바이스 등 다양한 단말 장치로 구현될 수 있다.

본 개시의 일 실시 예에 따른 프로세서(130)는, 센서(110)를 통해 전자 장치(100) 주변의 객체를 검출할 수 있다. 이때, 프로세서(130)는 센서(110)의 센싱 데이터를 이용하여 검출된 객체의 높이를 식별할 수 있다.

이 경우, 프로세서(140)는 검출된 객체가 바닥 객체인지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 전자 장치(100)가 위치한 바닥으로부터 검출된 객체의 높이를 식별하고, 식별된 높이가 기설정된 임계값 미만인 경우 검출된 객체를 바닥 객체로 식별할 수 있다.

바닥 객체는 바닥상에 놓인 객체로서 바닥으로부터의 높이가 임계값 미만인 객체를 의미할 수 있다. 이때, 바닥은 전자 장치(100)가 놓인 지면으로서 평평한 것을 의미할 수 있다. 이때, 완전히 평평할 필요는 없고 굴곡진 정도가 임계 수치 미만이라면 전자 장치(100)에 의해 바닥으로 식별될 수 있다.

굴곡진 정도는, 전자 장치(100)가 놓인 지면의 두 개 이상의 지점을 포함하는 평면을 기준으로 변형 또는 왜곡된 정도를 의미할 수 있으며, 예로 지면 중 움푹 패이거나 일부가 튀어나온 구간은 굴곡진 정도에 따라서는 바닥이 아닌 것으로 식별될 수도 있다.

구체적으로, 굴곡진 정도는, 전자 장치(100)가 놓인 지면의 두 개 이상의 지점을 포함하는 평면으로부터의 거리에 해당할 수 있으며, 지면의 특정 구간과 해당 평면 간의 거리가 임계 수치 이상인 경우, 해당 구간은 바닥이 아닌 것으로 식별될 수 있다.

본 개시에 따른 바닥 객체는, 단순히 바닥에 놓인 객체와는 구별되는 개념이고, 바닥에 놓일 뿐만 아니라 바닥으로부터의 높이가 기설정된 임계값 미만이어야 한다. 예로, 배변 패드, 카페트, 매트, 문턱(: 높이가 일정 값 미만) 등이 바닥 객체에 해당할 수 있다.

바닥 객체인지 여부를 판단하기 위한 기준이 되는 상술한 임계값은, 전자 장치(100)가 전자 장치(100)에 구비된 이동 수단을 통해 넘거나 또는 오를 수 있는 최대 높이를 기반으로 기설정될 수 있다. 예를 들어, 임계값은 전자 장치(100)의 이동 수단을 구성하는 바퀴의 지름의 길이를 기반으로 정해질 수 있다. 또한, 임계값은, 상술한 굴곡진 정도와 관련된 임계 수치를 기반으로 정해질 수도 있다.

한편, 프로세서(130)는 카메라(120)를 통해, 검출된 객체를 포함하는 이미지를 획득할 수 있다. 여기서, 프로세서(130)는 기설정된 시간 간격으로 주변에 대한 이미지를 촬영할 수도 있고 또는 센서(110)에 의해 객체가 검출된 경우에만 검출된 객체가 있는 방향으로 촬영된 이미지를 획득할 수도 있다.

이때, 프로세서(130)는 센싱 데이터, 이미지를 촬영한 카메라(120)의 각도/시야각, 이미지가 촬영된 시점 등을 이용하여, 이미지상에서, 검출된 객체가 포함된 객체 영역을 식별할 수 있다. 한편, 프로세서(140)는 이미지로부터 객체 영역을 검출하도록 학습된 적어도 하나의 인공지능 모델을 이용할 수도 있다.

만약, 검출된 객체가 바닥 객체인 경우, 프로세서(140)는 객체 영역의 거리 정보를 기반으로 객체 영역을 와핑할 수 있다.

거리 정보는, 이미지(객체 영역) 내 각 픽셀이 표시하는 실제 피사체의 특정 부분과 전자 장치(100) 및/또는 카메라(120) 간의 거리를 의미할 수 있다. 프로세서(140)는 3D 센서/라이다 센서/초음파 센서 등으로 구현된 센서(110)를 통해 거리 정보를 획득할 수 있다.

와핑은, 이미지를 X축/Y축으로 회전하거나 또는 스케일링 등을 이용하여 이미지를 보정하는 동작을 의미할 수 있다. 와핑이 수행되면, 이미지 내 픽셀들 각각의 위치가 기설정된 위치 변환 함수 등을 통해 변환될 수 있다.

구체적으로, 프로세서(140)는 바닥 객체를 포함하는 객체 영역을 구성하는 복수의 픽셀 각각의 거리 정보를 획득하고, 획득된 거리 정보를 기반으로, 복수의 픽셀의 위치를 변환할 수 있다.

그 결과, 객체 영역에 포함되는 복수의 영역 중 기준 거리보다 먼 영역은 확대 스케일링되고, 기준 거리보다 가까운 영역은 축소 스케일링될 수 있다. 보다 자세한 설명은 도 4 등을 통해 후술한다.

프로세서(140)는 와핑된 객체 영역에 포함된 객체를 식별할 수 있다. 이때, 프로세서(140)는 메모리(130)에 저장된 인공지능 모델(135)에 와핑된 객체 영역을 입력하여 객체를 식별할 수 있다. 인공지능 모델(135)은 이미지(ex. 객체 영역)가 입력되면 이미지에 포함된 객체를 식별하도록 학습된 모델일 수 있다.

구체적으로, 프로세서(140)는 메모리(130)에 저장된 인공지능 모델(135)을 프로세서(140)에 포함되거나 프로세서(140)에 연결된 휘발성 메모리에 로드하고, 로드된 인공지능 모델(135)에 와핑된 객체 영역을 입력하여, 객체 영역에 포함된 바닥 객체에 대한 정보를 획득할 수 있다.

센서(110)는 전자 장치(100)의 주변 객체를 검출하기 위한 구성이다. 센서(110)를 통해 생성된 센싱 데이터를 통해, 프로세서(140)는 전자 장치(100)의 주변 객체를 검출할 수 있다.

카메라(120)는 전자 장치(100)의 주변에 대한 하나 이상의 이미지를 획득하기 위한 구성이다. 카메라(120)는 RGB 카메라, 뎁스 카메라 등으로 구현될 수 있다.

메모리(130)에는 전자 장치(100)의 기능과 관련된 다양한 정보가 저장될 수 있다. 메모리(130)는 ROM, RAM 외에도 하드 디스크, SSD, 플래시 메모리 등을 포함할 수 있다.

메모리(130)에는 객체를 식별하도록 학습된 인공지능 모델(135)이 저장될 수 있다. 인공지능 모델(135)에 이미지가 입력되면, 인공지능 모델(135)은 입력된 이미지로부터 객체에 대한 정보(명칭, 종류, 제품명, 사람 이름 등)를 획득할 수 있다.

구체적으로, 객체를 포함하는 객체 영역으로 구성된 이미지가 인공지능 모델(135)에 입력되면, 인공지능 모델(135)은 인공지능 모델(135)이 출력할 수 있는 정보 중 객체 영역에 포함된 객체에 대응되는 정보를 선별적으로 출력하는 분류기로서 동작할 수 있다.

프로세서(140)는 센서(110), 카메라(120) 및 메모리(130)와 연결되어 전자 장치(100)를 제어할 수 있다.

도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 설명하기 위한 블록도이다.

도 2b를 참조하면, 전자 장치(100)는 객체 검출 모듈(210), 객체 영역 검출 모듈(220), Warping 모듈(230), 객체 식별 모듈(240) 등을 포함할 수 있다. 본 모듈들은 메모리(130)상에 소프트웨어 형태로 저장되어 프로세서(140)에 의해 실행되거나, 회로를 포함하는 하드웨어 형태로 프로세서(140)의 제어를 받도록 구현될 수 있다. 또한 본 모듈들은 소프트웨어 및 하드웨어가 조합된 형태로 구현되어 프로세서(140)에 의해 실행/제어될 수도 있다. 한편, 도 2c를 참조하면, 전자 장치(100)는 상술한 모듈들 중 객체 영역 검출 모듈(220)을 포함하지 않을 수도 있다.

이하 각 모듈들 및 프로세서(140)의 동작을 설명한다.

프로세서(140)는 객체 검출 모듈(210)을 통해 전자 장치(100) 주변의 객체를 검출할 수 있다. 이때, 객체 검출 모듈(210)은, 센서(110)로부터 수신된 센싱 데이터를 이용할 수 있다.

일 예로, 객체 검출 모듈(210)은 라이다 센서, 초음파 센서, 3D 센서, 적외선 센서 등을 포함하는 센서(110)를 통해 바닥을 식별하고, 바닥과 거리 정보 또는 뎁스가 이질적인 객체를 검출할 수 있다.

여기서, 객체 검출 모듈(210)은 전자 장치(100)에 대한 검출된 객체의 방향, 및 위치를 식별할 수 있다. 또한, 객체 검출 모듈(210)은 센싱 데이터를 이용하여 검출된 객체의 크기 내지는 높이도 식별할 수 있다.

이때, 객체 검출 모듈(210)은 센싱 데이터를 기반으로 바닥, 장애물(벽, 객체 등) 등을 각각 검출하기 위한 알고리즘 내지는 하나 이상의 인공지능 모델을 이용할 수 있다.

객체 영역 검출 모듈(220)은 카메라(110)를 통해 획득된 이미지 중 검출된 객체를 포함하는 객체 영역을 검출할 수 있다.

구체적으로, 객체 영역 검출 모듈(220)은, 이미지 내에서, 센서(110)를 통해 검출된 객체의 방향, 위치 및 크기와 매칭되는 객체 영역(: 픽셀들)을 식별할 수 있다.

이를 위해, 객체 영역 검출 모듈(220)은 카메라(120)와 센서(110)의 상대적 위치, 이미지를 촬영하는 시점의 카메라(120)의 각도/시야각 등을 이용할 수 있다.

Warping 모듈(230)은 적어도 하나의 객체 영역 내지는 이미지를 거리 정보에 따라 와핑하기 위한 구성이다.

Warping 모듈(230)은 객체 영역 내지는 이미지에 포함된 픽셀들 각각의 거리 정보를 기반으로, 픽셀들 각각의 객체 영역 내 위치를 변환할 수 있다. 구체적으로, Warping 모듈(230)은 픽셀들 각각의 거리 정보가 기준 거리와 일치하도록 픽셀들 각각의 객체 영역 내 위치를 변환할 수 있다.

그 결과, 객체 영역 내지는 이미지에 포함되는 복수의 영역 각각이 복수의 영역 각각의 거리 정보에 따라 개별적으로 확대 스케일링 또는 축소 스케일링될 수 있다.

객체 식별 모듈(240)은 객체 영역에 포함된 객체를 식별하기 위한 구성이다. 구체적으로, 메모리(130)에 저장된 인공지능 모델(135)이 프로세서(140)의 휘발성 메모리상에 로드되면, 로드된 인공지능 모델(135)에 객체 영역을 입력하여 객체를 식별할 수 있다.

이때, 프로세서(140)는, 바닥 객체로 식별된 객체를 포함하는 객체 영역을 거리 정보에 따라 와핑하여 인공지능 모델(135)에 입력하고, 바닥 객체가 아닌 것으로 식별된 객체를 포함하는 객체 영역은 거리 정보에 따른 와핑을 수행하지 않은 채로 인공지능 모델(135)에 입력할 수 있다.

다만, 프로세서(140)가 바닥 객체가 아닌 것으로 식별된 객체를 포함하는 객체 영역에 대해서 '와핑'을 수행하지 않을 수 있다는 것이지, 인공지능 모델(135)에 입력되기 위한 최소한의 전처리(ex. 전체 사이즈 스케일링)는 수행할 수 있다.

한편, 도 2c를 참조하면, 객체 검출 모듈(210) 및 객체 영역 검출 모듈(220)의 동작은 서로 독립적으로 수행될 수도 있다.

이 경우, 객체 검출 모듈(210)은 센서(110)를 통해 수신된 센싱 데이터를 이용하여 객체를 검출하고, 검출된 객체가 바닥 객체인지 여부를 식별할 수 있다. 구체적으로, 센서(110)에 포함되는 3D 센서 등을 통해 획득된 뎁스 이미지를 이용하여 객체를 검출할 수 있다. 이때, 객체 검출 모듈(210)은 뎁스 이미지로부터 객체를 검출하도록 학습된 인공지능 모델을 이용할 수 있다.

이때, 객체 검출 모듈(210)은 센서(110)에 포함되는 초음파 센서 등을 통해 검출된 객체의 높이를 식별하고, 식별된 높이를 기반으로 해당 객체가 바닥 객체인지 여부를 식별할 수 있다.

그리고, 객체 영역 검출 모듈(220)은 카메라(110)를 통해 획득된 이미지로부터 객체를 포함하는 객체 영역을 식별할 수 있다. 이 경우, 카메라(110)는 RGB 카메라로 구현될 수 있으며, 객체 영역 검출 모듈(220)은 RGB 이미지로부터 객체 영역을 식별하도록 학습된 인공지능 모델을 이용할 수 있다.

이때, Warping 모듈(230)은, 객체 검출 모듈(210)을 통해 검출된 객체 중 객체 영역 모듈(220)을 통해 식별된 객체 영역에 매칭되는 객체를 식별할 수 있다.

구체적인 예로, Warping 모듈(230)은, 센서(110)를 통해 획득된 뎁스 이미지들 중 검출된 객체를 포함하는 뎁스 이미지를 카메라(120)를 통해 획득된 RGB 이미지와 비교함으로써, 식별된 객체 영역에 매칭되는 객체를 식별할 수 있다. 다만, 이에 한정되지 않는다.

그리고, 만약 객체 영역에 매칭되는 객체가 바닥 객체인 경우, Warping 모듈(230)은 해당 객체 영역을 거리 정보에 따라 와핑할 수 있다.

그리고, 객체 식별 모듈(240)은 와핑된 객체 영역에 포함된 객체가 무엇인지 식별할 수 있다.

한편, 도 2d를 참조하면, 전자 장치(100)는 객체 영역 검출 모듈(220)을 별도로 포함하지 않을 수도 있다.

여기서, 만약 검출된 객체가 바닥 객체라면, 프로세서(140)는 Warping 모듈(230)을 이용하여 바닥 객체를 포함하는 이미지 전체를 거리 정보에 따라 와핑할 수 있다. 그리고, 와핑된 이미지를 객체 식별 모듈(240)에 입력하여 이미지 내 바닥 객체를 식별할 수도 있다.

반면, 검출된 객체가 바닥 객체가 아닌 경우, 프로세서(140)는 와핑되지 않은 이미지를 객체 식별 모듈(240)에 입력하여 이미지 내 객체를 식별할 수 있다.

이하 도 3a 내지 도 3d를 통해, 상술한 도 2a의 모듈들을 이용하여 동작하는 전자 장치의 실시 예를 구체적으로 설명한다.

도 3a는 본 개시의 전자 장치가 센서를 통해 객체를 검출하는 예를 설명하기 위한 도면이다.

도 3a를 참조하면, 로봇 청소기로 구현된 전자 장치(100)는 특정한 공간(300)상에서 주행할 수 있다. 도 3a를 참조하면, 해당 공간(300)상에는 배변 패드(301), 책(302) 및 화분(303)이 위치하고 있다.

주행 중에, 전자 장치(100)는 초음파 센서 등으로 구현된 센서(110)를 통해 주변의 바닥이나 장애물을 검출할 수 있다. 도 3a의 이미지(300')는 초음파 센서 또는 라이다 센서로 구현된 센서(110)의 센싱 데이터에 따라 전자 장치(100)에 의해 검출되는 주변 모습을 설명의 편의를 위해 이미지 형태로 도시한 것이다.

도 3a를 참조하면, 전자 장치(100)는 센싱 데이터를 통해, 전자 장치(100)가 놓인 지면과 같은 평면상에 놓인 지점들을 인식하여 바닥(305)을 검출할 수 있다.

그리고, 전자 장치(100)는 바닥(305)과 거리 정보 또는 뎁스가 구분되는 객체들(301, 302, 303)을 각각 검출할 수 있다. 이때, 전자 장치(100)는 벽에 해당하는 지점들도 검출할 수 있다.

객체 검출 모듈(210)은, 센서(110)를 통해 수신된 센싱 데이터를 이용하여, 검출된 객체의 위치, 크기, 높이, 대략적 형상 등을 식별할 수 있다. 특히, 객체 검출 모듈(210)은 바닥(305)으로부터 객체들(301, 302, 303) 각각의 높이를 검출할 수 있다.

이를 위해, 센서(110)는 전자 장치(100)상에 기설정된 간격으로 복수 개 배열된 라이다 센서 또는 초음파 센서 등을 포함할 수 있다.

도 3b를 참조하면, 객체 검출 모듈(210)은 센싱 데이터를 통해 객체들(301, 302, 303) 각각의 바닥으로부터의 높이(311, 312, 313)를 식별할 수 있다.

여기서, 프로세서(130)는 객체들(301, 302, 303) 중 높이가 임계값 미만인 객체(301)를 바닥 객체로 식별하고, 나머지 객체들(302, 303)은 바닥 객체가 아닌 것으로 식별할 수 있다.

이때, 임계값은 전자 장치(100)가 이동 수단을 통해 넘거나 또는 오를 수 있는 높이일 수 있다. 예를 들어, 전자 장치(100)가 로봇 청소기이고 전자 장치(100)의 이동 수단인 바퀴의 지름이 4cm인 경우, 임계값 역시 4cm로 설정되거나 또는 (식별된 높이의 오차를 고려하여) 임계값보다 조금 더 큰 값(ex. 6cm)으로 설정될 수 있다.

도 3c를 참조하면, 객체 영역 검출 모듈(220)은 카메라(120)를 통해 획득된 이미지(350)로부터, 검출된 객체들(301, 302, 303) 각각의 위치, 크기, 대략적 형상에 따른 객체 영역들(351, 352, 353)을 각각 추출할 수 있다.

그리고, 도 3d를 참조하면, Warping 모듈(230)은 객체들(351, 352, 353) 중 바닥 객체를 포함하는 객체 영역(351)을 객체 영역(351)의 거리 정보에 따라 와핑할 수 있다.

반면, Warping 모듈(230)은 나머지 객체들(352, 353)에 대해서는 와핑을 수행하지 않을 수 있다.

도 3d를 참조하면, 와핑된 객체 영역(351') 내 배변 패드의 형상이 와핑 전에 비해 전반적으로 확대됨은 물론 보이는 각도가 보정되었는바, 구체적인 와핑 방식은 도 4, 도 5a, 도 5b 및 도 6을 통해 후술한다.

도 3d를 참조하면, 객체 식별 모듈(240)은 와핑된 객체 영역(351') 및 객체 영역들(352, 353)에 각각 포함된 객체를 식별할 수 있다.

여기서, 객체 식별 모듈(240)은 인공지능 모델(135)에 객체 영역들(351', 352, 353)을 각각 입력하여 객체 영역들 각각에 포함된 배변 패드(301), 책(302), 화분(303)을 식별할 수 있다.

한편, 도 2d와 같이 전자 장치(100)가 객체 영역 검출 모듈(220)을 포함하지 않는 경우, 도 3c 및 도 3d와 달리, 프로세서(140)는 객체 영역(351)을 별도로 추출하지 않을 수 있다.

이 경우, 프로세서(140)는 Warping 모듈(230)을 이용하여 바닥 객체를 포함하는 이미지(350) 자체를 거리 정보에 따라 와핑할 수 있다. 그리고, 와핑된 이미지를 객체 식별 모듈(240)에 입력하여 이미지 내 바닥 객체를 식별할 수도 있다.

이하 도 4, 도 5a, 도 5b 및 도 6을 통해서는, Warping 모듈(230)이 바닥 객체의 객체 영역을 거리 정보에 따라 와핑하는 구체적인 방식에 대해 설명한다.

객체 영역을 와핑함에 있어, 프로세서(140)는 기준 거리에 따라 객체 영역에 포함된 픽셀들의 위치를 변환할 수 있다.

구체적으로, 프로세서(140)는 객체 영역을 구성하는 복수의 픽셀 각각의 거리 정보를 획득하고, 획득된 거리 정보를 기반으로, 복수의 픽셀의 위치를 변환할 수 있다.

그 결과, 객체 영역에 포함된 복수의 영역 중 기준 거리보다 먼 거리의 영역은 확대 스케일링되고 기준 거리보다 가까운 거리의 영역은 축소 스케일링될 수 있다.

기준 거리는, 본 전자 장치(100)의 제작자 또는 사용자에 의해 기설정된 것일 수 있다. 이 경우, 기준 거리는, 메모리(130)에 저장된 인공지능 모델(135)이 객체를 식별할 수 있는 거리 범위 내에서 기설정될 수 있으며, 실험적으로 정해진 것일 수 있다. 예를 들어, 객체로부터 대략 1m 에서 3m 사이의 거리에서 객체를 촬영한 이미지를 입력한 경우에 인공지능 모델(135)의 객체 인식률이 비교적 높다면, 기준 거리는 2m로 기설정될 수도 있다.

또는, 기준 거리는, 초점에 해당하는 영역의 거리에 해당할 수 있다. 즉, 프로세서(140)는 객체 영역을 포함하는 이미지에서 카메라(120)의 초점이 포커싱된 영역의 거리를 기준 거리로 설정할 수 있다. 이때, 프로세서(140)의 적어도 일부 및 카메라(120)는 종래의 자동 초점 카메라와 같은 방식으로 구현될 수 있다.

또는, 기준 거리는, 객체 영역을 구성하는 복수의 픽셀 중 가장 가까운 거리의 픽셀의 거리로 설정될 수도 있다. 이 경우, 해당 픽셀이 기준 픽셀로 설정되며, 그 결과, 객체 영역은 전체적으로 확대될 수 있다.

도 4는 본 개시의 전자 장치가 기준 거리에 따라 이미지(ex. 바닥 객체의 객체 영역)를 와핑하는 구체적인 방식의 일 예를 설명하기 위한 도면이다.

프로세서(140)는, 객체 영역을 구성하는 복수의 픽셀 중 기준 거리에 대응되는 기준 픽셀을 식별하고, 복수의 픽셀 중 기준 거리보다 먼 거리의 제1 픽셀 및 기준 거리보다 가까운 거리의 제2 픽셀을 식별할 수 있다.

그리고, 프로세서(140)는, 제1 픽셀과 기준 픽셀 간의 간격이 커지도록 제1 픽셀의 위치를 변환하고, 제2 픽셀과 기준 픽셀 간의 간격이 줄어들도록 제2 픽셀의 위치를 변환할 수 있다.

도 4를 참조하면, 프로세서(140)가 객체 영역(410)을 와핑한 결과, 기준 거리에 해당하는 기준 픽셀을 포함하는 기준선(410-1)을 중심으로, 객체 영역(410)의 위쪽 부분의 픽셀들은 기준선(410-1)으로부터 대체로 멀어지고, 아래쪽 픽셀들은 기준선(410-1)으로부터 가까워질 수 있다. 그 결과, 객체 영역(410)이 부분 별로 확대 또는 축소 스케일링되는 한편, 객체 영역(410) 내에 포함된 객체가 보이는 각도가 개선될 수 있다.

이때, 기준선(410-1)은, 기준 거리에 해당하는 적어도 하나의 픽셀을 포함하면서 이미지를 이등분하는 직선이거나 또는 기준 거리의 픽셀들로만 구성된 선일 수 있다.

이때, 관념적으로는, 기준선(410-1)보다 위쪽 부분은 더 가깝게 보이도록 회전하고 기준선(410-1)보다 아래쪽 부분은 더 멀게 보이도록 회전하는 것으로 해석될 수 있다.

이때, 위쪽 픽셀들 중에서 기준선(410-1)과의 거리 차이가 큰 픽셀일수록 더 가깝게 보이도록 회전하고, 아래쪽 픽셀들 중에서 기준선(410-1)과의 거리 차이가 큰 픽셀일수록 더 멀어지도록 회전하는 것으로 해석될 수 있다.

이를 위해, 프로세서(140)는, 기준 거리와 제1 픽셀의 거리 간의 차이가 클수록 기준 픽셀과 제1 픽셀 간의 간격이 커지는 정도가 증가하도록 제1 픽셀의 위치를 변환할 수 있다.

그리고, 프로세서(140)는, 기준 거리와 제2 픽셀의 거리 간의 차이가 클수록 기준 픽셀과 제2 픽셀 간의 간격이 줄어드는 정도가 증가하도록 제2 픽셀의 위치를 변환할 수 있다.

그 결과, 객체 영역(410)내 복수의 영역 각각이 확대 또는 축소 스케일링되는 정도가, 복수의 영역 각각과 기준선(410-1)간의 거리에 비례할 수도 있다.

이렇듯 객체 영역(410) 내 복수의 영역의 원근감이 조정된 결과, 와핑된 객체 영역(420) 내 복수의 영역은 모두 동일한 (또는 서로 거의 유사한) 거리에 위치한 것처럼 보이게 되는 플랫 이미지로 구현될 수 있다.

한편, 도 4의 경우 이해의 편의를 위해 기준선(410-1)이 직선인 경우를 대상으로 도시하였으나, 기준선(410-1)이 곡선인 경우도 가능하다. 다만, 기준선(410-1)이 곡선인 경우 극점이 하나인 곡선(오목한 곡선 또는 볼록한 곡선)으로 구성되는 것이 바람직하다. 이 경우, 와핑된 객체 영역이 다시 와핑 전 객체 영역으로 역변환되더라도 기존의 객체 영역으로 그대로 회복할 수 있다.

특히, 와핑된 객체 영역을 이용한 객체 인식 결과를 기존에 와핑되지 않은 객체 영역을 포함하는 이미지와 함께 제공할 필요가 있는 경우, 객체 영역의 복원이 가능해야 하기 때문에, 기준선(410-1)은 직선이거나 극점이 하나인 곡선이어야 한다.

한편, 객체 영역 내에서 가장 가까운 거리의 픽셀의 거리와 가장 먼 거리의 픽셀의 거리 간의 차이에 따라, 와핑 결과 이미지 내 복수의 영역이 확대 또는 축소 스케일링되는 정도가 달라질 수 있다.

도 5a 및 도 5b는 객체 영역 내 가장 가까운 거리의 픽셀의 거리와 가장 먼 거리의 픽셀의 거리 간의 차이에 따라, 와핑에 의해 객체 영역 내 복수의 영역이 확대/축소 스케일링 정도가 달라진다는 점을 설명하기 위한 도면들이다. 도 5a의 경우 상술한 차이가 비교적 큰 경우, 도 5b의 경우 상술한 차이가 비교적 작은 경우이다.

도 5a의 경우, 전자 장치(100)가 기존에 원근감이 큰 객체 영역(510)을 플랫 이미지(520)로 보정하는 것이기 때문에, 와핑 결과 객체 영역(510) 내 픽셀들 간의 간격이 변경되는 정도(: 객체 영역(510) 내 복수의 영역이 확대 또는 축소 스케일링되는 정도. H1의 길이에 비례)가 상대적으로 크다.

반면, 도 5b의 경우, 전자 장치(100)가 기존에 원근감이 작은 객체 영역(530)을 플랫 이미지(540)로 보정하는 것이기 때문에, 와핑 결과 객체 영역(530) 내 픽셀들 간의 간격이 변경되는 정도(: 객체 영역(530) 내 복수의 영역이 확대 또는 축소 스케일링되는 정도. H1의 길이에 비례)가 상대적으로 작다.

도 6은 도 3d에서 바닥 객체로 식별된 객체(301)를 포함하는 객체 영역(351)을 와핑하는 구체적인 예를 설명하기 위한 도면이다. 도 6을 참조하면, 기준 거리에 해당하는 픽셀을 포함하는 기준선(610)에 비해, 객체(301)를 표시하는 픽셀들은 상대적으로 더 먼 거리의 픽셀들에 해당하기 때문에, 와핑에 의해 객체 영역 내 객체의 크기가 전반적으로 확대된다.

도 6을 참조하면, 와핑 전 객체 영역(351) 내에서 픽셀(601) 및 픽셀(602) 간의 제1 간격은 픽셀(602) 및 픽셀(603) 간의 제2 간격과 같다. 상술한 지점들(601, 602, 603)은 와핑된 객체 영역(351') 상의 픽셀들(601', 602', 603') 각각과 대응된다.

도 6에서, 와핑된 객체 영역(351')을 참조하면, 와핑에 의해 제1 간격 및 제2 간격이 각각 증가되었다.

그리고, 기준 거리와의 차이가 큰 거리를 가지는 픽셀일수록 기준선과의 간격이 증가하는 정도가 더 커지기 때문에, 도 6을 참조하면, 와핑된 객체 영역(351') 내에서 픽셀(601') 및 픽셀(602') 간의 제1 간격보다 픽셀(602') 및 픽셀(603') 간의 제2 간격이 더 커지게 된다.

도 3a의 배변 패드(301)와 같이 전자 장치(100)로부터 비교적 먼 거리에 있는 바닥 객체의 경우 그 높이가 낮아 종래의 전자 장치를 통해서는 인식률이 낮다는 문제점이 있었으나. 본 개시에 따른 전자 장치(100)의 경우, 상술한 와핑을 이용한 객체 식별을 통해 바닥 객체에 대한 인식률을 향상시킬 수 있다.

한편, 인공지능 모델(135)은 객체 영역 내에 포함된 객체에 대한 정보(ex. 객체의 명칭: 배변 패드, 책, 화분 등)를 출력하면서, 출력된 정보의 신뢰도 값(예를 들어, 배변 패드가 존재할 확률) 역시 함께 출력하도록 학습될 수 있다.

이 경우, 프로세서(140)는 와핑된 객체 영역을 인공지능 모델(135)에 입력하여, 와핑된 객체 영역에 포함된 객체에 대한 정보 및 객체에 대한 정보의 신뢰도 값을 획득할 수 있다.

이때, 만약 획득된 신뢰도 값이 임계값 미만인 경우, 프로세서(140)는 와핑되지 않은 객체 영역을 인공지능 모델(135)에 입력하여 검출된 객체를 식별할 수도 있다.

즉, 프로세서(130)는, 와핑된 객체 영역과 와핑되지 않은 객체 영역 중, 인공지능 모델(135)로부터 출력되는 정보의 신뢰도가 더 높은 객체 영역을 인공지능 모델(135)에 입력한 결과를 이용하여 바닥 객체를 식별할 수 있다.

한편, 센싱 데이터에 의해 검출된 객체가 바닥 객체인 것으로 식별된 경우, 프로세서(140)는 별도의 인공지능 모델을 이용하여 객체 식별을 수행할 수도 있다.

관련하여, 도 7a는 본 개시의 일 실시 예에 따라 바닥 객체를 식별하도록 학습된 인공지능 모델을 이용하는 전자 장치의 구성을 설명하기 위한 블록도이다.

도 7a를 참조하면, 메모리(130)에는 객체를 식별하도록 학습된 복수의 인공지능 모델들(135-1, 135-2)이 저장될 수 있다.

구체적으로, 제1 인공지능 모델(135-1)은 바닥 객체가 아닌 객체를 포함하는 이미지를 기반으로 객체를 식별하도록 학습된 모델이고, 제2 인공지능 모델(135-2)은 바닥 객체를 포함하는 복수의 이미지를 기반으로 바닥 객체를 식별하도록 학습된 인공지능 모델일 수 있다.

이때, 제2 인공지능 모델(135-2)은 바닥 객체를 비교적 낮은 각도에서 촬영한 복수의 이미지를 기반으로 바닥 객체를 식별하도록 학습된 인공지능 모델일 수 있다.

도 7b는 도 7a의 전자 장치의 기능적 구성의 일 예를 설명하기 위한 블록도이다. 도 7b를 참조하면, 객체 검출 모듈(210), 객체 영역 검출 모듈(220) 및 객체 식별 모듈(240)이 프로세서(140)의 제어에 따라 동작을 수행할 수 있다.

먼저, 객체 검출 모듈(210)은 센싱 데이터를 통해 주변의 객체를 검출할 수 있다.

그리고, 객체 영역 검출 모듈(220)은 카메라(120)를 통해 획득된 이미지 중 검출된 객체를 포함하는 객체 영역을 식별할 수 있다.

한편, 객체 식별 모듈(240)은, 바닥 객체가 아닌 객체를 식별하기 위한 일반 객체 식별 모듈(710) 및 바닥 객체를 식별하기 위한 바닥 객체 식별 모듈(720)로 구성될 수 있다.

만약, 검출된 객체가 바닥 객체가 아닌 것으로 식별되면, 객체 식별 모듈(240)은 일반 객체 식별 모듈(710)을 통해 객체 영역 내 객체를 식별할 수 있다. 이때, 프로세서(140)는 제1 인공지능 모델(135-1) 및 제2 인공지능 모델(135-2) 중 제1 인공지능 모델(135-1)만을 프로세서(140)의 휘발성 메모리에 로드하는 한편, 객체 영역을 로드된 제1 인공지능 모델(135-1)에 입력할 수 있다.

반면, 검출된 객체가 바닥 객체인 것으로 식별되면, 객체 식별 모듈(240)은 바닥 객체 식별 모듈(720)을 통해 객체 영역 내 객체를 식별할 수 있다. 이때, 프로세서(140)는 제1 인공지능 모델(135-1) 및 제2 인공지능 모델(135-2) 중 제2 인공지능 모델(135-2)만을 프로세서(140)의 휘발성 메모리에 로드하는 한편, 객체 영역을 로드된 제2 인공지능 모델(135-2)에 입력할 수 있다.

도 8은 본 개시의 전자 장치가 바닥 객체인지 여부에 따라 다른 인공지능 모델을 이용하는 구체적인 예를 설명하기 위한 도면이다.

도 8을 참조하면, 프로세서(140)는 도 3c의 객체 영역들(351, 352, 353)을 바닥 객체 포함 여부에 따라 다르게 처리할 수 있다.

구체적으로, 프로세서(140)는, 바닥 객체(301)를 포함하는 객체 영역(351)에 대해서는 바닥 객체 식별 모듈(720)을 통해 객체 식별을 수행하고, 바닥 객체가 아닌 객체들(302, 303)을 각각 포함하는 객체 영역들(352, 353)에 대해서는 일반 객체 식별 모듈(710)을 통해 객체 식별을 수행할 수 있다.

한편, 전자 장치(100)는 각각 거리별 바닥 객체를 식별하도록 학습된 복수의 인공지능 모델을 이용하여 바닥 객체를 식별할 수도 있다.

관련하여, 도 9a는 본 개시의 일 실시 예에 따라 거리별 바닥 객체를 식별하도록 학습된 복수의 인공지능 모델을 이용하는 예를 설명하기 위한 블록도이다.

도 9a를 참조하면, 메모리(140)에 저장된 제2 인공지능 모델(135-2)은 모델 a(910), 모델 b(920), 모델 c(930) 등 복수의 인공지능 모델을 포함할 수 있다. 본 모델들은 서로 다른 거리에서 촬영된 바닥 객체를 기반으로 학습된 모델들일 수 있다.

관련하여, 도 9b는 도 9a의 전자 장치의 기능적 구성의 일 예를 설명하기 위한 블록도이다.

도 9b를 참조하면, 객체 검출 모듈(210), 객체 영역 검출 모듈(220), Warping 모듈(230), 그리고 일반 객체 모듈(710)과 바닥 객체 모듈(720)을 포함하는 객체 식별 모듈(240)이 프로세서(140)의 제어에 따라 동작을 수행할 수 있다.

구체적으로, 프로세서(140)는 객체 검출 모듈(210)을 이용하여 객체를 검출할 수 있다. 그리고, 프로세서(140)는 객체 영역 검출 모듈(220)을 이용하여, 카메라(120)를 통해 획득된 이미지 중 검출된 객체를 포함하는 객체 영역을 추출할 수 있다.

이때, 검출된 객체가 바닥 객체가 아닌 경우라면, 프로세서(140)는 일반 객체 식별 모듈(710)을 이용하여 객체 영역 내 객체를 식별할 수 있다. 이때, 일반 객체 식별 모듈(710)은 제1 인공지능 모델(135-1)을 이용할 수 있다.

반면, 검출된 객체가 바닥 객체인 경우라면, 프로세서(140)는 객체 영역을 와핑할 수 있다(S230). 그리고, 와핑된 객체 영역을 바닥 객체 식별 모듈(720)에 입력할 수 있다.

한편, 바닥 객체 식별 모듈(720)은 제1 거리 모듈(721), 제2 거리 모듈(722) 등 서로 다른 거리의 바닥 객체를 식별하기 위한 모듈들을 포함할 수 있다. 구체적으로, 제1 거리 모듈(721)은 제1 거리에서 촬영된 바닥 객체를 식별하기 위한 모듈이고 제2 거리 모듈(722)은 제1 거리와 다른 제2 거리에서 촬영된 바닥 객체를 식별하기 위한 모듈일 수 있다.

이때, 제1 거리 모듈(721)은 모델 a(910)를 이용하여 객체를 식별하고, 제2 거리 모듈(722)은 모델 b(920)를 이용하여 객체를 식별할 수 있다.

프로세서(140)는 바닥 객체 식별 모듈(720)에 포함되는 거리 별 모듈들 중, 와핑 전 객체 영역의 거리 정보에 대응되는 거리의 바닥 객체를 식별하기 위한 모듈을 선택적으로 이용하여, 객체 영역 내 바닥 객체를 식별할 수 있다.

와핑 전 객체 영역의 거리 정보는, 객체 영역 내 포함되는 복수의 픽셀의 거리(: 복수의 픽셀 각각이 표시하는 피사체와 전자 장치/카메라 간의 거리)의 평균일 수 있으나, 이에 한정되지 않는다.

도 10은 도 9a의 전자 장치에 저장된 복수의 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.

도 10을 참조하면, 모델 a(910)는 비교적 먼 제1 거리에서 촬영된 바닥 객체(ex. 배변 패드)의 이미지들(1010)을 기반으로 바닥 객체를 식별하도록 학습된 모델일 수 있다.

그 결과, 모델 a(910)는 제1 거리의 바닥 객체를 보다 효율적으로 식별할 수 있다.

한편, 모델 b(920)는 제1 거리보다 가까운 제2 거리에서 촬영된 바닥 객체(ex. 배변 패드)의 이미지들(1020)을 기반으로 바닥 객체를 식별하도록 학습된 모델일 수 있다.

그리고, 모델 c(930)는 제2 거리보다 가까운 제3 거리에서 촬영된 바닥 객체(ex. 배변 패드)의 이미지들(1030)을 기반으로 바닥 객체를 식별하도록 학습된 모델일 수 있다.

한편, 상술한 이미지들(1010, 1020, 1030)은 서로 다른 각도에서 바닥 객체를 촬영한 이미지들이기도 하다. 본 각도는 전자 장치(100) 내 카메라(120)의 바닥 기준 높이에 따라 정해질 수 있다.

예를 들어, 전자 장치(100)가 로봇 청소기이고 카메라(120)의 바닥으로부터의 높이가 5cm인 경우, 이미지들(1010)은 5cm 높이에서 제1 거리에 있는 바닥 객체를 촬영한 이미지들, 이미지들(1020)은 5cm 높이에서 제2 거리에 있는 바닥 객체를 촬영한 이미지들, 이미지들(1010)은 5cm 높이에서 제3 거리에 있는 바닥 객체를 촬영한 이미지들일 수 있다.

도 11은 본 개시의 전자 장치가 도 10과 같이 학습된 모델들을 선택적으로 이용하여 객체를 이용하는 예를 설명하기 위한 도면이다.

도 11을 참조하면, 프로세서(140)는 Warping 모듈(230)을 이용하여 바닥 객체를 포함하는 객체 영역(351)을 와핑하고, 바닥 객체 식별 모듈(720)을 이용하여 와핑된 객체 영역(351) 내 객체를 식별할 수 있다.

이 경우, 만약 와핑 전 객체 영역(351)이 제1 거리에 대응된다면, 프로세서(140)는 바닥 객체 식별 모듈(720) 중 제1 거리 모듈(721)을 이용하여 객체 영역(351) 내 객체를 식별할 수 있다.

이때, 프로세서(140)는 메모리(140)에 저장된 복수의 인공지능 모델 중 모델 a(910)를 선택적으로 프로세서(140)의 휘발성 메모리에 로드할 수 있다.

한편, 바닥 객체를 포함하지 않는 객체 영역들(352, 353)의 경우, 와핑을 수행하지는 않고, 곧바로 일반 객체 식별 모듈(710)을 통해 객체 식별을 수행할 수 있다.

도 12는 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도이다.

도 12를 참조하면, 전자 장치(100)는 센서(110), 카메라(110), 메모리(130), 프로세서(140) 외에도 통신부(150), 사용자 입력부(160), 주행부(170) 등을 더 포함할 수 있다.

센서(110)는 라이다 센서(111), 초음파 센서(112), 3D 센서(113), 가속도 센서(114), 지자기 센서(115) 등을 포함할 수 있다.

3D 센서(113)는 뎁스 카메라로 구현될 수 있다. 뎁스 카메라는, TOF(Time Of Flight) 센서 및 적외선 라이트를 포함하는 TOF 카메라로 구현될 수 있다. 뎁스 카메라는 복수의 카메라를 이용하여 획득된 이미지의 시차(disparity)를 이용하여 뎁스를 측정할 수 있고, 이 경우 IR 스테레오 센서를 포함할 수도 있다. 또는, 뎁스 카메라는 프로젝터에 의해 투사된 광 패턴을 카메라로 촬영하여 뎁스를 측정하는 구조광 방식으로 구현될 수도 있다.

프로세서(140)는 라이다 센서(111), 초음파 센서(112), 3D 센서(113) 등을 통해 주변의 객체를 검출 할 수 있다. 또한, 프로세서(140)는 가속도 센서(114), 지자기 센서(115) 등을 통해 전자 장치(100)의 이동 방향, 속도, 위치 등을 검출할 수 있다.

한편, 센서(110)는 도 9를 통해 도시된 센서들 외에도 다양한 센서들을 포함할 수 있다.

카메라(120)는 RGB 카메라(121)를 포함할 수 있다.

카메라(120)는 CCD(Carge-Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등의 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 카메라(110)가 CCD를 포함하는 경우, CCD는 RGB(Red/Green/Blue) CCD, IR(Infrared) CCD 등으로 구현될 수 있다.

도 2a 및 도 7a를 통해 설명하였듯, 메모리(130)에는 하나 이상의 인공지능 모델(ex. 135, 135-1, 135-2)이 저장될 수 있다. 구체적으로는, 메모리(130) 중 하드 디스크 또는 SSD 등의 스토리지에 하나 이상의 인공지능 모델이 저장될 수 있다.

저장된 인공지능 모델의 기능은 프로세서(140) 및 메모리(130)를 통해 수행될 수 있다.

이를 위해, 프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GUP, VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다.

하나 또는 복수의 프로세서는, 메모리(140)에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.

여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알골지즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어질 수도 있다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)를 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크(Deep Q-Networks) 등이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

프로세서(140)는 객체 검출 모듈(210), 객체 영역 검출 모듈(220), Warping 모듈(230), 객체 식별 모듈(240), 주행 제어 모듈(250) 등을 실행/제어함으로써 다양한 동작을 수행할 수 있다. 본 모듈들 각각은 메모리(130)의 ROM상에 저장되거나 및/또는 회로 형태로 구현될 수 있다.

통신부(150)는 전자 장치(100)가 적어도 하나의 외부 장치와 통신을 수행하여 신호/데이터를 주고받기 위한 구성이다. 이를 위해 통신부(150)는 회로를 포함할 수 있다.

통신부(150)는 무선 통신 모듈, 유선 통신 모듈 등을 포함할 수 있다.

무선 통신 모듈은 외부 서버 또는 외부 장치로부터 컨텐츠를 수신하기 위하여 와이파이 (WIFI) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함을 포함할 수 있다.

유선 통신 모듈은 썬더볼트 포트, USB 포트 등의 유선 포트로 구현될 수 있다.

프로세서(140)는 객체 식별 모듈(240)을 통한 객체 식별 결과를 통신부(150)를 통해 서버 장치 등 외부 장치로 전송할 수 있다.

그리고, 메모리(130)에 저장된 인공지능 모델 중 적어도 일부는, 서버 장치 등의 외부 장치로부터 통신부(150)를 통해 전자 장치(100)로 수신된 것일 수 있다.

사용자 입력부(160)를 통해 수신된 사용자 입력에 따라, 프로세서(140)는 주행부(170)를 통해 전자 장치(100)를 이동시킬 수 있으며, 전자 장치(100)가 이동하는 중에 객체 식별을 수행할 수 있다.

사용자 입력부(160)는 하나 이상의 버튼, 키보드, 마우스 등을 포함할 수 있다. 또한, 사용자 입력부(160)는 디스플레이(도시되지 않음)와 함께 구현된 터치 패널 또는 별도의 터치 패드(도시되지 않음)를 포함할 수 있다.

사용자 입력부(160)는 사용자의 명령 또는 정보를 음성으로 입력 받기 위해 마이크를 포함할 수도 있고, 사용자의 명령 또는 정보를 모션 형태로 인식하기 위하여 카메라(120)와 함께 구현될 수도 있다.

주행부(170)는 전자 장치(100)의 이동을 위한 구성이다. 주행부(170)는 하나 이상의 바퀴 등으로 구현된 이동 수단 및 이동 수단을 구동시키기 위한 Actuator 등을 포함할 수 있다.

프로세서(140)는 주행 제어 모듈(250)을 통해 주행부(170)를 제어할 수 있다. 주행 제어 모듈(250)은 센서(110)에 포함된 가속도 센서(114) 및 지자기 센서(115) 등의 센싱 데이터를 통해 전자 장치(100)의 이동 속도, 이동 방향, 위치 등을 식별하고, 이를 기반으로 주행부(170)를 제어할 수 있다.

이때, 주행 제어 모듈(250)은 검출된 객체가 바닥 객체인지 여부 및 객체 식별 결과에 따라 주행부(170)를 제어할 수 있다.

검출된 객체가 전자 장치(100)가 주행부(170)를 통해 넘거나 오를 수 있는 바닥 객체가 아닌 경우, 주행 제어 모듈(250)은 검출된 객체를 피해서 주행하도록 주행부(170)를 제어할 수 있다.

한편, 검출된 객체가 바닥 객체인 경우, 주행 제어 모듈(250)은 객체 식별 결과에 따라 주행을 달리할 수 있다.

구체적으로, 검출된 바닥 객체가 카페트 또는 문턱 등인 경우, 주행 제어 모듈(250)은 검출된 객체 위로 올라가거나 또는 검출된 객체를 넘어서 주행하도록 주행부(170)를 제어할 수 있다. 반면, 검출된 바닥 객체가 배변 패드 또는 전선 등인 경우, 주행 제어 모듈(250)은 검출된 객체를 피해서 주행하도록 주행부(170)를 제어할 수 있다.

한편, 도 13a는 본 개시의 일 실시 예에 따라 복수의 프로세서를 포함하는 전자 장치의 구성을 설명하기 위한 블록도이다.

도 13a를 참조하면, 전자 장치(100)는 제1 프로세서(140-1) 및 제2 프로세서(140-2)를 포함할 수 있다.

이때, 제1 프로세서(140-1)는 센서(110), 카메라(120) 등과 연결되어 전자 장치(100)의 전반적인 동작을 제어하기 위한 메인 프로세서로 구현될 수 있고, 이를 위해 제1 프로세서(140-1)는 CPU, AP 등과 같은 범용 프로세서, GUP, VPU 등과 같은 그래픽 전용 프로세서 등으로 구현될 수 있다.

제2 프로세서(140-2)는 메모리(130)에 저장된 인공지능 모델을 통해 객체 식별을 수행하기 위한 별도의 프로세서로 구현될 수 있다. 제2 프로세서(140-2)는 인공지능 모델의 학습 및/또는 연산에 유리한 NPU로 구현될 수 있다.

제2 프로세서(140-2)는 객체 식별 시에 적어도 하나의 인공지능 모델을 휘발성 메모리(145-2)에 로드하고, 로드된 인공지능 모델에 객체 영역을 입력할 수 있다.

메모리(130)에 상술한 제1 인공지능 모델(135-1) 및 제2 인공지능 모델(135-2)이 포함된 경우, 제2 프로세서(140-2)는 검출된 객체가 바닥 객체인지 여부에 대한 정보를 제1 프로세서(140-1)로부터 수신할 수 있다. 그리고, 제2 프로세서(140-2)는, 검출된 객체가 바닥 객체가 아닌 경우 제1 인공지능 모델(135-1)을 휘발성 메모리(145-2)에 로드하고, 검출된 객체가 바닥 객체인 경우 제2 인공지능 모델(135-2)을 휘발성 메모리(145-2)에 로드할 수 있다.

도 13b는 도 10a의 전자 장치가 가질 수 있는 보다 상세한 구성의 예를 설명하기 위한 블록도이다.

도 13b를 참조하면, 객체 검출 모듈(210), 객체 영역 검출 모듈(220), Warping 모듈(230), 주행 제어 모듈(250) 등은 제1 프로세서(140-1)에 의해 실행/제어되는 반면, 객체 식별 모듈(240)은 제2 프로세서(140-2)에 의해 실행될 수도 있다.

다만, 객체 식별 모듈(240)이 제1 프로세서(140-1)에 의해 실행된 결과, 제2 프로세서(140-2)가 제1 프로세서(140-1)의 제어에 의해 객체 식별을 수행할 수도 있기 때문에, 도 10b의 경우에만 한정되는 것은 아니다.

또한, 객체 검출 모듈(210)이 센싱 데이터를 통해 객체를 검출하도록 학습된 적어도 하나의 인공지능 모델을 이용하는 경우, 도 10b와 달리, 객체 검출 모듈(210)은 제2 프로세서(140-2) 또는 프로세서들(140-1, 140-2)에 의해 동작할 수 있다.

이하 도 14 내지 도 17을 통해서는 본 개시에 따른 전자 장치의 제어 방법을 설명한다.

도 14는 본 개시의 일 실시 예에 따라 객체를 식별하도록 학습된 인공지능 모델이 저장된 메모리를 포함하는 전자 장치의 제어 방법을 설명하기 위한 순서도이다.

도 14를 참조하면, 본 제어 방법은 센서로부터 수신된 센싱 데이터를 통해 객체를 검출할 수 있다(S1410).

그리고, 검출된 객체가 바닥 객체인지 여부를 식별할 수 있다(S1420). 바닥 객체는, 전자 장치가 위치한 바닥상에 놓인 객체로서 바닥으로부터의 높이가 기설정된 임계값 미만인 객체를 의미할 수 있다.

구체적으로, 바닥으로부터 검출된 객체의 높이를 식별하고, 식별된 높이가 기설정된 임계값 미만인 경우 검출된 객체를 바닥 객체로 식별할 수 있다.

그리고, 검출된 객체가 바닥 객체인 것으로 식별되면, 카메라를 통해 획득된 이미지의 적어도 일부를 와핑할 수 있다(S1430). 구체적으로, 이미지 중 검출된 객체를 포함하는 객체 영역을 객체 영역의 거리 정보를 기반으로 와핑할 수 있다.

이때, 객체 영역 내 복수의 픽셀의 거리 정보가 기준 거리에 대응되도록 하는 위치 변환 함수를 이용하여, 픽셀들의 위치를 변환할 수 있다. 그 결과, 복수의 영역 중 기준 거리보다 먼 영역은 확대 스케일링되고, 기준 거리보다 가까운 영역은 축소 스케일링될 수 있다.

거리 정보는, 객체 영역 내 복수의 픽셀이 각각 표시하는 피사체의 특정 부분과 전자 장치 또는 카메라 간의 거리를 의미할 수 있다.

구체적으로, 본 제어 방법은, 객체 영역을 구성하는 복수의 픽셀 각각의 거리 정보를 획득하고, 획득된 거리 정보를 기반으로, 복수의 픽셀의 위치를 변환할 수 있다.

이때, 획득된 거리 정보에 기초하여 복수의 픽셀 중 기준 거리에 대응되는 기준 픽셀을 식별하고, 복수의 픽셀 중 기준 거리보다 먼 거리의 제1 픽셀 및 기준 거리보다 가까운 거리의 제2 픽셀을 식별할 수 있다.

그리고, 제1 픽셀과 기준 픽셀 간의 간격이 커지도록 제1 픽셀의 위치를 변환하고, 제2 픽셀과 기준 픽셀 간의 간격이 줄어들도록 제2 픽셀의 위치를 변환할 수 있다.

이 경우, 기준 거리와 제1 픽셀의 거리 간의 차이가 클수록 기준 픽셀과 제1 픽셀 간의 간격이 커지는 정도가 증가하도록, 제1 픽셀의 위치를 변환할 수 있다. 또한, 기준 거리와 제2 픽셀의 거리 간의 차이가 클수록 기준 픽셀과 제2 픽셀 간의 간격이 줄어드는 정도가 증가하도록, 제2 픽셀의 위치를 변환할 수 있다.

이때, 획득된 이미지에서 카메라의 초점이 포커싱된 영역의 거리를 기준 거리로 설정할 수 있다. 또는, 인공지능 모델이 객체를 식별할 수 있는 거리 범위 내에서 기준 거리를 설정할 수도 있다.

또는, 객체 영역 내 복수의 픽셀 중 가장 가까운 거리의 적어도 하나의 픽셀을 기준 픽셀로 식별할 수 있다. 즉, 해당 픽셀의 거리를 기준 거리로 설정할 수 있다.

여기서, 제1 영역의 거리와 기준 거리 간의 차이가 클수록 제1 영역이 확대되는 정도가 커지도록 제1 영역을 확대 스케일링하고, 제2 영역의 거리와 기준 거리 간의 차이가 클수록 제2 영역이 축소되는 정도가 커지도록 제2 영역을 축소 스케일링할 수 있다.

한편, 검출된 객체가 바닥 객체가 아닌 것으로 식별되면, S1430 단계의 와핑은 수행하지 않을 수도 있다.

그리고, 본 제어 방법은 객체 영역을 인공지능 모델에 입력하여 검출된 객체를 식별할 수 있다(S1440). 구체적으로, 검출된 객체가 바닥 객체이면 S1430 단계에 따라 와핑된 객체 영역을 인공지능 모델에 입력하고, 검출된 객체가 바닥 객체가 아니면 S1430 단계를 거치지 않은 객체 영역을 인공지능 모델에 입력할 수 있다.

한편, 본 제어 방법은, 와핑된 객체 영역을 인공지능 모델에 입력하여, 와핑된 객체 영역에 포함된 객체에 대한 정보 및 객체에 대한 정보의 신뢰도 값을 획득할 수도 있다.

이때, 획득된 신뢰도 값이 임계값 미만인 경우, 이미지 중 검출된 객체를 포함하는 객체 영역을 인공지능 모델에 입력하여 검출된 객체를 식별할 수 있다. 즉, 와핑되지 않은 객체 영역을 인공지능 모델에 입력하여 객체를 식별할 수 있다.

도 15는 본 개시의 제어 방법이 바닥 객체의 검출 여부에 따라 객체 영역을 와핑하고 객체를 식별하는 예를 설명하기 위한 알고리즘이다.

도 15를 참조하면, 본 제어 방법은 센싱 데이터를 통해 객체를 검출할 수 있다(S1510). 그리고, 객체가 검출되면 검출된 객체가 있는 방향을 촬영한 이미지를 획득할 수 있다(S1520).

이때, 본 제어 방법은 센싱 데이터를 통해 검출된 객체의 높이를 식별할 수 있다(S1530). 이때, 식별된 높이가 임계값 미만이면(S1540 - Y), 해당 객체를 바닥 객체로 식별할 수 있다.

이 경우, 앞서 획득된 이미지 중 객체를 포함하는 객체 영역을 식별하고(S1550), 식별된 객체 영역을 거리 정보에 따라 와핑할 수 있다(S1560).

그리고, 와핑된 객체 영역을 인공지능 모델에 입력하여 객체를 식별할 수 있다(S1570).

반면, 식별된 높이가 임계값 이상인 경우(S1540 - N), 해당 객체가 바닥 객체가 아닌 것으로 식별할 수 있다. 이 경우, 이미지 내에서 객체 영역을 식별하고(S1580), 식별된 객체 영역을 인공지능 모델에 입력하여 객체를 식별할 수 있다(S1570). 이 경우, 객체 영역의 전체 사이즈 스케일링 등 인공지능 모델에 입력하기 전에 필요한 전처리는 수행할 수 있지만, S1560과 같이 거리 정보에 따른 객체 영역의 와핑은 수행하지 않을 수 있다.

한편, 메모리는, 바닥 객체를 포함하는 복수의 이미지를 기반으로 바닥 객체를 식별하도록 학습된 별도의 인공지능 모델을 더 저장할 수 있다. 이 경우, 본 제어 방법은, 검출된 객체가 바닥 객체인 것으로 식별되면, 이미지 중 검출된 객체를 포함하는 객체 영역을 상술한 별도의 인공지능 모델에 입력하여 검출된 객체를 식별할 수도 있다.

관련하여, 도 16은 본 개시의 제어 방법이 바닥 객체의 검출 여부에 따라 다른 인공지능 모델을 이용하는 예를 설명하기 위한 알고리즘이다.

도 16을 참조하면, 본 제어 방법은 센싱 데이터를 통해 객체를 검출할 수 있다(S1610). 그리고, 객체가 검출되면 검출된 객체에 대한 이미지를 획득할 수 있다(S1620).

이때, 본 제어 방법은 센싱 데이터를 통해 검출된 객체의 높이를 식별할 수 있다(S1630). 이때, 식별된 높이가 임계값 이상이면(S1640 - N), 이미지 내 객체 영역을 식별하고(S1650), 식별된 객체 영역 및 일반 객체 식별 모듈을 이용하여 객체를 식별할 수 있다(S1660). 이때, 일반 객체 식별 모듈은 바닥 객체가 아닌 객체를 식별하도록 학습된 인공지능 모델에 객체 영역을 입력할 수 있다.

반면, 식별된 높이가 임계값 미만인 경우(S1640 - Y), 객체 영역을 식별하는(S1670) 한편, 식별된 객체 영역 및 바닥 객체 식별 모듈을 이용하여 객체를 식별할 수 있다(S1680). 이때, 바닥 객체 식별 모듈은 바닥 객체를 식별하도록 학습된 인공지능 모델에 객체 영역을 입력할 수 있다.

이 경우, 바닥 객체를 식별하도록 학습된 인공지능 모델은 복수의 인공지능 모델로 구분될 수 있다. 복수의 인공지능 모델은, 서로 다른 거리에서 촬영된 바닥 객체의 이미지를 기반으로 학습된 인공지능 모델들일 수 있다.

이때, 본 제어 방법은, 복수의 인공지능 모델 중 객체 영역의 거리 정보에 대응되는 이미지를 기반으로 학습된 인공지능 모델에, 객체 영역을 입력할 수 있다.

한편, 전자 장치가 주행부를 포함하는 경우, 본 제어 방법은 검출된 객체가 바닥 객체인지 여부 및 객체 식별 결과에 따라 전자 장치의 주행을 제어할 수 있다.

관련하여, 도 17은 본 개시의 제어 방법이 바닥 객체의 검출 여부 및 객체 식별 결과를 주행에 반영하는 예를 설명하기 위한 알고리즘이다.

도 17를 참조하면, 본 제어 방법은, 주행을 시작하도록 전자 장치를 제어할 수 있다(S1710). 그리고, 주행 중에 센서를 통해 수신되는 센싱 데이터를 이용하여 전자 장치 주변의 객체를 검출할 수 있다(S1720). 구체적으로는, 전자 장치의 주행 방향에 위치한 다양한 장애물을 검출할 수 있다.

객체가 검출된 경우, 검출된 객체가 바닥 객체인지 여부를 식별할 수 있다(S1730). 구체적으로, 검출된 객체의 높이가 임계값 미만인지 여부에 따라 바닥 객체인지 여부를 판단할 수 있다.

검출된 객체가 바닥 객체인 경우(S1730 - Y)), 카메라를 통해 획득된 이미지 중 객체를 포함하는 객체 영역을 식별하고(S1740), 식별된 객체 영역을 거리 정보에 따라 와핑할 수 있다(S1750).

그리고, 와핑된 객체 영역을 통해 객체를 식별할 수 있다(S1760).

만약, 식별된 객체가 카페트, 문턱 등 기설정된 객체인 경우(S1770 - Y), 해당 객체 위로 주행하거나 또는 해당 객체를 넘어 주행하도록 전자 장치를 제어할 수 있다(S1780). 반면, 식별된 객체가 기설정된 객체가 아닌 경우(S1770 - N), 해당 객체를 피해서 주행하도록 전자 장치를 제어할 수 있다(S1790).

한편, 검출된 객체가 바닥 객체가 아닌 경우(S1730 - N), 검출된 객체를 피해서 주행하도록 전자 장치를 제어할 수 있다(S1790).

한편, 도 14 내지 도 17을 통해 설명한 제어 방법은, 도 2a, 도 7a, 도 9a, 도 12, 도 13a 등을 통해 도시 및 설명된 전자 장치(100)를 통해 구현될 수 있다.

또는, 도 14 내지 도 17를 통해 설명한 제어 방법은, 전자 장치(100) 및 하나 이상의 외부 장치를 포함하는 시스템을 통해 구현될 수도 있다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.

일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 전자 장치 110: 센서
120: 카메라 130: 메모리
140: 프로세서 150: 통신부
160: 사용자 입력부 170: 주행부

Claims (20)

1. 전자 장치에 있어서,
   센서;
   카메라;
   메모리; 및
   상기 센서, 상기 카메라 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하고,
   상기 메모리는, 객체를 식별하도록 학습된 인공지능 모델을 포함하고,
   상기 프로세서는,
   상기 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고,
   상기 카메라를 통해 획득된 이미지로부터 상기 검출된 객체를 포함하는 객체 영역을 획득하고,
   상기 검출된 객체가 바닥 객체인 것으로 식별되면, 상기 획득된 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑(warping)하고, 상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별하고,
   상기 검출된 객체가 상기 바닥 객체가 아닌 것으로 식별되면, 상기 획득된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별하는, 전자 장치.
2. 제1항에 있어서,
   상기 바닥 객체는,
   상기 전자 장치가 위치한 바닥상에 놓인 객체로서 상기 바닥으로부터의 높이가 기설정된 임계값 미만인 객체이고,
   상기 프로세서는,
   상기 바닥으로부터 상기 검출된 객체의 높이를 식별하고, 상기 식별된 높이가 상기 기설정된 임계값 미만인 경우 상기 검출된 객체를 상기 바닥 객체로 식별하는, 전자 장치.
3. 제2항에 있어서,
   상기 기설정된 임계값은,
   상기 전자 장치가 상기 전자 장치의 이동 수단을 통해 넘을 수 있는 최대 높이를 기반으로 기설정된, 전자 장치.
4. 제1항에 있어서,
   상기 프로세서는, 상기 와핑에 있어서,
   상기 객체 영역을 구성하는 복수의 픽셀 각각의 거리 정보를 획득하고, 상기 획득된 거리 정보를 기반으로, 상기 복수의 픽셀의 위치를 변환하는, 전자 장치.
5. 제4항에 있어서,
   상기 프로세서는, 상기 복수의 픽셀의 위치를 변환함에 있어서,
   상기 획득된 거리 정보에 기초하여 상기 복수의 픽셀 중 기준 거리에 대응되는 기준 픽셀을 식별하고,
   상기 복수의 픽셀 중 상기 기준 거리보다 먼 거리의 제1 픽셀 및 상기 기준 거리보다 가까운 거리의 제2 픽셀을 식별하고,
   상기 제1 픽셀과 상기 기준 픽셀 간의 간격이 커지도록 상기 제1 픽셀의 위치를 변환하고, 상기 제2 픽셀과 상기 기준 픽셀 간의 간격이 줄어들도록 상기 제2 픽셀의 위치를 변환하는, 전자 장치.
6. 제5항에 있어서,
   상기 프로세서는, 상기 복수의 픽셀의 위치를 변환함에 있어서,
   상기 기준 거리와 상기 제1 픽셀의 거리 간의 차이가 클수록 상기 기준 픽셀과의 간격이 커지는 정도가 증가하도록 상기 제1 픽셀의 위치를 변환하고,
   상기 기준 거리와 상기 제2 픽셀의 거리 간의 차이가 클수록 상기 기준 픽셀과의 간격이 줄어드는 정도가 증가하도록 상기 제2 픽셀의 위치를 변환하는, 전자 장치.
7. 제5항에 있어서,
   상기 프로세서는, 상기 복수의 픽셀의 위치를 변환함에 있어서,
   상기 복수의 픽셀 중 가장 가까운 거리의 적어도 하나의 픽셀을 상기 기준 거리에 대응되는 상기 기준 픽셀로 식별하는, 전자 장치.
8. 제5항에 있어서,
   상기 프로세서는,
   상기 획득된 이미지에서 상기 카메라의 초점이 포커싱된 영역의 거리를 상기 기준 거리로 설정하는, 전자 장치.
9. 제5항에 있어서,
   상기 기준 거리는,
   상기 인공지능 모델이 객체를 식별할 수 있는 거리 범위 내에서 기설정되는, 전자 장치.
10. 제1항에 있어서,
    상기 프로세서는,
    상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하여, 상기 와핑된 객체 영역에 포함된 객체에 대한 정보 및 상기 객체에 대한 정보의 신뢰도 값을 획득하고,
    상기 획득된 신뢰도 값이 임계값 미만인 경우, 상기 획득된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별하는, 전자 장치.
11. 삭제
12. 전자 장치에 있어서,
    센서;
    카메라;
    메모리; 및
    상기 센서, 상기 카메라 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 메모리는, 바닥 객체를 식별하도록 학습된 복수의 인공지능 모델 및 상기 바닥 객체가 아닌 일반 객체를 식별하도록 학습된 인공지능 모델을 포함하고,
    상기 복수의 인공지능 모델은 서로 다른 거리에서 촬영된 상기 바닥 객체의 이미지를 기반으로 학습된 것이며,
    상기 프로세서는,
    상기 센서로부터 수신된 센싱 데이터를 통해 객체를 검출하고,
    상기 카메라를 통해 획득된 이미지로부터 상기 검출된 객체를 포함하는 객체 영역을 획득하고,
    상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 상기 획득된 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑하고, 상기 복수의 인공지능 모델 중 상기 획득된 객체 영역의 거리 정보에 대응되는 이미지를 기반으로 학습된 인공지능 모델을 식별하고, 상기 와핑된 객체 영역을 상기 식별된 인공지능 모델에 입력하여 상기 검출된 객체를 식별하고,
    상기 검출된 객체가 상기 일반 객체인 것으로 식별되면, 상기 획득된 객체 영역을 상기 일반 객체를 식별하도록 학습된 인공지능 모델에 입력하여 상기 검출된 객체를 식별하는, 전자 장치.
13. 객체를 식별하도록 학습된 인공지능 모델이 저장된 메모리를 포함하는 전자 장치의 제어 방법에 있어서,
    센서로부터 수신된 센싱 데이터를 통해 객체를 검출하는 단계;
    상기 검출된 객체가 상기 전자 장치가 넘거나 오를 수 있는 바닥 객체인지 여부를 식별하는 단계;
    카메라를 통해 획득된 이미지로부터 상기 검출된 객체를 포함하는 객체 영역을 획득하는 단계;
    상기 검출된 객체가 상기 바닥 객체인 것으로 식별되면, 상기 획득된 객체 영역을 상기 객체 영역의 거리 정보를 기반으로 와핑하고, 상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하는 단계;
    상기 검출된 객체가 상기 바닥 객체가 아닌 것으로 식별되면, 상기 획득된 객체 영역을 상기 인공지능 모델에 입력하는 단계; 및
    상기 인공지능 모델의 출력을 기반으로 상기 객체를 식별하는 단계;를 포함하는, 제어 방법.
14. 제13항에 있어서,
    상기 바닥 객체는,
    상기 전자 장치가 위치한 바닥상에 놓인 객체로서 상기 바닥으로부터의 높이가 기설정된 임계값 미만인 객체이고,
    상기 바닥 객체인지 여부를 식별하는 단계는,
    상기 바닥으로부터 상기 검출된 객체의 높이를 식별하고, 상기 식별된 높이가 상기 기설정된 임계값 미만인 경우 상기 검출된 객체를 상기 바닥 객체로 식별하는, 제어 방법.
15. 제13항에 있어서,
    상기 와핑하는 단계는,
    상기 객체 영역을 구성하는 복수의 픽셀 각각의 거리 정보를 획득하고, 상기 획득된 거리 정보를 기반으로, 상기 복수의 픽셀의 위치를 변환하는, 제어 방법.
16. 제15항에 있어서,
    상기 와핑하는 단계는,
    상기 획득된 거리 정보에 기초하여 상기 복수의 픽셀 중 기준 거리에 대응되는 기준 픽셀을 식별하고,
    상기 복수의 픽셀 중 상기 기준 거리보다 먼 거리의 제1 픽셀 및 상기 기준 거리보다 가까운 거리의 제2 픽셀을 식별하고,
    상기 제1 픽셀과 상기 기준 픽셀 간의 간격이 커지도록 상기 제1 픽셀의 위치를 변환하고, 상기 제2 픽셀과 상기 기준 픽셀 간의 간격이 줄어들도록 상기 제2 픽셀의 위치를 변환하는, 제어 방법.
17. 제16항에 있어서,
    상기 와핑하는 단계는,
    상기 기준 거리와 상기 제1 픽셀의 거리 간의 차이가 클수록 상기 기준 픽셀과의 간격이 커지는 정도가 증가하도록 상기 제1 픽셀의 위치를 변환하고,
    상기 기준 거리와 상기 제2 픽셀의 거리 간의 차이가 클수록 상기 기준 픽셀과의 간격이 줄어드는 정도가 증가하도록 상기 제2 픽셀의 위치를 변환하는, 제어 방법.
18. 제16항에 있어서,
    상기 와핑하는 단계는,
    상기 복수의 픽셀 중 가장 가까운 거리의 적어도 하나의 픽셀을 상기 기준 거리에 대응되는 상기 기준 픽셀로 식별하는, 제어 방법.
19. 제13항에 있어서,
    상기 와핑된 객체 영역을 입력하는 단계는,
    상기 와핑된 객체 영역을 상기 인공지능 모델에 입력하여, 상기 와핑된 객체 영역에 포함된 객체에 대한 정보 및 상기 객체에 대한 정보의 신뢰도 값을 획득하고,
    상기 제어 방법은,
    상기 획득된 신뢰도 값이 임계값 미만인 경우, 상기 획득된 객체 영역을 상기 인공지능 모델에 입력하여 상기 검출된 객체를 식별하는 단계;를 더 포함하는, 제어 방법.
    
20. 삭제

Images