KR102315483B1 - 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치 - Google Patents

Abstract

본 발명의 실시예에 따른 객체 영상 생성 장치는, 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다 및 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부를 포함할 수 있다.

Description

객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치{Apparatus and method for processing image, and apparatus for recognizing object comprising the same}

본 발명은 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치 에 관한 것이다. 보다 구체적으로, 본 발명은 3차원 라이다(LIDAR)를 이용한 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치에 관한 것이다.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고 있으며, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.

가정용 로봇의 대표적인 일 예로, 청소 로봇을 들 수 있는데, 이 때 청소 로봇이란 청소 하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입함으로써, 청소하고자 하는 영역을 자동으로 청소하는 장치를 의미한다. 이러한 청소 로봇은 각종 센서 등을 통해 청소 영역 내에 위치하는 장애물 등을 감지하고, 감지 결과를 이용하여, 청소 로봇의 주행 경로 및 청소 동작을 제어하게 된다.

한국 공개 특허 제10-2018-0134230호 (공개)

본 발명은 상기 전술한 종래의 문제점을 해결하기 위해 라이다(LIDAR)로부터 획득되는 정보를 토대로 객체를 인식하기 위한 연산 복잡도를 최소화하면서 객체 인식 성능은 높은 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치를 제공하는 것을 목적으로 한다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 영상 생성 장치는, 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다 및 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부를 포함할 수 있다.

또한, 상기 객체 영상 재구성부가 생성하는 복수의 영상들은, 상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상 및 상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고, 상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성할 수 있다.

또한, 상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부를 포함할 수 있다.

또한, 상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성할 수 있다.

또한, 상기 객체 영상 재구성부는, 상기 깊이 영상 및 인텐시티 영상의 노이즈를 제거하기 위한 필터링을 수행하는 영상 필터부 및 상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들에 대한 히스토그램의 분포 특성을 변환함에 따라 상기 상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들을 균일하게 분산시켜 평탄화시키는 영상 전처리부;를 더 포함하고, 상기 혼합 영상 생성부는, 상기 평탄화된 깊이 영상 및 인텐시티 영상을 혼합하여 상기 혼합 영상을 생성할 수 있다.

또한, 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상은 흑백계열의 2차원 흑백 영상일수 있다.

또한, 상기 인텐시티 영상은 상기 반사 광 신호 세기에 따라 상기 포인트 클라우드의 적어도 일부를 2차원 공간 상에 투영하여, 상기 객체의 표면에 대한 정보를 나타낼 수 있다.

또한, 상기 객체 영상 생성 장치는 미리 정해진 공간을 이동 주행하는 이동 로봇에 설치될 수 있다.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 인식 장치는, 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다, 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부 및 상기 컬러 영상을 이용하여 상기 객체를 인식하는 프로세서를 포함할 수 있다.

또한, 상기 객체 영상 재구성부가 생성하는 복수의 영상들은, 상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및 상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고, 상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성할 수 있다.

또한, 상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부; 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부;를 더 포함하고, 상기 프로세서는, 상기 컬러 영상의 일부분을 레이블링(labeling)한 레이블 영상을 생성하는 레이블 영상 생성부를 더 포함할 수 있다.

또한, 상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상을 인공 신경망에 입력하고, 상기 인공 신경망을 통해 상기 객체들을 인식할 수 있다.

또한, 상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상 각각을 인코딩하여 입력 특징 벡터들로 변환하고, 변환된 입력 특징 벡터들을 상기 인공신경망으로 전달하는 인코딩부; 및 상기 인공신경망으로부터 출력되는 출력 특징 벡터를 디코딩하여 상기 컬러 영상 내의 객체들을 인식하는 디코딩부;를 더 포함하되, 상기 인공신경망은, 상기 입력 특징 벡터들을 입력 받는 입력 레이더; 상기 입력된 입력 특징 벡터들을 서로 다른 가중치로 설정되어 있는 은닉 노드들을 통해 가중합 연산하여 상기 출력 특징 벡터로 변환하는 히든 레이어; 및 상기 출력 특징 벡터를 상기 디코딩부로 출력하는 출력 레이어;를 포함할 수 있다.

또한, 상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성할 수 있다.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 영상 생성 방법은, 3차원 라이다가 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 단계 및 객체 영상 재구성부가 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치는, 3D 라이다(LIDAR)로부터 획득한 3차원 정보를 2차원의 정보로 변환하여 정보의 차수를 줄임으로써 가정용 청소로봇과 같이 연산 능력이 작은 장치에서도 구동이 가능한 연산량과 속도를 확보할 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도1은 본 발명의 일 실시예에 따른 객체 인식 장치의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 3차원 라이다의 구성을 개략적으로 도시한 블록도이다.
도3은 본 발명의 다른 일 실시예에 따른 객체 인식 장치의 구성을 보다 구체적으로 도시한 블록도이다.
도4는 본 발명의 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.
도5는 본 발명의 또 다른 일 실시예에 따른 객체 인식 장치의 구성을 보다 구체적으로 도시한 블록도이다.
도6은 본 발명의 또 다른 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.
도7은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 깊이 영상을 생성하는 것을 나타내는 도면이다.
도8은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 인텐시티 영상을 생성하는 것을 나타내는 도면이다.
도9는 본 발명의 일 실시예에 따른 컬러 영상을 생성하는 과정을 나타내는 참고도이다.
도10은 상술한 컬러 영상을 생성하는 알고리즘을 나타낸 도면이다.
도11은 상술한 바와 같은 과정을 통해 생성된 컬러 영상을 나타낸 도면이다
도12는 본 발명의 일 실시예에 따라 프로세서의 인공신경망에 입력되는 입력 영상들을 도시한 도면이다.
도13은 본 발명의 일 실시예에 따른 객체 영상 생성 방법을 시간의 흐름에 따라 도시한 흐름도이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.

이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

이하에서는 본 발명의 실시예에 따른 객체 영상 생성 장치, 이를 포함하는 객체 인식 장치 및 상기 객체 인식 장치를 포함하는 이동 로봇의 구성을 관련된 도면을 참조하여 상세히 설명한다.

본 발명의 객체 인식 장치(100)는 이동 로봇에 설치되어, 주행 방향 및 주행 모드 등 주변을 효율적으로 청소하기 위한 동작을 수행하기 위해 이동 로봇 주변에 있는 객체(물체)들을 인식하기 위한 것이다. 여기서, 본 발명의 이동 로봇은 미리 정의된 방식에 따라 특정 위치에서 다른 위치로 이동 가능하도록 설계된 장치를 의미하며, 바퀴, 레일, 보행용 다리 등과 같은 이동 수단을 이용하여, 특정 위치에서 다른 위치로 이동할 수 있다. 이동로봇은 센서 등을 이용하여 외부의 정보를 수집한 후 수집된 정보에 따라서 이동할 수도 있고, 사용자에 의해 별도의 조작 수단을 이용하여 이동할 수 있다.

본 발명의 이동 로봇의 일예로는 로봇 청소기, 장난감 자동차, 산업용 또는 군사용 목적 등으로 이용 가능한 이동 로봇일 수 있으며, 이동 로봇은 바퀴를 이용하여 주행하거나, 하나 이상의 다리를 이용하여 보행하거나, 이들의 조합 등으로 구현될 수 있다.

로봇 청소기는 청소 공간을 주행하면서 바닥에 쌓인 먼지 등의 이물질을 흡입함으로써 청소 공간을 자동으로 청소하는 장치이다. 일반적인 청소기가 사용자에 의한 외력으로 이동하는 것과 달리, 로봇 청소기는 외부의 정보 또는 미리 정의된 이동 패턴을 이용하여 이동하면서 청소 공간을 청소한다.

로봇 청소기는 미리 정의된 패턴을 이용하여 자동적으로 이동하거나, 또는 감지 센서에 의해 외부의 장애물을 감지한 후, 감지된 바에 따라 이동할 수도 있고, 사용자에 의해 조작되는 원격 제어 장치로부터 전달되는 신호에 따라 이동 가능하다.

도1은 본 발명의 일 실시예에 따른 객체 인식 장치의 구성을 개략적으로 도시한 블록도이다. 도1을 참조하면, 본 발명의 객체 인식 장치(100)는 3차원 라이다(110), 객체 영상 재구성부(120), 및 프로세서(130)를 포함할 수 있다. 여기서, 본 발명의 실시예에 따른 객체 영상 생성 장치는, 도1의 3차원 라이다(110) 및 객체 영상 재구성부(120)를 포함하는 것일 수 있다. 즉, 객체 인식 장치는 객체 영상 생성 장치를 포함하는 것으로서, 중복되는 개념이므로 이하 객체 인식 장치에 대한 구성에 대하여 보다 구체적으로 설명하도록 한다.

3차원 라이다(110)는 멀리 있는 객체들을 감지할 수 있는 거리범위, 방위각과 고각 등의 시야각 범위, 그리고 공간 분해능의 성능이 우수한 라이다(Laser Radar)로 구현될 수 있다. 라이다는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다.

본 발명의 3차원 라이다(110)는 한 쌍의 광원 및 광 다이오드를 이용하여 광 신호를 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3차원 스캐닝한다. 3차원 라이다(110)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 거리 측정 장치 사이의 거리를 측정한다.

본 발명에서 3차원 라이다(110)가 조사하는 레이저 신호는 상하 좌우로 이동하면서 매우 촘촘한 간격으로 조사되기 때문에, 객체들에 의해 반사된 레이저 신호에 따른 거리 정보들을 모으면 3차원 라이다 주변의 환경의 3차원 정보를 획득할 수 있다.

일 실시예에 따르면, 본 발명의 3차원 라이다(110)는 청소 로봇의 상단면에 설치되어 자체적으로 회전하며 360도 각도범위에 있는 주변 환경에 기 설정된 주기 간격으로 레이저 신호를 송수신함으로써 상기 객체에 대한 정보를 포함하는 포인트 클라우드(point cloud)를 획득할 수도 있고, 청소 로봇이 객체를 인식하고자 하는 위치에 고정되거나, 또는 인식하고자 하는 타이밍에 이동 주행하면서 레이저 신호를 송수신할 수도 있다. 3차원 라이다에 대한 보다 구체적인 설명은 이하 도2를 참고하여 후술한다.

3차원 라이다(110)는 객체에 의해 반사된 레이저 신호(광 신호)를 기반으로 상기 객체들 각각의 위치를 나타내는 포인트 클라우드를 생성할 수 있다. 그리고, 객체 영상 재구성부(120)는 상기 포인트 클라우드를 기초로 상기 객체들에 대한 거리 정보 또는 표면 정보를 나타내는 영상들을 생성할 수 있다.

보다 상세하게는, 3차원 라이다(110)는 수신한 레이저 신호로부터 산출 가능한 객체들의 3차원 위치 정보들을 점의 형태로 나타냄에 따라 상기 포인트 클라우드를 생성하는 것이다. 즉, 포인트 클라우드는, 3차원 라이다(110)가 수신한 레이저 신호를 통해 획득하는 모든 주변 객체들의 3차원 위치 정보를 무수한 점(point)들의 집합으로 표현함으로써 표시되는 것으로서, 마치 물방울이 구름을 이루고 있는 것과 같은 형상으로 표현될 수 있다.

포인트 클라우드(point cloud)란 3차원 라이다로부터 조밀하게 방출되어 대상체에서 반사되어 수신기로 돌아온 수많은 측점군들로 구성되고, 각 측점군은 x, y, z의 위치좌표를 갖는다. 3차원 라이다는 중심 좌표계를 기준으로 각 지점에 대한 공간의 거리를 표적표면에 대한 조밀한 샘플링을 통해 그에 해당하는 3차원 위치를 포함하는 수많은 측점, 즉 점군(Point Cloud) 형태의 정보를 제공한다. 3차원 라이다가 제공하는 점군 데이터를 그대로 원격 작업에게 3차원 형태로 시각화하면 자유로운 시점 이동이 가능해지고 공간에 대한 측정 정보를 제공함으로써 영상 정보의 문제점을 개선할 수 있으며, 3차원 프린터 등을 활용하면 3차원 형상 구축 및 제작이 용이해진다.

본 발명의 일 실시예에 따른 포인트 클라우드는 도7 및 도8에 도시된 (a)와 같은 3차원 영상으로 생성될 수 있다.

그리고, 프로세서(130)는 객체 영상 재구성부(120)로부터 생성된 영상들을 이용하여 학습함에 따라 상기 객체를 인식할 수 있다.

도2는 본 발명의 일 실시예에 따른 3차원 라이다(110)의 구성을 개략적으로 도시한 블록도이다.

도2를 참조하면, 본 발명의 3차원 라이다(110)는, 광원(111), 광 신호 송신부(112), 광 신호 감지부(113), 및 포인트 클라우드 생성부(114)를 포함하여 구성될 수 있다.

광원(111)은 레이저 신호를 생성한다. 광 신호 송신부(112)는 광원(111)으로부터 생성된 레이저 신호를 이동 로봇의 주변의 객체들을 향해 미리 정해진 시간 주기에 따라 송신할 수 있다.

광 신호 감지부(113)는 광 신호 송신부(112)로부터 송신된 레이저 신호가 주변 객체에 반사되어 돌아오는 레이저 신호를 수신함에 따라 수신한 레이저 신호의 광량을 포함하는 신호 세기를 감지할 수 있다.

포인트 클라우드 생성부(114)는 광 신호 송신부(112)로부터 레이저 신호가 송신된 시점으로부터, 송신된 레이저 신호가 객체에 반사되어 돌아오는 레이저 신호를 수신하는 시점까지의 시간을 계산하여, 3차원 라이다(110)와 객체의 적어도 일 지점(point)까지의 거리를 측정할 수 있다. 이에 따라, 포인트 클라우드 생성부(114)는 측정된 거리 및 상기 감지된 신호 세기에 대한 정보를 이용하여 포인트 클라우드를 전기적인 신호로 생성하여 객체 영상 재구성부(120)로 전달한다.

도3 및 도5는 본 발명의 다른 일 실시예에 따른 객체 인식 장치(100)의 구성을 보다 구체적으로 도시한 블록도이고, 도4 및 도6은 본 발명의 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.

보다 구체적으로는, 도3 및 도4는 객체 인식 장치가 획득하는 객체 정보들을 이용하여 객체를 보다 효과적으로 인식하기 위한 학습 단계에서의 동작 흐름을 나타낸 도면이고, 도5 및 도6은 학습이 모두 완료된 후, 실시간으로 획득하는 객체 정보들을 이용하여 객체를 인식하는 시점에서의 동작 흐름을 나타낸 도면이다. 먼저, 도3 및 도4를 참조하여 학습단계에서의 객체 인식 장치(100)의 동작을 설명한다.

일 실시예인 도3에 따르면, 본 발명의 객체 영상 재구성부(120)는 특징 영상 생성부(121), 영상 필터부(122), 영상 전처리부(123), 혼합 영상 생성부(124), 및 컬러 영상 생성부(125)를 포함할 수 있다.

특징 영상 생성부(121)는 3차원 라이다(110)로부터 전기적인 신호로 전달 받은 포인트 클라우드를 이용하여 객체까지의 거리와 반사된 레이저 신호의 세기에 따라 객체들에 대한 복수의 영상들을 생성할 수 있다. 상세하게는, 특징 영상 생성부(121)는 객체까지의 거리에 대한 거리 정보를 포함하는 2차원의 깊이 영상 및 객체의 표면 특징에 대한 표면 정보를 포함하는 2차원의 인텐시티(intensity) 영상을 생성할 수 있다.

여기서, 깊이 영상이란 거리 영상(range image)과 같은 의미로서, 거리에 해당하는 픽셀 값을 갖는다.

본 실시예에 따른 특징 영상 생성부(121)는 상기 3차원의 포인트 클라우드를 2차원의 공간 상에 투영함에 따라 3차원 라이다(110)의 적어도 일 지점(point)과 객체들 중 하나의 적어도 일 지점(point) 사이의 거리에 대한 정보들로 이루어진 깊이 영상을 생성할 수 있다.

도7은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 깊이 영상을 생성하는 것을 나타내는 도면이다. 도7에서 (a)는 3차원 영상인 포인트 클라우드이고, (b)는 2차원 영상인 깊이 영상(거리 영상)이다.

도7의 (b)에 도시된 바와 같이, 본 발명의 깊이 영상은 일반 카메라로 획득되는 영상과 달리 회백색의 영상으로 생성될 수 있다. 일반 카메라로 획득한 영상은 가시광선으로 반사되는 색을 감지함으로써 영상을 생성하는 것인 반면, 본 발명의 깊이 영상은 3차원 라이다(110)와 객체까지의 거리를 색으로 표현할 수 있다.

예컨대, 특징 영상 생성부(121)는 3차원 라이다(110)의 적어도 일 지점(point)와 각 객체의 적어도 일 지점(point)와의 거리에 따라 상기 객체의 적어도 일 지점의 위치에 대응되는 깊이 영상의 각 픽셀값을 결정할 수 있다. 즉, 본 발명의 깊이 영상은 도7의 (b)와 같이 객체와의 거리에 따라 영상의 색이 결정될 수 있다.

또한, 본 실시예에 따른 특징 영상 생성부(121)는 상기 3차원의 포인트 클라우드에 포함된 객체들 중 하나의 적어도 일 지점(point)에 반사되어 돌아오는 레이저 신호의 세기들을 고려하여, 포인트 클라우드를 2차원의 공간 상에 투영함에 따라 객체 표면 특징들에 대한 정보들로 이루어진 인텐시티 영상을 생성할 수 있다.

도8은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 인텐시티 영상을 생성하는 것을 나타내는 도면이다. 도8에서 (a)는 3차원 영상인 포인트 클라우드이고, (b)는 2차원 영상인 인텐시티 영상이다.

일 실시예에 따른, 인텐시티 영상은 일반 카메라로 획득한 영상과 유사한 정보를 나타낼 수 있지만, 본 발명의 3차원 라이다(110)가 송수신하는 레이저 신호는 가시광선 대역이 아닌 적외광 대역을 이용하기 때문에, 일반 카메라로 획득한 영상과는 다른 영상으로 표현된다.

본 발명의 깊이 영상은 객체와의 거리만으로 주변 객체들을 표시하기 때문에 객체 표면의 특징을 찾을 수 없는 반면, 상기와 같은 본 발명의 인텐시티 영상은 송신된 레이저 신호가 각 객체의 표면에 반사되는 정보들이 그대로 반영되기 때문에 가시광선 영상과 같이 객체 표면의 특징을 모두 나타낼 수 있다.

예컨대, 인텐시티 영상은 객체 표면에 반사되어 돌아오는 레이저 신호의 세기를 이미지로 변환한 데이터이기 때문에 반사가 잘되는 객체 표면의 경우 밝은 명도 값으로 표시될 수 있고, 반사가 잘되지 않는 객체 표면의 경우 어두운 명도 값으로 표시될 수 있다.

영상 변환부(121)는 예컨대, 상기 3차원의 포인트 클라우드를 이루는 각 픽셀 단위 신호값들을 2차원 평면 상에 매핑시킴으로써, 3차원의 영상인 포인트 클라우드를 2차원 영상으로 변환한, 깊이 영상 및 인텐시티 영상이 생성되는 것이다.

다시 도4를 참조하면, 상술한 바와 같이, 특징 영상 생성부(121)가 객체 정보를 기초로 객체에 대한 깊이 영상(거리 영상)과, 인텐시티 영상(세기 영상)을 생성한 후, 생성된 깊이 영상 및 인텐시티 영상을 영상 필터부(122)로 전달한다.

이에 따라, 본 발명의 실시예에 따른 영상 필터부(122)는 전달 받은 깊이 영상 및 인텐시티 영상의 영상 노이즈를 제거한다. 여기서, 본 발명의 영상 필터부(122)는 중간 값 필터(median filter)로 구현되는 것이 바람직하다.

3차원의 포인트 클라우드를 기초로 하여 생성된 깊이 영상과, 인텐시티 영상은 3차원 라이다(110)로부터 송신된 레이저 신호가 객체에 반사되어 돌아오지 못하는 경우, 일부 영역에 대한 레이저 신호를 수신하지 못한 채 영상을 생성하게 되면, 깊이 영상과 인텐시티 영상에 포함된 정보가 소실되어 나타나게 되면서 검은색 점들로 영상에 흩뿌려진 것과 같이 나타나게 된다. 따라서, 본 발명의 영상 필터부(122)는 생성된 깊이 영상 및 인텐시티 영상을 노이즈 처리 필터링함으로써, 각 깊이 영상과 인텐시티 영상에 포함된 정보의 품질을 개선할 수 있도록 한다.

그리고, 도3에 도시된 바와 같이, 영상 필터부(122)가 깊이 영상 및 인텐시티 영상의 노이즈를 필터링한 후, 노이즈가 필터링된 깊이 영상 및 인텐시티 영상을 영상 전처리부(123)로 전달한다.

영상 전처리부(123)는 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들을 균일하게 분산시켜 각 영상을 가공할 수 있다. 일 실시예에 따른 영상 전처리부(123)는 이후 프로세서(130)에서 객체를 보다 용이하게 식별할 수 있도록 상기 필터링된 깊이 영상 및 인텐시티 영상 각각을 히스토그램 평활화(histogram equalization)하여 각 영상의 픽셀 값 분포를 전체적으로 균일하게 분산시킴으로써, 전체적으로 화질이 개선된 영상을 출력할 수 있도록 한다.

그리고, 영상 전처리부(123)는 가공된 깊이 영상 및 인텐시티 영상을 혼합 영상 생성부(124)로 전달한다. 혼합 영상 생성부(124)는 컬러 영상 생성부(125)에서 컬러 영상을 생성할 수 있도록 혼합 영상을 생성한다.

부연 설명하면, 영상 전처리부(123)에 의해 영상 처리된 깊이 영상 및 인텐시티 영상은 한 가지 정보로 이루어진 영상 정보이기 때문에, 흑백계열의 영상(gray image)으로 생성된다. 이때 중요한 점은, 컬러 영상은 단일 정보로 이루어진 3가지 영상(RGB)을 합성하여야만 생성될 수 있다. 즉, 특징 영상 생성부(121)를 통해 생성한 영상은 2개이므로, 상기 생성된 2개의 영상을 이용하여 다른 하나의 영상을 더 생성하여야 한다.

즉, 컬러 영상 생성부(125)가 컬러 영상을 생성하기 위하여, 깊이 영상 및 인텐시티 영상 외에 상기 영상들과 동일한 정보를 포함하고 있는 또 다른 하나의 영상이 필요한 것이다.

도9는 본 발명의 일 실시예에 따른 컬러 영상을 생성하는 과정을 나타내는 참고도이다. 도9를 참조하면, 본 발명의 혼합 영상 생성부(124)는 영상 전처리부(123)로부터 영상 처리된 깊이 영상이 구성하는 화소 정보들 및 인텐시티 영상이 구성하는 화소 정보들을 가중합함에 따라 혼합 영상을 생성할 수 있다. 이때 생성되는 혼합 영상은 깊이 영상 및 인텐시티 영상과 마찬가지로 흑백 영상(gray image)으로 생성된다.

이에 따라, 본 발명의 컬러 영상 생성부(125)는 생성된 혼합 영상과, 영상 처리된 깊이 영상 및 인텐시티 영상을 합성하여 새로운 형태의 컬러 영상을 생성할 수 있게 된다.

상술한 바와 같이 가공된 깊이 영상 및 인텐시티 영상을 이용하여 다른 하나의 혼합 영상을 생성하는 것은 도3에 도시된 혼합 영상 생성부(124)이다. 또 다른 실시예인 도4에서는 영상 전처리부(123)에서 영상 처리한 깊이 영상 및 인텐시티 영상을 바로 컬러 영상 생성부(125)로 전달하는 것으로 도시하였지만, 본 발명의 혼합 영상 생성부(124)는 도4에 도시된 바와 같이 컬러 영상 생성부(125)에 포함된 구성으로 마련되어, 컬러 영상 생성부(125)가 상기 혼합 영상을 생성한 후, 컬러 영상을 생성하는 것으로 구현될 수도 있고, 도3에 도시된 바와 같이 혼합 영상 생성부(124)는 컬러 영상 생성부(125)와 별도로 마련되는 구성으로 구현될 수도 있다.

도10은 상술한 컬러 영상을 생성하는 알고리즘을 나타낸 도면이다. 도10에서 [j][i]는 합성 영상에서 j와 i번째 화소를 의미한다.

도11은 상술한 바와 같은 과정을 통해 생성된 컬러 영상을 나타낸 도면이다.

다시 도3을 참조하면, 본 발명의 프로세서(130)는 라벨 영상 생성부(131), 학습부(132), 및 객체 인식부(133)를 포함하여 구성될 수 있다.

본 실시예에서의 라벨 영상 생서부(131)는 컬러 영상 생성부(125)로부터 생성된 컬러 영상을 전달 받고, 전달 받은 컬러 영상에서 적어도 일 지점을 레이블링(labeling)한 레이블 영상(labeled image)을 생성할 수 있다.

프로세서(130)가 청소 로봇 주변에 있는 객체들을 잘 인식하기 위한 학습을 수행하는데, 이때 학습을 원활히 하기 위해서는 입력 데이터인 컬러 영상에서 사용자가 지정하는 부분을 표시하여, 인공신경망이 입력 영상에서 찾아야 할 부분을 표시해주어야 한다.

예컨대, 레이블 영상은 상기 컬러 영상에서 사용자가 원하는 특정 객체(chair, table)에 레이블링(labeling)한 레이블된 객체 정보를 더욱 포함하는 영상일 수 있다

라벨 영상 생성부(131)는 생성한 레이블 영상과 컬러 영상을 학습부(132)로 전달하고, 학습부(132)는 전달 받은 컬러 영상과 레이블 영상을 내부에 마련된 인공 신경망에 입력하여, 인공 신경망을 통해 객체들을 인식할 수 있다.

도12는 본 발명의 일 실시예에 따라 프로세서의 인공신경망에 입력되는 입력 영상들을 도시한 도면이다. 도12를 참조하면, 컬러 영상(color image)을 이용하여 생성되는 레이블 영상(labeled image)은 컬러 영상과 마찬가지로 영상으로 생성될 수 있다..

다시 도3을 참조하면, 본 발명의 프로세서의 학습부(132)은 컬러 영상과 레이블 영상을 입력 받아 학습을 수행한다. 즉, 학습부(132)는 컬러 영상과 상기 컬러 영상에 객체 인식 장치(100)가 인지해야 하는 객체가 레이블링된 레이블 영상을 함께 입력 받아, 학습을 수행할 수 있다.

일 실시예에 따른 본 발명의 학습부(132)는 딥 뉴럴 네트워크(DNN)로 구성되는 인공 신경망을 이용하여 상기 컬러 영상과 레이블 영상을 학습할 수 있다. 예컨대, 본 발명의 학습부의 인공 신경망은 CNN(convolution neural network), RNN(recurrent neural network), GAN(Generative Adversarial Network) 중 하나의 신경망으로 구현될 수 있다. 본 명세서에서는 학습부(132)의 인공신경망이 컨볼루션 신경망(CNN)으로 구현되어 학습하는 것으로 가정하여 설명한다.

일 실시예에 따른 학습부(132)는 인코딩부, 컨볼루션 신경망(인공 신경망), 디코딩부로 구성될 수 있다.

인코딩부는 상기 컬러 영상 및 레이블 영상을 입력 받아, 입력 받은 컬러 영상 및 레이블 영상을 인코딩하여 입력 특징 벡터들로 변환할 수 있다. 여기서 입력 특징 벡터란 각 영상의 특징을 나타내는 벡터 행렬일 수 있다.

컨볼루션 신경망은 입력 노드들로 이루어진 입력 레이어(input layer), 상기 입력된 컬러 영상 및 레이블 정보를 이용하여 학습하는 복수개의 히든 노드들(은닉 노드)로 이루어진 히든 레이어(hidden layer), 및 학습 결과를 출력하는 출력 노드들로 이루어진 출력 레이어(output layer)로 구성되어, 학습을 수행할 수 있다. 여기서, 히든 레이어는 입력 레이어의 각 입력 노드들로부터 출력되는 각 입력 특징 벡터와, 노드들 사이에 설정된 가중치들 및 각 노드별 바이어스 값을 이용한 가중합 연산을 함으로써 상기 입력 특징 벡터들을 출력 특징 벡터들로 변환한다.

디코딩부는 상기 컨볼루션 신경망으로부터 출력되는 학습 결과인 출력 특징 벡터(벡터 행렬)를 디코딩하여 입력된 영상 정보를 토대로 객체를 인식한 결과를 산출할 수 있다. 예컨대, 인식한 결과는 입력된 영상 정보에 포함되어 있는 객체의 정의(이름), 객체의 개수, 객체의 위치, 객체의 크기일 수 있다.

도5 및 도6은 위에서 언급한 바와 같이 학습이 모두 완료된 후, 실시간으로 획득하는 객체 정보들을 이용하여 객체를 인식하는 시점에서의 동작 흐름을 나타낸다.

도5 및 도6에 따른 객체 인식 장치(200)의 객체 인식부(233)는 학습부(232)가 객체 인식을 위한 학습 과정을 통해 정해진 인공 신경망의 각 레이들간의 최적의 가중치들이 설정된 레이어들을 포함하는 신경망을 이용하여, 청소 로봇(10)의 상단부에 설치되는 3차원 라이다(210)로부터 생성되는 포인트 클라우드를 토대로 실시간으로 현재 주변에 있는 객체들을 인식할 수 있다.

본 발명의 일 실시예인 도6의 객체 인식 장치(200)는, 주행 제어부(240)를 더욱 포함하여 구성될 수도 있다. 주행 제어부(240)는 객체 인식부(233)로부터 인식된 주변 환경에 있는 객체(물체)의 위치를 고려하여 청소 로봇(10)의 주행 방향 및 주행 모드를 제어할 수 있다.

보다 구체적인 실시예로, 주행 제어부(240)는 상기 객체 인식부(233)로부터 인식된 객체에 대한 데이터를 기반으로 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 청소하게 될 전체 영역에 대한 지도를 생성하고, 기 생성된 지도를 기반으로 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 청소하고자 하는 구역을 자동으로 청소할 수 있도록 청소 동작을 수행하는 동작부를 제어할 수 있다.

도13은 본 발명의 일 실시예에 따른 객체 영상 생성 방법을 시간의 흐름에 따라 도시한 흐름도이다.

먼저, S1301 단계에서 3차원 라이다(110)가 주변 객체를 향해 레이저 신호(광 신호)를 송신하고, 객체에 의해 반사된 반사 광 신호 수신한다. 그리고, S1302 단계에서 3차원 라이다(110)는 반사된 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성한다. 3차원 라이다(110)는 포인트 클라우드를 생성 완료하면, S1303 단계에서 객체 영상 재구성부(120)로 생성된 포인트 클라우드를 전달한다.

그리고, S1304 단계에서 객체 영상 재구성부(120)가 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킴에 따라 깊이 영상 및 인텐시티 영상을 생성한다.

그리고, S1305 단계에서 객체 영상 재구성부(120)는 생성된 깊이 영상 및 인텐시티 영상을 혼합하여 혼합 영상을 생성하고, S1306 단계에서 깊이 영상, 인텐시티 영상 및 혼합 영상을 합성하여 재구성된 컬러 영상을 생성한다.

전술한 객체 영상 생성 방법의 보다 구체적인 설명은 도1 내지 도12를 참조한 설명에서 상세하게 설명한 바 중복되는 설명이므로 이하 생략한다.

상술한 바와 같은 본 발명의 객체 인식 장치 및 이를 포함하는 이동 로봇은, 3D 라이다(LIDAR)로부터 획득한 3차원 정보를 2차원의 정보로 변환하여 정보의 차수를 줄임으로써 가정용 청소로봇과 같이 연산 능력이 작은 장치에서도 구동이 가능한 연산량과 속도를 확보할 수 있는 이점이 있다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 객체 인식 장치
200: 청소 로봇(이동 로봇)
110, 210: 3차원 라이다
120, 220: 전처리부
130: 학습부
230: 객체 인식부
240: 주행 제어부

Claims (15)

1. 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다; 및
   상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부;를 포함하며,
   상기 객체 영상 재구성부가 생성하는 복수의 영상들은,
   상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및
   상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고,
   상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성하는 객체 영상 생성 장치.
2. 삭제
3. 제1항에 있어서, 상기 객체 영상 재구성부는,
   상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부; 및
   상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부;를 포함하는 것을 특징으로 하는 객체 영상 생성 장치.
4. 제3항에 있어서,
   상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성하는 것을 특징으로 하는 객체 영상 생성 장치.
5. 제3항에 있어서,
   상기 깊이 영상 및 인텐시티 영상의 노이즈를 제거하기 위한 필터링을 수행하는 영상 필터부; 및
   상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들에 대한 히스토그램의 분포 특성을 변환함에 따라 상기 상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들을 균일하게 분산시켜 평탄화시키는 영상 전처리부;를 더 포함하고,
   상기 혼합 영상 생성부는, 상기 평탄화된 깊이 영상 및 인텐시티 영상을 혼합하여 상기 혼합 영상을 생성하는 것을 특징으로 하는 객체 영상 생성 장치.
6. 제3항에 있어서,
   상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상은 흑백계열의 2차원 흑백 영상인 것을 특징으로 하는 객체 영상 생성 장치.
7. 제1항에 있어서,
   상기 인텐시티 영상은 상기 반사 광 신호 세기에 따라 상기 포인트 클라우드의 적어도 일부를 2차원 공간 상에 투영하여, 상기 객체의 표면에 대한 정보를 나타내는 것을 특징으로 하는 객체 영상 생성 장치.
8. 제1항에 있어서,
   상기 객체 영상 생성 장치는 미리 정해진 공간을 이동 주행하는 이동 로봇에 설치되는 것을 특징으로 하는 객체 영상 생성 장치.
9. 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다;
   상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부; 및
   상기 컬러 영상을 이용하여 상기 객체를 인식하는 프로세서;를 포함하며,
   상기 객체 영상 재구성부가 생성하는 복수의 영상들은,
   상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및
   상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고,
   상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성하는 객체 인식 장치.
10. 삭제
11. 제9항에 있어서,
    상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부; 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부;를 더 포함하고,
    상기 프로세서는, 상기 컬러 영상의 일부분을 레이블링(labeling)한 레이블 영상을 생성하는 레이블 영상 생성부;를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
12. 제11항에 있어서,
    상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상을 인공 신경망에 입력하고, 상기 인공 신경망을 통해 상기 객체들을 인식하는 것을 특징으로 하는 객체 인식 장치.
13. 제12항에 있어서,
    상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상 각각을 인코딩하여 입력 특징 벡터들로 변환하고, 변환된 입력 특징 벡터들을 상기 인공신경망으로 전달하는 인코딩부; 및 상기 인공신경망으로부터 출력되는 출력 특징 벡터를 디코딩하여 상기 컬러 영상 내의 객체들을 인식하는 디코딩부;를 더 포함하되,
    상기 인공신경망은, 상기 입력 특징 벡터들을 입력 받는 입력 레이더; 상기 입력된 입력 특징 벡터들을 서로 다른 가중치로 설정되어 있는 은닉 노드들을 통해 가중합 연산하여 상기 출력 특징 벡터로 변환하는 히든 레이어; 및 상기 출력 특징 벡터를 상기 디코딩부로 출력하는 출력 레이어;를 포함하는 것을 특징으로 하는 객체 인식 장치.
14. 제11항에 있어서,
    상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성하는 것을 특징으로 하는 객체 인식 장치.
15. 3차원 라이다가 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 단계; 및
    객체 영상 재구성부가 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 단계;를 포함하며,
    상기 재구성된 컬러 영상 생성 단계를 통해 생성되는 복수의 영상들은,
    상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및
    상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고,
    상기 재구성된 컬러 영상 생성 단계는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성하는 것으로 이루어지는 객체 영상 생성 방법.

Images