KR102431425B1 - 모바일 로봇을 위한 장면 분류 방법 및 객체 분류 방법 - Google Patents

Abstract

모바일 로봇의 한정된 자원을 고려한 장면 분류 방법이 개시된다. 개시된 모바일 로봇을 위한 장면 분류 방법은 타겟 방향에 대한 현재 이미지를 획득하는 단계; 상기 현재 이미지로부터, 명도값 히스토그램 및 색상값 히스토그램을 생성하는 단계; 상기 명도값 히스토그램 및 색상값 히스토그램을 이용하여, 장면 변화를 감지하는 단계; 및 상기 장면 변화가 감지된 경우, 상기 현재 이미지에 대한 장면 분류를 수행하는 단계를 포함한다.

Description

모바일 로봇을 위한 장면 분류 방법 및 객체 분류 방법{SCENE CLASSIFICATION METHOD FOR MOBILE ROBOT AND OBJECT CLASSIFICATION METHOD}

본 발명은 모바일 로봇을 위한 장면 분류 방법 및 객체 분류 방법에 관한 것이다.

공장 자동화 등 제조 현장 위주로 사용되던 로봇은 최근 인공지능 기술의 발전과 함께 응용 분야가 점점 다양해지고 있다. 특히, 택배를 배송하거나, 음식점 서빙, 병원 및 가정용 로봇 등 이동환경에서 자율성을 기반으로 서비스되는 모바일 로봇의 사례들이 늘어가고 있다.

모바일 로봇은 주어진 임무를 더욱 정확하게 해결하기 위해 현재 위치하고 있는 공간을 인식할 필요가 있다. 예를 들어 실버케어 로봇은 공간에 대한 컨텍스트를 알고 있는 상황에서 사용자의 요청을 더욱 정확히 이해할 수 있다. 환경을 올바르게 예측할수록 정확한 임무 수행이 가능하므로, 올바른 환경 인지를 위한 장면 분류(Scene Classification)의 성능을 높이는 것은 중요한 요소 중 하나이다. 장면분류의 정확도를 높이기 위해 합성곱 신경망(Convolutional Neural Network, 이하 “CNN”으로 표현)을 사용한 장면분류 기법이 제안되었으며 합성곱 신경망을 이용한 장면 분류 기법은 이미지로부터 특징(feature)을 추출하고 추출된 특징을 기반으로 장면을 분류하게 된다. 추출된 특징을 활용하는 방법에 따라 이미지로부터 CNN을 활용하여 직접 장면분류 하는 방법(Direct Scene Classification, D-SC)과 이미지의 객체를 먼저 인식하고 장면에 따라 객체가 나타나는 특성을 기반으로 장면분류하는 기법(Object Based Scene Classification, O-SC) 등이 제안되었다. 직접 장면분류 기법은 입력받은 이미지에 대해 CNN을 이용하여 특징을 추출하고, 추출된 특징을 기존의 장면 특징과 직접 비교하여 장면을 분류한다. 객체기반의 장면 분류 기법은 먼저 입력받은 이미지로부터 추출된 특징을 이용하여 물체를 검출한다. 이후 검출된 객체의 존재 여부와 출현빈도를 기반으로 장면을 분류한다. 합성곱 신경망을 사용한 장면분류 기법 (CNN-based Scene Classification)은 이미지로부터 추출된 특징을 기반으로 장면을 예측한다. 따라서 추출되는 특징이 정교하고 다양할수록 장면 분류를 위한 비교대상이 많아져 장면분류의 정확도가 높아지게 되며 이미지로부터 다양한 특징을 추출하기 위해서는 고연산을 지원하는 GPU장비 갖추고 있거나 자원이 충분한 환경이 필요하다. 하지만, 모바일 로봇은 크기와 가격에 대한 제한으로 충분한 컴퓨팅 자원과 배터리 등의 확보가 어려운 문제점이 있다.

관련 선행문헌으로 대한민국 등록특허 제10-2120453호, 제10-1167645호, 제10-0812041호가 있다.

본 발명은 장면 분류에 필요한 연산량을 줄일 수 있는, 장면 분류 방법을 제공하기 위한 것이다.

또한 본 발명은 보다 정확한 분류 정확도를 나타내는 객체 분류 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 타겟 방향에 대한 현재 이미지를 획득하는 단계; 상기 현재 이미지로부터, 명도값 히스토그램 및 색상값 히스토그램을 생성하는 단계; 상기 명도값 히스토그램 및 색상값 히스토그램을 이용하여, 장면 변화를 감지하는 단계; 및 상기 장면 변화가 감지된 경우, 상기 현재 이미지에 대한 장면 분류를 수행하는 단계를 포함하는 모바일 로봇을 위한 장면 분류 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 타겟 객체를 포함하는 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 이용하여, 장면 분류를 수행하는 단계; 미리 설정된 복수의 훈련 공간 각각에서 획득된 객체 이미지를 통해 학습된, 복수의 분류 모델을 포함하는 분류 모델 그룹에서, 상기 분류된 장면에 대응되는 타겟 공간에 따라, 분류 모델을 선택하는 단계; 및 상기 선택된 분류 모델 및 상기 타겟 이미지를 이용하여, 상기 타겟 객체를 분류하는 단계를 포함하는 객체 분류 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 타겟 객체를 포함하는 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 이용하여, 장면 분류를 수행하는 단계; 및 상기 분류된 장면에 대응되는 타겟 공간 및 훈련 데이터를 통해 미리 학습된 분류 모델을 이용하여, 상기 타겟 객체를 분류하는 단계를 포함하며, 상기 훈련 데이터는 미리 설정된 복수의 훈련 공간 각각에서 획득된 객체 이미지, 상기 객체 이미지에 대한 클래스 및 상기 훈련 공간에 대한 클래스를 포함하는 객체 분류 방법이 제공된다.

본 발명의 일실시예에 따르면 장면 변화가 감지된 경우에 장면 분류를 수행함으로써, 획득된 모든 이미지에 대해 장면 분류를 수행하는 경우와 비교하여 장면 분류를 위한 연산량을 줄일 수 있으며, 모바일 로봇이 존재하는 공간이 변화된 경우에 장면 분류를 수행하기 때문에, 장면 분류 정확도도 유지될 수 있다.

또한 본 발명의 일실시예에 따르면, 타겟 객체가 위치하는 공간에 대한 정보를 고려하여 타겟 객체를 분류함으로써, 객체 분류 정확도가 향상될 수 있다.

도 1은 본 발명의 일실시예에 따른 모바일 로봇을 위한 장면 분류 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 객체 분류 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 분류 모델 그룹을 나타내는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

전술된 바와 같이 장면 분류를 위해서는 많은 컴퓨팅 자원이 필요하지만, 크기나 가격 등의 제한으로 인해, 모바일 로봇의 컴퓨팅 자원이 급격히 증가되기는 어렵다. 이에 본 발명은, 장면 분류 횟수를 감소시켜, 장면 분류에 따른 자원 사용량을 줄일 수 있는, 모바일 로봇을 위한 장면 분류 방법을 제안한다.

본 발명의 일실시예는 1차적으로 획득된 이미지에서 장면 변화가 발생하였는지를 감지하고, 장면 변화 여부에 따라서 2차적으로 장면 분류를 수행한다. 장면 변화가 발생하지 않는 상황에서, 모바일 로봇이 동일한 공간에 위치하고 있다고 볼 수 있으므로, 본 발명의 일실시예는 장면 변화가 발생한 경우 장면 분류를 수행하고 장면 변화가 발생하지 않는 경우에는 장면 분류를 수행하지 않는다.

여기서 장면 변화는 모바일 로봇이 위치한 공간의 변화에 대응되며, 장면 분류는, 모바일 로봇이 위치한 공간의 분류에 대응된다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 모바일 로봇을 위한 장면 분류 방법을 설명하기 위한 도면이다.

본 발명의 일실시예에 따른 모바일 로봇은 프로세서, 메모리 및 주변에 대한 이미지를 획득하는 이미지 센서를 포함한다.

도 1을 참조하면 본 발명의 일실시예에 따른 모바일 로봇은 타겟 방향에 대한 현재 이미지를 획득(S110)한다. 여기서 타겟 방향은, 모바일 로봇의 전방 방향, 후방 방향 등 다양하게 설정될 수 있다.

그리고 모바일 로봇은 현재 이미지로부터 명도값 히스토그램 및 색상값 히스토그램을 생성(S120)하고, 생성된 명도값 히스토그램 및 색상값 히스토그램을 이용하여, 장면 변화를 감지(S130)한다.

단계 S120에서 모바일 로봇은 현재 이미지의 화소별로 명도값 및 색상값을 계산하고, 명도값 히스토그램 및 색상값 히스토그램을 생성한다. 화소는 RGB 서브 화소로 이루어지며, 모바일 로봇은 화소의 레드값, 그린값 및 블루값을 이용하여 명도값 및 색상값을 계산한다.

일실시예로서 모바일 로봇은 [수학식 1]을 이용하여, 화소별로 명도값(

)을 계산하고, [수학식 2]를 이용하여, 화소별로 색상값(H)을 계산할 수 있다. 여기서 색상값은 HSV 색공간에서의 색상값에 대응된다.

여기서, R은 화소의 레드값, G는 화소의 그린값, B는 화소의 블루값을 나타낸다.

단계 S120에서 모바일 로봇은 이전 이미지와 현재 이미지의 명도값 히스토그램 및 색상값 히스토그램의 유사도에 따라 장면 변화를 감지한다. 모바일 로봇은 이전 이미지에 대한 명도값 히스토그램 및 현재 이미지에 대한 명도값 히스토그램의 제1유사도를 계산하고, 이전 이미지에 대한 명도값 히스토그램 및 현재 이미지에 대한 명도값 히스토그램의 제2유사도를 계산한다. 그리고 제1 및 제2유사도 중 적어도 하나가 임계값보다 작은 경우, 장면 변화가 발생한 것으로 판단한다.

모바일 로봇은 다양한 히스토그램 유사도 측정 알고리즘을 이용하여 유사도를 계산할 수 있으며, 일실시예로서 OpenCV 라이브러리를 이용할 수 있다.

본 발명의 일실시예에 따른 모바일 로봇은 단계 S120에서, 장면 변화가 감지된 경우, 현재 이미지에 대한 장면 분류를 수행(S130)한다. 모바일 로봇은 미리 학습된 분류 모델을 이용하여 장면 분류를 수행할 수 있으며, 분류 모델은 CNN과 같은 인공 신경망일 수 있다. CNN 기반의 분류 모델은 컨벌루션을 통해 현재 이미지에 대한 특징값을 생성하고, 특징값에 대응되는 장면의 클래스를 출력할 수 있다.

본 발명의 일실시예에 따르면 장면 변화가 감지된 경우에 장면 분류를 수행함으로써, 획득된 모든 이미지에 대해 장면 분류를 수행하는 경우와 비교하여 장면 분류를 위한 연산량을 줄일 수 있으며, 모바일 로봇이 존재하는 공간이 변화된 경우에 장면 분류를 수행하기 때문에, 장면 분류 정확도도 유지될 수 있다.

한편, 단계 S120에서 모바일 로봇은 현재 이미지에 대해 전처리를 수행한 후 명도값 히스토그램 및 색상값 히스토그램을 생성할 수 있다.

모바일 로봇은 가우시안 블러(Gaussain Blur)를 이용하여, 현재 이미지에 대한 노이즈를 제거하고, 장면 변화 감지 및 장면 분류에 따른 연산량을 줄이기 위해 현재 이미지의 사이즈를 축소한다. 이 때 모바일 로봇은 현재 이미지의 특성을 최대한 유지하기 위해 맥스 풀링(Max Pooling)을 이용하여 현재 이미지의 사이즈를 축소할 수 있다.

도 2는 본 발명의 일실시예에 따른 객체 분류 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 일실시예에 따른 분류 모델 그룹을 나타내는 도면이다. 본 발명의 일실시예에 따른 객체 분류 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 전술된 모바일 로봇은 컴퓨팅 장치의 일예이다.

서로 다른 공간에서 획득된 이미지에 포함된 객체는, 동일한 외형으로 이루어져 있더라도 서로 다른 클래스일 수 있다. 예컨대, 서로 다른 공간에서 획득된 이미지에 포함된 객체가 자동차로 동일하다고 하더라도, 장난감 상점에서 획득된 이미지에 포함된 자동차 객체의 클래스는 장난감이며, 도로에서 획득된 이미지에 포함된 자동차 객체의 클래스는 자동차로 달라질 수 있다.

본 발명의 일실시예에 따른 객체 분류 방법은, 이와 같이, 이미지에 포함된 객체의 클래스가, 이미지가 획득된 공간에 따라 달라질 수 있다는 점에 착안된 것으로, 장면 분류 결과를 이용하여 객체를 분류한다. 여기서 장면 분류는 전술된 장면 분류 방법에 의해 수행되거나 또는 장면 변화를 이용하지 않는 장면 분류 방법에 의해 수행될 수 있다.

도 2를 참조하면 본 발명의 일실시예에 따른 컴퓨팅 장치는 타겟 객체를 포함하는 타겟 이미지를 획득(S210)하고, 타겟 이미지를 이용하여, 장면 분류를 수행(S220)한다. 여기서 타겟 이미지는 전술된 현재 이미지에 대응될 수 있으며, 타겟 이미지는 모바일 로봇으로부터 제공될 수 있다.

그리고 컴퓨팅 장치는 분류 모델 그룹에서, 분류된 장면에 대응되는 타겟 공간에 따라, 분류 모델을 선택(S230)한다. 분류 모델 그룹은, 미리 설정된 복수의 훈련 공간 각각에서 획득된 객체 이미지를 통해 학습된, 복수의 분류 모델을 포함한다.

예컨대, 분류 모델 그룹은 도 3에 도시된 바와 같이 제1 내지 제4분류 모델(310 내지 340)을 포함할 수 있다. 제1분류 모델(310)은, 공항에서 획득된 객체 이미지를 통해 객체를 분류하도록 학습되며, 제2분류 모델(320)은 식당에서 획득된 객체 이미지를 통해 객체를 분류하도록 학습될 수 있다. 그리고 제3분류 모델(330)은 주차장에서 획득된 객체 이미지를 통해 객체를 분류하도록 학습될 수 있으며, 제4분류 모델(340)은 운동장에서 획득된 이미지를 통해 객체를 분류하도록 학습될 수 있다. 즉, 분류 모델 그룹의 분류 모델은, 특정 공간에서 획득된 이미지를 통해, 특정 공간에 위치하는 객체를 보다 잘 분류하도록 학습될 수 있다. 그리고 객체 이미지는, 훈련 공간에 존재하는 객체 및 객체 주변의 배경이 모두 포함된 이미지일 수 있다.

단계 S230에서 컴퓨팅 장치는, 타겟 이미지가 획득된 훈련 공간 중에서, 타겟 공간에 대응되는 훈련 공간에서 획득된 객체 이미지를 통해 학습된 분류 모델을 선택한다. 예컨대 타겟 공간이 식당이라면, 컴퓨팅 장치는 제2분류 모델(320)을 선택할 수 있다.

컴퓨팅 장치는 단계 S230에서 선택된 분류 모델 및 타겟 이미지를 이용하여, 타겟 객체를 분류(S240)한다. 전술된 예시와 같이, 선택된 분류 모델이 제2분류 모델(320)인 경우, 제2분류 모델(320)로 타겟 이미지가 입력되고, 제2분류 모델(320)은 타겟 객체에 대한 클래스를 출력할 수 있다.

한편, 타겟 공간에 대응되는 훈련 공간이 미존재하는 경우, 즉 타겟 공간에 대응되는 훈련 공간에서 획득된 객체 이미지를 통해 학습된 분류 모델이 존재하지 않는 경우, 컴퓨팅 장치는 단계 S230에서, 타겟 공간이 실내 공간인지 실외 공간인지에 따라 분류 모델을 선택할 수 있다.

컴퓨팅 장치는 타겟 공간에 대응되는 훈련 공간이 미존재하는 경우, 타겟 공간의 실내 공간 여부를 판단하고, 타겟 공간이 실내 공간인 경우, 실내 공간인 훈련 공간을 이용하여 학습된 분류 모델 중 하나를 선택한다. 그리고 타겟 공간이 실외 공간인 경우, 실외 공간인 훈련 공간을 이용하여 학습된 분류 모델 중 하나를 선택한다. 예컨대, 타겟 공간이 교실이라면, 컴퓨팅 장치는 분류 모델 그룹의 제1 및 제2분류 모델(310, 320) 중 하나를 선택하며, 타겟 공간이 공원이라면 컴퓨팅 장치는 분류 모델 그룹의 제3 및 제4분류 모델(330, 340) 중 하나를 선택할 수 있다.

또한 실시예에 따라서, 본 발명의 일실시예는 복수의 훈련 공간 각각에 대해 학습된 복수의 분류 모델을 이용하지 않고, 하나의 분류 모델을 이용할 수 있다. 이 경우 분류 모델은 미리 설정된 복수의 훈련 공간 각각에서 획득된 객체 이미지, 객체 이미지에 대한 클래스 및 훈련 공간에 대한 클래스를 포함하는 훈련 데이터를 통해 학습될 수 있다.

즉, 복수의 분류 모델 각각의 학습을 위해서는, 객체 이미지를 포함하며, 객체 이미지에 대한 클래스가 레이블링된 훈련 데이터가 훈련 공간 별로 생성되어 이용되는 반면, 하나의 분류 모델의 학습을 위해서는, 객체 이미지를 포함하며, 객체 이미지에 대한 클래스 및 훈련 공간에 대한 클래스가 레이블링된 훈련 데이터가 이용될 수 있다.

이 경우, 타겟 객체를 분류하기 위해, 타겟 이미지와 함께 타겟 공간에 대한 클래스가 분류 모델로 입력된다.

본 발명의 일실시예에 따르면, 타겟 객체가 위치하는 공간에 대한 정보를 고려하여 타겟 객체를 분류함으로써, 객체 분류 정확도가 향상될 수 있다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 컴퓨팅 장치에서 수행되는 객체 분류 방법에 있어서,
   타겟 객체를 포함하는 타겟 이미지를 획득하는 단계;
   상기 타겟 이미지를 이용하여, 장면 분류를 수행하는 단계;
   미리 설정된 복수의 훈련 공간 각각에서 획득된 객체 이미지를 통해 학습된, 복수의 분류 모델을 포함하는 분류 모델 그룹에서, 상기 분류된 장면에 대응되는 타겟 공간에 따라, 분류 모델을 선택하는 단계; 및
   상기 선택된 분류 모델 및 상기 타겟 이미지를 이용하여, 상기 타겟 객체를 분류하는 단계를 포함하며,
   상기 분류 모델을 선택하는 단계는
   상기 타겟 공간에 대응되는 훈련 공간에서 획득된 객체 이미지를 통해 학습된 분류 모델을 선택하며,
   상기 분류 모델을 선택하는 단계는
   상기 타겟 공간에 대응되는 훈련 공간이 미존재하는 경우, 상기 타겟 공간의 실내 공간 여부를 판단하는 단계; 및
   상기 타겟 공간이 실내 공간인 경우, 실내 공간인 훈련 공간을 이용하여 학습된 분류 모델 중 하나를 선택하고, 상기 타겟 공간이 실외 공간인 경우, 실외 공간인 훈련 공간을 이용하여 학습된 분류 모델 중 하나를 선택하는 단계
   를 포함하는 객체 분류 방법.
7. 삭제
8. 삭제
9. 제 6항에 있어서,
   상기 객체 이미지는
   상기 훈련 공간에 존재하는 객체 및 상기 훈련 공간에 존재하는 객체 주변의 배경이 포함된 이미지인
   객체 분류 방법.
   
10. 삭제
11. 삭제

Images