KR20070008271A - 실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한로봇 - Google Patents

Abstract

본 발명은 실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇에 관한 것으로써, 특히 카메라가 부착된 모바일 로봇이 실시간으로 패턴인식기술을 이용하여 사람을 검출하고 추적하는 것이다. 특히 전 방향에서 사람을 추적하기 위한 알고리즘 설계에 관한 것이다. 본 발명에 의하면, 모바일 기반의 로봇에서 실시간으로 운영되는 인간과 로봇의 상호작용 시스템에서 꼭 필요한 기반기술로써 사람을 추적하는 경유 인식 알고리즘만 돌릴 때 추적대상의 신뢰도는 높아지지만, 막대한 시간이 소요되는 단점과 지엽적인 정보만으로 추적할 때 처리소요시간은 줄어들지만, 추적대상의 신뢰도가 낮아지는 점들을 상호보완하여 추적대상의 신뢰도를 높이면서 빠르게 추적할 수 있는 현실적인 알고리즘 형태를 제안했고 이는 앞으로의 많은 인간과 로봇 상호작용 모듈에 이용될 것으로 본다.

사람, 추적, 로봇, adaboosting

Description

실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇{Detecting and Tracking Method to the Person and Robot using thereof}

도 1은 본 발명의 일 실시예에 따른 실시간 사람추적 알고리즘을 나타낸 순서도이다.

도 2는 본 발명의 일 실시예에 따른 얼굴패턴 매칭을 위한 직사각형 형상을 나타낸 것이다.

도 3은 본 발명의 일 실시예에 따른 얼굴패턴 매칭을 위한 대각선 형상을 나타낸 것이다.

도 4는 본 발명의 일 실시예에 따른 adaboosting learning 알고리즘을 이용한 얼굴패턴 인식 구조를 나타낸 것이다.

본 발명은 실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇에 관한 것으로써, 특히 카메라가 부착된 모바일 로봇이 실시간으로 패턴인식기술을 이용하여 사람을 검출하고 추적하는 것이다. 특히 전 방향에서 사람을 추적하기 위한 알고리즘 설계에 관한 것이다.

최근의 로봇사업은 정부주도하에 핵심사업으로 부각되어 많은 발전을 이루고 있다. 특히 지능로봇의 발전은 하루가 다르게 새로운 기술들을 양산해내고 있다. 특히 인간과의 상호작용분야에서의 발전이 두드러진다. 인간과의 원활한 상호작용이 이루어지기 위해서는 로봇이 사람을 찾고 쫓아가는 기본기능이 전제되어야 가능할 것이다.

모바일 기반 로봇이 사람을 추적하는 방법은 기존에 많은 연구가 이루어져 왔다. 모션기반으로 사람을 추적하는 방법( Optical follow based), 피부색이나 다른 특정색 표식을 붙이고 추적하는 방법(Color based tracking), 사람의 에지정보를 추출하여 추적하는 방법 (Edge Condensation)등의 많은 연구들이 선행되었다.

하지만, 기존의 각각의 방법은 특정상황에서는 잘 돌아가지만, 다른 상황에서는 잘 돌아가지 않는 장단점을 가지고 있다.

먼저 모션기반으로 사람을 추적하는 방법은 조명이나 주변 배경의 복잡성에도 강인한 면을 보이지만, 계산량이 많아서 실시간으로 구현되기 어렵고, 사람 검증절차를 거치지 않고 추적하기 때문에 아무거나 움직이는 것을 쫓아다니는 단점이 있다.

칼라기반으로 사람을 추적하는 방법은 계산량이 작고 구현이 용이하다는 장점이 있으나 조명변화나 추적하는 유사색깔이 주변에 산재해 있을 때 정확히 추적하지 못하는 단점이 있다.

또한 에지 기반으로 사람을 추적하는 방법은 조명환경에 영향을 덜 받지만, 복잡한 주변환경에서는 수많은 에지 선들에서 사람형태의 에지선을 찾아야 되기 때문에 현실적인 구현에 어려움이 많다.

이러한 문제점으로 인해 컬러정보를 사용한 영상 추적기술이 많이 사용되고 있다. 컬러정보를 사용한 영상 추적기술은 방송, 무인 감시 시스템, 보안 시스템, 통신망을 통한 원격 회의, 무인 비행체의 제어, 무인 도킹(Docking) 시스템 등 다양한 응용분야에서 특정 컬러를 갖는 목표물을 추적하거나 인식해야하는 필요성이 증가하고 있으며, 인간이 시각 정보를 통하여 많은 정보를 얻는 것을 고려할 때 미래에는 더욱 넓은 응용분야가 도출될 전망이다.

종래의 컬러정보를 사용한 영상 추적기술은 목표물의 컬러를 정규화(Normalization)된 R(ed)-G(reen)-B(lue) 공간 혹은 H(ue)-S(aturation)-I(ntensity) 공간 등과 같은 조명 변화에 다소 강인하다고 알려진 컬러 모델들을 사용하여 구축되었다.

그러나, 이러한 컬러 모델들은 목표물의 균일한 조명 변화에는 잘 적응하지만 조명과 목표물간의 각도 변화에 따른 목표물의 불규칙적인 밝기 변화 혹은 급작스런 밝기 변화에는 적용되지 못하는 한계점을 가지고 있다.

예를 들어, 천장에 형광등이 일정간격으로 설치된 복도를 한 사람이 걸어가는 경우 형광등과 사람의 상대적인 위치가 계속 변화하기 때문에 사람 얼굴의 밝기가 계속 변화되고, 사람이 이동하는 방향에 따라 한쪽 얼굴은 어두워지고 다른 쪽 얼굴은 밝아지는 현상이 빈발하며 특히, 사람 얼굴의 반사 특성이 땀 등과 같은 분 비물에 의해 불균일한 특성을 가지고 있어 얼굴 전체의 균일한 조명 변화를 기대하는 것이 매우 어렵다.

즉, 조명의 밝기에 따라 컬러 분포가 변화되어 균일한 조명변화에 대해 정규화되고 고정된 컬러 모델을 사용하는 종래의 기술들에는 영상 추적 시 한계가 있는 문제점이 있었다.

그러므로 기존의 단점들을 극복하고 실시간으로 사람을 추적하기 위해서는 사람을 인식하는 방법과 함께 빠르게 추적할 수 있는 모듈이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로써, 그 목적은 종래기술의 문제점들, 사람이라고 인증을 하지 않고 지엽적인 요소만을 가지고 추적하는 부분, 실시간으로 구현하기에는 힘든 부분의 단점들을 극복한 사람 추적 방법 및 이를 이용한 로보트를 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시간으로 전방향 사람 검출 및 추적방법은 검출소자로부터 입력되는 영상으로부터 피부색을 추출하는 단계와, 상기 입력되는 영상 전 영역에서 사람얼굴의 위치를 찾고, 몸통색을 모델링하는 단계 및 상기 추출된 피부색과 머리카락 색을 이용하여 추적하는 사람의 위치를 찾고 상기 모델링한 몸통색을 체크하여 확인하는 단계를 포함한다.

본 발명에서 사람얼굴의 위치를 찾는 방법은 adaboosting learning 알고리즘을 이용하는 것이 바람직하다.

본 발명에서 상기 adaboosting learning 알고리즘은 현재 인식하는 영상의 강인 분류자(Strong Classifier)가 소정의 임계치를 기준으로 상기 임계치보다 크면 얼굴이라 판단하는 것이 바람직하다.

본 발명에서 사람의 위치를 찾는 방법은 사람얼굴의 전면과 측면을 추적하고, 몸통색의 일치여부를 판단하는 것이 바람직하다.

본 발명에서 상기 사람얼굴의 전면과 측면을 추출하는 방법은 Mean Shift 알고리즘을 이용하는 것이 바람직하다.

본 발명에서 상기 Mean Shift 알고리즘의 업데이트 수식은

인 것이 바람직하다.

본 발명에서 피부색이 특정값 이하로 추출되고 몸통색이 일치되면 사람의 뒷모습이라고 판단하고 뒷면추출과정으로 전환하는 것이 바람직하다.

본 발명에서 상기 뒷면추출방법은 Mean Shift 알고리즘을 이용하는 것이 바람직하다.

본 발명에서 상기 Mean Shift 알고리즘은 머리카락색을 중심으로 업데이트 시키면서 추적하는 것이 바람직하다.

본 발명에서 얼굴인식 알고리즘이 계속해서 수행되는 것이 바람직하다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명하기로 한다. 하기의 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 실시간 사람 추적 알고리즘을 나타낸 순서도이다.상기 실시예에서, 사람 추적 알고리즘은 크게 3단계로 구분되고, 상기 3단계는 피부색 검출단계, 초기얼굴 인식 및 몸통색 모델링 단계, 및 실시간 사람검출 단계를 포함한다. 즉 제 1 내지 제 3모드로 구성되는데, 먼저 제 1모드는 전처리 부로써 피부색 추출 모듈로 구성된다. 이는 현재 입력되는 영상을 이용히여 현재 사람의 피부색을 추출하게 된다. 피부색 추출 모듈은 제 2모드와 제 3모드에서 사람얼굴이 위치할 후보영역을 찾을 때와 피부색으로 사람을 추적하는 모듈에서 이용된다.

도 1을 참조하면, 단계 101이 피부색 검출 과정이다.

단계 102 및 103은 초기얼굴 인식 및 몸통색을 모델링 하는 과정이다. 이는 제 2모드으로써, 제 2모드는 사람검출부(Human Detection)로써 초기 얼굴인식 모듈과 몸통색 모델링 모듈로써 구성된다. 기존의 사람 추적알고리즘은 사람을 인식할 수 있는 모듈이 대부분 없고 있다 하더라도 실시간으로 구현되기에는 많은 속도개선의 문제점들이 있었다. 하지만 제안된 시스템은 Adaboosting Learning 알고리즘을 이용하여 빠른 속도로 패턴인식을 통해 사람임을 검증해주게 한다. 즉 24x24 얼굴 영상 영역에 대해서 180000 개 이상의 도 2 및 도 3과 같은 직사각형 형상이 발생하게 된다. 이러한 연산량은 실시간으로 처리하기에 너무 많은 시간이 소요된다.

여기서 도 4와 같은 과정을 통해 Adaboost Learning 알고리즘을 이용하게 되면 얼굴검출에 효과적인 적은 수의 형상들을 선택하게 되고 선택된 형상들을 통해 약인 분류자(weak classifier) 로 강인 분류자(strong classifier)를 생성하여 어떤 임계치 보다 크게 되면 얼굴이라고 판단하게 된다.

상기 식 1에서 보듯이 검증하고자 하는 후보영상 x 에 대해서 약인 분류자

의 조합이 훈련에 의해서 생긴

의 값에 의해서 임계치 보다 크면 1(사람얼굴임) 아니면 0(사람얼굴이 아님)으로 인식되게 된다.

이렇게 얼굴로 인식이 되게 되면 다음 모듈인 Body 칼라 모델링 모듈에서 사람 몸통 부분의 색깔을 모델링하게 된다. 사람의 상체는 일반적으로 걷는 사람의 동작에서는 수직으로 밑부분에 위치하게 됨으로 쉽게 색깔을 모델링 할 수 있다.

단계 104 내지 108은 실제 사람을 검출하는 과정으로써 제 3모드에 해당한다.

제 3모드는 제 2모드에서 사람으로 인식이 되었다면 빠르게 추적할 수 있는 모드 해당된다. 제 2모드를 계속 수행해서 사람을 추적하게 되면, 다른 인식기에 비해서 Adaboost Learning 알고리즘을 이용한 방법이 소요시간이 작게 걸린다 해도 실시간으로 운용하기에는 무리가 있다. 그러므로 사람임을 증명할 수 있는 지엽적인 특징으로 빠르게 추적할 수 있는 알고리즘이 요구된다.

제 3모드는 사람얼굴의 전면과 측면을 추적하는 모듈과 뒷면을 추적하는 모듈로 구성되어있다. 먼저 전면과 측면을 추적하기 위해서 도 4에서 보듯이 Mean Shift 알고리즘을 이용하여 추적하게 된다. 사람얼굴이 전면이나 측면일 때는 피부색이 추출이 되므로 이들의 중심 값을 따라 빠르게 변하는 중심 값들을 업데이트 시키면서 추적한다. 전 프레임에서 얼굴영역 칼라분포의 중심 값이

이라면 현 프레임에서의 중심 값

은 하기 식 2 로 예측될 수 있다.

이 과정을

의 값이 특정 임계치 값보다 작을 때 까지 반복 수행하여 변화하는 얼굴중심 값을 찾아서 추적한다. 이 때 피부색은 주변에도 섞여있을 수 있으므로 이전에 추적하던 사람임을 확인하기 위해 몸통색(Body Color Check) 모듈에서는 모드 2에서 모델링한 몸통색이 맞는지를 확인한다. 여기서 피부색은 특정 값 이상 추출되고 몸통색이 일치되면 계속 이 모듈을 수행하면서 사람을 추적하고 피부색이 특정 값 이하로 추출되고 몸통색이 일치되면 뒷 모습 일꺼라 가정하고 뒷면 추출모듈로 넘어간다. 나머지 경우에는 모드 2로 가서 다시 수행한다.

사람의 뒷면이라고 판단했을 경우에는 전면, 측면일 경우와 마찬가지고 Mean Shift 알고리즘으로 머리카락 색(검은색) 중심 값을 업데이트 시키면서 추적한다. 이때 추적하는 서브 윈도우내에서 얼굴인식 알고리즘을 계속 수행함으로써 사람이 돌아설 경우 인증되면 다시 전면, 측면 모듈로 전환하고 뒷면추적 부분 3개의 모듈이 다 만족되면 계속 뒷면 추적 모듈로 반복 수행하면서 추적한다. 나머지 경우에는 2 모드를 다시 수행하는 구조로 시스템은 구성되어 있다.

이렇게 검증부분과 추적부분의 장점들을 이용함으로써 사람임을 확인하면서 빠르게 추적할 수 있는 시스템을 구성할 수 있다.

상기와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

상술한 바와 같이 본 발명에 의하면, 모바일 기반의 로봇에서 실시간으로 운영되는 인간과 로봇의 상호작용 시스템에서 꼭 필요한 기반기술로써 사람을 추적하는 경유 인식 알고리즘만 돌릴 때 추적대상의 신뢰도는 높아지지만, 막대한 시간이 소요되는 단점과 지엽적인 정보만으로 추적할 때 처리소요시간은 줄어들지만, 추적대상의 신뢰도가 낮아지는 점들을 상호보완하여 추적대상의 신뢰도를 높이면서 빠르게 추적할 수 있는 현실적인 알고리즘 형태를 제안했고 이는 앞으로의 많은 인간과 로봇 상호작용 모듈에 이용될 것으로 본다.

Claims (11)

1. 검출소자로부터 입력되는 영상으로부터 피부색을 추출하는 단계;

   상기 입력되는 영상 전 영역에서 사람얼굴의 위치를 찾고, 몸통색을 모델링하는 단계; 및

   상기 추출된 피부색과 머리카락 색을 이용하여 추적하는 사람의 위치를 찾고 상기 모델링한 몸통색을 체크하여 확인하는 단계를 포함하는 실시간으로 전방향 사람 검출 및 추적방법.
2. 제 1항에 있어서, 사람얼굴의 위치를 찾는 방법은 adaboosting learning 알고리즘을 이용하는 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.
3. 제 2항에 있어서, 상기 adaboosting learning 알고리즘은 현재 인식하는 영상의 강인 분류자(Strong Classifier)가 소정의 임계치를 기준으로 상기 임계치보다 크면 얼굴이라 판단하는 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.
4. 제 1항에 있어서, 사람의 위치를 찾는 방법은 사람얼굴의 전면과 측면을 추적하고, 몸통색의 일치여부를 판단하는 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.
5. 제 4항에 있어서, 상기 사람얼굴의 전면과 측면을 추출하는 방법은 Mean Shift 알고리즘을 이용하는 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.
6. 제 5항에 있어서, 상기 Mean Shift 알고리즘의 업데이트 수식은 다음과 같은 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.

   

   
7. 제 4항에 있어서, 피부색이 특정값 이하로 추출되고 몸통색이 일치되면 사람의 뒷모습이라고 판단하고 뒷면추출과정으로 전환하는 것을 특징으로 하는 전방향 사람 검출 및 추적방법.
8. 제 7항에 있어서, 상기 뒷면추출방법은 Mean Shift 알고리즘을 이용하는 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.
9. 제 8항에 있어서, 상기 Mean Shift 알고리즘의 업데이트 수식은 다음과 같은 것을 특징으로 하는 실시간으로 전방향 사람 검출 및 추적방법.

   
10. 제 9항에 있어서, 상기 Mean Shift 알고리즘은 머리카락색을 중심으로 업데이트 시키면서 추적하는 것을 특징으로 하는 전방향 사람 검출 및 추적방법.
11. 제 7항에 있어서, 얼굴인식 알고리즘이 계속해서 수행되는 것을 특징으로 하는 전방향 사람 검출 및 추적방법.

Images