KR101566448B1

KR101566448B1 - 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체

Info

Publication number: KR101566448B1
Application number: KR1020140033327A
Authority: KR
Inventors: 강봉순; 최대성; 장경훈; 조호상; 김근준
Original assignee: 동아대학교 산학협력단
Priority date: 2014-03-21
Filing date: 2014-03-21
Publication date: 2015-11-05
Also published as: KR20150109868A

Abstract

본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체는 깊이영상 프레임으로부터 바닥영역을 제거하기 위한 RANSAC 알고리즘을 개선하여 바닥영역과 수직인 수직평면이나 바닥영역과 수평인 수평평면에 대한 오검출을 방지하여 실제의 바닥영역만을 제거하거나 바닥영역이 존재하지 않을 경우 입력된 깊이영상 프레임과 동일한 깊이영상 프레임이 출력되도록 한다.
본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법은 현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계; 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계; 설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계; 상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계; 설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 거쳐 수행된다.

Description

깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체{Method for detecting and removing floor area using depth information and apparutus for detecting and removing floor area using depth information and program recording medium for detecting and removing floor area using depth information}

본 발명은 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 관한 것으로, 좀더 구체적으로는 깊이영상 프레임으로부터 바닥영역을 제거하기 위한 RANSAC 알고리즘을 개선하여 바닥영역과 수직인 수직평면이나 바닥영역과 수평인 수평평면에 대한 오검출을 방지하여 실제의 바닥영역만을 제거하거나 바닥영역이 존재하지 않을 경우 입력된 깊이영상 프레임과 동일한 깊이영상 프레임이 출력되도록 하는 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 관한 것이다.

최근 IT 기술의 흐름은 디바이스에서 사용자에게로 전이되고 있다. 이에 따라 사용자와 디바이스 장치 간 Human Computer Interface HCI)에 관한 연구는 매우 활발하게 진행되고 있다. HCI를 위한 사용자 인터페이스(User Interface) 기술은 가능한 직관적이고 자연스러워야한다. 사용자는 마우스나 키보드, 리모트 컨트롤러 등 별도의 장치없이 컴퓨터를 제어할 수 있는 것이 가장 이상적인 방법이다.

이에 따라, 비접촉식 인터랙션으로 손동작이나 몸짓만으로 각종 전자기기와상호 작용할 수 있는 동작 인식기술은 차세대 핵심기술로 주목받고 있다.

이러한 동작인식의 전처리과정으로 영상 프레임으로부터 바닥영역을 제거하여 보다 효율적인 동작 인식이 구현되도록 하는데, 이와 같은 바닥의 제거방법으로는 바닥영역에 해당되는 평면을 추출하여 제거하는 것으로 RANSAC 알고리즘을 많이 사용한다. RANSAC 알고리즘으로 바닥영역을 제거하면서 동작을 인식하는 기술과 관련하여 대한민국 공개특허공보 공개번호 제10-2011-0020961호 "모바일 플랫폼의 동적 물체 검출 및 추적방법"이 안출되어 있는데,

상기 "모바일 플랫폼의 동적 물체 검출 및 추적방법"은 TOF 센서로 획득된 3차원 영상 정보에서 RANSAC 알고리즘을 이용하여 바닥 평면을 제거하고, 결합 확률 데이터 연관 필터(JPDAF)로 각각의 동적 물체를 검출 및 추적함으로써 동적 물체가 많은 환경에서 보다 신뢰성 있는 SLAM을 수행할 수 있도록 하는 동시에, 동적 물체를 추적함과 더불어 예측된 동적 물체의 주행 경로를 이용하여 모바일 플랫폼이 동적 물체와 충돌하지 않고 회피할 수 있는 주행 경로를 계획할 수 있도록 하는 기술이다.

이와 같은 RANSAC 알고리즘은 사용자가 정의한 모델과 가장 유사한 형태의 데이터 세트를 검출하는 방법으로, 바닥 제거를 위해서 평면이라는 모델을 사용하는데, 입력이미지에서 임의의 3개의 점을 후보점으로 선정하고 이로서 생성되는 평면과 나머지 픽셀 간의 거리가 임계값이하에 존재하는 인라이어의 개수를 구한다. 이를 반복하여 가장 많은 개수의 인라이어를 가진 후보점을 바닥의 평면으로 인지하는 것이다. 하지만 이러한 RANSAC을 이용한 바닥 제거 방법은 반복횟수가 반 무제한이라는 문제점으로 실시간하드웨어 구현에 적합하지 않은 문제점이 있어 왔다.

(특허문헌 1) 대한민국 공개특허공보 공개번호 제10-2011-0020961호 "모바일 플랫폼의 동적 물체 검출 및 추적방법"

따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 현재 입력되는 깊이영상 프레임의 하부영역에 사용자 정의로 RANSAC 알고리즘 실행을 위한 후보점-세트를 정해진 개수만큼 설정 배치함으로써 깊이영상 프레임으로부터의 바닥영역 추출 정밀도와 정확성이 향상되는 동시에 이를 위한 연산량도 최소화되도록 한 새로운 형태의 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공하는 것을 목적으로 한다.

또한, 본 발명은 바닥영역 이외의 수직평면이나 수평평면이 구분되어 추출되도록 함으로써 바닥영역 오검출이 방지되어 깊이영상 프레임으로부터의 바닥영역 추출 정밀도와 정확성이 향상되도록 한 새로운 형태의 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공하는 것을 목적으로 한다.

그리고, 본 발명은 직전 검출된 바닥영역 관련정보와 현재 검출된 바닥영역 관련정보를 비교함으로써 깊이영상 프레임의 입력횟수 증가에 따라 바닥영역 추출 정밀도 및 정확성이 향상되도록 한 새로운 형태의 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계와; 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계와; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계와; 설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계와; 상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계와; 설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계와; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계와; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 포함하는 깊이정보를 사용한 바닥영역 처리방법을 제공한다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 후보점-세트 설정단계는 현재 깊이영상 프레임 하부영역에 상기 복수의 후보점-세트가 설정되도록 한다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 후보점-세트 설정단계는 역삼각형을 이루는 3개의 후보점으로 이루어진 후보점-세트의 후보점 간 간격을 사용자가 직접 지정하게 되는 후보점 간격 지정단계와; 첫번째 후보점-세트의 위치를 사용자가 직접 지정하게 되는 첫번째 후보점-세트 지정단계와; 후보점-세트 간 가로 간격을 사용자가 직접 지정하게 되는 후보점-세트 가로간격 지정단계와; 후보점-세트 간 세로 간격을 사용자가 직접 지정하게 되는 후보점-세트 세로간격 지정단계와; 상기에서 지정된 후보점-세트의 후보점 간 간격, 첫번째 후보점-세트의 위치, 후보점-세트의 가로 간격 및 세로 간격에 따라 설정갯수의 후보점-세트가 생성되어 현재 깊이영상 프레임 상에 배열되는 후보점-세트 생성-배열 단계를 포함한다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 후보점-세트 법선벡터 산출단계 이전에 깊이영상 안정화단계가 수행되되, 상기 깊이영상 안정화단계는 현재 깊이영상 프레임의 각 픽셀에 대하여 해당 픽셀의 깊이값을 중심에 두고 수행되는 3×3 마스크의 2차원 평균 필터에 의해 각 픽셀의 공간보상 깊이값을 산출하는 공간적 필터링 단계와; 현재 깊이영상 프레임의 각 후보점에 대하여 현재 깊이영상 프레임의 해당 후보점과 일치하는 직전 깊이영상 프레임의 후보점의 깊이값에 제1가중치 α를 부여하고, 현재 깊이영상 프레임의 해당 후보점의 깊이값에 제2가중치 1-α를 부여하여 생성되는 현재 깊이영상 프레임의 각 후보점의 시간보상 깊이값을 산출하는 시간적 필터링 단계를 포함한다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 후보점-세트 법선벡터 산출단계 이전에 3차원 좌표변환 연산단계가 수행되되, 상기 3차원 좌표변환 연산단계는 현재 깊이영상 프레임 원본 이미지를 이루는 각 픽셀의 2.5차원 좌표값을 3차원 좌표값으로 변환시켜 현재 깊이영상 프레임 3차원변환 이미지를 생성시키는 단계이다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 수평평면 소속 후보점-세트 제거단계는 직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치를 초과할 시 직전 검출된 최적 후보점-세트가 최적 후보점-세트로 선정되고, 직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치 이하일 시 현재 검출된 최적 후보점-세트가 최적 후보점-세트로 선정되는 것이다.

이와 같은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법에서 상기 최종 후보점-세트 자동검출 연산단계는 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수와 Y절편이 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트하고, 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 크고 Y절편이 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지하며, 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트하고, 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지한다.

상술한 목적을 달성하기 위한 본 발명의 다른 특징에 의하면, 본 발명은 현재 깊이영상 프레임을 실시간으로 입력받게 되는 깊이영상 입력유닛과; 현재 깊이영상 프레임으로부터 바닥영역을 추출하여 제거하게 되는 깊이영상 처리유닛과; 바닥영역이 제거된 현재 깊이영상 프레임을 전달하게 되는 깊이영상 전달유닛을 포함하는 깊이정보를 사용한 바닥영역 처리장치에 있어서, 상기 깊이영상 처리유닛은 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트를 사용자 정의로 설정하는 후보점-세트 설정부와; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터를 산출하는 후보점-세트 법선벡터 산출부와; 설정된 바닥영역 유효 법선벡터 범위가 저장되고, 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트를 수직평면 소속 후보점-세트로 판단하여 제거하는 수직평면 소속 후보점-세트 제거부와; 상기 수직평면 소속 후보점-세트 제거부를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램을 산출하는 후보점-세트 Y절편 히스토그램 산출부와; 설정된 히스토그램 임계치가 저장되고, 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트를 최적 후보점-세트로 검출하고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트를 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거하는 수평평면 소속 후보점-세트 제거부와; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리를 연산하고, 설정된 인라이어(inlier) 임계치가 저장되며, 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수를 검출하는 인라이어 연산부와; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트를 현재 최종 후보점-세트로 추출하고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산부 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀을 바닥영역 소속 픽셀로서 제거하는 바닥영역 제거부를 포함하는 깊이정보를 사용한 바닥영역 처리장치를 제공한다.

상술한 목적을 달성하기 위한 본 발명의 또다른 특징에 의하면, 본 발명은 깊이정보를 사용한 바닥영역 처리를 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 있어서, 현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계와; 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 입력유닛과 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계와; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계와; 설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계와; 상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계와; 설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계와; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계와; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 포함하여 수행되는 깊이정보를 사용한 바닥영역 처리를 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공한다.

본 발명에 의한 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 의하면, 현재 입력되는 깊이영상 프레임의 하부영역에 사용자 정의로 RANSAC 알고리즘 실행을 위한 후보점-세트를 정해진 개수만큼 설정 배치하고, 바닥영역 이외의 수직평면이나 수평평면을 구분하여 추출하며, 직전 검출된 바닥영역 관련정보와 현재 검출된 바닥영역 관련정보를 비교하는 구성의 제공으로 깊이영상 프레임으로부터의 바닥영역 추출 정밀도와 정확성이 향상되는 동시에 이를 위한 연산량도 최소화되는 효과를 얻게 된다.

도 1은 본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법을 보여주기 위한 블록도;
도 2는 본 발명의 실시예에 따른 후보점-세트 설정단계에 의해 설정된 사용자 정의 후보점-세트의 위치 이미지를 예시한 도면;
도 3은 본 발명의 실시예에 따른 후보점-세트 설정단계를 보여주기 위한 블록도;
도 4는 본 발명의 실시예에 따른 후보점-세트 법선벡터 산출단계를 보여주기 위한 플로우차트;
도 5는 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법을 보여주기 위한 블록도;
도 6은 본 발명의 실시예에 따른 깊이영상 안정화단계를 보여주기 위한 블록도;
도 7의 (a)와 (b)는 본 발명의 실시예에 따른 깊이영상 안정화단계의 공간적 필터링 단계에 의해 깊이영상 프레임의 원본이미지가 변화되는 것을 보여주기 위한 도면;
도 8은 본 발명의 실시예에 따른 깊이영상 안정화단계의 공간적 필터링 단계에서 사용되는 3×3 마스크의 저주파 2차원 평균 필터를 보여주기 위한 도면;
도 9는 본 발명의 실시예에 따른 깊이영상 안정화단계의 시간적 필터링 단계에 의해 특정 위치 상의 깊이값이 보정되는 것을 보여주기 위한 도면;
도 10의 (a) 내지 (c)는 본 발명의 실시예에 따른 3차원 좌표변환 연산단계를 설명하기 위한 도면;
도 11은 본 발명의 실시예에 따른 수직평면 소속 후보점-세트 제거단계를 보여주기 위한 플로우차트;
도 12와 도 13은 본 발명의 실시예에 따른 수직평면 소속 후보점-세트 제거단계에서 사용되는 유효 법선벡터 범위를 설정하는데 사용되는 다양한 환경조건에서 촬영된 깊이영상 프레임에서 추출한 유효 법선벡터들에 대한 통계분석을 보여주기 위한 도면;
도 14의 (a)와 (b)는 본 발명의 실시예에 따른 후보점-세트 Y절편 히스토그램 산출단계에서 산출되는 유효 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램을 보여주기 위한 도면;
도 15는 본 발명의 실시예에 따른 수평평면 소속 후보점-세트 제거단계를 보여주기 위한 플로우차트;
도 16의 (a)와 (b)는 본 발명의 실시예에 따른 수평평면 소속 후보점-세트 제거단계를 통해 검출되는 최적 후보점-세트의 히스토그램을 보여주기 위한 도면;
도 17은 본 발명의 실시예에 따른 인라이어 연산단계를 통해 검출된 인라이어 개수를 영역별로 도시된 도면;
도 18은 본 발명의 실시예에 따른 최종 후보점-세트 자동검출 연산단계를 보여주기 위한 플로우차트;
도 19는 깊이영상 프레임의 입력횟수가 증가하여 본 발명의 실시예에 따른 최종 후보점-세트 자동검출 연산단계가 반복 수행되는 과정에서 실제 바닥영역이 정확하게 검출되는 과정을 보여주기 위한 도면;
도 20은 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법을 통해 바닥영역이 제거된 깊이영상 프레임의 출력 영상을 보여주기 위한 도면;
도 21은 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리장치를 보여주기 위한 도면이다.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

본 발명에 따른 깊이정보를 사용한 바닥영역 처리방법은 도 1에서와 같이 깊이영상 입력단계, 후보점-세트 설정단계, 후보점-세트 법선벡터 산출단계, 수직평면 소속 후보점-세트 제거단계, 후보점-세트 Y절편 히스토그램 산출단계, 수평평면 소속 후보점-세트 제거단계, 인라이어 연산단계, 최종 후보점-세트 자동검출 연산단계, 바닥영역 제거단계를 포함한다.

깊이영상 입력단계는 현재 깊이영상 프레임이 바닥영역 처리장치(100)의 깊이영상 입력유닛(10)으로 실시간 입력되는 단계이다.

여기서 깊이영상은 도 21에서와 같이 깊이영상 획득장치(200)인 깊이 측정센서(depth detecting sensor)(210), 깊이 카메라(depth camera)(220), 범위 센서(range sensor)(230), 레이저 스캐너(laser scanner)(240) 등으로부터 획득될 수 있다. 또한, 깊이영상은 동일한 3D 공간을 서로 다른 시점에서 촬영한 복수개의 칼라 영상으로부터 간접적으로 산출되는 것일 수도 있다.

후보점-세트 설정단계는 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 사용자 정의로 설정되는 단계이다. 본 발명의 실시예에 따른 후보점-세트 설정단계는 도 2에서와 같이 현재 깊이영상 프레임 하부영역에 복수의 후보점-세트가 설정되도록 한다. 이와 같은 후보점-세트 설정단계는 도 3에서와 같이 후보점 간격 지정단계, 첫번째 후보점-세트 지정단계, 후보점-세트 가로간격 지정단계, 후보점-세트 세로간격 지정단계, 후보점-세트 생성-배열 단계를 거쳐 수행된다.

후보점 간격 지정단계는 역삼각형을 이루는 3개의 후보점으로 이루어진 후보점-세트의 후보점 간 간격을 사용자가 직접 지정하게 되는 단계이다. 첫번째 후보점-세트 지정단계는 첫번째 후보점-세트의 위치를 사용자가 직접 지정하게 되는 단계이다. 후보점-세트 가로간격 지정단계는 후보점-세트 간 가로 간격을 사용자가 직접 지정하게 되는 단계이고, 후보점-세트 세로간격 지정단계는 후보점-세트 간 세로 간격을 사용자가 직접 지정하게 되는 단계이다. 후보점-세트 생성-배열 단계는 상기에서 지정된 후보점-세트의 후보점 간 간격, 첫번째 후보점-세트의 위치, 후보점-세트의 가로 간격 및 세로 간격에 따라 설정갯수의 후보점-세트가 생성되어 현재 깊이영상 프레임 상에 배열되는 단계이다. 본 발명의 실시예에 따른 후보점-세트 설정단계는 16(가로)×8(세로)로 배열된 총 128개의 후보점-세트를 설정하게 된다.

후보점-세트 법선벡터 산출단계는 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 도 4에서와 같이 산출되는 단계이다. 법선벡터는 후보점-세트에 의해 형성되는 평면의 기울기로서 후보점-세트를 이루는 3개의 후보점 (P, Q, R)으로부터 P의 방향으로 형성되는 벡터를 나타낸다. 평면방정식의 기울기를 나타내는 법선벡터는

와

의 외적연산을 이용하여 계산된다.

여기서, 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법은 도 5에서와 같이 후보점-세트 법선벡터 산출단계 이전에 깊이영상 안정화단계와 3차원 좌표변환 연산단계가 순차적으로 수행되도록 한다.

깊이영상 안정화단계는 공간적 필터링 단계와 시간적 필터링 단계를 거쳐 수행되는 것으로, 깊이영상 안정화단계는 도 6에서와 같이 공간적 필터링 단계와 시간적 필터링 단계가 순차적으로 수행되도록 할 수 있다.

공간적 필터링 단계는 도 7의 (a)와 같은 현재 깊이영상 프레임의 원본 이미지를 도 7의 (b)와 같은 현재 깊이영상 프레임의 SDS(Spatial Depth Smoothing) 필터링 이미지로 변환시키는 단계로서, 현재 깊이영상 프레임의 원본 이미지의 경우 깊이값이 계단형태로 생성되어 깊이값이 급격하게 변화되고 있는 반면, 현재 깊이영상 프레임의 SDS(Spatial Depth Smoothing) 필터링 이미지는 깊이값의 급격한 변화가 최소화되어 있음을 확인할 수 있다.

이와 같은 공간적 필터링 단계는 도 8에서와 같이 현재 깊이영상 프레임의 각 픽셀에 대하여 해당 픽셀의 깊이값을 중심에 두고 수행되는 3×3 마스크의 저주파 2차원 평균 필터에 의해 각 픽셀의 공간보상 깊이값을 산출하는 단계이다. 아래의 [수학식 4]에서와 같이 3×3 마스크의 저주파 2차원 평균 필터 중심에 배치된 픽셀의 길이값 D(x_c, y_c)에 8을 곱한 수치값과 주변의 7개 픽셀의 깊이값의 합에 대한 평균이 공간보상 깊이값으로 산출된다.

시간적 필터링 단계는 공간적 필터링 단계를 거친 현재 깊이영상 프레임에 대해 수행될 수 있는 것으로, 도 9의 (a)와 같은 현재 깊이영상 프레임에 대한 시간적 필터링을 수행하게 되면, 도 9의 (a)에 도시된 Point 1에서 연속적인 깊이영상 프레임의 입력에 따른 깊이값 변화가 도시된 도 9의 (b)에서와 같이 시간적 필터링 수행전의 Point 1 깊이값(도 9의 (b)에 도시된‘-*-’의 깊이값)은 급격하게 변화되고 있는 반면 시간적 필터링 수행후의 Point 1 깊이값(도 9의 (b)에 도시된‘-0-’의 깊이값)은 깊이값의 급격한 변화가 최소화되어 있음을 확인할 수 있다.

이와 같은 시간적 필터링 단계는 현재 깊이영상 프레임의 각 후보점에만 적용되는 것으로, 현재 깊이영상 프레임의 각 후보점에 대하여 현재 깊이영상 프레임의 해당 후보점과 일치하는 직전 깊이영상 프레임의 후보점의 깊이값에 제1가중치 α(0<α,1)를 부여하고, 현재 깊이영상 프레임의 해당 후보점의 깊이값에 제2가중치 1-α를 부여하여 아래의 [수학식 5]을 통해 생성되는 현재 깊이영상 프레임의 각 후보점의 시간보상 깊이값을 산출하는 단계이다.

여기서, 제1가중치 α는 동일한 위치에서의 후보점 깊이값에 대한 시간축 상의 급격 변화율에 따라 설정되는 것으로, 사용자에 의해 변경될 수 있다.

3차원 좌표변환 연산단계는 현재 깊이영상 프레임 원본 이미지를 이루는 각 픽셀의 2.5차원 좌표값을 3차원 좌표값으로 변환시켜 현재 깊이영상 프레임 3차원변환 이미지를 생성시키는 단계이다.

도 10의 (a)에 도시된 현재 깊이영상 프레임 원본 이미지는 도 10의 (b)에서와 같이 2.5차원 좌표값으로 구성되어 있는데, 3차원 좌표변환 연산단계를 통해 도 10의 (c)에서와 같은 3차원 좌표값으로 변환된다. 도 10의 (b)의 경우 앞쪽에 위치한 사람이 배경보다 앞쪽에 위치하여 실제 사람의 크기보다 크게 나오는 반면, 도 10의 (c)의 경우 사람이 배경보다 작게 나오는 것을 확인할 수 있다.

이와 같은 3차원 좌표변환 연산단계는 아래의 [수학식 6] 내지 [수학식 8]을 통해 현재 깊이영상 프레임의 각 픽셀의 X,Y 좌표값와 카메라 화각정보값으로부터 X,Y,Z 3차원 좌표값을 생성시키게 된다.

본 발명의 실시예에 따른 후보점-세트 법선벡터 산출단계는 상기에서와 같이 깊이영상 안정화단계와 3차원 좌표변환 연산단계를 거쳐 변환된 후보점 세트의 각 후보점 위치로부터 평면방정식 및 평면방정식에 대한 법선벡터를 산출하게 된다.

수직평면 소속 후보점-세트 제거단계는 도 11에서와 같이 설정된 바닥영역 유효 법선벡터 범위가 저장된 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단(S1054)되어 제거(S1055)되는 단계이다. 이와 같은 수직평면 소속 후보점-세트 제거단계에서 유효 법선벡터 범위는 도 12와 도 13에서와 같이 다양한 환경조건에서 촬영된 깊이영상 프레임에서 추출한 유효 법선벡터들에 대한 통계분석을 통해서 사용자에 의해 설정될 수 있다.

후보점-세트 Y절편 히스토그램 산출단계는 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트(도 11의 S1053)의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 도 14의 (a)와 (b)에서와 같이 산출되는 단계이다. 여기서 해당 Y절편 히스토그램은 해당 후보점-세트의 Y절편 집합을 일정범위로 샘플링하여 생성하게 된다.

수평평면 소속 후보점-세트 제거단계는 도 15에서와 같이 설정된 히스토그램 임계치가 저장된 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 히스토그램 임계치를 초과(도 15의 S1061에서 판단)하는 동시에 최대 Y절편 범위를 갖는 후보점-세트(도 15의 S1062에서 판단)가 최적 후보점-세트로 검출(도 16의 (a)에서 붉은선으로 선택된 것)되면서 바닥영역이 아닌 수평평면 소속 후보점-세트가 제거되는 단계이다. 이는 바닥영역에 속한 평면의 Y절편이 바닥영역이 아닌 수평평면의 Y절편보다 크기 때문에, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거(S1066)된다.

여기서, 본 발명의 실시예에 따른 수평평면 소속 후보점-세트 제거단계는 직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치를 초과(도 15의 S1063에서 판단)할 시 직전 검출된 최적 후보점-세트가 최적 후보점-세트로 선정(도 15의 S1065, 도 16의 (b)에서 붉은선으로 선택된 것)되도록 한다. 그리고, 직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치 이하(도 15의 S1063에서 판단)일 시 현재 검출된 최적 후보점-세트가 최적 후보점-세트로 선정(도 15의 S1064)되도록 한다.

인라이어 연산단계는 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 도 17에서와 같이 검출되는 단계이다.

이와 같은 인라이어 연산단계는 현재 깊이영상 프레임의 각 픽셀 위치값 p=(x₁, y₁, z₁)와 최적 후보점-세트의 평면방정식 ax+by+cz+d=0으로부터 아래의 [수학식 9]을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리를 연산하게 된다.

최종 후보점-세트 자동검출 연산단계는 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)을 통해 추출(도 18의 S1081에서 판단)되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산(도 18의 S1082, S1085을 통해 누적 최종 후보점-세트를 업데이트(도 18의 S1083, S1084, S1086, S1087, S1088)하게 되는 단계이다.

특히 본 발명의 실시예에 따른 최종 후보점-세트 자동검출 연산단계는 도 18에서와 같이 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수와 Y절편이 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트(도 18의 S1083)하게 된다.

그리고, 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 크고 Y절편이 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지(도 18의 S1084)하게 된다.

또한, 본 발명의 실시예에 따른 최종 후보점-세트 자동검출 연산단계는 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트(도 18의 S1086)하게 된다.

그리고, 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지(도 18의 S1087)하게 된다.

이를 통해 초기 단계에서 입력된 깊이영상 프레임으로부터 바닥영역이 오검출(도 19에서 43번째 입력되는 깊이영상 프레임, 55번째 입력되는 깊이 영상 프레임에서 붉은 색으로 표시된 영역)될 수 있지만, 최종 후보점-세트 자동검출 연산단계를 반복적으로 거치게 되면, 실제 바닥영역이 올바르게 검출(도 19에서 70번째 입력되는 깊이영상 프레임, 78번째 입력되는 깊이 영상 프레임에서 붉은 색으로 표시된 영역)될 수 있게 되고, 도 20에서와 같이 실제 바닥영역이 올바르게 제거된 깊이영상 프레임을 획득할 수 있게 된다.

바닥영역 제거단계는 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 바닥영역 처리장치(100)의 깊이영상 처리유닛(20)에 의해 바닥영역 소속 픽셀로서 제거되는 단계이다. 이와 같은 바닥 영역 제거단계는 아래의 [수학식 10]에서와 같이 바닥영역 소속 픽셀은 깊이값 0을 할당하여 제거시키고, 바닥영역에 속하지 않는 픽셀은 해당 픽셀의 깊이값을 그대로 할당하여 깊이값이 유지되도록 한다.

도 20에는 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법을 통해 바닥영역이 제거된 깊이영상 프레임의 출력 영상이 예시되어 있다.(바닥영역에 해당되는 부분은 고동색으로 표현되어 있음)

상기와 같은 본 발명의 깊이정보를 사용한 바닥영역 처리방법은 깊이정보를 사용한 바닥영역 처리장치(100)를 통해 수행될 수 있는데, 본 발명에 따른 깊이정보를 사용한 바닥영역 처리장치(100)는 도 21에서와 같이 현재 깊이영상 프레임을 실시간으로 입력받게 되는 깊이영상 입력유닛(10), 현재 깊이영상 프레임으로부터 바닥영역을 추출하여 제거하게 되는 깊이영상 처리유닛(20), 바닥영역이 제거된 현재 깊이영상 프레임을 전달하게 되는 깊이영상 전달유닛(30)을 포함하는 구성으로 이루어진다.

깊이영상 처리유닛(20)은 후보점-세트 설정부(21), 후보점-세트 법선벡터 산출부(22), 수직평면 소속 후보점-세트 제거부(23), 후보점-세트 Y절편 히스토그램 산출부(24), 수평평면 소속 후보점-세트 제거부(25), 인라이어 연산부(26), 최종 후보점-세트 자동검출 연산부(27), 바닥영역 제거부(28)를 포함하는데, 특히 본 발명의 실시예에 따른 깊이영상 처리유닛(20)은 깊이영상 안정화부(29a)와 3차원 좌표변환 연산부(29b)를 더 포함하여, 후보점-세트 설정부(21), 깊이영상 안정화부(29a), 3차원 좌표변환 연산부(29b), 후보점-세트 법선벡터 산출부(22), 수직평면 소속 후보점-세트 제거부(23), 후보점-세트 Y절편 히스토그램 산출부(24), 수평평면 소속 후보점-세트 제거부(25), 인라이어 연산부(26), 최종 후보점-세트 자동검출 연산부(27), 바닥영역 제거부(28)가 순차적으로 연결 구성되도록 할 수 있다.

후보점-세트 설정부(21)는 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트를 사용자 정의로 설정하는 것이다.

깊이영상 안정화부(29a)는 공간적 필터링과 시간적 필터링이 수행되는 것으로, 공간적 필터링은 현재 깊이영상 프레임의 각 픽셀에 대하여 해당 픽셀의 깊이값을 중심에 두고 수행되는 3×3 마스크의 저주파 2차원 평균 필터에 의해 각 픽셀의 공간보상 깊이값을 산출하는 것이다. 시간적 필터링은 공간적 필터링 단계를 거친 현재 깊이영상 프레임에 대해 수행될 수 있는 것으로, 현재 깊이영상 프레임의 각 후보점에만 적용되는데, 현재 깊이영상 프레임의 각 후보점에 대하여 현재 깊이영상 프레임의 해당 후보점과 일치하는 직전 깊이영상 프레임의 후보점의 깊이값에 제1가중치 α(0<α,1)를 부여하고, 현재 깊이영상 프레임의 해당 후보점의 깊이값에 제2가중치 1-α를 부여하여 현재 깊이영상 프레임의 각 후보점의 시간보상 깊이값을 산출하는 것이다.

3차원 좌표변환 연산부(29b)는 현재 깊이영상 프레임 원본 이미지를 이루는 각 픽셀의 2.5차원 좌표값을 3차원 좌표값으로 변환시켜 현재 깊이영상 프레임 3차원변환 이미지를 생성시키는 것이다.

후보점-세트 법선벡터 산출부(22)는 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터를 산출하는 것이다.

수직평면 소속 후보점-세트 제거부(23)는 설정된 바닥영역 유효 법선벡터 범위가 저장되고, 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트를 수직평면 소속 후보점-세트로 판단하여 제거하는 것이다.

후보점-세트 Y절편 히스토그램 산출부(24)는 수직평면 소속 후보점-세트 제거부를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램을 산출하는 것이다.

수평평면 소속 후보점-세트 제거부(25)는 설정된 히스토그램 임계치가 저장되고, 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트를 최적 후보점-세트로 검출하고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트를 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거하는 것이다.

인라이어 연산부(26)는 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리를 연산하고, 설정된 인라이어(inlier) 임계치가 저장되며, 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수를 검출하는 것이다.

최종 후보점-세트 자동검출 연산부(27)는 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트를 현재 최종 후보점-세트로 추출하고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 것이다.

바닥영역 제거부(28)는 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀을 바닥영역 소속 픽셀로서 제거하는 것이다.

상기와 같은 본 발명의 실시예에 따른 깊이영상 처리유닛(20)을 이루는 후보점-세트 설정부(21), 깊이영상 안정화부(29a), 3차원 좌표변환 연산부(29b), 후보점-세트 법선벡터 산출부(22), 수직평면 소속 후보점-세트 제거부(23), 후보점-세트 Y절편 히스토그램 산출부(24), 수평평면 소속 후보점-세트 제거부(25), 인라이어 연산부(26), 최종 후보점-세트 자동검출 연산부(27), 바닥영역 제거부(28)의 상세 구성은 전술(前述)된 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법에서의 깊이영상 입력단계, 후보점-세트 설정단계, 깊이영상 안정화단계, 3차원 좌표변환 연산단계, 후보점-세트 법선벡터 산출단계, 수직평면 소속 후보점-세트 제거단계, 후보점-세트 Y절편 히스토그램 산출단계, 수평평면 소속 후보점-세트 제거단계, 인라이어 연산단계, 최종 후보점-세트 자동검출 연산단계, 바닥영역 제거단계를 참조할 수 있다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이와 같은 본 발명에 따른 컴퓨터 판독 가능 기록 매체는 현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계와; 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 입력유닛과 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계와; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계와; 설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계와; 상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계와; 설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계와; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계와; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 포함하는 프로그램을 기록한 것인데, 본 발명에 따른 컴퓨터 판독 가능 기록 매체의 상세 구성은 전술(前述)된 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법에서의 깊이영상 입력단계, 후보점-세트 설정단계, 깊이영상 안정화단계, 3차원 좌표변환 연산단계, 후보점-세트 법선벡터 산출단계, 수직평면 소속 후보점-세트 제거단계, 후보점-세트 Y절편 히스토그램 산출단계, 수평평면 소속 후보점-세트 제거단계, 인라이어 연산단계, 최종 후보점-세트 자동검출 연산단계, 바닥영역 제거단계를 참조할 수 있다.

상술한 바와 같은, 본 발명의 실시예에 따른 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.

10 : 깊이영상 입력유닛
20 : 깊이영상 처리유닛
21 : 후보점-세트 설정부
22 : 후보점-세트 법선벡터 산출부
23 : 수직평면 소속 후보점-세트 제거부
24 : 후보점-세트 Y절편 히스토그램 산출부
25 : 수평평면 소속 후보점-세트 제거부
26 : 인라이어 연산부
27 : 최종 후보점-세트 자동검출 연산부
28 : 바닥영역 제거부
29a : 깊이영상 안정화부
29b : 3차원 좌표변환 연산부
100 : 깊이정보를 사용한 바닥영역 처리장치
200 : 깊이영상 획득장치
210 : 깊이 측정센서
220 : 깊이 카메라
230 : 범위 센서
240 : 레이저 스캐너

Claims

현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계와;
상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계와;
설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계와;
설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계와;
상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계와;
설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계와;
상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계와;
현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및;
누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 포함하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항에 있어서,
상기 후보점-세트 설정단계는 현재 깊이영상 프레임 하부영역에 상기 복수의 후보점-세트가 설정되도록 하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항 또는 제 2항에 있어서,
상기 후보점-세트 설정단계는 역삼각형을 이루는 3개의 후보점으로 이루어진 후보점-세트의 후보점 간 간격을 사용자가 직접 지정하게 되는 후보점 간격 지정단계와;
첫번째 후보점-세트의 위치를 사용자가 직접 지정하게 되는 첫번째 후보점-세트 지정단계와;
후보점-세트 간 가로 간격을 사용자가 직접 지정하게 되는 후보점-세트 가로간격 지정단계와;
후보점-세트 간 세로 간격을 사용자가 직접 지정하게 되는 후보점-세트 세로간격 지정단계와;
상기에서 지정된 후보점-세트의 후보점 간 간격, 첫번째 후보점-세트의 위치, 후보점-세트의 가로 간격 및 세로 간격에 따라 설정갯수의 후보점-세트가 생성되어 현재 깊이영상 프레임 상에 배열되는 후보점-세트 생성-배열 단계를 포함하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항에 있어서,
상기 후보점-세트 법선벡터 산출단계 이전에 깊이영상 안정화단계가 수행되되,
상기 깊이영상 안정화단계는 현재 깊이영상 프레임의 각 픽셀에 대하여 해당 픽셀의 깊이값을 중심에 두고 수행되는 3×3 마스크의 2차원 평균 필터에 의해 각 픽셀의 공간보상 깊이값을 산출하는 공간적 필터링 단계와;
현재 깊이영상 프레임의 각 후보점에 대하여 현재 깊이영상 프레임의 해당 후보점과 일치하는 직전 깊이영상 프레임의 후보점의 깊이값에 제1가중치 α를 부여하고, 현재 깊이영상 프레임의 해당 후보점의 깊이값에 제2가중치 1-α를 부여하여 생성되는 현재 깊이영상 프레임의 각 후보점의 시간보상 깊이값을 산출하는 시간적 필터링 단계를 포함하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항에 있어서,
상기 후보점-세트 법선벡터 산출단계 이전에 3차원 좌표변환 연산단계가 수행되되,
상기 3차원 좌표변환 연산단계는 현재 깊이영상 프레임 원본 이미지를 이루는 각 픽셀의 2.5차원 좌표값을 3차원 좌표값으로 변환시켜 현재 깊이영상 프레임 3차원변환 이미지를 생성시키는 단계임을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항에 있어서,
상기 수평평면 소속 후보점-세트 제거단계는 직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치를 초과할 시 직전 검출된 최적 후보점-세트가 최적 후보점-세트로 선정되고,
직전 검출된 최적 후보점-세트의 히스토그램과 현재 검출된 최적 후보점-세트의 히스토그램 차이값이 설정된 히스토그램 차이 임계치 이하일 시 현재 검출된 최적 후보점-세트가 최적 후보점-세트로 선정되는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
제 1항에 있어서,
상기 최종 후보점-세트 자동검출 연산단계는 추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수와 Y절편이 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트하고,
추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 크고 Y절편이 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지하며,
추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 크면 현재 최종 후보점-세트를 누적 최종 후보점-세트로 업데이트하고,
추출된 현재 최종 후보점-세트가 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트보다 인라이어 개수가 작은 동시에 추출된 현재 최종 후보점-세트의 Y절편이 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편과 자동검출계수의 합보다 작으면 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트를 누적 최종 후보점-세트로 유지하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리방법.
현재 깊이영상 프레임을 실시간으로 입력받게 되는 깊이영상 입력유닛과; 현재 깊이영상 프레임으로부터 바닥영역을 추출하여 제거하게 되는 깊이영상 처리유닛과; 바닥영역이 제거된 현재 깊이영상 프레임을 전달하게 되는 깊이영상 전달유닛을 포함하는 깊이정보를 사용한 바닥영역 처리장치에 있어서,
상기 깊이영상 처리유닛은 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트를 사용자 정의로 설정하는 후보점-세트 설정부와;
설정된 각 후보점-세트의 평면방정식에 대한 법선벡터를 산출하는 후보점-세트 법선벡터 산출부와;
설정된 바닥영역 유효 법선벡터 범위가 저장되고, 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트를 수직평면 소속 후보점-세트로 판단하여 제거하는 수직평면 소속 후보점-세트 제거부와;
상기 수직평면 소속 후보점-세트 제거부를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램을 산출하는 후보점-세트 Y절편 히스토그램 산출부와;
설정된 히스토그램 임계치가 저장되고, 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트를 최적 후보점-세트로 검출하고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트를 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거하는 수평평면 소속 후보점-세트 제거부와;
상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리를 연산하고, 설정된 인라이어(inlier) 임계치가 저장되며, 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수를 검출하는 인라이어 연산부와;
현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트를 현재 최종 후보점-세트로 추출하고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산부 및;
누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀을 바닥영역 소속 픽셀로서 제거하는 바닥영역 제거부를 포함하는 것을 특징으로 하는 깊이정보를 사용한 바닥영역 처리장치.
깊이정보를 사용한 바닥영역 처리를 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 있어서,
현재 깊이영상 프레임이 바닥영역 처리장치로 실시간 입력되는 깊이영상 입력단계와; 상기 현재 깊이영상 프레임 내의 바닥영역에 포함될 것으로 추정되는 복수의 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 입력유닛과 깊이영상 처리유닛을 통해 사용자 정의로 설정되는 후보점-세트 설정단계와; 설정된 각 후보점-세트의 평면방정식에 대한 법선벡터가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 법선벡터 산출단계와; 설정된 바닥영역 유효 법선벡터 범위가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 바닥영역 유효 법선벡터 범위 밖에 위치한 법선벡터를 갖는 후보점-세트가 수직평면 소속 후보점-세트로 판단되어 제거되는 수직평면 소속 후보점-세트 제거단계와; 상기 수직평면 소속 후보점-세트 제거단계를 통과하여 유효화된 각 후보점-세트의 평면방정식의 Y절편과 해당 Y절편 히스토그램이 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 산출되는 후보점-세트 Y절편 히스토그램 산출단계와; 설정된 히스토그램 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛에서 히스토그램 임계치를 초과하는 동시에 최대 Y절편 범위를 갖는 후보점-세트가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트로 검출되고, 히스토그램 임계치를 초과하지 않는 Y절편 범위를 갖는 후보점 세트와 최대 Y절편 범위를 갖지 않는 후보점-세트가 바닥영역이 아닌 수평평면 소속 후보점-세트로서 제거되는 수평평면 소속 후보점-세트 제거단계와; 상기 최적 후보점-세트가 검출될 시 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리가 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 연산되고, 설정된 인라이어(inlier) 임계치가 저장된 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 최적 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 인라이어 개수가 검출되는 인라이어 연산단계와; 현재 깊이영상 프레임에서 최대 인라이어 개수를 갖는 최적 후보점-세트가 현재 최종 후보점-세트로 상기 바닥영역 처리장치의 깊이영상 처리유닛을 통해 추출되고, 직전 깊이영상 프레임에서 산출된 누적 최종 후보점-세트의 Y절편 및 인라이어 개수와의 비교연산을 통해 누적 최종 후보점-세트를 업데이트하게 되는 최종 후보점-세트 자동검출 연산단계 및; 누적 최종 후보점-세트의 평면방정식과 현재 깊이영상 프레임의 각 픽셀 간 거리로부터 인라이어 임계치 이하에 속하는 픽셀이 상기 바닥영역 처리장치의 깊이영상 처리유닛에 의해 바닥영역 소속 픽셀로서 제거되는 바닥영역 제거단계를 포함하여 수행되는 깊이정보를 사용한 바닥영역 처리를 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.