KR101820299B1

KR101820299B1 - 3차원 데이터 영상의 계단 인식 방법

Info

Publication number: KR101820299B1
Application number: KR1020110122628A
Authority: KR
Inventors: 윤석준; 황효석; 안성환; 형승용; 여형석
Original assignee: 삼성전자주식회사
Priority date: 2011-11-23
Filing date: 2011-11-23
Publication date: 2018-03-02
Also published as: US9552640B2; KR20130056960A; JP6073085B2; US20130127996A1; JP2013109750A

Abstract

본 발명의 일 실시예에 의한 3차원 데이터 영상의 계단 인식 방법은 영상 획득부가 계단이 위치하는 공간의 3차원 데이터 영상을 획득하는 단계, 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 평면 사이의 높이를 계산하고, 상기 계산된 높이에 따라 상기 연속하는 두 평면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 평면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 평면 사이에 위치하는 벽면을 검출하는 단계, 및 상기 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 벽면 사이의 너비를 계산하고, 상기 계산된 너비에 따라 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 벽면 사이에 위치하는 평면을 검출하는 단계를 포함한다.

Description

3차원 데이터 영상의 계단 인식 방법{STAIRS RECOGNITION METHOD FOR THREE DIMENSION DATA IMAGE}

본 발명은 계단이 위치하는 공간의 3차원 데이터 영상에서 계단을 이루는 데이터 포인트들을 검출하는 3차원 데이터 영상의 계단 인식 방법에 관한 것이다.

휴머노이드 또는 이동 로봇이 계단을 오르기 위해서는 현재 로봇이 위치하는 곳을 기준으로 계단의 위치와 계단의 높이, 너비 등의 정보를 인식해야 한다. 이를 위해, 로봇에는 계단이 위치하는 공간의 3차원 데이터 영상을 획득하기 위한 3차원 센서가 설치되고, 로봇에 설치된 마이크로 콘트롤러를 통해 3차원 데이터 영상을 처리하고 분석하여 계단을 인식할 수 있다.

종래의 계단 인식 방법으로 ICP(Interative Closest Point) 방법은 3차원 데이터 영상에서 검출한 3차원 모델과 미리 저장된 3차원 모델을 매칭하는 방법이다. ICP 방법은 상기 두 3차원 모델 사이의 거리가 최소가 되도록 반복적인 계산을 통해서 상기 두 3차원 모델을 매칭한다. 따라서, ICP 방법은 미리 저장된 3차원 모델이 요구되며, 미리 저장된 3차원 모델과의 매칭을 위해 반복적인 계산이 요구된다. 다른 방법으로는 3차원 데이터 영상에서 꼭지점을 통해 직선을 검출하고, 이 직선을 바탕으로 계단을 인식하는 방법이 있다. 이 방법은 3차원 데이터 영상에서 계단을 이루는 연속하는 두 직선은 동일한 평면 상에 위치한다고 가정하여 계단의 평면을 인식한다. 이와 같이 3차원 데이터 영상에서 직선을 검출하는 방법은 3차원 데이터 영상의 특성상 오차에 민감하여 계단 인식의 정확도가 떨어지는 문제점이 있다.

본 발명의 일측면은 3차원 데이터 영상에서 계단의 벽면 및 평면을 검출하여 계단을 인식하는 3차원 데이터 영상의 계단 인식 방법을 제공한다.

이를 위한 본 발명의 일 실시예에 의한 3차원 데이터 영상의 계단 인식 방법은 영상 획득부가 계단이 위치하는 공간의 3차원 데이터 영상을 획득하는 단계, 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 평면 사이의 높이를 계산하고, 상기 계산된 높이에 따라 상기 연속하는 두 평면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 평면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 평면 사이에 위치하는 벽면을 검출하는 단계, 및 상기 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 벽면 사이의 너비를 계산하고, 상기 계산된 너비에 따라 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 벽면 사이에 위치하는 평면을 검출하는 단계를 포함한다.

상기 영상 처리부가 RANSAC 알고리즘을 이용하여 상기 3차원 데이터 영상에서 상기 계단이 위치하는 바닥 평면을 검출하는 단계를 더 포함할 수 있다.

상기 바닥 평면을 검출하는 단계는 다음 식에 따라 상기 바닥 평면의 식을 산출할 수 있다.

여기서, a, b, c는 상기 바닥 평면의 법선 벡터의 성분이고, d는 상기 바닥 평면과 원점의 최단 거리를 나타내는 상수이다.

상기 영상 처리부가 상기 3차원 데이터 영상을 라벨링하여 상기 계단 영역을 분리하고, 상기 바닥 평면과 상기 분리된 계단 영역의 접선으로부터 상기 계단의 시작을 판단하여 계단 인식을 시작하는 단계를 더 포함할 수 있다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 바닥 평면과 상기 계단의 첫 번째 평면이 평행함을 통해 상기 첫 번째 평면의 식을 한정하고, 상기 바닥 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 통해 상기 첫 번째 평면의 식을 추정할 수 있다.

상기 벽면을 검출하는 단계는 다음 식에 따라 상기 첫 번째 평면의 식을 한정할 수 있다.

여기서, a, b, c는 상기 첫 번째 평면의 법선 벡터의 성분으로서, 상기 바닥 평면의 법선 벡터의 성분과 동일하고, d'는 상기 첫 번째 평면과 원점의 최단 거리를 나타내는 변수이다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 바닥 평면의 식과 상기 추정한 첫 번째 평면의 식을 비교하여 상기 바닥 평면과 상기 추정한 첫 번째 평면 사이의 높이를 계산할 수 있다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 첫 번째 벽면이 상기 바닥 평면, 및 상기 추정한 첫 번째 평면과 수직함을 통해 상기 첫 번째 벽면의 식을 한정하고, 상기 바닥 평면과 상기 추정한 첫 번째 평면 사이에 위치하는 포인트들을 통해 상기 첫 번째 벽면의 식을 산출할 수 있다.

상기 벽면을 검출하는 단계는 다음 식에 따라 상기 첫 번째 벽면의 식을 한정할 수 있다.

여기서, n, m, l은 상기 첫 번째 벽면의 법선 벡터의 성분으로서, 상기 첫 번째 벽면의 법선 벡터와 상기 바닥 평면, 및 상기 추정한 첫 번째 평면의 법선 벡터의 내적은 0을 만족하고, k는 상기 첫 번째 벽면과 원점의 최단 거리를 나타내는 변수이다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 계단의 연속하는 아래 평면과 위 평면이 평행함을 통해 상기 위 평면의 식을 한정하고, 상기 아래 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 통해 상기 위 평면의 식을 추정할 수 있다.

상기 벽면을 검출하는 단계는 다음 식에 따라 상기 위 평면의 식을 한정할 수 있다.

여기서, a, b, c는 상기 위 평면의 법선 벡터의 성분으로서, 상기 아래 평면의 법선 벡터의 성분과 동일하고, d'는 상기 위 평면과 원점의 최단 거리를 나타내는 변수이다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 아래 평면의 식과 상기 추정한 위 평면의 식을 비교하여 상기 아래 평면과 상기 추정한 위 평면 사이의 높이를 계산할 수 있다.

상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 벽면이 그 아래 벽면과 평행함을 통해 상기 벽면의 식을 한정하고, 상기 아래 평면과 상기 추정한 위 평면 사이에 위치하는 포인트들을 통해 상기 벽면의 식을 산출할 수 있다.

상기 벽면을 검출하는 단계는 다음 식에 따라 상기 벽면의 식을 한정할 수 있다.

여기서, n, m, l은 상기 벽면의 법선 벡터의 성분으로서, 상기 그 아래 벽면의 법선 벡터의 성분과 동일하고, k는 상기 벽면과 원점의 최단 거리를 나타내는 변수이다.

상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 계단의 연속하는 아래 벽면과 위 벽면이 평행함을 통해 상기 위 벽면의 식을 한정하고, 상기 아래 벽면으로부터 미리 정해진 계단 너비 범위에 위치하는 포인트들을 통해 상기 위 벽면의 식을 추정할 수 있다.

상기 평면을 검출하는 단계는 다음 식에 따라 상기 위 벽면의 식을 한정할 수 있다.

여기서, n, m, l은 상기 위 벽면의 법선 벡터의 성분으로서, 상기 아래 벽면의 법선 벡터의 성분과 동일하고, k'는 상기 위 벽면과 원점의 최단 거리를 나타내는 변수이다.

상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 아래 벽면의 식과 상기 추정한 위 벽면의 식을 비교하여 상기 아래 벽면과 상기 추정한 위 벽면 사이의 너비를 계산할 수 있다.

상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 평면이 그 아래 평면과 평행함을 통해 상기 평면의 식을 한정하고, 상기 아래 벽면과 상기 추정한 위 벽면 사이에 위치하는 포인트들을 통해 상기 평면의 식을 산출할 수 있다.

상기 평면을 검출하는 단계는 다음 식에 따라 상기 평면의 식을 한정할 수 있다.

여기서, a, b, c는 상기 평면의 법선 벡터의 성분으로서, 상기 그 아래 평면의 법선 벡터의 성분과 동일하고, d'는 상기 평면과 원점의 최단 거리를 나타내는 변수이다.

상기 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 끝을 판단하여, 상기 계단이 끝나는 경우 계단 인식을 종료하고, 상기 계단이 끝나지 않는 경우 상기 계단의 다음 벽면과 다음 평면을 검출하는 단계를 더 포함할 수 있다.

상기 계단의 끝을 판단하는 단계는 상기 연속하는 두 벽면 사이의 너비가 미리 정해진 임계값 이상인 경우 상기 계단이 끝나는 것으로 판단할 수 있다.

상술한 본 발명의 일측면에 의하면 3차원 데이터 영상에서 계단의 벽면 및 평면을 검출하여 계단을 인식하므로 미리 저장된 3차원 모델이 요구되지 않으며, 미리 저장된 3차원 모델과의 매칭을 위해 반복적인 계산이 요구되지 않으므로 빠른 시간 내에 3차원 데이터 영상에서 계단을 인식할 수 있다. 또한, 3차원 데이터 영상에서 연속하는 직선을 통해 계단의 벽면 또는 평면을 검출하지 않으므로, 오차에 민감하지 않고 높은 정확도로 3차원 데이터 영상에서 계단을 인식할 수 있다.

도 1은 본 발명의 일 실시예에 의한 3차원 데이터 영상의 계단 인식 방법의 개략적인 흐름도
도 2는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 시작을 판단하는 방법의 개략적인 흐름도
도 3은 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 벽면을 검출하는 방법의 개략적인 흐름도
도 4는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 평면을 검출하는 방법의 개략적인 흐름도
도 5는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단을 인식하는 시스템의 개략적은 블록도
도 6a 내지 도 6b는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 바닥 평면을 검출하는 방법을 개략적으로 설명하기 위한 도면
도 7은 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 시작을 판단하는 방법을 개략적으로 설명하기 위한 도면
도 8a 내지 도 8d는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 벽면을 검출하는 방법을 개략적으로 설명하기 위한 도면
도 9a 내지 도 9d는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 평면을 검출하는 방법을 개략적으로 설명하기 위한 도면
도 10은 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 끝을 판단하는 방법을 개략적으로 설명하기 위한 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 의한 3차원 데이터 영상의 계단 인식 방법의 개략적인 흐름도이다.

도 1을 참조하여 설명하면, 영상 획득부가 계단이 위치하는 공간의 3차원 데이터 영상을 획득할 수 있다(S110). 여기서, 3차원 데이터 영상은 예를 들어, 3차원 포인트 클라우드(point cloud) 영상일 수 있으나 이에 한정되는 것은 아니고, x, y, z의 3차원 좌표를 갖는 데이터 포인트로 이루어진 형태라면 본 발명의 일 실시예에 의한 3차원 데이터 영상의 계단 인식 방법이 적용될 수 있다. 한편, 3차원 데이터 영상에는 3차원 좌표계가 존재할 수 있으며, 예를 들어 로봇의 중심을 원점으로, 로봇의 정면 방향을 x축, 로봇의 측면 방향을 y축, 로봇의 상면 방향을 z축으로 설정할 수 있다.

영상 처리부는 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 3차원 데이터 영상에서 계단이 위치하는 바닥 평면의 식을 산출할 수 있다(S120). RANSAC 알고리즘은 본 발명이 속하는 기술분야의 통상의 기술자에게 자명한 사항으로 RANSAC 알고리즘에 대한 상세한 설명은 생략한다. 영상 처리부가 3차원 데이터 영상에서 바닥 평면의 식을 산출하는 구체적인 방법은 이하에서 도 6a 및 도 6b를 참조하여 상세하게 설명한다.

도 6a 내지 도 6b는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 바닥 평면을 검출하는 방법을 개략적으로 설명하기 위한 도면이다.

도 6a 및 도 6b를 참조하여 설명하면, 도 6a에 도시된 바와 같이 영상 처리부는 RANSAC 알고리즘을 이용하여 3차원 데이터 영상에서 계단이 위치하는 바닥 평면(ground plane)을 검출할 수 있으며, 검출된 바닥 평면(ground plane)에 대하여 다음 수학식 1에 따라 바닥 평면(ground plane)의 식을 산출할 수 있다.

도 6b에 도시된 바와 같이 수학식 1에서, a, b, c는 바닥 평면(ground plane)의 법선 벡터(v1)의 성분이고, d는 바닥 평면(ground plane)과 원점의 최단 거리를 나타내는 상수이다.

영상 처리부가 계단의 시작을 판단하여 계단 인식을 시작할 수 있다(S130). 영상 처리부가 3차원 데이터 영상에서 계단의 시작을 판단하는 구체적인 방법은 이하에서 도 2 및 도 7을 참조하여 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 시작을 판단하는 방법의 개략적인 흐름도이다.

도 2를 참조하여 설명하면, 영상 처리부가 3차원 데이터 영상을 라벨링하여 계단 영역을 분리한다(S210). 영상 처리부는 3차원 데이터 영상을 라벨링하여 계단 영역을 분리하기 위해, 3차원 데이터 영상에서 바닥 평면을 제외한 포인트들을 대상으로 라벨링할 수 있다. 그리고, 영상 처리부는 라벨링에 의한 포인트 군집들 중 가장 많은 포인트들을 포함하고 있는 포인트 군집을 계단 영역으로 판단하여, 3차원 데이터 영상에서 계단 영역을 분리할 수 있다.

영상 처리부가 3차원 데이터 영상을 라벨링하는 기본적인 방법은 다음과 같다. 먼저, 영상 처리부는 3차원 데이터 영상에서 라벨링 대상인 포인트들의 라벨과 라벨 인덱스를 0 으로 초기화한다. 그리고, 영상 처리부는 상기 모든 포인트들을 탐색하면서 해당 포인트의 라벨이 0 인지 확인하여 해당 포인트에 라벨이 할당되었는지 판단한다.

해당 포인트에 라벨이 할당되지 않은 경우 영상 처리부는 해당 포인트로부터 미리 정해진 거리 이내의 포인트들을 탐색한다. 미리 정해진 거리 이내의 포인트들 중 라벨이 할당된 포인트가 존재하는 경우, 영상 처리부는 해당 포인트와 미리 정해진 거리 이내의 포인트들 중 라벨이 할당되지 않은 포인트들에 그와 동일한 라벨을 할당한다.

미리 정해진 거리 이내의 포인트들 중 라벨이 할당된 포인트가 존재하지 않는 경우, 영상 처리부는 라벨 인덱스를 1 만큼 증가하고 해당 포인트와 미리 정해진 거리 이내의 포인트들에 라벨 인덱스에 해당하는 라벨을 할당한다.

해당 포인트에 라벨이 할당된 경우 영상 처리부는 다음 포인트를 탐색하여 라벨이 할당되었는지 판단하는 과정을 반복한다.

즉, 2차원 라벨링 방법은 해당 화소와 인접한 8 개의 화소들을 탐색하여 라벨을 할당하지만, 3차원 라벨링 방법은 해당 포인트로부터 미리 정해진 거리 이내의 포인트들을 탐색하여 라벨을 할당한다.

도 7은 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 시작을 판단하는 방법을 개략적으로 설명하기 위한 도면이다.

도 7을 참조하여 설명하면, 영상 획득부가 계단의 정면에서 일정한 각도로 3차원 데이터 영상을 획득한 경우, 영상 처리부는 계단의 벽면 및 평면을 이루는 포인트 군집을 계단 영역(stairs area)으로 판단할 수 있다. 한편, 도 7은 계단의 사시도를 도시하고 있으나, 이는 3차원 데이터 영상에서 계단 영역을 분리하는 방법의 이해를 돕기 위한 것으로, 실제적인 계단의 측벽이 외부로 노출되는 경우는 많지 않으며, 일반적으로 영상 획득부는 계단의 정면에 관한 3차원 데이터 영상을 획득한다.

그리고, 영상 처리부는 바닥 평면과 분리된 계단 영역의 접선을 통해 계단의 시작을 판단할 수 있다(S220). 영상 처리부는 계단의 시작을 판단하여 계단이 시작되는 라인부터 계단 인식을 시작한다. 그리고, 영상 처리부는 상기 분리된 계단 영역에 대해서만 계단 인식을 수행한다.

도 7에 도시된 바와 같이, 영상 처리부는 바닥 평면(ground plane)과 계단 영역(stairs area)의 접선을 통해 계단의 시작을 판단할 수 있다. 예를 들어, 영상 처리부는 3차원 데이터 영상에서 계단의 첫 번째 벽면의 꼭지점을 검출하고, 접선과 바닥 평면(ground plane)이 평행함을 통해 상기 접선의 식을 산출할 수 있다. 이 때 검출한 접선이 계단이 시작되는 라인(start line)에 해당한다.

영상 처리부는 계단의 연속하는 두 평면 사이에 위치하는 포인트들을 통해 상기 두 평면 사이에 위치하는 벽면을 검출할 수 있다(S140). 즉, 영상 처리부는 상기 두 평면 사이에 위치하는 포인트들이 지나는 평면의 식을 산출할 수 있으며, 이와 같은 평면의 식은 상기 두 평면 사이에 위치하는 벽면의 식에 해당한다.

한편, 영상 처리부는 상기 두 평면 사이의 높이를 통해 상기 두 평면 사이에 위치하는 포인트들을 판단할 수 있으며, 상기 두 평면 사이의 높이는 상기 두 평면의 식을 비교하여 계산할 수 있다. 영상 처리부가 3차원 데이터 영상에서 벽면을 검출하는 구체적인 방법은 이하에서 도 3 및 도 8a 내지 도 8d를 참조하여 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 벽면을 검출하는 방법의 개략적인 흐름도이다.

도 3을 참조하여 설명하면, 영상 처리부가 벽면을 검출하는 방법은 다음과 같다. 먼저, 계단의 연속하는 두 평면은 평행하다고 가정한다. 따라서, 영상 처리부는 계단의 연속하는 아래 평면과 위 평면이 평행함을 통해 위 평면의 식을 한정할 수 있다(S310). 여기서, 상기 아래 평면에는 계단이 위치하는 바닥 평면도 포함된다. 상술한 바와 같이 영상 처리부는 RANSAC 알고리즘을 이용하여 3차원 데이터 영상에서 바닥 평면의 식을 산출할 수 있다.

도 8a 내지 도 8d는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 벽면을 검출하는 방법을 개략적으로 설명하기 위한 도면이다.

도 8a를 참조하여 설명하면, 계단이 위치하는 바닥 평면(ground plane)과 계단의 첫 번째 평면(1st stairs plane)이 평행하므로, 바닥 평면(ground plane)의 법선 벡터(v1)의 성분과 첫 번째 평면(1st stairs plane)의 법선 벡터(v2)의 성분이 동일하다. 또한, 계단의 모든 평면의 법선 벡터의 성분은 바닥 평면의 법선 벡터의 성분과 동일하며, 각 평면과 원점의 최단 거리만을 달리한다. 이에 따라 영상 처리부는 다음 수학식 2에 따라 임의의 위 평면의 식을 한정할 수 있다.

수학식 2에서, a, b, c는 임의의 위 평면의 법선 벡터의 성분으로서, 그 아래 평면의 법선 벡터의 성분과 동일하고, d'는 임의의 위 평면과 원점의 최단 거리를 나타내는 변수이다. 도 8a의 경우 수학식 2에 따라 첫 번째 평면의 식을 한정할 수 있으며, 이 경우 a, b, c는 첫 번째 평면의 법선 벡터의 성분을 나타낼 수 있다.

그리고, 영상 처리부는 미리 정해진 계단 높이를 이용하여 상기 위 평면의 식을 추정할 수 있다(S320). 여기서, 영상 처리부는 미리 정해진 계단 높이 범위로 표준 계단 높이를 이용할 수 있다. 표준 계단은 각 국의 건축법 등에 따라 강요되거나 권장되는 계단의 설계 지침으로서, 예를 들어, 표준 계단 높이는 15 cm 내지 20 cm 이거나, 표준 계단 너비는 25 cm 내지 30 cm 일 수 있다.

도 8b를 참조하여 설명하면, 영상 처리부는 바닥 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 통해 첫 번째 평면의 식을 추정할 수 있다. 이 때 미리 정해진 계단 높이를 h라고 하면, 일정한 오차 범위를 갖는 계단 높이 범위는 h-Δe 내지 h+Δe 에 해당한다. 영상 처리부는 미리 정해진 계단 높이 범위를 계단 평면의 검색 영역(stairs plane search area)으로 하여 검색을 수행하는데, 구체적으로 바닥 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 수학식 2에 따라 한정한 첫 번째 평면의 식에 대입하고, 그 결과에 따라 가장 대표가 되는 d'의 값을 선택함으로써 첫 번째 평면의 식을 추정한다. 여기서, 가장 대표가 되는 d'의 값을 선택하는 방법은 여러 가지가 존재할 수 있으며, 예를 들어 영상 처리부는 상기 한정한 첫 번째 평면의 식의 대입 결과에 따라 가장 많이 나온 d'의 값을 선택할 수 있다.

한편, 도 8b는 계단의 첫 번째 평면의 식을 추정하는 방법을 도시하고 있으나, 이와 같은 방법으로 계단의 모든 평면의 식을 추정할 수 있음은 통상의 기술자에게 자명한 사항이다.

영상 처리부는 아래 평면의 식과 상기 추정한 위 평면의 식을 비교하여 아래 평면과 상기 위 평면 사이의 높이를 계산할 수 있다(S330). 영상 처리부는 수학식 2에서 위 평면과 원점의 최단 거리를 나타내는 변수 d'를 선택하였으므로, 아래 평면의 식과 상기 추정한 위 평면의 식을 비교하여 아래 평면과 상기 위 평면 사이의 높이를 계산할 수 있다. 예를 들어, 영상 처리부는 바닥 평면의 식과 상기 추정한 첫 번째 평면의 식을 비교하여 바닥 평면과 상기 첫 번째 평면 사이의 높이를 계산할 수 있으며, 바닥 평면의 포인트들의 z 좌표값이 0이라면, d와 d'의 차를 통해 바닥 평면과 상기 첫 번째 평면 사이의 높이를 계산할 수 있다.

그리고, 영상 처리부는 계단의 연속하는 아래 평면과 위 평면 사이에 위치하는 포인트들을 통해 상기 두 평면 사이에 위치하는 벽면을 검출할 수 있다(S340). 영상 처리부는 상기 벽면이 그 아래 벽면과 평행함을 통해 상기 벽면의 식을 한정하고, 상기 한정한 벽면의 식에 상기 두 평면 사이에 위치하는 포인트들을 대입하여 상기 벽면의 식을 정확하게 산출할 수 있다.

도 8c를 참조하여 설명하면, 계단의 첫 번째 벽면(1st stairs wall)은 연속하는 두 평면 즉, 바닥 평면(ground plane) 및 첫 번째 평면(1st stairs plane)과 수직한다. 이에 따라 영상 처리부는 다음 수학식 3에 따라 첫 번째 벽면(1st stairs wall)의 식을 한정할 수 있다.

여기서, n, m, l은 첫 번째 벽면(1st stairs wall)의 법선 벡터의 성분으로서, 첫 번째 벽면(1st stairs wall)의 법선 벡터와 상기 두 평면(ground plane, 1st stairs plane)의 법선 벡터의 내적은 0을 만족하고, k는 첫 번째 벽면(1st stairs wall)과 원점의 최단 거리를 나타내는 변수이다.

도 8d를 참조하여 설명하면, 첫 번째 벽면(1st stairs wall)의 법선 벡터와 상기 두 평면(ground plane, 1st stairs plane)의 법선 벡터의 내적은 0 이라는 것과 상기 두 평면(ground plane, 1st stairs plane) 사이에 위치하는 포인트들을 수학식 3에 따라 한정한 첫 번째 벽면(1st stairs wall)의 식에 대입한 결과를 통해 첫 번째 벽면(1st stairs wall)의 식을 산출할 수 있다. 이로써 첫 번째 벽면(1st stairs wall)을 검출할 수 있다.

첫 번째 벽면을 검출하는 방법은 상술한 바와 같으나, 두 번째 벽면부터는 그 아래 벽면과 평행함을 통해 계단의 연속하는 두 평면 사이에 위치하는 임의의 벽면의 식을 한정할 수 있다. 영상 처리부는 상술한 수학식 3에 따라 상기 임의의 벽면의 식을 한정할 수 있으며, 상기 두 평면 사이에 위치하는 포인트들을 통해 상기 벽면의 식을 산출하고, 상기 두 평면 사이에 위치하는 벽면을 검출할 수 있다. 이 경우, n, m, l은 상기 벽면의 법선 벡터의 성분으로서, 그 아래 벽면의 법선 벡터의 성분과 동일하고, k는 상기 벽면과 원점의 최단 거리를 나타내는 변수이다. 영상 처리부는 상기 두 평면 사이에 위치하는 포인트들을 상기 임의의 벽면의 식에 대입한 결과를 통해 상기 벽면의 식을 산출할 수 있다.

그리고, 영상 처리부는 계단의 연속하는 두 벽면 사이에 위치하는 포인트들을 통해 상기 두 벽면 사이에 위치하는 벽면을 검출할 수 있다(S150). 즉, 영상 처리부는 상기 두 벽면 사이에 위치하는 포인트들이 지나는 평면의 식을 산출할 수 있으며, 이와 같은 평면의 식은 상기 두 벽면 사이에 위치하는 평면의 식에 해당한다.

한편, 영상 처리부는 상기 두 벽면 사이의 너비를 통해 상기 두 벽면 사이에 위치하는 포인트들을 판단할 수 있으며, 상기 두 벽면 사이의 너비는 상기 두 벽면의 식을 비교하여 계산할 수 있다. 영상 처리부가 3차원 데이터 영상에서 평면을 검출하는 구체적인 방법은 이하에서 도 4 및 도 9a 내지 도 9d를 참조하여 상세하게 설명한다.

도 4는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 평면을 검출하는 방법의 개략적인 흐름도이다.

도 4을 참조하여 설명하면, 영상 처리부가 평면을 검출하는 방법은 다음과 같다. 먼저, 계단의 연속하는 두 벽면은 평행하다고 가정한다. 따라서, 영상 처리부는 계단의 연속하는 아래 벽면과 위 벽면이 평행함을 통해 위 벽면의 식을 한정할 수 있다(S410). 상술한 바와 같이 영상 처리부는 계단의 첫 번째 벽면이 바닥 평면, 및 첫 번째 평면과 수직함을 통해 3차원 데이터 영상에서 첫 번째 벽면의 식을 산출할 수 있다.

도 9a 내지 도 9d는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단의 평면을 검출하는 방법을 개략적으로 설명하기 위한 도면이다.

도 9a를 참조하여 설명하면, 계단의 첫 번째 벽면(1st stairs wall)과 두 번째 벽면(2nd stairs wall)이 평행하므로, 첫 번째 벽면(1st stairs wall)의 법선 벡터(v3)의 성분과 두 번째 벽면(2nd stairs wall)의 법선 벡터(v4)의 성분이 동일하다. 또한, 계단의 모든 벽면의 법선 벡터의 성분은 동일하며, 각 벽면과 원점의 최단 거리만을 달리한다. 이에 따라 영상 처리부는 다음 수학식 4에 따라 임의의 위 벽면의 식을 한정할 수 있다.

수학식 4에서, n, m, l은 임의의 위 벽면의 법선 벡터의 성분으로서, 그 아래 벽면의 법선 벡터의 성분과 동일하고, k'는 임의의 위 벽면과 원점의 최단 거리를 나타내는 변수이다. 도 9a의 경우 수학식 4에 따라 두 번째 벽면두 번째 벽면(2nd stairs wall)의 식을 한정할 수 있으며, 이 경우 a, b, c는 두 번째 벽면두 번째 벽면(2nd stairs wall)의 법선 벡터(v4)의 성분을 나타낼 수 있다.

그리고, 영상 처리부는 미리 정해진 계단 너비를 이용하여 상기 위 벽면의 식을 추정할 수 있다(S420). 여기서, 영상 처리부는 미리 정해진 계단 너비 범위로 표준 계단 너비를 이용할 수 있음은 상술한 계단 높이 범위와 같다.

도 9b를 참조하여 설명하면, 영상 처리부는 첫 번째 평면으로부터 미리 정해진 계단 너비 범위에 위치하는 포인트들을 통해 두 번째 벽면의 식을 추정할 수 있다. 이 때 미리 정해진 계단 너비를 w라고 하면, 일정한 오차 범위를 갖는 계단 너비 범위는 w-Δe 내지 w+Δe 에 해당한다. 영상 처리부는 미리 정해진 계단 너비 범위를 계단 벽면의 검색 영역(stairs wall search area)으로 하여 검색을 수행하는데, 구체적으로 첫 번째 벽면으로부터 미리 정해진 계단 너비 범위에 위치하는 포인트들을 수학식 4에 따라 한정한 두 번째 벽면의 식에 대입하고, 그 결과에 따라 가장 대표가 되는 k'의 값을 선택함으로써 두 번째 벽면의 식을 추정한다. 여기서, 가장 대표가 되는 k'의 값을 선택하는 방법은 여러 가지가 존재할 수 있으며, 예를 들어 영상 처리부는 상기 한정한 두 번째 벽면의 식의 대입 결과에 따라 가장 많이 나온 k'의 값을 선택할 수 있다.

한편, 도 9b는 계단의 두 번째 벽면의 식을 추정하는 방법을 도시하고 있으나, 이와 같은 방법으로 계단의 나머지 벽면의 식을 추정할 수 있음은 통상의 기술자에게 자명한 사항이다.

영상 처리부는 아래 벽면의 식과 상기 추정한 위 벽면의 식을 비교하여 아래 벽면과 상기 위 벽면 사이의 너비를 계산할 수 있다(S430). 영상 처리부는 수학식 4에서 위 벽면과 원점의 최단 거리를 나타내는 변수 k'를 선택하였으므로, 아래 벽면의 식과 상기 추정한 위 벽면의 식을 비교하여 아래 벽면과 상기 위 벽면 사이의 너비를 계산할 수 있다. 예를 들어, 영상 처리부는 첫 번째 벽면의 식과 상기 추정한 두 번째 벽면의 식을 비교하여 첫 번째 벽면과 상기 두 번째 벽면 사이의 너비를 계산할 수 있으며, 첫 번째 벽면의 포인트들의 x 좌표값이 0이라면, k와 k'의 차를 통해 첫 번째 벽면과 상기 두 번째 벽면 사이의 너비를 계산할 수 있다.

그리고, 영상 처리부는 계단의 연속하는 아래 벽면과 위 벽면 사이에 위치하는 포인트들을 통해 상기 두 벽면 사이에 위치하는 평면을 검출할 수 있다(S440). 영상 처리부는 상기 평면이 그 아래 평면과 평행함을 통해 상기 평면의 식을 한정하고, 상기 한정한 평면의 식에 상기 두 벽면 사이에 위치하는 포인트들을 대입하여 상기 평면의 식을 정확하게 산출할 수 있다.

도 9c를 참조하여 설명하면, 첫 번째 평면(1st stairs plane)은 연속하는 두 벽면 즉, 첫 번째 벽면(1st stairs wall) 및 두 번째 벽면(2nd stairs wall)과 수직한다. 또한, 첫 번째 평면(1st stairs plane)은 그 아래 평면인 바닥 평면과 평행한다. 이에 따라 영상 처리부는 상술한 수학식 2에 따라 첫 번째 평면(1st stairs plane)의 식을 한정할 수 있다. 이 경우, a, b, c는 첫 번째 평면(1st stairs plane)의 법선 벡터의 성분으로서, 바닥 평면의 법선 벡터의 성분과 동일하고, d'는 첫 번째 평면(1st stairs plane)과 원점의 최단 거리를 나타내는 변수이다.

도 9d를 참조하여 설명하면, 영상 처리부는 상기 두 벽면(1st stairs wall, 2nd stairs wall) 사이에 위치하는 포인트들을 수학식 2에 따라 한정한 첫 번째 평면(1st stairs plane)의 식에 대입한 결과를 통해 첫 번째 평면(1st stairs plane)의 식을 산출할 수 있다.

한편, 영상 처리부는 위와 같은 방법을 통해 계단의 나머지 평면의 식을 산출하고, 검출할 수 있다. 예를 들어, 두 번째 평면은 첫 번째 평면과 평행함을 통해, 세 번째 평면은 두 번째 평면과 평행함을 통해 계속해서 수학식 2에 따라 계단의 연속하는 두 벽면 사이에 위치하는 임의의 평면의 식을 한정할 수 있다. 그리고, 영상 처리부는 상기 두 벽면 사이에 위치하는 포인트들을 상기 임의의 평면의 식에 대입한 결과를 통해 상기 평면의 식을 산출할 수 있다.

영상 처리부는 계단의 끝을 판단할 수 있다(S160). 판단 결과 계단이 끝나는 경우 영상 처리부는 계단 인식을 종료하고, 판단 결과 계단이 끝나지 않는 경우 영상 처리부는 계단의 다음 벽면의 식과 다음 평면의 식을 산출하기 위해 S140, S150 단계를 반복하여 수행한다. 한편, 다음 계단의 벽면과 평면을 검출하는 경우 영상 획득부는 그 시점에서 다시 계단이 위치하는 공간의 3차원 데이터 영상을 획득할 수 있다. 영상 처리부가 3차원 데이터 영상에서 계단의 끝을 판단하는 구체적인 방법은 이하에서 도 10을 참조하여 상세하게 설명한다.

도 10을 참조하여 설명하면, 영상 획득부는 평면을 검출하는 과정에서 계단의 연속하는 두 벽면 사이의 너비를 계산할 수 있다. 이 때 계산된 두 벽면 사이의 너비(d)가 미리 정해진 임계값 이상인 경우, 예를 들어 이전의 두 벽면 사이의 너비의 2배 이상인 경우에는 계단이 끝나는 것으로 판단하고, 상기 평면을 계단의 마지막 평면(last stairs plane)으로 인식할 수 있다.

도 5는 본 발명의 일 실시예에 의한 3차원 데이터 영상에서 계단을 인식하는 시스템의 개략적은 블록도이다.

도 5를 참조하여 설명하면, 계단을 인식하는 시스템은 3차원 데이터 영상을 획득하는 영상 획득부(510), 3차원 데이터 영상을 처리하여 계단을 인식하는 영상 처리부(520), 영상 처리부의 계단 인식 결과를 출력하는 출력부(530)를 포함하여 구성된다. 영상 획득부(510)는 계단이 위치하는 공간의 3차원 데이터 영상을 획득한다. 예를 들어, 영상 획득부(510)는 3차원 데이터 영상을 획득할 수 있도록 스테레오 카메라, TOF 카메라, LRF 센서 또는 키넥트 센서 등을 구비할 수 있다. 영상 처리부(520)는 영상 획득부(510)가 획득한 3차원 데이터 영상을 처리하여 계단을 인식할 수 있도록 마이크로 콘트롤러를 구비할 수 있고, 출력부(530)는 영상 처리부의 계단 인식 결과를 출력할 수 있도록 디스플레이 유닛을 구비할 수 있다. 그리고, 상기 계단을 인식하는 시스템은 휴머노이드 또는 이동 로봇 등에 설치될 수 있다.

510: 영상 획득부 520: 영상 처리부
530: 출력부

Claims

영상 획득부가 계단이 위치하는 공간의 3차원 데이터 영상을 획득하는 단계;
영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 평면 사이의 높이를 계산하고, 상기 계산된 높이에 따라 상기 연속하는 두 평면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 평면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 평면 사이에 위치하는 벽면을 검출하는 단계; 및
상기 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 연속하는 두 벽면 사이의 너비를 계산하고, 상기 계산된 너비에 따라 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 판단하고, 상기 연속하는 두 벽면 사이에 위치하는 포인트들을 통해 상기 연속하는 두 벽면 사이에 위치하는 평면을 검출하는 단계; 를 포함하고,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 바닥 평면과 상기 계단의 첫 번째 평면이 평행함을 통해 상기 첫 번째 평면의 식을 한정하고, 상기 바닥 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 통해 상기 첫 번째 평면의 식을 추정하는 3차원 데이터 영상의 계단 인식 방법.
제1항에 있어서,
상기 영상 처리부가 RANSAC 알고리즘을 이용하여 상기 3차원 데이터 영상에서 상기 계단이 위치하는 바닥 평면을 검출하는 단계; 를 더 포함하는 3차원 데이터 영상의 계단 인식 방법.
제2항에 있어서,
상기 바닥 평면을 검출하는 단계는 다음 식에 따라 상기 바닥 평면의 식을 산출하는 3차원 데이터 영상의 계단 인식 방법.

여기서, a, b, c는 상기 바닥 평면의 법선 벡터의 성분이고, d는 상기 바닥 평면과 원점의 최단 거리를 나타내는 상수이다.
제2항에 있어서,
상기 영상 처리부가 상기 3차원 데이터 영상을 라벨링하여 상기 계단의 영역을 분리하고, 상기 바닥 평면과 상기 분리된 계단 영역의 접선으로부터 상기 계단의 시작을 판단하여 계단 인식을 시작하는 단계; 를 더 포함하는 3차원 데이터 영상의 계단 인식 방법.
삭제
제1항에 있어서,
상기 벽면을 검출하는 단계는 다음 식에 따라 상기 첫 번째 평면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, a, b, c는 상기 첫 번째 평면의 법선 벡터의 성분으로서, 상기 바닥 평면의 법선 벡터의 성분과 동일하고, d'는 상기 첫 번째 평면과 원점의 최단 거리를 나타내는 변수이다.
제1항에 있어서,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 바닥 평면의 식과 상기 추정한 첫 번째 평면의 식을 비교하여 상기 바닥 평면과 상기 추정한 첫 번째 평면 사이의 높이를 계산하는 3차원 데이터 영상의 계단 인식 방법.
제7항에 있어서,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 첫 번째 벽면이 상기 바닥 평면, 및 상기 추정한 첫 번째 평면과 수직함을 통해 상기 첫 번째 벽면의 식을 한정하고, 상기 바닥 평면과 상기 추정한 첫 번째 평면 사이에 위치하는 포인트들을 통해 상기 첫 번째 벽면의 식을 산출하는 3차원 데이터 영상의 계단 인식 방법.
제8항에 있어서,
상기 벽면을 검출하는 단계는 다음 식에 따라 상기 첫 번째 벽면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, n, m, l은 상기 첫 번째 벽면의 법선 벡터의 성분으로서, 상기 첫 번째 벽면의 법선 벡터와 상기 바닥 평면, 및 상기 추정한 첫 번째 평면의 법선 벡터의 내적은 0을 만족하고, k는 상기 첫 번째 벽면과 원점의 최단 거리를 나타내는 변수이다.
제1항에 있어서,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 계단의 연속하는 아래 평면과 위 평면이 평행함을 통해 상기 위 평면의 식을 한정하고, 상기 아래 평면으로부터 미리 정해진 계단 높이 범위에 위치하는 포인트들을 통해 상기 위 평면의 식을 추정하는 3차원 데이터 영상의 계단 인식 방법.
제10항에 있어서,
상기 벽면을 검출하는 단계는 다음 식에 따라 상기 위 평면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, a, b, c는 상기 위 평면의 법선 벡터의 성분으로서, 상기 아래 평면의 법선 벡터의 성분과 동일하고, d'는 상기 위 평면과 원점의 최단 거리를 나타내는 변수이다.
제10항에 있어서,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 아래 평면의 식과 상기 추정한 위 평면의 식을 비교하여 상기 아래 평면과 상기 추정한 위 평면 사이의 높이를 계산하는 3차원 데이터 영상의 계단 인식 방법.
제12항에 있어서,
상기 벽면을 검출하는 단계는 상기 영상 처리부가 상기 벽면이 그 아래 벽면과 평행함을 통해 상기 벽면의 식을 한정하고, 상기 아래 평면과 상기 추정한 위 평면 사이에 위치하는 포인트들을 통해 상기 벽면의 식을 산출하는 3차원 데이터 영상의 계단 인식 방법.
제13항에 있어서,
상기 벽면을 검출하는 단계는 다음 식에 따라 상기 벽면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, n, m, l은 상기 벽면의 법선 벡터의 성분으로서, 상기 그 아래 벽면의 법선 벡터의 성분과 동일하고, k는 상기 벽면과 원점의 최단 거리를 나타내는 변수이다.
제1항에 있어서,
상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 계단의 연속하는 아래 벽면과 위 벽면이 평행함을 통해 상기 위 벽면의 식을 한정하고, 상기 아래 벽면으로부터 미리 정해진 계단 너비 범위에 위치하는 포인트들을 통해 상기 위 벽면의 식을 추정하는 3차원 데이터 영상의 계단 인식 방법.
제15항에 있어서,
상기 평면을 검출하는 단계는 다음 식에 따라 상기 위 벽면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, n, m, l은 상기 위 벽면의 법선 벡터의 성분으로서, 상기 아래 벽면의 법선 벡터의 성분과 동일하고, k'는 상기 위 벽면과 원점의 최단 거리를 나타내는 변수이다.
제15항에 있어서,
상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 아래 벽면의 식과 상기 추정한 위 벽면의 식을 비교하여 상기 아래 벽면과 상기 추정한 위 벽면 사이의 너비를 계산하는 3차원 데이터 영상의 계단 인식 방법.
제17항에 있어서,
상기 평면을 검출하는 단계는 상기 영상 처리부가 상기 평면이 그 아래 평면과 평행함을 통해 상기 평면의 식을 한정하고, 상기 아래 벽면과 상기 추정한 위 벽면 사이에 위치하는 포인트들을 통해 상기 평면의 식을 산출하는 3차원 데이터 영상의 계단 인식 방법.
제18항에 있어서,
상기 평면을 검출하는 단계는 다음 식에 따라 상기 평면의 식을 한정하는 3차원 데이터 영상의 계단 인식 방법.

여기서, a, b, c는 상기 평면의 법선 벡터의 성분으로서, 상기 그 아래 평면의 법선 벡터의 성분과 동일하고, d'는 상기 평면과 원점의 최단 거리를 나타내는 변수이다.
제1항에 있어서,
상기 영상 처리부가 상기 3차원 데이터 영상에서 상기 계단의 끝을 판단하여, 상기 계단이 끝나는 경우 계단 인식을 종료하고, 상기 계단이 끝나지 않는 경우 상기 계단의 다음 벽면과 다음 평면을 검출하는 단계; 를 더 포함하는 3차원 데이터 영상의 계단 인식 방법.
제20항에 있어서,
상기 계단의 끝을 판단하는 단계는 상기 연속하는 두 벽면 사이의 너비가 미리 정해진 임계값 이상인 경우 상기 계단이 끝나는 것으로 판단하는 3차원 데이터 영상의 계단 인식 방법.