KR101973917B1 - 3차원 계측 장치 및 그 계측 지원 처리 방법 - Google Patents

Abstract

3차원 계측 장치에 있어서, 계측 장치 본체는, 거리 센서의 위치 및 방향을 산출한다. 또한, 계측 장치 본체는 거리 센서를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정한다. 또한, 계측 장치 본체는 이동 후보에 있어서 거리 센서에 의해 관측 가능한 특징인 이동 후보내 특징을 취득하고, 이동 후보내 특징을 이용하여 이동 후보에서의 매핑의 안정성을 평가한다. 추가로 또한, 계측 장치 본체는, 평가 결과에 기초하여, 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시한다.

Description

3차원 계측 장치 및 그 계측 지원 처리 방법

본 발명은 예를 들면 생산 현장 및 엘리베이터 승강로 등의 3차원 공간의 치수를 계측하여 3차원 맵을 작성하는 3차원 계측 장치 및 그 계측 지원 처리 방법에 관한 것이다.

예를 들면 생산 현장 및 엘리베이터 승강로 등에서는, 기기의 설치 또는 보수를 위해서 3차원 공간인 작업 환경의 치수를 계측할 필요가 있다. 그러나, 인력에 의한 3차원 공간의 계측은 어렵고, 일부의 지점을 계측하는 것을 잊거나 일부의 계측값이 잘못되어 있거나 하는 일이 자주 발생한다. 이와 같은 경우, 설계의 수정 또는 부재의 재가공 등이 발생하여, 작업의 지연으로 이어진다.

또한, 대상 물건이 고객의 것인 경우, 치수의 재계측을 위해서, 고객에게 현장의 정지(생산 정지 또는 엘리베이터의 운전 정지 등)를 재차 의뢰해야 한다.

이에 대해서, 3차원 공간의 형상을 간단하게 계측(스캔)하고, 그 3차원 형상을 보존함으로써, 모든 지점의 치수를 언제라도 계측할 수 있게 하고, 또한 시뮬레이션 상에서의 설치의 검증을 가능하게 하는 것이 요구되고 있다.

3차원 공간의 형상의 취득 방법의 하나로서, 3D(three-dimensional) 센서를 이용하여 수동으로 스캔하는 방법이 있다. 이 경우, 복수의 계측 데이터로부터 각각 특징을 추출한다. 그리고, 계측 데이터 사이에서 공통되게 관측된 특징이 중첩되도록 계측 데이터를 위치 맞춤하여, 3차원 맵을 작성(갱신)한다. 이와 같은 데이터의 위치 맞춤 처리를 매핑이라고 부른다.

종래의 화상 처리 장치에서는, 제어부에 3차원 맵 생성부가 마련되어 있다. 3차원 맵 생성부는, 카메라를 이동시켜, 2지점에 있어서 촬상된 2개의 2차원 화상에 기초하여 부분적인 3차원 맵을 생성한다. 또한, 제어부는, 가이드 레일 상의 각지점으로부터 카메라로 촬영되게 하여, 얻어진 화상으로부터 전체의 3차원 맵을 생성하여 기억한다. 또한, 제어부는, 기억하고 있는 전체의 3차원 맵에 기초하여, 임의의 촬상 대상 지점을 모두 볼 수 있는 지점을 도출한다. 그리고, 도출한 지점의 근방에서, 촬상 대상 지점을 포함하는 3차원 맵을 생성할 수 있을 때까지 카메라(10)로 촬상하여, 그 부분의 3차원 맵을 생성하고, 촬영 대상 지점의 3차원 맵을 취득한다(예를 들면, 특허문헌 1 참조).

또한, 종래의 자기 위치 추정 방법에서는, 이동체에 탑재된 촬상 장치에 의해 촬상된 화상 중의 특징점을 검출하면서, 이동체의 이동에 수반하는 화상 상에서의 특징점의 변화로부터 이동체 주위의 물체의 위치를 검출함으로써, 자기 위치를 추정한다. 이때, 이동체가 그 자리에서 회전하고 있지 않은 경우에는, 촬상 장치의 촬상 방향을 초기 방향으로 한다. 또한, 이동체가 그 자리에서 회전하고 있는 경우에는, 촬상 장치의 촬상 방향을, 이동체가 회전하기 전에 취득한 화상에 존재한 특징점 중 적어도 일부를 촬상 가능한 방향으로 한다. 이것에 의해, 특징점을 로스트 할 가능성을 저감시켜, 자기 위치 추정이 계속적으로 실시 가능하게 된다(예를 들면, 특허문헌 2 참조).

일본 특개 2009-155056호 공보 일본 특허 제5310285호 공보

특허문헌 1에 제시된 종래의 화상 처리 장치에서는, 매핑의 안정성 평가를 행하는 것이 카메라의 이동 후여서, 최적의 시점은 시행 착오에 의해 결정하지 않으면 안 된다.

또한, 특허문헌 2에 제시된 종래의 자기 위치 추정 방법에서는, 매핑의 안정성을 평가하고 있지 않기 때문에, 센서 경로에 따라서는 정밀도가 저하될 우려가 있다.

본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 보다 스무드하고 정밀도 좋게 3차원 맵을 작성할 수 있는 3차원 계측 장치 및 그 계측 지원 처리 방법을 얻는 것을 목적으로 한다.

본 발명에 따른 3차원 계측 장치는, 계측 대상까지의 거리의 계측 데이터를 3차원 공간 내의 점의 집합으로서 취득 가능한 거리 센서, 및 거리 센서로 취득한 복수의 계측 데이터로부터 특징을 추출하고, 추출한 특징을 중첩시킴으로써 3차원 맵을 작성하는 계측 장치 본체를 구비하고, 계측 장치 본체는, 거리 센서의 위치 및 방향을 산출하고, 거리 센서를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정하며, 이동 후보에 있어서 거리 센서에 의해 관측 가능한 특징인 이동 후보내 특징을 취득하고, 이동 후보내 특징을 이용하여 이동 후보에서의 매핑의 안정성을 평가하며, 평가 결과에 기초하여, 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시한다.

또한, 본 발명에 따른 3차원 계측 장치의 계측 지원 처리 방법은, 계측 대상까지의 거리의 계측 데이터를 3차원 공간 내의 점의 집합으로서 취득 가능한 거리 센서와, 상기 거리 센서로 취득한 복수의 계측 데이터로부터 특징을 추출하고, 추출한 상기 특징을 중첩시킴으로써 3차원 맵을 작성하는 계측 장치 본체를 구비하고 있는 3차원 계측 장치의 계측 장치 본체에 의해서, 3차원 계측을 지원하는 처리 방법으로서, 거리 센서의 위치 및 방향을 산출하는 스텝, 거리 센서를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정하는 스텝, 이동 후보에 있어서 거리 센서에 의해 관측 가능한 특징인 이동 후보내 특징을 취득하는 스텝, 이동 후보내 특징을 이용하여 이동 후보에서의 매핑의 안정성을 평가하는 스텝, 및 평가 결과에 기초하여, 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시하는 스텝을 포함한다.

본 발명의 3차원 계측 장치 및 그 계측 지원 처리 방법은, 매핑의 안정성의 평가 결과에 기초하여, 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시하므로, 보다 스무드하고 정밀도 좋게 3차원 맵을 작성할 수 있다.

도 1은 본 발명의 실시 형태 1에 따른 3차원 계측 장치를 나타내는 블록도이다.
도 2는 사용자가 실시 형태 1의 3차원 계측 장치에 의해 계측 대상을 스캔하여 3차원 맵을 작성하고 있는 모습을 나타내는 평면도이다.
도 3은 도 2의 작업의 모습을 사용자의 후방에서 본 도면이다.
도 4는 도 1의 특징 추출부에 의한 형상적인 특징의 추출 방법의 예를 나타내는 설명도이다.
도 5는 도 1의 특징 추출부에 의해 얻어진 제1 및 제2 특징점 그룹을 늘어놓아 나타내는 설명도이다.
도 6은 도 5의 제1 및 제2 특징점 그룹의 공통 부분을 중첩시킨 상태를 나타내는 설명도이다.
도 7은 도 6의 제1 및 제2 특징점 그룹에 제3 및 제4 특징점 그룹의 공통 부분을 중첩시킨 상태를 나타내는 설명도이다.
도 8은 예측 오차가 작은 경우의 매핑 결과의 일례를 나타내는 설명도이다.
도 9는 예측 오차가 큰 경우의 매핑 결과의 일례를 나타내는 설명도이다.
도 10은 도 1의 출력부에 의한 표시장치에의 표시 내용의 일례를 나타내는 설명도이다.
도 11은 도 10의 3차원 맵 표시 영역에 대응하는 매핑 작업의 모습을 나타내는 설명도이다.
도 12는 도 1의 출력부에 의해 표시장치에 표시된 엘리베이터 승강로의 수평 단면의 일례를 나타내는 설명도이다.
도 13은 도 1의 출력부에 의해 표시장치에 표시된 엘리베이터 승강로의 수직 단면의 일례를 나타내는 설명도이다.
도 14는 도 1의 계측 장치 본체의 동작을 나타내는 순서도이다.
도 15는 본 발명의 실시 형태 2에 따른 3차원 계측 장치를 나타내는 블록도이다.
도 16은 도 15의 특징 추출부에 의한 시각적인 특징의 추출 방법의 예를 나타내는 설명도이다.
도 17은 본 발명의 실시 형태 3에 따른 3차원 계측 장치를 나타내는 정면도이다.
도 18은 도 17의 3차원 계측 장치를 나타내는 배면도이다.
도 19는 본 발명의 실시 형태 4에 따른 3차원 계측 장치를 나타내는 블록도이다.
도 20은 도 19의 계측 장치 본체의 동작을 나타내는 순서도이다.
도 21은 본 발명의 실시 형태 5에 따른 3차원 계측 장치를 나타내는 블록도이다.
도 22는 도 21의 계측 장치 본체의 동작을 나타내는 순서도이다.
도 23은 본 발명의 실시 형태 6에 따른 3차원 계측 장치를 나타내는 블록도이다.
도 24는 도 23의 계측 장치 본체의 동작을 나타내는 순서도이다.
도 25는 실시 형태 1~6의 3차원 계측 장치를 이용하여 엘리베이터 승강로의 피트(pit) 내의 3차원 맵을 작성하는 모습을 나타내는 평면도이다.
도 26은 실시 형태 1~6의 3차원 계측 장치를 이동 로봇에 탑재한 상태를 나타내는 사시도이다.

이하, 본 발명을 실시하기 위한 형태에 대해서, 도면을 참조하여 설명한다.

실시 형태 1.

도 1은 본 발명의 실시 형태 1에 따른 3차원 계측 장치를 나타내는 블록도이다. 도면에 있어서, 3차원 계측 장치는, 계측 장치 본체(1)와, 계측 장치 본체(1)에 접속되어 있는 거리 센서(2)를 가지고 있다.

거리 센서(2)는, 계측 대상까지의 거리의 계측 데이터인 거리 데이터를, 3차원 공간 내의 점의 집합(3차원 점 그룹)으로서 취득 가능한 센서이다. 거리의 계측 방식으로서는, 예를 들면, ToF(Time of Flight) 방식, 또는 프로젝터와 카메라를 이용한 시스템에 의한 패턴 투광을 이용한 액티브 스테레오 방식 등, 여러 가지 방식을 이용할 수 있다.

또한, 거리 센서(2)는 사용자가 손에 유지하여 수동으로 움직여도 되고, 대차 등에 설치하여 대차를 작동시킴으로써 계측을 행해도 된다. 거리의 측정은, 사용자가 지령을 입력한 타이밍에 행할 수도, 미리 설정한 시간 간격마다 자동적으로 행할 수도 있다.

계측 장치 본체(1)는 연산 처리부(CPU), 기억부(ROM, RAM 및 하드디스크 등) 및 신호 입출력부를 가진 컴퓨터에 의해 구성할 수 있다. 계측 장치 본체(1)의 기능은, 컴퓨터에 의해 실현된다. 즉, 컴퓨터의 기억부에는, 계측 장치 본체(1)의 기능을 실현하기 위한 프로그램이 격납되어 있다. 또한, 계측 장치 본체(1)를 구성하는 컴퓨터로서는, 예를 들면 태블릿 PC(판 모양 퍼스널 컴퓨터)를 이용할 수 있다.

여기서, 도 2는 사용자가 실시 형태 1의 3차원 계측 장치에 의해 계측 대상을 스캔하여 3차원 맵을 작성하고 있는 모습을 나타내는 평면도, 도 3은 도 2의 작업의 모습을 사용자의 후방에서 본 도면이다. 도 2, 3에 나타내는 바와 같이, 계측 장치 본체(1)로서 태블릿 PC를 이용하여, 거리 센서(2)를 계측 장치 본체(1)에 고정시켰을 경우, 사용자는 3차원 계측 장치를 손에 유지하고, 이동하거나 회전하거나 할 수 있다. 즉, 병진(竝進) 및 회전의 6자유도에 대응할 수 있다.

계측 장치 본체(1)는, 기능 블록으로서, 특징 추출부(11), 매핑부(12), 기억부(13), 이동 후보 결정부(14), 등록 특징 취득부(15), 매핑 평가부(16), 및 출력부(17)를 가지고 있다.

특징 추출부(11)는, 거리 센서(2)로부터 얻은 복수의 계측 데이터에 기초하여, 계측 대상의 특징을 추출한다. 추출하는 특징에는, 형상적 특징과, 이른바 프리미티브(primitive)가 포함되어 있다. 형상적 특징에는, 예를 들면, 능선 등의 직선, 정점 등의 점, 직선의 방향, 및 면의 법선 등이 포함되어 있다. 또한, 프리미티브에는, 예를 들면 원, 사각 및 구 등이 포함되어 있다.

특징 추출 방법으로서, 정점의 추출에는, 예를 들면 곡률 산출법을 이용할 수 있다. 또한, 능선의 추출에는, 예를 들면 허프 변환법을 이용할 수 있다. 또한, 프리미티브의 추출에는, 예를 들면, 3D모델을 이용한 모델 피팅법을 이용할 수 있다.

도 4는 도 1의 특징 추출부(11)에 의한 형상적인 특징의 추출 방법의 예를 나타내는 설명도이다. 예를 들면, 거리 센서(2)에 의해 직육면체를 계측하면, 계측 데이터로서 도 4에 나타내는 바와 같은 3차원 점 그룹(21)이 얻어진다. 이 3차원 점 그룹(21)에 대해서, 프리미티브 피팅을 행함으로써 복수의 평면(21a)을 추출할 수 있다. 또한, 마찬가지의 프리미티브 피팅에 의해, 구 등도 추출할 수 있다.

또한, 3차원 점 그룹(21)에 대해서, 주위의 구배 변화가 급격한 점을 검출하고, 그들 점을 연결하는 직선을 검출함으로써, 복수의 능선(21b)을 추출할 수 있다. 추가로 또한, 주목점 주위의 곡률이 높거나, 혹은 능선의 교점 등의 정보로부터, 복수의 정점(21c)을 추출할 수 있다.

매핑부(12)는, 추출한 특징을 이용하여, 다른 계측 데이터 사이에서 공통되게 관측된 특징을 중첩시켜, 계측 데이터의 위치 맞춤을 함으로써 3차원 맵의 작성 및 갱신을 행한다.

또한, 매핑부(12)는, 위치 맞춤 결과에 기초하여, 데이터 취득시의 거리 센서(2)의 위치 및 방향(이하, 센서 위치 방향이라고 칭함)을 산출한다. 또한, 매핑부(12)는, 기억부(13)에 대해서, 3차원 맵 정보, 센서 위치 정보, 및 센서 방향 정보의 추가 및 갱신을 행한다. 기억부(13)는 매핑부(12)로부터 얻은 정보를 기억한다.

구체적인 매핑 방법의 일례로서, 매핑부(12)는, 우선 적어도 2개의 계측 데이터, 즉 3D 데이터를 선택한다. 이어서, 선택한 3D 데이터로부터 특징을 추출한다. 이때, 어떠한 특징을 추출하여 이용하는가에 따라서, 중첩의 계산시에 다른 구속 조건이 얻어진다.

이후, 매핑부(12)는 3D 데이터 사이에서 특징을 대응짓는다. 즉, 공통된 특징을 찾는다. 그리고, 3D 데이터간의 특징이 중첩되도록 좌표 변환한다. 예를 들면, 이동 전의 3D 데이터를 기준으로 하여, 이동 후의 3D 데이터 내의 특징이, 이동 전의 3D 데이터 내의 특징과 중첩되도록, 이동 후의 3D 데이터를 좌표 변환한다.

이 경우, 거리 센서(2)의 이동 전에 대한 이동 후의 상대적인 위치 자세 관계가 얻어진다. 실상은, 좌표변환을 위한 변환 행렬, 즉 거리 센서(2)의 상대적인 위치 자세 정보로부터 이루어지는 행렬을 계산한다. 변환 행렬의 계산에는 점(2D, 3D 중 어느 것도 가능), 선(2D, 3D), 및 면(3D) 등의 특징 중 적어도 1종류를 이용한다.

도 5는 도 1의 특징 추출부(11)에 의해 얻어진 제1 및 제2 특징점 그룹 t1, t2를 늘어놓아 나타내는 설명도, 도 6은 도 5의 제1 및 제2 특징점 그룹 t1, t2의 공통 부분을 중첩시킨 상태를 나타내는 설명도, 도 7은 도 6의 제1 및 제2 특징점 그룹 t1, t2에 제3 및 제4 특징점 그룹의 공통 부분을 중첩시킨 상태를 나타내는 설명도이다.

매핑부(12)는, 제1 계측 데이터에 포함되는 제1 특징점 그룹 t1과 제2 계측 데이터에 포함되는 제2 특징점 그룹 t2를 비교하여, 양자의 공통 부분을 검출한다. 그리고, 공통 부분(도 6의 점선 내)이 중첩되도록, 제2 계측 데이터의 좌표를 변환한다.

이후, 매핑부(12)는, 제3 계측 데이터에 포함되는 제3 특징점 그룹 t3를, 특징점 그룹 t1, t2와 비교하여, 공통 부분을 검출하고, 공통 부분이 중첩되도록, 제3 계측 데이터의 좌표를 변환한다. 이어서, 제4 계측 데이터에 포함되는 제4 특징점 그룹 t4를, 특징점 그룹 t1, t2, t3와 비교하여, 공통 부분을 검출하고, 공통 부분이 중첩되도록, 제4 계측 데이터의 좌표를 변환한다. 이와 같은 처리를 반복하여, 3차원 맵을 작성한다.

이동 후보 결정부(14)는 거리 센서(2)를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정한다. 이동 후보는 1개뿐이어도 2개 이상이어도 된다. 또한, 위치의 이동 후보는 현재 위치여도 된다.

추가로, 예를 들면 상하좌우로 병진 10cm 또한 회전 10도씩 이동한 4방향 등, 현재의 센서 위치 방향에 대해서, 상대적으로 일정한 위치 및 방향만큼 이동한 지점을 이동 후보로 해도 된다. 추가로 또한, 이동 후보로서, 이동할 위치와 방향을 수동으로 입력해도 된다. 또한, 현재 위치까지의 거리 센서(2)의 이동 궤적으로부터, 거리 센서(2)가 다음에 이동할 위치와 방향을 예측하고, 예측된 위치와 방향을 이동 후보로 해도 된다.

등록 특징 취득부(15)는, 3차원 맵 내에 등록된 특징 중, 이동 후보에 있어서 거리 센서(2)가 관측 가능하다고 추정되는 특징인 이동 후보내 특징을 취득한다.

매핑 평가부(16)는, 등록 특징 취득부(15)에 의해 취득한 이동 후보내 특징을 이용하여, 이동 후보에서의 매핑의 안정성을 평가한다. 안정성 평가의 방법 중 하나로서, 위치 맞춤에 필요한 최소한의 수의 특징이 관측 가능한지 여부를 판정, 즉 위치 맞춤을 위한 계산 자체가 가능한지 여부를 판정하는 방법이 있다. 이 경우, 예를 들면, 특징수가, 미리 설정된 개수 이하이면 계산 불가로 판정한다.

그 밖의 안정성 평가의 방법으로서, 특징의 종류와 배치로부터 매핑에 있어서의 예측 오차를 산출하는 방법이 있다. 특징의 배치란, 이동 후보에 있어서의 센서 시야 내의 관측 가능한 특징의 분포이다.

계측 오차가 없으면, 도 6에 나타내는 바와 같이, 매핑에 의해 산출된 센서 위치 방향은, 실제의 센서 위치 방향과 동일하다. 또한, 계측 오차가 있는 경우여도, 도 8에 나타내는 바와 같이, 다른 특징점 그룹 t1, t2의 공통 부분이 비교적 광범위하게 분산되어 있으면, 매핑에 의해 산출된 센서 위치 방향은, 실제의 센서 위치 방향과 거의 같다고 추정되어, 예측 오차는 작다.

한편, 계측 오차가 있는 경우에 있어서, 도 9에 나타내는 바와 같이 다른 특징점 그룹 t1, t2의 공통 부분이 비교적 좁은 범위에 편재되어 있는 경우, 매핑에 의해 산출된 센서 위치 방향과, 실제의 센서 위치 방향 사이의 예측 오차는 크다.

예측 오차의 산출 방법으로서는, 관측 가능한 특징의 위치가 미소 변화된 경우에 발생하는 계측 데이터의 위치 맞춤 오차를 이용하는 방법이 있다. 이 경우, 특징의 분포가 센서 시야 내에서 한쪽으로 치우쳐 있을수록 위치 맞춤 오차가 커지기 쉽다. 또한, 특징의 수가 적을수록, 특징의 위치가 변화된 경우의 위치 맞춤 오차가 상대적으로 커지기 쉽다. 따라서, 센서 시야 내의 특징수가 많을수록 좋은 평가가 이루어진다.

이때, 특징의 위치의 미소 변화량은, 실제로 센서 데이터로부터 특징을 추출할 때에 발생할 수 있는 특징의 위치 어긋남양으로서 정의할 수 있어, ToF 방식의 거리 센서(2)이면 측거(測距)의 분해능(깊이 방향의 계측 오차, 수평(수직) 방향의 측거 간격 등), 카메라를 이용한 거리 센서(2)이면 1화소로서 결정하는 방법이 있다.

계측 오차가 전혀 없는 이상적인 상태에 있어서는, 예측 오차의 크기에 상관없이, 매핑시에 발생하는 계측 데이터의 중첩 오차는 제로로 되는 것이 기대된다. 그러나, 실제의 계측에서는 반드시 오차가 발생하기 때문에, 예측 오차가 클수록 실제로 매핑했을 때의 계측 데이터의 중첩 오차도 커지는 것이 상정된다.

반대로, 예측 오차가 작은 경우에는, 계측 데이터에 오차가 발생하는 경우에도 매핑시의 중첩 오차는 작게 되는 경향이 있다.

구체적인 매핑 평가 방법의 일례로서, 매핑 평가부(16)는, 우선 매핑의 평가를 하고 싶은 센서 위치 자세를 1개 선택한다. 이때, 예를 들면, 현재의 센서 위치 자세에 대해서 일정량만큼 시프트된 위치 자세로 한다. 이어서, 매핑 평가부(16)는 선택한 센서 위치 자세로 관측 가능한 특징을 작성 완료된 맵으로부터 취득한다.

이후, 매핑 평가부(16)는 취득한 특징을 이용하여 매핑이 가능한지 여부를 판정한다. 예를 들면, 3D 점이면 적어도 다른 3점, 면이면 적어도 다른 3면이 필요하다. 복수의 특징을 병용하는 경우, 3D 점 2개와 면 1개 등, 필요 최소한의 특징수는 특징의 조합에 따라서 변화한다. 이와 같이 매핑 가부의 판단 기준은 사용하는 특징에 따라서 다르다.

매핑 가능하면, 모든 특징을 이용하여 매핑을 실행한다. 또한, 매핑에 이용하는 특징의 위치(평면의 법선이면 방향)를 시프트시켜 매핑을 실행한다. 이때, 예를 들면, 화상 상에서 1픽셀만큼 시프트시키거나, 공간 내에서 1mm만큼 시프트시키거나 한다.

또한, 취득한 특징 중에서 매핑이 가능한 최소한 혹은 그 이상의 수의 특징을 이용하여 매핑을 실행한다. 이들 매핑 방법 중 어느 하나, 혹은 조합에 의해 얻어지는 복수의 매핑 결과로부터, 센서 위치 자세의 상대 변화량을 이용한 통계량을 취득하고, 통계량에 기초하여 평가값을 계산한다.

예를 들면, 평가값이 되는 통계량을 센서 위치 자세의 상대 변화량의 분산값으로 했을 경우, 값이 작을수록 좋은 평가인 것으로 한다.

또한, 평가값은 특징의 재투영 오차로 해도 된다. 재투영 오차는, 산출된 센서의 위치 자세를 이용하여, 맵 내의 특징을 각 센서 위치 자세에서 취득되는 2D 화상에 투영하고, 원래의 2D 화상 상의 특징의 2D 위치와, 투영된 특징의 2D 위치의 차로서 계산된다. 이것은 당해 기술 분야의 기본적인 평가 방법 중 하나이다.

추가로, 보다 간이적으로, 센서 시야 내의 특징의 분포의 치우침 및 밀도 중 적어도 어느 한쪽을 평가값으로서 이용해도 된다. 이 경우, 치우침이 클수록 평가가 나쁘고, 밀도가 높을수록 평가가 좋은 것으로 한다.

또한, 예측한 거리 센서(2)의 이동 방향을 평가에 이용해도 된다. 이 경우, 예를 들면, 센서의 이동 방향으로 특징이 많이 존재하는 경우에, 평가가 좋은 것으로 한다.

출력부(17)는, 매핑 평가부(16)로부터 얻어지는 평가 결과에 기초하여, 이동 후보에 대응하는 거리 센서(2)의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시한다. 제시 방법으로서는, 디스플레이 등의 표시장치를 이용하여 도시하는 방법과, 음성에 의한 방법이 있다.

여기서, 이동 방향은 거리 센서(2)의 현재 위치로부터 매핑의 안정성을 평가한 이동 후보로 향하는 방향으로서 얻어진다. 이동 속도는 거리 센서(2)의 취득 데이터에 이동 속도에 기인하는 블러(blur)가 발생하지 않는 속도, 혹은 거리 센서(2)의 현재 위치로부터 매핑의 안정성을 평가한 이동 후보까지의 거리를, 거리 센서(2)의 데이터 취득의 시간 간격으로 나누는 등에 의해서 얻어진다. 이동 속도는 절대값으로서 취득해도 되고, 전회의 데이터 취득시의 거리 센서(2)의 이동 속도에 대한 상대값으로서 취득해도 된다.

표시장치를 이용하여 제시하는 내용으로서는, A) 현재 거리 센서(2)로부터 취득하고 있는 계측 데이터 및 추출된 특징 등의 처리 결과와, B) 생성된 3차원 맵의 부감도 및 센서 위치 방향 등, 기억부(13)에 등록된 정보의 2개가 있다. A와 B를 동시에 사용자에게 제시함으로써, 스캔 상황의 파악이 용이하게 된다. 이때, 3차원 맵에 있어서의 센서 위치 방향을 B에 중첩시키면, 상황 파악은 더 용이하다.

도 10은 도 1의 출력부(17)에 의한 표시장치에의 표시 내용의 일례를 나타내는 설명도로서, 표시장치인 태블릿 PC의 표시부(1a)에 표시하는 예를 나타내고 있다. 이 예에서는, 표시부(1a)가 좌우 2개로 분할되어 있고, 좌측이 계측 상황 표시 영역(1b), 우측이 3차원 맵 표시 영역(1c)으로 되어 있다.

계측 상황 표시 영역(1b)에는, 거리 센서(2)에 의한 현재의 계측 상황과, 출력부(17)에 의한 거리 센서(2)의 이동 방향 및 이동 속도의 제시 내용이 표시된다. 3차원 맵 표시 영역(1c)에는, 작성 중인 3차원 맵이 표시된다.

계측 상황 표시 영역(1b)의 주위 4변에는, 테두리부(1d)가 마련되어 있다. 테두리부(1d)는 매핑 완료된 영역의 방향과 미계측 영역의 방향을 구별하여 표시하고 있다. 도 10의 예에서는, 매핑 완료된 영역의 방향과 미계측 영역의 방향을 다른 색 또는 농담으로 구별하고 있다. 예를 들면, 도 10에서는, 짙은 부분이 매핑 완료된 영역의 방향을 나타내고 있다. 또한, 미계측 영역의 검출에 대해서는, 후술하는 실시 형태 6에서 설명한다.

또한, 계측 상황 표시 영역(1b)의 중앙, 즉 테두리부(1d)로 둘러싸인 부분에는, 추출된 특징, 및 제시된 거리 센서(2)의 이동 방향 및 이동 속도가 표시되어 있다. 이 예에서는, 특징이 삼각형으로 도시되어 있고, 거리 센서(2)의 이동 방향이 화살표의 방향으로 도시되어 있으며, 거리 센서(2)의 이동 속도가 화살표의 길이로 도시되어 있다.

3차원 맵 표시 영역(1c)에는, 작성되어 있는 3차원 맵이 매핑 작업에 연동하여 표시된다. 도 11은 도 10의 3차원 맵 표시 영역(1c)에 대응하는 매핑 작업의 모습을 나타내는 설명도로서, 거리 센서(2)의 경로를 화살표로 나타내고 있고, 거리 센서(2)의 시야를 점선의 사각으로 나타내고 있다.

상기의 B에 있어서는, 계측 대상에 의해서 부감하는 시점을 변경하는 것도 유효하다. 일례로서, 엘리베이터 승강로와 같은 폐쇄 공간 내가 계측 대상이 되는 경우는, 도 12에 나타내는 바와 같이, 3차원 맵을 바로 위부터 부감한 시점(수평 단면이어도 됨)과, 도 13에 나타내는 바와 같이, 거리 센서(2)의 광축 방향이 보이는 수직 단면의 2시점의 부감도가 있으면 된다. 이것에 의해, 2차원의 도면과 3차원 형상 양방을 대응짓는 것이 용이하게 된다. 또한, 도 12 및 도 13에 있어서, 삼각형의 마크는 센서 위치 방향을 나타내고 있다.

이때, 수평 단면도의 투영 방식을 평행 투영하면, 2차원의 도면에 보다 가까운 표시가 되어, 직감적인 이해가 용이하게 된다. 또한, 수직 단면도의 투영 방식을 투시 투영으로 하면, 3차원적인 외형에 가까운 표시가 되어, 직감적인 이해가 용이하게 된다.

그 밖의 예로서, 부품 검사 등의 목적으로 물체의 외관이 계측 대상이 되는 경우에는, 계측 대상에 대해서 사각이 없게 둘러싸도록 하는 복수 시점의 부감도를 표시하면, 계측 데이터가 얻어지지 않은 부분을 용이하게 발견할 수 있다.

상기의 A 혹은 B에, 추천되는 거리 센서(2)의 이동 방향, 혹은 이동할 수 없을 방향을 중첩시켜 표시함으로써, 거리 센서(2)를 이동시켜야 할 방향이 직감적으로 이해될 수 있다. 이동 방향을 화살표로 중첩 표시하는 경우에는, 화살표의 길이 변경 또는 점멸 표시 등의 시각 효과를 더함으로써, 사용자는 현재의 거리 센서(2)의 이동 속도가 너무 빠른지 너무 늦는지를 직감적으로 알 수 있다.

음성에 의해 사용자에게 정보 제시하는 경우는, 표시장치를 보는 일 없이 스캔 유도를 실현할 수 있다고 하는 이점이 있다. 또한, 표시장치에 의한 제시와 음성에 의한 제시를 병행함으로써, 보다 복잡한 유도가 가능하게 된다.

다음으로, 도 14는 도 1의 계측 장치 본체(1)의 동작을 나타내는 순서도이다. 처리를 개시하면, 계측 장치 본체(1)는, 거리 센서(2)로부터 계측 데이터를 취득하고(스텝 S1), 계측 데이터로부터 특징을 추출한다(스텝 S2). 다음으로, 계측 장치 본체(1)는 복수의 계측 데이터의 특징을 중첩시킴으로써 3차원 맵을 작성한다(스텝 S3). 이후, 매핑이 성공했는지 여부를 판정하여(스텝 S4), 성공했다면 3차원 맵을 갱신한다(스텝 S5).

매핑이 실패했을 경우, 매핑을 종료할지 여부를 사용자에게 확인한다(스텝 S12). 그리고, 매핑을 계속하는 경우에는, 사용자에 대해서 거리 센서(2)를 이동시키도록 알리고(스텝 S13) 스텝 1로 돌아간다.

매핑에 성공하여, 3차원 맵을 갱신했을 경우, 거리 센서(2)의 현재 위치 및 방향을 산출하여, 갱신한다(스텝 S6). 이어서, 거리 센서(2)의 이동 후보를 결정하고(스텝 S7), 이동 후보내 특징을 취득한다(스텝 S8).

이후, 계측 장치 본체(1)는, 이동 후보내 특징을 이용하여 이동 후보에서의 매핑의 안정성을 평가한다(스텝 S9). 이 매핑 평가는, 모든 이동 후보에서의 매핑의 안정성을 평가할 때까지 행한다(스텝 S9, S10).

모든 이동 후보의 매핑 평가를 종료하면, 계측 장치 본체(1)는, 평가 결과로서, 거리 센서(2)의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시한다(스텝 S11). 그리고, 매핑을 종료할지 여부를 사용자에게 확인하고(스텝 S12), 매핑을 계속하는 경우에는, 사용자에 대해서 거리 센서(2)를 이동시키도록 알리고(스텝 S13) 스텝 1로 돌아간다. 또한, 사용자에 의해 매핑의 종료가 입력되면, 처리를 종료한다.

이와 같은 3차원 계측 장치 및 그 계측 지원 처리 방법에서는, 매핑의 안정성의 평가 결과에 기초하여, 거리 센서(2)의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시하므로, 보다 스무드하고 정밀도 좋게 3차원 맵을 작성할 수 있다.

즉, 각 계측 데이터 및 추출된 특징을 눈으로 확인하는 것만으로는, 매핑의 성공 여부 및 정밀도를 예상하는 것은 어렵지만, 계측 장치 본체(1)에 의해 이동 후보에 있어서의 매핑의 안정성의 평가가 행해져서, 매핑에 실패할 센서의 이동 방향을 사전에 알 수 있기 때문에, 매핑의 실패를 방지할 수 있어, 스캔 작업의 재시도에 의한 수고를 저감할 수 있다. 또한, 보다 정밀도 좋게 매핑 할 수 있는 이동 방향을 알 수 있기 때문에, 매핑의 정밀도 향상을 기대할 수 있다. 또한, 정밀도가 좋아질 때까지 시행 착오적으로 다시 반복 스캔할 필요가 없게 된다.

실시 형태 2.

다음으로, 도 15는 본 발명의 실시 형태 2에 따른 3차원 계측 장치를 나타내는 블록도이다. 실시 형태 2에서는, 거리 센서(2)에 더하여, 컬러 또는 모노크롬의 2차원 화상을 촬영 가능한 가시 카메라(4)가 병용되고 있고, 거리 데이터로부터 추출되는 형상적인 특징만이 아니라, 화상 데이터로부터 추출되는 시각적인 특징도 동시에 이용하여 매핑이 행해진다.

특징 추출부(11)는, 거리 센서(2)로부터 얻은 거리 데이터로부터 특징을 추출하는 것과 함께, 가시 카메라(4)로부터 얻은 화상 데이터로부터 시각적인 특징, 예를 들면 특징점 및 직선 등을 추출한다. 화상 데이터로부터의 특징 추출 방법으로서는, 예를 들면, 특징점이면 물체의 모서리에 해당하는 코너점으로서 허프 변환을 적용할 수 있다. 또한, 직선이면, 화상으로부터 물체 윤곽을 검출한 다음에, 윤곽에 대해서 허프 변환을 적용할 수 있다.

도 16은 도 15의 특징 추출부(11)에 의한 시각적인 특징의 추출 방법의 예를 나타내는 설명도로서, 가시 카메라(4)에 의해 촬영된 화상을 나타내고 있다. 도 16에 있어서, ×표는, 추출된 특징점을 나타내고 있다.

특징 추출부(11)에서는, 주목점 주위의 색상 변화가 큰 점이 특징점으로서 추출된다. 이때, 직선의 추출은 가능하지만, 예를 들면 직선 상의 점과 같이, 근방의 점과 구별이 되지 않는 점은, 색상 변화가 컸다고 해도 특징점으로서는 추출되지 않는다. 또한, 기둥의 모서리, 및 벽에 붙여져 있는 포스터(22)의 모서리가 특징점으로서 추출된다. 추가로, 포스터(22)의 모양 등으로부터 특징점을 추출할 수도 있다.

매핑부(12), 기억부(13), 등록 특징 취득부(15) 및 매핑 평가부(16)에 있어서도, 거리 데이터로부터 얻은 특징에 더하여, 화상 데이터로부터 얻은 특징도 이용한다. 다른 구성 및 동작은, 실시 형태 1과 마찬가지이다.

이와 같은 3차원 계측 장치 및 그 계측 지원 처리 방법에 의하면, 보다 많은 특징을 이용할 수 있어서, 매핑의 안정성을 보다 향상시킬 수 있다.

또한, 가시 카메라(4)는 거리 센서(2)와 일체화시켜도 별체로 구성해도 된다.

실시 형태 3.

다음으로, 도 17은 본 발명의 실시 형태 3에 따른 3차원 계측 장치를 나타내는 정면도, 도 18은 도 17의 3차원 계측 장치를 나타내는 배면도이다. 실시 형태 3에서는, 거리 센서(2) 및 가시 카메라(4)가 탑재된 하우징(5)이 계측 장치 본체(1)에 고정되어 있다. 거리 센서(2)로서는, 거리계측용 카메라가 이용되고 있다.

또한, 하우징(5)에는, 조명 장치(6) 및 프로젝터(7)도 탑재되어 있다. 하우징(5)과 계측 장치 본체(1)는, 케이블(8)을 통해서 서로 접속되어 있다. 하우징(5)에 탑재된 기기는, 케이블(8)을 통해서 계측 장치 본체(1)로부터 급전된다. 또한, 거리 센서(2) 및 가시 카메라(4)는, 케이블(8)을 통해서 계측 장치 본체(1)에 데이터를 송신한다. 추가로, 하우징(5)에 탑재된 기기는, 케이블(8)을 통해서 계측 장치 본체(1)로부터의 지령 신호를 받는다.

프로젝터(7)는 계측 대상에 대해서 패턴 투광을 행한다. 거리 센서(2)는 투광된 패턴을 촬영하고, 액티브 스테레오 방식으로 거리 데이터를 검출한다. 조명 장치(6)는 계측 대상에 대해서 광을 조사한다. 다른 구성 및 동작은, 실시 형태 2와 마찬가지이다.

이와 같이, 거리 센서(2)의 계측 방법으로서, 프로젝터와 카메라를 이용한 시스템에 의한 패턴 투광을 이용한 액티브 스테레오 방식을 이용해도 된다.

또한, 조명 장치(6)로 계측 대상에 광을 비춤으로써, 엘리베이터 승강로의 피트 등의 어두운 장소에서 계측하는 경우에도, 가시 카메라(4)에 의해 얻어진 화상 데이터로부터 시각적 특징을 추출하는 것이 용이하게 된다.

게다가, 거리 센서(2) 및 가시 카메라(4)와 조명 장치(6)를 일체화시켰기 때문에, 이것들의 위치 관계가 항상 일정하게 되어, 시점의 차이에 의한 보이는 모습의 차이를 저감시킬 수 있다. 또한, 계측 대상과 조명 장치(6)의 사이에 차폐물이 존재함으로써 그림자가 생길 가능성도 저감시킬 수 있다.

또한, 실시 형태 3에서는, 조명 장치(6)를 거리 센서(2) 및 가시 카메라(4)와 일체화시켰지만, 예를 들면 승강로 피트 등의 계측 환경에 설치되어 있는 조명 장치를 이용해도 된다.

실시 형태 4.

다음으로, 도 19는 본 발명의 실시 형태 4에 따른 3차원 계측 장치를 나타내는 블록도이다. 실시 형태 4의 계측 장치 본체(1)는, 작성 중인 3차원 맵 내에서 매핑이 안정되는 촬영 지점을 탐색하는 안정 위치 탐색부(18)를 더 가지고 있다. 또한, 매핑 평가부(16)는 등록된 센서 위치 방향에 있어서의 평가 결과를 기억부에 등록한다. 추가로, 출력부(17)는 안정 위치 탐색부(18)에 의해 얻어지는 촬영 지점을 사용자에게 제시한다.

안정 위치 탐색부(18)는, 기억부(13)에 등록되어 있는 센서 위치 방향마다의 매핑 평가 결과 중, 평가 결과가 좋은 위치를 탐색한다. 출력하는 위치의 우선 순위의 기준으로서는, 매핑의 평가값의 크기와 현재 위치로부터의 가까운 정도를 고려한 평가 함수의 값에 의해서 결정한다.

사용되는 평가 함수는, 항상 같은 것이어도 되고, 상황에 따라서 사용자가 우선 항목을 선택함으로써 변경해도 된다. 안정 위치 탐색부(18)가 안정 위치의 탐색을 개시하는 것은, 매핑에 실패했을 때, 또는 현재 위치의 매핑 평가값이 일정 이하가 되었을 때이다. 이것들 중 어느 것에 더하여, 사용자가 지정했을 때로 해도 된다. 다른 구성 및 동작은, 실시 형태 1, 2, 또는 3과 마찬가지이다.

도 20은 도 19의 계측 장치 본체(1)의 동작을 나타내는 순서도이다. 실시 형태 4의 계측 장치 본체(1)는, 매핑이 성공했는지 여부의 판정 결과(스텝 S4), 매핑 평가 결과(스텝 S11), 및 사용자의 지정의 유무에 의해서, 안정 위치를 탐색할지 여부를 판정한다(스텝 S14). 그리고, 탐색이 필요하다고 판정되었을 경우, 매핑이 안정되는 위치를 탐색하고(스텝 S15), 탐색된 위치를 사용자에 대해서 제시한다(스텝 S16).

이와 같은 3차원 계측 장치 및 그 계측 지원 처리 방법에서는, 실시 형태 1~3의 효과에 더하여, 센서 시야 내의 특징수가 감소하는 등 하여 매핑이 불안정하게 되었을 때, 매핑이 안정되는 촬영 지점으로 되돌아감으로써 매핑이 불안정한 상태로부터 용이하게 복귀할 수 있다고 하는 효과가 얻어진다.

실시 형태 5.

다음으로, 도 21은 본 발명의 실시 형태 5에 따른 3차원 계측 장치를 나타내는 블록도이다. 실시 형태 5의 계측 장치 본체(1)는, 작성 중인 3차원 맵 내의 임의의 위치 사이의, 매핑이 중단되지 않고 이동 가능한 센서 경로를 산출하는 센서 경로 산출부(19)를 더 가지고 있다.

센서 경로 산출부(19)로 산출되는 센서 경로는, 시점과 종점과 센서 경로 상의 복수의 경유점을 포함한다. 경유점의 초기값은, 센서 경로의 시점과 종점을 연결하는 선분 상을 일정 간격으로 샘플링한 위치로 한다. 각 경유점에 있어서의 센서 방향은, 시점에 있어서의 센서 방향과 종점에 있어서의 센서 방향으로부터 선형 보간으로 산출한다.

또한, 경유점은 사용자가 수동으로 설정해도 된다. 이 경우, 사용자가 설정한 경유점 사이를 추가로 샘플링하여 경유점을 늘려도 된다. 수동으로 경유점을 설정함으로써, 보다 복잡한 센서 경로의 산출이 가능하게 된다. 또한, 사용자가 설정한 경유점 사이를 샘플링함으로써, 사용자가 다수의 경유점을 설정하는 수고를 줄일 수 있다.

이동 후보 결정부(14)는 상기의 시점과 종점과 경유점을 이동 후보로서 결정한다. 매핑 평가부(16)는 상기의 이동 후보에 대해서 매핑 평가를 실행한다. 이때, 시점 및 종점 중 어느 것이 매핑 불능이라고 판단되었을 경우, 센서 경로의 산출 처리를 종료한다. 또한, 경유점에 있어서 매핑 불능인 위치 방향이 포함되어 있는 경우는, 그 경유점 근방의 센서 위치 방향을 이동 후보로서 결정하고, 재차 매핑 평가를 실행한다. 이때, 일정 횟수 이상, 경유점이 변경되었을 경우는, 센서 경로의 산출 처리를 종료한다.

출력부(17)는 센서 경로의 산출 결과를 사용자에게 제시한다. 이때, 매핑 가능 여부에 의해서 경로 상의 센서 위치 방향의 표시를 변경한다. 예로서, 매핑 가능한 센서 위치를 녹색, 매핑 불능인 센서 위치를 적색으로 하는 등, 다른 색으로 표시한다. 경로 상의 매핑 불능인 위치를 사용자에게 제시함으로써, 센서 경로를 수동으로 재설정할 때의 경유점의 선택을 효율 좋게 행할 수 있다. 다른 구성 및 동작은, 실시 형태 4와 마찬가지이다.

도 22는 도 21의 계측 장치 본체(1)의 동작을 나타내는 순서도이다. 실시 형태 5의 계측 장치 본체(1)는, 거리 센서(2)의 현재 위치 및 방향을 갱신하면(스텝 S6), 센서 경로를 산출할지 여부를 판정한다(스텝 S17). 그리고, 센서 경로의 산출이 필요하다고 판정되었을 경우, 센서 경로를 산출한다(스텝 S18).

또한, 모든 이동 후보에서의 매핑의 안정성을 평가(스텝 S9, S10)한 후, 센서 경로를 평가할지 여부를 판정한다(스텝 S19). 그리고, 센서 경로의 평가가 필요하다고 판정되었을 경우, 센서 경로 상이 모두 매핑 가능하게 되어 있는지 여부를 판정한다(스텝 S20).

센서 경로 상에 매핑 불능인 지점이 있는 경우, 스텝 S18로 돌아간다. 센서 경로 상이 모두 매핑 가능하다고 판정된 후, 안정 위치의 탐색이 불필요하다고 판정(스텝 S14)된 후, 및 안정 위치를 탐색(스텝 S15)하여 사용자에게 제시(스텝 S16)한 후, 센서 경로를 사용자에게 제시할지 여부를 판정한다(스텝 S21).

센서 경로의 제시가 필요하다고 판정되었을 경우, 센서 경로를 사용자에게 제시하고(스텝 S22), 스텝 S12로 진행한다. 센서 경로의 제시가 불필요하면, 직접 스텝 S12로 진행한다.

이와 같은 3차원 계측 장치 및 그 계측 지원 처리 방법에서는, 실시 형태 4의 효과에 더하여, 센서 경로 산출부(19)에 의해, 사용자는 미리 제시된 경로를 더듬어 목적지까지 이동할 수 있기 때문에, 스캔에 필요로 하는 작업시간을 단축시킬 수 있다고 하는 효과가 얻어진다.

즉, 계측이 되어 있지 않은 부분까지 이동하여 스캔할 때에, 매핑이 중단되지 않게 시행 착오적으로 경로를 발견하면서 이동하면 스캔에 필요로 하는 작업시간이 길어져 버릴 우려가 있지만, 실시 형태 5에서는, 최적인 센서 경로가 제시되므로, 작업시간을 단축시킬 수 있다.

실시 형태 6.

다음으로, 도 23은 본 발명의 실시 형태 6에 따른 3차원 계측 장치를 나타내는 블록도이다. 실시 형태 6의 계측 장치 본체(1)는, 작성 중인 3차원 맵에 있어서의 미계측 영역을 검출하는 미계측 영역 검출부(20)를 더 가지고 있다.

미계측 영역 검출부(20)는, 3차원 맵과 센서 위치 방향과 센서 시야각과 측거 가능 거리를 이용하여, 거리 센서(2) 및 가시 카메라(4)가 관측 완료한 3차원 영역을 산출하고, 관측 완료되지 않은 영역을 미계측 영역으로서 검출한다.

출력부(17)는 탐색된 미계측 영역을 사용자에 대해서 제시한다. 미계측 영역을 표시부(1a)에 표시하는 방법 중 일례로서, 도 10의 테두리부(1d)로 표시하는 방법이 있다. 다른 구성 및 동작은, 실시 형태 5와 마찬가지이다.

도 24는 도 23의 계측 장치 본체(1)의 동작을 나타내는 순서도이다. 실시 형태 6의 계측 장치 본체(1)는, 센서 경로를 제시할지 여부를 판정(스텝 S21)한 후, 미계측 영역을 검출할지 여부를 판정한다(스텝 S23). 그리고, 미계측 영역의 검출이 필요하다고 판정되었을 경우, 미계측 영역을 검출하고(스텝 S24), 사용자에 대해서 제시한다(스텝 S25).

이와 같은 3차원 계측 장치 및 그 계측 지원 처리 방법에서는, 실시 형태 5의 효과에 더하여, 스캔 대상의 어디에 계측되어 있지 않은 부분이 있는지를 용이하게 확인할 수 있기 때문에, 스캔 후에 계측 누락이 발각되어 계측을 다시 하는 것과 같은 재작업을 방지할 수 있다고 하는 효과가 얻어진다.

여기서, 도 25는 실시 형태 1~6의 3차원 계측 장치를 이용하여 엘리베이터 승강로의 피트 내의 3차원 맵을 작성하는 모습을 나타내는 평면도이다. 피트 내에는, 엘리베이터 칸(도시하지 않음)의 승강을 안내하는 한 쌍의 가이드 레일(31a, 31b), 및 완충기(32) 등이 설치되어 있다.

피트 내와 같은 환경에서는, 텍스처 및 형상적인 특징이 부족하여, 매핑에 필요한 특징이 비교적 적다. 그 때문에, 거리 센서(2)의 경로에 따라서는, 매핑 불능에 빠질 가능성이 있다.

이에 대해서, 실시 형태 1~6의 3차원 계측 장치에 의하면, 매핑 가능한 센서 경로에서의 스캔이 이루어지도록 사용자에게 정보를 제시함으로써, 매핑의 실패에 의한 스캔의 재시도에 의한 재작업을 방지하는 것이 가능하다. 또한, 미계측 영역을 검출함으로써, 아직 스캔 되어 있지 않은 부분을 알 수 있기 때문에, 계측 누락에 의한 재작업도 방지할 수 있다.

또한, 피트 내와 같은 좁은 공간(예를 들면 2m 사방 정도를 상정)을 계측하는 경우에는, 거리 센서(2)로부터 계측 대상까지의 거리가 짧게 되는 경향이 있다. 거리가 짧으면, 센서 시야 내에서 관측되는 특징의 수가 상대적으로 감소하기 때문에, 매핑의 안정성이 저하될 우려가 있다. 매핑 평가에서는 특징의 수가 많을수록 좋은 평가값이 되기 때문에, 평가값이 좋은 센서 자세가 되도록 좁은 공간을 스캔하는 경우, 공간의 중심을 사이에 두고 반대측의 승강로 벽을 계측하는 자세를 유지한 상태에서, 원을 그리는 것과 같이 계측을 행하도록 유도되게 된다.

다음으로, 도 26은 실시 형태 1~6의 3차원 계측 장치를 이동 로봇(33)에 탑재한 상태를 나타내는 사시도로서, 자율주행형으로 차륜형의 이동 로봇(33)을 나타내고 있다. 이와 같이, 3차원 계측 장치를 이동 로봇(33)에 탑재함으로써, 이동 로봇(33)의 주변 환경의 3차원 맵을 생성할 수 있다.

이동 로봇(33)에 의한 3차원 맵 생성에서는, 로봇 자신이 3차원 맵 내의 어디에 있는지(자기 위치)를 항상 인식할 수 있을 필요가 있지만, 매핑에 실패해 버리면 자기 위치가 불분명하게 되어 시스템이 파탄된다. 이에 대해서, 실시 형태 1~6의 3차원 계측 장치에서는, 다음의 이동을 개시하기 전에 미리 매핑 평가를 행하기 때문에, 이동 로봇(33)은 매핑이 실패하지 않는 경로를 선택할 수 있다.

또한, 미계측 영역을 검출함으로써, 계측 되어 있지 않은 장소까지 이동하여 3차원 맵을 갱신하는 것이 가능하다. 이것에 의해, 결손이 없는 3차원 맵을 자동적이고 효율적으로 구축할 수 있다.

또한, 실시 형태 1~6에 있어서, 계측 장치 본체(1)의 기능을 2개 이상의 컴퓨터 또는 전자 회로로 분할하여 실행되게 해도 된다.

또한, 계측 대상은 특별히 한정되는 것은 아니며, 본 발명은 엘리베이터 승강로 이외의 3차원 계측에도 적용할 수 있다.

Claims (17)

1. 계측 대상까지의 거리의 계측 데이터를 3차원 공간 내의 점의 집합으로서 취득 가능한 거리 센서, 및
   상기 거리 센서로 취득한 복수의 계측 데이터로부터 특징을 추출하고, 추출한 상기 특징을 중첩시킴으로써 3차원 맵을 작성하는 계측 장치 본체를 구비하고,
   상기 계측 장치 본체는, 상기 거리 센서의 위치 및 방향을 산출하고, 상기 거리 센서를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정하며, 상기 이동 후보에 있어서 상기 거리 센서에 의해 관측 가능한 상기 특징인 이동 후보내 특징을 취득하고, 상기 이동 후보내 특징을 이용하여 상기 이동 후보에서의 매핑의 안정성을 평가하며, 평가 결과에 기초하여, 상기 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시하는 3차원 계측 장치.
2. 청구항 1에 있어서,
   상기 계측 장치 본체는 표시부를 가지고 있고, 상기 거리 센서에 의한 현재의 계측 상황과, 상기 거리 센서의 이동에 관한 제시 내용을 상기 표시부에 함께 표시하는 3차원 계측 장치.
3. 청구항 2에 있어서,
   상기 계측 장치 본체는 상기 거리 센서의 이동 방향을 화살표의 방향으로서 상기 표시부에 표시하고, 상기 거리 센서의 이동 속도를 상기 화살표의 길이로서 상기 표시부에 표시하는 3차원 계측 장치.
4. 청구항 2 또는 청구항 3에 있어서,
   상기 계측 장치 본체는 상기 거리 센서에 의한 현재의 계측 상황과 작성 중인 3차원 맵을 상기 표시부에 늘어놓아 표시하는 3차원 계측 장치.
5. 청구항 2 또는 청구항 3에 있어서,
   상기 계측 장치 본체는, 상기 거리 센서에 의한 현재의 계측 상황을 표시하는 영역의 주위의 테두리부에, 매핑 완료된 영역의 방향과 미계측 영역의 방향을 구별하여 표시하는 3차원 계측 장치.
6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 계측 장치 본체는, 매핑의 평가값의 크기와 현재 위치로부터의 가까운 정도를 고려한 평가 함수에 의해, 작성 중인 3차원 맵 내에서 매핑이 안정되는 촬영 지점을 탐색하여 사용자에 대해서 제시하는 3차원 계측 장치.
7. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 계측 장치 본체는, 작성 중인 3차원 맵 내의 임의의 위치 사이의, 매핑이 중단되지 않고 이동 가능한 상기 거리 센서의 경로를 산출하여 사용자에 대해서 제시하는 3차원 계측 장치.
8. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 계측 장치 본체는 작성 중인 3차원 맵에 있어서의 미계측 영역을 검출하고 사용자에 대해서 제시하는 3차원 계측 장치.
9. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 계측 대상의 2차원 화상을 촬영 가능한 가시 카메라를 더 구비하고,
   상기 계측 장치 본체는 상기 가시 카메라로부터 얻은 복수의 화상 데이터로부터 시각적인 특징을 추출하여, 매핑에 이용하는 3차원 계측 장치.
10. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    계측 대상에 대해서 광을 조사하는 조명 장치를 더 구비하고 있는 3차원 계측 장치.
11. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    계측 대상에 대해서 패턴 투광을 행하는 프로젝터를 더 구비하고,
    상기 거리 센서는, 투광된 패턴을 촬영하여, 액티브 스테레오 방식으로 거리 데이터를 검출하는 3차원 계측 장치.
12. 계측 대상까지의 거리의 계측 데이터를 3차원 공간 내의 점의 집합으로서 취득 가능한 거리 센서와, 상기 거리 센서로 취득한 복수의 계측 데이터로부터 특징을 추출하고, 추출한 상기 특징을 중첩시킴으로써 3차원 맵을 작성하는 계측 장치 본체를 구비하고 있는 3차원 계측 장치의 상기 계측 장치 본체에 의해서, 3차원 계측을 지원하는 처리 방법으로서,
    상기 거리 센서의 위치 및 방향을 산출하는 스텝,
    상기 거리 센서를 다음에 이동시켜야 할 위치 및 방향의 후보인 이동 후보를 결정하는 스텝,
    상기 이동 후보에 있어서 상기 거리 센서에 의해 관측 가능한 상기 특징인 이동 후보내 특징을 취득하는 스텝,
    상기 이동 후보내 특징을 이용하여 상기 이동 후보에서의 매핑의 안정성을 평가하는 스텝, 및
    평가 결과에 기초하여, 상기 거리 센서의 이동 방향 및 이동 속도 중 적어도 어느 한쪽을 사용자에 대해서 제시하는 스텝
    을 포함하는 3차원 계측 장치의 계측 지원 처리 방법.
13. 청구항 12에 있어서,
    상기 거리 센서에 의한 현재의 계측 상황과 상기 거리 센서의 이동에 관한 제시 내용을 표시부에 함께 표시하는 스텝을 더 포함하는 3차원 계측 장치의 계측 지원 처리 방법.
14. 청구항 13에 있어서,
    상기 거리 센서에 의한 현재의 계측 상황을 표시하는 때에, 매핑 완료된 영역의 방향과 미계측 영역의 방향을 구별하여 표시하는 3차원 계측 장치의 계측 지원 처리 방법.
15. 청구항 12 내지 청구항 14 중 어느 한 항에 있어서,
    매핑의 평가값의 크기와 현재 위치로부터의 가까운 정도를 고려한 평가 함수에 의해, 작성 중인 3차원 맵 내에서 매핑이 안정되는 촬영 지점을 탐색하여 사용자에 대해서 제시하는 스텝을 더 포함하는 3차원 계측 장치의 계측 지원 처리 방법.
16. 청구항 12 내지 청구항 14 중 어느 한 항에 있어서,
    작성 중인 3차원 맵 내의 임의의 위치 사이의, 매핑이 중단되지 않고 이동 가능한 상기 거리 센서의 경로를 산출하여 사용자에 대해서 제시하는 스텝을 더 포함하는 3차원 계측 장치의 계측 지원 처리 방법.
17. 청구항 12 내지 청구항 14 중 어느 한 항에 있어서,
    작성 중인 3차원 맵에 있어서의 미계측 영역을 검출하여 사용자에 대해서 제시하는 스텝을 더 포함하는 3차원 계측 장치의 계측 지원 처리 방법.

Images