KR102500626B1 - 로봇의 움직임을 제어하기 위한 장치 및 이에 관련된 치료 로봇 - Google Patents

Abstract

본 발명은 표면을 처리하도록 구성되는 로봇의 움직임을 제어하기 위한 장치로서, 상기 장치는:
- 상기 피처리면의 3차원 표현(Re)을 취득하는 취득 수단 (14); 및
- 상기 피처리면의 상기 3차원 표현(Re)에 기초하여 움직임 시퀀스를 결정하는 결정 수단을 포함하며,
- 상기 결정 수단은 복수의 알려진 움직임 시퀀스(Tx)에 대한 적어도 하나의 3차원 표준 모델(m1-m3)을 포함하며;
- 상기 장치는, 상기 피처리면의 상기 3차원 표현(Re)에 대응하기 위하여 상기 표준 모델(m1-m3)과 알려진 움직임 시퀀스들(Tx)을 변형시킬 수 있으며, 상기 피처리면의 상기 3차원 표현(Re)으로 상기 표준 모델(m1-m3)을 조정하기 위한 조정 수단(13, 23)을 포함한다.

Description

로봇의 움직임을 제어하기 위한 장치 및 이에 관련된 치료 로봇

본 발명은 매우 다양한 형상의 표면에서 작동하는 로봇의 움직임을 처리하는 기술분야에 관한 것이다.

본 발명은 로봇의 작업면이 선험적으로 알려져 있지 않은 많은 기술 분야에 적용 할 수있다. 예를 들어, 본 발명은 장인(artisan)에 의해 생산되는 도자기의 다양한 형상들에 적응되어야 하는 장인의 도자기를 도장하는 로봇에 구현할 수 있다.

본 발명은 마사지 로봇과 같은 치료 로봇의 전동 암(motorized arm)을 움직이는데 특히 유리한 어플리케이션(application)을 제공한다.

미리 결정된 경로를 따르도록 프로그램 된 산업용 로봇과는 달리, 미지의 표면에서 작동하는 로봇은 경로를 결정하기 위해 처리될 표면을 분석 할 수 있는 이동 관리 수단(movement management means)을 포함해야 한다.

인식 로봇은 일반적으로 하나 이상의 카메라와, 탐사면을 경시적으로 분석하고 로봇이 추적 경로를 결정하기위한 화상 처리 수단(image processing means)을 포함한다.

미지의 표면을 분석하는이 방법은 시간이 지남에 따라 로봇의 움직임을 정확하게 안내하기 위해 높은 계산 능력이 필요하다. 따라서 탐사 로봇은 천천히 움직이고 움직임을 제어하는 장치가 카메라에 의해 취득 된 화상 처리 수단에 의해 처리 된 정보를 바탕으로 로봇의 움직임을 최적화 할 수 있도록 한다.

또한, 마사지 로봇 또는 장인의 도자기를 도장하는 로봇의 경우, 개인의 신체의 원하는 영역을 마사지하거나, 원하는 영역에 페인트 층을 도포하기 위해 로봇의 움직임이 극도로 정확하여야 한다.

이를 위해, 로봇에 의해 처리된 표면의 3차원 수치 모델링을 이용하여 로봇의 움직임을 작업자가 프로그램 할 수 있도록 하기 위해, 3차원 표면을 스캔하는 것으로 알려져있다.

예를 들어, 국제특허출원 WO2015/187092는, 환자의 신체를 스캐닝하고, 터치패드 상에 투영된 환자의 신체의 3차원 모델을 이용하여 의사가 로봇의 마사지 경로를 결정할 수 있도록 하는 3차원 스캐너를 포함하는 마사지 로봇에 대해 기재하고 있다.

그러나, 상기 마사지 로봇은 자율적으로 하지는 않는다. 왜냐하면, 자신의 노하우를 활용하여 디지털 모델에서 마사지 로봇의 경로를 프로그램 할 전문가가 있어야 하기 때문이다.

따라서, 미지의 표면에서 작동하는 로봇의 동작 관리를 높은 작동 정밀도로 자동화 할 수 있도록 한다는 데 기술적 과제가 있다.

본 발명은 상기한 바와 같은 과제를 해결하기 위해, 표준 모델(generic model)에서 피처리면을 조정하는 수단(means for adjusting a surface to be treated)과 관련된 표준 모델의 복수의 기존 움직임 시퀀스(sequences of movements)를 이용하여 표준 모델의 기존 움직임 시퀀스를 조정하여 피처리면에 적용한다.

따라서 표준 모델상에서 움직임의 시퀀스를 프로그래밍 할 때에는 피처리면의 형상은 알 수 없을지라도, 본 발명의 로봇은 표준 모델의 형상을 피처리면의 형상에 맞추어 조정함으로써 움직임의 시퀀스를 자동으로 조정할 수 있다.

이와 같은 목적을 위해 본 발명의 첫번째 태양에 따른, 표면을 처리하도록 구성되는 로봇의 움직임을 제어하기 위한 장치는:

- 상기 피처리면(surface to be treated)의 3차원 표현(three-dimensional representation)을 취득하기 위한 취득 수단; 그리고

- 상기 피처리면의 3차원 표현에 기초하여 움직임 시퀀스(sequence of movements)를 결정하기 위한 결정 수단; 을 포함한다.

본 발명은, 상기 결정 수단이, 복수 시퀀스의 움직임들이 알려진 적어도 하나의 3차원 표준 모델과; 피처리면의 3차원 표현에 대응하기 위하여 상기 표준 모델을 변형 할 수 있도록 상기 피처리면의 3차원 표현으로 상기 표준 모델을 조정하는 조정 수단을 포함하며, 상기 피처리면의 치수에 맞추어 조정된 적어도 새로운 움직임의 시퀀스(new sequences of movements)를 얻기 위하여 상기 표준 모델의 변형이 기존의 움직임 시퀀스(known sequences of movements)에 적용될 수 있는 상기 장치와; 상기 새로운 움직임 시퀀스들 중 하나에 기초하여 상기 피처리면을 처리하도록 구성되는 상기 로봇을 포함한다는 점에 특징이 있다.

따라서, 본 발명은 움직임 시퀀스를 학습 할 때 형상이 알려져 있지 않은 피처리면에 그 움직임 시퀀스를 적용하기 위해 표준 모델 상의 복수의 알려진 움직임 시퀀스의 사용을 허용한다. 장인의 도자기 도장 로봇의 예에서, 도장작업자는 표준 컵의 표준 모델에 관하여 표준 디자인들을 기록하여 컵에 도장할 표준 디자인을 정의 할 수 있다. 로봇은 새롭게 만들어지는 컵의 표면을 스캔하고, 상기 새롭게 만들어지는 컵의 표면에 기초하여 표준 모델을 변형함에 의해 하나의 표준 디자인 중 하나를 적용할 수 있다.

마사지 로봇의 예에서, 인체의 표준 모델은 실제 사람의 측정으로부터 만들어진다. 이러한 표준 모델은 3차원으로 표현되기 때문에 실무자는 효과적인 마사지 효과를 얻을 수 있도록 하는 표준 모델의 서로 다른 민감점(sensitive points)들을 통과하는 마사지 경로를 정의 할 수 있다.

이러한 표준 모델의 민감점들은 영역, 예컨대 어느 한 민감점의 레벨에서 표면에 대한 법선 방향으로 그 민감점 주위의 반경 50 mm 이내에서 확장되는 영역과 일치할 수 있다.

로봇을 사용하여 새로운 환자를 마사지하면 환자의 몸이 스캔되고, 시술자가 기록한 마사지 정확성을 존중하면서 로봇의 움직임을 환자의 체형에 맞게 조정할 수 있도록 표준 모델의 형상이 환자의 형상으로 조정되기 때문에 표준 모델의 변형에 의해 마사지 경로의 변형을 얻을 수 있다. 결과적으로, 본 발명은 시술자의 마사지 감각에 매우 가까운 또는 이와 동일한 마사지 감각으로 매우 높은 수준의 마사지 품질을 재현하는 것을 가능하게 한다.

본 발명에 따르면, 여러 가지 다른 종류의 마사지를 수행하기 위해 몇 가지 마사지 경로를 디지털화 할 수 있다. 몇몇 표준 모델들은 환자의 신체에 대한 표준 모델의 조정을 향상시킬 수 있는데, 예컨대 각 젠더: 큰 체구의 사람, 작은 체구의 사람, 중간 체구의 사람과, 서로 다른 나이대: 유아, 청소년 및 성인에 대한 3가지 종류의 표준 모델을 사용할 수 있다:

일 실시예에 따르면, 적어도 하나의 알려진 움직임 시퀀스는 행동(actions)이 상기 로봇에 프로그램 된 위치를 포함한다.

이러한 실시예는 로봇의 이동 중에 액츄에이터의 동작을 제어하는 것을 가능하게 한다. 장인의 도자기를 도장하는 로봇의 예에서, 로봇이 특정 위치에서 특정 표면 처리를 수행할 수 있다. 마사지 로봇의 예에서, 로봇의 특정 위치는 쾌적함 및/또는 마사지의 효과를 개선하도록 가열 수단의 트리거링(triggering)을 제어할 수 있다. 또한, 알려진 움직임 시퀀스는 다른 움직임들이 또 다른 종류의 움직임으로 수행되는 동안 촉진 회전 운동으로 수행되는 여러 경로를 포함 할 수 있다.

일 실시예에 따르면, 상기 표준 모델 및 산점도의 형태로 형식화되는 상기 피처리면의 상기 3차원 표현(Re)에 대해, 상기 조정 수단은:

- 상기 피처리면의 상기 3차원 표현(Re)의 각 점에 법선 방향의 연산 수단; 및

- 상기 3차원 표현의 산점도 상의 각 점에 대해서 표준 모델 상의 점의 법선 방향과 관심 대상 점의 법선 방향과의 차이가 최소가 되는 부근에서 상기 표준 모델 상의 점의 검색 수단;

- 상기 표준 모델의 상기 검색된 점과 상기 관심 대상 점 사이의 거리의 결정 수단; 및

- 상기 3차원 표현의 산점도 상의 모든 점에 대해 결정된 거리에 기초하여 상기 모델의 전체적인 변환의 검색 수단을 포함한다.

상기 법선 방향은 상기 표준 모델의 변들(sides)의 방향과 상기 피처리면의 3차원 표현의 방향에 대한 정보를 획득할 수 있도록 한다. 점 대 점의 좌표의 단순단 비교와는 달리, 변들(sides)의 비교는 보다 효과적인 인식을 획득할 수 있도록 한다.

또한, 거리의 평균에 기초하여 표준 모델을 점진적으로 변경함으로써 표준 모델의 조정이 단계적으로 수행된다. 결과적으로,이 실시예는 표준 모델의 각 점의 법선 방향과 피처리면의 3차원 표현의 법선 방향을 비교함으로써 표준 모델을 효과적으로 조정하는 것을 가능하게 한다.

일 실시예에 따르면, 상기 검색 수단은 관심 대상 점 주위의 미리 정의된 구체(sphere)에서 표준 모델의 점을 검색하도록 구성된다. 이 실시예는 표준 모델의 점에 대한 탐색 영역을 제한함에 따라 연산 시간을 제한할 수 있도록 하는 것을 목적으로 한다. 또한 검색 영역 제한으로 인해 두 비교 사이에 표준 모델의 변경 범위를 제한 할 수 있도록 함으로써 표준 모델의 변경의 정확도를 향상시킬 수 있다.

일 실시예에 따르면, 법선 방향은 관심 대상 점에 가장 가까운 3 ~ 4 점의 좌표에 의해 변(side)을 구축함으로써 결정된다.

이 실시예는 표준 모델의 변들(sides) 및 피처리면의 3차원 표현의 효율적인 구축을 가능하게 한다.

일 실시예에 따르면, 상기 조정 수단은:

- 상기 3차원 표현의 특징점를 검출하는 수단; 및

- 상기 특징점의 위치가 상기 표준 모델 상의 특징점의 위치에 대응하도록 함으로써 회전 및/또는 병진에 대해 표준 모델을 변형시키는 수단을 포함한다.

이 실시예는 법선에 의해 수행되는 정확한 조정의 속도를 향상시키기 위하여 표준 모델의 1차적 대략적인 조정을 수행하는 것을 허용한다. 장인의 도자기를 도장하는 로봇의 예에서, 특징점은 도자기의 상단과 하단에 대응할 수 있다. 마사지 로봇의 예에서, 특징점은 두개골의 상단에, 겨드랑이 위치에, 사타구니 위치에 대응할 수 있다.

일 실시예에 따르면, 상기 취득 수단은 복수의 3차원 표현을 캡처하고 다른 3차원 표현 사이의 점의 좌표의 평균을 구함으로써 상기 3차원 표현의 전처리 수단을 포함한다. 이 실시예에 따라, 3차원 표현의 정확성, 따라서 일반 모델의 조정의 정밀도를 향상시킬 수 있다.

일 실시예에 따르면, 상기 전처리 수단은 다른 3차원 표현 사이의 점의 좌표의 상기 평균 필터링을 수행한다.

이 실시예는 또한 3차원 표현의 정확성, 따라서 표준 모델의 조정의 정밀도를 향상시킬 수 있다.

본 발명의 두 번째 태양은 치료 로봇에 관한 것으로서, 치료 로봇은:

- 관절 암;

- 관절 암의 일단에 위치하는 이펙터;

- 3차원 화상 캡처 장치; 및

- 상기한 본 발명의 첫 번째 측면에 따른 움직임을 제어하기 위한 장치 를 포함한다.

이러한 본 발명의 두 번째 태양은 로봇의 움직임의 정확성을 환자에 대한 상해 방지의 필수 요건으로 하는 치료 로봇에 관한 것이다.

일 실시예에 따르면, 상기 취득 수단은 상기 관절 암 또는 상기 이펙터에 배치된다. 이 실시예는 3차원 표현을 정확하게 얻기 위해 취득 수단을 이동하는 것을 허용한다.

본 발명을 실시하는 모드 그리고 그 때 얻을 수 있는 효과는 도 1을 참조하여 정보 목적이지만 그에 한정되지 않고 다음의 실시예에서 명백해질 것이다. 도 1은 본 발명의 일 실시예에 따른 마사자 로봇의 움직임 제어를 위한 장치(device)의 동작 단계들에 관한 플로우차트이다.
본 발명은 인체의 표면들에는 분명히 큰 차이들이 있기 때문에 로봇의 조정 능력을 보여주기 위해 본 발명은 마사지 로봇과 관련하여 기재하고 있다.
그러나, 본 발명은 특정 어플리케이션에 한정되는 것이 아니라, 기하학적 형상이 미리 정해져 있지 않고, 로봇의 정확한 움직임들이 수행되어야 하는 표면에서 동작하는 복수의 로봇에 이용될 수 있다.

도 1에 도시된 바와 같이, 피처리면의 3차원 표현(Re)을 제공할 수 있는 취득 수단(14)에 의해 피처리면의 분석이 수행된다.

상기 3차원 표현(Re)은 산점도(scattered plot)의 형식이며, 각 포인트는 정규 직교계의 3좌표인 x, y, z를 갖는다.

이러한 취득 수단(14)은 한 세트의 사진 센서들, 한 세트의 적외선 센서들, 단층 촬영 센서, 스테레오스코픽 센서(stereoscopic sensor) 또는 표면의 3차원 표현의 취득을 가능하게하는 다른 알려진 센서에 대응될 수 있다.

예를 들어, Microsoft®의 Kinect® 카메라를 사용하여 이러한 3차원 표현(Re)을 얻을 수 있다.

배경(environment)을 캡처하지 않고 이러한 3차원 표현(Re)을 얻기 위해, 배경에 대응하는 제1 산점도와 그 배경 내의 피처리면에 대응하는 제2 산점도을 얻는 것이 가능하다. 배경으로부터 피처리면에 대응하는 점들을 추출하기 위해 양 산점도들 사이의 차이 나는 점들만 남겨둔다. 이러한 방법으로 표준화 된 배경으로부터 벗어나 어떠한 배경도 기록하고 조정할 수 있다.

도 1에 도시된 바와 같이, 이러한 센서들(14)은 향상된 품질이나 정밀도를 갖는 3차원 표현(Re)을 제공하기 위해 전처리수단(15)으로서 종종 구현된다. 예컨대, 상기 전처리수단(15)은 히스토그램(histograms), 필터링(filtering), 복수의 연속적 표현들 상에서의 표현의 평균화(averaging the representation on a plurality of successive representations) 등의 이퀄라이징을 위한 알고리즘에 대응될 수 있다.

예컨대, 2011. 10. 16.에 UIST’ 11에서 공개된 과학 저널 “KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*” 에 개시된 접근법을 이용하는 것이 가능하다.

상기 장치(device)는 각각의 표준 모델(m1, m2, m3)에 미리 프로그램된 움직임 시퀀스(Tx)를 상기 3차원 표현(Re)으로 천이하기 위해 상기 3차원 표현(Re)에 맞게 상기 표준 모델(m1, m2, m3)을 조정하기 위한 컴퓨터 처리를 구현한다. 예컨대, 상기 움직임 시퀀스(Tx)는 피처리면에 대응하는 상기 제2 산점도 상으로 투영(projected)될 수 있다. 게다가, 이러한 움직임 시퀀스(Tx)는 상기 로봇에 대해 행동(actions)이 미리 프로그램 되어 있는 위치를 포함할 수 있다.

상기 표준 모델(m1, m2, m3) 또한 산점도로 형식화 되는데, 각 점은 정규 직교계의 3 좌표인 x, y, z를 나타낸다. 바람직하게는, 표준 모델은 3개 좌표의 N 정점(vertex)의 평균 모델 ModMoy과, 3N 좌표에 의한 M개의 형태 학적 성분의 변형 행렬 ModSigm, 즉, N 정점(vertex)을 위한 3개 좌표로 구성된다.

각 표준 모델(m1, m2, m3)을 풍부하게하기 위해 다수의 다른 사람들, 예컨대 1000명의 사람들이 필요하다.

데이터 크기를 줄이기 위해 주요 구성 요소의 분석이 적용된다. 이러한 데이터에 주요 구성 요소의 분석을 적용함으로써, 데이터 내에서의 변동을 결정하고 어느 한 구성 요소에 대한 공통의 변화를 연관 지을 수 있다. 따라서, 사람마다 하나의 구성 요소를 유지하는 대신, 각 표준 모델(m1, m2, m3)은 1000명의 사람들에 대한 주요한 변동을 설명하게 될 20개의 구성 요소에 대해 저장한다.

이 방법은 “Published in Pattern Recognition 2017”저널에 2015년 3월 19일에 발행된 공개된 과학발행물인 “Building Statistical Shape Spaces for 3D Human Modeling, Pishchulin & all”에 자세히 기재되어 있다.

바람직하게는, 상기한 표준 모델(m1, m2, m3)은 표준 모델(m1, m2, m3)을 3차원 표현(Re)에 맞게 조정할 수 있는 상기 장치(device)의 화상처리수단에 의해 접근 가능한 메모리에 저장된다.

이를 위해, 상기 3차원 표현(Re)이 획득될 때, 상기 장치(device)는 디지털 처리 수단 (16)에 의한 상기 3 차원 표현(Re)의 특징점(Pref)의 검출을 실시한다. 도 1의 예에서, 특징점(Pref)은 두개골의 상단, 겨드랑이의 위치 및 경부의 위치에 대응한다. 이러한 디지털 처리 수단 (16)은, 예컨대 비올라와 존스법(the Viola and Jones method)과 같은 이미지의 요소를 감지하기 위한 모든 알려진 방법을 구현할 수 있다.

바람직하게는 특징점(Pref)를 감지하기 위하여, 상기 산점도는 깊이 이미지 즉, 예컨대 0~4095mm 범위의 깊이를 부호화하는 것이 가능한 12 비트 인코딩되는 그레이 스케일 이미지로 변환된다. 그런 다음 이 깊이 이미지는 관심 오브젝트/신체에 대응하는 픽셀들은 1의 값을 갖고 배경에 대응하는 픽셀들은 0의 값을 갖도록 임계값 처리 및 이진화된다. 다음, 예컨대 Suzuki, S. and Abe, K.에 의한 Topological Structural Analysis of Digitized Binary Images by Border Following, CVGIP 30 1, pp 32-46 (1985)에 개시된 방법을 이용한 윤곽 검출(contour detection)이 상기한 이진화 이미지에 적용된다. 윤곽의 뚜렷한 점과 볼록면의 결함(예컨대, Finding the Convex Hull of a Simple Polygon. PRL 1 $number, pp 79-83 (1982)의 Sklansky, J. 방법을 이용하여 결정됨)은 특징점(Pref)으로서 사용된다.

다음은 표준 모델(m1, m2, m3)의 선택 수단 (17)이 3차원 표현(Re)에 가장 가까운 표준 모델(m1, m2, m3)을 선택하도록 구현된다.

예를 들어, 상기한 선택은, 3차원 표현(Re)의 높이를 대략적으로 추정하기 위하여 두개골 봉우리(summit of the skull)의 특징점(Pref)과 사타구니(groin)의 특징점 사이의 거리를 계산함으로써, 그리고 높이에 의한 크기가 가장 가까운 표준 모델(m1, m2, m3)을 선택함으로써 수행될 있다. 유사하게 또는 추가적으로, 상기 표준 모델(m1, m2, m3)의 선택은 겨드랑이의 특징점들(Pref) 사이의 거리를 계산함에 의해 상기 3차원 표현(Re)의 폭(width)을 이용하여 수행될 수 있다.

또한, 상기 표준 모델(m1, m2, m3)은 인간의 골격의 가장 중요한 뼈를 나타내는 가상의 뼈에 의해 명확하게 표현될 수 있다. 예컨대, 척추, 대퇴골, 경골, 척골, 상완골 및 두개골의 위치와 모양을 정의하기 위해 15 개 가상의 뼈를 상기 표준 모델(m1, m2, m3)로 모델링 할 수 있다. 이러한 가상의 뼈의 방향에 따라 상기 표준 모델(즉, 상기 표준 모델(m1, m2, m3)이 공간 상에서 하나의 팔을 가지고 있으며, 다리가 떨어져 있는 경우)의 자세(pose)를 정의할 수 있다.

이러한 표준 모델(m1, m2, m3)의 자세(pose)는 상기 관심 오브젝트/신체의 깊이 이미지의 윤곽과 수천 가지의 자세에 관한 표준 모델 상의 깊이 이미지 윤곽들의 데이터베이스 사이의 거리(예컨대, Visual Pattern Recognition by Moment Invariants, IRE Transactions on Information Theory, 8:2, pp. 179-187, 1962의 Hu method를 이용하여 계산될 수 있다)를 비교하여 상기 선택 수단(17)에 의해 결정될 수 있다. 상기 관심 오브젝트/신체의 깊이 이미지에 가장 근접한 표준 모델(m1, m2, m3)(관절 연결에 관한 표준 모델)의 깊이 이미지가 선택되고, 가상의 뼈들의 회전값들이 저장된다.

다음, 제1 조정이 3차원 표현(Re)에 접근하기 위하여 상기 선택된 표준 모델을 변형시킴으로써 조정 수단(18)에 의해 수행된다. 예컨대, 상기한 제1 조정은 선택한 표준 모델의 특징점(Pref)의 간격이 3차원 표현(Re)의 특징점(Pref)의 간격에 대응하도록 상기 선택된 표준 모델의 폭과 높이를 단순히 변경시킬 수 있다.

상기 제1 조정은 표준 모델(m1, m2, m3)의 상기 가상의 뼈들의 자세를 정의 할 수도 있다.

상기 표준 모델이 조정되면, 즉 정점들(vertexes)의 위치가 변경되면, 상기 표준 모델에 미리 프로그램 된 움직임 시퀀스(Tx) 상의 점들의 위치가 같은 방식으로 조정된다.

이와 같은 다소 개략적인 제1 조정에 이어, 상기 3차원 표현(Re) 상의 점들 사이에 정의된 각 표면에 의해 형성되는 법선 방향을 이용하여 보다 정확한 제2 조정을 사용하는 것이 가능하게 된다.

이를 위해, 상기 장치(device)는, 상기 3차원 표현(Re) 및 상기 선택된 표준 모델의 각 표면의 법선들(19)을 계산하는 수단을 포함한다. 예컨대, 상기 법선 방향은 관심 대상 점에 가장 가까운 3 ~ 4개 점의 좌표를 사용하여 상기 3차원 표현(Re)의 각 변을 구축함에 의해 결정될 수 있다. 또는, 표준 모델의 법선 방향은 상기 표준 모델을 정의하는 단계가 진행되는 동안 계산될 수 있다. 또는, 상기 두 조정들은 하나의 동일한 단계에서 동시에 수행될 수 있다.

다음, 상기 장치(device)는, 3차원 표현(Re)의 산점도 상의 각 점에 대해서 표준 모델 상의 점의 법선 방향과 관심 대상 점의 법선 방향과의 차이가 최소가 되는 범위 내에서 선택된 표준 모델의 점을 검출할 수 있는 검색 수단(20)을 사용한다. 상기 가상의 뼈가 상기 선택된 표준 모델의 요소인 경우, 상기 검색 수단(20)은 각 가상의 뼈의 특징을 변화시킴으로써 상기 가상의 뼈의 위치와 크기를 조정하여 상기 가상의 뼈를 상기 3차원 표현(Re) 상에 나타나는 신체의 요소들의 위치에 맞춘다.

예컨대, 검색 수단 (20)은 관심 대상 점 주위의 미리 정의된 구체(sphere) 내에서 표준 모델 상의 점들을 검색하도록 구성될 수 있다. 바람직하게는, 상기 구체의 반경은 상기 구체 내에 약 10개의 점들이 포함되도록 상기 표준 모델 상의 정점(vertex)의 수와 상기 관심 오브젝트/신체의 크기에 기초하여 결정된다.

상기한 바와 같은 법선 방향의 세트를 이용하여, 상기 장치( device)는, 관심 대상 점들과 선택된 표준 모델 상에서 상기 검색 수단에 의해 검출된 점들 사이의 거리를 계산할 수 있는 결정 수단(21)을 이용하여 선택된 표준 모델과 3차원 표현(Re) 차이를 계산할 수 있다. 상기한 거리의 세트는 상기 검출된 점에 대응하기 위해 관심 대상 점에 적용되어야 하는 변환 벡터들을 형성한다.

검색 수단 (22)은 선택된 표준 모델의 전체적인 변환을 얻기 위해 상기한 변환 벡터들의 평균을 결정하도록 한다.

즉, M 요소의 새로운 변환 벡터 CompVec을 고려하여 다음 식을 적용하여 정점들(vertexes) Pts3D의 3차원 구성을 알 수 있다:

Pts3D = ModMoy + CompVec * ModSigma

미지의 구성 Pts3D의 경우, 예컨대 새로운 환자의 경우 목표는 평균 모델 ModMoyen과 변형 행렬 ModSigma를 알고 있는 이 환자에 대응하는 형태 성분 DiffMod의 값을 검색하는 것이다.

이를 위해, 상기 검색 수단 (22)은 정점들(vertexes) Pts3D과 평균 모델 ModMoyen의 3차원 구성과 ModSigma의 의사역행렬 ModSigmaInv 사이의 차이를 계산한다. 예컨대, 의사역행렬 ModSigmaInv는 다음의 관계식들을 이용하여 ModSigma 행렬을 특이값(singular values)으로 분해함으로써 계산될 수 있다:

ModSigma = U E V*;

ModSigmaInv = V E^t U*;

여기서, E^t 는 E의 전치행렬(transposed matrix);

V* 는 V의 transconjugated matrix;

U* 는 U의 transconjugated matrix임

상기한 바와 같은 데이터를 이용하여, 검색 수단 (22)은 다음 식으로 형태적 요소 DiffMod를 계산한다:

DiffMod * ModSigmaInv = CompVec * ModSigma * ModSigmaInv

즉, CompVec = DiffMod * ModSigmaInv 에서 특정 환자의 형태적 요소 DiffMod도 얻을 수 있다.

다음, 변환 벡터 CompVec가 선택된 표준 모델에 적용되며, 자세(pose)가 이전처럼 다시 추정되고, 필요에 따라 표준 모델이 조정되며, 상기 표준 모델이 3차원 표현(Re)에 상당히 가까워질 때까지 새로운 검색이 수행된다. 표준 모델의 모든 정점들 및 산점도(scatter plot) 상의 대응점들 사이의 평균 유클리드 거리가 관심 오브젝트/신체의 크기, 예컨대 2mm 에 기초하여 정의된 문턱값 보다 작거나, 평균 거리가 상기 문턱값보다 작은 동안 최대 반복횟수, 예컨대 100회 반복, 에 도달할 때, 상기한 루프는 종료된다.

이전과 같은 방식으로, 표준 모델이 조정되면, 즉 정점의 위치가 변경되면, 표준 모델에 미리 프로그램 된 움직임 시퀀스(Tx)의 점들의 위치가 같은 방법으로 조정된다.

센서 (14)와 로봇 사이의 캘리브레이션(calibration)의 단계가 종종 수행되어야 한다. 실제 움직임 시퀀스(Tx)는 센서 (14)의 정규 직교 기준 프레임 내에서 표준 모델(m1, m2, m3)로 정의되고, 상기 로봇은 센서(14)의 정규 직교 기준 프레임과는 다른 로봇의 정규 직교 기준 프레임에서 명령을 받는다. 비전 센서(14) 및 로봇을 캘리브레이션하기 위해, 두 기준 프레임 내의 적어도 3개의 공통되는 점들의 좌표를 기록할 수 있다. 실제로는, 3보다 더 큰 점의 수 N이 사용되는 것이 바람직하다. 상기 로봇은 작업 영역에서 움직이고 N번 중지한다. 그 각각의 중지시점에서 상기 로봇의 위치는, 상기 로봇의 움직임 설정 포인트에 의해 수행되는 움직임을 계산하는 것과 상기 비전 센서(14)에 의한 이러한 중단의 3차원 위치를 알기 위한 검출에 의해 기록된다.

이러한 N번 중지의 결과, N 점들의 좌표를 상기 두 기준 프레임 내에서 알 수 있다. 상기 두 기준 프레임 상의 N개 점들의 분포에 대한 무게중심은 다음의 관계식을 이용하여 결정될 수 있다:

무게중심A = 1/N sum(PA(i))

여기서, i=1 to N 이고, PA(i) 는 상기 센서(14)의 기준 프레임 상의 한 점임

무게중심B = 1/N sum(PB(i))

여기서, i=1 to N 이고, PB(i)는 상기 로봇의 기준 프레임 상의 한 점임

공분산 행렬 C는 다음의 관계에 의해 결정된다.

C = sum((PA(i)- 무게중심A)(PB(i)- 무게중심B)^t) for i=1 to N

이 공분산 행렬 C는 특이값으로 분해가 된다.

C = U E V*

상기 두 기준 프레임 사이의 회전행렬 R이 다음의 관계에 의해 얻어질 수 있다.

R = V U^t;

만약 R의 결정자(determinant)가 음수이면, 회전행렬 R의 3번째 열에 -1을 곱하는 것이 가능하다.

2개의 기준 프레임 사이에 적용되는 변환은 다음의 관계에 의해 결정된다.

T = - R * 무게중심A + 무게중심B

따라서, 다음의 관계를 적용하여 센서(14)의 기준 프레임 Pa의 임의의 점을 로봇의 기준 프레임 Pb으로 바꾸는 것이 가능하다.

Pb = R * Pa + T

따라서, 본 발명은 하나 이상의 표준 모델(m1, m2, m3)에서 복수의 움직임 시퀀스(Tx)를 프로그래밍할 수 있고, 움직임 시퀀스(Tx)들을 학습할 때 지형을 알지 못하는 어떤 표면 상에서의 움직임 시퀀스(Tx)를 정확하게 재생성할 수 있도록 하기 위하여 상기한 표준 모델(m1, m2, m3)을 효과적으로 조정할 수 있도록 한다.

따라서, 로봇은 사용자 또는 운용자가 선택한 움직임 시퀀스(Tx)에 따를 수 있다. 움직임 시퀀스(Tx)는 간단한 세트의 점들보다 복잡 할 수 있으며, 실행 속도와 실행 압력 등의 움직임 시퀀스(Tx)를 구현하기 위한 다양한 매개 변수가 포함될 수 있다. 또한, 움직임 시퀀스(Tx)는 진동, 흡입 또는 온도의 적용과 같은 로봇의 행동들이 미리 프로그램 된 위치들을 포함할 수 있다.

선택된 움직임 시퀀스(Tx)의 행동들 또는 매개 변수들은 로봇에 의한 움직임 시퀀스의 실행 전 또는 실행 동안 사용자 또는 운용자에 의해 조정될 수 있다. 따라서, 장인의 도자기를 도장하는 로봇의 예에서, 운용자는 도자기 도장 속도와 브러쉬의 지지력을 설정할 수 있다. 마사지 로봇의 예에서는 사용자 자신이 감각에 맞게 이러한 매개 변수를 조정하기 위해 실시간으로 로봇의 압력을 설정하여, 마사지의 속도와 힘을 선택할 수 있다. 또한, 마사지 핸드에 의한 방출 온도나 마사지 핸드에 의해 생성되는 진동이나 흡인력 등의 효과를 설정할 수 있다.

Claims (10)

1. 표면 처리하도록 구성된 로봇의 움직임을 제어하기 위한 장치로서,
   - 피처리면의 3차원 표현(Re)을 취득하는 취득 수단(14); 및
   - 상기 피처리면의 상기 3차원 표현(Re)에 기초하여 움직임 시퀀스를 결정하는 결정 수단;을 포함하며,
   상기 결정 수단은 이미 알고 있는 복수의 움직임 시퀀스(Tx)에 대한 적어도 하나의 3차원 표준 모델(m1-m3)을 포함하고, 상기 3차원 표준 모델은 형태학적 요소들의 변형 행렬을 포함하며; 상기 장치는 상기 표준 모델(m1-m3)이 상기 피처리면의 상기 3차원 표현(Re)에 대응하도록 상기 변형 행렬의 형태학적 요소들의 값을 검색하여 상기 피처리면의 상기 3차원 표현(Re)으로 상기 표준 모델(m1-m3)을 조정하는 조정 수단(18, 23)을 포함하되, 상기 표준 모델(m1-m3)의 변형은 상기 피처리면의 차원(Re)에 맞는 적어도 새로운 움직임 시퀀스를 얻을 수 있도록 상기 이미 알고 있는 움직임 시퀀스(Tx)에 적용되며; 상기 로봇은 상기 새로운 움직임 시퀀스들 중 하나에 기초하여 상기 표면을 처리하도록 구성되는 것을 특징으로 하는 로봇의 움직임을 제어하기 위한 장치.
2. 제1항에 있어서,
   상기 적어도 하나의 이미 알고 있는 움직임 시퀀스(Tx)는 상기 로봇에 대해 미리 프로그램 된 행동들에 대한 위치들을 포함하는 로봇의 움직임을 제어하기 위한 장치.
3. 제1항 또는 제2항에 있어서,
   상기 표준 모델(m1-m3) 및 산점도의 형태로 형식화되는 상기 피처리면의 상기 3차원 표현(Re)에 대해, 상기 조정 수단(18, 23)은:
   - 상기 피처리면의 상기 3차원 표현(Re)의 각 점에 법선 방향의 연산 수단(19); 및
   - 상기 3차원 표현(Re)의 산점도 상의 각 점에 대해서 표준 모델(m1-m3) 상의 점의 법선 방향과 관심 대상 점의 법선 방향과의 차이가 최소가 되는 부근에서 상기 표준 모델(m1-m3) 상의 점의 검색 수단(20);
   - 상기 표준 모델(m1-m3)의 상기 검색된 점과 상기 관심 대상 점 사이의 거리의 결정 수단(21); 및
   - 상기 3차원 표현(Re)의 산점도 상의 모든 점에 대해 결정된 거리에 기초하여 상기 표준 모델(m1-m3)의 전체적인 변환의 검색 수단(22)을 포함하는 로봇의 움직임을 제어하기 위한 장치.
4. 제3항에 있어서,
   상기 검색 수단 (20)은 상기 관심 대상 점 주위의 미리 정의된 구체 내에서 상기 표준 모델의 점들을 검색하도록 구성되는 로봇의 움직임을 제어하기 위한 장치.
5. 제3항에 있어서,
   상기 법선 방향은 상기 관심 대상 점에 가장 가까운 3 또는 4개의 점의 좌표에 의하여 변(side)을 구축함으로써 결정되는 로봇의 움직임을 제어하기 위한 장치.
6. 제1항에 있어서,
   상기 조정 수단(18, 23)은:
   - 상기 3차원 표현(Re)의 특징점(Pref)를 검출하는 수단 (16); 및
   - 상기 특징점의 위치가 상기 표준 모델 상의 특징점의 위치에 대응하도록 함으로써 회전 또는 병진에 대해 표준 모델(m1-m3)을 변형시키는 수단(18)를 포함하는 로봇의 움직임을 제어하기 위한 장치.
7. 제1항에 있어서,
   상기 취득 수단(14)은 복수의 3차원 표현(Re)을 캡처해서 상기 3차원 표현(Re)의 전처리 수단(15)을 포함하고, 서로 다른 3차원 표현들(Re) 중의 점들의 좌표의 평균을 구하는 로봇의 움직임을 제어하기 위한 장치.
8. 제7항에 있어서,
   상기 전처리 수단(15)은 서로 다른 3차원 표현들(Re) 중의 점들의 좌표에 대한 상기 평균의 필터링을 수행하는 로봇의 움직임을 제어하기 위한 장치.
9. 치료 로봇으로서,
   - 관절 암;
   - 관절 암의 일단에 위치하는 이펙터;
   - 3차원 화상 캡처 장치(Re); 및
   - 제1항 내지 제8항 중 어느 한 항에 따른 움직임을 제어하기 위한 장치 (10)를 포함하는 치료 로봇.
10. 제9항에 있어서,
    상기 취득 수단 (14)은 상기 관절 암 (12) 또는 상기 이펙터에 배치되는 치료 로봇.

Images