KR20210154811A

KR20210154811A - 로봇 암의 가이딩 방법, 가이딩 시스템

Info

Publication number: KR20210154811A
Application number: KR1020217034032A
Authority: KR
Inventors: 탄기 세라트; 알리 카슈로프
Original assignee: 스퀘어마인드
Priority date: 2019-03-21
Filing date: 2020-03-19
Publication date: 2021-12-21
Also published as: SG11202110331VA; EP3941690A1; WO2020188064A1; FR3094124B1; FR3094124A1; IL286522A; AU2020243171A1; US20220183775A1; CN113766997A; JP2022528499A

Abstract

신체 표면 데이터의 처리를 위한, 로봇 암(6)을 실시간으로 가이딩(guiding)하는 방법에 있어서,
포인트의 메싱(meshing, M₁, M₂)을 포함하는, 인간 신체 표면 전체 또는 일부의 3D모델(MOD_P)을 생성하는 단계;
연산부(calculator); 센서의 파라미터를 이용하여 상기 신체 모델(MOD_S)의 표면상의 치료 궤적(treatment trajectory, TRAJ₁)을 계획하는 단계;
작동 장치(8)의 송신기(transmitter)의 적어도 하나의 송신 및/또는 적어도 하나의 센서의 수집을 활성화하는 단계(상기 작동 장치(8)는 상기 로봇 암(6)의 원단부에 배치되어 있고, 상기 센서 또는 상기 송신기의 축 방향이 상기 표적 포인트(P_TARGET)를 통과하는 기 규정된 직선과 일치할 때 상기 활성화가 수행되며, 상기 표적 포인트는 생성된 상기 신체 모델(MOD_P)상에서 참조됨);
를 포함하는 가이딩 방법.

Description

로봇 암의 가이딩 방법, 가이딩 시스템

본 발명의 분야는, 인간 신체 근위에 위치한 장치를 동적으로 자동 제어하기 위하여, 인간 신체의 3차원 이미지를 구성하는 방법에 관한 것이다. 더 구체적으로, 본 발명의 분야는, 3차원 표면의 빠른 계산이 필요한 실시간 동적 제어를 가능하게 하는 방법에 관한 것이다. 따라서, 본 발명은, 파라미터화(parameterized)된 모델과 인공지능에 의한 학습 기술을 조합한 알고리즘을 이용하여 표면을 생성하는 방법에 관한 것이다.

현재 공간 내 3차원 표면을 재구성하기 위한 여러 기술이 존재한다. 그러나, 이러한 기술은 환자의 피부 표면 가까이에서 치료를 수행하는 의료 장치를 실시간으로 가이딩(guiding)하기 위한 목적에는 알맞지 않다. 실제로 신체 표면을 재구성하려면 이미지의 처리가 필요하며, 이는 중대한 연산 리소스와 종종 많은 수의 수집 시스템이 요구된다. 또한, 이러한 복잡성으로 인해 인간의 지원이 필요한 부분적 처리 또는 근사치 계산이 요구된다.

이와 같은 한계로 인해, 공간 내에서 장치의 정밀한 가이딩을 수행하는 것은 현재 가능하지 않다. 일반적으로, 변형되거나 이동할 수 있는 표면의 계산에 의하여 자동 제어되는 로봇 암을 공간 내에서 가이딩하는 것은 여전히 실행하기 어렵다. 그럼에도 불구하고, 실시간으로 수행되는 특정한 분석에 따라 자동으로 가이딩되며 반응하는 로봇 암 조종에 대한 필요성이 있다. 종래의 해결 수단은 사용자의 추가적인 조종이나 긴 처리 시간을 필요로 한다.

따라서, 이와 같은 문제를 해결할 수 있는 해결 수단을 규정할 필요가 있다.

본 발명은, 상술한 문제점을 해소하는 것을 그 목적으로 한다.

일 양태에 따르면, 본 발명은 신체 표면 데이터의 처리를 위해 로봇 암을 실시간으로 가이딩하는 방법에 관한 것이며, 가이딩 방법은, 포인트(points)의 메싱(meshing)을 포함하는, 신체의 모델을 생성하는 단계; 연산부(calculator); 센서의 파라미터를 이용하여 신체 모델의 표면상의 치료 궤적(treatment trajectory)을 계획하는 단계; 로봇 암의 원단부(distal end)에 대한 가이딩 궤적을 계산하는 단계; 로봇 암의 원단부에 배치된 헤드부의 한 지점이 가이딩 궤적에 의하여 자동 제어되도록 로봇 암의 키네마틱(kinematic)을 생성하는 단계; 가이딩 궤적에 따라 움직이도록 로봇 암의 키네마틱을 활성화하는 단계(상기 궤적은 생성된 신체 모델로부터 실시간으로 계산됨); 공간 내의 표적 포인트(target point)의 적어도 하나의 위치를 수신하는 단계; 작동 장치의 송신기(transmitter)의 적어도 하나의 송신 및/또는 적어도 하나의 센서의 수집을 활성화하는 단계(상기 작동 장치는 로봇 암의 원단부에 배치되어 있고, 센서 또는 송신기의 축 방향이 표적 포인트를 통과하는 기 규정된 직선과 일치할 때 활성화가 이루어지며, 표적 포인트는 생성된 신체 모델상에서 참조됨); 를 포함한다.

한 가지 이점은, 환자 신체를 복제한 신체 모델을 고려한 가이딩 방법을 이용할 수 있는 것이다. 연산량이 경감되며, 의료 장비의 실시간 자동 제어가 가능해진다. 환자 신체로부터 계산된 메싱된 신체 모델을 이용함으로써 실제 세계(real world)의 재구성이 최적화된다. 한 가지 이점은, 활용하기에 간단한 신체 모델을 이용함으로써 환자의 잠재적 움직임을 고려하거나 충돌을 예상하는 것이다. 사용되는 신체 모델은 포인트의 세트(set) 또는 메싱을 포함하여, 로봇의 움직임 예상을 위한 환자의 직접적인 이미지 수집을 기반으로 한 시스템에 비해 실시간 가이딩에 더 용이하게 활용될 수 있다.

일 양태에 따르면, 본 발명은 신체 표면 데이터의 처리를 위해 로봇 암을 실시간으로 가이딩하는 방법에 관한 것이며, 가이딩 방법은, 포인트의 메싱을 포함하는, 인간 신체 표면 전체 또는 일부의 3D모델을 생성하는 단계; 연산부를 이용하여 신체 모델의 표면상의 치료 궤적을 계획하는 단계; 로봇 암의 원단부에 대한 가이딩 궤적을 계산하는 단계; 로봇 암의 원단부에 배치된 헤드부의 한 지점이 가이딩 궤적에 의하여 자동 제어되도록 로봇 암의 키네마틱을 생성하는 단계; 로봇 암이 가이딩 궤적에 따라 움직이도록 키네마틱을 활성화하는 단계(상기 가이딩 궤적은 인간 신체 표면의 3D 모델로부터 실시간으로 계산됨); 로봇 암의 변위를 실시간으로 자동으로 관리하도록, 인간 신체 표면의 새로운 3D모델을 일정한 시간 간격으로 생성하여, 이에 따라 로봇 암의 새로운 키네마틱을 계산하는 단계(3D모델의 표면이 새롭게 계산됨에 따라 새로운 치료 궤적 계산 및 새로운 가이딩 궤적 계산이 이루어짐); 공간 내의 표적 포인트의 적어도 하나의 위치를 수신하는 단계; 작동 장치의 송신기의 적어도 하나의 송신 및/또는 적어도 하나의 센서의 수집을 활성화하는 단계(상기 작동 장치는 로봇 암의 원단부에 배치되어 있고, 센서 또는 송신기의 축 방향이 표적 포인트를 통과하는 기 규정된 직선과 일치할 때 활성화가 이루어지며, 표적 포인트는 생성된 신체 모델상에서 참조됨); 를 포함한다.

일 실시예에 따르면, 신체 모델은 환자 신체의 이미지를 수집하기 위한 시스템으로부터 생성되며, 상기 시스템은 공간 내의 한 지점에 배치된다. 한 가지 이점은, 인간 신체에 대한 부분 시야(partial view)를 수집하여, 뉴럴 네트워크(neural network) 활용에 기반한 알고리즘으로부터 전체 인간 신체의 생성이 가능하다는 것이다.

일 실시예에 따르면, 치료 궤적은 신체 모델의 표면상의 치료 영역 내에서 생성된다.

한 가지 이점은, 신체 모델의 생성된 표면을 입력값으로 이용하여 생성되는 가이딩 궤적을 규정하는 것이다. 따라서, 메싱된 신체 모델 활용의 간단함으로 인하여 가이딩이 최적화된다.

일 실시예에 따르면, 치료 궤적은 신체 모델의 표면상에 치료 영역을 규정함으로써 자동으로 생성된다.

한 가지 이점은, 사용자가 영역을 선택하기만 하면 되도록 하여 작업을 자동화하는 것이다. 영역은 생성된 신체 모델상에 규정된다. 따라서, 규정하는 작업이 간소화되고 궤적이 용이하게 생성될 수 있다.

일 실시예에 따르면, 가이딩 궤적은, 치료 궤적에 대한 로봇 암의 원단부의 상대 위치를 생성할 수 있도록 기 규정된 거리 및 방향 인스트럭션으로부터 계산된다.

한 가지 이점은, 최소한의 파라미터만을 고려한 자동 제어 시스템에 의한 간소화된 가이딩 방법을 얻는 것이다.

일 실시예에 따르면, 로봇 암은, 관절로 둘씩 이어져 있는 브랜치(branch)의 세트를 적어도 세 개 포함하되, 상기 브랜치의 세트 각각은 서로 피봇 링크(pivot link)로 연결되고, 상기 피봇 링크의 세트(set)는, 주어진 가이딩 궤적 및 생성된 신체 모델에 대하여 계획된 키네마틱을 포함하는 것을 특징으로 한다.

한 가지 이점은, 작동 콘솔(console)에서 생성하는 궤적의 가이딩 지점의 위치에 따라 로봇 암의 연산부 내에서 수행할 수 있는 로봇 암의 키네마틱 생성을 분리하는 것이다.

일 실시예에 따르면, 가이딩 방법은, 새로운 신체 모델을 일정한 시간 간격으로 생성하여, 로봇 암의 새로운 궤적이 생성됨에 따라 로봇 암을 실시간으로 제어할 수 있도록 하는 단계(신체 모델의 표면이 새롭게 계산됨에 따라 치료 궤적의 수정이 이루어짐)를 포함하며, 또한, 가이딩 방법은, 규정된 새로운 궤적에 의하여 자동 제어되는 로봇 암의 새로운 키네마틱을 계산하는 단계를 더 포함한다. 한 가지 이점은, 실시간으로 우수한 가이딩 성능을 얻는 것이다. 신체 모델을 고려함으로써 가이딩 계산이 간단해진다. 로봇 암의 자동 제어가 빠르게 이루어질 수 있어, 충돌이나 환자의 갑작스러운 움직임 발생을 줄일 수 있다.

일 실시예에 따르면, 가이딩 방법은, 신체 모델을 생성할 수 있도록 이미지가 수집되는 고정 위치로부터 로봇 암의 위치를 보정(calibration)하는 단계를 포함한다. 보정의 이점은, 로봇 암의 단부의 위치에 대한 신체 모델의 위치를 알 수 있는 것이다.

일 실시예에 따르면, 치료 궤적을 이용하여, 작동 장치에 고정된 레이저 송신기의 레이저 빔 샷 전략(shot strategy)을 수립한다.

일 실시예에 따르면, 신체 모델은, 원의 배열로 규정되는 새로운 메싱을 생성하기 위한 균일한 메싱을 포함하며, 원 중 적어도 하나는 공간 내의 표적 포인트의 위치를 규정한다. 한 가지 이점은, 메싱 상에서 쉽게 찾을 수 있는 포인트를 기반으로 로봇 암의 작동 장치의 활성화를 간소화하는 것이다.

일 실시예에 따르면, 새로운 메싱은, 샷 출력(shot power) 인스트럭션 및/또는 두 샷 사이의 오버랩(overlap)정도에 관한 인스트럭션에 따라 생성된다. 한 가지 이점은, 로봇 암의 적용 사례에 적합한 메싱을 얻을 수 있는 것이다.

일 실시예에 따르면, 수행되는 샷 횟수에 대한 샘플링(sampling)은, 새로운 메싱, 설정된 샷 출력 및 두 인접한(colocalized) 원 사이에 규정된 오버랩 정도에 기반한 것을 특징으로 한다. 한 가지 이점은, 사용자에게 사용이 간편한 작동 콘솔을 제공하는 것이다.

일 실시예에 따르면, 치료 궤적을 이용하여, 작동 장치에 고정된 초음파 송신기의 초음파 신호 샷 전략을 수립한다.

일 실시예에 따르면, 작동 장치에 배치된 광학 장치로부터 하나의 이미지 세트(set)를 얻으며, 각 이미지는, 신체 모델상의 표적 포인트의 위치 및 광학 장치의 시야각(viewing angle)에 따라, 신체 모델의 메싱의 적어도 하나의 노드(node) 또는 메시(mesh)로 인덱싱(indexed)된다. 한 가지 이점은, 환자의 신체에 대응되는 파라미터적/파라미터화된 신체 모델상에 피부와 같은 외부 층(outer layer)을 재구성하는 것이다.

일 실시예에 따르면, 작동 장치에 내장되며 작동 장치의 서로 다른 축(axis) 상에 배치된 두 개의 센서를 포함하는 광학 장치로부터 적어도 한 쌍의 이미지가 동시에 수집되며, 각 이미지는, 신체 모델상의 표적 포인트의 위치 및 광학 장치의 시야각에 따라, 신체 모델의 메싱의 적어도 하나의 노드 또는 메시로 인덱싱되고, 상기 이미지는, 3차원 로컬 이미지를 재구성하도록 처리된다.

일 실시예에 따르면, 3차원 로컬 이미지는, 생성된 신체 모델 상에 3D 표현으로 중첩(superimpose)된다.

일 실시예에 따르면, 작동 장치의 제1 광학 장치에 의하여 수집된 제1 이미지는 실시간으로 이미지 세트와 대조되며, 대조 작업은, 해당될 경우, 관심 인디케이터(indicator)의 생성을 포함하고, 관심 인디케이터로 인해 로봇 암을 운용하기 위한 디지털 제어 명령을 생성할 수 있다.

일 실시예에 따르면, 가이딩 인스트럭션에 의하여, (i)제1 이미지가 추출되는 표적 위치에서 로봇 암에 대한 제1 운용 및 (ii)제2 광학 장치를 활성화하기 위한 작동 장치에 대한 제2 운용이 이루어지며, 제2 광학 장치의 활성화로 인하여, 표적 포인트를 포함하는 영역의 근접장(near field) 내의 제2 이미지를 얻을 수 있다. 한 가지 이점은, 특히 진단 목적, 환자 및 질병에 대한 질적 연구 목적으로 이용될 수 있는 이미지 뱅크(bank)를 생성하거나, 또는 하나의 환자에 대하여 여러 스케일(scale)에서 피부에 관한 정보를 포함하는 이미지 히스토리(history)를 생성할 수 있는 것이다.

일 실시예에 따르면, 대조 단계는, 이미지 세트로 학습된 뉴럴 네트워크에 의한 수집된 이미지의 분류(classification) 단계이다. 한 가지 이점은, 환자의 피부에서 특이 부분을 탐지하는 단계를 최적화하는 것이다.

다른 일 양태에 따르면, 본 발명은 로봇 암을 가이딩하기 위한 시스템에 관한 것이며, 가이딩 시스템은, 여러 시간 시점에서 복수의 신체 모델을 생성하기 위한 연산부(calculator); 제어 유닛(control unit)의 연산부에 의하여 자동 제어되는 로봇 암(연산부는, 수집된 신체 모델의 메싱 상에 규정된 포인트로부터 계산된 궤적으로부터 로봇 암의 키네마틱을 계산함); 로봇 암의 단부에 배치되며, 적어도 하나의 송신기 또는 센서를 포함하는 작동 장치(송신기 또는 센서의 활성화는, 송신기 또는 센서의 축(axis) 방향이 표적 포인트를 통과하는 직선을 따라 위치할 때 이루어지며, 표적 포인트는 생성된 상기 신체 모델 상에서 참조됨); 를 포함한다.

일 양태에 따르면, 본 발명은 로봇 암을 가이딩하기 위한 시스템에 관한 것이며, 가이딩 시스템은, 파라미터화(parameterized)된 신체 모델을 얻기 위하여 환자 신체의 이미지를 수집하는 장치; 및 본 발명의 방법을 실행하기 위한 작동 장치를 구비한 로봇 암; 을 포함한다.

다른 대안적인 실시예에 따르면, 본 발명의 가이딩 시스템은, 본 발명의 여러 실시예에서 설명한 여러 수단을 포함한다. 또한, 다른 대안에 따르면, 가이딩 시스템은 본 발명의 방법의 여러 실시예에 따라 구성된다.

일 양태에 따르면, 본 발명은 로봇 암을 가이딩하기 위한 시스템에 관한 것이며, 가이딩 시스템은, 제어 유닛의 연산부에 의하여 자동 제어되는 로봇 암(연산부는, 인간 신체 표면에 대하여 수집된 3D 모델의 메싱 상에 규정된 포인트로부터 계산된 궤적으로부터 로봇 암의 키네마틱을 계산함); 여러 시간 시점에서 복수의 신체 모델을 생성하기 위한 연산부(인간 신체 표면의 새로운 3D모델을 일정한 시간 간격으로 생성함에 따라, 로봇 암의 새로운 키네마틱이 계산되어 로봇 암의 변위를 실시간으로 자동 운용하도록 하며, 3D모델의 표면이 새롭게 계산됨에 따라 새로운 궤적 계산이 이루어짐); 로봇 암의 단부에 배치되며, 적어도 하나의 송신기 또는 센서를 포함하는 작동 장치(송신기 또는 센서의 활성화는, 송신기 또는 센서의 축 방향이 표적 포인트를 통과하는 직선을 따라 위치할 때 이루어지며, 상기 표적 포인트는 인간 신체 표면에 대하여 생성된 3D모델상에서 참조됨);를 포함한다.

다른 일 양태에 따르면, 본 발명은 인간 신체의 3차원 작업 표면을 생성하는 방법에 관한 것이며, 생성 방법은, 기하학적 데이터에 대응되는 입력 데이터를 수신하는 단계; 입력 데이터로부터 제1 포인트 클라우드(point cloud)를 생성하는 단계(각 포인트는 3차원 공간 좌표와 연관됨); 제1 포인트 클라우드의 각 포인트에 대하여 복수의 속성(attributes)을 결정하는 단계(상기 속성은, 적어도 하나의 형태 서술자(descriptor)를 포함하며, 하나의 포인트의 적어도 하나의 속성은, 제1 포인트 클라우드의 해당 포인트에 대한 법선벡터(normal vector)를 나타내는 데이터를 포함함); 각 포인트에 상기 속성을 연관(association)시켜, 강화(enriched)된 제2 포인트 클라우드를 생성하는 단계; 회귀(regression)를 사용하여, (i)제2 포인트 클라우드의 적어도 하나의 포인트 또는 인간 신체 모델의 적어도 하나의 관절에서의 적어도 하나의 회전; 및 (ii)적어도 하나의 형태 계수(coefficient)를 포함하는 기하학적 파라미터 세트를 계산하는 단계(상기 회귀는, 여러 파라미터화 설정(parameterization configuration)으로 파라미터화된 파라미터적 모델에 대한 복수의 부분 시야(partial view)를 통하여 훈련된 뉴럴 네트워크의 여러 레이어에 따라 수행되는 일련의 행렬 연산(matrix operation)을 통하여 수행됨); 파라미터화된 모델을 결정하여 제1 메싱을 포함하는 신체 모델을 생성하는 단계; 를 포함한다.

일례에 따르면, 입력 데이터는 이미지를 설명하는 데이터를 포함한다. 기하학적 데이터는, 예를 들어, 2D 이미지를 설명하는 데이터로부터 도출될 수 있다. 따라서, 일 사례에 따르면, 입력 데이터는 이미지이다.

본 방법의 한 가지 이점은, 최소한의 수집 시스템(예: 한 쌍의 카메라)을 이용하여 환자의 신체 가까이에 있는 의료 장치 가이딩의 실시간 자동 제어를 가능하게 하는 것이다. 특히 고성능 뉴럴 네트워크의 학습 방법에 따라 가이딩 성능을 얻는다.

일 실시예에 따르면, 본 방법은, 제1 메싱을 처리하여 균일(homogeneous)한 제2 메싱을 생성하는 단계를 포함한다. 균일한 메싱 사용의 한 가지 이점은, 로봇 암의 헤드부(head)의 센서 또는 송신기의 자동 제어 명령을 용이하게 하는 것이다. 실제로, 균일한 메싱의 포인트를 처리하는 것은 로봇 암의 헤드부의 장치를 활용하는 것을 용이하게 한다.

일 실시예에 따르면, 제1 포인트 클라우드의 스펙트럼 분할(spectral partitioning) 방법을 사용하여, 제1 그래프의 인접 행렬(adjacency matrix)로부터 제1 포인트 클라우드의 적어도 하나의 주어진 포인트에 대한 형태 서술자가 계산된다. 한 가지 이점은, 하나의 포인트 부근에서, 적용되는 포인트에 대한 거리 조건(distance criterion)에 따라 가중된 형태 서술자가 고려되는 것이다. 다른 이점은, 하나의 포인트의 부근에서, 로컬 표면의 토폴로지(topology)를 고려할 수 있는 것이다.

일 실시예에 따르면, 적어도 하나의 로컬 형태 서술자 및/또는 적어도 하나의 글로벌 형태 서술자는, "웨이브 커널 시그니쳐(Wave Kernel Signature)", "히트 커널 시그니쳐(Heat Kernel Signature)", 또는 "가우스 곡률(Gaussian Curvature)"중 어느 한 유형이다. 한 가지 이점은, 하나의 포인트 부근의 영역에 대한 스펙트럼 분석을 바탕으로 형태 서술자를 규정하는 것이다. 한 가지 이점은, 디지털 처리가 최적화될 수 있는 수식 및 정규(normalized) 연산자의 간소화된 사용이다.

일 실시예에 따르면, 제1 포인트 클라우드의 하나의 주어진 포인트에 대한 법선벡터는, 해당 포인트의 부근에 위치한 각각의 포인트의 주변에 국부적으로 생성된 표면을 고려하여 계산된다. 한 가지 이점은, 치료할 신체 표면상의 로컬 표면의 토폴로지를 분석하기 위하여 필요한 해상도(resolution) 또는 입상도(granularity)를 파라미터화하는 것이다.

일 실시예에 따르면, 제1 포인트 클라우드의 고려되는 포인트에서 국부적으로 생성되는 표면은, (i)제1 포인트 클라우드의 포인트에 의하여 규정된 기저(underlying) 표면, 또는 (ii)고려되는 포인트에서 가장 가까운 k개의 이웃 포인트로부터 직접 획득한 로컬 표면의 근사치(approximation)를 바탕으로 계산된다.

일 실시예에 따르면, 제1 포인트 클라우드의 각 포인트는 적어도 두 개의 형태 서술자와 연관된다. 한 가지 이점은, 모델의 서술(description)을 강화하는 것이다. 일 관심사는, 뉴럴 네트워크를 학습시키는 동안 더 향상된 학습 효과를 얻는 것이다. 또한, 한 가지 이점은, 뉴럴 네트워크의 회귀 단계의 성능을 향상시키는 것이다.

일 실시예에 따르면, 제1 포인트 클라우드는, (i)적어도 두 개의 광학 장치로부터 복수의 이미지 수집(제1 포인트 클라우드의 각 포인트의 위치는, 적어도 두 개의 수집된 이미지에 대한 입체 계측(stereoscopic measurement)을 통하여 도출됨), 및/또는 (ii)변형된 패턴을 포함하는 이미지 수집(상기 패턴은 프로젝터에 의하여 투사되며, 기지의 기하학적 구조를 포함함), 및/또는 (iii)환자의 피부 표면으로 송출되고 반사되는 초음파 신호 수집, 및/또는 (iv)환자의 피부 표면으로 송출되고 반사되는 레이저 수집을 통하여 얻은 데이터로부터 생성된다.

한 가지 이점은, 여러 수집 기법을 이용하여 본 발명의 방법을 실행하는 것이다. 한 가지 이점은, 특히 의료 장치의 가이딩 목적으로, 본 발명의 방법에 의하여 활용될 수 있는 포인트 클라우드를 얻는 것이다. 서로 다른 수집 기법은 조합되거나 서로를 대체할 수 있다. 그럼에도 불구하고, 카메라와 같은 이미지 수집 시스템이 실행 및 설정이 간편하며 용이하게 설치할 수 있는 수집 시스템에 해당한다.

일 실시예에 따르면, 파라미터화된 신체 모델은, 한 세트의 관절이 기 규정된, 인간 신체의 파라미터적 모델링(parametric modelling)으로부터 얻어지며, 상기 파라미터는, (i)적어도 하나의 관절에 대한 적어도 하나의 회전각; 및 (ii)적어도 하나의 형태 계수; 를 모델링한다.

한 가지 이점은, 신체의 각 팔다리의 서로 다른 자유도(degrees of freedom)를 고려한, 인간 신체의 단순 파라미터화(simple parametrization)를 규정하는 것이다. 한 가지 이점은, 환자의 가능한 움직임에 따라 가이딩되는 장치의 실시간 자동 제어를 수행하는 것이다.

일 실시예에 따르면, 상기 파라미터는 또한, (i)공간 내에서 모델의 적어도 하나의 글로벌 이동(translation); 및/또는 (ii)공간 내에서 모델의 적어도 하나의 글로벌 회전; 을 모델링한다.

한 가지 이점은, 환자의 변위를 고려할 수 있고, 여러 다른 기구의 배치에 따라 환자 신체의 수집 시스템을 보정할 수 있는 것이다.

일 실시예에 따르면, 파라미터화된 신체 모델은, 특정 파라미터화(parameterization)를 규정함으로서 획득되며, 특정 파라미터화는 한 세트의 모델링 파라미터에 대한 규정을 포함하여, 파라미터적 신체 모델의 특정 표현(representation)을 규정할 수 있도록 한다. 상기 파라미터화된 신체 모델은, 이어서, 제3 포인트 클라우드, 그래프, 또는 메싱에 의하여 표현될 수 있다. 한 가지 이점은, 획득한 파라미터화된 신체로부터 직접적으로 활용할 수 있는 포인트 클라우드를 생성하는 것이다. 다른 한 가지 이점은, 뉴럴 네트워크의 우수한 일반화(generalization)성능을 얻기 위하여, 여러 자세(pose)에 따라 많은 수의 신체를 얻는 것이다.

일 실시예에 따르면, 복수의 부분 시야(partial view)가 생성된다. 각각의 부분 시야는, 예를 들어, 제3 포인트 클라우드의 포인트의 하위 세트(subset)로부터 얻는다. 한 가지 이점은, 캡쳐된 실제 이미지에 대응될 수 있는 많은 수의 시야를 생성하는 것이다. 이에 따라 뉴럴 네트워크의 보다 양질의 학습이 이루어지며, 많은 수의 부분 시야를 이용하여 학습함에 따라 회귀 단계의 성능이 향상된다.

일 실시예에 따르면, 제3 포인트 클라우드의 포인트의 하위 세트 각각은, 공간 내 특정 시점(viewpoint)을 통하여 포착된 포인트를 선택함에 따라 획득되며, 공간 내 복수의 시점에 대하여 한 세트의 부분 시야가 생성된다.

일 실시예에 따르면, 회귀는, (i)학습 방법으로부터 얻은 가중 계수(weighting coefficient)를 포함하는 행렬에 대한 복수의 곱 연산(multiplication)을 포함하는 뉴럴 네트워크 컨볼루션 또는 레이어; 및 (ii)비선형 연산; 을 포함한다.

일 실시예에 따르면, 회귀의 입력값(input)은, (i)포인트 클라우드의 포인트 및 포인트의 속성값; 및/또는 (ii)포인트 클라우드에 대응하는 그래프의 인접 행렬; 을 포함한다.

일 실시예에 따르면, 본 방법은, 뉴럴 네트워크 학습의 선행(preliminary) 단계를 포함하며, 상기 선행 단계는, (i)여러 파라미터화 설정에 의해 파라미터화된 파라미터적 모델의 복수의 부분 시야를 통하여 수행되는 학습 단계; 및 (ii)학습된 네트워크의 각 레이어에 대한 가중 계수를 포함하는 행렬을 생성하는 단계; 를 포함하는 딥러닝(deep learning)방법에 의하여 수행된다.

다른 일 양태에 따르면, 본 발명은, 본 발명의 방법에 의하여 수집된 입력 데이터를 처리하여 파라미터화된 신체 모델을 생성하기 위한, 입력 데이터를 수집하기 위한 인터페이스; 연산부; 및 메모리; 를 포함하는 시스템에 관한 것이다.

일 실시예에 따르면, 본 발명은, 공간 내 위치한 신체 표면의 하나의 포인트 세트에 대한 거리 데이터를 수집하기 위한 수단; 가이딩되는 로봇 암(로봇 암은 적어도 1 이상의 자유도를 가지며, 또한, 상기 로봇 암은 센서 또는 송신기를 더 포함하고, 센서 또는 송신기의 위치는, 신체 모델에 대한 부분 시야의 표면에 규정된 치료 궤적으로부터 얻은 가이딩 궤적에 의하여 자동 제어되며, 상기 신체 모델은 본 발명의 방법에 의하여 생성됨); 을 포함하는 시스템에 관한 것이다.

본 발명의 시스템은, 본 발명의 방법을 설명하기 위하여 언급된 여러 파라미터에 따라 설정될 수 있다. 더불어, 본 발명의 시스템은, 여러 실시예에 따라, 본 발명의 방법의 여러 실시예에서 설명된 다양한 수단을 포함할 수 있다.

본 발명은, 신체 표면의 이미지 수집 및 상기 신체에 대한 3차원 표면을 재구성하는 방법을 제공하는 효과가 있다. 본 발명은 또한, 이미지 수집 및 처리 시스템을 제공하는 효과가 있다. 본 발명은 또한, 모델링된 신체 모델을 통하여 의료 장치를 활성화하는 방법 및 시스템을 제공하는 효과가 있다. 본 발명은, 예를 들어, 환자의 피부에 대한 진단 또는 치료용 로봇 물체를 위한, 가이딩 방법을 제공하는 효과가 있다.

본 발명의 다른 특징 및 이점은 후술할 발명의 자세한 설명 및 첨부된 도면을 참조함으로써 명백하게 드러날 것이다.
도 1은, 본 발명의 방법의 일 실시예의 주요 단계를 도시한 것이다.
도 2는, 치료할 신체 표면의 근위에 위치한 로봇 암의 공간 내 움직임을 제어하기 위한 시스템의 일 실시예를 도시한 것이다.
도 3은, 작동 콘솔; 포지셔닝(positioning) 시스템; 및 본 발명의 방법에 의하여 운용될 수 있는 로봇 암; 을 포함하는, 본 발명의 시스템의 일 실시예를 표현한 것이다.
도 4는, 계획된 궤적에 따라 움직이도록 가이딩되며 6개의 축을 가진, 본 발명에 따른 로봇 암의 예를 도시한 것이다.
도 5는, 로봇 암의 헤드부의 기준 포인트(reference point)가 도시된, 6개의 축을 가진 본 발명에 따른 로봇 암의 예를 도시한 것이다.
도 6a는, 피부과용 용도 등으로 사용되기 위한 본 발명에 따른 로봇 암의 헤드부에 배치된 작동 장치의 제1 예를 도시한 것이다.
도 6b는, 본 발명의 시스템에 의하여 생성된 궤적의 예를 도시한 것이다.
도 7은, 본 발명의 방법에 따른, 치료할 표면의 포인트에 대한 제1 메싱의 예를 도시한 것이다.
도 8은, 본 발명의 일 실시예에 따라 얻은 제2 메싱의 제1 예를 도시한 것이다.
도 9는, 본 발명의 일 실시예에 따라 얻은 제2 메싱의 제2 예를 도시한 것이다.

본 발명은, 신체 표면의 이미지 수집 및 상기 신체에 대한 3차원 표면을 재구성하는 방법에 관한 것이다. 본 발명은 또한, 이미지 수집 및 처리 시스템에 관한 것이다. 본 발명은 또한, 모델링된 신체 모델을 통하여 의료 장치를 활성화하는 방법 및 시스템에 관한 것이다. 본 발명은, 예를 들어, 환자의 피부에 대한 진단 또는 치료용 로봇 물체를 위한, 가이딩 방법에 관한 것이다.

이하의 설명에서는, 환자(1) 신체의 포인트를 수집(5)하기 위한 시스템이, 바람직하게는 공간 내 고정된 지점에 배치된다. 일례로서, 이러한 포인트 수집 시스템은, 천장, 벽, 또는 본 발명의 방법을 실시하는 동안 고정된 상태로 있도록 의도된 공간 내 어느 한 지점에 고정된다. 이러한 수집 시스템(5)은, R₀(O, x₀, y₀, z₀)로 표기되는 기준점에서 참조된다. 또한 수집 시스템(5)과 관련된 기준점 R₁(O₁, x₁, y₁, z₁)에서 참조될 수 있다. "실제 세계"의 기준틀(reference frame)과 수집 시스템(5)간의 위치 보정(calibration)에 따라, 수집 시스템(5)은 R₁ → R₀ 변환에 의하여 기준점 R₀에서 참조될 수 있다.

이하의 설명에서, 로봇 암(6)은, 수집 장치(5)의 수집 필드(acquisition field) 범위에 포함되는 공간에 배치된다. 이는 병원의 치료실 또는 의사의 시술이 수행되는 병실일 수 있다. 로봇 암(6)은, 본 발명의 방법에 따라 치료가 수행되는 동안 주어진 위치에 고정될 수 있는 이동식 가구(25)와 같은 받침대 상에 위치할 수 있다. 이러한 로봇 암(6)은 R₀(O, x₀, y₀, z₀)로 표기되는 기준점에서 참조될 수 있다. 공간 내 로봇 암(6)의 위치는 기준점 R₂(O₂, x₂, y₂, z₂) 내에서 찾을 수 있어, 로봇 암(6)의 움직임이 용이하게 표현될 수 있다. 기준점 R₂ → R₀변환에 따라 로봇 암(6)의 움직임을 수집 시스템(5)의 기준점 R₀으로 표현할 수 있다. 이러한 기준점의 변경은, 로봇 암(6)과 환자 신체(1)의 충돌 감지 기능을 구현할 때 특히 효율적일 수 있다.

일 실시예에 따르면, 수집 시스템(5)은 기준점 R₂와 통합될 수 있다. 이러한 사례에서, 수집 시스템은 로봇 암(6)을 지지하는 받침대에 고정되어 있을 수 있다. 이러한 구성은, 예를 들어, 수집 시스템(5)의 위치를 높일 수 있는 지지대(도시되지 않음)를 사용하여 달성할 수 있다. 이와 같은 구성의 한 가지 이점은, 본 발명의 시스템의 설치를 용이하게 하는 것이다. 다른 이점은, 수집 시스템(5)과 로봇 암(6) 위치 간의 사전 보정(pre-calibration)이 가능한 것이다.

다른 일 실시예에 따르면, 수집 시스템(5)은, 작동 콘솔(operating console, 20)이 설치된 받침대에 고정될 수 있다. 이 경우 하드웨어 부분과 소프트웨어 부분을 포함하는 자율 수집 시스템을 사용할 수 있다. 또한, 지지대 또는 다른 기계적 지지 장치를 사용하여 수집 시스템(5)을 고정할 수 있다.

이하의 설명에서는, 작동 장치(8)로도 지칭되는 로봇 암(6)의 헤드부(8)가, 로봇 암(6)의 원단부에 배치된다. 헤드부(8)는 도 5에 도시된 대로 R₃(O₃, x₃, y₃, z₃)으로 표기되는 기준점과 연결될 수 있다. 로봇 암(6)의 헤드부(8)의 위치는, 로봇 암(6)의 브랜치를 움직이게 하는 키네마틱에 대한 정보를 바탕으로 기준점 R₂(O₂, x₂, y₂, z₂)에서 용이하게 식별될 수 있다. 한 가지 관심사는, 작동 장치(8)에 의하여 수집된 이미지를, 예를 들어, 기준점 R₀(O, x₀, y₀, z₀)에서 참조하는 것이다.

본 발명의 설명은, 모든 유형의 로봇화(robotized)된 사물, 특히 로봇 암(robotized arm)에 대하여 적용된다. 본 발명의 로봇 암은 복수의 자유 축(axes of freedom)을 포함하며, 특히 2 내지 9 사이의 자유도를 가질 수 있다. 이하의 설명에서는, 일 실시예를 설명하기 위하여 6개의 축을 가진 로봇 암의 적용 사례를 고려할 것이다. 그러나, 본 발명은 이러한 예에 의하여 한정되지 않는다.

다른 대안에 따르면, 로봇 암은 수평 받침대에 고정되고 제1 암이 수직으로 연장될 수 있으며, 또는, 로봇 암은 수직 받침대에 고정되고 제1 암이 수평으로 연장될 수 있다. 여러 다양한 구성이 본 발명에 적합하다.

이하의 설명에서, "신체 모델(body model)"은, 신체의 3차원 모델을 지칭한다. 이러한 신체 모델은, 포인트 클라우드(point cloud)를 통하여 표현될 수 있다. 포인트 클라우드는, 특정 파라미터화(parameterization)로 얻은, 파라미터적 신체 모델에 대한 특정 모델링을 통하여 생성될 수 있다.

또한, 이러한 신체 모델은, 신체 전체를 모델링하는 포인트 클라우드의 하위 세트에 대응되는, 해당 신체의 여러 부분 시야를 생성하기 위하여 사용될 수 있다. 이와 같은 목적으로, 신체 모델의 부분 시야를 추출하기 위한 시점(viewpoint)이 규정될 수 있다. 이와 같은 신체 모델은, 인간 신체에 대한 파라미터적 모델의 특정 파라미터화 설정으로부터 얻을 수 있다.

이하의 설명에서, "신체 모델"의 부분 시야는, 상기 신체 모델 표면이 관측되는 특정 시점에 따른 신체의 3차원 모델을 지칭한다.

이하의 설명에서, "파라미터적(parametric) 신체 모델(MOD_S)"은, 주어진 파라미터의 설정에 따라 해당 신체의 특정 부분이나 시야에 대한 변환(transformation)을 생성하도록 파라미터화될 수 있는 모델을 지칭한다. 앞에서 정의된 신체 모델은, 따라서, 파라미터적 인간 신체 모델의 특정 파라미터화에 의하여 생성될 수 있으며, 이를 파라미터화된 신체 모델(MOD_P)로 지칭한다.

파라미터적 신체 모델은, 본 발명의 방법을 실행할 때, 제1 용도에 따라, 예를 들어 의료 장치의 가이딩에 활용될 신체 모델 생성을 위한 한 세트의 파라미터를 결정하는 목적의 회귀 단계를 수행하기 위하여 사용될 수 있다. 또한 제2 용도에 따라 딥 러닝 과정 중 회귀 단계에서 사용될 가중 행렬(weight matrix)을 생성하기 위하여 사용될 수 있다.

일 예에 따르면, 파라미터적 신체 모델(MOD_S)은, 다음의 파라미터를 입력함에 따라 파라미터적 모델로부터 얻을 수 있다.

(i)공간 내에서 모델의 글로벌 이동: T_x, T_y, T_z, 즉, 3개 파라미터;

(ii)공간 내에서 모델의 글로벌 회전: R_x, R_y, R_z, 즉, 3개 파라미터;

(iii)각 관절의 회전각(예를 들어, 각각 3개의 회전 파라미터 R_xi, R_yi, R_zi를 가진 24개의 관절을 포함한 파라미터적 모델을 사용하여 총 72개 파라미터가 규정됨);

(iv)형태 계수(예를 들어, 20개의 형태 계수를 포함하는 파라미터적 모델을 사용하며, 형태 계수는 인간 신체 형태에 영향을 줌).

본 예에서는, 88개의 파라미터가 결정됨에 따라 인간 신체 모델을 생성한다.

본 발명의 방법 및 시스템에 따라 다른 실시예가 실행될 수 있다.

포인트의 수집

일 실시예에 따르면, 본 방법은 포인트의 수집 단계(ACQ)를 포함한다. 수집은, 예를 들어, 이미지 수집 장치를 사용하여 수행될 수 있다. 일 실시예에서, 도 3의 광학 시스템(5)은, 이미지(IM₁, IM₂)를 수집하기 위한 두 개의 센서(51, 52)를 포함한다. 이는, 예를 들어, 3D 카메라와 같은 카메라로, 적어도 두 개의 컬러 카메라 또는 적외선 카메라를 포함할 수 있다. 다른 일 실시예에 따르면, 컬러 또는 적외선 카메라가 사용될 수 있다. 바람직하게는, 한 쌍의 동일한 카메라가 사용된다. 각 카메라의 컬러를 설정하고 공간 내 동일한 지점에 대하여 대응하도록, 사전 보정 단계가 수행될 수 있다.

다른 카메라 간 보정 기법으로서, "입체 보정(stereoscopic calibration)"이 두 카메라 간에 수행되어, 물체에 대한 3D 재구성을 생성할 수 있다. 보정은 각 카메라에 의하여 수집된 두 이미지 간의 변환을 계산하는 것을 목적으로 한다.

일 예에 따르면, 이러한 변환은, 키포인트(key points)의 탐지 및, "SIF"라는 약자로 더 잘 알려진 크기 불변 시각적 특징 변환(scale invariant visual feature transformation)에 의하여 얻은 서술자의 계산을 포함한다. 키포인트를 대응시키기 위한 상관(correlation) 단계가, 예를 들어, "랜덤 샘플 컨센서스(RANdom SAmple Consensus)"로 지칭되는 "RANSAC"방법과 같은 추정 기법을 이용하여 실행될 수 있다. 다음으로, 감지된 키포인트 간의 등거리 변환(isometric transformation) 계산이 수행된다. 마지막으로, 변환에 따라, 이미지의 포인트를 삼각측량(triangulate)하여 깊이 맵(depth map)을 구성할 수 있게 된다.

제1 방법에 따르면, 알려진 위치의 두 시점에서 동일한 물체에 대하여 수집한 2D 이미지는 기지의 기법에 따라 조합되어, 깊이 맵 또는 거리 맵을 얻을 수 있다.

본 발명의 방법에 따라, 2D 이미지를 처리한 후 조합하여 포인트 클라우드(G₁)를 얻을 수 있다. 포인트는 제1 그래프(G₁)를 구성하게 된다. 일 예에 따르면, 획득한 제1 그래프(G₁)의 포인트는 방향성이 없으며(non-oriented), 연결되어 있지 않다(non-connected). 가장 단순한 형태로서, 그래프(G₁)는, 정렬되어 있지 않고 좌표가 공간 내에서 참조되는(예를 들어, R₀, R₁, R₂ or R₃에서 참조되는) 포인트의 리스트(list)이다. 이에 따라 각 포인트는 다른 포인트와 독립적으로 규정된다. 따라서, 가장 단순한 형태로서, 그래프(G₁)는 곧 포인트 클라우드이다.

이미지(IM₁, IM₂)는, 동시에 수집될 수 있다. 유리하게는, 광학 장치는 평행 축을 따라 위치하며, 서로 인접(colocalized)한다. 일 관심사는, 이미지를 입체 기법(stereoscopic technique)으로 처리하여 깊이 맵을 생성하는 것이다. 깊이 맵은, 복수의 포인트에서 공간 좌표 x,y,z를 참조하는 것을 가능하게 한다.

일 실시예에 따르면, 이미지의 색상은, 톤 차이(tone difference), 즉, 거리 변화(distance variation)를 생성하기 위하여 사용된다.

깊이 맵은, 수집한 서로 다른 포인트 간의 거리를 인코딩(encoding)함으로써 얻으며, 그 해상도(resolution)는 설정될 수 있다. 그레이스케일(grey scale)은 제1 값 범위에 따라 달라질 수 있다. 예를 들어, 16비트의 인코딩을 선택함으로써, 깊이 맵의 그레이스케일로의 인코딩은 서로 다른 포인트 사이의 거리를 높은 정밀도로 획득하는 것이 가능하다.

본 발명의 방법에 따라, 광학 장치(51, 52)에 의하여 지속적으로 이미지 스트림(stream)을 수집하여, 이를 실시간으로 처리하는 것이 가능하다. 부호 IM₁, IM₂는, 수집된 이미지뿐만 아니라, 각각의 카메라(51,52)에 의하여 수집된 이미지 스트림을 또한 지칭한다.

이미지는, 치료를 위한 영역을 한정하는 수집 경계(perimeter)를 추출하기 위하여 처리될 수 있다. 이를 위하여 템플릿(template)이 사용되어, 신체 표면에 의하여 규정되는 관심 영역 바깥의 포인트를 고려하지 않도록 할 수 있다.

두 이미지(IM₁, IM₂)를 수집하고 치료할 표면의 전체를 포함함으로써, 신체 전체에 대한 깊이 맵을 생성하는 것이 가능하다. 깊이 맵은 하나의 포인트 세트 및 각 포인트간의 상대 위치를 포함한다.

다른 예에 따르면, 방법의 본 단계에서는 어떤 표면도 치료되지 않는다. 포인트 사이의 거리는, 신체의 외부 층과 같은 형태 인식과는 독립적으로 생성된다.

일 예에 따르면, 단위 표면 당 생성되는 포인트의 수는, 포인트 클라우드의 필요한 해상도에 따라 설정될 수 있다. 이를 위하여, 수집 과정에서 더 많은 이미지를 수집하거나 또는 더 적은 이미지를 수집하도록 설정하여 해상도를 높일 수 있다.

일 실시예에 따르면, 포지셔닝 시스템(POS_SYS)은, 기준틀(frame of reference) 및 좌표계를 규정할 수 있게 하여, 단일 기준틀 내에서 각 포인트의 위치를 파악할 수 있도록 한다. 이러한 포지셔닝 시스템은, 유리하게는, 수집 장치(5)일 수 있다.

입체 보정을 통하여 R₀과 R₁간의 변환을 얻을 수 있으며, 이때 R₁은 수집 시스템(5)과 연관된 기준점이다. 다음으로, 본 발명의 방법은 로봇화된 물체(6)를 수집 시스템(5)에 대하여 보정할 수 있도록 하여, 이에 따라 R_{2 →}R_{1 →}R₀의 기준틀 내 이미지의 변환을 수행할 수 있게 한다. 기준틀 R₃이 로봇 암(6)의 헤드부(8)와 연관될 경우, 로봇 암(6)을 운용하는 시스템의 연산부 및 메모리에 각 암의 관절에 대한 키네마틱이 알려져 있음에 따라 R_{3 →}R₂로의 변환을 알 수 있다.

다른 수집 기법

일 실시예에 따르면, 투사 장치(projector device)가 사용되어, 신체 표면에 패턴을 투사한다. 수집된 이미지는, 투사된 패턴의 변형(deformation)을 분석하기 위하여 이후 처리된다. 이러한 기법에 따라 추가적인 데이터를 획득하여 3D 재구성을 향상시킬 수 있다. 특히, 투사된 패턴의 변형을 감지하여, 3D 재구성의 정밀도를 향상시킬 수 있다. 특히, 투사된 패턴의 변형을 감지하여, 깊이 맵을 생성하기 위해 계산되는 거리 측정의 정밀도를 향상시킬 수 있다. 또한, 프로젝터의 사용은 제1 그래프(G₁)의 생성을 위한 포인트 클라우드 구성시에 노이즈(noise)를 경감시킬 수 있다.

결과적으로, 스테레오스코피(stereoscopy)에 의한 깊이 맵의 재구성은, 한 쌍의 카메라 및 선택적으로 적어도 하나의 패턴 프로젝터에 의하여 획득할 수 있다. 투사된 빛은 가시 범위에 있거나, 또는 적외선처럼 가시 범위 밖에 있을 수 있다. 일 예에 따르면, 수집 시스템(5)은, 한 쌍의 컬러 3D 카메라 및 적어도 하나의 적외선 프로젝터를 포함할 수 있다.

다른 일 실시예에 따르면, 사용되는 카메라는 적외선 카메라이거나, 적외선에 근접한 주파수 범위를 가질 수 있다.

레이저 트랜시버(transceiver)와 같은, 깊이 맵 구성을 위한 다른 기법이 사용될 수 있다. 레이저 빔의 반사로 인하여, 반사 표면의 기하학적 구조에 대한 데이터를 생성할 수 있다. 다른 기법으로는 초음파(ultrasonic) 트랜시버가 사용될 수 있다. 실행될 수 있는 시스템의 예로는, LIDAR유형의 시스템이 있다.

일 실시예에 따르면, 본 발명의 방법을 통하여, 수집된 이미지로부터 도출된 포인트 클라우드를 회수하고, 이를 GPU(그래픽 처리 유닛)와 같은 그래픽 프로세서에 전송할 수 있다.

제1 그래프(G ₁ )의 생성

본 발명의 방법은, 예를 들어 공간 내 기준점 R₀에서 참조되는 공간 좌표와 연관된 포인트의 세트를 생성하기 위한 단계를 포함한다. 이와 같은 좌표는 포지셔닝 시스템(SYS_POS)의 사전 보정으로부터 얻을 수 있다. 보정은, 본 발명에 따른 방법의 시작 시점에, 포지셔닝 시스템(SYS_POS)의 광학부에 의하여 수집된 특정 패턴을 이용하여 수행될 수 있다. 일 실시예에 따르면, 포지셔닝 시스템(SYS_POS) 및 광학 시스템(SYS_OPT)은 동일한 시스템일 수 있으며, 다른 실시예에 따르면, 두 개의 개별적인 시스템일 수 있다.

따라서, 수집 시스템(SYS_OPT)에 의하여 얻은 깊이 맵을 활용하여, 공간 내 기준점 R₀에서 참조되는 좌표와 연관된 공간 내 포인트의 세트를 획득할 수 있다.

본 발명의 방법은, 데이터의 수신 단계(REC_DATA₁)를 포함하며, 데이터(DATA₁)는 공간 내 기준점 R₀에서 참조되는 공간 내 포인트에 대응한다.

일 예에 따르면, 본 발명의 방법은, 기 규정된 표면에 연관된 데이터를 세분화(segment)하기 위한 단계를 포함할 수 있다. 표면은, 예를 들어, 인간 신체의 표면일 수 있다. 세분화는, 데이터(예를 들어, 수집한 2D 이미지 및/또는 획득한 깊이 맵으로부터 도출된 데이터)의 분석에 의하여 자동으로 수행될 수 있다. 예를 들어, 본 발명의 방법은, 특정 포인트 사이의 거리 차이를 분석하거나, 또는, 측색 처리(colorimetric processing)를 수행하는 단계를 포함할 수 있다. 깊이 맵을 이용하여 포인트 클라우드를 필터링함으로써 관심 포인트, 즉 인간 신체에 해당하는 포인트만을 포함하도록 할 수 있다.

다른 일 예에 따르면, 도 3에 도시된 PC(20)와 같은 작동 콘솔을 이용하여 표면 윤곽선(surface contour)을 수집할 수 있다. 이와 같은 예에 따르면, 스타일렛(stylet) 또는 마우스와 같은 선택 도구 및 사용자에 의하여 콘솔(20)의 화면에 나타나는 이미지를 사용하여 신체 표면의 윤곽선을 얻을 수 있다. 다른 예에 따르면, 스크린상의 터치 명령(tactile command) 또는 음성 명령에 의하여 선택이 이루어질 수 있다. 일 관심사는, 예를 들어, 환자(1)가 누워 있는 테이블(22)에 포함된 포인트를 무시하는 것이다.

본 발명에 따른 방법은, 제1 그래프의 생성 단계(GEN_G₁)를 포함한다. 제1 그래프(G₁)는, 환자(1)의 신체 표면에 대하여 생성된 포인트 세트의 행렬 표현으로부터 얻을 수 있다. 각 포인트는 v_i로 표기되며, 특히 기준점 R₀ 내 좌표를 포함하는 벡터로 나타낼 수 있다. 일 실시예에 따르면, 본 단계에서 제1 그래프(G₁)는 수집 기준틀 내에서 정렬되어 있지 않다(non-ordered). 여기에서 "그래프"라는 표현은, 가장 단순한 실시예, 또는 좌표를 가진 포인트의 리스트에 대응되는 포인트의 세트(즉, 단순한 포인트 클라우드)를 지칭할 때에도 사용된다. 다른 실시예에서, 그래프는 서로 연결되거나 또는 그렇지 않을 수 있으며, 방향성을 가지거나 또는 그렇지 않을 수 있다.

필터링

일 실시예에 따르면, 본 발명의 방법은 획득한 그래프를 필터링하는 단계를 포함하며, 필터링은 시간 필터링(temporal filtering) 및/또는 공간 필터링(spatial filtering)일 수 있다. 필터링 단계를 통해, 탐지 단계에 이어서 제1 그래프(G₁)를 생성하는 동안 발생하는 노이즈를 경감시키는 것이 가능하다.

속성 결정

본 발명에 따른 방법은, 각 포인트(v_i)에 대하여 적어도 하나의 속성을 결정하는 단계(DET_AT_i)를 포함한다. 속성은 포인트(v_i)에 연관된 데이터에 대응되며, 이와 같은 속성은 데카르트식 데이터(cartesian data), 형태 서술자, 식별자(identifier), 벡터 등 여러 특성을 가질 수 있다.

일 실시예에 따르면, 속성은, 제1 그래프(G₁)의 포인트(v_i)에 대한 법선벡터(n_i)를 나타내는 데이터를 포함한다. 법선벡터(n_i)는 여러 다른 방법에 의하여 결정될 수 있다. 포인트 클라우드의 포인트에 대한 속성으로서 법선벡터를 계산하는 것의 일 관심사는, 로컬 표면의 볼록성(convexity)에 관한 정보를 얻는 것이다.

일 실시예에 따르면, 제1 그래프(G₁)의 특정 포인트(v_i)에서의 법선벡터(n_i)는, 각 고려되는 포인트(vi) 부근에 위치한 포인트(v_iLk)로부터 국부적으로 생성된 표면을 고려하여 계산된다. 이를 위하여, 각 포인트의 공간 좌표를 고려되는 포인트의 좌표와 비교한다. 일 예에 따르면, 수집된 거리 및 깊이 데이터가, 고려되는 포인트 부근의 포인트들을 식별하기 위하여 이용된다.

제1 예에 따르면, 법선벡터를 계산하기 위하여 고려되는 표면은, 제1 그래프(G₁)의 포인트에 의하여 규정되는 기저 표면(underlying surface)으로부터 계산된다.

제2 예에 따르면, 법선벡터를 계산하기 위하여 고려되는 표면은, GPU에서 실행되는 방법으로부터 계산된다. 다른 일 예에 따르면, 법선벡터는, 고려되는 포인트에서 가장 가까운 k개의 이웃 포인트로부터 직접 얻은 로컬 표면의 근사치를 이용하는 방법을 통하여 계산된다. 그러나, 3D 포인트 리스트를 연결하는 이러한 삼각측량 방법은, GPU에서 실행되는 방법에 비하여 더 많은 비용이 들 수 있다.

그래프의 포인트에 대한 법선벡터 계산의 한 가지 활용법은, 포인트 클라우드를 강화하기 위해 포인트의 서술(description)을 증가시키는 것이다.

형태 서술자

일 실시예에 따르면, 속성은, 제1 그래프(G₁)의 각 포인트(v_i)에 대한 적어도 하나의 형태 서술자(Df_i로 표기됨)를 포함한다. 형태 서술자는, 하나의 포인트에서 공간에 대한 로컬 서술 시그니쳐(descriptive signature)이다.

일 예에 따르면, 형태 서술자(Df_i)는, 고려되는 포인트(v_i) 부근에 위치한 하나의 포인트 하위 세트로부터 계산된다. 따라서, 본 방법은, 신체 모델로부터 재구성되거나 추출되는 포인트의 그래프를 생성하는 단계(신체 모델은, 이러한 데이터를 활용할 수 있는 각 수집 장치의 시점으로부터/시점에 대하여 얻어짐)를 포함한다. 일 예로, 수집 장치가 로봇 암의 원단부에 배치되어 있을 경우, 수집 장치의 위치로부터 신체 모델에 대한 부분 시야가 생성되어 특정한 치료를 수행할 수 있다.

또한, 형태 서술자는, 포인트 클라우드로부터 얻은 3D 신체 모델의 각 포인트에서 도출될 수 있다. 대칭성과 등방성(isotropy)을 가지고 있는 한, 형태 서술자는 신체 모델의 회전과 같은 등거리 변환시에 불변(invariant)한다. 이는 고려되는 시야각에 상관 없이 형태 서술자를 전치(transpose)하는 데에 유리하다.

한 가지 이점은, 제1 그래프(G₁)의 포인트에 대하여 직접 형태 서술자 계산을 수행하는 것이다. 본 발명은, 따라서, 형태 서술자를 표면 부분이 아닌 그래프의 기 규정된 포인트에 직접 적용되게 함으로써 형태 서술자 계산을 최적화할 수 있도록 한다. 서술자 계산은, 그래프(G₁)로부터 얻은 연결된 그래프의 인접 행렬에 대하여 수행될 수 있다. 연결된 그래프란, 각 포인트가 다른 모든 포인트와 연결되어 있음을 의미한다. 인접 행렬은, 주어진 포인트와 직접 연결된 포인트를 얻을 수 있도록 한다. 또한, 인접 행렬로부터 두 개의 포인트 사이의 인접도(degree of proximity)를 도출할 수 있다. 형태 서술자에 따르면, 한 포인트의 부근은 인접 행렬로부터 도출될 수 있다.

대안적으로, 본 발명의 방법에 따라, 한 포인트가 가장 가까운 N개의 이웃 포인트에만 연결되도록 거리 문턱값(threshold)을 적용하는 것이 가능하다.

일 실시예에 따르면, 형태 서술자는 등거리적(isometric)이며 불변(invariant)하도록 선택된다. 일 관심사는, 등거리적 변환에 의한 신체의 움직임이 발생하였을 때 불변하는 형태 서술자를 얻는 것이다.

제1 예에 따르면, 형태 서술자는, WKS로 표기되는 "웨이브 커널 시그니처(Wave Kernel Signature)" 유형에 해당한다. 제2 예에 따르면, 형태 서술자는, HKS로 표기되는 "히트 커널 시그니처(Heat Kernel Signature)" 유형에 해당한다. 제3 예에 따르면, 형태 서술자는, "가우스 곡률(Gaussian Curvature)"유형에 해당한다.

여러 다른 실시예에 따르면, 제1 그래프(G₁)의 각 고려되는 포인트에 대하여 복수의 형태 서술자(Df_i)가 계산되며, 상기 각 포인트와 연관된다.

HKS 또는 WKS 서술자와 같은 특정 서술자는, 스펙트럼 형태 분석(spectral shape analysis) 방법의 군에 속한다. HKS 서술자는, 특히, 열 방정식의 해(solution)를 기반으로 하며, 라플라스-벨트라미 연산자(Laplace-Beltrami operator)를 기반으로 한다.

이와 같은 형태 서술자의 한 가지 이점은, 특히 등거리 변환과 같은 특정 변환에 대하여 불변하는 것이다. 더불어, 이러한 형태 서술자는, 그래프(G₁)의 인접 행렬로부터 계산될 수 있다. 한 가지 이점은, 하나의 고려되는 포인트와 그 부근의 포인트 세트의 상대 거리를 고려할 수 있는 것이다.

일 예에 따르면, 본 발명의 방법은 인접 행렬에 적용된 문턱값을 고려하여 사용되어, 거리가 특정 문턱값보다 큰 포인트 하위 세트만을 고려할 수 있다.

WKS 서술자는 슈뢰딩거 방정식의 해를 기반으로 한다. WKS 서술자의 일 이점은, 연산자에 의하여 획득한 모델링의 스펙트럼 분리(spectral separation)가 가능한 것이다.

형태 서술자는, 로컬 또는 글로벌 3차원 형태를 모델링하도록 선택될 수 있다. 이러한 서술자가 로컬 모델링을 인코딩할 경우, 유효성 반경(validity radius)을 도입할 수 있다. 그러나, 글로벌 모델링의 경우, 사용되는 연산자가 완전한 기하학적 불변성을 가지는 이점이 있다.

GPS로 표기되는 "글로벌 포인트 시그니처(Global Point Signature)"형태 서술자 또한 사용될 수 있다. 이러한 서술자는 라플라스-벨트라미 유형의 연산자를 기반으로 한다. 해당 연산자의 일 관심사는, 글로벌 모델링을 얻을 수 있는 것이다.

GC로 표기되는 "가우스 곡률(Gaussian Curvature)"형태 서술자 또한 사용될 수 있다. 이러한 서술자는 파라미터화된 표면을 고려할 수 있게 하며, 따라서, 역으로, 국부적으로 표면을 규정하는 포인트를 고려할 수 있게 한다.

SGWS로 표기되는 "스펙트럼 그래프 웨이블릿 시그니처(Spectral Graph Wavelet Signature)"서술자 또한 사용되어 다중 해상도(multi-resolution) 로컬 서술자를 규정할 수 있다.

스펙트럼 형태 분석에 기반한 형태 서술자를 사용하는 것의 일 관심사는, 이와 같은 형태 서술자를 수학적으로 처리하여, 연결되었거나 인접한 표면을 규합(assemble)하고, 영역을 분할하며, 형태 인식 알고리즘을 실행할 수 있는 것이다.

한 가지 이점은, 포인트의 서술을 강화하여, 뉴럴 네트워크의 회귀 성능을 향상시키는 것이다.

형태 서술자의 다른 한 가지 이점은, 제1 그래프(G₁)의 한 포인트에 대한 식별자를 생성하는 것이다. 환자의 신체가 시간이 지남에 따라 움직이거나 변화하는 경우, 신체의 표면은, 등거리적으로 변환되지 않는(non-isometric) 변형 가능한 물체로 여겨진다. 형태 서술자는, 각 포인트에 대하여 특수한 특징을 생성하여, 변형이 일어난 후 본 발명의 방법에 따라 이를 다시 식별할 수 있도록 한다.

속성의 연관

따라서, 제1 그래프(G₁)의 각 포인트(v_i)는, 좌표 {x_i, y_i, z_i}; 법선벡터 n_i; 및 한 세트의 형태 연산자 {Df_i1, Df_i2, DF_i3, …, Df_iN}와 연관될 수 있다. 이러한 단계는 도 1에서 ASSO_AT_i로 표기된다.

이후 포인트(v_i)는 유한 차원 벡터로 구성될 수 있으며, 벡터의 각 차원은 특정 속성에 대응한다. 이에 따라 제2 그래프(G₂)가 생성될 수 있다. 제2 그래프(G₂)는, 속성(AT_i)으로 강화된 벡터의 리스트에 대응된다.

회귀

파라미터적 인간 신체 모델에 의한 근사치 계산을 통하여 수집되고 강화된 인간 신체의 3차원 재구성을 가능하게 하는 계산 단계이다. 해당 단계는 도 1에서 REG로 표기된다. 회귀 단계의 목적은, 특정 파라미터를 추정(estimate)하여, 파라미터화될 수 있는 신체 모델을 해당 파라미터로 설정하는 것이다. 따라서, 카메라에 의하여 수집된 부분 시야로부터, 완전한 파라미터화된 신체 모델이 추정될 수 있다.

이러한 목적에 따라, 본 발명의 방법은, 형태 및 회전(ROT_i)파라미터를 포함하는 한 세트의 기하학적 파라미터를 계산하는 단계를 포함한다.

회전은, 제2 그래프(G₂)의 복수의 포인트에 대하여 계산될 수 있다. 일 실시예에 따르면, 회전은 제2 그래프의 각 포인트에 대하여 계산된다. 일 실시예에 따르면, 각 회전은 하나의 관절과 연관될 수 있다. 하나의 관절은 파라미터적 신체 모델(MOD_S)의 한정된 영역과 연관될 수 있으며, 따라서 주어진 관절은 파라미터화된 신체 모델(MOD_P)과 연관될 수 있다. 따라서, 회귀 연산의 결과로, 주어진 관절은 제2 그래프(G₂)의 한 세트의 포인트와 연관될 수 있다.

형태 파라미터는, 특정 기준점 내 파라미터화된 신체 모델의 포인트 위치에 의하여 규정될 수 있다.

일 실시예에 따르면, 입력 파라미터는, 유클리드 공간 R₃에서 계산된 속성과 함께 제공되는 포인트 클라우드 G₁ 또는 G₂의 포인트 세트이다.

일 대안에 따르면, 입력 파라미터는, 포인트 클라우드의 각 포인트의 그래프 (G₁)에 대응하는 인접 행렬일 수 있다. 이러한 입력은, 입력의 스펙트럼 영역(spectral domain)을 조사할 수 있게 하며, 반드시 속성을 고려할 필요가 없다.

형태 파라미터와 한 세트의 관절에 대한 회전은 뉴럴 네트워크의 출력 파라미터(output parameter)에 대응된다. 이러한 파라미터로 인하여, 파라미터적 신체 모델(MOD_S)의 설정을 통한 파라미터화된 신체 모델(MOD_P) 생성이 가능하다.

일 실시예에 따르면, 회귀 단계는, 입력 행렬과 딥 러닝 방법을 통하여 미리 학습된 가중 행렬 사이의 행렬 연산과 같은 일련의 수학적 연산을 포함한다.

각 연산 후에는 비선형 함수가 뒤따른다. 이는 네트워크 노드의 출력을 생성할 수 있도록 하는 활성화 함수(activation function) 또는 전이 함수(transfer function)이다. 일 예로, ReLU, 시그모이드(Sigmoid), 또는 Tanh함수와 같은 비선형 함수가 실행될 수 있다.

일 예에 따르면, 본 단계는, 복수의 기 규정된 파라미터화된 신체 모델(MPPi}i∈[1;N])을 통하여 학습된 뉴럴 네트워크의 일련의 레이어 컨볼루션(convolution)으로부터 수행되는 회귀를 포함한다.

이는 뉴럴 네트워크의 컨볼루션 또는 레이어일 수 있다. 실제로, 네트워크는 제1 레이어에 컨볼루션, 또는 모델 끝에서 완전 연결된(fully connected) 뉴런 레이어를 포함할 수 있다. 후자의 경우, 이는 선행하는 레이어의 모든 뉴런 및 다음 레이어의 모든 뉴런과 연결되는 뉴런이다.

컨볼루션 레이어는, 일련의 행렬 연산을 생성하는 입력 행렬의 스캐닝(scanning)단계를 포함할 수 있다. 뉴럴 네트워크의 다른 레이어는 일반적으로 입력 행렬의 크기에 대한 행렬 연산을 포함한다. 모든 경우에서, 해당 단계는 행렬 연산을 포함한다.

일 예에 따르면, 각 컨볼루션은 입력 행렬과 가중 행렬간의 행렬 곱을 포함하며 추가적인 편향(bias)이 고려된다.

뉴럴 네트워크 내의 연속적인 레이어에 의한 처리의 적용은, 일련의 행렬 곱셈 및 뒤따르는 비선형 함수를 적용하여 레이어의 출력을 생성하는 과정을 포함한다. 이러한 연산의 연속이 뉴럴 네트워크의 깊이를 규정하게 된다.

일 실시예에 따르면, 뉴럴 네트워크는 MLP라는 약자로 알려진 다층 퍼셉트론(multilayer perceptron)이다. 일 예에 따르면, 뉴럴 네트워크는 MLP에 상응하는 네트워크일 수 있다.

일 예에 따르면, 뉴럴 네트워크는, 입력 리스트의 포인트의 치환(permutation)에 대하여 결과가 불변하도록 설정된다. 이와 같은 설정은, "최대 풀링" 또는 "평균 풀링"으로 알려진 함수와 같은 풀링 함수를 사용함으로써 가능하다.

일 실시예에 따르면, 뉴럴 네트워크의 구조는 다양한 스케일에서 입력의 속성을 추출할 수 있도록 한다. 다양한 스케일에서 포인트 클라우드의 각 포인트 부근이 연속적으로 고려되어, 축소된 입력 차원(input dimension)의 공간 내에서 인코딩을 추출한다.

이러한 인코딩은 이후 일련의 완전 연결된 레이어로 전달되어, 파라미터적 인간 신체 모델의 파라미터 세트에 대한 회귀가 수행된다.

샘플링된 포인트의 부근을 샘플링 및/또는 그룹화하고 이후 이러한 포인트를 그룹화하는 연속적인 단계가 컨볼루션 레이어에 의하여 반복되고 인코딩되어, 획득한 파라미터에 대한 맵을 생성한다.

본 발명에 따른 방법은, 유리하게는 네트워크의 입력에서 포인트 세트의 대칭이 네트워크의 출력에서 보존될 수 있도록 한다. 따라서, 이와 같은 대칭 보존 함수를 이용하여, 연결되지 않고 방향성이 없는 그래프에 대한 뉴럴 네트워크의 적용이 가능하다. 해당 함수는, 본 단계가 입력 포인트의 정렬에 대하여 독립적이도록 한다.

해당 함수는 또한, 회귀의 처리 과정 내에서 셀프 인코더(self-encoder)의 실행을 가능하도록 한다.

파라미터화된 모델의 세트는 제네릭(generic) 모델로부터 얻을 수 있다. 이와 같은 모델의 일 관심사는, 형태 파라미터 및 관절의 파라미터화를 통하여 인간 신체에 대한 복수의 자세를 생성할 수 있도록 하는 것이다. 이와 같은 신체 모델의 일 특징은, 각각 적어도 하나의 회전 및 위치를 포함하는 관절의 세트에 의하여 모델링될 수 있다는 것이다. 관절의 회전은, 각도에 의하여 규정될 수 있다. 관절의 위치는, 그래프의 적어도 하나의 포인트 또는 여러 개의 포인트에 대한 적어도 하나의 위치와 연관될 수 있다. 다른 일 예에 따르면, 관절의 위치는, 그래프의 서로 다른 위치를 조합하는 연산으로부터 생성될 수 있으며, 해당 연산은, 예를 들어, 새로운 포인트의 새로운 위치를 생성하기 위하여 수행된다. 새로운 포인트는, 예를 들어, 그래프의 하나의 포인트 하위 세트의 무게중심(barycenter)일 수 있다. 형태 파라미터는, 신체에 대한 글로벌 형태 파라미터를 규정하기 위하여 파라미터화될 수 있다.

위치와 회전을 가진 관절 세트에 대한 설정 데이터 세트를 통하여 신체 모델의 특정 자세를 규정할 수 있다. 따라서, 신체 모델에 대한 복수의 자세를 생성하는 것이 가능하다.

일 실시예에 따르면, 신체 모델에 대한 파라미터적 모델링은, 메싱된 포인트 네트워크이다. 각 파라미터화된 관절은, 메싱된 포인트 네트워크의 하나의 포인트 하위 세트를 연관시키는 설정을 생성한다.

이러한 예에 따르면, 24개의 관절이 72개의 회전 파라미터로부터 규정될 수 있으며, 각 관절은 3개의 회전과 연결된다. 또한, 이러한 파라미터적 모델은 3개의 글로벌 회전을 포함할 수 있다. 본 발명의 실시예를 구현하기 위하여, 팔목, 팔꿈치 등과 같은 관절의 하위 세트가 추출될 수 있다.

각 관절은 또한, 팔목의 너비, 팔목의 길이 등과 같은 한 세트의 형태 파라미터를 포함할 수 있다.

일 실시예에 따르면, PCA(Principal Component Analysis, 주성분분석) 함수를 이용하여 일반 파라미터(general parameter)를 추출할 수 있으며, 일반 파라미터를 설정함으로써 복수의 관절에 대한 파라미터 세트를 조정할 수 있다. 예를 들어, 개인의 신체 크기, 복부의 두께, 비만도, 골반 크기 등을 설정하여, 복수의 관절에 연결된 로컬 파라미터 세트를 사전 조절할 수 있다.

신체의 파라미터화는 형태와 각도를 규정하는 복수의 벡터를 포함할 수 있다. 일 예로, 이는 발목, 허리, 팔 등일 수 있다. 일반 설정을 이용하여, 파라미터화될 수 있는 신체의 실루엣(silhouette) 또는 특정 템플릿을 얻을 수 있다.

다른 파라미터화 가능한 신체 모델링이 본 발명의 방법과 함께 사용될 수 있다.

뉴럴 네트워크의 학습

뉴럴 네트워크는, "머신 러닝"으로 더 잘 알려진 자동 학습 방식에 의하여 학습된다.

이와 같은 머신 러닝 알고리즘은, 고화질 신체 스캔의 데이터베이스를 회수하는 단계를 포함한다. 다음으로, 등거리변환을 적용하여 파라미터적 모델의 신체 템플릿을 변형하는 단계가 수행된다. 변환은, 회수된 데이터로부터 도출된 스캔에 합치하도록 템플릿의 서로 다른 측면(facet)에 대하여 적용되는 이동, 회전 및 그 조합을 포함할 수 있다. 해당 단계는, 예를 들어, 기울기 하강법(descent of gradient)에 의하여 최적화되기 위한 비용 함수(cost function)의 실행을 포함할 수 있다.

본 방법은, 각 스캔에 대하여 수행된 변환을 풀링(pooling)하는 단계를 포함한다. 이후 변환의 주성분은 ACP유형의 방법에 의하여 도출된다.

이러한 알고리즘의 적용을 통하여, 인간 신체의 주요 형태 및 위치 파라미터를 추출할 수 있다.

파라미터적 신체 모델에 대한 복수의 파라미터화를 통하여 획득한 파라미터화된 신체 모델 세트에 대한 부분 시야(VP) 세트를 생성하기 위하여, 레이 트레이싱(ray tracing) 알고리즘이 적용될 수 있다. 알고리즘은 다수의 서로 다른 시점을 고려하여 특정 파라미터화된 신체 모델로부터 복수의 부분 시야를 생성하도록 한다. 한 가지 이점은, 본 발명에 의한 방법을 실행할 때 보정 단계를 피하고, 환자 신체의 이미지가 수집될 때 실제 세계에 보다 가깝게 할 수 있는 것이다. 다수의 부분 시야에 의한 학습의 증식은, 환자 신체를 나타내는 수집된 데이터의 이동이나 회전과 같은 신체 처리 단계를 피할 수 있도록 한다.

본 해결 수단의 일 관심사는, 신체 모델의 여러 부분 시야를 이용한 다양한 파라미터에 의하여 다수의 신체 모델을 생성하는 것이다. 이와 같은 부분 시야(VP)는, 신체 전체를 규정하는 포인트 클라우드의 하나의 하위 세트에 대응한다. 한 가지 이점은, 뉴럴 네트워크를, 본 발명에 의한 방법을 사용할 때 실제 신체 수집 사례에 대응될 수 있는 다수의 설정으로 학습시키는 것이다. 시점은, 예를 들어, 카메라의 캡쳐 지점(capture points)에 대응된다. 신체 모델을 나타내는 최대한 완전한 데이터 라이브러리를 구성하기 위하여, 파라미터적 모델로부터 생성된 각 신체의 표면을 따라 여러 시점이 적용된다. 따라서, 여러 다른 시점에 따라 나타낸 다수의 신체 표면이 메모리에 저장된다. 뉴럴 네트워크가 회귀 단계를 수행하도록 학습시키기 위해 생성된 데이터 세트는, 복수의 파라미터화된 신체 모델(MOD_P)에 대한 한 세트의 부분 시야(VP)이다.

한 가지 이점은, 실제 세상에서 인식될 수 있는 대로의 신체 모델의 각 포인트와 연관된 형태 서술자를 통하여, 회귀의 가중치를 학습하는 것이다. 형태 서술자는, 생성된 각 부분 신체 모델 시야(VP) 및 주어진 신체 모델의 각 포인트에 대하여 얻을 수 있다. 학습에 의하여 획득된 형태 서술자는 뉴럴 네트워크의 각 레이어에 대하여 가중 행렬을 규정할 수 있도록 하며, 가중 행렬은 가중 계수를 포함하는 행렬이다. 환자의 신체 모델을 계산하는 동안 실시간으로 수행되는 회귀 단계에서, 회귀 단계는 바람직하게는 학습 단계에서 규정된 가중 행렬을 이용하여 수행된다.

따라서, 생성된 파라미터화된 신체 모델(MOD_P)은, 회귀 단계(REG)를 수행하기 위한 뉴럴 네트워크를 학습시킬 수 있다. 이후 실시간 회귀를 통해, 고려되는 신체의 특징을 나타내는 파라미터를 추출할 수 있다.

본 단계에 따라, 표면이 쉽게 추출될 수 있는 신체 모델을 얻을 수 있으며, 카메라에 포착된 부분만이 아닌 전체 파라미터화된 신체 모델을 고려할 수 있다.

본 발명에 따른 한 가지 이점은, 추론(inference)을 통하여 실시간으로 3차원 표면을 재구성하는 것이다. 이러한 해결 수단은, 딥러닝 기술에 의하여 학습된 모델을 이용하는 것을 기반으로 한다. 일 관심사는, 로봇 암의 실시간 자동 제어에 있어서, 긴 계산 시간과 적분 한계를 수반하는 반복법(예: 기울기 알고리즘)과 같은 최적화 방법을 사용할 필요가 없도록 하는 것이다. 본 발명에 따른 방법의 일 관심사는, 로봇 암의 가이딩 시에 수집된 데이터가 처리되는 동안이 아닌, 학습이 이루어지는 동안 최적화를 구현하는 것이다.

딥 러닝 추론은, 미리 학습된 가중치를 사용한 행렬 곱셈 연산을 포함한다.

일 실시예에 따르면, 뉴럴 네트워크의 레이어는, 고려되는 레이어에 따른 해상도를 포함한다. 네트워크의 더 깊은 레이어로 내려감에 따라 스케일은 점점 더 증가할 수 있다. 예를 들어, MLP 네트워크와 같은 뉴럴 네트워크가 사용될 수 있다.

제1 메싱, M ₁

따라서, 본 방법은 메싱된 표면의 추출 단계를 포함한다. 획득한 표면의 메싱은, M₁으로 표기되는 제1 메싱이다. 일 실시예에 따르면, 제1 메싱(M₁)은, 표면의 포인트 및 함께 고려되는 부근의 포인트에 의하여 삼각형이 규정되는 메싱이다. 도 7은, 고려되는 표면 내에 인접한 세 개의 포인트(n_i)에 의하여 각각 형성되는 복수의 삼각형을 포함하는 메싱(M₁)의 예를 나타낸다.

다른 일 실시예에 따르면, 발명의 다른 실시예에서는 다른 메싱 패턴이 사용될 수 있으며, 이는 사각형, 정사각형, 오각형 및 메싱의 포인트가 꼭지점을 이루는 어떤 유형의 다각형도 일반적으로 해당된다.

메싱(M₁)은 회귀 연산 이후에 생성된다. 회귀 단계 전에, 포인트 클라우드는 각 포인트가 서로에 대하여 독립적인 것으로 고려되며, 포인트는 서로 연결되어 있지 않다.

제2 메싱, M ₂

일 실시예에 따르면, 본 발명의 방법은, 제1 메싱(M₁)으로부터 제2 메싱(M₂)을 규정하는 단계를 포함한다. 제2 메싱(M₂)은, 바람직하게는, 이등변삼각형과 같이 반 균일하게(semi-homogeneous) 된 삼각형을 생성하기 위하여 규정될 수 있다. 본 예에서, 삼각형은, 예를 들어 생성된 메싱의 대칭 성질을 이용하여 특정 알고리즘에 따라 변환될 수 있다.

도 8은 변환에 따라 얻은 제2 메싱(M₂)에 대한 일 실시예를 나타낸다. 메싱(M₂)의 포인트 세트는, 변경되지 않은 제1 포인트 세트(n_i) 및, 각 고려되는 삼각형에 대하여 새로운 두 개의 이등변삼각형을 생성하기 위한 이등분선(bisector)에 의하여 생성된 제2 포인트 세트(n_i')를 포함한다.

메싱을 규칙화하기 위한 메싱의 다른 균일화 기법이 채택될 수 있다. 다른 기법에 따르면, 도 9에 나타낸 것과 같은 등변삼각형이 생성될 수 있다. 한 가지 이점은, 완전히 균일화된 메싱을 생성하여, 특히 작동 장치(8)의 가이딩을 용이하도록 하는 것이다.

본 발명에 따른 방법은, 메싱의 포인트에 변환을 적용하여, 포인트의 속성 또한 새롭게 생성된 각 포인트의 데카르트 좌표 위치에 따라 변환될 수 있도록 한다.

일 예에 따르면, 메싱 M₁ 또는 M₂의 필요한 해상도는, 로봇 암 단부의 센서 또는 송신기에 대한 파라미터화에 따라 결정된다. 그래프(G₁)의 해상도는 다양한 크기로 구성될 수 있으며, 메싱 M₁ 또는 M₂의 해상도에 대하여 독립적일 수 있다. 일 예로, 원 36, 37, 38은, 레이저로부터 환자(1) 피부 표면상으로 전달할 출력의 원하는 조준점을 나타낸다. 해당 해결 수단의 일 관심사는, 적용할 치료법에 알맞은 피부과적 해상도를 생성하는 것이다.

따라서, 도 8은 서로 다른 치수의 이등변삼각형을 가진 메싱에 의하여 획득된 서로 다른 크기의 원(36)을 도시한다. 따라서, 신호에 적용되는 출력을 적응시키도록, 샷이 방출될 시에 계수를 적용하여야 한다. 다른 일 예에 따르면, 제2 메싱(M₂)은 일련의 기하학적 처리에 의하여 균일화되어 동일한 치수의 삼각형을 얻을 수 있다.

도 9는 레이저로부터 피부 표면상으로 전달할 출력의 조준점 37 또는 38을 나타낸다. 이러한 메싱 설정의 일 관심사는, 하나의 삼각형과 다른 삼각형 사이에 동일한 샷 설정을 얻을 수 있도록 하는 것이다. 삼각형(38)은 서로 접하여, 오버랩 정도의 파라미터를 제어할 수 있도록 한다.

일 실시예에 따르면, 제2 메싱(M₂)으로부터 생성된 원(36,37,38)에 의하여, 새로운 메싱(M₃)이 규정된다.

실시간 자동 제어

일 실시예에 따르면, 수집 장치(5)는, 로봇 암(6)의 움직임을 자동 제어하도록 적응된 본 발명의 방법에 의하여 파라미터화된 신체 모델(MOD_P)을 생성하기 위해, 환자(1) 신체의 전체 또는 일부의 포인트에 대한 실시간 수집(ACQ)을 수행한다. 로봇 암(6)의 가이딩은, 모델링되고 다시 계산된 표면상에서 규정된 영역(9) 내에 수립된, 도 4에서 30으로 표기된 치료 궤적(TRAJ₁)을 통하여 수행된다.

로봇 암(6)의 궤적(TRAJ₂)은, 예를 들어 유저 인터페이스(UI)와 같은 수단에 의하여 규정된 피부 표면 및 헤드부(8)와 로봇 암(6)간의 상대 거리 및 방향에 따라, 치료 궤적(TRAJ₁)으로부터 자동으로 생성될 수 있다. 방향은 기본값으로 90°에서 결정된다. 즉, 로봇 암(6)의 헤드부(8)의 센서 또는 송신기의 주축(principal axis)이, 고려되는 신체 표면, 특히 앞서 생성된 파라미터화된 신체 모델(MOD_P)의 표적 포인트에 대한 법선(normal) N과 일치한다. 거리는, 로봇 암(6) 헤드부(8)의 센서 또는 송신기 지점 및 환자의 위치에서 생성된 모델링된 신체 표면상의 표적 포인트(P_TARGET으로 표기됨) 사이의 거리에 대응한다.

환자(1) 신체의 모델링된 표면을 실시간으로 계산하는 것에 대한 일 관심사는, 예를 들어, 상기 환자(1)의 움직임을 예상하여, 환자(1)의 호흡으로부터 발생하는 것과 같은 움직임을 고려하는 것이다.

본 발명에 따른 방법의 한 가지 이점은, 30ms 내에 새로운 모델링된 표면을 생성할 수 있는 것이다. 이러한 반응 시간은, 특히, 로봇 암(6)의 움직임을 충분한 속도로 자동 제어하여 충돌이나 갑작스러운 움직임을 예상하고 최대한 신속하게 피할 수 있도록 한다. 카메라에 의한 수집 설정은, 예를 들어, 10 내지 90 fps의 범위 내에 해당할 수 있다.

로봇 암(6)의 실시간 자동 제어는, 작동 장치(8)의 송신기의 적어도 하나의 송신 및/또는 센서의 적어도 하나의 수집을 활성화할 수 있도록 한다. 이후 센서 또는 송신기의 축 방향이 표적 포인트(P_TARGET)를 통과하는 직선과 수직일 때 활성화가 이루어진다. 표적 포인트(P_TARGET)는 생성된 파라미터화된 신체 모델상에서 참조된다. 후자는 작동 장치(8)의 위치 및 방향에 따라 생성된다. 표적 포인트(P_TARGET)는, 로봇 암(6)의 가이딩이 이루어지기 전, 예를 들어, 레이저 샷 또는 초음파 샷 전략을 계획하는 단계에서 획득될 수 있다. 다른 사례에 따르면, 표적 포인트(P_TARGET)는, 예를 들어 구현된 이미지의 대조에 의하여 다른 탐지기(detector)를 활성화하도록 가이딩의 변경이 활성화되었을 때와 같이 가이딩이 이루어지는 동안 획득될 수 있다.

모든 경우에, 표적 포인트(P_TARGET)는 가이딩 전략에 따라 규정되며, 그 위치는, 고려되는 신체 표면이 변환되어 가이딩 전략의 적응으로 이어질 시에 수정될 수 있다.

일 실시예에 따르면, 장치(5)에 의한 수집(ACQ)단계는, 로봇 암(6)의 단부에 배치된 광학부에 의한 이미지 수집과 연결될(coupled) 수 있다. 이는 로봇 암(6)의 움직임이, 수집 장치(5)지점에서 수집되어야 하는 환자(1) 신체상의 관심 영역을 가리는 경우나, 정도가 작은 움직임이 로봇 암(6)의 원단부 광학부에 의하여 제어되는 경우에 해당한다.

따라서 치료 수행 시 두 가지 모드의 자동 제어가 수행되고 조합되어 새로운 모델링된 표면을 생성할 수 있다.

로봇 암

로봇 암(6)은, 로봇 암을 자동 제어하기 위한 여러 제약(constraint)을 고려하는 움직임 제어부(GEN_TRAJ)에 의하여 가이딩된다. 특히, 이러한 제어부는 설정된 궤적에 대한 계획 및 사용자에 의하여 규정된 치료 영역을 고려한다. 이와 같은 표면은, 본 발명의 방법에 따라, 재구성된 신체 표면상에 규정된다. 또한, 제어부(CTRL)는, 충돌 감지 모듈로부터 전송되는 인스트럭션을 고려하여 실시간으로 로봇 암(6)의 움직임을 적응시킬 수 있다. 마지막으로, 제어부(CTRL)는, 예를 들어 특이 이미지가 탐지되어 로봇에 대한 특정한 조종이 이루어져야 할 경우 등에, 모듈(CNTR_8)을 이용하여 로봇(6)의 헤드부로부터 전송되는 데이터를 고려할 수 있다.

일 실시예에 따르면, 로봇 암(6)은, 피봇 관절(612, 623, 634, 645, 656)로 이어져 있는 브랜치(branch, 61, 62, 63, 64, 65)의 세트를 포함한다. 본 사례에서, 로봇 암(6)은 피봇 링크로 관절이 연결된 5개의 브랜치를 포함한다. 일 대안에 따르면, 로봇 암은 관절이 달린 6개의 브랜치를 포함하며, 또한, 다른 대안에 따르면, 7개, 8개, 또는 9개의 관절 브랜치를 포함할 수 있다. 실제로, 본 실시예에서, 각 관절은 두 개의 인접한 브랜치 사이에서 적어도 하나의 회전을 구현할 수 있다.

일 실시예에 따르면, 로봇 암의 각 브랜치는 힘 센서(force sensor)를 포함한다. 한 가지 이점은 갑작스러운 충돌을 방지하는 것이다. 로봇 암(6)의 브랜치와 물체 사이에 접촉이 이루어질 경우, 로봇 암(6)의 움직임이 자동적으로 중지되거나 궤적을 변경하도록 가이딩을 수정할 수 있다.

일 실시예에 따르면, 본 발명에 따른 방법을 실행함에 앞서 로봇 암(6)의 보정 단계가 수행된다. 보정은, 기준점(R₀)및 로봇 암의 시작 위치에 대한 로봇 암의 상대 위치 조정을 포함할 수 있다.

작동 장치 및 광학부

일 실시예에 따르면, 로봇 암(6)은, 바람직하게는 로봇 암(6)의 단부에 배치된 작동 장치(8)를 포함한다. 상기 실시예에 따르면, 광학부(67)는 로봇 암의 헤드부(8)의 축 밖에 위치하도록 배치되거나, 도 6a와 같이 헤드부의 단부에 배치될 수 있다.

도 3에 도시된 구성의 일 관심사는, 로봇 암의 헤드부를, 국부적인 치료를 위한 레이저 장치 또는 초음파 생성 장치와 같은 장치와 함께 제공하고, 이미지 수집 광학부를 변위시키는 것이다. 도 6a에 도시된 구성의 일 관심사는, 로봇 암(6)을 피부과 이미지 캡쳐 용도를 위하여 구성하는 것이다. 그러나, 모든 구성 및 상술한 사례의 조합이 구상될 수 있다.

일 예에 따르면, 작동 장치(8)는, 적어도 하나의 센서 및/또는 적어도 하나의 송신기를 포함한다. 작동 장치(8)는 또한 로봇 암(6)의 "헤드부"로도 지칭된다.

도 5의 예에서, 로봇 암(6)은, 피부 표면의 로컬 이미지 수집을 위한 하나 또는 그 이상의 광학 센서(67)를 포함한다. 로봇 암(6)의 헤드부에서 로컬 이미지를 캡쳐하는 것의 일 관심사는, "컬러화된" 신체 표면의 재구성, 즉, 캡쳐된 이미지가 본 발명의 방법에 따라 생성된 파라미터화된 신체 모델(MOD_P)과 통합되도록 하는 것이다. 이를 위하여, 로봇 암의 단부에 위치한 광학 장치 67 또는 {83; 84}는 바람직하게는 두 개의 광학부를 포함하여, 두 광학부에 의하여 동시에 수집된 이미지와 연관되는 깊이 맵을 재구성할 수 있도록 한다. 이미지는 이후 파라미터화된 신체의 표면상에 인덱싱될 수 있다.

기타 전송/수집 장치

또한, 작동 장치(8)는 초음파, 라디오 주파수 또는 레이저 유형의 송신기, 또는 입사 빔(incident beam)을 생성할 수 있는 어떤 다른 신호원이라도 포함할 수 있다. 일 실시예에 따르면, 작동 장치(8)는 포커싱된 송신기 배열(array) 및 방출되는 출력과 방향을 제어할 수 있는 수단을 포함한다.

초음파 송신기가 작동 장치(8)의 단부에 배치될 경우, 반사된 신호를 측정하기 위한 초음파 수신기가 연관되어, 피부의 이미지 및/또는 환자 피부 두께의 이미지, 또는 혈관이나 장기의 이미지를 구성할 수 있다.

도 6은, 작동 장치(8)가 상기 작동 장치의 단부에 위치한 수신 헤드부(80)를 포함하는 다른 실시예를 나타낸 것이다. 수신 헤드부(80)는, 신체 표면의 이미지를 촬영할 두 개의 로컬 광학부(83, 84) 및 세로 방향(86)을 따라 두 방향으로 움직일 수 있는 밀리미터 또는 현미경 광학부를 포함한다. 일 관심사는, 피부과적 용도(예: 진단 용도)를 위한 해상도를 포함한 밀리미터 해상도를 가진 이미지를 생성하는 것이다.

로봇 암의 가이딩

우선, 로봇 암(6)의 움직임 생성은, 도 2에서 PATH로 표기된 구성요소를 사용하여 사용자에 의해 설정된 궤적을 이용하여 규정된다. 사용자는 환자(1)의 신체 표면상에서 관심 영역을 선택할 수 있으며, 관심 영역은 "팔", "다리", 또는 이러한 영역의 일부분, 또는 신체 전체와 같은 영역에 해당한다.

영역의 선택은, 유저 인터페이스(UI)를 이용하여 수행될 수 있다. 스타일렛 또는 마우스를 사용하여 영역을 표시하거나, 또는 사용자가 기 규정된 하나 이상의 영역을 선택할 수 있다. 다른 예에 따르면, 디스플레이상에 직접 터치 명령을 내리거나 음성 명령을 사용하여 선택할 수 있다.

선택은, 본 발명의 방법(10)에 의하여 생성된 파라미터화된 신체 모델(MOD_P)상에서 이루어질 수 있다. 영역 선택을 수행하기 위한 모듈은 도 2에서 ROI로 표기된다. 파라미터화된 신체 모델(MOD_P)은 유저 인터페이스(UI)의 디스플레이 상에 나타내질 수 있다. 영역이 선택되면, 작동 장치(8)의 궤적이 규정될 표면 부분의 추출이 수행된다. 일 예에 따르면, 궤적(30)은 선택된 영역의 치수(dimensions)에 따라 자동으로 규정될 수 있다. 예를 들어, 이미지 캡쳐, 레이저 치료 및/또는 초음파 신호원을 사용한 치료 등, 작동 장치(8)를 사용하여 수행할 작업에 따라, 자동 궤적 생성 기능이 여러 다른 방식으로 실행될 수 있다. 기 규정된 영역에 대한 캡쳐 이미지를 촬영하는 경우, 선택된 영역 전체를 포함하는 것이 목적이다. 따라서, 광학부의 해상도 및 그 필드(field)에 따라 최적화된 궤적이 계산될 수 있다.

사용자가 스스로 선택된 영역에 대한 궤적을 규정하는 경우, PLAN_TRAJ라는 구성 요소에 의하여 궤적을 얻으며, 해당 구성 요소는 로봇 암이 선택된 표면을 포함하여 움직이기 위한 이동 파라미터를 계산 또는 최적화한다.

본 발명에 따른 방법은 로봇 암(6)의 실시간 가이딩을 수행할 수 있도록 한다. 이를 위하여, 로봇 암(6)의 움직임을 생성하기 위한 모듈(GEN_TRAJ)이 실행된다. 환자의 움직임, 특이 이미지의 캡쳐, 또는 물체와 접촉 발생시에 이동을 중지시키기 위한 제어 등에 따라 궤적을 실시간으로 계산하기 위하여, 해당 모듈은 로봇 암(6)의 경로를 실시간으로 재계산할 수 있도록 한다.

로봇 암(6)의 가이딩은, 예를 들어, 기준점(R₀)내에서 참조되는 데카르트 좌표계로부터 설정된다. 로봇 암(6) 단부의 방향은, 도 3 또는 도 5에 나타낸 법선(N)의 방향을 제어함으로써 설정될 수 있다. 법선(N)은, 신체 표면의 조준점에 대하여 90°를 이루는 각도에 의하여 규정된다. 해당 파라미터화의 일 관심사는, 강화된 메싱의 각 포인트가 이미 모델의 하나의 포인트에 대한 법선에 대응되는 속성을 포함하고 있는 것이다. 따라서, 로봇 암 헤드부 방향의 가이딩은, 로봇의 방향을 신체 표면의 법선(N)에 따라 정렬함으로써 수행될 수 있다.

일 실시예에 따르면, 로봇 암(6)의 헤드부(8) 단부와 환자(1) 신체의 모델링된 표면상의 조준점(35)사이의 거리는, 일정 거리(예:5cm)를 실질적으로 유지하도록 자동 제어된다. 따라서, 로봇 암(6)의 가이딩은 환자(1)의 피부로부터의 거리 및 방향을 따라 자동 제어된다.

다음으로, 로봇 암(6)의 움직임 생성 모듈(GEN_TRAJ)로 제어 인스트럭션을 전달하기 위한 충돌 감지 기능(DET_COLLI)이 실행될 수 있다. 또한, 이러한 모듈은 PLAN_TRAJ 구성 요소에 의하여 수립된 시작 궤적(initial trajectory)을 고려한다. 마지막으로, 로봇 암의 움직임은, 로봇 암(6)의 헤드부(8)의 제어 기능(CNTR_8)에 따라 관리될 수도 있다. 하나 또는 그 이상의 광학 장치가 로봇 암(6)의 헤드부에 장착될 경우, 제2 광학부를 활성화하기 위하여 로봇 암의 자동 제어가 필요할 수 있다.

일 실시예에 따르면, 광학 시스템(5)은 제어 루프(control loop)를 사용하여 신체(1)의 각 움직임을 제어하도록 설정된다. 이러한 제어를 통하여, 특정 순간에 수집된 이미지와 연이어 수집된 새로운 이미지 사이의 차이점을 대조하는 것이 가능하다. 이러한 제어의 일 관심사는, 로봇 암(6)의 시작 경로를 새로운 궤적에 적응시킴으로써 로봇 암(6)에 대한 가이딩을 수정하는 것이다. 이를 위하여, 충돌 감지 기능(DET_COLLI)이 실행되어 로봇 암(6)의 이동하는 움직임을 적응시킬 수 있다. 로봇 암(6)의 움직임 생성은 GEN_TRAJ기능에 의하여 결정된다.

일 실시예에 따르면, 로봇 암(6)의 헤드부는 탈착이 가능하여, 로봇 암이 다른 용도에 사용될 수 있도록 한다. 피부과 용도를 위한 하나 또는 그 이상의 광학 장치를 포함하는 헤드부는, 예를 들어, 모발 제거, 문신 제거, 또는 리프팅 용도의 울쎄라피(Ultherapy)와 같이 피부 표면의 치료 용도를 위한 레이저를 포함하는 헤드부로 대체될 수 있다.

목적하는 용도에 따라, 특정 광학 설정이 바람직하게 선택될 수 있다.

일 예에 따르면, 서로 다른 초점(focal point)을 가진 광학부의 배열이 로봇 암(6)의 헤드부 단부에 구현될 수 있다. 이러한 광학부는 실시예에 따라 관절로 연결되거나, 독립적으로 또는 함께 움직여질 수 있다.

일 예에 따르면, 적어도 하나의 광학부는 공초점(confocal) 현미경 시스템이다. 일 예에 따르면, 초점면(focal plane)은, 여러 다른 깊이 레벨에서 이미지를 획득할 수 있도록 변위될 수 있다. 피부 표면에 대한 로컬 3차원 이미지가 재구성될 수 있다. 이러한 적용은, 피부의 표면상에서 점과 같은 개체의 부피를 재구성하는 것과 관련될 수 있다.

공초점 광학부를 사용하는 경우, 레이저와 같은 광원으로부터 조명을 얻을 수 있다.

다른 일 예에 따르면, 적어도 하나의 광학부는, 단층 촬영(tomographic) 기술을 실행하기 위한 일련의 단면 이미지를 획득하도록 설정될 수 있다. 주어진 설정에 따라, 이러한 기술은 OCT(optical coherence tomography, 광간섭단층촬영)유형에 해당할 수 있다. 이러한 기술은 종종 센서 및 레이저 송신기와 같은 송신기 간의 연결(coupling)을 수반한다.

다른 가능한 용도는 초음파 방출에 의한 치료와 관련된다. 이를 위하여, 적어도 하나의 초음파 송신기가 로봇 암 헤드부 레벨에 배치될 수 있다. 이러한 송신기는 센서와 연결되어 메아리 신호 또는 송신된 파형의 변경을 측정할 수 있도록 한다. 일 예에 따르면, 이는 한 지점에 초점이 맞춰진 빔을 생성하도록 조직된 송신기 매트릭스일 수 있다. 출력은, 조직을 태우거나, 피부 표면상에 음압을 가하여 피부의 특이 부분의 탄력을 측정하도록 설정될 수 있다.

일 실시예에 따르면, 송신기는 피하(sub-cutaneous) 영역을 치료하도록 설정될 수 있다. 표적 포인트(P_TARGET)를 참조하여 이미지 포인트(image point)가 규정될 수 있으며, 상기 이미지 포인트는 신체 모델의 표면상에 위치한다. 이미지 포인트는, 예를 들어, 표적 포인트(P_TARGET)를 통과하는 모델 표면의 법선을 따라 피부 표면으로부터 수 밀리미터, 또는 수 센티미터 아래까지도 위치할 수 있다.

송신기에 대한 가이딩은, 표적 포인트(P_TARGET) 및 구성된 이미지 포인트에 따라 수행될 수 있다. 대안적으로, 송신기의 가이딩은, 이미지 포인트가 표적 포인트(Ptarget)에 대하여 규정되지 않았을 경우, 도달할 공간 내 한 지점을 규정하고 환자의 피부 아래에 위치한 이미지 포인트를 규정함에 따라 직접적으로 수행될 수 있다. 표적 포인트(P_TARGET)는, 이미지를 수집하거나 로봇의 수정된 궤적을 계획하기 위하여 사용된다.

로봇 암의 헤드부는, 또한, 센서와 함께 제공되어, 피부의 탄성, 견고성, 수분 함유 또는 거칠음 정도와 같은 기계적 특성을 조사할 수 있도록 한다.

다른 일 예에 따르면, 형광 센서가 로봇 암(6)의 원단부에 배치된다. 이러한 센서는, 예를 들어, 미용 용도를 위한 생물학적 유효 성분(active ingredient)을 모니터링할 수 있도록 한다. 다른 일 예에 따르면, 분광 기법을 사용하여 분자 특성 분석을 수행할 수 있다.

피부과적 용도

일 실시예에 따르면, "작동 장치"로도 지칭되는 로봇 암(6)의 헤드부(8)는, 피부과적 용도로 사용되기 위한 광학 시스템을 포함한다. 이 경우, 한 쌍의 광학 장치가 배치될 수 있다. 제1 광학 장치(83,84)는, 로봇 암(6)의 움직임에 의한 이른바 "육안적(macroscopic)" 스캔을 수행하는 카메라를 포함한다. 이러한 카메라는 피부의 표면에서 관심 이미지 캡쳐를 수행할 수 있다. 일 예에 따르면, 광원을 이용하여 캡쳐된 영역을 밝힐 수 있다. 방출되는 빛은, 예를 들어, 가시광선, 적외선, 또는 형광 광원일 수 있다. 일 예에 따르면, 편광자(polarizer)를 포함한 LED시스템이 구성되어 편광된 빛을 방출할 수 있다. 편광된 빛의 경우, LED유형의 광원에 편광 필터가 씌워진다. 해당 예에서, 로봇 암의 헤드부 단부에 배치된 카메라는 편광 필터를 구비한다. 일 예에 따르면, 광원의 필터와 카메라는 직각(orthogonal)으로 구성된다.

특이 부분이 탐지될 경우, 로봇 암(6)은 궤적을 수정하도록 제어된다. 탐지된 특이 부분의 하나의 지점, 예를 들면, 특이 부분을 형성하는 영역의 중심 또는 무게중심 상으로 헤드부를 위치시키는 과정이 수행된다. 따라서, 가이딩은 중지되며, 시작 궤적은 일시적으로 중단된다.

제어부가 제2 광학 장치(85)를 활성화하여, 피부과적 해상도를 가진 밀리미터 또는 현미경 이미지를 캡쳐하도록 한다. 우수한 해상도를 얻기 위하여, 광학 장치(85)는, 광학부(83,84,85)중 하나의 평면에 수직인 축을 따라 움직이도록(86) 제어될 수 있다.

도 4는, 환자(1) 신체 표면의 일부분(9) 및 상기 표면상의 궤적(30)을 나타낸다. 궤적(30)은 로봇 암(6)의 스캐닝 전략으로부터 획득될 수 있다. 일 예에 따르면, 생성되는 궤적(30)은 계획 모듈(PLAN_TRAJ)에 의하여 획득된다. 도 4의 예에서, 세 개의 피부과적 특이 부분(91)이 환자(1)의 피부 일부분(9) 상에 나타나 있다. 이는, 예를 들어, 흉터, 흑색종, 점, 또는 다른 종류의 피부 표면상의 특이 부분일 수 있다. 제1 광학 장치(83, 84)의 광학 장(optical field, 87)이 특이 부분(91)을 교차할 때, 수집되는 이미지가 동적으로 분석되어 로봇 암(6)을 자동 제어한다.

따라서, 제2 광학 장치를 통하여 환자(1) 피부 표면의 클로즈업된 영역에 대한 이미지를 획득할 수 있다. 일 예에 따르면, 제2 광학 장치(85)는 더마토스코프(Dermatoscope)이다. 제2 광학 장치(85)는, 피부와 접촉하는 유리 플레이트(plate)를 포함할 수 있다. 일 실시예에 따르면, 제2 광학 장치는. 피부 표피(epidermis)의 깊이 이미지 정보를 얻기 위한 편광 송신기를 포함할 수 있다.

이를 위하여, 로봇 암(6)의 마지막 브랜치(66) 또는 작동 장치(81)는, 힘 피드백 센서(force feedback sensor)를 구비하여 제2 광학 장치(85)의 움직임에 제동을 걸거나, 또는 정지시키고 안정화할 수 있다. 제2 광학 장치(85)가 환자(1)의 피부와 접촉할 경우, 샷 트리거링(triggering)이 이루어질 수 있다.

다른 일 예에 따르면, 로봇의 각 축은 힘 센서를 구비한다. 센서에 측정된 힘의 값을 분석하고, 이를 이용하여 표면상에 가해지는 압력을 자동 제어한다. 따라서, 로봇은, 각 축에 구비된 토크 센서로 인하여, 작업 표면과 도구 간의 접촉 압력이 자동 제어되도록 할 수 있으며, 이 경우 작업 표면은 환자의 피부이다. 이는 또한 도구를 작업 표면상에 "슬라이딩(sliding)"하기 위하여 이용될 수도 있다.

일 실시예에 따르면, 광학부(85)로부터 털(hair)을 치우기 위하여 스캔 장치(87)가 활성화된다. 이러한 스캔 장치(87)는, 제2 광학 장치(85)의 광학부를 안정화시키는 동안 자동으로 실행될 수 있다. 일 관심사는, 캡쳐 이미지를 촬영하고자 하는 특이 부분 근처에 위치한 털이 이미지 캡쳐되는 것을 방지하는 것이다. 스캔 장치(87)는, 일 실시예에 따르면, 광학부(85) 근위의 유연한 솔을 활성화하는 회전 로드(rod)를 포함한다. 한 가지 이점은, 털이 더 이상 광학부(85)와 피부 사이에 있지 않도록 회전시키는 것이다. 일 실시예에 따르면, 복수의 스캔 장치(87)가 광학부(85) 주변에 배치된다. 도 6b는 두 개의 이러한 장치를 도시한다.

제2 광학부가 특이 부분에 대하여 보다 정밀한 해상도를 가진 하나 또는 그 이상의 이미지를 촬영한 후, 제2 장치(85)는 수축(retraction) 운동을 수행하여 원래의 위치로 돌아갈 수 있다. 이에 따라, 로봇 암은 경로를 재개하고 계획된 가이딩 궤적으로 복귀할 수 있다.

일 실시예에 따르면, 가이딩은, 환자(1)의 신체 표면으로부터 1 내지 20cm 범위 내의 거리에서 수행된다. 일 선호되는 실시예에 따르면, 가이딩은, 피부 표면으로부터 2 내지 8cm 범위 내의 거리에서 수행된다.

일 실시예에 따르면, 로봇 표면으로부터 특정 거리에서, 광학부의 특성이 알려져 있음에 따라, 광학부의 시야(field of view)를 얻을 수 있다. 이러한 특성을 통하여, 환자 신체의 복잡한 표면에 대하여 수집된 이미지가 포함하는 부분을 알 수 있다. 한 가지 이점은, 이미지가 환자 신체의 3차원 표면에 정확하게 대응할 수 있도록 하는 것이다. 또한, 생성된 파라미터화된 신체 모델(MOD_P)에 대하여 수집된 이미지를 인덱싱할 수 있음에 따라, 이미지는 상기 모델의 특정 위치에 배치될 수 있다. 따라서, 신체의 3차원 표현이 사용자가 접근 가능한 이미지와 함께 기록(archive)되어, 피부의 특이 부분을 나타낼 수 있다. 수집된 이미지를 생성된 파라미터화된 신체 모델에 연관시키는 과정은 메싱 M₁ 또는 M₂로부터 수행될 수 있다. 메싱이, 예를 들어, 삼각형을 포함할 경우, 이미지는 분할되어 상기 삼각형이 이미지의 표면에 대응되도록 할 수 있다.

일 실시예에 따르면, 본 발명은, 캡쳐된 이미지를 메싱의 하나의 노드 세트에 대하여 참조하는 단계를 포함한다. 일 사례에 따르면, 메싱의 각 삼각형은 식별자(identifier)를 포함한다. 이미지는, 이에 따라, 상기 이미지를 한 세트의 식별자와 연관시키는 데이터와 함께 저장될 수 있다.

일 실시예에 따르면, 광학부(83, 84, 85)에 의하여 수집된 이미지는 메모리(예를 들어, 로봇 암(6)의 움직임 제어부의 메모리)에 저장된다. 일 대안에 따르면, 작동 장치(8)는, 적어도 하나의 연산부 및 메모리와 함께 제공되는 전자 회로기판(electronic board)을 포함한다. 수집된 이미지는, 원격 전자 장치로 전송되기 전 먼저 로컬 저장될 수 있다.

일 실시예에 따르면, 광학부 83 및 84에 의하여 동시에 촬영된 사진은 서로 연관된다. 수집된 이미지는, 예를 들어, 타임 스탬프(time stamp)가 찍히고, 기준점(R₀)의 공간 내 한 지점과 연관될 수 있다. 이미지는 또한, 로봇 암(6)의 작동 장치와 연결된 기준 틀(R₃)에 대하여 참조되거나, 궤적(30)에 대하여 참조되는 한 지점과 연관될 수 있다.

제2 광학 장치(85)에 의하여 이미지가 수집되었을 때, 이미지는 제1 광학 장치(83, 84)에 의하여 수집된 이미지, 특히 작동 장치(8)가 제2 광학 장치(85)의 움직임을 활성화시킨 위치와 동일한 궤적(30)상의 위치에서 수집된 이미지와 연관될 수 있다.

본 발명의 한 가지 이점은, 수집된 각 이미지를, 회귀 단계(REG)에 의하여 생성된 파라미터적 모델 상의 이미지로 인덱싱할 수 있는 것이다. 따라서, 본 방법은, 피부 상의 이미지 일부의 위치를 찾아 이를 생성된 모델에 인덱싱하는 것을 가능하게 한다. 한 가지 이점은, 신체의 기하학적 구조에 대하여, 촬영된 영역의 정확한 추적(trace)을 보존하는 것이다. 따라서, 환자가 위치를 바꾸거나, 이후에 다시 방문하였을 때, 저장된 사진에 대한 인덱싱을 이용하여, 새롭게 수집된 이미지에 대하여 이미 인덱싱된 관심 영역에 대한 새로운 플로팅(plotting)을 바로 생성할 수 있다.

일 관심사는, 고려되는 신체 표면의 여러 부분에 대하여, 다양한 해상도를 가진 이미지 뱅크(bank)를 구성하는 것이다.

작동 장치에 의하여 캡쳐되는 이미지의 실시간 수집이 이루어지는 동안 로봇 암(6)의 우수한 반응을 얻기 위하여, 수집된 이미지는 특징적 이미지 뱅크와 대조될 수 있다. 다른 일 예에 따르면, 학습된 뉴럴 네트워크를 이용하여 수집된 이미지의 분류를 수행하고, 분류의 결과에 따라 명령을 생성할 수 있다. 일 예로서, 특정한 특이 부분이 탐지되었을 경우에는 제2 광학 장치(85)를 활성화할 필요가 없는 반면, 다른 특이 부분이 탐지되었을 경우에는 보다 정밀한 해상도의 이미지 캡쳐가 요구된다.

다른 일 실시예에 따르면, 로봇 암(6)은 제1 장치(83, 84)에 의하여 수집된 이미지가 포함하는 범위에 따라 계획된 제1 궤적(30)을 수행한다. 다음으로, 로봇 암(6)은, 특이 부분이 탐지된 포인트에 대한 제2 이미지 캡쳐를 수행한다. 사용자에 의하여 선택된 부분에서 로봇 암(6)을 가이딩하기 위하여 제1 궤적(30)이 수행되고, 제1 광학 장치에 의하여 수집된 이미지 세트가 구현되면, 로봇 암(6)은 제2 궤적(31)을 수행한다. 해당 궤적은, 제1 궤적(30)이 수행되는 동안 식별된 특이 포인트로부터 자동으로 생성될 수 있다. 식별된 포인트에서 제2 일련의 이미지를 수집하기 위하여, 제2 장치(85)가 제2 궤도(31)의 특징적인 포인트에서 자동으로 활성화된다.

레이저 적용

다른 일 적용 사례에 따르면, 로봇 암(6)은 원단부에 레이저 송신기를 포함한다. 레이저 송신기는, 예를 들어, 작동 장치(8)의 원단부에 배치될 수 있다. 레이저 송신기는, 모발 제거, 특정 피부 질환의 치료, 또는 문신 제거를 위하여 사용될 수 있다. 또한, 레이저 광원을 포함하는 로봇 암을 사용하여, 울쎄라피(Ultherapy) 치료 또는 레이저에 기반한 다른 의학적 또는 미용적 용도의 피부 치료를 실행할 수 있다. 이를 위하여, 용도에 따라 출력, 파장, 펄스 방출 또는 연속 방출 등의 파라미터에 대한 레이저 광원의 설정을 적응시킬 수 있다.

레이저 광원 운용의 경우, 유리하게는 메싱(M₂)이 사용되어, 특히 샷 출력을 관리하기 위하여 레이저 샷의 설정을 최적화할 수 있다. 실제로, 예를 들어 등변삼각형을 포함하는 균일화된 메싱을 이용하여, 상기 삼각형에 외접하거나 또는 내접한 원의 메싱을 규정할 수 있다. 상기 삼각형에 외접한 원형 메싱의 한 가지 이점은, 서로 다른 원 간의 오버랩, 즉, 샷 간의 오버랩을 규정할 수 있는 것이다. 이러한 구성으로 인하여, 고려되는 표적 영역에 인접한 샷 표적 영역을 규정하는 것이 가능하다. 균일한 메싱으로부터 직접 도출된 접원(tangent circles)을 구성하는 것의 일 관심사는, 이웃한 표적을 향한 두 연속된 샷 사이의 균일한 오버랩 정도에 대한 파라미터를 관리할 수 있도록 표적 레이저 샷 영역을 생성하는 것이다.

본 발명은, 주요 샷 축(principal shot axis) 주변의 레이저 빔 에너지 양의 불균일성을 상쇄하기 위하여 오버랩 정도를 관리하는 것을 가능하게 한다. 따라서, 균일 유형의 메싱을 사용하여 특정 영역에 실질적으로 균일한 양의 에너지를 방출할 수 있다.

피부의 영역에 대한 치료 목적을 달성하기 위하여 복수의 레이저 방출이 수행될 경우, 로봇 암(6)의 가이딩은 주어진 궤적 계획에 따라 한 세트의 포인트에서 고정되도록 설정되어, 연속적인 샷을 수행하도록 할 수 있다. 궤적 계획(PLAN_TRAJ)은 유저 인터페이스(UI)를 사용하여 결정된다. 로봇 암(6)의 궤적은, 예를 들어, 레이저 광원 설정과 연결된 데이터, 환자의 움직임, 또는 로봇 암의 충돌 감지 등을 고려하여 실시간으로 적응될 수 있다.

본 발명의 시스템은, 피부 표면에 도달할 샷 출력 및/또는 지름, 및 오버랩 정도와 같은 레이저 샷의 파라미터를 규정하기 위한 수단을 포함한다. 이러한 목적을 달성하기 위하여 레이저 송신기 및 가이딩 궤적이 설정될 수 있다.

일 실시예에 따르면, 균일 메싱의 해상도는 주어진 샷 설정에 따라 적응될 수 있다. 일반적으로, 피부 표면에 도달할 최대 반지름에 따라 레이저 샷 표면이 규정되면, 메싱은 해당 샷 제약(shot constraint)에 대응하는 치수를 가진 원을 규정하도록 설정된다.

각 적용의 예에서, 실시간 가이딩이 이루어지는 동안, 주어진 궤적을 따라 움직이는 로봇 암(6)은 실시간으로 궤적을 평가하도록 유도된다. 이러한 평가는, 연산부를 이용하고 본 발명의 방법을 실행하여 수행된다.

신체가 움직이지 않을 경우, 로봇 암(6)을 위치시키기 위하여 다시 계산되는 신체 표면의 이미지는 오직 이미 계산된 표면의 회전만을 포함한다. 즉, 변환은 등거리적이며, 주행된 경로 부분에 기반한 로봇 암의 하나 또는 그 이상의 회전과 대응된다. 신체 표면의 생성된 위치는, 로봇 암의 헤드부의 위치에 대하여 생성된다.

신체가 움직일 경우, 로봇 암(6)을 위치시키기 위하여 다시 계산되는 신체 표면의 이미지는 등거리적이지 않은 변환을 포함하며, 표면은 본 발명의 방법에 따라 재계산된다. 잠재적인 회전을 고려하는 것 외에, 본 발명에 따른 방법에 따라 형태 서술자에 대한 회귀를 수행하여, 로봇 암 헤드부 위치의 시점에서 신체 표면을 재생성하는 것이 가능하다.

일 실시예에 따르면, 특히 로봇 암(6)의 헤드부(8)에 레이저 또는 초음파 종류의 송신기가 배치된 경우, 관심 영역이 주어진 표면 문턱값보다 작다면, 관심 표면의 메싱에 대한 최적화 단계가 실행될 수 있다. 이러한 최적화는, 해당 영역 내의 변환이 등거리적인 것으로 간주되도록 수행될 수 있다. 일 실시예에 따르면, 본 발명의 방법에 따라, 등거리적인 형태 변환이 적용된 관심 영역을 제한하기 위하여 고려되는 신체 표면상의 키포인트를 결정할 수 있다.

본 발명의 한 가지 이점은, 피부과, 외과, 심장학적 용도 등에 따라 적응될 수 있다는 것이다.

Claims

신체 표면 데이터의 처리를 위한, 로봇 암(6)을 실시간으로 가이딩(guiding)하는 방법에 있어서,
포인트의 메싱(meshing, M₁, M₂)을 포함하는, 인간 신체 표면 전체 또는 일부의 3D모델(MOD_P)을 생성하는 단계;
연산부(calculator)를 이용하여 상기 신체 모델(MOD_S)의 표면상의 치료 궤적(treatment trajectory, TRAJ₁)을 계획하는 단계;
상기 로봇 암(6)의 원단부(distal end)를 위한 가이딩 궤적(TRAJ₂)을 계산하는 단계;
상기 로봇 암(6)의 상기 원단부에 배치된 헤드부의 한 지점이 상기 가이딩 궤적(TRAJ₂)에 의하여 자동 제어되도록 상기 로봇 암(6)의 키네마틱(kinematic, PILOT_ROBOT)을 생성하는 단계;
상기 가이딩 궤적(TRAJ₂)에 따라 움직이도록 상기 로봇 암(6)의 상기 키네마틱을 활성화하는 단계 - 상기 가이딩 궤적(TRAJ₂)은 상기 인간 신체 표면의 상기 3D모델(MOD_P)로부터 실시간으로 계산됨-;
상기 로봇 암(6)의 변위를 실시간으로 자동으로 관리하도록, 상기 인간 신체 표면의 새로운 3D모델(MOD_P)을 일정한 시간 간격으로 생성하여, 이에 따라 상기 로봇 암(6)의 새로운 키네마틱을 계산하는 단계 - 상기 3D모델(MOD_P)의 표면이 새롭게 계산됨에 따라 새로운 치료 궤적(TRAJ₁') 계산 및 새로운 가이딩 궤적(TRAJ₂') 계산이 이루어짐-;
공간 내의 표적 포인트(target point, P_TARGET)의 적어도 하나의 위치를 수신하는 단계;
작동 장치(8)의 송신기(transmitter)의 적어도 하나의 송신 및/또는 적어도 하나의 센서의 수집을 활성화하는 단계 - 상기 작동 장치(8)는 상기 로봇 암(6)의 원단부에 배치되어 있고, 상기 센서 또는 상기 송신기의 축 방향이 상기 표적 포인트(P_TARGET)를 통과하는 기 규정된 직선과 일치할 때 상기 활성화가 수행되며, 상기 표적 포인트는 생성된 상기 신체 모델(MOD_P)상에서 참조됨-;
를 포함하는 가이딩 방법.
제1항에 있어서,
상기 치료 궤적(TRAJ₁)은 상기 신체 모델(MOD_S)의 표면상의 치료 영역 내에서 생성되는 것을 특징으로 하는,
가이딩 방법.
제2항에 있어서,
상기 치료 궤적(TRAJ₁)은, 상기 신체 모델(MOD_S)의 표면상에 치료 영역(34, 35)을 규정함으로써 자동으로 생성되는 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
상기 가이딩 궤적(TRAJ₂)은, 상기 치료 궤적(TRAJ_1,TRAJ₁')에 대한 상기 로봇 암(6)의 원단부의 상대 위치를 생성할 수 있도록 기 규정된 거리 및 방향 인스트럭션으로부터 계산되는 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
상기 로봇 암(6)은, 관절로 둘씩 이어져 있는 브랜치(branch, 61, 62, 63, 64, 65, 81)의 세트를 적어도 세 개 포함하되, 상기 브랜치의 세트 각각은 서로 피봇 링크(pivot link, 612, 623, 634, 645, 656)로 연결되고, 상기 피봇 링크의 세트(set)는, 주어진 가이딩 궤적(TRAJ₂) 및 생성된 신체 모델(MOD_P)에 대하여 계획된 키네마틱을 포함하는 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
새로운 신체 모델(MOD_S)을 일정한 시간 간격으로 생성하여, 상기 로봇 암(6)의 새로운 궤적(TRAJ₂')이 생성됨에 따라 상기 로봇 암(6)을 실시간으로 제어할 수 있도록 하는 단계 - 상기 신체 모델의 표면이 새롭게 계산됨에 따라 상기 치료 궤적(TRAJ₁')의 수정이 이루어짐 - 를 포함하며,
규정된 상기 새로운 궤적(TRAJ₂')에 의하여 자동 제어되는 상기 로봇 암(6)의 새로운 키네마틱을 계산하는 단계를 더 포함하는,
가이딩 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
신체 모델(MOD_S)을 생성할 수 있도록 이미지가 수집되는 고정 위치로부터 상기 로봇 암(6)의 위치를 보정(calibration)하는 단계를 포함하는 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
상기 치료 궤적(TRAJ_1,TRAJ₁')을 이용하여, 상기 작동 장치(8)에 고정된 레이저 송신기의 레이저 빔 샷 전략(shot strategy)을 수립하는 것을 특징으로 하는,
가이딩 방법.
제8항에 있어서,
상기 신체 모델은, 원의 배열(38)로 규정되는 새로운 메싱(M₃)을 생성하기 위한 균일(homogeneous)한 메싱(M₂)을 포함하며, 상기 원 중 적어도 하나는 공간 내의 표적 포인트(P_TARGET)의 위치를 규정하는 것을 특징으로 하는,
가이딩 방법.
제9항에 있어서,
상기 새로운 메싱(M₃)은, 샷 출력(shot power) 인스트럭션 및/또는 두 샷 사이의 오버랩(overlap)정도에 관한 인스트럭션에 따라 생성되는 것을 특징으로 하는,
가이딩 방법.
제10항에 있어서,
수행되는 샷 횟수에 대한 샘플링(sampling)은, 상기 새로운 메싱(M₃), 설정된 샷 출력 및 두 인접한(colocalized) 원 사이에 규정된 오버랩 정도에 기반한 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
상기 치료 궤적(TRAJ_1,TRAJ₁')을 이용하여, 상기 작동 장치(8)에 고정된 초음파 송신기의 초음파 신호 샷 전략(shot strategy)을 수립하는 것을 특징으로 하는,
가이딩 방법.
제1항에 있어서,
상기 작동 장치(8)에 배치된 광학 장치(83, 84, 86)로부터 하나의 이미지 세트를 얻으며, 각 이미지(IM₁, IM₂)는, 상기 신체 모델(MOD_P)상의 상기 표적 포인트(P_TARGET)의 위치 및 상기 광학 장치(83, 84, 86)의 시야각(viewing angle)에 따라, 상기 신체 모델(MOD_P)의 상기 메싱(M₁, M₂, M₃) 의 적어도 하나의 노드(node) 또는 메시(mesh)로 인덱싱(indexed)된 것을 특징으로 하는,
가이딩 방법.
제13항에 있어서,
상기 작동 장치(8)에 내장되며 상기 작동 장치(8)의 서로 다른 축(axis) 상에 배치된 두 개의 센서를 포함하는 광학 장치(83,84)로부터 적어도 한 쌍의 이미지가 동시에 수집되며, 각 이미지(IM₁, IM₂)는, 상기 신체 모델(MOD_P)상의 상기 표적 포인트(P_TARGET)의 위치 및 상기 광학 장치(83, 84, 86)의 시야각에 따라, 상기 신체 모델(MOD_P)의 상기 메싱의 적어도 하나의 노드 또는 메시로 인덱싱되고, 상기 이미지는, 3차원 로컬 이미지를 재구성하도록 처리되는 것을 특징으로 하는,
가이딩 방법.
제14항에 있어서,
상기 3차원 로컬 이미지는, 생성된 신체 모델상에 3D 표현으로 중첩(superimpose)되는 것을 특징으로 하는,
가이딩 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 작동 장치의 제1 광학 장치(83,84)에 의하여 수집된 제1 이미지는 실시간으로 이미지 세트와 대조되며, 상기 대조 작업은, 해당될 경우, 관심 인디케이터(indicator)의 생성을 포함하고, 상기 관심 인디케이터로 인해 상기 로봇 암(6)을 운용하기 위한 디지털 제어 명령을 생성할 수 있는 것을 특징으로 하는,
가이딩 방법.
제16항에 있어서,
상기 가이딩 인스트럭션에 의하여, (i)상기 제1 이미지가 추출되는 상기 표적 위치에서 상기 로봇 암(6)에 대한 제1 운용 및 (ii)제2 광학 장치(85)를 활성화하기 위하여 상기 작동 장치(8)에 대한 제2 운용이 이루어지며, 상기 제2 광학 장치(85)의 상기 활성화로 인하여, 상기 표적 포인트(P_TARGET)를 포함하는 영역의 근접장 내의 제2 이미지를 얻도록 하는 것을 특징으로 하는,
가이딩 방법.
제15항 또는 제16항에 있어서,
상기 대조 단계는, 이미지 세트로 학습된 뉴럴 네트워크(neural network)에 의한 상기 수집된 이미지의 분류(classification) 단계인 것을 특징으로 하는,
가이딩 방법.
로봇 암(6)을 가이딩하기 위한 시스템에 있어서,
제어 유닛(control unit)의 연산부(calculator)에 의하여 자동 제어되는 로봇 암(6) - 상기 연산부는, 인간 신체 표면에 대하여 수집된 3D 모델의 메싱(M₁, M₂)상의 규정된 포인트로부터 계산된 궤적으로부터 상기 로봇 암의 키네마틱을 계산함-;
여러 시간 시점에서 복수의 신체 모델(MOD_P)을 생성하기 위한 연산부 - 상기 인간 신체 표면의 새로운 3D모델(MOD_P)을 일정한 시간 간격으로 생성함에 따라, 상기 로봇 암(6)의 새로운 키네마틱이 계산되어 상기 로봇 암(6)의 변위를 실시간으로 자동으로 관리하도록 하며, 상기 3D모델(MOD_P)의 표면이 새롭게 계산됨에 따라 새로운 궤적(TRAJ₁', TRAJ₂') 계산이 이루어짐-;
상기 로봇 암(6)의 단부에 배치되며, 적어도 하나의 송신기 또는 센서를 포함하는 작동 장치(8) - 상기 적어도 하나의 송신기 또는 센서의 활성화는, 상기 송신기 또는 상기 센서의 축 방향이 상기 표적 포인트(P_TARGET)를 통과하는 직선을 따라 위치할 때 수행되며, 상기 표적 포인트(P_TARGET)는 인간 신체 표면에 대하여 생성된 상기 3D모델(MOD_P)상에서 참조됨-;
를 포함하는 가이딩 시스템.
로봇 암(6)을 가이딩하기 위한 시스템에 있어서,
파라미터화(parameterized)된 신체 모델(MOD_P)을 얻기 위하여 환자 신체의 이미지를 수집(5)하는 장치; 및
제1항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 작동 장치(8)를 구비한 로봇 암(6);
을 포함하는 것을 특징으로 하는, 가이딩 시스템.