KR20230011902A - 일반 모델에서 이동 시퀀스를 정의하는 장치 - Google Patents

일반 모델에서 이동 시퀀스를 정의하는 장치 Download PDF

Info

Publication number
KR20230011902A
KR20230011902A KR1020227018330A KR20227018330A KR20230011902A KR 20230011902 A KR20230011902 A KR 20230011902A KR 1020227018330 A KR1020227018330 A KR 1020227018330A KR 20227018330 A KR20227018330 A KR 20227018330A KR 20230011902 A KR20230011902 A KR 20230011902A
Authority
KR
South Korea
Prior art keywords
general
model
movement sequence
general model
dimensional representation
Prior art date
Application number
KR1020227018330A
Other languages
English (en)
Inventor
프랑소와 아이서티어
윌리엄 기버트
Original Assignee
캡식스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캡식스 filed Critical 캡식스
Publication of KR20230011902A publication Critical patent/KR20230011902A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

본 발명은 일반 모델에서 이동 시퀀스를 정의하는 장치로서, 본 발명은:
- 표면 위를 움직이는 기준 요소의 위치를 획득하는 수단; 여기서 상기 기준 요소는 실제 이동 시퀀스를 수행하도록 구성된다;
- 상기 실제 이동 시퀀스(Tr)를 기록(41)하는 수단;
- 상기 표면의 3차원 표현(Re)을 획득하는 수단(14);
- 상기 일반 모델(m1 내지 m3)을 상기 표면의 상기 3차원 표현(Re)에 적응시키는 수단; 및
- 상기 일반 모델과 상기 표면의 상기 3차원 표현(Re) 사이의 상기 적응을 상기 실제 이동 시퀀스에 적용함으로써 상기 일반 모델 상에서 일반 이동 시퀀스를 정의(42)하는 수단을 포함하는, 일반 모델 상에서 일반 이동 시퀀스(Tx)를 정의하는 장치에 관한 것이다.

Description

일반 모델에서 이동 시퀀스를 정의하는 장치
본 발명은 일반적인 모델, 즉 대상 군집을 나타내기 위한 미리 설정된 파라미터들을 가진 디지털 모델에서 적어도 하나의 이동 시퀀스를 정의하는 분야에 관한 것이다.
본 발명은 대상 군집 내의 여러 대상들 중에서 작업 표면이 가변적인 수많은 기술 분야에 적용될 수 있다. 통상적으로, 본 발명은 일반적인 인체에 하나 또는 그 이상의 마사지 궤적을 정의하기 위해 특히 유리하게 응용될 수 있다. 또는 대상 군집의 내 각 대상들은 물리적 객체에 해당할 수 있다. 예컨대, 상기 대상 군집은 자기접시들(porcelain plates)과 대응될 수 있으며, 본 발명은 이러한 자기접시 상의 도장 궤적을 정의하는데 응용될 수 있다.
일반적인 모델 상의 기준요소에 대한 상기한 이동 시퀀스를 사용하는 것도 가변적이다. 실제로, 다른 대상들과 관련된 여러 이동 시퀀스들을 기록하고 일반 모델에서 이들을 정의함으로써, 다른 대상들에 대해 수행된 두 가지 동작을 비교할 수 있다. 또한, 일반적인 모델을 이용하여 정의된 상기 이동 시퀀스는 특정 대상에 일반적인 이동 시퀀스를 적응시키는 수단을 포함하는 로봇을 제어하는데 이용될 수 있다.
미리 설정된 궤적을 따르도록 프로그램된 산업용 로봇과 달리 미지의 표면에서 작동하는 로봇은 궤적을 결정하기 위해 표면을 분석할 수 있는 동작 관리 수단을 포함하여야 한다.
예컨대, 정찰 로봇은 일반적으로 적어도 하나의 카메라를 통합하며, 영상 처리란 시간 경과에 대해 탐사 표면을 분석하고 로봇이 따라갈 궤적을 결정하는 것을 의미한다.
알려지지 않은 표면을 분석하는 상기한 방법은 시간이 지남에 따라 로봇의 동작을 정확하게 안내하기 위한 엄청난 계산력을 필요로 한다. 따라서 탐색로봇은 카메라가 획득하고 영상처리수단에 의해 처리된 정보에 따라 동작관리장치가 로봇의 동작을 최적화할 수 있도록 천천히 움직여야 한다.
또한, 마사지 로봇 또는 수공예 도자기의 도색 로봇의 경우, 개인의 신체에서 원하는 부위를 마사지하거나 또는 원하는 부위에 페인트 층을 바르려면 로봇의 동작이 극도로 정밀해야 한다.
이를 위해, 3차원 표면을 스캔하는 알려진 프로세스를 통해 작업자는 로봇이 처리할 표면의 3차원 디지털 모델링을 사용하여 로봇의 동작을 프로그래밍할 수 있다. 예를 들어 WO 2015/187092는 3차원 스캐너를 통합하여 환자의 몸을 스캔하고 의사가 터치패드에 환자의 신체의 3차원 모델을 투영하여 로봇의 마사지 궤적을 결정할 수 있도록 하는 마사지 로봇에 대해 기재하고 있다.
적어도 하나의 이동 시퀀스가 알려진 일반적인 모델을 갖는 로봇이 사용될 수도 있다. 그런 다음 로봇은 특정 대상에 치료를 적용하기 위해 이동 시퀀스를 왜곡하면서 일반적인 모델을 대상에게 적용할 수 있다.
또한 이러한 유형의 로봇은 일반적인 모델에서 적어도 하나의 이동 시퀀스를 정의할 필요가 있다. 상기 WO 2015/187092에서 주어진 정의에 관하여, 일반적인 모델에서 적어도 하나의 이동 시퀀스의 정의는 통상적으로 일반적인 모델에서 플롯을 추적하는 작업자에 의해 수동으로 수행된다.
따라서 상기 이동 시퀀스의 정의는 원하는 정밀도로 인하여 특히 길 수 있다.
본 발명의 기술적 과제는 일반적인 모델(generic model)에서 적어도 하나의 이동 시퀀스(movement sequence)를 정의하는 프로세스를 용이하게 하는 것이다.
본 발명은, 가변 기하적 표면에서 진화하는 기준요소의 동작을 획득하고 일반적인 모델(generic model)에 캡처된 동작을 적용함으로써 상기한 기술적 과제에 대응하는 것을 목표로 한다.
본 발명에 있어서, "기준 요소"는 물리적 요소에 대응하는 이펙터 또는 지점 또는 기준 점 세트에 대응할 수 있다. 예를 들어, 기준 요소는 장갑 또는 의사의 손을 나타내는 점 세트에 대응할 수 있다. 실제 동작을 일반적인 모델(generic model)에 적응시키기 위하여 두 가지 방법을 사용할 수 있다.
첫 번째 방법은 이동 시퀀스를 획득하기 전에 대상에 적응시키도록 일반 모델(generic model)을 변환하는 것이다. 그런 다음 이동 시퀀스의 획득이 상기 변환된 일반 모델(generic model)에 직접 기록된다. 상기 이동 시퀀스가 완료되면, 상기 일반 모델은 이러한 초기 매개변수를 되돌리기 위해 다시 변환되고, 그런 다음 실제 이동 시퀀스가 일반 이동 시퀀스(generic movement sequence)로 변환되도록 상기 일반 모델에 적용된 것과 동일한 변환을 다시 가져옴으로써 상기 이동 시퀀스가 변환된다.
두 번째 방법은 일반적인 모델과 독립적으로 이동 시퀀스를 획득하고 대상과 일반적인 모델 간의 차이를 계산하여 그 차이를 이동 시퀀스에 적용하여 실제 이동 시퀀스를 일반적인 이동 시퀀스(generic movement sequence)로 변환하는 것이다. 그럼에도 불구하고 이 두 번째 방법을 사용하려면 일반적인 모델(generic model)에서 일반적인 이동 시퀀스(generic movement sequence)를 올바르게 재배치할 필요가 있다.
이 두 번째 방법은 변환, 회전 및 스케일링 유형의 변환에만 가능한 반면, 첫 번째 방법은 다른 유형의 변환에 적용될 수 있다. 두 경우에서, 본 발명은 일반적인 모델에 대한 일반 이동 시퀀스를 정의하기 위한 장치에 관한 것으로서, 상기 장치는 다음을 포함한다.
- 표면 위를 움직이는 기준 요소의 위치를 획득하는 수단; 여기서 상기 기준 요소는 실제 이동 시퀀스를 수행하도록 구성된다.
- 상기 실제 이동 시퀀스를 기록하는 수단;
- 상기 표면의 3차원 표현을 획득하는 수단;
- 상기 일반적인 모델(generic model)을 상기 표면의 3차원 표현에 적응시키는 수단;
- 상기 일반적인 모델(generic model)과 상기 표면의 3차원 표현 사이의 상기 적응을 상기 실제 이동 시퀀스에 적용함으로써 상기 일반적인 모델에 대한 일반 이동 시퀀스를 정의하는 수단.
상기 첫번째 경우에, 상기 적응 수단은 상기 표면의 3차원 표현에 상기 일반적인 모델을 적응시키도록 구성되고; 상기 기록 수단은 상기 표면의 3차원 표현의 치수에 적응되는 동안 상기 일반적인 모델에 상기 실제 이동 시퀀스를 기록하도록 구성되며; 상기 정의 수단은 상기 정의 수단은 상기 기록된 이동 시퀀스를 갖는 상기 일반적인 모델을 변환하여 상기 일반적인 모델이 이러한 초기 파라미터를 재개하도록 구성된다.
상기 두 번째 경우에, 상기 적응 수단은 상기 일반적인 모델과 상기 표면의 3차원 표현 간의 차이를 계산하도록 구성되고; 상기 기록 수단은 상기 일반적인 모델과 독립적인 실제 이동 시퀀스를 기록하도록 구성되며; 상기 정의 수단은 상기 적응 수단에 의해 계산된 차이에 따라 상기 기록된 이동 시퀀스를 변환하도록 구성되고, 상기 장치는 상기 일반적인 모델에 상기 일반 이동 시퀀스를 위치시키기 위한 수단을 포함한다.
이용된 적응 방법이 무엇이든, 본 발명은 상기 표면 또는 상기 일반적인 모델의 3차원 표현을 시각화할 필요 없이 일반적인 모델에 대한 이동 시퀀스를 실질적으로 정의하는 것을 가능하게 한다.
따라서 여러 이동 시퀀스를 캡처하고 동일한 일반적인 모델에 적용하여 동일한 표면 또는 여러 다른 표면에서 수행된 여러 궤적을 비교하는 것이 가능하다.
수공예 도자기 도색의 예에서, 본 발명은 도색 작업자(painters)가 가장 자주 수행하는 동작을 알 수 있게 한다. 또한 다양한 렌더링을 검토하여 어떤 동작이 가장 효과적인지 결정할 수 있다.
마찬가지로, 마사지 궤적 추적의 예에서도 전문가들에 의해 가장 자주 요구되는 지점들을 알거나, 하나 이상의 마사지 궤적을 기록하여 로봇이 이를 재현할 수 있도록 하는 것이 가능하다. 이러한 마사지 궤적은 다른 개인에 대해서도 기록될 수 있다. 또한 여러 가지 다른 유형의 마사지를 수행하기 위해 여러 이동 시퀀스를 디지털화할 수 있다. 환자의 신체에 대한 일반적인 모델의 적응을 개선하기 위해 여러 일반적인 모델을 생성할 수도 있다. 예를 들어, 각 성별에 대해 세 가지 유형의 일반적인 모델을 사용하여 환자 신체에 대한 일반적인 모델의 적응을 개선하기 위해 여러 개의 일반적인 모델을 만들 수 있다(예를 들어, 큰 사람, 작은 사람, 평균 크기의 사람 및 다른 연령 유형: 어린이, 청소년 및 성인, 및/또는 각 기록 위치: 앉는 자세, 서 있는 자세 및 누운 자세).
일 실시예에 따르면, 상기 기준 요소 위치를 획득하기 위한 수단은 기준 요소의 방향을 선택하여 그 방향을 일반 이동 시퀀스의 서로 다른 지점들로 전달하도록 구성된다.
일 실시예에 따르면, 상기 기준 요소 위치를 획득하기 위한 수단은 상기 기준 요소에 의해 수행되는 동작 또는 제약조건을 선택하여 상기 일반 이동 시퀀스의 서로 다른 지점들에 대한 이러한 동작 또는 제약조건을 보고하도록 구성된다.
이 실시예는 예를 들어 로봇의 움직임 동안 액츄에이터의 작동을 제어하는 것을 가능하게 한다. 수공예 도자기 도색 로봇의 예에서 상기 로봇은 어떤 장소에서 특정 표면 처리를 수행할 수 있다. 마사지 로봇의 예에서, 로봇의 어떤 위치는 마사지의 편안함 및/또는 효과를 개선하기 위해 진동을 유발하는 수단을 제어할 수 있다.
또한, 일반 이동 시퀀스는 다른 동작들이 또 다른 유형의 동작과 함께 수행되는 동안 촉진-롤링 동작(palpating-rolling movement)과 함께 수행되는 여러 궤적을 포함할 수 있다. 따라서, 기준 요소가 받는 스트레스(stresses)는 물리적 스트레스(stresses), 예를 들어 압력이나 온도, 또는 외부 스트레스(external stresses), 예를 들어 에센셜 오일의 마사지 또는 확산 중에 방출되는 소리에 해당될 수 있다.
일 실시예에서, 상기 일반적인 모델 및 상기 점 데이터군의 형태로 포맷되는 표면의 3차원 표현에 따르면, 상기 적응 수단은 다음을 포함한다:
- 상기 표면의 상기 3차원 표현의 각 지점에 대한 법선 방향을 계산하기 위한 수단; 및
- 상기 3차원 표현의 점 데이터군의 각 점에 대해, 상기 일반적인 모델의 점의 법선 방향과 관심 지점의 법선 방향 사이의 차이가 최소가 되는 것에 근접한 일반적인 모델의 점을 검색하는 수단;
- 상기 일반적인 모델의 검출된 점과 상기 관심 지점 사이의 거리를 결정하기 위한 수단; 및
- 상기 3차원 표현의 점 데이터군의 모든 점들에 대해 결정된 거리의 함수로서 일반적인 모델의 전역 변환을 검색하는 수단.
상기 법선 방향을 사용하면 상기 일반적인 모델의 표면 방향 및 상기 표면의 3차원 표현과 관련된 정보를 얻을 수 있다. 단순한 점 대 점 좌표 비교와 달리 표면 비교는 보다 효율적인 인식을 제공한다.
또한, 거리의 평균에 따라 일반적인 모델 또는 이동 시퀀스를 조금씩 변경하여 상기 일반적인 모델 또는 이동 시퀀스의 적응을 단계적으로 수행한다.
따라서, 본 실시예는 일반적인 모델 또는 이동 시퀀스의 각 점의 법선 방향과 표면의 3차원 표현의 법선 방향을 비교함으로써 일반적인 모델 또는 이동 시퀀스를 효과적으로 적응시키는 것을 가능하게 한다.
일 실시예에 따르면, 상기 검색 수단은 관심 지점 주변의 미리 설정된 구(sphere)에서 일반적인 모델의 점들을 검색하도록 구성된다.
본 실시예는 계산 시간을 제한하기 위해 일반적인 모델의 점들의 검색 영역을 제한하기 위한 것이다. 또한 검색 영역의 제한으로 인해 두 비교 간에 일반적인 모델의 변경 폭을 제한할 수 있으므로 일반적인 모델의 변경의 정밀도를 높일 수 있다.
일 실시예에 따르면, 법선 방향은 관심 지점에 가장 가까운 3개 또는 4개의 점들의 좌표를 이용하여 표면을 구성함으로써 결정된다.
본 실시예는 일반적인 모델의 표면과 표면의 3차원 표현을 효율적으로 구성하는 것을 가능하게 한다.
일 실시예에 따르면, 상기 적응 수단은 다음을 포함한다:
- 상기 3차원 표현 상의 특징점들을 검출하기 위한 수단; 및
- 상기 특징점들의 상기 위치가 상기 일반적인 모델의 특징점들의 위치에 대응하도록, 회전 및/또는 병진운동에서 일반적인 모델을 변환하기 위한 수단.
본 실시예는 생성될 일반적인 모델의 첫 번째 대략적 적응이 법선을 통해 수행되는 정확한 적응의 속도를 개선할 수 있도록 한다. 수공예 도자기의 도장 로봇의 예에서, 상기 특징점들은 도자기의 상단과 하단에 해당할 수 있다.
마사지 로봇의 예에서, 상기 특징점들은 두개골의 상단, 겨드랑이의 위치, 가랑이의 위치에 해당할 수 있다.
일 실시예에 따르면, 상기 획득 수단은 다양한 3차원 표현을 캡처하고 상이한 3차원 표현들 사이의 점들의 좌표를 평균함으로써 상기 3차원 표현을 전처리(pre-processing)하기 위한 수단을 포함한다. 본 실시예는 3차원에서의 표현의 정밀도를 향상시키는 것을 가능하게 하고, 따라서 일반적인 모델의 적응을 가능하게 한다.
일 실시예에 따르면, 상기 전처리 수단은 3차원의 상이한 표현들 사이의 포인트 좌표의 상기 평균의 필터링을 수행한다. 이 실시예는 또한 3차원에서의 표현의 정밀도를 개선하고 따라서 일반 모델의 적응을 개선하는 것을 가능하게 한다.
일 실시예에 따르면, 상기 기준 요소는 장갑에 대응하고, 상기 이동 시퀀스는 마사지 동안 상기 장갑에 의해 만들어진 움직임에 대응한다.
본 발명은, 가변 기하적 표면에서 진화하는 기준요소의 동작을 획득하고 일반적인 모델(generic model)에 캡처된 동작을 적용함으로써 일반적인 모델(generic model)에서 적어도 하나의 이동 시퀀스(movement sequence)를 정의하는 프로세스를 용이하게 하는 효과가 있다.
본 발명을 수행하는 방법 및 그로부터 발생하는 이점은 도 1 내지 도 에 기초한 다음의 실시예로부터 명백해질 것이나, 이는 표시의 한 방식일 뿐 본 발명이 그것에 한정되지는 않는다:
도 1은 본 발명의 일 실시예에 따른 일반적인 모델의 변환을 결정하기 위한 단계들에 대한 플로우차트이다.
도 2는 제1 실시예에 따른 일반적인 모델에 대한 일반 이동 시퀀스를 정의하기 위한 장치의 동작 단계들에 대한 플로우차트이다.
도 3은 제2 실시예에 따른 일반적인 모델에 대한 일반 이동 시퀀스를 정의하기 위한 장치의 동작 단계들에 대한 플로우차트이다.
다음 설명에서, 본 발명은 마사지 시퀀스의 정의를 참조하여 설명된다. 그러나, 본 발명은 이러한 특정 응용에 제한되지 않으며, 기하학적 구조가 미리 설정되지 않은 표면에 연결된 다양한 이동 시퀀스에 사용될 수 있다.
도 1에 도시된 바와 같이, 표면 분석은 표면의 3차원 표현 Re를 제공할 수 있는 획득 수단(14)에 의해 수행된다. 3차원 표현 Re는 각 점이 x, y 및 z의 직교 시스템의 3 좌표를 갖는 점 데이터군의 형태를 취한다.
상기 획득 수단(14)은 한 세트의 포토 센서(a set of photographic sensors), 한 세트의 적외선 센서(a set of infrared sensors), 단층 촬영 센서(tomographic sensors), 스테레오스코픽 센서(stereoscopic sensors), 또는 표면의 3차원 표현을 획득하는 것을 가능하게 하는 임의의 다른 알려진 센서에 대응할 수 있다. 예를 들어 Microsoft®의 Kinect® 카메라를 사용하여 이러한 3차원 표현 Re를 얻을 수 있다.
환경을 캡처하지 않고 이러한 3차원 표현 Re를 얻기 위해, 환경에 해당하는 제1 점 데이터군과 환경의 표면에 해당하는 제2 점 데이터군을 캡처하는 것이 가능하다. 환경에서 표면에 해당하는 점들을 추출하기 위해 두 점 데이터군 사이에서 다른 점들만 유지된다. 이 방법을 사용하면 기록을 위해 표준화된 환경에서 추상화하고 어떤 환경에도 적응할 수 있다.
도 1에 도시된 바와 같이, 이러한 센서(14)는 개선된 품질 또는 정밀도를 갖는 3차원 표현 Re를 제공하기 위해 종종 전처리 수단(15)으로 구현된다. 예를 들어, 전처리 수단(15)은 히스토그램을 균등화하고, 필터링하고, 여러 연속적 표현에 대한 표현을 평균화하는 등의 알고리즘에 대응할 수 있다.
예컨대, 2011. 10. 16.자 UIST'11에서 출판된 과학 간행물 "KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*"에 설명된 접근 방식을 사용하여 더 나은 품질의 3차원 표현을 얻을 수 있다. 그런 다음 상기 장치는 3차원 표현 Re로 일반 모델 m1, m2, m3을 적응시키기 위해 컴퓨터 처리를 구현한다. 일반 모델 m1, m2, m3도 각 점이 직교 좌표계의 3좌표 x, y 및 z를 갖는 점 데이터군 형상으로 형식이 지정된다. 바람직하게는, 일반적인 모델은 3개의 좌표의 N 정점(vertices)의 평균 모델 ModMoy 및 3N 좌표, 즉 N 정점(vertices)에 대한 3개의 좌표에 의한 M 형태학적 성분의 변환 행렬 ModSigma를 포함한다. 각 일반 모델 m1, m2, m3(예컨대 1,000명)을 풍부하게 하려면 많은 다른 사람들이 필요하다.
데이터의 차원을 줄이기 위해 주성분 분석이 적용된다. 이러한 데이터에 주성분 분석을 적용하면 데이터의 분산(variance)을 결정하고 공통 분산(common variance)을 구성 요소와 연관시킬 수 있다. 따라서 1인당 하나의 구성 요소를 유지하는 대신, 일반 모델 m1, m2, m3 각각은 약 20개의 구성 요소를 저장하여 1,000 명에 대한 대부분의 분산(majority of variance)을 설명한다. 이 방법은 "Published in Pattern Recognition 2017" 저널에 2015. 3. 19.에 발표된 과학 간행물 "Building Statistical Shape Spaces for 3D Human Modeling, Pishchulin et al."에 자세히 설명되어 있다.
바람직하게는, 일반 모델 m1, m2, m3은 3차원 표현 Re로 일반 모델 m1, m2, m3을 적응시킬 수 있는 장치의 이미지 처리 수단에 의해 접근 가능한 메모리에 저장된다.
이를 위해, 3차원 표현 Re가 획득될 때, 상기 장치는 디지털 처리 수단(16)에 의해 이러한 3차원 표현 Re의 특징점 Pref의 검출을 구현한다. 도 1의 예에서 특징점 Pref는 두개골의 상단, 겨드랑이의 위치 및 가랑이의 위치에 대응한다. 이러한 디지털 처리 수단(16)은 예를 들어 Viola and Jones 방법과 같이 이미지에서 요소를 검출하기 위한 모든 알려진 방법을 구현할 수 있다.
바람직하게는, 특징점 Pref를 검출하기 위해, 점 데이터군은 뎁스 이미지, 즉, 예컨대 12비트로 코딩된 그레이 레벨의 이미지로 변환되어, 0에서 4095mm 범위의 뎁스로 코딩할 수 있다. 그런 다음 이 뎁스 이미지는 값이 1인 관심 객체/몸체에 해당하는 픽셀들과 값이 0인 환경에 해당하는 픽셀들만 강조 표시되도록 임계값이 지정되고 이진화된다. 다음, 상기 이진화된 이미지에, 예컨대 Suzuki, S. 및 Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Follow, CVGIP 30 1, pp 32-46(1985)에 설명된 방법을 이용하여 에지 검출(edge detection)이 적용된다. 마지막으로, 윤곽선의 두드러진 점들(salient points)과 볼록성 결함(convexity defects)(예컨대 Sklansky, J., Find the Convex Hull of a Simple Polygon. PRL 1 $number, pp 79-83(1982) 방법을 이용하여 결정됨)이 Pref 특징점으로 이용된다.
일반 모델 m1, m2, m3을 선택하기 위한 수단(17)은 3차원 표현 Re에 가장 가까운 일반 모델 m1, m2, m3을 선택하도록 구현된다.
예컨대, 상기한 선택은 3차원 표현 Re의 높이 크기를 대략적으로 추정하기 위해 두개골 상단의 특징점 Pref와 가랑이의 특징점 사이의 거리 계산에 의해 , 그리고 3차원 표현 Re의 높이에서 크기를 대략적으로 추정하고 상기 높이에서의 크기에 가장 가까운 일반 모델 m1, m2, m3을 선택함에 의해 수행될 수 있다. 마찬가지로, 겨드랑이의 특징점들 Pref 사이의 거리를 계산하여 3차원 표현 Re의 폭(width)을 이용하여 일반 모델 m1, m2, m3의 선택을 수행할 수 있다.
또한, 일반 모델 m1, m2, m3은 인간 골격의 가장 중요한 뼈를 나타내는 가상의 뼈 때문에 관절화될 수 있다. 예컨대, 15개의 가상의 뼈가 일반 모델 m1, m2, m3에서 모델링되어 척추, 대퇴골, 경골, 척골, 상완골 및 두개골의 위치와 형상을 정의할 수 있다. 또한 이러한 가상의 뼈의 방향은 일반적인 모델의 포즈(즉, 일반 모델 m1, m2, m3에 한쪽 팔이 공중에 있고 다리가 떨어져 있는 경우…)를 정의할 수 있다.
또한, 상기 선택은 수천개의 자세에서 일반적인 모델의 뎁스 이미지 윤곽 데이터베이스와 관심 대상/신체의 뎁스 이미지 윤곽에 들어가는 거리(예컨대 Hu method (Visual Pattern Recognition by Moment Invariants, IRE Transactions on Information Theory, 8:2, pp. 179-187, 1962.)를 비교함으로써 일반 모델 m1, m2, m3 수단(17)의 상기한 포즈를 결정할 수 있다. 관심 객체/몸체의 뎁스 이미지에 가장 가까운 m1, m2, m3 관절형 일반 모델의 뎁스 이미지가 선택되고, 가상 뼈대의 회전 값이 저장된다.
그 다음, 3차원 표현 Re에 접근하도록 선택된 일반 모델을 변환함으로써 적응 수단(18)에 의해 제1 적응이 수행된다. 예컨대, 상기 제1 적응은 선택된 일반 모델의 특징점들 Pref의 간격이 3차원 표현 Re의 특징점들 Pref의 간격에 대응하도록 선택된 일반 모델의 폭(width)과 높이(height)를 간단히 변환할 수 있다. 또한, 이러한 제1 적응은 일반 모델 m1, m2, m3의 가상의 뼈대의 포즈를 정의할 수 있다.
상기와 같은 다소 대략적인 제1 적응에 이어 3차원 표현 Re의 점들 사이에 정의된 각 표면에 의해 형성된 법선 방향을 사용하여 좀 더 정확한 제2 적응을 이용할 수 있다. 이를 위해, 상기 장치는 3차원 표현 Re 및 선택된 일반 모델의 각 표면의 법선(19)을 계산하기 위한 수단을 통합한다.
예컨대, 관심 지점에 가장 가까운 3개 또는 4개 점의 좌표를 이용하여 3차원 표현 Re의 각 표면을 구성함으로써 법선 방향들이 결정될 수 있다. 변형으로 일반 모델의 법선 방향들은 일반 모델을 정의하는 단계에서 계산될 수 있다.
그런 다음 상기 장치는, 3차원 표현 Re의 점 데이터군의 각 점에 대해, 일반 모델의 점의 법선 방향과 관심 지점의 법선 방향 간의 차이가 가장 작은 주변에서 선택된 일반 모델의 점을 검출할 수 있는 검색 수단(20)을 이용한다. 가상의 뼈가 선택된 일반 모델의 구성요소인 경우, 검색 수단(20)은 3차원 표현 Re에 존재하는 신체의 요소들의 위치에 가상의 뼈를 적응시키기 위해 각각의 가상 뼈의 특징을 변화시킴으로써 가상 뼈의 위치와 크기를 적응시킨다.
예컨대, 검색 수단(20)은 관심 지점 주변의 미리 설정된 구(sphere)에서 일반 모델의 점들을 검색하도록 구성될 수 있다. 바람직하게는, 상기 구(sphere)의 반경은 상기 구에 약 10개의 점을 포함시키는 방식으로 일반 모델의 정점(vertices)의 수와 관심 대상/몸체의 크기에 따라 결정된다.
이러한 모든 법선 방향을 이용하여, 상기 장치는 관심 지점과 선택된 일반 모델 상의 검색 수단에 의해 검출된 지점 사이의 거리를 계산할 수 있는 결정 수단(21)을 이용하여 선택된 일반 모델과 3차원 표현 Re 사이의 차이를 계산할 수 있다. 이러한 모든 거리는 감지된 지점에 해당하는 관심 지점에 적용되어야 하는 변환 벡터를 형성한다. 검색 수단(22)은 선택된 일반 모델의 전체 변환을 얻기 위해 이러한 변환 벡터의 평균을 결정하도록 설계된다.
다시 말해서, M 성분들의 새로운 변환 벡터 CompVec 를 고려하여 다음 식을 적용하여 Pts3D 정점(vertices)의 3차원 구성을 알 수 있다:
Pts3D = ModAv + CompVec * ModSigma
미지의 Pts3D 구성의 경우, 예컨대 새 환자의 경우, 평균 모델 ModAverage 및 변환 행렬 ModSigma를 알고 있는 이 사람에 해당하는 형태학적 구성 요소 CompVec의 값을 찾는 것이 목표이다.
이를 위해, 검색 수단(22)은 정점 Pts3D의 3차원 구성과 평균 모델 ModMoyen 및 ModSigma의 의사 역행렬 ModSigmaInv 사이의 차이 DiffMod를 계산한다.
예컨대, 의사 역행렬 ModSigmaInv는 다음 식을 사용하여 ModSigma 행렬을 특이값으로 분해하여 계산할 수 있다:
ModSigma = VU*;
ModSigmaInv = VEt U*;
여기서, Et 는 E의 전치행렬에 해당함;
V*는 V의 트랜스 켤레 행렬(trans conjugated matrix)임; 그리고
U*는 U의 트랜스 켤레 행렬(trans conjugated matrix)임.
이러한 데이터를 이용하여, 검색 수단(22)은 다음 식을 이용하여 형태학적 성분 CompVec을 계산한다.
DiffMod * ModSigmaInv = CompVec * ModSigma * ModSigmaInv
즉, CompVec = DiffMod * ModSigmaInv이며, 특정 환자에 대한 CompVec 형태학적 구성 요소를 얻을 수도 있다.
그런 다음 CompVec 변환 벡터가 선택된 일반 모델에 적용된다. 이전과 같이 포즈를 다시 추정하고, 필요에 따라 일반 모델을 조정하고, 일반 모델이 3단계 표현 차원(the three-step representation dimensions) Re에 충분히 가까워질 때까지 새로운 검색을 수행한다. 마지막으로, 일반 모델의 모든 정점과 점 데이터군에서 해당 정점 사이의 평균 유클리드 거리가 일반 모델의 정점 수와 관심 대상/바디의 크기에 따라 정의된 임계값보다 작은 경우, 예컨대 2mm 또는 최대 반복 횟수, 예컨대 임계값 아래의 평균 거리에 아직 도달하지 않은 상태에서 100회 반복에 도달한 경우 루프는 중단된다.
센서(14)와 로봇 사이의 캘리브레이션(calibration) 단계는 종종 수행되어야 한다. 비전 센서(14)와 로봇을 캘리브레이션 하기 위해, 2개의 마커에서 적어도 3개의 공통 지점의 좌표들이 기록될 수 있다. 실제로, 3보다 큰 N 점의 개수를 이용하는 것이 바람직하다. 로봇은 작업 영역 위로 이동하고 N번 정지한다.
각 정지위치에서, 로봇의 이동 명령에 의해 수행된 움직임을 계산하여 로봇의 위치를 기록하고, 비전 센서(14)에 의한 감지를 토해 상기 정지 위치를 3차원으로 알 수 있다.
이러한 N개 정지점의 끝에서, N점들의 좌표들은 두 개의 기준 프레임에서 알려져 있다. 두 프레임에서 N점들의 분포의 무게중심(barycenter of the distribution of the N points)은 다음 식을 이용하여 결정된다:
BarycentreA=1/N sum(PA(i)) for i=1 to N
여기서 PA(i) 는 레퍼런스 14의 센서의 프레임 상의 한 점임; 그리고
BarycentreB = 1/N sum(PB(i)) for i=1 to N
여기서 PB(i) 는 로봇의 프레임 상의 한 점임.
다음으로, 공분산 행렬 C는 다음 식에 의해 결정된다:
C = sum((PA(i)-BarycentreA)(PB(i)-barycentreB)t) for i=1 to N
상기 공분산 행렬 C는 다음과 같은 특이값으로 분해된다:
C = UEV*
다음으로 다음의 식은 두 기준 마크 사이의 회전 행렬 R을 얻는다:
R = VUt;
R의 행렬식이 음수이면, 회전 행렬 R의 세 번째 열에 -1을 곱할 수 있다.
다음 식은 두 마커 사이에 적용할 변환을 결정한다:
T = - R * BarycentreA + BarycentreB
따라서 다음 식을 적용하여 센서(14)의 기준 프레임 상의 점(Pa)을 로봇의 기준 프레임(Pb)으로 변환할 수 있다.
Pb = R * Pa + T
도 2에 도시된 본 발명의 제1 실시예에서, 선택된 일반 모델의 적응은 적응된 일반 모델에서 직접 참조 요소(45)의 위치(Pr)를 획득하는 것을 가능하게 한다.
일 단계 40에서, 표면의 3차원 표현(Re) 상의 기준 요소(45)의 위치(Pr)를 결정함으로써 상기한 획득이 수행된다. 상기 기준 요소는 이펙터 또는 물리적 요소에 해당하는 기준점(reference point) 또는 기준점 세트(set of reference points)에 해당할 수 있다. 예컨대, 상기 기준 요소는 장갑 또는 전문가의 손을 나타내는 점 세트에 대응할 수 있다. 표면의 3차원 표현 Re 상의 기준 요소(45)의 위치(Pr)는 위치 삼각측량 모듈(position triangulation module)에 의해 또는 표면을 3차원 Re으로 표현을 캡처하는데 이용되는 것과 유사한 이미지 처리 분석에 의해 결정될 수 있다. 표면의 3차원 표현 Re 상의 기준 요소(45)의 위치(Pr)에 더하여, 상기 획득은 또한 기준 요소(45)의 배향 또는 가열이나 특정 움직임과 같이 기준 요소(45)를 가지고 수행되는 동작을 캡처하는 것을 가능하게 할 수 있다.
상기 획득은 기준 요소(45)에 의해 수행된 실제 움직임을 나타내는 일련의 기록(Tr)을 형성하는 단계 41에서 여러 번 재생된다. 예컨대, 상기 획득은 0.1초마다 수행될 수 있다.
이동 시퀀스 Tr이 완료되면 시퀀스 Tr의 지점들이 사람의 형태로 변형된 일반 모델에 투영된다. 그런 다음 일반 모델이 이러한 초기 파라미터들을 재개하도록 다시 변환된다.
이를 위해 일반 모델의 변환은 초기 파라미터들로부터 변환된 일반 모델의 파라미터들까지 계산된다. 그런 다음 이동 시퀀스 Tr은 일반 모델에 적용된 것과 동일한 변환을 이용하여 변환된다.
따라서 Tr의 실제 이동 시퀀스는 일반 모델과 관련된 일반 이동 시퀀스 Tx로 변환된다.
도 3에 도시된 본 발명의 제2 실시예에서, 상기 획득(45)은 일반 모델과 독립적으로 수행된다. 본 실시예에서, 도 1의 단계 23은 그것들의 실제 적용 없이 일반 모델의 변환을 단순하게 결정한다. 이동 시퀀스 Tx를 일반 모델과 일치시키기 위해 이동 시퀀스는 표면 형태의 특징점들을 통과할 수 있다. 예컨대, 획득(45)은 피험자의 두개골 상단과 겨드랑이에서 기준 요소(45)를 이동함으로써 수행될 수 있다.
단계 46에서 이동 시퀀스 Tr이 기록되면, 단계 47에서는 일반 모델과 표면의 3차원 표현 Re 간의 차이를 적용하여 실제 이동 시퀀스 Tr가 일반 이동 시퀀스 Tx로 변환된다. 마지막 단계 48에서는 선택된 일반 모델에 일반 이동 시퀀스가 재배치된다. 바람직하게는, 이 단계 48은 기준 요소(45)가 통과한 특징점들과 일반 모델 상의 이러한 특징점들의 위치를 일치시키도록 함으로써 수행된다. 이 단계 48은 대상의 위치를 고려하여 수행될 수도 있다.
따라서, 본 발명은 실제적인 방식으로, 즉 오퍼레이터가 컴퓨터 또는 디지털 태블릿의 스크린을 사용할 필요 없이 일반 모델에 대한 일반 이동 시퀀스 Tx를 정의하는 것을 가능하게 한다. 따라서, 본 발명은 실제 상황에서 실제 레코딩 동안 오퍼레이터가 종종 더 효율적이기 때문에 이동 시퀀스를 정의하는 프로세스를 크게 단순화하는 것을 가능하게 한다.
이러한 이동 시퀀스는 몇몇 이동 시퀀스들을 비교하거나 일반적인 이동 시퀀스를 특정 대상에 적용하기 위한 수단을 포함하는 로봇의 제어와 같은 다양한 애플리케이션에 이용될 수 있다.

Claims (10)

  1. 일반 모델 (m1 내지 m3) 상에서 일반 이동 시퀀스 (Tx)를 정의하는 장치로서,
    - 표면 위를 움직이는 기준 요소(45)의 위치를 획득(40, 45)하는 수단; 여기서 상기 기준 요소(45)는 실제 이동 시퀀스(Tr)를 수행하도록 구성된다;
    - 상기 실제 이동 시퀀스(Tr)를 기록(41, 46)하는 수단;
    - 상기 표면의 3차원 표현(Re)을 획득하는 수단(14);
    - 상기 일반 모델(m1 내지 m3)을 상기 표면의 상기 3차원 표현(Re)에 적응(23)시키는 수단; 및
    - 상기 일반 모델(m1 내지 m3)과 상기 표면의 상기 3차원 표현(Re) 사이의 상기 적응을 상기 실제 이동 시퀀스(Tr)에 적용함으로써 상기 일반 모델(m1 내지 m3) 상에서 일반 이동 시퀀스(Tx)를 정의(42, 47)하는 수단;
    을 포함하는 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  2. 제1항에 있어서,
    상기 적응수단(23)은 상기 표면의 상기 3차원 표현(Re)에 상기 일반 모델(m1 내지 m3)을 맞추도록 구성되고; 상기 기록 수단(41)은 상기 표면의 상기 3차원 표현(Re)의 치수에 맞춰질 때 상기 일반 모델(m1 내지 m3)상에 상기 실제 이동 시퀀스(Tr)를 기록하도록 구성되며 그리고 상기 정의 수단(42)은 상기 일반 모델이 초기 파라미터들을 재개하도록 상기 기록된 이동 시퀀스로 상기 일반 모델(m1 내지 m3)을 변환하도록 구성되는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  3. 제1항에 있어서,
    상기 적응수단(23)은 상기 일반 모델(m1 내지 m3)과 상기 표면의 상기 3차원 표현(Re) 간의 차이를 계산하도록 구성되고; 상기 기록 수단(46)은 상기 일반 모델(m1 내지 m2)과 독립적인 실제 이동 시퀀스(Tr)를 기록하도록 구성되며; 상기 정의 수단(47)은 상기 적응 수단(23)에 의해 계산된 차이에 따라 상기 기록된 이동 시퀀스를 변환하도록 구성되며; 그리고 상기 일반 모델 상에 상기 일반 이동 시퀀스를 위치시키기 위한 수단(48)을 포함하는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 기준 요소(45)의 상기 위치(Pr)의 획득수단(40, 45)은 일반 변위(Tx)의 시퀀스의 다양한 지점들에서 방향을 나타내기 위하여 상기 기준 요소(45)의 방향을 감지하도록 구성되는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  5. 제2항 또는 제3항에 있어서,
    상기 기준 요소(45)의 상기 위치(Pr)의 획득수단(40, 45)은 상기 기준 요소(45)에 의해 수행된 동작 또는 받는 제약을 감지하여 상기 동작 또는 상기 제약을 상기 일반 이동 시퀀스(Tx)의 다양한 지점으로 전달하도록 구성되는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  6. 제1항에 있어서,
    상기 일반 모델(m1 내지 m3)과 점 데이터군의 형태로 포맷되는 상기 표면의 상기 3차원 표현(Re)에서, 상기 적응수단(23)은,
    - 상기 표면의 상기 3차원 표현(Re)의 각 지점에 대한 법선 방향을 계산하기 위한 수단(19); 및
    - 상기 3차원 표현(Re)의 점 데이터군의 각 점에 대해, 상기 일반 모델(m1 내지 m3)의 점의 법선 방향과 관심 지점의 법선 방향 사이의 차이가 최소가 되는 것에 근접한 일반 모델(m1 내지 m3)의 점을 검색하는 수단(20);
    - 상기 일반 모델(m1 내지 m3)의 검출된 점과 상기 관심 지점 사이의 거리를 결정하는 수단(21); 및
    - 상기 3차원 표현(Re)의 점 데이터군의 모든 점들에 대해 결정된 거리의 함수로서 상기 일반 모델(m1 내지 m3)의 전역 변환을 검색하는 수단(22)을 포함하는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  7. 제6항에 있어서,
    상기 검색수단(22)은, 상기 관심 지점 주변의 미리 설정된 구에서 상기 일반 모델의 점들을 검색하도록 구성되는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 법선 방향은 상기 관심 지점에 가장 가까운 3개 또는 4개의 점들의 좌표를 이용하여 페이스(face)를 구성함으로써 결정되는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 적응수단(23)은,
    - 상기 3차원 표현(Re) 상에서 특징점들(Pref)을 감지하는 수단(16); 및
    - 상기 특징점들의 상기 위치가 상기 일반 모델의 특징점들의 위치에 대응하도록, 회전 및/또는 병진운동에서 상기 일반 모델(m1 내지 m3)을 변환하는 수단(18)을 포함하는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 기준 요소(45)는 장갑에 대응하고, 상기 이동 시퀀스(Tr, Tx)는 마사지 동안 상기 장갑에 의해 수행되는 움직임에 대응하는, 일반 모델 상에서 일반 이동 시퀀스를 정의하는 장치.
KR1020227018330A 2019-12-10 2020-11-30 일반 모델에서 이동 시퀀스를 정의하는 장치 KR20230011902A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1914019A FR3104054B1 (fr) 2019-12-10 2019-12-10 Dispositif de definition d’une sequence de deplacements sur un modele generique
FR1914019 2019-12-10
PCT/FR2020/052217 WO2021116554A1 (fr) 2019-12-10 2020-11-30 Dispositif de definition d'une sequence de deplacements sur un modele generique

Publications (1)

Publication Number Publication Date
KR20230011902A true KR20230011902A (ko) 2023-01-25

Family

ID=70154526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018330A KR20230011902A (ko) 2019-12-10 2020-11-30 일반 모델에서 이동 시퀀스를 정의하는 장치

Country Status (8)

Country Link
US (1) US20220414291A1 (ko)
EP (1) EP4072794B1 (ko)
JP (1) JP2023505749A (ko)
KR (1) KR20230011902A (ko)
CN (1) CN114599487A (ko)
CA (1) CA3155473A1 (ko)
FR (1) FR3104054B1 (ko)
WO (1) WO2021116554A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1009283S1 (en) 2020-04-22 2023-12-26 Aescape, Inc. Therapy end effector
US11999061B2 (en) 2020-05-12 2024-06-04 Aescape, Inc. Method and system for autonomous object manipulation
EP4149725A2 (en) 2020-05-12 2023-03-22 Aescape, Inc. Method and system for autonomous object interaction
US11858144B2 (en) 2020-05-12 2024-01-02 Aescape, Inc. Method and system for autonomous body interaction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL133551A0 (en) * 1999-12-16 2001-04-30 Nissim Elias Human touch massager
DE10130485C2 (de) * 2001-06-25 2003-06-26 Robert Riener Programmierbarer Gelenksimulator
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
US9226796B2 (en) * 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
JP5905840B2 (ja) * 2013-01-30 2016-04-20 トヨタ自動車株式会社 触覚センサシステム、軌道取得装置、及び、ロボットハンド
SG10201402803RA (en) 2014-06-02 2016-01-28 Yizhong Zhang A mobile automatic massage apparatus
CN104856858B (zh) * 2015-06-10 2017-01-25 管存忠 一种示教再现按摩机械手
US20170266077A1 (en) * 2016-03-21 2017-09-21 Christian Campbell Mackin Robotic massage machine and method of use
CN105690386B (zh) * 2016-03-23 2019-01-08 北京轩宇智能科技有限公司 一种机械手臂遥操作系统及遥操作方法
FR3060170B1 (fr) * 2016-12-14 2019-05-24 Smart Me Up Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif
CN107341179B (zh) * 2017-05-26 2020-09-18 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
FR3067957B1 (fr) * 2017-06-26 2020-10-23 Capsix Dispositif de gestion des deplacements d'un robot et robot de soin associe
CN109907950A (zh) * 2017-12-13 2019-06-21 曹可瀚 按摩机和按摩方法
CN109571432A (zh) * 2018-11-26 2019-04-05 南京航空航天大学 一种基于力传感器的机器人直接示教方法
CN109676615B (zh) * 2019-01-18 2021-08-06 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置

Also Published As

Publication number Publication date
EP4072794C0 (fr) 2023-11-22
FR3104054B1 (fr) 2022-03-25
US20220414291A1 (en) 2022-12-29
WO2021116554A1 (fr) 2021-06-17
JP2023505749A (ja) 2023-02-13
CA3155473A1 (fr) 2021-06-17
EP4072794B1 (fr) 2023-11-22
CN114599487A (zh) 2022-06-07
EP4072794A1 (fr) 2022-10-19
FR3104054A1 (fr) 2021-06-11

Similar Documents

Publication Publication Date Title
KR102500626B1 (ko) 로봇의 움직임을 제어하기 위한 장치 및 이에 관련된 치료 로봇
KR20230011902A (ko) 일반 모델에서 이동 시퀀스를 정의하는 장치
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5167248B2 (ja) 深度マップによるヒューマノイド形状のモデル化
EP2710557B1 (en) Fast articulated motion tracking
CN112861598B (zh) 用于人体模型估计的系统和方法
Bouaziz et al. Dynamic 2D/3D registration for the Kinect
JP2009536731A5 (ko)
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
CN113449570A (zh) 图像处理方法和装置
JP2022123843A (ja) ３次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム
Darujati et al. Facial motion capture with 3D active appearance models
JP2012073852A (ja) 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
JP2006215743A (ja) 画像処理装置及び画像処理方法
JP2006195790A (ja) レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム
Grest et al. Human model fitting from monocular posture images
US11922576B2 (en) System and method for mapping the skin
Jian et al. Realistic face animation generation from videos
CN117398252B (zh) 一种自动定位人体背部图像采集方法及按摩系统
KR102623494B1 (ko) 포즈인식 패키지를 이용한 보행 분석 장치, 방법 및 프로그램 기록 매체
Bhanu et al. Model-based human recognition—2D and 3D gait
Wang et al. Geometric Analysis of 3D Facial Image Data: A Survey

Legal Events

Date Code Title Description
A201 Request for examination