KR20240049145A

KR20240049145A - motion tracking and control interface, devices and systems including the same

Info

Publication number: KR20240049145A
Application number: KR1020230107497A
Authority: KR
Inventors: 류석창; 신유정; 차세린; 김세빈
Original assignee: 이화여자대학교 산학협력단
Priority date: 2022-10-07
Filing date: 2023-08-17
Publication date: 2024-04-16

Abstract

본 발명의 일 실시예는, 사용자가 파지 가능한 핸들부를 포함하는 베이스부 및 서로 피봇 연결되는 복수 개의 링크 및 사용자의 손가락이 안착되는 손가락 안착부를 포함하며, 베이스부와 회전 가능하게 연결되는 본체부를 포함하며, 복수 개의 링크 중 적어도 하나는 미리 설정되는 방향으로 굴곡진 형상으로 형성되는 모션 추적 및 조작 인터페이스를 제공한다.One embodiment of the present invention includes a base portion including a handle portion that can be held by a user, a plurality of links pivotably connected to each other, and a finger rest portion on which the user's finger rests, and a main body portion rotatably connected to the base portion. and provides a motion tracking and manipulation interface in which at least one of the plurality of links is formed in a curved shape in a preset direction.

Description

Motion tracking and control interface, devices and systems including the same}

본 발명은 모션 추적 및 조작 인터페이스, 이를 포함하는 장치 및 시스템에 관한 것이다.The present invention relates to motion tracking and manipulation interfaces, and devices and systems incorporating the same.

의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 로봇(robot)을 사용한 최소 침습 수술(minimal invasive surgery)이 대안으로서 각광받고 있다.In medical terms, surgery refers to curing an illness by cutting, slitting, or manipulating the skin, mucous membranes, or other tissues using medical machines. In particular, open surgery, which involves cutting open the skin at the surgical site and treating, shaping or removing the organs inside, has recently been limited to using robots due to problems such as bleeding, side effects, patient pain, and scarring. Minimal invasive surgery is gaining attention as an alternative.

이러한 최소 침습 수술은 개복 수술과는 달리 수술 후 통증이 적고, 장운동의 조기 회복 및 음식물의 조기 섭취가 가능하며 입원 기간이 짧고 정상 상태로의 복귀가 빠르며 절개 범위가 좁아 미용 효과가 우수하다는 장점을 갖는다. 이와 같은 장점으로 인하여 최소 침습 수술은 담낭 절제술, 전립선암 수술, 탈장 교정술 등에 사용되고 있고 그 분야를 점점 더 넓혀가고 있는 추세이다.Unlike open surgery, this minimally invasive surgery has the advantages of less pain after surgery, early recovery of bowel movement and early food intake, short hospitalization period, quick return to normal condition, and excellent cosmetic effect due to the narrow incision range. have Due to these advantages, minimally invasive surgery is being used for cholecystectomy, prostate cancer surgery, and hernia repair, and its field is expanding.

일반적으로 최소 침습 수술에 이용되는 수술로봇은 마스터 장치와 슬레이브 장치를 포함한다. 마스터 장치는 의사의 조작에 따른 제어신호를 생성하여 슬레이브 장치로 전송하고, 슬레이브 장치는 마스터 장치로부터 제어신호를 수신하여 수술에 필요한 조작을 환자에게 가하게 되며, 마스터 장치와 슬레이브 장치를 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치한 상태에서 수술을 진행하고 있다.Surgical robots generally used in minimally invasive surgery include a master device and a slave device. The master device generates a control signal according to the doctor's operation and transmits it to the slave device, and the slave device receives the control signal from the master device and applies the operation necessary for the surgery to the patient. The master device and the slave device are integrated or configured. , each device is configured as a separate device and placed in the operating room to perform the surgery.

이 경우 사용자가 마스터 장치를 이용하여 슬레이브 장치를 원격 조작하는 과정에서 마스터 장치와 슬레이브 장치간 기구학적 비유사성에 의한 이질감을 최소화하기 위하기 위한 연구개발이 지속되고 있다.In this case, research and development is continuing to minimize the sense of heterogeneity caused by kinematic dissimilarity between the master device and the slave device in the process of a user remotely operating a slave device using a master device.

종래에는, 사용자의 손목과 함께 엄지와 검지, 두 손가락 움직임을 인식하여 슬레이브 장치를 조작하는 마스터 장치를 사용하였으나, 크기가 작거나 하는 이유로 3자유도 회전축이 하나의 점 또는 근거리에서 교차하는 손목 관절을 구현하기 어렵거나 수술적 필요성에 의해 손목 관절이 없는 슬레이브 장치인 경우, 사용자의 생체 역학적 모션 특성과 슬레이브 장치가 기구학적으로 유사하지 않아, 사용자가 슬레이브 장치를 조작하는 과정에서 발생하는 비직관성 문제를 해결할 수 없다는 문제점이 있었다.Conventionally, a master device was used to operate the slave device by recognizing the movements of the user's wrist, thumb and index finger, and two fingers. However, due to its small size, the wrist joint in which the three degrees of freedom rotation axis intersects at a single point or a short distance is used. In the case of a slave device that is difficult to implement or does not have a wrist joint due to surgical necessity, the user's biomechanical motion characteristics and the slave device are not kinematically similar, resulting in non-intuitiveness problems that occur during the user's operation of the slave device. There was a problem that could not be solved.

본 발명은 사용자의 손가락 모션에 따라 동작하는 복수 개의 링크 및 관절부의 회전각을 검출함으로써, 이에 기구학적으로 대응하는 슬레이브 로봇을 정밀하고 직관적으로 제어할 수 있는 모션 추적 및 조작 인터페이스를 제공한다.The present invention provides a motion tracking and manipulation interface that can precisely and intuitively control a kinematically corresponding slave robot by detecting the rotation angles of a plurality of links and joints that operate according to the user's finger motion.

본 발명의 일 측면은, 사용자가 파지 가능한 핸들부를 포함하는 베이스부 및 서로 피봇 연결되는 복수 개의 링크 및 사용자의 손가락이 안착되는 손가락 안착부를 포함하며, 베이스부와 회전 가능하게 연결되는 본체부를 포함하며, 복수 개의 링크 중 적어도 하나는 미리 설정되는 방향으로 굴곡진 형상으로 형성되는 모션 추적 및 조작 인터페이스를 제공한다.One aspect of the present invention includes a base portion including a handle portion that can be held by a user, a plurality of links pivotably connected to each other, and a finger rest portion on which the user's finger rests, and a main body portion rotatably connected to the base portion; , Provides a motion tracking and manipulation interface in which at least one of the plurality of links is formed in a curved shape in a preset direction.

또한, 복수 개의 링크는, 베이스부와 제1 회전축을 기준으로 회전가능하게 연결되는 제1 링크, 제1 링크와 제2 회전축을 기준으로 회전가능하게 연결되는 제2 링크 및 제2 링크와 제3 회전축을 기준으로 회전가능하게 연결되고 손가락 안착부와 제4 회전축을 기준으로 회전가능하게 연결되는 제3 링크를 포함할 수 있다.In addition, the plurality of links includes a first link rotatably connected to the base portion and the first rotation axis, a second link rotatably connected to the first link and the second rotation axis, and a second link and a third link. It may be rotatably connected about the rotation axis and may include a third link rotatably connected to the finger resting portion and the fourth rotation axis.

또한, 제2 회전축, 제3 회전축 및 제4 회전축은 각각 서로 평행할 수 있다.Additionally, the second, third, and fourth rotation axes may be parallel to each other.

또한, 제1 회전축과 제2 회전축은 서로 교차할 수 있다.Additionally, the first rotation axis and the second rotation axis may intersect each other.

또한, 제1 회전축과 제2 회전축은 서로 수직하게 배치될 수 있다.Additionally, the first rotation axis and the second rotation axis may be arranged perpendicular to each other.

또한, 제2 회전축과 핸들부의 길이 방향 중심축이 이루는 각도는 30도 이하일 수 있다.Additionally, the angle formed between the second rotation axis and the longitudinal central axis of the handle unit may be 30 degrees or less.

또한, 제1 회전축과 핸들부의 길이 방향 중심축은 서로 교차할 수 있다.Additionally, the first rotation axis and the longitudinal central axis of the handle unit may intersect each other.

또한, 제1 회전축과 핸들부의 길이 방향 중심축은 서로 수직하게 배치될 수 있다.Additionally, the first rotation axis and the longitudinal central axis of the handle may be arranged perpendicular to each other.

또한, 본체부는, 베이스부와 제1 링크를 회전가능하게 연결하는 제1 관절부, 제1 링크와 제2 링크를 회전가능하게 연결하는 제2 관절부, 제2 링크와 제3 링크를 회전가능하게 연결하는 제3 관절부 및 제3 링크와 손가락 안착부를 회전가능하게 연결하는 제4 관절부를 포함하며, 제1 관절부, 제2 관절부, 제3 관절부 및 제4 관절부 중 적어도 하나는, 복수 개의 링크의 회전각도의 변화를 검출 가능한 센서부를 포함할 수 있다.In addition, the main body portion includes a first joint portion rotatably connecting the base portion and the first link, a second joint portion rotatably connecting the first link and the second link, and a rotatable connection between the second link and the third link. It includes a third joint portion and a fourth joint portion rotatably connecting the third link and the finger resting portion, wherein at least one of the first joint portion, the second joint portion, the third joint portion, and the fourth joint portion has a rotation angle of the plurality of links. It may include a sensor unit capable of detecting changes.

또한, 센서부는 자기식 로터리 엔코더(magnetic rotary encoder) 또는 광학식 로터리 엔코더(optical rotary encoder) 중 어느 하나로 이루어질 수 있다.Additionally, the sensor unit may be made of either a magnetic rotary encoder or an optical rotary encoder.

또한, 제1 관절부에 연결되는 센서부와 제2 관절부에 연결되는 센서부는 서로 다른 종류의 엔코더로 이루어질 수 있다.Additionally, the sensor unit connected to the first joint unit and the sensor unit connected to the second joint unit may be made of different types of encoders.

또한, 제1 관절부, 제2 관절부, 제3 관절부 및 제4 관절부 중 적어도 하나는, 서로 연결되는 링크 상호간에 미리 설정되는 토크를 제공하는 하중제공부를 더 포함할 수 있다.In addition, at least one of the first joint, the second joint, the third, and the fourth joint may further include a load provider that provides a preset torque to the links connected to each other.

또한, 핸들부는 사용자가 조작함에 따라 미리 설정되는 제어 명령을 선택적으로 생성하는 조작부를 포함할 수 있다.Additionally, the handle unit may include a manipulation unit that selectively generates preset control commands as the user operates.

또한, 손가락 안착부는 외부 환경 정보를 사용자에게 전달가능한 햅틱모듈을 포함할 수 있다.Additionally, the finger seating unit may include a haptic module capable of transmitting external environment information to the user.

본 발명의 다른 측면은, 하나 이상의 비평행한 회전축을 중심으로 회동가능한 복수 개의 로봇관절을 포함하는 매니퓰레이터 및 매니퓰레이터의 단부에 결합되며, 사용자의 손 동작을 추적가능한 모션 추적 및 조작 인터페이스를 포함하며, 모션 추적 및 조작 인터페이스는, 사용자의 손바닥과 접촉가능한 핸들부와 매니퓰레이터의 단부와 결합하는 체결부를 포함하는 베이스부 및 서로 피봇 연결되는 복수 개의 링크 및 사용자의 손가락이 안착되는 손가락 안착부를 구비하며, 베이스부와 회전 가능하게 연결되는 본체부를 포함하는 마스터 장치를 제공한다.Another aspect of the present invention includes a manipulator including a plurality of robot joints rotatable about one or more non-parallel rotation axes, and a motion tracking and manipulation interface coupled to an end of the manipulator and capable of tracking the user's hand movements, The tracking and manipulation interface includes a handle portion that is in contact with the user's palm, a base portion including a fastening portion that couples to the end of the manipulator, a plurality of links pivotably connected to each other, and a finger seating portion on which the user's finger rests, the base portion. It provides a master device including a main body rotatably connected to a.

또한, 모션 추적 및 조작 인터페이스는 체결부를 지나는 미리 설정되는 축을 중심으로 회전 가능하며, 미리 설정되는 축은 제1 회전축과 이격 배치될 수 있다.Additionally, the motion tracking and manipulation interface can rotate around a preset axis passing through the fastener, and the preset axis can be spaced apart from the first rotation axis.

또한, 체결부는 핸들부와 탈착가능할 수 있다.Additionally, the fastening portion may be detachable from the handle portion.

본 발명의 또 다른 측면은, 수술을 위한 엔드 이펙터와 엔드 이펙터의 동작을 위해 구동력을 전달하는 샤프트를 구비하는 수술용 인스트루먼트 및 수술용 인스트루먼트의 단부에 결합되며, 조작에 따라 사용자의 손동작을 추적하여 엔드 이펙터에 손동작 정보를 전달하는 모션 추적 및 조작 인터페이스를 포함하며, 모션 추적 및 조작 인터페이스는, 사용자의 손바닥과 접촉가능한 핸들부와 수술용 인스트루먼트의 단부와 결합하는 체결부를 포함하는 베이스부 및 서로 피봇 연결되는 복수 개의 링크 및 사용자의 손가락이 안착되는 손가락 안착부를 구비하며, 베이스부와 회전 가능하게 연결되는 본체부를 포함하는 복강경 수술 장치를 제공한다.Another aspect of the present invention is a surgical instrument having an end effector for surgery and a shaft that transmits driving force for the operation of the end effector, and is coupled to the end of the surgical instrument, and tracks the user's hand movements according to the operation. It includes a motion tracking and manipulation interface that transmits hand motion information to the end effector, and the motion tracking and manipulation interface includes a handle portion that is in contact with the user's palm, a base portion that includes a fastening portion that couples to the end of the surgical instrument, and a base portion that pivots on each other. A laparoscopic surgical device is provided, including a plurality of connected links and a finger resting portion on which a user's finger rests, and a main body portion rotatably connected to a base portion.

본 발명의 또 다른 측면은, 하나 이상의 비평행한 회전축을 중심으로 회동가능한 복수 개의 로봇관절을 포함하는 매니퓰레이터와 매니퓰레이터의 단부에 결합되며 사용자의 손 동작을 추적가능한 모션 추적 및 조작 인터페이스를 구비하는 마스터 장치 및 마스터 장치의 움직임에 따라 마스터 장치로부터 전기적 신호를 전달받아 구동되는 슬레이브 로봇을 포함하며, 모션 추적 및 조작 인터페이스는, 사용자가 파지 가능한 핸들부를 포함하는 베이스부 및 서로 피봇 연결되는 복수 개의 링크 및 사용자의 손가락이 안착되는 손가락 안착부를 포함하는 본체부를 구비하는 수술 로봇 시스템을 제공한다.Another aspect of the present invention includes a manipulator including a plurality of robot joints rotatable about one or more non-parallel rotation axes, and a master device coupled to an end of the manipulator and having a motion tracking and manipulation interface capable of tracking the user's hand movements. And a slave robot that is driven by receiving electrical signals from the master device according to the movement of the master device, and the motion tracking and manipulation interface includes a base portion including a handle portion that can be held by the user, a plurality of links pivotably connected to each other, and a user Provides a surgical robot system having a main body including a finger resting portion on which a finger rests.

본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스는 서로 피봇 연결되는 복수 개의 링크와 사용자의 손가락이 안착되는 손가락 안착부를 포함함으로써, 손가락의 굽힘 정도를 효과적으로 검출하고 이에 기구학적으로 유사한 로봇을 직관적으로 제어할 수 있는 효과가 있다.The motion tracking and manipulation interface according to an embodiment of the present invention includes a plurality of links pivotably connected to each other and a finger resting portion on which the user's finger rests, thereby effectively detecting the degree of bending of the finger and intuitively creating a robot kinematically similar to the bending degree. There is an effect that can be controlled.

또한, 베이스부가 매니퓰레이터와 회전가능하게 연결됨으로써 사용자의 손목의 내전/외전 정도를 추가로 검출할 수 있는 효과가 있다.In addition, since the base portion is rotatably connected to the manipulator, the degree of adduction/abduction of the user's wrist can be additionally detected.

도 1은 본 발명의 일 실시예에 수술 로봇 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 엔드 이펙터의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 마스터 장치의 사시도이다.
도 4는 본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스의 사시도이다.
도 5는 본 발명의 일 실시예에 따른 본체부의 측면도이다.
도 6은 본 발명의 일 실시예에 따른 본체부의 분해도이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스의 사용상태를 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 마스터 장치의 사시도이다.
도 10은 본 발명의 일 실시예에 따른 복강경 수술 장치의 사시도이다.1 is a diagram schematically showing a surgical robot system according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the operation of an end effector according to an embodiment of the present invention.
Figure 3 is a perspective view of a master device according to an embodiment of the present invention.
Figure 4 is a perspective view of a motion tracking and manipulation interface according to one embodiment of the present invention.
Figure 5 is a side view of the main body according to an embodiment of the present invention.
Figure 6 is an exploded view of the main body according to an embodiment of the present invention.
7 and 8 are diagrams for explaining the use state of the motion tracking and manipulation interface according to an embodiment of the present invention.
Figure 9 is a perspective view of a master device according to another embodiment of the present invention.
Figure 10 is a perspective view of a laparoscopic surgical device according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the drawings, identical or corresponding components will be assigned the same reference numerals and redundant description thereof will be omitted. .

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, singular terms include plural terms unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have mean the presence of features or components described in the specification, and do not exclude in advance the possibility of adding one or more other features or components.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.If an embodiment can be implemented differently, a specific process sequence may be performed differently from the described sequence. For example, two processes described in succession may be performed substantially at the same time, or may be performed in an order opposite to the order in which they are described.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 이하의 실시예는 반드시 도시된 바에 한정되지 않는다.In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, so the following embodiments are not necessarily limited to what is shown.

도 1은 본 발명의 일 실시예에 수술 로봇 시스템을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 엔드 이펙터의 동작을 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시예에 따른 마스터 장치의 사시도이다. FIG. 1 is a diagram schematically showing a surgical robot system according to an embodiment of the present invention, FIG. 2 is a diagram illustrating the operation of an end effector according to an embodiment of the present invention, and FIG. 3 is an illustration of an embodiment of the present invention. This is a perspective view of a master device according to an embodiment.

도 4는 본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스의 사시도이고, 도 5는 본 발명의 일 실시예에 따른 본체부의 측면도이며, 도 6은 본 발명의 일 실시예에 따른 본체부의 분해도이다. Figure 4 is a perspective view of a motion tracking and manipulation interface according to an embodiment of the present invention, Figure 5 is a side view of the main body according to an embodiment of the present invention, and Figure 6 is an exploded view of the main body according to an embodiment of the present invention. am.

도 7 및 도 8은 본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스의 사용상태를 설명하기 위한 도면이고, 도 9은 본 발명의 다른 실시예에 따른 마스터 장치의 사시도이며, 도 10은 본 발명의 일 실시예에 따른 복강경 수술 장치의 사시도이다. Figures 7 and 8 are diagrams for explaining the state of use of the motion tracking and manipulation interface according to one embodiment of the present invention, Figure 9 is a perspective view of the master device according to another embodiment of the present invention, and Figure 10 is the present invention. This is a perspective view of a laparoscopic surgical device according to an embodiment of the invention.

본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 사용자(U)가 마스터 장치(10)를 이용하여 원격지의 슬레이브 로봇(20)의 조작함으로써 원격으로 수술을 수행하는 시스템이다.The surgical robot system 1 according to an embodiment of the present invention is a system in which a user (U) remotely performs surgery by manipulating a remote slave robot 20 using the master device 10.

마스터 장치(10)는 슬레이브 로봇(20)과 전기적으로 연결되며, 수술을 집도하는 사용자(U)가 영상부(D)를 통해 수술 상황을 지켜보고 마스터 장치(10)를 조작함으로써 수술을 간접적으로 집도할 수 있다.The master device 10 is electrically connected to the slave robot 20, and the user (U) performing the surgery indirectly performs the surgery by watching the surgical situation through the video unit (D) and manipulating the master device (10). You can do it.

본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스(100) 및 이를 포함하는 마스터 장치(10)는 인체공학적 특성을 반영하여 손의 위치, 손목의 회전 각도, 손가락의 굽힘 정도를 측정할 수 있으며, 이를 통해 사용자(U)가 모션 추적 및 조작 인터페이스(100)를 조작함에 있어서 높은 차원의 직관성을 부여할 수 있다.The motion tracking and manipulation interface 100 and the master device 10 including the same according to an embodiment of the present invention can measure the position of the hand, the rotation angle of the wrist, and the degree of bending of the fingers by reflecting ergonomic characteristics. , Through this, a high level of intuitiveness can be provided to the user (U) when manipulating the motion tracking and manipulation interface 100.

또한, 모션 추적 및 조작 인터페이스(100)의 형상을 슬레이브 로봇(20)의 단부에 연결되어 직접적으로 수술을 수행하는 엔드 이펙터(22)의 형상과 기구학적으로 유사하게 형성시켜, 사용자(U)가 엔드 이펙터(22)가 촬영되는 영상을 보면서 모션 추적 및 조작 인터페이스(100)를 조작함에 있어서 시각적으로 높은 직관성을 부여할 수 있다.In addition, the shape of the motion tracking and manipulation interface 100 is kinematically similar to the shape of the end effector 22, which is connected to the end of the slave robot 20 and directly performs surgery, so that the user U can High visual intuitiveness can be provided when operating the motion tracking and manipulation interface 100 while watching the image in which the end effector 22 is captured.

이하, 상기와 같은 모션 추적 및 조작 인터페이스(100), 이를 포함하는 장치(2, 10, 10`) 및 시스템(1)에 관하여 상세하게 설명한다.Hereinafter, the motion tracking and manipulation interface 100 as described above, the devices 2, 10, and 10' including the same, and the system 1 will be described in detail.

도 1을 참조하면, 수술 로봇 시스템(1)은 마스터 장치(10), 슬레이브 로봇(20) 및 영상부(D)를 포함할 수 있다.Referring to FIG. 1, the surgical robot system 1 may include a master device 10, a slave robot 20, and an imaging unit (D).

수술을 집도하는 사용자(U)는 영상부를 통하여 수술부위 및 수술부위와 접촉가능한 엔드 이펙터(22)를 관찰할 수 있으며, 마스터 장치(10), 구체적으로 모션 추적 및 조작 인터페이스(100)를 조작하여 원격지에 있는 엔드 이펙터(22)의 동작을 컨트롤함으로써 정밀한 수술을 수행할 수 있다.The user (U) performing the surgery can observe the surgical site and the end effector 22 that can be in contact with the surgical site through the imaging unit, and operate the master device 10, specifically the motion tracking and manipulation interface 100. Precise surgery can be performed by controlling the operation of the end effector 22 located remotely.

도 1, 도 2를 참조하면, 본 발명의 일 실시예에 따른 마스터 장치(10)는 모션 추적 및 조작 인터페이스(100), 매니퓰레이터(200)를 포함할 수 있다.1 and 2, the master device 10 according to an embodiment of the present invention may include a motion tracking and manipulation interface 100 and a manipulator 200.

일 실시예로, 모션 추적 및 조작 인터페이스(100)는 사용자(U)의 손이 장착되는 것으로써, 하나 이상의 비평행한 회전축을 중심으로 회동가능한 복수 개의 로봇관절(2200a, 2200b, 2200c)을 포함하는 매니퓰레이터(200)의 단부에 결합될 수 있다.In one embodiment, the motion tracking and manipulation interface 100 is mounted on the hand of the user (U) and includes a plurality of robot joints (2200a, 2200b, 2200c) rotatable about one or more non-parallel rotation axes. It may be coupled to the end of the manipulator 200.

일 실시예로, 사용자(U)의 손이 움직임에 따라 매니퓰레이터(200)의 단부에 결합되는 모션 추적 및 조작 인터페이스(100)의 위치가 변할 수 있다. In one embodiment, the position of the motion tracking and manipulation interface 100 coupled to the end of the manipulator 200 may change as the user's (U) hand moves.

사용자(U)가 모션 추적 및 조작 인터페이스(100)를 파지하여 동작하는 경우, 사용자(U)의 동작에 따라 매니퓰레이터(200)의 로봇관절(2200a, 2200b, 2200c) 각각이 회전할 수 있으며, 각각의 로봇관절(2200a, 2200b, 2200c)의 회전각을 이용하여 매니퓰레이터(200)의 위치 값을 계산할 수 있다. When the user (U) operates by holding the motion tracking and manipulation interface 100, each of the robot joints 2200a, 2200b, and 2200c of the manipulator 200 may rotate according to the operation of the user (U), respectively. The position value of the manipulator 200 can be calculated using the rotation angles of the robot joints 2200a, 2200b, and 2200c.

구체적으로 매니퓰레이터(200)의 로봇관절(2200a, 2200b, 2200c)들은 모션 추적 및 조작 인터페이스(100)를 파지하고 이동하는 사용자(U)의 손 위치가 변함에 따라 회전하게 되며, 마스터 장치(10)는 로봇관절(2200a, 2200b, 2200c)들의 회전각을 이용하여 엔드 이펙터(22)의 위치를 제어할 수 있다.Specifically, the robot joints 2200a, 2200b, and 2200c of the manipulator 200 rotate as the position of the hand of the user (U), which holds and moves the motion tracking and manipulation interface 100, changes, and the master device 10 Can control the position of the end effector 22 using the rotation angles of the robot joints 2200a, 2200b, and 2200c.

일 실시예로, 매니퓰레이터(200)의 단부는 7자유도로 동작할 수 있으며, 사용자(U)의 손 동작에 대응되는 매니퓰레이터(200)의 단부의 위치 및 자세를 이용하여 엔드 이펙터(22)의 후단부(25)의 백터값(V2)(이하, '후단부(25)의 백터값'은 절대좌표계상 후단부(25)의 길이 방향 중심축의 백터값을 의미한다)를 결정할 수 있다.In one embodiment, the end of the manipulator 200 may operate with 7 degrees of freedom, and the end effector 22 may be operated using the position and posture of the end of the manipulator 200 corresponding to the hand movement of the user U. The vector value V2 of the end 25 (hereinafter, 'vector value of the rear end 25' refers to the vector value of the longitudinal central axis of the rear end 25 in the absolute coordinate system) can be determined.

일 실시예로, 후단부(25)의 백터값(V2)은 엔드 이펙터(22)의 전반적인 위치 및 자세를 결정하며, 마스터 장치(10)는 사용자(U)의 손이 모션 추적 및 조작 인터페이스(100)를 파지하고 회동함에 따라 변경되는 매니퓰레이터(200)의 단부의 위치 및 자세를 이용하여 후단부(25)의 백터값(V2)을 제어할 수 있다.In one embodiment, the vector value V2 of the rear end 25 determines the overall position and posture of the end effector 22, and the master device 10 controls the motion tracking and manipulation interface (U) of the user's (U) hand. The vector value V2 of the rear end 25 can be controlled using the position and posture of the end of the manipulator 200, which changes as the manipulator 200 is held and rotated.

일 실시예로, 모션 추적 및 조작 인터페이스(100)는 매니퓰레이터(200)의 단부와 회전가능하게 연결될 수 있으며, 사용자(U)의 손목이 외전/내전함에 따라 모션 추적 및 조작 인터페이스(100)는 중심축(CL)을 기준으로 회전할 수 있다.In one embodiment, the motion tracking and manipulation interface 100 may be rotatably connected to an end of the manipulator 200, and as the user's (U) wrist abducts/adducts, the motion tracking and manipulation interface 100 moves to the center. It can rotate based on the axis (CL).

일 실시예로, 중심축(CL)은 모션 추적 및 조작 인터페이스(100)를 파지하는 사용자(U)의 상완의 길이 방향 중심축과 평행할 수 있다. In one embodiment, the central axis CL may be parallel to the longitudinal central axis of the upper arm of the user U holding the motion tracking and manipulation interface 100.

일 실시예로, 중심축(CL)은 핸들부(1220)의 길이 방향 중심축과 교차하게 배치될 수 있다. In one embodiment, the central axis CL may be disposed to intersect the longitudinal central axis of the handle unit 1220.

일 실시예로, 중심축(CL)과 핸들부(1220)의 길이 방향 중심축이 이루는 각도는 30° 이하로 형성될 수 있다.In one embodiment, the angle between the central axis CL and the longitudinal central axis of the handle unit 1220 may be 30° or less.

일 실시예로, 중심축(CL)과 핸들부(1220)의 길이 방향 중심축은 서로 직교할 수 있다.In one embodiment, the central axis CL and the longitudinal central axis of the handle unit 1220 may be perpendicular to each other.

핸들부(1220)를 파지하는 사용자(U)의 손목이 외전/내전하는 경우 모션 추적 및 조작 인터페이스(100)와 매니퓰레이터(200)의 단부는 중심축(CL)을 기준으로 회전하게되며, 마스터 장치(10)는 중심축(CL)을 기준으로 회전하는 모션 추적 및 조작 인터페이스(100)의 회전각을 이용하여 엔드 이펙터(22)를 제5 회전축(AX5)으로 회전시킬 수 있다.When the wrist of the user (U) holding the handle unit 1220 abducts/adducts, the ends of the motion tracking and manipulation interface 100 and the manipulator 200 rotate based on the central axis CL, and the master device (10) may rotate the end effector 22 to the fifth rotation axis AX5 using the rotation angle of the motion tracking and manipulation interface 100 rotating about the central axis CL.

예를 들어, 사용자(U)가 핸들부(1220)를 파지하고 손목을 α°만큼 회전하는 경우, 모션 추적 및 조작 인터페이스(100)는 중심축(CL)을 기준으로 α°만큼 회전을 하게 되며, 모션 추적 및 조작 인터페이스(100)의 회전 정보를 전달받은 슬레이브 로봇(20)은 후단부(25)를 제5 회전축(AX5)을 중심으로 α°만큼 회전시킬 수 있다.For example, when the user (U) grips the handle unit 1220 and rotates the wrist by α°, the motion tracking and manipulation interface 100 rotates by α° based on the central axis CL. , the slave robot 20 that has received rotation information from the motion tracking and manipulation interface 100 can rotate the rear end 25 by α° around the fifth rotation axis AX5.

이로 인하여 사용자(U)가 핸들부(1220)를 파지하고 손목을 내전 또는 외전하는 경우, 사용자(U)의 손목에 대응되는 엔드 이펙터(22)의 후단부(25)가 시계방향 또는 반시계방향으로 회전하게 되므로, 이러한 모션 추적 및 조작 인터페이스(100)와 엔드 이펙터(22) 간 기구학적 유사성으로 사용자(U)의 조작의 직관성을 향상시킬 수 있다.Due to this, when the user (U) grasps the handle unit 1220 and adducts or abducts the wrist, the rear end 25 of the end effector 22 corresponding to the wrist of the user (U) rotates clockwise or counterclockwise. Since it rotates, the intuitiveness of the user's operation can be improved due to the kinematic similarity between the motion tracking and manipulation interface 100 and the end effector 22.

일 실시예로, 핸들부(1220)의 길이 방향 중심축은 중심축(CL)과 동일 평면상에 배치될 수 있다.In one embodiment, the longitudinal central axis of the handle unit 1220 may be disposed on the same plane as the central axis CL.

일 실시예로, 사용자(U)는 중지, 약지, 검지로 핸들부(1220)를 파지할 수 있으며, 중심축(CL)은 사용자(U)의 약지가 위치하는 핸들부(1220)의 일 영역을 지날 수 있다.In one embodiment, the user (U) may hold the handle unit 1220 with the middle finger, ring finger, and index finger, and the central axis CL is an area of the handle unit 1220 where the ring finger of the user (U) is located. can pass.

일 실시예로, 체결부(1230)와 사용자(U)의 약지가 위치하는 핸들부(1220)의 일 영역은 모두 중심축(CL) 상에 배치될 수 있다.In one embodiment, the fastening part 1230 and an area of the handle part 1220 where the ring finger of the user U is located may both be arranged on the central axis CL.

본 발명은 상완부 및 손목의 외전/내전 회전 중심축이 약지를 지난다는 생체 역학적 특징으로 이용하여, 모션 추적 및 조작 인터페이스(100)의 회전 중심축(CL)을 약지를 지나는 축으로 정렬하였으며, 이로 인하여 사용자(U)가 핸들부(1220)를 파지하고 외전/내전하는 동안 조작의 이질감을 최소화함과 동시에 장시간 조작시 발생하는 피로감을 최소화하였다.The present invention utilizes the biomechanical characteristic that the central axis of rotation of the abduction/adduction of the upper arm and wrist passes through the ring finger, and aligns the central axis of rotation (CL) of the motion tracking and manipulation interface 100 with the axis passing through the ring finger. As a result, While the user (U) holds the handle unit 1220 and abducts/adducts, the feeling of heterogeneity in operation is minimized, and at the same time, fatigue that occurs when operating for a long time is minimized.

도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 모션 추적 및 조작 인터페이스(100)는 매니퓰레이터(200)의 단부에 결합되며, 사용자(U)의 손 동작을 추적가능한 것으로 본체부(1100), 베이스부(1200)를 포함할 수 있다.Referring to Figures 4 to 6, the motion tracking and manipulation interface 100 according to an embodiment of the present invention is coupled to the end of the manipulator 200, and is capable of tracking the hand movements of the user (U), and has a main body ( 1100) and a base portion 1200.

도 5 및 도 6을 참조하면, 본 발명의 일 실시예에 따른 본체부(1100)는 서로 피봇 연결되는 복수 개의 링크(1120, 1130, 1140) 및 사용자(U)의 손가락이 안착되는 손가락 안착부(1110)를 포함할 수 있다.Referring to FIGS. 5 and 6, the main body 1100 according to an embodiment of the present invention includes a plurality of links 1120, 1130, and 1140 pivotably connected to each other and a finger resting portion on which the finger of the user (U) rests. It may include (1110).

일 실시예로, 복수 개의 링크(1120, 1130, 1140)는 베이스부(1200)와 제1 회전축(AX1)을 기준으로 회전가능하게 연결되는 제1 링크(1120), 제1 링크(1120)와 제2 회전축(AX2)을 기준으로 회전가능하게 연결되는 제2 링크(1130) 및 제2 링크(1130)와 제3 회전축(AX3)을 기준으로 회전가능하게 연결되고 손가락 안착부(1110)와 제4 회전축(AX4)을 기준으로 회전가능하게 연결되는 제3 링크(1140)를 포함할 수 있다.In one embodiment, the plurality of links 1120, 1130, and 1140 include a first link 1120 and a first link 1120 rotatably connected to the base portion 1200 and the first rotation axis AX1. A second link 1130 rotatably connected with respect to the second rotation axis AX2, the second link 1130 rotatably connected with respect to a third rotation axis AX3, and a finger resting portion 1110 and the second link 1130 are rotatably connected with respect to the second rotation axis AX2. 4 It may include a third link 1140 rotatably connected about the rotation axis AX4.

일 실시예로, 제1 링크(1120), 제2 링크(1130), 제3 링크(1140) 및 손가락 안착부(1110)는 직렬로 연결될 수 있다.In one embodiment, the first link 1120, the second link 1130, the third link 1140, and the finger resting portion 1110 may be connected in series.

일 실시예로, 본체부(1100)는 베이스부(1200)와 제1 링크(1120)를 회전가능하게 연결하는 제1 관절부(1150), 제1 링크(1120)와 제2 링크(1130)를 회전가능하게 연결하는 제2 관절부(1160), 제2 링크(1130)와 제3 링크(1140)를 회전가능하게 연결하는 제3 관절부(1170) 및 제3 링크(1140)와 손가락 안착부(1110)를 회전가능하게 연결하는 제4 관절부(1180)를 포함할 수 있다.In one embodiment, the main body 1100 includes a first joint 1150, a first link 1120, and a second link 1130 that rotatably connect the base 1200 and the first link 1120. The second joint 1160 rotatably connecting the second link 1130 and the third link 1140, the third joint 1170 and the third link 1140 and the finger resting portion 1110 ) may include a fourth joint portion 1180 rotatably connecting the joints.

본 명세서에서 '관절'은 링크와 링크의 연결 부위를 말하며, 1 자유도 이상을 가질 수 있다. 여기에서, "자유도(Degree Of Freedom:DOF)"란 기구학(Kinematics) 또는 역기구학(Inverse Kinematics)에서의 자유도를 말한다. 기구의 자유도란 기구의 독립적인 운동의 수, 또는 각 링크 간의 상대 위치의 독립된 운동을 결정하는 변수의 수를 말한다. 예를 들어, x축, y축, z축으로 이루어진 3차원 공간상의 물체는, 물체의 공간적인 위치를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에 대한 회전 각도) 중에서 하나 이상의 자유도를 갖는다.In this specification, 'joint' refers to a link and a connecting part of the link, and may have one or more degrees of freedom. Here, “Degree Of Freedom (DOF)” refers to the degree of freedom in Kinematics or Inverse Kinematics. The degree of freedom of a mechanism refers to the number of independent movements of the mechanism, or the number of variables that determine the independent movements of the relative positions between each link. For example, an object in a three-dimensional space consisting of the x-axis, y-axis, and z-axis has three degrees of freedom (position in each axis) to determine the spatial position of the object, and three degrees of freedom to determine the spatial posture of the object. It has one or more degrees of freedom among three degrees of freedom (position on each axis) for determining the object's spatial posture and three degrees of freedom (rotation angle about each axis).

일 실시예로, 제1 관절부(1150), 제2 관절부(1160), 제3 관절부(1170) 및 제4 관절부(1180) 중 적어도 하나는 1 자유도 회전운동(rolling - motion)이 가능한 다양한 형상으로 형성될 수 있다.In one embodiment, at least one of the first joint 1150, the second joint 1160, the third joint 1170, and the fourth joint 1180 has various shapes capable of one degree of freedom (rolling-motion). can be formed.

일 실시예로, 제1 관절부(1150)는 베이스부(1200)와 제1 링크(1120)를 제1 회전축(AX1)을 기준으로 회전 가능하게 연결하는 회전 조인트(revolute joint)으로 이루어질 수 있다.In one embodiment, the first joint 1150 may be formed of a revolute joint that rotatably connects the base 1200 and the first link 1120 about the first rotation axis AX1.

일 실시예로, 제1 관절부(1150)는 베이스부(1200)와 제1 링크(1120)를 제1 회전축(AX1)을 기준으로 회전 가능하게 연결하는 베어링의 형상으로 이루어질 수 있다.In one embodiment, the first joint portion 1150 may be formed in the shape of a bearing that rotatably connects the base portion 1200 and the first link 1120 about the first rotation axis AX1.

일 실시예로, 제2 관절부(1160)는 제1 링크(1120)와 제2 링크(1130)를 제2 회전축(AX2)을 기준으로 회전 가능하게 연결하는 회전 관절(revolute joint)으로 이루어질 수 있다.In one embodiment, the second joint 1160 may be formed of a revolute joint that rotatably connects the first link 1120 and the second link 1130 about the second rotation axis AX2. .

일 실시예로, 제3 관절부(1170)는 제2 링크(1130)와 제3 링크(1140)를 제2 회전축(AX2)을 기준으로 회전 가능하게 연결하는 회전 관절(revolute joint)으로 이루어질 수 있다.In one embodiment, the third joint 1170 may be formed of a revolute joint that rotatably connects the second link 1130 and the third link 1140 about the second rotation axis AX2. .

일 실시예로, 제4 관절부(1180)는 제2 링크(1130)와 제3 링크(1140)를 제2 회전축(AX2)을 기준으로 회전 가능하게 연결하는 회전 관절(revolute joint)으로 이루어질 수 있다.In one embodiment, the fourth joint 1180 may be formed of a revolute joint that rotatably connects the second link 1130 and the third link 1140 about the second rotation axis AX2. .

선택적 실시예로, 제1 관절부 내지 제4 관절부(1150, 1160, 1170, 1180) 중 적어도 하나는 원통형 관절(cylindrical joint), 유니버셜 관절(universal joint) 또는 구형 관절(spherical joint) 중 하나 이상으로 이루어질 수 있는 등,손가락 안착부 및 인접한 링크들(1110, 1120, 1130, 1140)을 미리 설정되는 축으로 회전 가능하게 연결할 수 있는 다양한 연결구조로 마련될 수 있다.In an optional embodiment, at least one of the first to fourth joints 1150, 1160, 1170, and 1180 is comprised of one or more of a cylindrical joint, a universal joint, or a spherical joint. It can be provided with various connection structures that can rotatably connect the finger resting portion and adjacent links (1110, 1120, 1130, 1140) about a preset axis.

신체특성상 중수지절관절(metacarpophalangeal, MCP)은 외전(abduction)/내전(adduction) 및 굴곡(MP joint Flexion)/신전(MP joint extension)이 모두 가능하다. 따라서 제1 관절부(1150) 및 제2 관절부(1160)는 제1 링크(1120)와 각각 연결되며, 제1 관절부(1150)는 중수지절관절의 외전/내전 축과 평행한 제1 회전축(AX1)으로 회전할 수 있으며, 제2 관절부(1160)는 중수지절관절의 굴곡/신전의 회전축과 평행한 제2 회전축(AX2)으로 회전할 수 있다.Due to physical characteristics, the metacarpophalangeal (MCP) joint is capable of both abduction/adduction and MP joint flexion/extension. Therefore, the first joint 1150 and the second joint 1160 are each connected to the first link 1120, and the first joint 1150 has a first rotation axis AX1 parallel to the abduction/adduction axis of the metacarpophalangeal joint. and the second joint portion 1160 can rotate to the second rotation axis AX2 parallel to the rotation axis of flexion/extension of the metacarpophalangeal joint.

도 6을 참조하면, 본 발명의 일 실시예에 따른 제1 관절부(1150), 제2 관절부(1160), 제3 관절부(1170) 및 제4 관절부(1180) 중 적어도 하나는, 관절에 가해진 힘/토크 정보, 관절의 위치 정보 및 이동 속도 정보 등을 검출할 수 있는 센서부(S)를 포함할 수 있다.Referring to FIG. 6, at least one of the first joint unit 1150, the second joint unit 1160, the third joint unit 1170, and the fourth joint unit 1180 according to an embodiment of the present invention is a force applied to the joint. /It may include a sensor unit (S) that can detect torque information, joint position information, and movement speed information.

일 실시예로, 센서부(S)는 자기식 로터리 엔코더(magnetic rotary encoder) 또는 광학식 로터리 엔코더(optical rotary encoder) 중 어느 하나로 이루어질 수 있다.In one embodiment, the sensor unit S may be made of either a magnetic rotary encoder or an optical rotary encoder.

도면에는 도시하지 않았지만, 본 발명의 일 실시예에 따른 마스터 장치(10)는 손가락 안착부(1110), 복수 개의 링크(1120, 1130, 1140), 관절부(1150, 1160, 1170, 1180) 및 베이스부(1200)의 모션을 촬영할 수 있는 촬상부를 포함할 수 있으며, 촬상부는 손가락 안착부(1110), 복수 개의 링크(1120, 1130, 1140), 관절부(1150, 1160, 1170, 1180) 및 베이스부(1200) 중 적어도 하나의 위치 및 회전각도를 검출할 수 있다.Although not shown in the drawings, the master device 10 according to an embodiment of the present invention includes a finger seating portion 1110, a plurality of links 1120, 1130, 1140, joint portions 1150, 1160, 1170, 1180, and a base. It may include an imaging unit capable of filming the motion of the unit 1200, and the imaging unit includes a finger seating unit 1110, a plurality of links 1120, 1130, 1140, joint units 1150, 1160, 1170, and 1180, and a base unit. The position and rotation angle of at least one of (1200) can be detected.

일 실시예로, 촬상부는 RGB카메라로 이루어질 수 있다. 이 경우, 촬상부는 적색(Red), 녹색(Green), 청색(Blue) 영역대의 파장을 검출할 수 있으며, 각 영역대의 파장에 상응하는 디지털 코드(RGB)를 생성할 수 있다. 그러나 이에 한정되는 것은 아니며, 촬상부는 다양한 영역대의 파장을 검출할 수 있고, 각 영역대의 파장에 상응하도록 미리 설정된 디지털 코드를 생성할 수 있다.In one embodiment, the imaging unit may be comprised of an RGB camera. In this case, the imaging unit can detect wavelengths in the red, green, and blue regions and generate digital codes (RGB) corresponding to the wavelengths in each region. However, it is not limited to this, and the imaging unit can detect wavelengths in various regions and generate digital codes preset to correspond to the wavelengths in each region.

이에 더하여 촬상부는 전기적 신호를 증폭할 수 있으며, 증폭된 전기적 신호에 따른 영상 정보를 별도로 구비되는 제어부로 출력할 수 있다. 이로 인하여 낮은 조도의 외부 환경에서도 모션 추적 및 조작 인터페이스(100)의 이미지를 획득할 수 있다는 효과가 있다.In addition, the imaging unit can amplify the electrical signal and output image information according to the amplified electrical signal to a separately provided control unit. This has the effect of being able to obtain an image of the motion tracking and manipulation interface 100 even in an external environment with low illumination.

일 실시예로, 촬상부는 인체를 포함하는 환경에 관한 3차원 영상을 촬영하고, 그 촬영 이미지의 각 픽셀의 깊이 정보를 획득할 수 있는 어떤 장치든 사용 가능하다. 예를 들어 적외선(Infrared Radiation) 카메라, 스테레오(Stereo) 카메라 또는 TOF 카메라, 깊이 영상 키넥트(Kinect Depth) 카메라 등 촬영 영역에 포함되는 사물의 거리 값을 계산할 수 있는 장치로 이루어질 수 있다.In one embodiment, the imaging unit can use any device that can capture a 3D image of an environment including a human body and obtain depth information of each pixel of the captured image. For example, it may be comprised of a device that can calculate the distance value of objects included in the shooting area, such as an infrared radiation camera, a stereo camera or TOF camera, or a depth imaging Kinect Depth camera.

예를 들어, 촬상부가 적외선 카메라로 이루어지는 경우 촬상부는 적외선을 투사할 수 있으며, 투사되는 적외선과 수광되는 적외선의 위상 값 차이로 목적하는 인체에 관한 인체 이미지를 생성할 수 있다. 촬상부가 적외선을 투사하는 주기는 연속적일 수 있음을 물론 비연속적일 수 있으며, 촬상부가 적외선을 투사하는 주기는 미리 설정될 수 있다.For example, when the imaging unit is made of an infrared camera, the imaging unit can project infrared rays, and a human body image of the desired human body can be generated by the difference in phase values between the projected infrared and the received infrared. The period in which the imaging unit projects infrared rays may be continuous or discontinuous, and the period in which the imaging unit projects infrared rays may be set in advance.

또 다른 실시예로, 촬상부는 인체가 위치한 방향을 촬영하는 RGB 이미지를 획득하는 RGB 카메라와 사용자와, 촬상부와 인체의 임의의 지점간 거리 정보를 획득하는 Depth 카메라를 포함하는 RGBD 카메라로 이루어질 수 있다. In another embodiment, the imaging unit may be composed of an RGBD camera including an RGB camera that acquires an RGB image that captures the direction in which the human body is located, a user, and a Depth camera that acquires distance information between the imaging unit and any point on the human body. there is.

이 경우, 촬상부는 Depth 카메라를 통해 획득한 거리 정보를 RGB 카메라를 통해 획득한 RGB 이미지에 매핑(매핑은 컴퓨터 그래픽스상, 한 좌표 체계에서 다른 좌표 체계로 변환하는 작업을 의미한다.)하여 RGB 이미지의 전체 영역에 대한 좌표 상에서 인체의 위치에 대한 좌표를 파악할 수 있으며, 촬상부는 깊이 정보가 매핑된 RGB 이미지를 통해 인체 이미지를 생성할 수 있다.In this case, the imaging unit maps the distance information acquired through the depth camera to the RGB image acquired through the RGB camera (mapping refers to the operation of converting from one coordinate system to another coordinate system in computer graphics) to create an RGB image. The coordinates of the position of the human body can be determined from the coordinates of the entire area, and the imaging unit can generate a human body image through an RGB image to which depth information is mapped.

촬상부는 미리 설정되는 프레임 레이트(frame rate)로 본체부(1100) 및 베이스부(1200)의 모션을 촬영할 수 있으며, 상기 프레임 레이트에 대응되는 속도로 본체부(1100) 및 베이스부(1200)가 촬영된 이미지를 생성할 수 있다. 이로 인하여, 별도로 구비되는 제어부는 촬상부에서 생성된 프레임 단위의 모션 추적 및 조작 인터페이스부의 모션 정보를 프레임 단위로 검출할 수 있다.The imaging unit can capture the motion of the main body 1100 and the base 1200 at a preset frame rate, and the main body 1100 and the base 1200 are captured at a speed corresponding to the frame rate. Captured images can be created. For this reason, a separately provided control unit can detect frame-based motion tracking generated by the imaging unit and motion information of the manipulation interface unit on a frame-by-frame basis.

이로 인하여, 촬상부는 모션 추적 및 조작 인터페이스부를 촬영하여 본체부(1100) 및 베이스부(1200)의 거동을 검출함으로써, 손가락 안착부(1110), 복수 개의 링크, 서로 다른 관절부(1150, 1160, 1170, 1180), 베이스부(1200)의 모션을 추적할 수 있다.For this reason, the imaging unit detects the behavior of the main body 1100 and the base unit 1200 by photographing the motion tracking and manipulation interface unit, thereby detecting the finger resting unit 1110, a plurality of links, and different joint units 1150, 1160, and 1170. , 1180), the motion of the base unit 1200 can be tracked.

일 실시예로, 모션 추적 및 조작 인터페이스에는 복수 개의 광학식 마커가 부착될 수 있다. 구체적으로 복수 개의 광학식 마커는 손가락 안착부(1110), 복수 개의 링크(1120, 1130, 1140), 서로 다른 관절부(1150, 1160, 1170, 1180), 베이스부(1200) 중 적어도 하나의 미리 설정되는 위치에 부착될 수 있다.In one embodiment, a plurality of optical markers may be attached to the motion tracking and manipulation interface. Specifically, the plurality of optical markers are preset at least one of the finger resting part 1110, a plurality of links 1120, 1130, 1140, different joint parts 1150, 1160, 1170, 1180, and the base part 1200. Can be attached to any location.

이 경우, 촬상부는 광학식 마커의 위치, 회동 속도 등 마커의 기하학적 정보를 검출할 수 있는 트래킹 카메라(tracking camera)로 이루어질 수 있다.In this case, the imaging unit may be comprised of a tracking camera capable of detecting geometric information of the marker, such as the position and rotation speed of the optical marker.

이로 인하여, 촬상부는 마커를 촬영함으로써, 손가락 안착부(1110), 복수 개의 링크(1120, 1130, 1140), 서로 다른 관절부(1150, 1160, 1170, 1180), 베이스부(1200)의 모션을 추적할 수 있다.일 실시예로, 제1 관절부(1150)에 연결되는 센서부(S)와 제2 관절부(1160)에 연결되는 센서부(S)는 서로 다른 종류의 엔코더로 이루어질 수 있다. 구체적으로 제1 관절부(1150)에 연결되는 센서부(S)는 광학식 엔코더로 이루어질 수 있으며, 제2 관절부(1160)에 연결되는 센서부(S)는 자기식 엔코더로 이루어질 수 있다.For this reason, the imaging unit tracks the motion of the finger seating unit 1110, a plurality of links 1120, 1130, 1140, different joint units 1150, 1160, 1170, 1180, and the base unit 1200 by capturing the marker. This can be done. In one embodiment, the sensor unit (S) connected to the first joint unit 1150 and the sensor unit (S) connected to the second joint unit 1160 may be made of different types of encoders. Specifically, the sensor unit S connected to the first joint 1150 may be made of an optical encoder, and the sensor unit S connected to the second joint 1160 may be made of a magnetic encoder.

이로 인하여 제1 관절부(1150)가 제2 관절부(1160)가 제1 링크(1120)에 각각 연결되어 서로 교차하는 축으로 회전하도록 근접하게 배치되는 경우, 각각의 관절부에 부착되는 자기식 엔코더 간 자기장 간섭 효과가 발생하는 것을 방지할 수 있다.Due to this, when the first joint 1150 and the second joint 1160 are respectively connected to the first link 1120 and arranged in close proximity so that they rotate on axes that intersect each other, the magnetic field between the magnetic encoders attached to each joint is Interference effects can be prevented from occurring.

도면에는 도시하지 않았지만, 본 발명의 일 실시예에 따른 제1 관절부(1150), 제2 관절부(1160), 제3 관절부(1170) 및 제4 관절부(1180) 중 적어도 하나는 서로 연결되는 링크들 상호간에 미리 설정되는 토크를 제공하는 하중제공부(도면 미도시)를 더 포함할 수 있다.Although not shown in the drawing, at least one of the first joint unit 1150, the second joint unit 1160, the third joint unit 1170, and the fourth joint unit 1180 according to an embodiment of the present invention are links connected to each other. It may further include a load provider (not shown) that provides mutually preset torque.

하중제공부는 제1 링크(1120), 제2 링크(1130), 제3 링크(1140) 및 손가락 안착부(1110) 중 적어도 하나에 반대 회전 모멘트를 제공하는 것으로써, 토션 스프링(torsion spring), 구동 모터 등으로 이루어질 수 있다.The load provider provides a counter rotation moment to at least one of the first link 1120, the second link 1130, the third link 1140, and the finger resting portion 1110, and includes a torsion spring, It may be comprised of a driving motor, etc.

그러나 이에 한정되는 것은 아니며, 하중제공부는 서로 인접한 링크 및 손가락(1110, 1120, 1130, 1140), 또는 서로 인접한 관절부(1150, 1160, 1170, 1180)를 연결하는 탄성부재 등 각각의 관절부에 일 방향(도 5 기준 시계 방향) 모멘트를 제공할 수 있는 기술적 사상안에서 다양한 구조로 이루어질 수 있다.However, it is not limited to this, and the load providing portion is provided in one direction at each joint, such as an elastic member connecting adjacent links and fingers (1110, 1120, 1130, 1140), or adjacent joint portions (1150, 1160, 1170, 1180). (Clockwise based on FIG. 5) It can be composed of various structures within the technical idea that can provide a moment.

일 실시예로, 하중제공부는 시계 방향(도 5 기준) 회전 모멘트를 제공할 수 있다.In one embodiment, the load provider may provide a clockwise (based on FIG. 5) rotation moment.

이로 인하여 사용자(U)가 손가락 안착부(1110)에 손가락을 파지한 후 손가락 굽힘 동작을 수행하더라도, 하중제공부가 각각의 관절부에서 손가락 굽힘 모멘트와 반대 모멘트를 제공하여 손가락이 손가락 안착부(1110)에서 빠지는 현상을 방지할 수 있다.As a result, even if the user (U) performs a finger bending operation after holding the finger on the finger seating unit 1110, the load provider provides a moment opposite to the finger bending moment at each joint, so that the finger is held in the finger seating unit 1110. It can prevent the phenomenon from falling out.

도 8을 참조하면, 제1 링크(1120)는 제1 관절부(1150)를 통해 핸들부(1220)와 본체부(1100)를 연결하는 베이스 프레임(1210)과 회전가능하게 연결될 수 있다.Referring to FIG. 8 , the first link 1120 may be rotatably connected to the base frame 1210 connecting the handle unit 1220 and the main body unit 1100 through the first joint unit 1150.

일 실시예로, 제1 링크(1120)는 제1 회전축(AX1)을 따라 연장되는 원형관 형상으로 형성될 수 있다. 그러나 이에 한정되는 것은 아니며, 제1 링크(1120)는 베이스 프레임(1210)과 제1 회전축(AX1)을 기준으로 회전가능하게 연결될 수 있는 다양한 형상으로 형성될 수 있다.In one embodiment, the first link 1120 may be formed in a circular tube shape extending along the first rotation axis AX1. However, it is not limited to this, and the first link 1120 may be formed in various shapes that can be rotatably connected to the base frame 1210 and the first rotation axis AX1.

일 실시예로, 모션 추적 및 조작 인터페이스(100)의 회전 중심축이 제1 방향(도 4 기준 X축 방향)과 평행한 경우, 핸들부(1220)는 제2 방향(도 4 기준 Z축 방향)으로 연장 형성될 수 있으며, 제1 링크(1120)는 제3 방향(도 4 기준 Y축 방향)으로 연장될 수 있다.In one embodiment, when the central axis of rotation of the motion tracking and manipulation interface 100 is parallel to the first direction (X-axis direction based on FIG. 4), the handle unit 1220 moves in the second direction (Z-axis direction based on FIG. 4) ), and the first link 1120 may extend in a third direction (Y-axis direction based on FIG. 4).

일 실시예로, 제1 회전축(AX1)은 체결부(1230)의 길이 방향 중심축과 서로 교차할 수 있다.In one embodiment, the first rotation axis AX1 may intersect the longitudinal central axis of the fastening part 1230.

일 실시예로, 제1 회전축(AX1)은 체결부(1230)의 길이 방향 중심축과 서로 직교할 수 있다.In one embodiment, the first rotation axis AX1 may be perpendicular to the longitudinal central axis of the fastening part 1230.

일 실시예로, 제1 회전축(AX1)은 핸들부(1220)의 길이 방향 중심축과 교차할 수 있다.In one embodiment, the first rotation axis AX1 may intersect the longitudinal central axis of the handle unit 1220.

일 실시예로, 제1 회전축(AX1)은 핸들부(1220)의 회전 중심축과 서로 직교할 수 있다.In one embodiment, the first rotation axis AX1 may be perpendicular to the central rotation axis of the handle unit 1220.

일 실시예로, 제1 회전축(AX1)은 체결부(1230)와 핸들부(1220)를 포함하는 평면과 직교할 수 있다.In one embodiment, the first rotation axis AX1 may be perpendicular to a plane including the fastening part 1230 and the handle part 1220.

일 실시예로, 핸들부(1220)의 회전 중심축이 X축(도 4 기준)과 평행한 경우, 제1 회전축(AX1)은 Y축(도 4 기준)과 평행하게 배치될 수 있다.In one embodiment, when the central axis of rotation of the handle unit 1220 is parallel to the

일 실시예로, 제1 회전축(AX1)은 검지가 위치하는 핸들부(1220)의 일 영역과 중첩될 수 있다.In one embodiment, the first rotation axis AX1 may overlap an area of the handle unit 1220 where the index finger is located.

일 실시예로, 제1 회전축(AX1)은 핸들부(1220)를 파지하는 손의 중수지절관절의 외전/내전의 회전 축과 일치할 수 있다.In one embodiment, the first rotation axis AX1 may coincide with the rotation axis of abduction/adduction of the metacarpophalangeal joint of the hand holding the handle unit 1220.

일 실시예로, 제1 회전축(AX1)은 중수지절관절이 위치하는 핸들부(1220)의 일 영역과 중첩될 수 있다.In one embodiment, the first rotation axis AX1 may overlap an area of the handle unit 1220 where the metacarpophalangeal joint is located.

일 실시예로, 제1 링크(1120)는 제2 링크(1130) 및 제3 링크(1140)를 통하여 손가락 안착부(1110)와 연결될 수 있으며, 손가락 안착부(1110)가 제1 회전축(AX1)을 기준으로 회전함에 따라 제1 링크(1120)는 베이스 프레임(1210)임과의 관계에서 제1 회전축(AX1)을 기준으로 회전할 수 있다.In one embodiment, the first link 1120 may be connected to the finger seating unit 1110 through the second link 1130 and the third link 1140, and the finger seating unit 1110 may be connected to the first rotation axis AX1. ), the first link 1120 may rotate based on the first rotation axis AX1 in relation to the base frame 1210.

제2 회전축(AX2), 제3 회전축(AX3) 및 제4 회전축(AX4) 각각은 제1 회전축(AX1)과 평행하지 않으며, 이로 인하여 손가락 안착부(1110)가 제1 회전축(AX1)을 기준으로 회전하는 각도와 제1링크가 제1 회전축(AX1)을 기준으로 회전하는 각도는 동일할 수 있다.Each of the second rotation axis (AX2), third rotation axis (AX3), and fourth rotation axis (AX4) is not parallel to the first rotation axis (AX1), and as a result, the finger resting portion 1110 is based on the first rotation axis (AX1). The angle at which the first link rotates may be the same as the angle at which the first link rotates about the first rotation axis AX1.

사용자(U)는 핸들부(1220)를 파지함과 동시에 손가락 안착부(1110)에 손가락의 단부를 안착시킨 후, 손가락을 중수지절관절을 축으로 외전/내전 할 수 있으며, 이 경우 제1 링크(1120)는 손가락 안착부(1110)와 일체로 회전할 수 있다.The user (U) can hold the handle unit 1220 and at the same time place the end of the finger on the finger seating unit 1110 and then abduct/adduct the finger about the metacarpophalangeal joint. In this case, the first link (1120) can rotate integrally with the finger seating portion (1110).

이를 통해, 센서부(S)는 제1 회전축(AX1)을 기준으로 제1 링크(1120)의 회전각도를 검출할 수 있으며, 상기 검출된 제1 링크(1120)의 회전각도를 통해 중수지절관절의 외전/내전 각도를 추적할 수 있다.Through this, the sensor unit (S) can detect the rotation angle of the first link 1120 based on the first rotation axis AX1, and the metacarpophalangeal joint The abduction/adduction angle can be tracked.

구체적으로 도 8을 참조하면, 사용자(U)가 손가락 안착부(1110)에 손가락을 안착시킨 후 모션 추적 및 조작 인터페이스(100)의 회전 중심축(CL)과 평행한 가상선(IL)을 기준으로 d°만큼 검지의 중수지절관절을 외전/내전시킨 경우, 제1 링크(1120)는 손가락 안착부(1110)의 회전에 의하여 상기 가상선(IL)을 기준으로 d°만큼 회전할 수 있으며, 센서부(S)가 제1 링크(1120)의 회전 각도를 검출하여 검지의 외전/내전 정도를 검출할 수 있다.Specifically, referring to FIG. 8, after the user (U) places his finger on the finger resting unit 1110, the virtual line (IL) parallel to the rotation center axis (CL) of the motion tracking and manipulation interface 100 is used as a reference. When the metacarpophalangeal joint of the index finger is abducted/adducted by d°, the first link 1120 can rotate by d° based on the imaginary line IL by the rotation of the finger seating portion 1110, The sensor unit S may detect the degree of abduction/adduction of the index finger by detecting the rotation angle of the first link 1120.

마스터 장치(10)는 상기 검출된 제1 링크(1120)의 회전 각도를 이용하여 엔드 이펙터(22)의 전단부(24)의 위치 및 자세를 제어할 수 있으며, 이와 관련된 설명은 뒤에서 상세하게 한다.The master device 10 can control the position and posture of the front end 24 of the end effector 22 using the detected rotation angle of the first link 1120, and a related description will be provided in detail later. .

도 4 내지 도 7을 참조하면, 본 발명의 일 실시예에 따른 제2 링크(1130)는 제2 관절부(1160)를 통해 제1 링크(1120)와 회전가능하게 연결될 수 있다. 구체적으로 제2 링크(1130)는 제1 링크(1120)와의 관계에서 제2 회전축(AX2)을 기준으로 회전할 수 있으며, 센서부(S)는 제2 링크(1130)의 회전 각도를 검출할 수 있다.Referring to FIGS. 4 to 7 , the second link 1130 according to an embodiment of the present invention may be rotatably connected to the first link 1120 through the second joint portion 1160. Specifically, the second link 1130 may rotate based on the second rotation axis AX2 in relation to the first link 1120, and the sensor unit S may detect the rotation angle of the second link 1130. You can.

일 실시예로, 제2 관절부(1160)는 제2 링크(1130)와 제1 링크(1120)를 동시에 관통하여 배치될 수 있으며, 제2 링크(1130)는 제1 링크(1120)와의 관계에서 제2 회전축(AX2)을 기준으로 회전할 수 있다.In one embodiment, the second joint portion 1160 may be disposed to simultaneously penetrate the second link 1130 and the first link 1120, and the second link 1130 may be positioned in a relationship with the first link 1120. It can rotate based on the second rotation axis (AX2).

일 실시예로, 제2 링크(1130)의 일단부는 제1 링크(1120)와 회전가능하게 연결되며, 모션 추적 및 조작 인터페이스(100)의 회전 중심축(CL)과 나란한 방향으로 연장되는 형상으로 형성될 수 있다.In one embodiment, one end of the second link 1130 is rotatably connected to the first link 1120 and has a shape extending in a direction parallel to the rotation center axis CL of the motion tracking and manipulation interface 100. can be formed.

도 5를 참조하면, 본 발명의 일 실시예에 따른 제2 링크(1130)는 미리 설정되는 방향으로 굴곡진 형상으로 형성될 수 있다. 이로 인하여 사용자(U)가 손가락을 굽히는 경우 굽힘 모멘트가 제2 링크(1130)에 효과적으로 전달될 수 있으며 이와 관련한 설명은 제3 링크(1140)에 관한 설명에서 상세하게 한다.Referring to FIG. 5, the second link 1130 according to an embodiment of the present invention may be formed in a curved shape in a preset direction. Due to this, when the user U bends his or her finger, the bending moment can be effectively transmitted to the second link 1130, and a detailed description of this will be provided in the description of the third link 1140.

일 실시예로, 제2 회전축(AX2)은 제1 회전축(AX1)과 서로 교차할 수 있다.In one embodiment, the second rotation axis AX2 may intersect the first rotation axis AX1.

일 실시예로, 제2 회전축(AX2)은 제2 회전축(AX2)과 서로 수직하게 배치될 수 있다.In one embodiment, the second rotation axis AX2 may be arranged perpendicular to the second rotation axis AX2.

일 실시예로, 제2 회전축(AX2)과 핸들부(1220)의 길이 방향 중심축이 이루는 각도는 30°이하일 수 있다.In one embodiment, the angle formed between the second rotation axis AX2 and the longitudinal central axis of the handle unit 1220 may be 30° or less.

일 실시예로, 제2 회전축(AX2), 제3 회전축(AX3) 및 제4 회전축(AX4) 중 적어도 하나는 핸들부(1220)를 파지함과 동시에 손가락 안착부(1110)에 손가락을 안착시킨 사용자(U)의 중수지절관절의 굴곡/신전 회전축과 서로 평행할 수 있다.In one embodiment, at least one of the second rotation axis (AX2), the third rotation axis (AX3), and the fourth rotation axis (AX4) holds the handle unit 1220 and simultaneously places the finger on the finger seating unit 1110. The flexion/extension rotation axis of the metacarpophalangeal joint of the user (U) may be parallel to each other.

일 실시예로, 제2 회전축(AX2), 제3 회전축(AX3) 및 제4 회전축(AX4) 중 적어도 하나는 핸들부(1220)를 파지함과 동시에 손가락 안착부(1110)에 손가락을 안착시킨 사용자(U)의 근위지절간관절(proximal interphalangeal joint, PIP)의 굴곡/신전 회전축과 서로 평행할 수 있다.In one embodiment, at least one of the second rotation axis (AX2), the third rotation axis (AX3), and the fourth rotation axis (AX4) holds the handle unit 1220 and simultaneously places the finger on the finger seating unit 1110. The flexion/extension rotation axis of the user's (U) proximal interphalangeal joint (PIP) may be parallel to each other.

일 실시예로, 제2 회전축(AX2), 제3 회전축(AX3) 및 제4 회전축(AX4) 중 적어도 하나는 핸들부(1220)를 파지함과 동시에 손가락 안착부(1110)에 손가락을 안착시킨 사용자(U)의 원위지절간관절(distal interphalangeal joint, DIP)의 굴곡/신전 회전축과 서로 평행할 수 있다.In one embodiment, at least one of the second rotation axis (AX2), the third rotation axis (AX3), and the fourth rotation axis (AX4) holds the handle unit 1220 and simultaneously places the finger on the finger seating unit 1110. The flexion/extension rotation axis of the user's (U) distal interphalangeal joint (DIP) may be parallel to each other.

일 실시예로, 제2 회전축(AX2)은 제3 회전축(AX3) 및 제4 회전축(AX4)과 각각 서로 평행할 수 있다.In one embodiment, the second rotation axis AX2 may be parallel to the third rotation axis AX3 and the fourth rotation axis AX4, respectively.

생체역학적으로, 중수지절관절, 근위지절간관절 및 원위지절간관절의 굴곡/신전의 회전축은 평행하거나, 거의 평행하다. 따라서, 모션 추적 및 조작 인터페이스(100)는 인체의 모형과 유사하게 제2 링크(1130), 제3 링크(1140) 및 손가락 안착부(1110)가 서로 평행한 회전축으로 회전가능하게 직렬로 피봇 연결함으로써, 사용자(U)가 손가락 안착부(1110)에 손가락을 안착시켜 동작을 하는 경우, 동작의 이질감을 최소화함과 동시에, 손가락 굽힘의 힘이 복수 개의 링크(1120, 1130, 1140) 및 복수 개의 관절부에 효율적으로 전달되어, 정확한 손가락의 모션 추적이 가능한 효과가 있다.Biomechanically, the axes of rotation of flexion/extension of the metacarpophalangeal joints, proximal interphalangeal joints, and distal interphalangeal joints are parallel or nearly parallel. Therefore, the motion tracking and manipulation interface 100 is similar to a model of the human body, in which the second link 1130, the third link 1140, and the finger resting portion 1110 are pivotally connected in series so as to be rotatable with rotation axes parallel to each other. By doing so, when the user (U) performs an operation by placing his or her finger on the finger resting unit 1110, the heterogeneity of the movement is minimized and the force of finger bending is applied to the plurality of links 1120, 1130, and 1140 and the plurality of links 1120, 1130, and 1140. It is efficiently delivered to the joints, enabling accurate finger motion tracking.

도 4 내지 도 7을 참조하면, 본 발명의 일 실시예에 따른 제3 링크(1140)는 제3 관절부(1170)를 통해 제2 링크(1130)와 회전가능하게 연결될 수 있다. 구체적으로 제3 링크(1140)는 제2 링크(1130)와의 관계에서 제3 회전축(AX3)을 기준으로 회전할 수 있으며, 센서부(S)는 제3 링크(1140)의 회전 각도를 검출할 수 있다.Referring to FIGS. 4 to 7 , the third link 1140 according to an embodiment of the present invention may be rotatably connected to the second link 1130 through the third joint portion 1170. Specifically, the third link 1140 may rotate based on the third rotation axis AX3 in a relationship with the second link 1130, and the sensor unit S may detect the rotation angle of the third link 1140. You can.

도 5를 참조하면, 본 발명의 일 실시예에 따른 제3 링크(1140)는 미리 설정되는 방향으로 굴곡진 형상으로 형성될 수 있다. 이로 인하여 사용자(U)가 손가락을 굽히는 경우 굽힘 모멘트가 제3 링크(1140)에 효과적으로 전달될 수 있다.Referring to FIG. 5, the third link 1140 according to an embodiment of the present invention may be formed in a curved shape in a preset direction. Because of this, when the user U bends his or her fingers, the bending moment can be effectively transmitted to the third link 1140.

일 실시예로, 제2 링크(1130)는 미리 설정되는 점을 곡률 중심(CC1)으로 하며, 미리 설정되는 곡률 반경(RC1)으로 정의되는 곡선을 따라 연장될 수 있으며, 제3 링크(1140)는 상기 미리 설정되는 점과 다른 점을 곡률 중심(CC2)으로 하면, 상기 미리 설정되는 곡률 반경(RC2)으로 정의되는 곡선을 따라 연장될 수 있다.In one embodiment, the second link 1130 has a preset point as the center of curvature (CC1) and may extend along a curve defined by a preset radius of curvature (RC1), and the third link 1140 If a point different from the preset point is set as the center of curvature (CC2), it may be extended along a curve defined by the preset radius of curvature (RC2).

그러나 이에 한정되는 것은 아니며, 제2 링크(1130) 및 제3 링크(1140)의 각 영역은 서로 다른 곡률 중심 및 곡률 반경으로 정의되는 곡선들이 이어지는 형상으로 형성될 수 있다.However, it is not limited to this, and each area of the second link 1130 and the third link 1140 may be formed in a shape in which curves defined by different centers of curvature and radii of curvature are connected.

일 실시예로, 사용자(U)의 손바닥이 핸들부(1220)와 접촉함과 동시에 손가락이 손가락 안착부(1110)에 안착되도록 제2 링크(1130)가 위치하는 경우, 제2 링크(1130)는 사용자(U)의 기절골(proximal phalanx) 또는 핸들부(1220)가 위치하는 측 방향으로 볼록한 형상의 링크의 형상으로 형성될 수 있으며, 제3 링크(1140)는 사용자(U)의 중절골(middle phalanx) 또는 핸들부(1220) 측 방향으로 오목한 형상의 링크로 형성될 수 있다.In one embodiment, when the second link 1130 is positioned so that the palm of the user (U) is in contact with the handle unit 1220 and the finger is seated on the finger seating unit 1110, the second link 1130 It may be formed in the shape of a link that is convex in the side direction where the proximal phalanx of the user (U) or the handle unit 1220 is located, and the third link 1140 is the mid-articular bone of the user (U). (middle phalanx) or may be formed as a link with a concave shape toward the handle portion 1220.

도 5를 참조하면, 제2 링크(1130)와 제3 링크(1140)가 일방향(도 5기준 -X축 방향)을 따라 배치되는 경우, 제2 링크(1130)는 타방향(도 5기준 Y축 방향)으로 오목한 형상으로 형성될 수 있으며, 제3 링크(1140)는 상기 타방향으로 볼록한 형상으로 형성될 수 있다. Referring to FIG. 5, when the second link 1130 and the third link 1140 are arranged along one direction (-X axis direction in FIG. 5), the second link 1130 moves in the other direction (Y in FIG. 5). The third link 1140 may be formed in a concave shape in the other direction (axial direction), and the third link 1140 may be formed in a convex shape in the other direction.

이로 인하여 제2 링크(1130)와 제3 링크(1140)가 곡선 링크의 형상으로 형성됨으로써, 사용자(U)의 손가락 동작에 의해 제2 링크(1130) 및 제3 링크(1140)로 전달되는 회전 모멘트가 제2 링크(1130) 및 제3 링크(1140)로 효과적으로 전달되어, 제2 내지 제4 관절부(1180)에 부착되는 센서부(S)가 사용자(U)의 중수지절관절(metacarpophalangeal, MCP), 근위지절간관절(proximal interphalangeal joint, PIP), 원위지절간관절(distal interphalangeal joint, DIP)의 굽힘 각의 합의 정확하게 검출할 수 있는 효과가 있다.As a result, the second link 1130 and the third link 1140 are formed in the shape of a curved link, so that the rotation is transmitted to the second link 1130 and the third link 1140 by the finger movement of the user (U). The moment is effectively transmitted to the second link 1130 and the third link 1140, so that the sensor unit (S) attached to the second to fourth joint parts 1180 is connected to the metacarpophalangeal (MCP) joint of the user (U). ), the sum of the bending angles of the proximal interphalangeal joint (PIP), and the distal interphalangeal joint (DIP).

이하에서, 복수 개의 링크(1120, 1130, 1140) 및 관절부의 동작을 이용하여 손가락의 모션을 검출하는 방법을 설명한다.Below, a method for detecting finger motion using the motion of a plurality of links 1120, 1130, and 1140 and joints will be described.

도 4 내지 도 8을 참조하면, 제2 관절부(1160), 제3 관절부(1170), 제4 관절부(1180) 각각은 제1 회전축(AX1)과 비평행한 제2 회전축(AX2), 제3 회전축(AX3) 및 제4 회전축(AX4)을 기준으로 1 자유도 회전만이 가능하다. 따라서, 손가락 안착부(1110), 제1 링크(1120), 제2 링크(1130), 제3 링크(1140) 및 제4 링크는 제1 회전축(AX1)을 기준으로 일체로 회전하게 된다.4 to 8, the second joint 1160, the third joint 1170, and the fourth joint 1180 each have a second rotation axis AX2 and a third rotation axis non-parallel to the first rotation axis AX1. Only one degree of freedom rotation is possible based on (AX3) and the fourth rotation axis (AX4). Accordingly, the finger resting portion 1110, the first link 1120, the second link 1130, the third link 1140, and the fourth link rotate as one body with respect to the first rotation axis AX1.

구체적으로, 사용자(U)가 손가락 안착부(1110)에 제1 회전축(AX1)을 기준으로하는 회전력을 제공하는 경우, 제2 관절부(1160), 제3 관절부(1170) 및 제4 관절부(1180)에는 상기 회전력이 전달되지 않으며, 사용자(U)가 전달한 제1 회전축(AX1)으로의 회전력은 모두 제1 관절부(1150)로 전달되게 된다.Specifically, when the user (U) provides a rotational force based on the first rotation axis AX1 to the finger resting unit 1110, the second joint unit 1160, the third joint unit 1170, and the fourth joint unit 1180 ), the rotational force is not transmitted to the user U, and all of the rotational force to the first rotation axis AX1 transmitted by the user U is transmitted to the first joint portion 1150.

도 6 내지 도 8을 참조하면, 사용자(U)는 핸들부(1220)를 파지한 후 손가락 안착부(1110)에 손가락 말단부를 안착시킬 수 있다. 이 경우, 사용자(U)가 손가락을 d°만큼 내전 또는 외전을 시키는 경우, 손가락 안착부(1110), 제1 링크(1120), 제2 링크(1130), 제3 링크(1140) 및 제4 링크는 제1 회전축(AX1)을 기준으로 일체로 d°만큼 회전하게 되며, 제1 관절부(1150)에 연결되는 센서부(S)가 상기 제1 회전축(AX1)으로의 회전각을 검출할 수 있다.Referring to FIGS. 6 to 8 , the user (U) may hold the handle unit 1220 and then place the distal end of the finger on the finger seating unit 1110. In this case, when the user (U) adducts or abducts the finger by d°, the finger resting portion 1110, the first link 1120, the second link 1130, the third link 1140, and the fourth The link is integrally rotated by d° based on the first rotation axis (AX1), and the sensor unit (S) connected to the first joint portion (1150) can detect the rotation angle to the first rotation axis (AX1). there is.

이로 인하여, 센서부(S)가 검출한 제1 관절부(1150)의 제1 회전축(AX1)으로의 회전각을 이용하여 마스터 장치(10)는 손가락의 내전/외전 정도를 계산할 수 있으며, 이를 통해 마스터 장치(10)는 엔드 이펙터(22)의 전단부(24)의 백터값(V1)('전단부(24)의 백터값(V1)'은 전단부의 길이 방향 중심축의 위치 및 자세값을 의미한다)를 제어할 수 있다.Due to this, the master device 10 can calculate the degree of adduction/abduction of the finger using the rotation angle of the first joint 1150 detected by the sensor unit S to the first rotation axis AX1, through which The master device 10 determines the vector value (V1) of the front end 24 of the end effector 22 ('the vector value (V1) of the front end 24' refers to the position and attitude value of the longitudinal central axis of the front end. ) can be controlled.

도 7을 참조하면, 사용자(U)는 손가락을 굴곡 또는 신전시킬 수 있다. 구체적으로 사용자(U)는 중수지절관절을 °만큼, 근위지절간관절을 °만큼, 원위지절간관절을 °만큼 굴곡 또는 신전시킬 수 있으며, 손가락 안착부(1110)의 동작에 따라, 손가락 안착부(1110)와 직렬로 연결되는 제2 관절부(1160)가 제2 회전축(AX2)을 기준으로 a°만큼, 제3 관절부(1170)가 제3 회전축(AX3)을 기준으로 b°만큼, 제4 관절부(1180)가 제4 회전축(AX4)을 기준으로 c°만큼 회전할 수 있다. Referring to FIG. 7, the user (U) can flex or extend his or her fingers. Specifically, the user (U) uses the metacarpophalangeal joint °, the proximal interphalangeal joint °, distal interphalangeal joint It can be bent or extended by °, and according to the operation of the finger seating part 1110, the second joint part 1160 connected in series with the finger seating part 1110 is bent by a° based on the second rotation axis AX2. , the third joint 1170 may rotate by b° about the third rotation axis AX3, and the fourth joint 1180 may rotate by c° about the fourth rotation axis AX4.

이 경우, ++=a+b+c 라는 구속조건 하, 모션 추적 및 조작 인터페이스(100)는 가상선(IL)을 기준으로 손가락 말단부가 반시계방향(도 7 기준)으로 회전한 각도(++)를 이용하여, 가상선(IL)과 평행한 선을 기준으로 손가락 말단부의 굽힘 각도(a+b+c)를 계산할 수 있다.in this case, + + Under the constraint of =a+b+c, the motion tracking and manipulation interface 100 rotates the finger distal part counterclockwise (based on FIG. 7) with respect to the virtual line IL ( + + ), the bending angle (a+b+c) of the distal end of the finger can be calculated based on a line parallel to the virtual line (IL).

이를 통해, 마스터 장치(10)는 계산된 상기 손가락 말단부의 굽힘 각도를 이용하여 엔드 이펙터(22)의 전단부(24)의 위치 및 자세를 제어할 수 있다.Through this, the master device 10 can control the position and posture of the front end 24 of the end effector 22 using the calculated bending angle of the finger distal end.

도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 손가락 안착부(1110)는 사용자(U)의 손가락이 안착가능한 것으로써, 안착본체(1111) 및 햅틱모듈(1112)을 포함할 수 있다.Referring to FIGS. 4 to 6, the finger seating unit 1110 according to an embodiment of the present invention is capable of seating the finger of the user (U) and includes a seating body 1111 and a haptic module 1112. You can.

일 실시예로, 안착본체(1111)는 손가락 말단부를 얹거나 삽입 가능하도록 하는 골무의 형상으로 형성될 수 있다. 그러나 이에 한정되는 것은 아니며, 안착본체(1111)는 손가락 말단부를 커버할 수 있는 다양한 형상으로 형성될 수 있다.In one embodiment, the seating body 1111 may be formed in the shape of a thimble that allows the distal end of a finger to be placed or inserted. However, it is not limited to this, and the seating body 1111 may be formed in various shapes that can cover the distal part of the finger.

일 실시예로, 안착본체(1111)는 고무 등과 같은 탄성재질로 형성될 수 있다. 이로 인하여 안착본체(1111)가 다양한 사이즈의 손가락 말단부를 수용할 수 있는 효과가 있다.In one embodiment, the seating body 1111 may be formed of an elastic material such as rubber. This has the effect of allowing the seating body 1111 to accommodate finger distal parts of various sizes.

본 발명의 일 실시예에 다른 햅틱모듈(1112)은 안착본체(1111)의 내주면 상에 배치될 수 있다. The haptic module 1112 according to an embodiment of the present invention may be disposed on the inner peripheral surface of the seating body 1111.

일 실시예로, 햅틱모듈(1112)은 수술 중 엔드 이펙터(22)에 가해지는 힘 또는 촉감 정보를 사용자(U)에게 피드백할 수 있다.In one embodiment, the haptic module 1112 may feed back force or tactile information applied to the end effector 22 during surgery to the user U.

그러나 이에 한정되는 것은 아니며, 햅틱모듈(1112)은 수술 중 엔드 이펙터(22)가 획득할 수 있는 온도 정보, 압력 정보 등 다양한 형태의 감각 정보를 사용자(U)에게 전달할 수 있다.However, it is not limited to this, and the haptic module 1112 can deliver various types of sensory information, such as temperature information and pressure information, that can be obtained by the end effector 22 during surgery to the user U.

일 실시예로, 햅틱모듈(1112)은 수술부재(23)가 인체 내부 조직을 잡는 등 동작을 취하는 경우, 수술부재(23)에 가해지는 반력을 손가락에 전달하기 위하여, 힘 또는 진동을 포함하는 감각을 인가할 수 있는 압력센서 또는 진동자를 포함할 수 있다.In one embodiment, the haptic module 1112 includes force or vibration to transmit the reaction force applied to the surgical member 23 to the finger when the surgical member 23 takes an action such as grabbing internal tissues of the human body. It may include a pressure sensor or vibrator capable of applying sensation.

일 실시예로, 햅틱모듈(1112)은 전기적 또는 기계적 자극을 전달하는 택틀 디스플레이(tactile display)로 구현되어 사용자(U)의 손가락으로 감각을 전달할 수 있다. 그러나 이에 한정되는 것은 아니며, 햅틱모듈(1112)은 다양한 종류의 압력, 온도 및 마찰 센서 중 적어도 하나로 이루어질 수 있다.In one embodiment, the haptic module 1112 is implemented as a tactile display that transmits electrical or mechanical stimulation and can transmit sensation to the user's (U) fingers. However, it is not limited to this, and the haptic module 1112 may be comprised of at least one of various types of pressure, temperature, and friction sensors.

도 3, 도 4, 도 7 및 도 8을 참조하면, 본 발명의 일 실시예에 따른 베이스부(1200)는 베이스 프레임(1210), 핸들부(1220) 및 체결부(1230)를 포함할 수 있다.Referring to FIGS. 3, 4, 7, and 8, the base portion 1200 according to an embodiment of the present invention may include a base frame 1210, a handle portion 1220, and a fastening portion 1230. there is.

베이스 프레임(1210)은 핸들부(1220)와 본체부(1100)를 연결하는 것으로써, 핸들부(1220)의 일측으로부터 제1 링크(1120)가 위치하는 영역까지 연장될 수 있다.The base frame 1210 connects the handle portion 1220 and the main body portion 1100, and may extend from one side of the handle portion 1220 to the area where the first link 1120 is located.

일 실시예로, 베이스 프레임(1210)은 제1 링크(1120)와 회전가능하게 연결될 수 있다.In one embodiment, the base frame 1210 may be rotatably connected to the first link 1120.

본 발명의 일 실시예에 따른 핸들부(1220)는 핸들본체(1221) 및 조작부(1222)를 포함할 수 있다.The handle unit 1220 according to an embodiment of the present invention may include a handle body 1221 and an operating unit 1222.

핸들본체(1221)는 사용자(U)의 파지가 용이하도록 하는 다양한 손잡이 형상으로 형성될 수 있다.The handle body 1221 may be formed in various handle shapes to facilitate the user U's grip.

일 실시예로, 핸들본체(1221)의 길이 방향 중심축과 베이스 프레임(1210)의 회전 중심축(CL)이 이루는 각도는 45°이하일 수 있다.In one embodiment, the angle formed between the longitudinal central axis of the handle body 1221 and the rotational central axis CL of the base frame 1210 may be 45° or less.

일 실시예로, 핸들본체(1221)의 길이 방향 중심축과 베이스 프레임(1210)의 회전 중심축(CL)은 서로 직교할 수 있다.In one embodiment, the longitudinal central axis of the handle body 1221 and the rotational central axis CL of the base frame 1210 may be perpendicular to each other.

일 실시예로, 핸들본체(1221)의 길이 방향 중심축과 제1 회전축(AX1)이 이루는 각도는 30°이하일 수 있다.In one embodiment, the angle formed between the longitudinal central axis of the handle body 1221 and the first rotation axis AX1 may be 30° or less.

일 실시예로, 핸들본체(1221)의 길이 방향 중심축과 제1 회전축(AX1)은 서로 직교할 수 있다.In one embodiment, the longitudinal central axis of the handle body 1221 and the first rotation axis AX1 may be perpendicular to each other.

일 실시예로, 핸들본체(1221)의 외주면은 검지, 중지, 약지, 소지가 각각 안착되는 영역을 가이드하도록 굴곡진 형상으로 형성될 수 있다.In one embodiment, the outer peripheral surface of the handle body 1221 may be formed in a curved shape to guide areas where the index finger, middle finger, ring finger, and small finger are each seated.

도면에는 도시하지 않았지만, 핸들본체(1221)의 일측에는 사용자(U)가 핸들본체(1221)를 파지하였는지 여부를 감지할 수 있는 감지센서가 마련될 수 있다.Although not shown in the drawing, a detection sensor may be provided on one side of the handle body 1221 to detect whether the user (U) is holding the handle body 1221.

일 실시예로, 상기 감지센서는 광 센서, 정전용량 센서, 및 기계적 센서 중 어느 하나로 이루어질 수 있다.In one embodiment, the detection sensor may be made of any one of an optical sensor, a capacitance sensor, and a mechanical sensor.

일 실시예로, 마스터 장치(10)는 감지센서를 통해 사용자(U)가 핸들본체(1221)를 파지하였는지 판단할 수 있으며, 사용자(U)가 핸들본체(1221)를 파지하지 않았다고 판단하는 경우, 마스터 장치(10)는 슬레이브 로봇(20)의 구동을 제한할 수 있다.In one embodiment, the master device 10 can determine whether the user (U) has gripped the handle body 1221 through a detection sensor, and when it determines that the user (U) has not gripped the handle body 1221 , the master device 10 may restrict the operation of the slave robot 20.

다시 말해, 감지센서가 사용자(U)의 손의 존재를 감지하는 경우에 한정하여, 마스터 장치(10)는 슬레이브 로봇(20)에 전기적 신호를 전달하여 슬레이브 로봇(20)을 선택적으로 구동시킬 수 있으며, 감지센서가 사용자(U)의 손의 존재를 감지하지 못하는 경우, 마스터 장치(10)는 슬레이브 로봇(20)으로 전기적 신호를 전달하지 않으며, 슬레이브 로봇(20)의 구동을 제한할 수 있다.In other words, only when the detection sensor detects the presence of the user's (U) hand, the master device 10 can selectively drive the slave robot 20 by transmitting an electrical signal to the slave robot 20. If the detection sensor does not detect the presence of the user's (U) hand, the master device 10 does not transmit an electrical signal to the slave robot 20 and may limit the operation of the slave robot 20. .

이로 인하여 사용자(U)가 핸들부(1220)를 파지하지 않은 상황에서, 사용자(U)가 의도하지 않은 모션 추적 및 조작 인터페이스(100)의 동작에 의하여, 슬레이브 로봇(20)이 구동하는 것을 방지하여 수술의 안전성을 확보할 수 있다.As a result, in a situation where the user (U) does not grip the handle unit 1220, the slave robot 20 is prevented from being driven by an operation of the motion tracking and manipulation interface 100 that is not intended by the user (U). This ensures the safety of surgery.

도 4를 참조하면, 본 발명의 일 실시예에 따른 조작부(1222)는 사용자(U)가 조작함에 따라 미리 설정되는 제어 명령을 선택적으로 생성하는 것으로, 핸들본체(1221)의 일측에 연결될 수 있다.Referring to FIG. 4, the operation unit 1222 according to an embodiment of the present invention selectively generates a preset control command as the user (U) operates, and may be connected to one side of the handle main body 1221. .

상기 제어 명령은 수술부재(23)를 선택적으로 오므리거나 벌어지도록 구동시키는 제어 신호를 포함할 수 있다. 그러나 이에 한정되는 것은 아니며, 제어 명령은 수술부재(23)에서 광을 방출시키도록 구동시키는 제어 신호, 신체 조직을 커팅하도록 수술부재(23)를 구동시키는 제어 신호 등, 수술부재(23)가 수술을 수행하기 위하여 필요한 다양한 구동방식을 제어하는 제어 신호를 포함할 수 있다.The control command may include a control signal that drives the surgical member 23 to selectively close or open. However, it is not limited to this, and the control command may include a control signal that drives the surgical member 23 to emit light, a control signal that drives the surgical member 23 to cut body tissue, etc. It may include control signals that control various driving methods necessary to perform.

일 실시예로, 조작부(1222)는 사용자(U)의 엄지를 통해 조작될 수 있으며, 사용자(U)가 핸들본체(1221)를 파지 시, 조작부(1222)는 엄지의 위치에 대응되는 핸들본체(1221)의 일 영역에 위치할 수 있다.In one embodiment, the manipulation unit 1222 can be operated through the thumb of the user (U), and when the user (U) grips the handle body 1221, the manipulation unit 1222 is the handle body corresponding to the position of the thumb. It may be located in one area of (1221).

일 실시예로, 조작부(1222)는 버튼식 스위치, 터치 센서 등 조이스틱(joystick) 등 다양한 형상의 입력장치로 이루어질 수 있다.In one embodiment, the manipulation unit 1222 may be made of input devices of various shapes, such as a button switch, a touch sensor, or a joystick.

도 3, 도 4 및 도 8을 참조하면, 본 발명의 일 실시예에 따른 체결부(1230)는 모션 추적 및 조작 인터페이스(100)와 매니퓰레이터(200)가 일체로 동작하도록, 매니퓰레이터(200)의 로봇암(2100a, 2100b, 2100c) 단부와 체결되는 것으로써, 핸들부(1220) 또는 베이스 프레임(1210)의 일측과 연결될 수 있다.Referring to FIGS. 3, 4, and 8, the fastening unit 1230 according to an embodiment of the present invention is a fastener of the manipulator 200 so that the motion tracking and manipulation interface 100 and the manipulator 200 operate integrally. By being fastened to the ends of the robot arms (2100a, 2100b, 2100c), they may be connected to one side of the handle unit 1220 or the base frame 1210.

일 실시예로, 체결부(1230)는 로봇암(2100a, 2100b, 2100c)의 단부와 회전가능하게 연결될 수 있으며, 체결부(1230)의 회전 중심축은 모션 추적 및 조작 인터페이스(100)의 회전 중심축(CL)과 일치할 수 있다.In one embodiment, the fastening part 1230 may be rotatably connected to the ends of the robot arms 2100a, 2100b, and 2100c, and the central axis of rotation of the fastening part 1230 is the rotation center of the motion tracking and manipulation interface 100. It can coincide with the axis (CL).

일 실시예로, 체결부(1230)는 베이스 프레임(1210) 또는 핸들부(1220)와 탈착가능하게 연결될 수 있다. 이로 인하여 모션 추적 및 조작 인터페이스(100)와 연결되는 매니퓰레이터(200)의 종류에 따라 베이스 프레임(1210) 또는 핸들부(1220)에 연결되는 체결부(1230)의 종류를 변경할 수 있으므로, 모션 추적 및 조작 인터페이스(100)가 다양한 종류의 매니퓰레이터(200)와 결합 가능하여 모션 추적 및 조작 인터페이스(100)의 호환성 및 범용성을 확보할 수 있다.In one embodiment, the fastening part 1230 may be detachably connected to the base frame 1210 or the handle part 1220. As a result, the type of fastening part 1230 connected to the base frame 1210 or the handle part 1220 can be changed depending on the type of manipulator 200 connected to the motion tracking and manipulation interface 100, so that motion tracking and The manipulation interface 100 can be combined with various types of manipulators 200, thereby ensuring compatibility and versatility of the motion tracking and manipulation interface 100.

도 2를 참조하면, 본 발명의 일 실시예에 따른 매니퓰레이터(200)는 서로 직렬로 연결되는 복수 개의 로봇암(2100a, 2100b, 2100c), 회전본체(2300) 및 지지부(2400)를 포함할 수 있다.Referring to FIG. 2, the manipulator 200 according to an embodiment of the present invention may include a plurality of robot arms (2100a, 2100b, 2100c), a rotating body 2300, and a support portion 2400 connected to each other in series. there is.

일 실시예로, 매니퓰레이터(200)는 시리얼 타입의 로봇 플랫폼으로 이루어질 수 있다. 모션 추적 및 조작 인터페이스(100)가 시리얼 타입의 로봇 플랫폼으로 구성되는 매니퓰레이터(200)에 결합되는 경우, 사용자(U)는 넓은 가동범위 내에서 모션 추적 및 조작 인터페이스(100)를 파지하고 수술을 집도할 수 있다.In one embodiment, the manipulator 200 may be comprised of a serial-type robot platform. When the motion tracking and manipulation interface 100 is coupled to the manipulator 200 composed of a serial-type robot platform, the user (U) holds the motion tracking and manipulation interface 100 within a wide range of motion and performs the surgery. can do.

매니퓰레이터(200)는 종래의 로봇장치 또는 모션 추정 장치에 다양한 구조로 적용되고 있는 바, 매니퓰레이터(200)의 내부구성 및 작동원리에 대한 상세한 설명은 생략한다.Since the manipulator 200 is applied in various structures to conventional robot devices or motion estimation devices, a detailed description of the internal configuration and operating principle of the manipulator 200 will be omitted.

도 1을 참조하면, 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 마스터 장치(10)의 움직임에 따라 마스터 장치(10)로부터 전기적 신호를 전달받아 구동되는 슬레이브 로봇(20)을 포함할 수 있다.Referring to FIG. 1, the surgical robot system 1 according to an embodiment of the present invention includes a slave robot 20 that is driven by receiving electrical signals from the master device 10 according to the movement of the master device 10. can do.

슬레이브 로봇(20)은 적어도 하나의 암(21)을 포함할 수 있다. 적어도 하나의 암(21)에는 엔드 이펙터(22)가 설치될 수 있으며, 엔드 이펙터(22)가 수술 부위에 직접 접촉하여 마스터 장치(10)에 대한 사용자(U)의 조작에 연동되어 동작을 수행할 수 있다.The slave robot 20 may include at least one arm 21. An end effector 22 may be installed on at least one arm 21, and the end effector 22 directly contacts the surgical site and performs operations in conjunction with the user's (U) manipulation of the master device 10. can do.

일 실시예로, 마스터 장치(10)에서 사용자(U)의 손의 동작에 따라, 매니퓰레이터(200)의 각 로봇관절(2200a, 2200b, 2200c), 핸들부(1220), 제1 내지 제4 관절부(1180)가 회전하며 센서부(S)에 의하여 각각의 회전각이 검출될 수 있다. 이를 통해 마스터 장치(10)는 상기 각각의 회전각을 전기적 신호로 변환하여 슬레이브 로봇(20)으로 전달할 수 있다.In one embodiment, according to the hand movement of the user (U) in the master device 10, each robot joint (2200a, 2200b, 2200c), handle portion 1220, and first to fourth joint portions of the manipulator 200 (1180) rotates, and each rotation angle can be detected by the sensor unit (S). Through this, the master device 10 can convert each rotation angle into an electrical signal and transmit it to the slave robot 20.

마스터 장치(10)로부터 전기적 신호를 전달받은 슬레이브 로봇(20)은 암 및 엔드 이펙터(22)로 상기 전기적 신호를 전달하여 암 및 엔드 이펙터(22)의 동작을 제어할 수 있다.The slave robot 20, which has received an electrical signal from the master device 10, can control the operation of the arm and end effector 22 by transmitting the electrical signal to the arm and end effector 22.

도 2를 참조하면, 엔드 이펙터(22)는 수술부위와 직접 접촉하여 수술을 수행하는 수술부재(23), 수술부재(23)의 위치 및 자세를 제어하는 전단부(24) 및 암과 연결되어 전다부의 위치 및 자세를 제어하는 후단부(25)를 포함할 수 있다.Referring to FIG. 2, the end effector 22 is connected to the surgical member 23 that performs surgery by directly contacting the surgical site, the front end 24 and the arm that control the position and posture of the surgical member 23. It may include a rear end 25 that controls the position and posture of the anterior leg.

일 실시예로, 수술부재(23)는 스킨 홀더, 석션(suction) 라인, 메스, 가위, 그래스퍼, 수술용 바늘, 바늘 홀더, 스테이플 어플라이어(staple applier), 절단 블레이드 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니며, 수술에 필요한 공지된 도구라면 어떤 것이든 사용 가능할 것이다.In one embodiment, the surgical member 23 may include a skin holder, suction line, scalpel, scissors, grasper, surgical needle, needle holder, staple applier, cutting blade, etc. , It is not particularly limited thereto, and any known tool required for surgery can be used.

일반적으로 수술부재(23)는 크게 주 수술도구 및 보조 수술도구로 분류할 수 있다. 여기에서, "주 수술도구"란 수술 부위에 대해 절개, 봉합, 응고, 세척 등과 같은 직접적인 수술 동작을 수행하는 도구(예: 메스, 수술용 바늘 등)를 의미할 수 있고, "보조 수술도구"란 수술 부위에 대해 직접적인 수술 동작을 수행하는 것이 아닌 주 수술도구의 동작을 보조하기 위한 수술도구(예: 스킨 홀더 등)를 의미할 수 있다.In general, surgical components 23 can be broadly classified into main surgical tools and auxiliary surgical tools. Here, “main surgical tool” may mean a tool (e.g. scalpel, surgical needle, etc.) that performs direct surgical operations such as incision, suturing, coagulation, cleaning, etc. on the surgical site, and “auxiliary surgical tool” may refer to This may refer to a surgical tool (e.g., skin holder, etc.) intended to assist the operation of the main surgical tool rather than performing a direct surgical operation on the surgical site.

일 실시예로, 전단부(24)는 수술부재(23)와 후단부(25)를 연결하는 것으로써, 다관절 암으로 이루어질 수 있다.In one embodiment, the front end 24 connects the surgical member 23 and the rear end 25, and may be formed as a multi-joint arm.

일 실시예로, 전단부(24)과 수술부재(23)는 길이 방향 중심축을 공유할 수 있다.In one embodiment, the front end 24 and the surgical member 23 may share a longitudinal central axis.

일 실시예로, 전단부(24)와 후단부(25)는 다관절 링크로 연결될 수 있다.In one embodiment, the front end 24 and the rear end 25 may be connected by a multi-joint link.

도 2를 참조하면, 전단부(24)의 동작은 마스터 장치(10)의 모션 추적 및 조작 인터페이스(100)의 본체부(1100)의 동작에 대응될 수 있다. 구체적으로 본체부(1100)의 제1 내지 제4 관절의 굽힘 정도에 따라 전단부(24)가 후단부(25)를 기준으로 굽힘 동작을 할 수 있다.Referring to FIG. 2, the operation of the front end portion 24 may correspond to the operation of the main body portion 1100 of the motion tracking and manipulation interface 100 of the master device 10. Specifically, depending on the degree of bending of the first to fourth joints of the main body 1100, the front end 24 may perform a bending operation based on the rear end 25.

예를 들어, 손가락 안착부(1110)에 안착되는 손가락이 내전 또는 외전함에 따라 제1 관절부(1150)가 내전 또는 외전을 하는 경우, 전단부(24)는 후단부(25)를 기준으로 요(yaw) 운동을 하게 된다.For example, when the first joint portion 1150 pronates or abducts as the finger seated on the finger seating portion 1110 pronates or abducts, the front end 24 yaws with respect to the rear end 25. yaw) You get to exercise.

또한, 손가락 안착부(1110)에 안착되는 손가락이 신전 또는 굴곡함에 따라, 제2 관절부(1160) 내지 제4 관절부(1180)가 각각 회전하는 경우, 전단부(24)는 후단부(25)를 기준으로 제2 관절부(1160) 내지 제4 관절부(1180) 각각의 회전 값의 합만큼 피치(pitch)운동을 하게 된다.In addition, when the second joint portion 1160 to fourth joint portion 1180 rotates as the finger seated on the finger seating portion 1110 extends or bends, the front end portion 24 moves toward the rear end portion 25. As a standard, a pitch movement is performed equal to the sum of the rotation values of each of the second joints 1160 to 4th joints 1180.

일 실시예로, 후단부(25)는 전단부(24)와 암을 연결하는 것으로써, 암으로부터 구동력을 전달받아 7자유도 운동을 할 수 있다.In one embodiment, the rear end 25 connects the front end 24 and the arm, so that it can move at 7 degrees of freedom by receiving driving force from the arm.

일 실시예로, 후단부(25)는 암(21)과 일체로 형성될 수 있다.In one embodiment, the rear end 25 may be formed integrally with the arm 21.

도 2를 참조하면, 후단부(25)의 동작은 마스터 장치(10)의 모션 추적 및 조작 인터페이스(100)의 베이스부(1200)의 동작 및 매니퓰레이터(200)의 동작에 대응될 수 있다. Referring to FIG. 2, the operation of the rear end portion 25 may correspond to the operation of the base portion 1200 of the motion tracking and manipulation interface 100 of the master device 10 and the operation of the manipulator 200.

구체적으로 핸들부(1220)를 파지하는 손이 움직임에 따라 모션 추적 및 조작 인터페이스(100)연결되는 매니퓰레이터(200)의 각 로봇관절(2200a, 2200b, 2200c) 및 회전본체(2300)가 회전하는 경우, 후단부(25) 사용자(U)의 손의 위치 변화에 대응되게 이동하는 구동을 할 수 있다.Specifically, as the hand holding the handle 1220 moves, each robot joint (2200a, 2200b, 2200c) and the rotating body 2300 of the manipulator 200, which is connected to the motion tracking and manipulation interface 100, rotate. , the rear end 25 can be driven to move in response to changes in the position of the user U's hand.

또한, 핸들부(1220)를 파지하는 손의 손목의 내전 또는 외전을 함에 따라 핸들부(1220)가 회전 중심축(CL)을 기준으로 회전하는 경우, 후단부(25)는 제5 회전축(AX5)을 기준으로 회전할 수 있다.In addition, when the handle unit 1220 rotates about the central rotation axis CL as the wrist of the hand holding the handle unit 1220 pronates or abducts, the rear end 25 rotates around the fifth rotation axis AX5. ) can be rotated based on .

결과적으로, 후단부(25)는 사용자(U)의 손허리뼈(metacarpal bones)의 움직임에 대응되는 동작을 할 수 있으며, 전단부(24)는 사용자(U)의 끝마디뼈(distal phanlax)의 움직임에 대응되는 동작을 할 수 있다.As a result, the rear end 25 can move in response to the movement of the metacarpal bones of the user (U), and the front end 24 can move the distal phanlax of the user (U). You can perform actions that correspond to the movements.

도 9을 참조하면, 본 발명의 다른 실시예에 따른 마스터 장치(10`)는 매니퓰레이터(200`) 및 베이스부(1200`)를 제외하고는 본 발명의 일 실시예에 따른 마스터 장치(10`)의 구성, 작동원리 및 효과가 동일하므로 이와 중복되는 범위에서 상세한 설명은 생략한다.Referring to Figure 9, the master device 10' according to another embodiment of the present invention is the master device 10' according to an embodiment of the present invention, except for the manipulator 200' and the base unit 1200'. ) Since the composition, operating principle, and effects are the same, detailed description will be omitted to the extent of overlap.

본 발명의 다른 실시예에 따른 마스터 장치(10`)는 서로 병렬로 연결되는 복수 개의 로봇암(2100a`, 2100b`, 2100c`)을 포함하는 매니퓰레이터(200`)를 포함할 수 있으며, 예를 들어 본 발명의 다른 실시예에 따른 마스터 장치(10`)는 평행 링크 구조 로봇의 하나인 델타 로봇일 수 있다. The master device 10 ′ according to another embodiment of the present invention may include a manipulator 200 ′ including a plurality of robot arms 2100a ′, 2100b ′, and 2100c ′ connected in parallel to each other, for example. For example, the master device 10' according to another embodiment of the present invention may be a delta robot, which is one of the parallel link structure robots.

본 발명의 다른 실시예에 따른 베이스 프레임(1210`)은 모션 추적 및 조작 인터페이스(100`)의 회전 중심축(CL)과 수직하게 배치되는 링 형상으로 형성될 수 있다. 그러나 이에 한정되는 것은 아니며, 베이스 프레임(1210`)은 서로 병렬로 연결되는 복수 개의 로봇암(2100a`, 2100b`, 2100c`)과 핸들부(1220`)를 각각 연결시킬 수 있는 다양한 형상으로 형성될 수 있다.The base frame 1210 ′ according to another embodiment of the present invention may be formed in a ring shape disposed perpendicular to the rotation center axis CL of the motion tracking and manipulation interface 100 ′. However, it is not limited to this, and the base frame 1210' is formed in various shapes that can connect a plurality of robot arms (2100a', 2100b', 2100c') and the handle portion (1220') connected in parallel to each other. It can be.

본 발명의 다른 실시예에 따른 체결부(1230`)는 서로 병렬로 배치되는 로봇암(2100a`, 2100b`, 2100c`)의 개수에 대응되게 복수 개가 구비될 수 있다.A plurality of fastening parts 1230' according to another embodiment of the present invention may be provided to correspond to the number of robot arms 2100a', 2100b', and 2100c' arranged in parallel.

도 10을 참조하면, 본 발명의 일 실시예에 다른 모션 추적 및 조작 인터페이스(100`)는 수술용 인스트루먼트(30)와 직접 결합하여, 복강경 수술 장치(2)를 구성할 수 있다.Referring to FIG. 10, the motion tracking and manipulation interface 100' according to an embodiment of the present invention can be directly combined with the surgical instrument 30 to form the laparoscopic surgical device 2.

수술용 인스트루먼트(30)는 수술을 위한 엔드 이펙터(32)와 엔드 이펙터(32)의 동작을 위해 구동력을 전달하는 샤프트(31)를 포함할 수 있다. The surgical instrument 30 may include an end effector 32 for surgery and a shaft 31 that transmits driving force for the operation of the end effector 32.

구체적으로 샤프트(31)의 일단부에는 엔드 이펙터(32)가 연결될 수 있으며, 상기 일단부 다른 타단부에는 모션 추적 및 조작 인터페이스(100)의 체결부(1230)가 연결될 수 있다.Specifically, the end effector 32 may be connected to one end of the shaft 31, and the fastening portion 1230 of the motion tracking and manipulation interface 100 may be connected to the other end of the shaft 31.

본 명세서에서 수술용 인스트루먼트(30)는 환자의 체내로 삽입되어 수술을 수행할 수 있는 다양한 종류의 수술용 인스트루먼트(30)를 포함할 수 있으며, 베이스부(1200)의 형상은 모션 추적 및 조작 인터페이스(100)에 연결되는 수술용 인스트루먼트(30)의 형상에 대응되게 변형 실시될 수 있다.In this specification, the surgical instrument 30 may include various types of surgical instruments 30 that can be inserted into the patient's body to perform surgery, and the shape of the base portion 1200 is a motion tracking and manipulation interface. It may be modified to correspond to the shape of the surgical instrument 30 connected to (100).

본 발명의 일 실시예에 따른 복강경 수술 장치(2)에서, 모션 추적 및 조작 인터페이스(100)의 동작으로 엔드 이펙터(32)의 구동을 제어하는 방법은 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)에서 모션 추적 및 조작 인터페이스(100)가 엔드 이펙터(32)의 구동을 제어하는 방법과 동일하므로, 이와 중복되는 범위에서 상세한 설명은 생략한다.In the laparoscopic surgical device 2 according to an embodiment of the present invention, the method of controlling the operation of the end effector 32 by the operation of the motion tracking and manipulation interface 100 is a surgical robot system according to an embodiment of the present invention. Since the method of controlling the operation of the end effector 32 by the motion tracking and manipulation interface 100 in (1) is the same, detailed description to the extent of overlap is omitted.

본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.The spirit of the present invention should not be limited to the above-described embodiments, and the scope of the claims described below, as well as all scopes equivalent to or equivalently changed from the claims, are within the scope of the spirit of the present invention. It will be said that it belongs.

1: 수술 로봇 시스템 2: 복강경 수술 장치
10(10`): 마스터 장치 100: 모션 추적 및 조작 인터페이스
1100: 본체부 1110: 손가락 안착부
1111: 안착본체 1112: 햅틱모듈
1120: 제1 링크 1130: 제2 링크
1140: 제3 링크 1150: 제1 관절부
1160: 제2 관절부 1170: 제3 관절부
1180: 제4 관절부 1200: 베이스부
1210: 베이스 프레임 1220: 핸들부
1221: 핸들본체 1222: 조작부
1230: 체결부 200: 매니퓰레이터
2100: 로봇암 2200: 로봇관절
2300: 회전본체 2400: 지지부
20: 슬레이브 장치 30: 수술용 인스트루먼트
S: 센서부 1: Surgical robot system 2: Laparoscopic surgical device
10 (10`): Master device 100: Motion tracking and manipulation interface
1100: main body 1110: finger seating part
1111: Seating body 1112: Haptic module
1120: first link 1130: second link
1140: third link 1150: first joint
1160: second joint 1170: third joint
1180: fourth joint part 1200: base part
1210: Base frame 1220: Handle unit
1221: Handle body 1222: Control unit
1230: fastening part 200: manipulator
2100: Robot arm 2200: Robot joint
2300: Rotating body 2400: Support part
20: slave device 30: surgical instrument
S: sensor part

Claims

A base portion including a handle portion that can be held by a user; and
It includes a plurality of links pivotably connected to each other and a finger resting portion on which the user's finger rests, and a main body portion rotatably connected to the base portion,
A motion tracking and manipulation interface, wherein at least one of the plurality of links is formed in a curved shape in a preset direction.

According to claim 1,
The plurality of links are:
A first link rotatably connected to the base part and the first rotation axis, a second link rotatably connected to the first link and the second rotation axis, and a second link rotatably connected to the base part and the third rotation axis. A motion tracking and manipulation interface that is rotatably connected and includes a third link rotatably connected to the finger resting portion and a fourth rotation axis.

According to clause 2,
The second rotation axis, the third rotation axis, and the fourth rotation axis are each parallel to each other, a motion tracking and manipulation interface.

According to clause 2,
The first rotation axis and the second rotation axis intersect each other.

According to clause 4,
The first rotation axis and the second rotation axis are disposed perpendicular to each other.

According to clause 3,
A motion tracking and manipulation interface, wherein the angle between the second rotation axis and the longitudinal central axis of the handle is 30 degrees or less.

According to clause 2,
A motion tracking and manipulation interface, wherein the first rotation axis and the longitudinal central axis of the handle intersect each other.

According to clause 7,
A motion tracking and manipulation interface, wherein the first rotation axis and the longitudinal central axis of the handle are arranged perpendicular to each other.

According to clause 2,
The main body part,
a first joint portion rotatably connecting the base portion and the first link;
a second joint rotatably connecting the first link and the second link;
a third joint rotatably connecting the second link and the third link; and
It includes a fourth joint portion rotatably connecting the third link and the finger seating portion,
At least one of the first joint unit, the second joint unit, the third joint unit, and the fourth joint unit includes a sensor unit capable of detecting a change in rotation angle of the plurality of links.

According to clause 9,
A motion tracking and manipulation interface, wherein the sensor unit consists of either a magnetic rotary encoder or an optical rotary encoder.

According to claim 10,
A motion tracking and manipulation interface, wherein the sensor unit connected to the first joint unit and the sensor unit connected to the second joint unit are made of different types of encoders.

According to claim 1,
It further includes an imaging unit capable of photographing the main body unit and the base unit, wherein the imaging unit is capable of detecting the position and rotation angle of at least one of the finger seating unit, the plurality of links, and the base unit, and a motion tracking and Operation interface.

According to clause 9,
At least one of the first joint unit, the second joint unit, the third joint unit, and the fourth joint unit further includes a load provider that provides a preset torque between the links connected to each other. Motion tracking and manipulation interface.

According to claim 1,
A motion tracking and manipulation interface comprising: a manipulation unit that selectively generates a preset control command as the handle unit is operated by a user.

According to claim 1,
The finger seating unit is a haptic module capable of transmitting external environment information to the user. A motion tracking and manipulation interface comprising a.

A manipulator including a plurality of robot joints rotatable about one or more non-parallel rotation axes; and
A motion tracking and manipulation interface coupled to an end of the manipulator and capable of tracking the user's hand movements,
The motion tracking and manipulation interface is,
a base portion including a handle portion contactable with the user's palm and a fastening portion coupled to an end of the manipulator; and
A master device comprising: a main body portion rotatably connected to the base portion, including a plurality of links pivotably connected to each other and a finger resting portion on which the user's finger rests.

According to claim 16,
The plurality of links are:
A first link rotatably connected to the base part and the first rotation axis, a second link rotatably connected to the first link and the second rotation axis, and a second link rotatably connected to the base part and the third rotation axis. A master device comprising a third link rotatably connected to the finger resting portion and a fourth rotation axis.

According to claim 17,
The motion tracking and manipulation interface is rotatable about a preset axis passing through the fastener,
The master device wherein the preset axis is spaced apart from the first rotation axis.

According to claim 16,
The master device wherein the fastening portion is detachable from the handle portion.

A surgical instrument including an end effector for surgery and a shaft that transmits driving force for operation of the end effector; and
It is coupled to the end of the surgical instrument, and includes a motion tracking and manipulation interface that tracks the user's hand motions according to manipulation and transmits the hand motion information to the end effector,
The motion tracking and manipulation interface is,
A base portion including a handle portion in contact with the user's palm and a fastening portion coupled to the end of the surgical instrument; and
A laparoscopic surgical device comprising: a main body portion rotatably connected to the base portion, including a plurality of links pivotably connected to each other and a finger resting portion on which the user's finger rests.

A master device coupled to an end of the manipulator and a manipulator including a plurality of robot joints rotatable about one or more non-parallel rotation axes and having a motion tracking and manipulation interface capable of tracking the user's hand movements; and
It includes a slave robot that is driven by receiving electrical signals from the master device according to the movement of the master device,
The motion tracking and manipulation interface is,
a base portion including a handle portion that can be held by the user; and
A surgical robot system comprising: a main body portion including a plurality of links pivotably connected to each other and a finger resting portion on which the user's finger rests.