KR102219226B1 - Robot hand grasping system for object manipulation - Google Patents
Robot hand grasping system for object manipulation Download PDFInfo
- Publication number
- KR102219226B1 KR102219226B1 KR1020180148593A KR20180148593A KR102219226B1 KR 102219226 B1 KR102219226 B1 KR 102219226B1 KR 1020180148593 A KR1020180148593 A KR 1020180148593A KR 20180148593 A KR20180148593 A KR 20180148593A KR 102219226 B1 KR102219226 B1 KR 102219226B1
- Authority
- KR
- South Korea
- Prior art keywords
- gripping
- class
- robot
- posture setting
- hand
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
물체 조작을 위한 로봇 파지 시스템이 개시된다. 이 시스템은 로봇의 물체 파지와 관련된 온톨로지 웹 언어(Ontology Web Language) 형식의 온톨로지가 구축된 온톨로지 지식베이스, 및 로봇의 물체 파지 제어시 온톨로지 지식베이스에 구축된 온톨로지를 이용하는 컨트롤러를 포함한다.A robot gripping system for object manipulation is disclosed. This system includes an ontology knowledge base in which an ontology in the form of an ontology web language related to a robot's object gripping is built, and a controller that uses the ontology built in the ontology knowledge base when controlling the robot's object gripping.
Description
본 발명은 지능형 서비스 로봇에 관한 것으로, 특히 로봇의 물체 조작 기술에 관한 것이다.The present invention relates to an intelligent service robot, and more particularly, to an object manipulation technology of the robot.
지능형 서비스 로봇 분야에서는 지식 체계 기반의 자동화된 로봇 작업 계획 생성과 실행(robot task planning and execution)에 관한 연구들이 활발히 진행되고 있다. 그 중에서도 물체를 다루기 위한 로봇 조작 작업(robot manipulation task)은 대표적인 연구 주제이다. 로봇 조작을 위해 잘 알려진 인공 지능 접근법으로는 크게 비전 기반의 물체 인식(vision-based object detection) 방법과 온톨로지(ontology) 기반의 지식 표현 및 추론(knowledge representation and reasoning) 방법 등이 있다. 물체 인식을 통해 얻고자 하는 주된 물체 지식으로는 물체 카테고리(category), 부품(part), 어포던스(affordance), 파지점(grasping point) 등이 있다. 물체 지식을 실제 로봇 조작에 활용하기 위해서는 통일된 형식의 지식 표현 모델이 필요하다. 하지만 물체 카테고리, 부품, 어포던스는 이미 지식 표현 모델이 잘 구축되어 있는 반면, 파지점은 잘 구축된 모델이 없다는 한계가 있다.In the field of intelligent service robots, studies on robot task planning and execution based on knowledge systems are actively being conducted. Among them, the robot manipulation task for handling objects is a representative research topic. Well-known artificial intelligence approaches for robot manipulation include a vision-based object detection method and an ontology-based knowledge representation and reasoning method. The main object knowledge to be acquired through object recognition includes object category, part, affordance, grasping point, and the like. In order to utilize object knowledge for actual robot operation, a unified form of knowledge expression model is required. However, object categories, parts, and affordances have a limitation in that knowledge representation models are already well established, while gripping points are not well established models.
본 발명은 온톨로지 기반의 파지점 표현 모델을 이용하여 물체 조작을 위한 로봇 파지 시스템을 제공함을 목적으로 한다.An object of the present invention is to provide a robot gripping system for object manipulation using an ontology-based gripping point expression model.
일 양상에 따른 물체 조작을 위한 로봇 파지 시스템은 로봇의 물체 파지와 관련된 온톨로지 웹 언어(Ontology Web Language) 형식의 온톨로지가 구축된 온톨로지 지식베이스, 및 로봇의 물체 파지 제어시 온톨로지 지식베이스에 구축된 온톨로지를 이용하는 컨트롤러를 포함할 수 있다.The robot gripping system for object manipulation according to one aspect is an ontology knowledge base in which ontology web language-type ontology related to gripping an object of a robot is built, and an ontology knowledge base built on the ontology knowledge base when controlling the object gripping of a robot. It may include a controller using.
온톨로지 지식베이스에는 로봇의 물체 파지를 위한 파지 자세 설정 온톨로지가 구축되되, 파지 자세 설정 온톨로지에는 물체에 대한 로봇의 파지 자세를 위한 파지 자세 설정 클래스 계층이 정의될 수 있다.In the ontology knowledge base, a gripping posture setting ontology for gripping an object by a robot is constructed, while a gripping posture setting class hierarchy for the gripping posture of the robot with respect to an object may be defined in the gripping posture setting ontology.
파지 자세 설정 클래스 계층에는 파지 자세 설정 클래스(GraspingPosture-Configuration Class)와, 파지 자세 설정 클래스의 하위 클래스들인 한 손 파지 자세 설정 클래스(OneHandGraspingPosture-Configuration Class) 및 양 손 파지 자세 설정 클래스(TwoHandGraspingPosture-Configuration Class)가 정의될 수 있다.In the gripping posture setting class hierarchy, the grasping posture setting class (GraspingPosture-Configuration Class), the one-handed gripping posture-configuration class (OneHandGraspingPosture-Configuration Class), which are subclasses of the gripping posture setting class, and the TwoHandGraspingPosture-Configuration Class, are provided. ) Can be defined.
파지 자세 설정 클래스 계층에는 한 손 파지 자세 설정 클래스의 하위 클래스들인 두지 파지 자세 설정 클래스(TwoFingerGraspingPosture-Configuration Class)와 세지 파지 자세 설정 클래스(ThreeFingerGraspingPosture-Configuration Class)와 네지 파지 자세 설정 클래스(FourFingerGraspingPosture-Configuration Class) 및 다섯지 파지 자세 설정 클래스(FiveFingerGraspingPosture-Configuration Class)가 정의될 수 있다.In the gripping posture setting class hierarchy, the two gripping posture setting class (TwoFingerGraspingPosture-Configuration Class), which are subclasses of the one-handed gripping posture setting class, the ThreeFingerGraspingPosture-Configuration Class, and the FourFingerGraspingPosture-Configuration Class, are provided. ) And a Five Finger Grasping Posture-Configuration Class may be defined.
파지 자세 설정 온톨로지에는 손가락 수에 따른 물체의 파지 자세 설정 인스턴스를 표현한 성질(property)들과, 한 손 파지를 하는 로봇 손 모델을 표현하는 성질과, 한 손 파지시 손의 위치(position)와 방향(orientation)을 나타내는 삼차원 회전 행렬을 표현한 성질과, 한 손 파지시 각각의 손가락의 끝점이 물체와 맞닿는 삼차원 위치 점을 표현한 성질들이 정의될 수 있다.The gripping posture setting ontology includes properties expressing an instance of the gripping posture setting of an object according to the number of fingers, a property expressing a robot hand model that grips one hand, and the position and direction of the hand when gripping one hand. A property representing a three-dimensional rotation matrix representing (orientation) and a property representing a three-dimensional position point at which the end point of each finger touches an object when one hand is held can be defined.
파지 자세 설정 온톨로지에는 물체 파지의 목적 행위를 표현한 성질이 정의될 수 있다.In the gripping posture setting ontology, a property expressing the purpose of gripping an object may be defined.
온톨로지 지식베이스에는 파지 자세 설정 온톨로지에 속한 클래스들과 성질들을 토대로 표현된 복수의 물체 파지점 모델이 구축되며, 컨트롤러는 물체 파지 제어시 온톨로지 지식베이스에 구축된 물체 파지점 모델을 이용할 수 있다.In the ontology knowledge base, a plurality of object gripping point models expressed based on classes and properties belonging to the gripping attitude setting ontology are constructed, and the controller can use the object gripping point model built in the ontology knowledge base when controlling object gripping.
물체 파지점 모델은 다지(multiple fingers)를 갖는 로봇의 손 유형과 파지 자세 및 로봇 손가락의 끝점(fingertip)이 물체와 맞닿는 파지점을 표현한 것일 수 있다.The object gripping point model may represent a hand type and a gripping posture of a robot having multiple fingers, and a gripping point at which a fingertip of the robot finger contacts an object.
컨트롤러는 물체 파지 제어시 파지의 목적 행위에 따라 복수의 물체 파지점 모델 중에서 해당 물체 파지점 모델을 이용할 수 있다.The controller may use a corresponding object gripping point model from among a plurality of object gripping point models according to the object gripping action during object gripping control.
본 발명에 따르면, 종래 기술들로는 지식 표현 및 추론이 불가능했던 로봇의 물체에 대한 파지점 지식을 표현할 수 있으며, 이를 이용하여 지식 기반의 로봇 물체 조작이 가능해진다.According to the present invention, it is possible to express knowledge of a gripping point for an object of a robot, which was impossible to express and infer knowledge with conventional techniques, and by using this, knowledge-based robot object manipulation becomes possible.
본 발명은 지식 표현과 추론이 필수적으로 요구되는 지식 기반 로봇 제어, 로봇의 물체 조작, 로봇 강화 학습 등에 폭넓게 활용될 수 있다.The present invention can be widely used for knowledge-based robot control, robot object manipulation, robot reinforcement learning, etc., in which knowledge expression and reasoning are essential.
도 1은 일 실시예에 따른 물체 조작을 위한 로봇 파지 시스템 블록도이다.
도 2는 일 실시예에 따른 물체 온톨로지의 일부 클래스들을 나타낸다.
도 3은 일 실시예에 따른 파지 자세 설정 온톨로지를 나타낸다.
도 4는 일 실시예에 따른 파지 자세 설정을 표현하기 위한 다양한 성질들을 나타낸 도면이다.
도 5는 일 실시예에 따른 물체 파지 정보 지식을 나타낸 도면이다.
도 6은 물체에 대한 파지 자세 설정의 후보군들을 예시한 도면이다.
도 7은 파지의 목적 행위를 예시한 도면이다.1 is a block diagram of a robot gripping system for object manipulation according to an exemplary embodiment.
2 shows some classes of an object ontology according to an embodiment.
3 shows an ontology for setting a gripping posture according to an embodiment.
4 is a diagram showing various properties for expressing a gripping posture setting according to an exemplary embodiment.
5 is a diagram illustrating knowledge of object gripping information according to an exemplary embodiment.
6 is a diagram illustrating candidate groups for setting a gripping posture for an object.
7 is a diagram illustrating the purpose of gripping.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The above-described and further aspects of the invention will become more apparent through preferred embodiments described with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail so that those skilled in the art can easily understand and reproduce through these examples.
도 1은 일 실시예에 따른 물체 조작을 위한 로봇 파지 시스템 블록도이다. 도 1에 도시된 바와 같이, 로봇 파지 시스템은 온톨로지 지식베이스(100)와 컨트롤러(200)를 포함한다. 온톨로지 지식베이스(100)는 온톨로지를 활용한 지식베이스이다. 온톨로지 지식베이스(100)에는 로봇의 물체 파지와 관련하여 온톨로지 웹 언어(Ontology Web Language, OWL)로 작성된 온톨로지가 구축된다. 일 실시예에 있어서, 온톨로지 지식베이스(100)에는 물체 온톨로지와 로봇의 물체 파지를 위한 파지 자세 설정 온톨로지가 구축된다. 컨트롤러(200)는 로봇의 물체 파지를 제어하기 위한 구성으로서, 온톨로지 지식베이스(100)에 구축된 온톨로지에 근거하여 표현되는 물체 파지점 모델을 이용하여 로봇의 물체 파지를 제어한다.1 is a block diagram of a robot gripping system for object manipulation according to an exemplary embodiment. As shown in FIG. 1, the robot gripping system includes an
도 2는 일 실시예에 따른 물체 온톨로지를 나타낸 것으로, 물체 클래스 계층의 일부를 나타낸다. 물체 파지점 모델을 구축하기 위해서는 물체와 물체의 각 부품들에 관한 모델 정의가 선행되어야 한다. 도 2는 이러한 물체 모델 정의에 대한 하나의 예시를 보인다. 도 2의 HumanScaleObject 클래스는 우리가 일상 생활에서 흔히 마주할 수 있는 물체들을 표현하기 위한 클래스이다. 대표적으로 과일이나 야채 등을 표현하기 위한 FoodOrDrinkOrIngredient 클래스, 도구나 전자기기 등을 표현하기 위한 클래스 그리고 주방기구 등을 표현하기 위한 FoodVessel 클래스가 있다. 또한, 도 2에는 각 물체들을 구성하는 부품들을 표현하기 위한 PhysicalPartOfObject 클래스가 있다. 대표적으로 뚜껑이나 마개를 표현하기 위한 Cap 클래스, 몸체를 표현하기 위한 Body 클래스, 손잡이를 표현하기 위한 Handle 클래스 등이 있다.2 illustrates an object ontology according to an embodiment, and illustrates a part of an object class hierarchy. In order to build an object gripping point model, a model definition of an object and its parts must be preceded. 2 shows an example of such an object model definition. The HumanScaleObject class of FIG. 2 is a class for expressing objects that we commonly encounter in our daily life. Representatively, there are FoodOrDrinkOrIngredient class to express fruits and vegetables, class to express tools and electronic devices, and FoodVessel class to express kitchen utensils. In addition, in FIG. 2, there is a PhysicalPartOfObject class for representing parts constituting each object. Representatively, there are Cap class to express the lid or stopper, Body class to express the body, and Handle class to express the handle.
도 3은 일 실시예에 따른 파지 자세 설정 온톨로지를 나타낸다. 물체의 파지 정보는 한 손으로 파지하느냐 양 손으로 파지하느냐에 따라 크게 달라진다. 또한, 한 손으로 파지하는 경우에도 두 개 손가락(2지)으로 파지하느냐 세 개 손가락(3지)으로 파지하느냐에 따라 달라진다. 이를 명확히 구분하기 위해, 도 3과 같은 파지 자세 설정 클래스 계층이 구축된다. 도 3의 GraspingPosture-Configuration 클래스는 파지 정보를 표현하기 위한 대표 클래스이다. 한 손 파지와 양 손 파지를 구분하기 위해 GraspingPosture-Configuration 클래스의 하위 클래스로 OneHandGraspingPosture-Configuration 클래스와 TwoHnadGraspingPosture-Configuration 클래스가 정의되어 있다. 한 손 파지 중에서도 손가락 개수를 구분하기 위해서 OneHandGraspingPosture-Configuration 클래스의 하위 클래스로 TwoFingerGraspingPosture-Configuration 클래스, ThreeFingerGraspingPosture-Configuration 클래스, FourFingerGraspingPosture-Configuration 클래스, 그리고 FiveFingerGraspingPosture-Configuration 클래스가 정의되어 있다.3 shows an ontology for setting a gripping posture according to an embodiment. The gripping information of an object varies greatly depending on whether the object is gripped with one hand or both hands. In addition, even when gripping with one hand, it varies depending on whether the grip is held with two fingers (2 fingers) or three fingers (3 fingers). To clearly distinguish this, a gripping attitude setting class hierarchy as shown in FIG. 3 is constructed. The GraspingPosture-Configuration class of FIG. 3 is a representative class for expressing gripping information. OneHandGraspingPosture-Configuration class and TwoHnadGraspingPosture-Configuration class are defined as subclasses of GraspingPosture-Configuration class to distinguish one-hand gripping and two-hand gripping. TwoFingerGraspingPosture-Configuration class, ThreeFingerGraspingPosture-Configuration class, FourFingerGraspingPosture-Configuration class, and FiveFingerGraspingPosture-Configuration class are defined as subclasses of OneHandGraspingPosture-Configuration class to distinguish the number of fingers among one hand gripping.
도 4는 일 실시예에 따른 파지 자세 설정을 표현하기 위한 다양한 성질들을 나타낸 도면이다. 도 4에 도시된 클래스들을 주축으로 하여 다양한 성질(property)들을 추가 정의하면 풍부한 파지 정보들을 지식화할 수 있다. 도 4는 파지 자세 설정을 표현하기 위한 다양한 성질들을 나타낸다. 온톨로지 기반의 지식 표현법은 주어(subject), 동사(predicate or property), 목적어(object) 형태의 트리플(triple)로 표현하는 것이 원칙이다. 여기서 동사는 도 4의 성질(property)에 해당한다. 그리고 영역(Domain)은 해당 성질 앞에 올 수 있는 주어 인스턴스의 클래스 유형을 명시하며, 범위(Range)는 해당 성질 뒤에 올 수 있는 목적어 인스턴스의 클래스 유형을 명시한다. 먼저, hasTwoFingerGraspingConf, hasThreeFingerGraspingConf, hasFourFingerGraspingConf 그리고 hasFiveFingerGraspingConf 성질은 각각 손가락 수에 따른 물체의 파지 자세 설정 인스턴스를 표현한다. targetHandType 성질은 한 손 파지를 하는 로봇 손 모델을 표현한다. targetHandPosture 성질은 한 손 파지시 그 손의 위치(positino)와 방향(orientation)을 나타내는 3차원 회전 행렬을 표현한다. targetThumbTipPoint, targetIndexTipPoint, targetMiddleTipPoint 그리고 targetRingTipPoint, targetLittleTipPoint 성질은 한 손 파지시 각각의 손가락(엄지, 검지, 중지, 약지, 새끼)의 끝단이 물체와 맞닿은 3차원 위치 점을 표현한다. 마지막으로, targetAction 성질은 물체 파지의 목적 행위를 표현한다.4 is a diagram showing various properties for expressing a gripping posture setting according to an exemplary embodiment. If various properties are additionally defined using the classes shown in FIG. 4 as the main axis, rich gripping information can be knowledgeable. 4 shows various properties for expressing a gripping posture setting. In principle, the ontology-based knowledge expression method is expressed as a subject, a verb (predicate or property), and an object type triple. Here, the verb corresponds to the property of FIG. 4. And Domain specifies the class type of the subject instance that can precede the property, and Range specifies the class type of the object instance that can follow the property. First, the properties of hasTwoFingerGraspingConf, hasThreeFingerGraspingConf, hasFourFingerGraspingConf and hasFiveFingerGraspingConf each represent an instance of the object's gripping posture setting according to the number of fingers. The targetHandType property represents a model of a robot hand gripping one hand. The targetHandPosture property represents a three-dimensional rotation matrix that indicates the positino and orientation of the hand when holding a hand. The properties targetThumbTipPoint, targetIndexTipPoint, targetMiddleTipPoint, and targetRingTipPoint, targetLittleTipPoint represent the three-dimensional position point where the tip of each finger (thumb, index finger, middle finger, ring finger, baby) touches the object when one hand is held. Finally, the targetAction property expresses the target action of object grasping.
도 5는 일 실시예에 따른 도 3과 도 4에서 설명된 클래스들과 성질들을 토대로 지식화한 물체 파지점 모델을 나타낸 도면이고, 도 6은 물체에 대한 파지 자세 설정의 여러 후보군들을 예시한 도면이며, 도 7은 파지의 여러 목적 행위들을 예시한 도면이다. 도 5는 보온병의 한 손 파지 중에서도 3지 기반의 물체 파지점 모델에 대한 예시를 보여준다. 도 5의 상위 박스에는 보온병(thermos 1)에 대한 클래스 유형(type), 대표 색상(mainColorOfObject), 재질(madeOf), 모양(objectShapeType) 등 가장 기본적인 성질들과, 입구(entrance_fdfk4), 원통 몸체(cylinderBody_3le), 바닥면(bottomSurface_8dn) 등과 같이 보온병의 물리적 부품을 표현하기 위한 성질(properPhysicalParts)이 있다. 도 5의 중간 박스는 보온병의 부품 중에서 원통 몸체에 대한 상세 지식을 나타낸다. 부품에 대한 지식도 유형, 대표 색상, 재질, 모양 등의 기본적인 성질들이 표현되어 있으며, 특히 원통 몸체에 대한 3지 기반의 한 손 파지 정보를 표현하기 위한 성질(hasThreeFingerGraspingConf)이 있다.5 is a view showing an object gripping point model knowledgeized based on the classes and properties described in FIGS. 3 and 4 according to an embodiment, and FIG. 6 is a view illustrating several candidate groups for setting a gripping posture for an object And FIG. 7 is a diagram illustrating various purposes of gripping. 5 shows an example of a three-point-based object gripping point model among one-hand gripping of a thermos. In the upper box of FIG. 5, the most basic properties, such as class type, representative color (mainColorOfObject), material (madeOf), shape (objectShapeType), and the entrance (entrance_fdfk4), cylinder body (cylinderBody_3le) for the thermos (thermos 1). ), bottom surface (bottomSurface_8dn), etc. There are properties (properPhysicalParts) to represent the physical parts of the thermos. The middle box of FIG. 5 shows detailed knowledge of the cylindrical body among parts of the thermos. The knowledge of parts also expresses basic properties such as type, representative color, material, and shape, and in particular, there is a property (hasThreeFingerGraspingConf) for expressing the one-handed gripping information based on three fingers for a cylindrical body.
파지 정보는 도 6과 같이 다양한 자세로 파지할 수 있도록 여러 후보들을 만들 수 있다. 파지 정보에 대한 상세한 지식은 도 5의 하위 박스에서 확인할 수 있다. 하위 박스에는 물체 부품을 파지하는 손의 유형을 표현하기 위한 성질(handType)과 물체를 기준으로 손의 상대 자세를 표현하기 위한 성질(targetHandPosture)이 있다. 참고로, 도 5에서 handtype은 자코(Jaco)로 예시되어 있음을 확인할 수 있다. 다음으로, 기준이 되는 상대 자세는 변환 프레임을 표현하는 성질(tfFrame)로 확인 가능하다. 예를 들어, 도 5에서 tfFrame 성질을 통해 로봇 손의 자세는 보온병 좌표계를 기준으로 하는 상대 자세라는 것을 확인할 수 있다. 그리고 세 손가락을 이용한 파지의 경우 손가락을 엄지와 검지 및 중지로 구분하고 물체를 기준으로 각각 손가락의 끝점이 물체의 부품과 맞닿는 위치를 표현하기 위한 성질들(targetIndexFingerTipPoint, targetMiddleFingerTipPoint, targetThumbTipPoint)이 있다. 마지막으로, 파지의 목적 행위를 표현하기 위한 성질(targetAction)이 있다. 파지의 목적 행위는 도 7과 같이 로봇이 올바른 파지 자세를 선택할 수 있게 하는 정보이다. 이상에 따른 물체 파지점 모델은 다지(multiple fingers)를 갖는 로봇의 손 유형과 파지 자세 및 로봇 손가락의 끝점(fingertip)이 물체와 맞닿는 파지점을 표현할 수 있다.As for the gripping information, as shown in FIG. 6, several candidates can be made so that the gripping information can be gripped in various positions. Detailed knowledge of the gripping information can be found in the lower box of FIG. 5. The lower box has a property (handType) for expressing the type of hand gripping an object part and a property (targetHandPosture) for expressing a relative posture of the hand based on the object. For reference, it can be seen that the handtype in FIG. 5 is exemplified as Jaco. Next, the relative posture as a reference can be confirmed by the property (tfFrame) representing the transformed frame. For example, it can be seen that the posture of the robot hand is a relative posture based on the thermos coordinate system through the tfFrame property in FIG. 5. And in the case of gripping using three fingers, there are properties (targetIndexFingerTipPoint, targetMiddleFingerTipPoint, targetThumbTipPoint) for dividing the finger into thumb, index, and middle finger and expressing the position where the end point of each finger touches the part of the object based on the object. Finally, there is a property (targetAction) to express the target action of the grip. The purpose of gripping is information that enables the robot to select a correct gripping posture as shown in FIG. The object gripping point model according to the above may represent a hand type and a gripping posture of a robot having multiple fingers, and a gripping point at which the fingertip of the robot touches the object.
한편, 도 1의 온톨로지 지식베이스(100)에는 복수의 물체 파지점 모델들이 미리 구축되어 있을 수 있으며, 컨트롤러(200)는 도 5와 같은 물체 파지점 모델(파지 정보)을 이용하여 로봇의 물체 파지 동작을 제어할 수 있다. 일 실시예에 있어서, 컨트롤러(200)는 물체에 대한 파지 목적 행위가 정해지면 그 목적 행위에 맞는 물체 파지점 모델을 이용하여 로봇의 물체 파지 동작을 제어한다.On the other hand, in the
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at around its preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
100 : 온톨로지 지식베이스 200 : 컨트롤러100: ontology knowledge base 200: controller
Claims (9)
온톨로지 지식베이스에 기반하여 로봇의 물체 파지를 제어하는 컨트롤러;를 포함하되,
파지 자세 설정 클래스 계층에는 파지 자세 설정 클래스(GraspingPosture-Configuration Class)와, 파지 자세 설정 클래스의 하위 클래스들인 한 손 파지 자세 설정 클래스(OneHandGraspingPosture-Configuration Class)와, 양 손 파지 자세 설정 클래스(TwoHandGraspingPosture-Configuration Class)와, 한 손 파지 자세 설정 클래스의 하위 클래스들인 두지 파지 자세 설정 클래스(TwoFingerGraspingPosture-Configuration Class)와, 세지 파지 자세 설정 클래스(ThreeFingerGraspingPosture-Configuration Class)와, 네지 파지 자세 설정 클래스(FourFingerGraspingPosture-Configuration Class) 및 다섯지 파지 자세 설정 클래스(FiveFingerGraspingPosture-Configuration Class)가 정의되고,
파지 자세 설정을 표현하기 위해 정의된 성질(property)들에는 손가락 수에 따른 물체의 파지 자세 설정 인스턴스를 표현한 성질(property)들과, 한 손 파지를 하는 로봇 손 모델을 표현하는 성질과, 한 손 파지시 손의 위치(position)와 방향(orientation)을 나타내는 삼차원 회전 행렬을 표현한 성질과, 한 손 파지시 각각의 손가락의 끝점이 물체와 맞닿는 삼차원 위치 점을 표현한 성질들과, 물체 파지의 목적 행위를 표현한 성질이 포함되고,
온톨로지 지식베이스에는 파지 자세 설정 클래스 계층에서 정의된 클래스들과 그 클래스들에서 정의된 파지 자세 설정을 표현하기 위한 성질들을 토대로 다지(multiple fingers)를 갖는 로봇의 손 유형과 파지 자세 및 로봇 손가락의 끝점(fingertip)이 물체와 맞닿는 파지점을 표현한 서로 다른 복수의 물체 파지점 모델이 더 구축되며,
컨트롤러는 복수의 물체 파지점 모델 중에서 파지의 목적 행위에 따라 해당되는 물체 파지점 모델을 이용하여 로봇의 물체 파지를 제어하는 물체 조작을 위한 로봇 파지 시스템.Ontology Web Language for the robot's object gripping posture setting ontology is built, but in the gripping posture setting ontology, the gripping posture setting class hierarchy for the robot's gripping posture against the object and its gripping posture setting class hierarchy Ontology knowledge base in which properties for expressing the gripping posture setting defined in are defined; And
Including; a controller for controlling the object gripping of the robot based on the ontology knowledge base,
In the gripping posture setting class hierarchy, the grabbing posture setting class (GraspingPosture-Configuration Class), the one-hand gripping posture-configuration class (OneHandGraspingPosture-Configuration Class), which are subclasses of the gripping posture setting class, and the two-hand gripping posture setting class (TwoHandGraspingPosture-Configuration class) Class), a two-finger posture setting class (TwoFingerGraspingPosture-Configuration Class), which are subclasses of the one-handed posture setting class, a three-finger posture setting class (ThreeFingerGraspingPosture-Configuration Class), and a four-finger posture setting class (FourFingerGraspingPosture-Configuration Class). ) And FiveFingerGraspingPosture-Configuration Class are defined,
The properties defined to express the gripping posture setting include properties expressing the gripping posture setting instance of the object according to the number of fingers, the property expressing the robot hand model that grips one hand, and the one hand. The properties expressing a three-dimensional rotation matrix representing the position and orientation of the hand when gripping, the properties representing the three-dimensional position point where the end point of each finger touches the object when holding one hand, and the purpose of gripping an object The property that expresses is included,
Based on the classes defined in the gripping posture setting class hierarchy and the properties for expressing the gripping posture settings defined in the ontology knowledge base, the hand type and gripping posture of a robot with multiple fingers and the end point of the robot finger A plurality of different object gripping point models representing the gripping points where (fingertip) touches the object are further constructed,
The controller is a robot gripping system for manipulating an object that controls the gripping of an object by the robot using a corresponding object gripping point model according to the purpose of gripping among a plurality of object gripping point models.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148593A KR102219226B1 (en) | 2018-11-27 | 2018-11-27 | Robot hand grasping system for object manipulation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148593A KR102219226B1 (en) | 2018-11-27 | 2018-11-27 | Robot hand grasping system for object manipulation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200062775A KR20200062775A (en) | 2020-06-04 |
| KR102219226B1 true KR102219226B1 (en) | 2021-02-23 |
Family
ID=71081095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180148593A KR102219226B1 (en) | 2018-11-27 | 2018-11-27 | Robot hand grasping system for object manipulation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102219226B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012115913A (en) * | 2010-11-29 | 2012-06-21 | Toyota Motor Corp | System for providing service by robot, device and method for controlling robot |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1992455B1 (en) * | 2006-02-02 | 2012-04-11 | Kabushiki Kaisha Yaskawa Denki | Robot system |
| KR101077788B1 (en) | 2010-01-18 | 2011-10-28 | 한국과학기술원 | Method and apparatus for recognizing objects in images |
| KR101862592B1 (en) * | 2016-11-02 | 2018-07-04 | 한국과학기술연구원 | Service open-type robot knowledge framework system |
-
2018
- 2018-11-27 KR KR1020180148593A patent/KR102219226B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012115913A (en) * | 2010-11-29 | 2012-06-21 | Toyota Motor Corp | System for providing service by robot, device and method for controlling robot |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200062775A (en) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Billard et al. | Trends and challenges in robot manipulation | |
| Murali et al. | 6-dof grasping for target-driven object manipulation in clutter | |
| Kokic et al. | Affordance detection for task-specific grasping using deep learning | |
| Forbes et al. | Robot programming by demonstration with situated spatial language understanding | |
| CN108958471B (en) | Simulation method and system for virtual hand-operated object in virtual space | |
| Berenson et al. | Grasp synthesis in cluttered environments for dexterous hands | |
| Alonso et al. | Current research trends in robot grasping and bin picking | |
| Vahrenkamp et al. | Part-based grasp planning for familiar objects | |
| Zhu et al. | Toward human-like grasp: Dexterous grasping via semantic representation of object-hand | |
| Lu et al. | Modeling grasp type improves learning-based grasp planning | |
| Soh et al. | Incrementally learning objects by touch: Online discriminative and generative models for tactile-based recognition | |
| Huang et al. | A modular approach to learning manipulation strategies from human demonstration | |
| Bütepage et al. | From visual understanding to complex object manipulation | |
| Negrello et al. | Hands in the real world | |
| Valarezo Anazco et al. | Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network | |
| WO2022191414A1 (en) | Parameterized waypoint generation on dynamically parented non-static objects for robotic autonomous tasks | |
| Siddiqui et al. | Grasp stability prediction for a dexterous robotic hand combining depth vision and haptic bayesian exploration | |
| Lin et al. | Bi-touch: Bimanual tactile manipulation with sim-to-real deep reinforcement learning | |
| Ritter et al. | Hands, dexterity, and the brain | |
| KR102219226B1 (en) | Robot hand grasping system for object manipulation | |
| Witzig et al. | Context aware shared autonomy for robotic manipulation tasks | |
| Vanc et al. | Communicating human intent to a robotic companion by multi-type gesture sentences | |
| Kaynar et al. | Remote task-oriented grasp area teaching by non-experts through interactive segmentation and few-shot learning | |
| Liu et al. | Annotating everyday grasps in action | |
| Wu et al. | An automatic grasp system with sensor feedback based on soft gripper |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |