KR20090022875A - Face robot for giving expression - Google Patents
Face robot for giving expression Download PDFInfo
- Publication number
- KR20090022875A KR20090022875A KR1020070088539A KR20070088539A KR20090022875A KR 20090022875 A KR20090022875 A KR 20090022875A KR 1020070088539 A KR1020070088539 A KR 1020070088539A KR 20070088539 A KR20070088539 A KR 20070088539A KR 20090022875 A KR20090022875 A KR 20090022875A
- Authority
- KR
- South Korea
- Prior art keywords
- facial
- eye
- panning
- tilting
- unit
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 표정 구현이 가능한 얼굴 로봇에 관한 것으로, 보다 구체적으로는, 안구 및 얼굴골격 자체의 패닝 및 틸팅 운동을 동반하면서 구성요소를 최소화시키고 보다 유연하고 다양한 표정 연출이 가능한 얼굴 로봇에 관한 것이다.The present invention relates to a facial robot capable of realizing facial expressions, and more particularly, to a facial robot capable of minimizing components and producing more flexible and diverse facial expressions, accompanied by panning and tilting movements of the eyeball and facial skeleton itself.
종래 산업용 로봇과는 달리 최근 로봇의 사용 범위는 매우 넓어져, 인간이 생활하는 환경으로 확대되고 있는 추세이다. 이러한 추세로 인해 인간과의 상호작용이 무엇보다 중요하게 요구되고 있으며, 그 상호작용에 있어서 거부감이 없는 로봇들에 대한 연구가 활발하게 진행되고 있다.Unlike conventional industrial robots, the use range of robots has become very wide in recent years, and has been expanded to an environment where humans live. Due to this trend, interaction with human beings is more important than ever, and research on robots with no objection in the interaction is being actively conducted.
최근에는, 인간과 로봇 간의 원활한 상호작용을 위해 실제 인간과 외관이 유사한 인간형 로봇들이 개발되고 있는 추세이며, 이러한 추세에 따라 감정표현이 가능한 로봇들에 대한 연구가 진행되고 있다. Recently, humanoid robots with similar appearance to real humans have been developed for smooth interaction between humans and robots, and researches on robots capable of expressing emotions according to such trends have been conducted.
이러한 연구에 따라 다양한 로봇들이 개발되고 있으며, 현재까지 개발된 로봇들은 그 심리상태나 감정을 표현함에 있어서 사람의 얼굴을 본 따서 만든 기계적인 얼굴로 표현한다. 이러한 로봇의 대표적인 예로서, 기계적으로 얼굴의 근육을 묘사한 미국 MIT의 kismet와, 실리콘을 사용하여 사람의 피부와 비슷하게 만든 일 본도쿄기술대학의 Roterta와 Saya 등이 있다. According to this research, various robots are being developed, and the robots developed so far are expressed with mechanical faces that are modeled after human faces in expressing the psychological state or emotion. Representative examples of such robots include MIT kismet, which mechanically depicts the muscles of the face, and Roterta and Saya of the University of Tokyo, Japan, which use silicone to resemble human skin.
그러나, 지금까지 개발된 로봇의 기계적 얼굴은 사람과 비슷한 자연스러운 표정을 생성할 수 없으며, 생성된 표정이 사람들에게 거부감을 주기도 하는 등의 문제점이 있다. 또한, 인간의 얼굴이 아닌 가공의 생명체에 대한 얼굴 형태여서, 인간의 심리상태와 비슷한 유형의 감정을 표정으로서 표현할 수 없는 문제가 있다. 게다가 이러한 기술들을 가정용 퍼스널 로봇에 적용하기에는 안정성과 신뢰성이 떨어지고, 가격도 고가인 문제점이 있다. However, the mechanical face of the robot developed so far cannot produce a natural facial expression similar to a human, and there is a problem that the generated facial expression also gives people a sense of rejection. In addition, there is a problem in that it is not a human face but a face form for a fictitious creature, and thus a type of emotion similar to a human psychological state cannot be expressed as an expression. In addition, there is a problem that these technologies are not stable and reliable and expensive to apply to home personal robots.
따라서, 심리상태나 감정을 인간과 최대한 유사하게 표현할 수 있는 로봇에 대한 개발이 필요하다.Therefore, there is a need for the development of a robot that can express psychological state or emotion as closely as possible to humans.
본 발명은 상술한 문제를 해결하기 위해 안출한 것으로, 인공피부를 유연한 소재로 형성시킴으로써 자연스러운 감정 표현을 가능하게 하고, 접촉 모듈을 사용함으로써 상기 인공피부와 액추에이터간 연결을 용이하게 하여 인간과 최대한 유사한 표정 구현을 가능하게 하는, 표정 구현이 가능한 얼굴 로봇을 제공하는 데에 그 목적이 있다. The present invention has been made to solve the above problems, by forming artificial skin from a flexible material to enable natural emotional expression, and by using a contact module to facilitate the connection between the artificial skin and the actuator to be as similar as human An object of the present invention is to provide a facial robot capable of expressing an expression, which enables an expression.
본 발명의 다른 목적은, 액추에이터의 수를 최소화시키면서도 자연스러운 표정 구현이 가능한 얼굴 로봇을 제공하는 것이다. Another object of the present invention is to provide a facial robot capable of implementing a natural expression while minimizing the number of actuators.
본 발명의 또 다른 목적은, 안구 패닝부, 안구 틸팅부를 적어도 구비하여 안구의 패닝 및 틸팅 운동을 동반한 표정 구현이 가능한 얼굴 로봇을 제공하는 데에 그 목적이 있다. Still another object of the present invention is to provide a facial robot having at least an eye panning part and an eye tilting part, which can realize facial expression with panning and tilting motion of the eye.
본 발명의 또 다른 목적은, 골격패닝부, 골격틸팅부를 적어도 구비하여 얼굴의 패닝 및 틸팅 운동을 동반한 표정 구현이 가능한 얼굴 로봇을 제공하는 데에 그 목적이 있다.Still another object of the present invention is to provide a facial robot having at least a skeletal panning part and a skeletal tilting part, which can realize a facial expression accompanied with panning and tilting motions of the face.
상술한 목적을 달성하기 위한 본 발명의 일 실시형태에 따르면, 표정 구현이 가능한 얼굴 로봇에 있어서, 상기 얼굴 로봇의 각 눈썹의 양끝과 중앙에 위치되는 눈썹 접촉모듈; 상기 얼굴 로봇의 입술의 양끝과 중앙에 위치되는 입술 접촉모듈; 상기 눈썹 접촉모듈과 와이어로 연결되어 상기 눈썹 접촉모듈을 구동시키는 눈썹 액추에이터; 상기 입술 접촉모듈과 와이어로 연결되어 상기 입술 접촉모듈을 구동시키는 입술 액추에이터; 상기 눈썹 액추에이터 및 상기 입술 액추에이터를 제어하는 마이크로프로세서;를 적어도 구비하여 이루어진 것을 특징으로 한다.According to an embodiment of the present invention for achieving the above object, a facial robot capable of implementing the expression, the eyebrow contact module located at both ends and the center of each eyebrow of the facial robot; A lip contact module positioned at both ends and the center of the lips of the face robot; An eyebrow actuator connected to the eyebrow contact module with a wire to drive the eyebrow contact module; A lip actuator connected to the lip contact module by a wire to drive the lip contact module; And at least a microprocessor for controlling the eyebrow actuator and the lip actuator.
상술한 목적을 달성하기 위한 본 발명의 다른 일 실시형태에 따르면, 얼굴 형상을 띄고 있는 얼굴 골격, 상기 얼굴 골격 상에 도포되는 인공 피부, 상기 인공 피부에 부착되는 복수의 접촉모듈, 및 상기 복수의 접촉모듈과 각각 연결되어 상기 접촉모듈을 밀거나 당겨 상·하운동 시키는 복수의 액추에이터를 포함하는 것을 특징으로 하는, 표정 구현이 가능한 얼굴 로봇이 제공된다.According to another embodiment of the present invention for achieving the above object, a facial skeleton having a face shape, artificial skin applied on the facial skeleton, a plurality of contact modules attached to the artificial skin, and the plurality of A facial robot capable of expressing an expression is provided, which includes a plurality of actuators connected to the contact modules, respectively, to push or pull the contact module to move upward and downward.
상기 표정 구현이 가능한 얼굴 로봇은 상기 얼굴 골격의 안구 부분에 형성되는 안구운동부로서, 상기 안구운동부에 장착되는 안구를 패닝(panning) 운동시키는 안구패닝부, 상기 안구를 틸팅(tilting) 운동시키는 안구틸팅부, 및 상기 안구패닝부 및 안구틸팅부와 각각 연결되어 상기 안구패닝부 및 안구틸팅부를 동작시키는 2개의 액추에이터를 포함하는 안구운동부를 더 포함할 수 있다. The facial robot capable of realizing the facial expression is an eye movement part formed in the eye part of the facial skeleton, an eye panning part for panning the eye mounted on the eye movement part, and an eye tilting motion for tilting the eye. The eye movement part may further include an eye movement part including two actuators connected to the eye panning part and the eye tilting part to operate the eye panning part and the eye tilting part, respectively.
상기 표정 구현이 가능한 얼굴 로봇은, 상기 얼굴 골격의 배면에 형성되는 골격운동부로서, 상기 얼굴 골격을 패닝 운동시키는 골격패닝부, 상기 얼굴 골격을 틸팅 운동시키는 안구틸팅부, 및 상기 골격패닝부 및 골격틸팅부와 각각 연결되어 상기 골격패닝부 및 골격틸팅부를 동작시키는 2개의 액추에이터를 포함하는 골격운동부를 더 포함할 수 있다. The facial robot capable of implementing the facial expression is a skeletal movement part formed on the back of the facial skeleton, and includes a skeletal panning part for panning the facial skeleton, an eye tilting part for tilting the facial skeleton, and the skeletal panning part and the skeleton. The apparatus may further include a skeletal motion unit connected to the tilting unit and including two actuators for operating the skeletal panning unit and the skeletal tilting unit, respectively.
상기 표정 구현이 가능한 얼굴 로봇은, 상기 액추에이터들의 동작을 제어하는 마이크로프로세서를 더 포함할 수 있다. The facial robot capable of implementing the facial expression may further include a microprocessor for controlling the operation of the actuators.
상기 인공피부의 재질은 실리콘의 일종인 랜드류인 것이 바람직하다. The artificial skin is preferably made of land, which is a kind of silicon.
상기 복수의 접촉모듈은 상기 인공 피부의 양 눈썹 부분에 3개씩 부착되고, 양 볼에 하나씩 부착되며, 턱 부분에 하나가 부착되는 것이 바람직하다. Preferably, the plurality of contact modules are attached to both eyebrow portions of the artificial skin, one to both cheeks, and one to the jaw portion.
상기 복수의 접촉모듈과 복수의 액추에이터는 각각 와이어를 통해 연결되는 것이 바람직하다. Preferably, the plurality of contact modules and the plurality of actuators are connected via wires, respectively.
상술한 목적을 달성하기 위한 본 발명의 또 다른 일 실시형태에 따르면, 안구를 상하, 좌우로 움직이게 하는 안구 운동부와 얼굴골격 자체를 상하, 좌우로 움직이게 하는 얼굴 운동부를 구비한 얼굴 로봇에 있어서, 상기 얼굴운동부는 상하로 회전하도록 롤러로 이루어진 골격 틸팅부; 그 중심축과 상기 롤러의 외측을 벨트(553)로 물려져 있는, 상기 골격 틸팅부를 상하로 구동시키기 위한 골격틸팅 액추에이터; 원형 판을 구비하여 상기 원형 판이 좌우로 회전하도록 이루어진 골격패닝부; 기어부(551)를 통해 상기 골격패닝부과 연결되어 상기 골격패닝부를 좌우로 구동시키기 위한 골격패닝 액추에이터;를 구비하여 이루어진 것을 특징으로 한다.According to another embodiment of the present invention for achieving the above object, in the face robot having an eye movement part for moving the eye up and down, left and right and a face movement part for moving the face skeleton itself up and down, left and right, Facial movement portion skeletal tilting portion made of a roller to rotate up and down; A skeletal tilting actuator for driving up and down the skeletal tilting portion whose central axis and the outside of the roller are held by a
상기 안구운동부는, 상기 안구운동부에 장착된 안구를 패닝(panning) 운동시키는 안구패닝부; 상기 안구를 틸팅(tilting) 운동시키는 안구틸팅부; 상기 안구패닝부 및 안구틸팅부와 각각 연결되어 상기 안구패닝부 및 안구틸팅부를 동작시키는 안구패닝 액추에이터 및 안구 틸팅 액추에이터;를 구비하여 이루어진다.The eyeball movement unit, the eyeball panning unit for panning (eye) mounted on the eyeball movement unit; An eye tilting unit configured to tilt the eyeball; And an eye panning actuator and an eye tilting actuator connected to the eye panning part and the eye tilting part to operate the eye panning part and the eye tilting part, respectively.
상기 안구운동부에 장착된 안구는 카메라로 이루어진 것을 특징으로 한다.The eyeball mounted on the eyeball movement portion is characterized by consisting of a camera.
본 발명의 표정 구현이 가능한 얼굴 로봇에 따르면, 인공피부를 유연한 소재로 형성시킴으로써 자연스러운 감정 표현이 가능하고, 접촉 모듈을 사용함으로써 상기 인공피부와 액추에이터간 연결을 용이하게 하여 인간과 최대한 유사한 표정 구현이 가능하다.According to the facial robot capable of realizing the facial expression of the present invention, natural skin can be expressed by forming artificial skin with a flexible material, and by using a contact module, it is possible to facilitate the connection between the artificial skin and the actuator to realize the facial expression as similar as that of a human. It is possible.
또한, 액추에이터의 수를 최소화시키면서도 자연스러운 표정 구현이 가능하다. In addition, it is possible to realize a natural expression while minimizing the number of actuators.
본 발명의 얼굴 로봇은 안구 패닝부, 안구 패닝부를 적어도 구비하여 안구의 패닝 및 틸팅 운동을 동반한 표정 구현이 가능하다.The facial robot of the present invention may be provided with at least an eye panning part and an eye panning part to implement facial expressions accompanied with panning and tilting movements of the eye.
또한 본 발명의 얼굴 로봇은 골격패닝부, 골격틸팅부를 적어도 구비하여 얼굴의 패닝 및 틸팅 운동을 동반한 표정 구현이 가능하다.In addition, the facial robot of the present invention includes at least a skeletal panning part and a skeletal tilting part, thereby realizing facial expressions accompanied by panning and tilting motions of the face.
이하, 첨부되는 도면을 참조하여 본 발명의 다양한 실시형태들을 상세히 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시형태에 따른, 표정 구현이 가능한 얼굴 로봇의 정면도이고, 도 2a 및 2b는 상기 얼굴 로봇의 측단면도이다.1 is a front view of a facial robot capable of implementing facial expressions according to an embodiment of the present invention, and FIGS. 2A and 2B are side cross-sectional views of the facial robot.
본 발명의 얼굴 로봇은 크게 세 부분, 즉, 표정 발생부, 안구 운동부, 및 얼굴 운동부를 포함한다. The facial robot of the present invention includes three parts, namely, an expression generator, an eyeball movement unit, and a face movement unit.
표정 발생부는 얼굴 골격(310) 위에 형성되는 인공 피부(110), 인공 피부(110)의 각 부분에 형성되는 9개의 접촉모듈인 제1 접촉모듈 내지 제9 접촉모 듈(131 내지 139), 제1 접촉모듈 내지 제9 접촉모듈(131 내지 139)에 각각 연결되는 9개의 액추에이터(Actuator)인 제1 액추에이터 내지 제9 액추에이터(151 내지 159), 9개의 접촉 모듈인 제1 접촉모듈 내지 제9 접촉모듈(131 내지 139)과 9개의 액추에이터인 제1 액추에이터 내지 제9 액추에이터(151 내지 159)를 각각 연결하는 9개의 와이어인 제1 와이어 내지 제9 와이어(171 내지 179)를 포함한다. 또한 제1 액추에이터 내지 제9 액추에이터(151 내지 159)는 마이크로프로세서(400)에 의해 제어된다.The facial expression generator includes
인공 피부(110)는 외관적으로 사람의 피부와 유사한 효과를 낼 수 있으면서도 표정의 표현을 용이하게 하기 위해 유연한 재질로 하는 것이 바람직하다. 이를 위해 실리콘 재질의 일종인 랜드류와 같은 물질을 인공 피부(110)의 재질로 선택할 수 있다.
인공 피부(110)의 각 부분에 형성되는 9개의 접촉모듈인 제1 접촉모듈 내지 제9 접촉모듈(131 내지 139)중 제1 접촉모듈 내지 제6 접촉모듈(131 내지 136)은 눈썹 접촉모듈이며, 제7 접촉모듈 내지 제9 접촉모듈(137 내지 139)은 입술 접촉모듈으로, 다음과 같다.The first to
제1 접촉모듈(131)은 일측의 눈썹에서 정중부에서 먼쪽 끝(예를들어 우측 눈썹의 제일 우측) 부분에 위치되며, 제1 와이어(171)로 제1 액추에이터(151)와 연결된다.The
제2 접촉모듈(132)은 일측의 눈썹의 중앙부(예를들어 우측 눈썹의 중앙부) 에 위치되며, 제2 와이어(172)로 제2 액추에이터(152)와 연결된다.The
제3 접촉모듈(133)은 일측의 눈썹에서 정중부에 제일 가까운 끝(예를들어 우측 눈썹의 제일 좌측) 부분에 위치되며, 제3 와이어(173)로 제3 액추에이터(153)와 연결된다.The
제4 접촉모듈(134)은 다른 일측의 눈썹에서 정중부에서 먼쪽 끝(예를들어 좌측 눈썹의 제일 좌측) 부분에 위치되며, 제4 와이어(174)로 제4 액추에이터(154)와 연결된다.The
제5 접촉모듈(135)은 다른 일측의 눈썹의 중앙부(예를들어 좌측 눈썹의 중앙부) 에 위치되며, 제5 와이어(175)로 제5 액추에이터(155)와 연결된다.The
제6 접촉모듈(136)은 다른 일측의 눈썹에서 정중부에 제일 가까운 끝(예를들어 좌측 눈썹의 제일 우측) 부분에 위치되며, 제6 와이어(176)로 제6 액추에이터(156)와 연결된다.The
제7 접촉모듈(137)은 입술의 일측 끝(예를들어 입술의 제일 우측) 부분에 위치되며, 제7 와이어(177)로 제7 액추에이터(157)와 연결된다.The
제8 접촉모듈(138)은 입술의 다른 일측 끝(예를들어 입술의 제일 좌측) 부분에 위치되며, 제8 와이어(178)로 제8 액추에이터(158)와 연결된다.The
제9 접촉모듈(139)은 입술의 중앙부 아래에 위치되며, 제9 와이어(179)로 제9 액추에이터(159)와 연결된다.The
제1 접촉모듈 내지 제9 접촉모듈(131 내지 139)에 각각 연결되는 9개의 액추에이터(Actuator)인 제1 액추에이터 내지 제9 액추에이터(151 내지 159)는 The first to
제1 액추에이터 내지 제6 액추에이터(151 내지 156)는 눈썹 액추에이터들이 며, 제7 액추에이터 내지 제9 액추에이터(157 내지 159)는 입술 액추에이터들로, 다음과 같다.The first to
제1 액추에이터(151)는 제1 접촉모듈(131)의 뒤쪽에 위치되며, 제1 와이어(171)에 의해 제1 접촉모듈(131)과 연결되어 있다.The
제2 액추에이터(152)는 제2 접촉모듈(132)의 뒤쪽에 위치되며, 제2 와이어(172)에 의해 제2 접촉모듈(132)과 연결되어 있다.The second actuator 152 is located behind the
제3 액추에이터(153)는 제3 접촉모듈(133)의 뒤쪽에 위치되며, 제3 와이어(173)에 의해 제3 접촉모듈(133)과 연결되어 있다.The third actuator 153 is located behind the
제4 액추에이터(154)는 제4 접촉모듈(134)의 뒤쪽에 위치되며, 제4 와이어(174)에 의해 제4 접촉모듈(134)과 연결되어 있다.The fourth actuator 154 is positioned behind the
제5 액추에이터(155)는 제5 접촉모듈(135)의 뒤쪽에 위치되며, 제5 와이어(175)에 의해 제5 접촉모듈(135)과 연결되어 있다.The fifth actuator 155 is located behind the
제6 액추에이터(156)는 제6 접촉모듈(136)의 뒤쪽에 위치되며, 제6 와이어(176)에 의해 제6 접촉모듈(136)과 연결되어 있다.The
제7 액추에이터(157)는 제7 접촉모듈(131)의 뒤쪽에 위치되며, 제7 와이어(177)에 의해 제7 접촉모듈(137)과 연결되어 있다.The seventh actuator 157 is positioned behind the
제8 액추에이터(158)는 제8 접촉모듈(138)의 뒤쪽에 위치되며, 제8 와이어(178)에 의해 제8 접촉모듈(138)과 연결되어 있다.The eighth actuator 158 is located behind the
제9 액추에이터(158)는 제9 접촉모듈(139)의 뒤쪽에 위치되며, 제9 와이어(179)에 의해 제9 접촉모듈(139)과 연결되어 있다. The ninth actuator 158 is located behind the
제1 액추에이터 내지 제9 액추에이터(151 내지 159)는 마이크로프로세서(400)로 부터의 각 액추에이터 제어신호에 따라 구동된다.The first to
와이어(171 내지 179)는 액추에이터(151 내지 159)와 접촉 모듈(131 내지 139)를 연결하여, 액추에이터(151 내지 159)의 동작에 따라 인공 피부(110)에 붙어 있는 접촉 모듈(131 내지 139)을 당기거나 밀어 다양한 표정을 표현할 수 있게 한다. 이러한 와이어(171 내지 179)는 인공 피부(110)를 손상시키지 않는 범위 내에서 미세한 인장운동이 가능한 피아노 와이어 등으로 구현하는 것이 적당하다.The
안구 운동부는 얼굴 골격(310)의 안구 부분에 장착되는 안구의 패닝(panning) 운동을 담당하는 안구패닝부(210), 안구의 틸팅(tilting) 운동을 담당하는 안구틸팅부(230), 상기 안구패닝부(210) 및 안구틸팅부(230)와 각각 연결되는 2 개의 액추에이터인 안구패닝 액추에이터(미도시) 및 안구틸팅 액추에이터(미도시)를 포함한다.The eyeball movement part is an
얼굴 운동부는 얼굴 골격(310) 자체의 패닝 운동을 담당하는 골격패닝부(미도시), 얼굴 골격(310) 자체의 틸팅 운동을 담당하는 골격틸팅부(미도시), 상기 골격패닝부 및 골격틸팅부와 각각 연결되는 2개의 액추에이터인 골격패닝 액추에이터(미도시) 및 골격틸팅 액추에이터(미도시)를 포함한다.The facial motion part is a skeletal panning part (not shown) that is responsible for the panning movement of the
마이크로프로세서(400)는 제1 액추에이터(151) 내지 제9 액추에이터(159), 안구패닝 액추에이터(미도시) 및 안구틸팅 액추에이터(미도시), 골격패닝 액추에이터(미도시) 및 골격틸팅 액추에이터(미도시)는 모두 마이크로프로세서(400)와 연결되어, 이들 액추에이터, 즉 제1 액추에이터(151) 내지 제9 액추에이터(159), 안구 패닝 액추에이터(미도시) 및 안구틸팅 액추에이터(미도시), 골격패닝 액추에이터(미도시) 및 골격틸팅 액추에이터(미도시)를 제어하여 얼굴 로봇의 여러가지 표정 구현과 안구 또는 얼굴의 동작을 가능하게 한다. 마이크로프로세서(400)는 통상의 컴퓨터 등을 이용하여 구현할 수 있고, C 언어 등을 통해 작성된 프로그램을 이용하여 이하에서 설명하는 여러가지 표정 구현과 안구 또는 얼굴의 동작 등을 자유롭게 제어할 수 있다.The
이하, 표정 발생부, 안구 운동부, 얼굴 운동부로 나누어 그 구성 및 동작에 대해 상세히 설명한다.Hereinafter, the configuration and operation will be described in detail by dividing into an expression generating unit, an eye movement unit, and a facial exercise unit.
도 3a 및 3b는 본 발명의 얼굴 로봇에 있어서 표정 발생부에 의해 자연스러운 표정이 발생하게 되는 원리를 설명한다.3A and 3B illustrate a principle in which a natural expression is generated by the facial expression generator in the facial robot of the present invention.
도 3a 및 3b에 도시되는 바와 같이, 얼굴 골격(310) 위에 도포되는 인공 피부(110)의 각 부위에는 제1 내지 제9 접촉모듈(131 내지 139)이 부착되어 있다. 제1 내지 제9 접촉모듈(131 내지 139)은 얼굴 근육의 미세한 변화에도 그 표정 변화가 잘 드러나는 곳에 부착됨으로써 더욱더 자연스러운 표정을 구현할 수 있다. 예를 들어, 도 3에 도시되는 바와 같이 표정을 잘 나타내도록 양 눈썹에 3개씩의 접촉 모듈, 즉 제1 내지 제6 접촉모듈(131 내지 136)을 장착할 수 있으며, 양 볼 또는 입술 양끝에 하나씩의 접촉 모듈, 즉 제7 내지 제8 접촉모듈(137, 138)을 장착할 수 있으며, 입술 중앙 밑의 턱 부분에 하나의 접촉 모듈, 즉 제9 접촉모듈(139)을 부착할 수 있다.As shown in FIGS. 3A and 3B, first to
제1 내지 제9 접촉 모듈(131 내지 139) 각각은 와이어(171 내지 179)를 통해 액추에이터(151 내지 159)와 연결된다. 컴퓨터 키입력부(미도시) 등을 통한 사용자로부터의 입력에 의해 마이크로프로세서(400)의 제어가 시작되면, 제1 내지 제9 액추에이터(151 내지 159)는 각 접촉 모듈(131 내지 139)을 밀거나 당긴다.Each of the first to
예를 들어, 사용자가 기쁨을 표시하라고 명령을 내린 경우에는 마이크로프로세서(400)의 제어에 의해 2개의 액추에이터, 즉 제7 및 제8 액추에이터(157, 158)가 제7 및 제8 접촉 모듈(137, 138)을 당기는 동작을 주로 수행하여 얼굴 로봇이 기쁜 표정을 표현하도록 한다. For example, when the user commands the display of joy, the two actuators, ie, the seventh and eighth actuators 157 and 158, are controlled by the
한편, 놀라움을 표시하고자 하는 경우에는 마이크로프로세서(400)의 제어에 의해 6개의 액추에이터인 제1 내지 제6 액추에이터(151 내지 156)가 제1 내지 제6 접촉모듈(131 내지 136)을 당기는 동작이 주로 수행된다. On the other hand, when the surprise is to be displayed, the operation of pulling the first to
이 밖의 다른 표정, 즉, 슬픔, 화남, 공포 등의 표정도 제1 내지 제9 액추에이터(151 내지 159)를 동작시켜 인공 피부(110)의 각 부분에 부착되어 있는 제1 내지 제9 접촉모듈(131 내지 139)을 상하운동시킴으로써 표현이 가능하다. Other facial expressions, that is, sadness, anger, fear, and the like, may also operate the first to
상기 예에서는 기쁨과 놀라움을 표현하고자 하는 경우 동작시켜야 하는 접촉 모듈을 특정하였으나 이에 제한되지 아니하고 다양한 방식으로 접촉 모듈을 동작시켜 더욱더 자연스러운 표정 연출이 가능함은 물론이다.In the above example, the contact module which should be operated when expressing joy and surprise is specified, but is not limited thereto, and the contact module may be operated in various ways to produce more natural facial expressions.
인공피부(110)의 재질이 실리콘의 일종인 랜드류와 같은 부드럽고 유연한 재질이므로, 특정 부분을 당기거나 밀어서 표정을 구현하기 위한 접촉 부분의 제작이 매우 어려우나, 상기와 같이 상하로 밀고 당길 수 있는 제1 내지 제9 접촉모듈(131 내지 139)을 사용함으로써 위의 문제가 해결될 수 있다.Since the material of the
도 4a는 본 발명의 얼굴 로봇에 있어서 안구 운동부의 정면도이고, 도 4b는 안구 운동부의 측면도이다.Figure 4a is a front view of the eyeball movement portion in the face robot of the present invention, Figure 4b is a side view of the eyeball movement portion.
도 4a 및 4b에 도시되는 바와 같이, 안구 운동부는 안구패닝부(210) 및 안구 틸팅부(230)를 포함한다.As shown in FIGS. 4A and 4B, the eyeball movement part includes an
안구패닝부(210)는 안구의 수평운동을 담당하는 부분이다. 즉, 안구 운동부에 장착되는 구형의 안구를 좌·우 방향으로 회전시킨다. 안구패닝부(210)는 마이크로프로세서(400)에 의해 제어되는 별도의 액추에이터인 안구패닝 액추에이터와 연결된다. 즉, 마이크로프로세서(400)의 제어에 의해 안구패닝 액추에이터가 구동함으로써 안구패닝부(210)가 좌·우 방향으로 회전되고, 이로 인해 안구의 수평적 회전이 이루어지게 된다.
안구틸팅부(230)는 안구의 수직운동을 담당하는 부분이다. 즉, 안구 운동부에 장착되는 구형의 안구를 상·하 방향으로 회전시킨다. 안구틸팅부(230)는 마이크로프로세서(400)에 의해 제어되는 별도의 액추에이터인 안구틸팅 액추에이터와 연결된다. 즉, 마이크로프로세서(400)의 제어에 의해 안구틸팅 액추에이터가 동작함으로써 안구틸팅부(230)가 상·하 방향으로 회전되고, 이로 인해 안구의 수직 회전이 이루어지게 된다.
한편, 안구 운동부에는 안구 대신 카메라(250)가 장착될 수도 있으며, 이러한 카메라(250)를 이용하여 전면의 물체를 촬영하거나, 움직이는 물체를 추적할 수도 있다.On the other hand, the eyeball movement unit may be equipped with a camera 250 instead of the eyeball, by using the camera 250 may photograph an object in front of, or to track a moving object.
경우에 따라서 안구패닝부(210) 및 안구 틸팅부(230)는 안구패닝 및 안구틸 팅을 위한 주로들을 형성하고 안구패닝 및 안구틸팅 액추에이터에 의해 안구가 상기 주로를 따라 동작되도록 구성할 수 있다.In some cases, the
도 5는 얼굴 골격(310)의 패닝운동과 틸팅운동을 가능하게 하는 기구의 사시도이다.5 is a perspective view of a mechanism that enables panning and tilting movements of the
도 5에 도시되는 바와 같이, 얼굴 골격(310)의 패닝과 틸팅을 가능하게 하는 기구는, 골격패닝부(511), 골격틸팅부(513), 상기 골격패닝부(511) 및 골격틸팅부(513)와 각각 연결되는 2개의 액추에이터인 골격패닝 액추에이터(531) 및 골격틸팅 액추에이터(533), 골격패닝 액추에이터(531)에 의한 회전을 골격패닝부(511)에 전달하는 기어부(551), 골격틸팅 액추에이터(533)에 의한 회전을 골격틸팅부(513)에 전달하는 벨트(553)를 포함한다. As shown in FIG. 5, a mechanism that enables panning and tilting of the
이러한 기구는 얼굴 골격(310)의 배면에 형성되고, 얼굴 골격(310)과 임의의 구성요소에 의해 연결되어 기구의 패닝/틸팅 동작에 의해 얼굴 골격(310)이 패닝/틸팅 운동이 이루어질 수 있도록 한다.Such an instrument is formed on the back of the
한편, 골격패닝 액추에이터(531) 및 골격틸팅 액추에이터(533)는 마이크로프로세서(400)에 연결되어 마이크로프로세서(400)에 의해 제어된다.Meanwhile, the
마이크로프로세서(400)의 제어에 의해 골격패닝 액추에이터(531)가 구동되면 골격패닝 액추에이터(531)의 회전이 기어부(551)를 통해 골격패닝부(511)에 전달되고 골격패닝부(511)의 회전에 의해, 이와 연결되는 얼굴 골격(310)이 패닝 운동, 즉, 좌·우로 회전하는 운동을 하게 된다. 즉, 골격패닝부(511)는 얼굴 골격의 하측에 장착되어 있으며 좌우로 회전하도록 이루어진 원형 판으로, 골격패닝 액추에 이터(531)의 회전이 기어부(551)를 통해 전달되어 골격패닝부(511)가 좌우로 구동되며, 결과적으로 얼굴골격이 좌우로 움직이도록 이루어져 있다.When the
골격틸팅 액추에이터(533)가 구동되면 골격틸팅 액추에이터(533)의 회전이 벨트(553)를 통해 골격틸팅부(513)에 전달되고 이를 통해 골격틸팅부(513)가 회전함에 의해, 이와 연결되는 얼굴 골격(310)이 틸팅 운동, 즉, 상·하로 회전하는 운동을 하게 된다. 골격틸팅부(513)는 중심축을 따라 회전하도록 이루어진 롤러로 구성할 수 있으며, 상기 롤러의 외측과 골격틸팅 액추에이터(533)의 중심축 사이에 벨트(553)가 물려져, 골격틸팅 액추에이터(533)에 따라 상기 롤러가 구동되도록 이루어질 수 있다.When the
기어부(551) 및 벨트(553)는 액추에이터(531, 533)의 회전을 각각 골격패닝부(511)와 골격틸팅부(513)에 전달하는 역할과 함께, 아무런 힘이 작용하지 않는 초기 상태에서 임의로 자유롭게 움직일 수 있는 골격패닝부(511)와 골격틸팅부(513)를 고정시키는 역할도 수행한다. The
도 5에서 골격패닝부(511), 골격틸팅부(513), 골격패닝 액추에이터(531) 및 골격틸팅 액추에이터(533), 골격패닝 액추에이터(531), 기어부(551), 벨트(553) 등은 이해를 돕기 위해 일부 과장하여 설명한 것으로, 이들의 실제 형태 또는 크기는 다를 수 있다.In FIG. 5, the
본 발명의 얼굴 로봇은 랜드류라는 유연한 소재로 인공피부를 구성함으로써 자연스러운 감정 표현이 가능하고, 상기 유연한 소재의 인공피부와 액추에이터간 연결의 어려움을 접촉 모듈을 통해 해결함으로써 더욱더 인간의 표정과 가까운 감 정 표현을 가능하게 한다.The facial robot of the present invention is capable of expressing natural emotions by constructing artificial skin from a flexible material called land, and solving the difficulty of connecting the artificial skin of the flexible material with the actuator through a contact module, thereby bringing a closer feeling to human expression. Enable positive expression.
또한, 9개의 액추에이터만으로도, 자연스러운 표정의 구현과 함께 안구와 얼굴의 수평, 수직 운동도 가능하게 한다. In addition, the nine actuators alone allow for the horizontal and vertical movement of the eye and face, along with the natural expression.
이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 당업자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 범위에 속한다. 또한, 본 명세서에서 설명한 각 구성요소는 당업자가 공지된 다양한 구성요소들로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.The present invention has been described above in connection with specific embodiments of the present invention, but this is only an example and the present invention is not limited thereto. Those skilled in the art can change or modify the described embodiments without departing from the scope of the present invention, and such changes or modifications are within the scope of the present invention. In addition, each component described in the present specification can be easily selected and replaced from various known components by those skilled in the art. Those skilled in the art can also omit some of the components described herein without adding performance degradation or add components to improve performance. Therefore, the scope of the present invention should be determined not by the embodiments described, but by the claims and their equivalents.
도 1은 본 발명의 일 실시형태에 따른 얼굴 로봇의 정면도이다. 1 is a front view of a face robot according to an embodiment of the present invention.
도 2a 및 2b는 본 발명의 일 실시형태에 따른 얼굴 로봇의 측단면도이다. 2A and 2B are side cross-sectional views of a facial robot according to one embodiment of the present invention.
도 3a 및 3b는 본 발명의 일 실시형태에 따른 얼굴 로봇이 표정을 구현하는 원리를 설명한다.3A and 3B illustrate a principle in which a facial robot according to one embodiment of the present invention implements an expression.
도 4a 는 본 발명의 일 실시형태에 따른 얼굴 로봇에 있어서 안구 운동부의 정면도이다. 4A is a front view of an eyeball movement part in the face robot according to the embodiment of the present invention.
도 4b 는 본 발명의 일 실시형태에 따른 얼굴 로봇에 있어서 안구 운동부의 측면도이다. 4B is a side view of an eyeball movement part in the facial robot according to one embodiment of the present invention.
도 5는 본 발명의 일 실시형태에 따른 얼굴 로봇에 있어서 얼굴 골격의 패닝운동과 틸팅운동을 가능하게 하는 기구의 사시도이다.5 is a perspective view of a mechanism that enables panning and tilting motions of the facial skeleton in the facial robot according to one embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
110: 인공 피부 131~139: 접촉 모듈110: artificial skin 131-139: contact module
151~159, 531, 533: 액추에이터 171~179: 와이어151 ~ 159, 531, 533:
210: 안구패닝부 230: 안구틸팅부210: eye panning unit 230: eye tilting unit
310: 얼굴 골격 511: 골격패닝부310: face skeleton 511: skeleton panning part
513: 골격틸팅부 551: 기어부513: skeletal tilting portion 551: gear portion
553: 벨트 553: belt
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070088539A KR101002619B1 (en) | 2007-08-31 | 2007-08-31 | Face robot for giving expression |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070088539A KR101002619B1 (en) | 2007-08-31 | 2007-08-31 | Face robot for giving expression |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090022875A true KR20090022875A (en) | 2009-03-04 |
KR101002619B1 KR101002619B1 (en) | 2010-12-20 |
Family
ID=40692678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070088539A KR101002619B1 (en) | 2007-08-31 | 2007-08-31 | Face robot for giving expression |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101002619B1 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101026104B1 (en) * | 2008-09-26 | 2011-04-05 | 주식회사 로보스타 | Apparatus for emotional expression for arobot |
WO2012134212A2 (en) * | 2011-03-31 | 2012-10-04 | Korea Institute Of Industrial Technology | Tongue module for robot |
CN103358310A (en) * | 2013-07-04 | 2013-10-23 | 上海大学 | Mouth movement mechanism of humanoid robot |
KR101639386B1 (en) * | 2015-03-31 | 2016-07-13 | 한은주 | For CCTV camera with eye shape |
CN105881557A (en) * | 2016-06-21 | 2016-08-24 | 深圳爱易瑞科技有限公司 | Human-face-simulation intelligent device |
CN106393127A (en) * | 2016-08-29 | 2017-02-15 | 昆山塔米机器人有限公司 | Robot capable of simulating human facial expressions |
CN106695843A (en) * | 2017-03-22 | 2017-05-24 | 海南职业技术学院 | Interactive robot capable of imitating human facial expressions |
CN107718014A (en) * | 2017-11-09 | 2018-02-23 | 深圳市小村机器人智能科技有限公司 | Highly emulated robot head construction and its method of controlling operation |
CN107813294A (en) * | 2017-10-31 | 2018-03-20 | 梅其珍 | A kind of nonmetal flexible anthropomorphic robot |
CN108568807A (en) * | 2018-06-14 | 2018-09-25 | 深圳埃米电子科技有限公司 | A kind of device of control robot face expression |
CN108568806A (en) * | 2018-06-14 | 2018-09-25 | 深圳埃米电子科技有限公司 | A kind of head construction of robot |
WO2019001036A1 (en) * | 2017-06-30 | 2019-01-03 | 深圳光启合众科技有限公司 | Head structure of biomimetic robot, and biomimetic robot |
CN109129501A (en) * | 2018-08-28 | 2019-01-04 | 西安交通大学 | A kind of company formula Intelligent household central control robot |
CN110153997A (en) * | 2019-05-30 | 2019-08-23 | 大连木牛流马机器人科技有限公司 | Mechanical horse head movement bionic system |
CN115946150A (en) * | 2022-12-13 | 2023-04-11 | 深圳无芯科技有限公司 | Head structure with facial expression and robot with head structure |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101247237B1 (en) | 2010-12-28 | 2013-03-25 | 한국생산기술연구원 | Face robot having detachable inside and outside skins with easy maintenance |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4024683B2 (en) | 2003-01-15 | 2007-12-19 | 株式会社国際電気通信基礎技術研究所 | Communication robot |
-
2007
- 2007-08-31 KR KR1020070088539A patent/KR101002619B1/en not_active IP Right Cessation
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101026104B1 (en) * | 2008-09-26 | 2011-04-05 | 주식회사 로보스타 | Apparatus for emotional expression for arobot |
WO2012134212A2 (en) * | 2011-03-31 | 2012-10-04 | Korea Institute Of Industrial Technology | Tongue module for robot |
WO2012134212A3 (en) * | 2011-03-31 | 2013-01-03 | Korea Institute Of Industrial Technology | Tongue module for robot |
CN103358310A (en) * | 2013-07-04 | 2013-10-23 | 上海大学 | Mouth movement mechanism of humanoid robot |
KR101639386B1 (en) * | 2015-03-31 | 2016-07-13 | 한은주 | For CCTV camera with eye shape |
CN105881557A (en) * | 2016-06-21 | 2016-08-24 | 深圳爱易瑞科技有限公司 | Human-face-simulation intelligent device |
CN106393127A (en) * | 2016-08-29 | 2017-02-15 | 昆山塔米机器人有限公司 | Robot capable of simulating human facial expressions |
CN106695843A (en) * | 2017-03-22 | 2017-05-24 | 海南职业技术学院 | Interactive robot capable of imitating human facial expressions |
WO2019001036A1 (en) * | 2017-06-30 | 2019-01-03 | 深圳光启合众科技有限公司 | Head structure of biomimetic robot, and biomimetic robot |
CN107813294A (en) * | 2017-10-31 | 2018-03-20 | 梅其珍 | A kind of nonmetal flexible anthropomorphic robot |
CN107718014A (en) * | 2017-11-09 | 2018-02-23 | 深圳市小村机器人智能科技有限公司 | Highly emulated robot head construction and its method of controlling operation |
CN108568807A (en) * | 2018-06-14 | 2018-09-25 | 深圳埃米电子科技有限公司 | A kind of device of control robot face expression |
CN108568806A (en) * | 2018-06-14 | 2018-09-25 | 深圳埃米电子科技有限公司 | A kind of head construction of robot |
CN108568806B (en) * | 2018-06-14 | 2024-02-13 | 深圳埃米电子科技有限公司 | Head structure of robot |
CN108568807B (en) * | 2018-06-14 | 2024-02-13 | 深圳埃米电子科技有限公司 | Device for controlling facial expression of robot |
CN109129501A (en) * | 2018-08-28 | 2019-01-04 | 西安交通大学 | A kind of company formula Intelligent household central control robot |
CN110153997A (en) * | 2019-05-30 | 2019-08-23 | 大连木牛流马机器人科技有限公司 | Mechanical horse head movement bionic system |
CN115946150A (en) * | 2022-12-13 | 2023-04-11 | 深圳无芯科技有限公司 | Head structure with facial expression and robot with head structure |
CN115946150B (en) * | 2022-12-13 | 2023-11-14 | 深圳无芯科技有限公司 | Head structure with facial expression and robot with same |
Also Published As
Publication number | Publication date |
---|---|
KR101002619B1 (en) | 2010-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101002619B1 (en) | Face robot for giving expression | |
JP7437327B2 (en) | Method and system for interpolation of heterogeneous inputs | |
US8909370B2 (en) | Interactive systems employing robotic companions | |
Goris et al. | Mechanical design of the huggable robot Probo | |
Sosnowski et al. | Design and evaluation of emotion-display EDDIE | |
CN110103234B (en) | Humanoid facial expression robot | |
JP5185473B1 (en) | Legged robot | |
KR20170083091A (en) | Integrated user environments | |
JP2003265869A (en) | Eye-eyebrow structure of robot | |
Mollahosseini et al. | Expressionbot: An emotive lifelike robotic face for face-to-face communication | |
Nakaoka et al. | Creating facial motions of Cybernetic Human HRP-4C | |
KR100639068B1 (en) | apparatus and method of emotional expression for a robot | |
CN115533932A (en) | Mechanical structure of robot with multiple motion control points and expressions | |
Hackel et al. | Humanoid robot platform suitable for studying embodied interaction | |
Short et al. | Sprite: Stewart platform robot for interactive tabletop engagement | |
De Beir et al. | Enhancing nao expression of emotions using pluggable eyebrows | |
WO2013121469A1 (en) | Legged robot | |
Ricks et al. | Design and evaluation of a clinical upper-body humanoid robot for autism therapy | |
JP2019187917A (en) | Expression adjustable robot | |
CN210606303U (en) | Robot display system | |
JP7397425B2 (en) | Action expression mechanism | |
JP2005237522A (en) | Robot | |
Niderla et al. | Construction of a zoomorphical robot for rehabilitation of autistic children | |
Flores et al. | A novel robotic neck for realizing an anatomically accurate android head targeting facial perception research | |
Adăscălitei et al. | Controlling a social robot-performing nonverbal communication through facial expressions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131126 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20151201 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |