KR102618198B1 - 휠체어 장착형 로봇팔 제어시스템 - Google Patents

휠체어 장착형 로봇팔 제어시스템 Download PDF

Info

Publication number
KR102618198B1
KR102618198B1 KR1020220012152A KR20220012152A KR102618198B1 KR 102618198 B1 KR102618198 B1 KR 102618198B1 KR 1020220012152 A KR1020220012152 A KR 1020220012152A KR 20220012152 A KR20220012152 A KR 20220012152A KR 102618198 B1 KR102618198 B1 KR 102618198B1
Authority
KR
South Korea
Prior art keywords
module
coordinate value
wheelchair
robot arm
control system
Prior art date
Application number
KR1020220012152A
Other languages
English (en)
Other versions
KR20230115547A (ko
Inventor
임동원
윤정길
이용권
Original Assignee
수원대학교 산학협력단
한국하이액트지능기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수원대학교 산학협력단, 한국하이액트지능기술 주식회사 filed Critical 수원대학교 산학협력단
Priority to KR1020220012152A priority Critical patent/KR102618198B1/ko
Publication of KR20230115547A publication Critical patent/KR20230115547A/ko
Application granted granted Critical
Publication of KR102618198B1 publication Critical patent/KR102618198B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/046—Revolute coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것으로, 더욱 상세하게는 휠체어(3)에 안착하는 사용자의 음성신호를 분석하여 행위 대상인 객체 및 '잡아', '가져와' 등 명령 행위를 특정함으로써, 로봇팔(10)의 정교한 제어를 가능하도록 하면서도 주변 환경에 대한 간섭 없이 손쉽게 객체에 도달하도록 경로 설정하여, 용이한 활용 및 정교한 제어가 가능하도록 하는 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것이다.

Description

휠체어 장착형 로봇팔 제어시스템{CONTROLLING SYSTEM FOR WHEELCHAIR MOUNTABLE ROBOTIC ARM}
본 발명은 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것으로, 더욱 상세하게는 휠체어(3)에 안착하는 사용자의 음성신호를 분석하여 행위 대상인 객체 및 '잡아', '가져와' 등 명령 행위를 특정함으로써, 로봇팔(10)의 정교한 제어를 가능하도록 하면서도 주변 환경에 대한 간섭 없이 손쉽게 객체에 도달하도록 경로 설정하여, 용이한 활용 및 정교한 제어가 가능하도록 하는 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것이다.
거동이 불편한 노약자/장애인은 휠체어를 활용하며, 이러한 휠체어는 수동 혹은 전기로 구동될 수 있다. 또한, 해당 휠체어에는 운반할 수 있는 파지기능과 같은 임의의 기능을 갖는 로봇암(Robotic Arm)을 장착될 수 있다. 이러한 휠체어 장착형 로봇암은 휠체어에 장착되어, 척추손상 환자와 같이 하반신이 마비된 사용자의 휠체어 탑승 시 보조해 주는 역할을 수행할 수 있다. 특히, 상기 로봇암은 바닥에 떨어진 물건을 집거나 휠체어가 접근하기 어려운 테이블 위의 물건을 집을 때에 활용될 수 있다.
일반 휠체어의 경우 앉아있는 자세 때문에 팔의 가동범위가 좁아지게 된다. 일 예로, 최근 무인 주문 키오스크(Kiosk)가 식당 등 매장에 도입되는 추세에 있으며, 휠체어 탑승자(사용자)는 이를 통해 비대면으로 주문하는 것이 비용이하다. 이러한 일상생활 속 불편을 휠체어 장착형 로봇암을 활용하여 해소 가능하며, 현재 다양한 휠체어 장착형 로봇암이 시중에 판매되고 있다. 다만, 기존 로봇암은 조이스틱을 이용한 제어방식을 통하여 직관적 활용이 어려우며, 별도의 고가의 센서를 몸에 부착하여야 하는 사용상 번거로움이 있다. 또한, 기존 로봇암은 6 자유도를 가지도록 설계되어, 전동 휠체어 가격의 10~20배에 해당하는 등 높은 가격대로 형성되어 구매자 입장에서는 부담으로 작용할 수밖에 없다.
이러한 문제들을 해결하기 위해 본 발명의 발명자들은 개선된 구조를 가지는 4 자유도의 휠체어 장착형 로봇팔 제어시스템을 제시하고자 하며, 상세한 내용은 후술한다.
국내공개특허 제10-2007-0057711호 '기계아암을 갖춘 휠체어'
앞서 본 종래 기술의 문제점을 해결하기 위하여 안출된 것으로,
본 발명은 4 자유도를 가지는 로봇팔을 활용함으로써 해당 로봇팔의 제작 비용을 낮추어 사용자 부담을 덜어주는 휠체어 장착형 로봇팔 제어시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 그리퍼의 초기 좌표값인 제1 좌표값과 객체의 좌표값인 제2 좌표값을 기준으로 경유지점인 제3 좌표값을 도출함으로써, 해당 그리퍼가 객체에 도달하는 과정에서 주변환경에 의하여 간섭이 발생하는 것을 최대한 방지하도록 하는 휠체어 장착형 로봇팔 제어시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 그리퍼의 객체 도달 과정에서, 초기 지점에서 경유 지점까지는 가속된 후 점차 감속되도록 계획 설정하여, 객체까지의 신속한 도달과 함께 상기 그리퍼가 객체가 위치하는 지점을 넘어서지 않게 정확히 도달하도록 하는 휠체어 장착형 로봇팔 제어시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 비례 제어방식을 통한 피드백 제어모듈을 통해 그리퍼가 목표값을 추종하는 정도를 정확히 제어 가능하도록 하는 휠체어 장착형 로봇팔 제어시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자의 음성 신호에서 행위 대상 객체와, 행위를 정확히 특정하는 객체 특정모듈 및 행위 특정모듈을 구비함으로써 로봇팔의 정교한 제어가 가능하도록 하는 휠체어 장착형 로봇팔 제어시스템을 제공하는데 그 목적이 있다.
본 발명은 앞서 상술한 목적을 달성하기 위하여 다음과 같은 구성을 가진 실시예에 의하여 구현될 수 있다.
본 발명의 일 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템은 휠체어에 탈착 가능하게 장착되는 로봇팔; 상기 로봇팔의 일 측에 장착되어, 이미지 분석모듈에 촬영 이미지를 전달하는 카메라부; 그리퍼의 제1 좌표값을 기준으로 객체가 위치하는 목표지점의 제2 좌표값으로 도달하도록 경로를 계획 설정 및 제어하는 경로 설정부; 학습모델에 의해 사용자의 음성명령을 분석하여 상기 경로 설정부의 구동을 제어하는 음성 인식부; 및 상기 카메라부를 통해 제공되는 촬영 이미지 내 객체를 특정하는 이미지 분석모듈;을 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 로봇팔은 일 측이 제1 조인트를 통해 제1 각도 회전하는 장착부; 저부가 상기 장착부와 연결되는 제2 조인트를 통해 제2 각도 회전하며, 상측부가 상부 링크부와 제3 조인트를 통해 연결되는 하부 링크부; 저부가 상기 하부 링크부와 연결되는 제3 조인트를 통해 제3 각도 회전하고, 상측부가 그리퍼와 제4 조인트를 통해 연결되는 상부 링크부; 및 일 측이 상기 상부 링크부와 제4 조인트를 통해 연결되며 제4 각도 회전하는 그리퍼;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 제1 각도는 상기 하부 링크부가 손잡이부와 일직선일 때를 기준으로 사용자에게 멀어지는 방향으로 45˚ 및 가까워지는 방향으로 135˚ 범위 내이며, 상기 제2 각도는 수평면을 기준으로 0˚ 내지 180˚ 범위 내이고, 상기 제3 각도는 하부 링크부의 길이방향 중심축과 -180˚ 내지 0˚ 범위 내이며, 상기 제4 각도는 상부 링크부의 길이방향 중심축과 -90˚ 내지 90˚ 범위 내인 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 카메라부는 3D 뎁스 카메라인 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 경로 설정부는 제1 좌표값과 제2 좌표값을 기준으로 상기 제1 좌표값과 제2 좌표값 간 경유 지점인 제3 좌표값을 연산하는 경유지점 연산모듈;을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 제3 좌표값은 제1 좌표값의 x축 좌표값 및 y축 좌표값과, 제2 좌표값의 z축 좌표값을 통하여 도출되는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 경로 설정부는 제1 좌표값 내지 제3 좌표값을 기준으로, 초기 위치로부터 객체까지 도달하기 위한 제1 조인트 내지 제4 조인트의 제1 각도 내지 제4 각도의 경로를 계획 설정하는 파라미터값 설정모듈;을 추가로 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 경로 설정부는 상기 로봇팔의 제2 좌표값 도달 과정에서, 상기 그리퍼가 제1 좌표값으로부터 제3 좌표값 도달 시까지 상기 그리퍼의 이동 속도 가속시킨 후, 상기 제3 좌표값을 경유하여 제2 좌표값 도달 시까지 감속시키도록 계획 설정하는 속도 설정모듈;을 추가로 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 경로 설정부는 상기 그리퍼의 동작 중, 제2 좌표값으로의 정확한 도달이 가능하도록 피드백 제어하는 피드백 제어모듈;을 추가로 포함하고, 상기 피드백 제어모듈은 비례 제어방식을 통하여 수행되는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 음성 인식부는 사용자의 음성 신호인 명령어를 텍스트 데이터로 변환하는 변환모듈; 상기 텍스트 데이터의 문장 내 문자들을 밀집 벡터 표현으로 변환하는 전처리 모듈; 상기 전처리 모듈에 의하여 변환된 밀집 벡터를 통하여, 사용자의 음성 신호 중 객체를 특정하는 객체 특정모듈; 및 상기 전처리 모듈에 의하여 변환된 밀집 벡터를 통하여, 사용자의 음성 신호 중 행위를 특정하는 행위 특정모듈;을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 객체 특정모듈은 입력된 밀집 벡터에 대한 복수의 합성곱 연산을 수행하는 제1 연산모듈; 상기 제1 연산모듈에 의하여 맵핑된 다수의 밀집 벡터를 합성하는 통합모듈; 상기 통합모듈에 의하여 출력되는 밀집 벡터에 대한 합성곱 연산하여 기준 밀집벡터를 생성하는 제2 연산모듈; 및 상기 전처리 모듈에 의하여 변환된 밀집 벡터를 기준 밀집벡터와 코사인 유사도를 통해 비교하여 사용자의 음성 신호 중 객체를 특정하는 객체 유추모듈;을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 행위 특정모듈은 객체에 대한 행위 유형을 기 설정된 갯수로 분류한 이후, 상기 전처리 모듈에 의한 밀집 벡터 입력 시, 개별 행위 유형 별 확률을 연산한 이후, 가장 높은 확률의 행위 유형을 사용자의 음성 신호에 포함되는 행위로 특정하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 행위 유형은 행위 없음, 잡아, 가져와, 따라가 등 4가지로 분류되는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 휠체어 장착형 로봇팔 제어시스템에서의 상기 이미지 분석모듈은 YOLO 이미지 학습모델을 활용하는 것을 특징으로 한다.
본 발명은 앞서 본 구성에 의하여 다음과 같은 효과를 가진다.
본 발명은 4 자유도를 가지는 로봇팔을 활용함으로써 해당 로봇팔의 제작 비용을 낮추어 사용자 부담을 덜어주는 효과가 있다.
또한, 본 발명은 그리퍼의 초기 좌표값인 제1 좌표값과 객체의 좌표값인 제2 좌표값을 기준으로 경유지점인 제3 좌표값을 도출함으로써, 해당 그리퍼가 객체에 도달하는 과정에서 주변환경에 의하여 간섭이 발생하는 것을 최대한 방지하도록 하는 효과를 가진다.
또한, 본 발명은 그리퍼의 객체 도달 과정에서, 초기 지점에서 경유 지점까지는 가속된 후 점차 감속되도록 계획 설정하여, 객체까지의 신속한 도달과 함께 상기 그리퍼가 객체가 위치하는 지점을 넘어서지 않게 정확히 도달하도록 하는 효과가 도출된다.
또한, 본 발명은 비례 제어방식을 통한 피드백 제어모듈을 통해 그리퍼가 목표값을 추종하는 정도를 정확히 제어 가능하도록 하는 효과를 나타낸다.
또한, 본 발명은 사용자의 음성 신호에서 행위 대상 객체와, 행위를 정확히 특정하는 객체 특정모듈 및 행위 특정모듈을 구비함으로써 로봇팔의 정교한 제어가 가능하도록 하는 효과를 보인다.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 일 실시예에 따른 휠체어 장착형 로봇팔 제어시스템의 블럭도이고;
도 2 및 도 3은 도 1에 따른 휠체어 장착형 로봇팔 제어시스템의 참고적인 사시도이고;
도 4는 도 1에 따른 로봇팔의 참고도이고;
도 5는 도 1에 따른 경유지점 연산모듈에 의한 로봇팔의 동작과정을 설명하기 위한 참고도이고;
도 6은 도 1에 따른 피드백 제어모듈에서, 단일 제어방식을 설명하기 위한 블럭도이고;
도 7은 도 1에 따른 피드백 제어모듈에서, 비례 제어방식을 설명하기 위한 블럭도이고;
도 8은 도 1에 따른 음성 인식부를 통한 사용자의 음성 신호 내 객체 및 행위를 특정하는 과정을 설명하기 위한 참고도이고;
도 9는 도 1에 따른 객체 특정모듈의 블럭도이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시예는 다양한 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것으로 해석되어서는 안 되며 청구범위에 기재된 사항을 기준으로 해석되어야 한다. 또한, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 참고적으로 제공되는 것일 뿐이다.
본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하의 각 구성요소인 '~부'는, 단일 '부'가 복수의 하드웨어 구성에 의하여 구현될 수도 개별 '부'가 각각의 하드웨어 구성에 의하여 구현될 수도 있고 이에 별도의 제한이 있는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 휠체어 장착형 로봇팔 제어시스템의 블럭도이고; 도 2 및 도 3은 도 1에 따른 휠체어 장착형 로봇팔 제어시스템의 참고적인 사시도이다.
이하에서는 첨부된 도면들을 참고하여 본 발명의 일 실시예에 따른 휠체어 장착형 로봇팔 제어시스템에 대하여 상세히 설명하도록 한다.
도 1 내지 도 3을 참고하면, 본 발명은 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것으로, 더욱 상세하게는 휠체어(3)에 안착하는 사용자의 음성신호를 분석하여 행위 대상인 객체 및 '잡아', '가져와' 등 명령 행위를 특정함으로써, 로봇팔(10)의 정교한 제어를 가능하도록 하면서도 주변 환경에 대한 간섭 없이 손쉽게 객체에 도달하도록 경로 설정하여, 용이한 활용 및 정교한 제어가 가능하도록 하는 휠체어 장착형 로봇팔 제어시스템(1)에 관한 것이다.
상기 제어시스템(1)은, 로봇팔(10), 카메라부(30), 경로 설정부(50), 음성 인식부(70), 이미지 분석모듈(90)을 포함할 수 있다.
도 4는 도 1에 따른 로봇팔의 참고도이다.
도 1 내지 도 4를 참고하면, 로봇팔(10)은 일 측이 휠체어(3)에 탈착 가능하도록 장착되며, 경로 설정부(50)의 제어 명령에 의해 경로가 제어됨으로써, 일 측(예를 들어, 그리퍼(170))이 행위 대상 객체 및 사용자에게 도달하도록 하는 기구적인 구성이다. 예를 들어, 상기 로봇팔(10)은 후술할 장착부(110)가 손잡이부 일측에 장착될 수 있다. 이러한 로봇팔(10)은 4 자유도를 가지도록 설계된다. 이에 대하여 상세히 설명하면, 장착부(110)의 일 측은 제1 조인트(J1)를 통해 제1 각도(θ1)만큼 좌우방향(수평방향) 회전하며, 하부 링크부(130)는 제2 조인트(J2)를 통하여 제2 각도(θ2)만큼 상하방향(수직방향) 회전하고, 상부 링크부(150)는 제3 조인트(J3)를 통해 제3 각도(θ3) 상하방향(수직방향) 회전하며, 그리퍼(170)는 제4 조인트(J4)를 통해 제4 각도(θ4) 상하방향(수직방향) 회전할 수 있다.
제1 조인트(J1)는 장착부(110)의 일 측에, 제2 조인트(J2)는 장착부(110)와 하부 링크부(130)가 연결되는 측에, 제3 조인트(J)는 하부 링크부(130)와 상부 링크부(150)가 연결되는 측에, 제4 조인트(J4)는 상부 링크부(150)와 그리퍼(170)가 연결되는 측에 형성되는 것으로 이해한다. 또한, 제1 각도(θ1)는 하부 링크부(130)가 휠체어(3) 손잡이부(310)와 일직선일 때를 기준으로 사용자에게 멀어지는 방향으로 45˚ 및 가까워지는 방향으로 135˚ 범위 내이며, 제2 각도(θ2)는 수평면을 기준으로 0˚ 내지 180˚ 범위 내인 것이 바람직하다. 또한, 제3 각도(θ3)는 하부 링크부(130)의 길이방향 중심축과 0˚ 내지 180˚ 범위 내이고, 제4 각도(θ4)는 상부 링크부(150)의 길이방향 중심축과 -90˚ 내지 90˚ 범위 내인 것이 바람직하다.
상기 로봇팔(10)은, 전술한 바와 같이, 장착부(110), 하부 링크부(130), 상부 링크부(150) 및 그리퍼(170)를 포함할 수 있다.
장착부(110)는 그 저부가 휠체어(3)의 손잡이부(310)에, 상측부가 하부 링크부(130)와 연결되며, 일 측이 제1 각도(θ1) 회전하는 구성이며, 하부 링크부(130)는 그 저부가 장착부(110)와, 그 상측부가 상부 링크부(150)와 연결되어 제2 각도(θ2) 회전하는 구성이다. 또한, 상부 링크부(150)는 그 저부가 하부 링크부(130)와, 상측부가 그리퍼(170)와 연결되어 제3 각도(θ3) 회전하는 구성이며, 그리퍼(170)는 일 측이 상부 링크부(150)와 연결되어 제4 각도(θ4) 회전하는 구성이다. 각 조인트(J1 내지 J4)에는 회전모터(미도시)가 내장될 수 있으며, 개별 구성들의 연결은 공지된 또는 공지될 임의의 구성들을 활용하여 구현될 수 있고 이에 별도의 제한이 있는 것은 아니다.
또한, 제3 각도(θ3)가 0˚일 때, 하부 링크부(130)와 상부 링크부(150)는 상호 좌우 방향을 따라 중첩되도록 위치함으로써, 사용자의 측방향 시야에 간섭을 최소화하는 것이 바람직하다(도 2 참고). 즉, 하부 링크부(130)와 상부 링크부(150)는 제3 각도(θ3)가 0˚일 때 어느 하나의 구성이 나머지 구성에 적층되는 형태로 위치하여 사용자의 측방향 시야에 간섭이 발생하는 면적이 상대적으로 넓어지는 것을 방지하도록 서로 수평방향을 따라 배치되도록 하는 것이 바람직하다.
장착부(110), 하부 링크부(130), 상부 링크부(150) 및 그리퍼(170)는 PLA(Poly Lactic Acid)와 알루미늄 합금(Aluminium Alloy)으로, 나머지 회전모터, 베어링 등 연결 구성들은 스테인리스 스틸(Stainless Steel) 재질로 이루어지도록 할 수 있다. 또는, 장착부(110), 하부 링크부(130), 상부 링크부(150) 및 그리퍼(170)가 폴리프로필렌(Polypropylene)과 PLA 재질로 이루어지도록 할 수 있고 이에 별도의 제한이 있는 것은 아니다.
카메라부(30)는 로봇팔(10)의 일 측에, 바람직하게는 그리퍼(170)와 상부 링크부(150)가 만나는 제4 조인트(J4)와 인접한 측에 장착되어, 이미지 분석모듈(90) 에 촬영 이미지를 전달하는 구성으로, 사용자의 동작 명령 시에만 촬영 동작을 수행할 수도, 실시간 또는 주기적으로 촬영 동작을 수행할 수도 있고 이에 제한이 있는 것은 아니다. 상기 카메라부(30)는 3D 뎁스 카메라(3D Depth Camera)인 것이 바람직하며 이에 대한 상세한 설명은 후술하도록 한다.
도 5는 도 1에 따른 경유지점 연산모듈에 의한 로봇팔의 동작과정을 설명하기 위한 참고도이고; 도 6은 도 1에 따른 피드백 제어모듈에서, 단일 제어방식을 설명하기 위한 블럭도이고; 도 7은 도 1에 따른 피드백 제어모듈에서, 비례 제어방식을 설명하기 위한 블럭도이다.
도 1을 참고하면, 경로 설정부(50)는 그리퍼(170)의 초기 좌표값인 제1 좌표값(x1,y1,z1)을 기준으로 상기 그리퍼(170)가 행위 대상 객체가 위치하는 목표지점의 3차원 좌표값인 제2 좌표값(x2,y2,z2)으로 도달하도록 경로를 계획하고, 상기 그리퍼(170)의 실제 진행 경로를 제어하는 모듈로, 경유지점 연산모듈(510), 파라미터값 설정모듈(530), 속도 설정모듈(550), 로봇팔 구동모듈(570) 및 피드백 제어모듈(590)을 포함할 수 있다. 상기 그리퍼(170)의 제1 좌표값(x1,y1,z1)은 각 조인트들(J1 내지 J4)의 회전 각도(θ1,θ2,θ3,θ4)와 로봇팔(10)의 개별 구성들(110 내지 170)의 길이의 수치값을 활용하여 연산에 의해 도출할 수 있다. 또한, 목표지점의 제2 좌표값(x2,y2,z2)은 각 픽셀의 깊이 값에 대한 계산이 가능한 3D 뎁스 카메라로 이루어지는 카메라부(30) 및 이미지 분석모듈(90)을 통하여 도출할 수 있다.
도 1 및 도 5를 참고하면, 경유지점 연산모듈(510)은 도출된 제1 좌표값(x1,y1,z1)과 제2 좌표값(x2,y2,z2)을 기준으로 상기 제1 좌표값과 제2 좌표값 간 경유 지점을 설정/도출하는 모듈이다. 예를 들어, 목표대상 객체가 키오스크(Kiosk)인 경우, 그리퍼(170)가 초기 지점으로부터 키오스크의 목표 지점으로 이동 동작시, 키오스크의 타 지점을 선 접촉한 상태에서 z축 방향(상하 방향)을 따라 이동하는 경우 목표하지 않은 측 화면을 터치 오입력하는 경우가 발생할 수 있다. 또한, 목표대상 객체와과 인접한 측에 다양한 물체가 존재하는 등 특수한 주변상황에서, 해당 객체까지 도달하는데 간섭이 발생할 수 있다.
이와 같은 문제점을 방지하고자, 본 발명의 일 실시예에 따른 경로 설정부(50)는 경유지점 연산모듈(510)을 통하여 경유 지점의 제3 좌표값(x3,y3,z3)을 먼저 연산한 이후 그리퍼(170)를 상기 경유 지점까지 이동 동작시킨 이후, 제2 좌표값과 대응되는 측으로 이동하도록 구동할 수 있다. 경유지점 연산모듈(510)을 통하여 도출된 경유지점은 (x3=x1,y3=y1,z3=z2)으로 도출될 수 있다.
일반적으로, 전술한 2가지 예시들을 고려하면, 특정 공간에서 사용자 동작 명령에 따라 그리퍼(170)가 3차원 동작으로 이동시, 상하 방향으로 구동될 때 경로 간섭 등의 문제가 발생할 가능성이 높다. 이와 같은 문제점을 방지하고자, 경유지점 연산모듈(510)은 경유지점을 x 및 y 좌표값은 제1 좌표값과 동일하되, z 좌표값을 제2 좌표값과 동일하게 설정하는 것이 바람직하다. 또한, 상기 경유지점 연산모듈(510)은 사용자 설정에 따라 복수의 경유 지점을 도출할 수도 있고 이에 별도의 제한이 있는 것은 아니다.
파라미터값 설정모듈(530)은 제1 좌표값(x1,y1,z1)과 제2 좌표값(x2,y2,z2)을 기준으로 하여, 또는 제1 좌표값(x1,y1,z1)과 제2 좌표값(x2,y2,z2) 및 제3 좌표값(x3,y3,z3)을 기준으로 하여 초기 위치로부터 객체까지의 도달하기 위한 각 조인트들(J1 내지 J4)의 회전 각도(θ1,θ2,θ3,θ4) 경로를 설정하는 모듈이다. 즉, 상기 파라미터값 설정모듈(530)은 객체까지의 도달을 위한 구동 전 로봇팔(10)의 회전 각도 경로를 계획 설정할 수 있다. 또한, 상기 파라미터값 설정모듈(530)은 각 조인트들(J1 내지 J4)의 각속도 및/또는 각가속도 경로 역시 계획 설정할 수 있다. 상기 회전 각도(θ1,θ2,θ3,θ4), 제1 내지 제3 좌표값들을 통하여 역기구학 해석에 의하여 도출될 수 있다. 또한, 상기 각속도 경로는 회전 각도(θ1,θ2,θ3,θ4 ) 경로에 대한 미분식을 통해, 상기 각가속도 경로는 각속도 경로에 대한 미분식을 통해 도출될 수 있다.
도 1을 참고하면, 속도 설정모듈(550)은 로봇팔(10)의 구동을 통한 목표 지점 도달 경로 계획시 상기 로봇팔(10)의 속도를 계획 설정하는 모듈이다. 이러한 속도 설정은, 각 조인트(J1 내지 J4) 측에 내장되어 있는 회전 모터의 동작 제어를 통하여 수행될 수 있다. 상기 속도 설정모듈(550)을 통한, 속도 설정은, 그리퍼(170)가 초기 좌표값인 제1 좌표값(x1,y1,z1)으로부터 경유 지점인 제3 좌표값(x3,y3,z3)까지 도달 시점까지는 상기 그리퍼(170)가 가속되도록 회전모터의 각도 경로를 계획 설정한 이후, 상기 제3 좌표값(x3,y3,z3)을 경유한 후 제2 좌표값(x2,y2,z2)에 도달할 때까지 최고 속도에서 점차 감속되도록 회전모터의 각도 경로를 계획 설정하는 것이 바람직하다.
이와 같은 속도 계획 설정을 통하여, 로봇팔(10)의 행위대상 객체까지의 신속한 도달을 가능하게 하면서도, 상기 로봇팔(10)의 객체가 위치하는 지점을 넘어서지 않도록 정확하게 도달하도록 하여 정교한 제어를 가능하도록 할 수 있다.
로봇팔 구동모듈(570)은 각 조인트(J1 내지 J4)의 계획된 회전모터의 각도 경로를 수신하여, 목표값(또는 목표 각도값)에 도달하도록 상기 조인트(J1 내지 J4) 별 회전모터의 각도를 제어하는 모듈이다. 예를 들어, 상기 로봇팔 구동모듈(570)은 계획된 각도 경로를 소정 시간 간격으로 설정된 주기 별 목표 각도값으로 수신하여, 대응하는 주기 별 상기 목표 각도값에 도달하도록 개별 조인트(J1 내지 J4) 별 회전모터의 각도를 제어할 수 있다.
상기 로봇팔 구동모듈(570)에 의한 회전모터 각도 제어는, 각 조인트(J1 내지 J4)의 주기 별 목표 각도값과 현재 각도값의 차이 또는 오차(e)를 바탕으로, 개별 조인트(J1 내지 J4) 측 회전모터가 목표 각도값에 도달하도록 제어하는 방식을 활용할 수 있다.
상기 회전 각도에 대한 제어는
으로 표현할 수 있다. 비례 제어, 적분 및 미분 제어로, Kp, Ki 및 Kd는 0 이상의 값을 가질 수 있다. e(t)는 로봇팔(10) 구동시간 별 목표 각도와 현재 각도의 오차값(또는 차이값)이다.
피드백 제어모듈(590)은 로봇팔(10) 구동시, 그리퍼(170)가 제2 좌표값(x2,y2,z2)으로의 정확한 도달이 가능하도록 피드백 제어하는 모듈이다. 일반적으로, 경유지점 연산모듈(510), 파라미터값 설정모듈(530), 속도 설정모듈(550)의 계획 설정에 따른 로봇팔(10) 구동시, 상기 로봇팔(10)의 처짐, 외부 충격 등의 외란으로 인하여 목표했던 지점인 제2 좌표값(x2,y2,z2)까지의 정교한 제어가 어려운 경우가 발생할 수 있다. 상기 피드백 제어모듈(590)은 이와 같은 문제점을 해결하기 위한 것으로,
상기 피드백 제어모듈(590)은 예를 들어 단일 제어방식을 활용할 수 있다(도 6 참고). R은 제어하고자 하는 목표값인 제2 좌표값이며, G는 전달함수 그리고 Y는 출력값이다. 단일 제어 방식에서의 전달함수는,
(1) G/(1+G)
이다. 다만 이와 같은 단일 제어 방식은 목표값을 추종하는 정도를 제어할 수 없다. 따라서, 상기 피드백 제어모듈(590)은 비례 제어방식을 활용하는 것이 바람직하다(도 7 참고). 비례 제어 방식에서의 폐루프 전달함수는
(2) Kp*G/(1+Kp*G)
이며, Kp는 0 이상 그리고 1 이하의 값을 가질 수 있다(회전 각도 제어의 Kp값과 상이함). 이러한 피드백 제어모듈(590)은 제어기(미도시)를 통하여 구현될 수 있고 이에 별다른 제한이 있는 것은 아니다.
도 8은 도 1에 따른 음성 인식부를 통한 사용자의 음성 신호 내 객체 및 행위를 특정하는 과정을 설명하기 위한 참고도이다.
도 1 및 도 8을 참고하면, 음성 인식부(70)는 학습모델에 의해 사용자의 음성 신호를 분석하여 경로 설정부(50)의 구동을 제어하는 모듈로, 이를 위하여 변환 모듈(710), 전처리 모듈(730), 객체 특정모듈(750) 및 행위 특정모듈(770)을 포함할 수 있다. 상기 학습모델은 뉴럴 네트워크(Neural Network;NN)으로 구성될 수 있으나 이에 제한이 있는 것은 아니다.
변환 모듈(710)은 사용자의 음성 신호인 명령어를 텍스트 데이터로 변환하는 모듈로, 예를 들어 google speech to text API를 활용할 수 있다. 예를 들어, 사용자가 '이 컵 가져와'라고 명령하는 경우, 대응하는 텍스트 데이터를 생성할 수 있다.
전처리 모듈(730)은 입력되는 텍스트 데이터의 문장 내 문자(들)를 학습모델에 의하여 벡터 표현으로 변환하는 모듈이다. 상기 전처리 모듈(730)은 문장을 구성하는 단어들을 뉴럴 네트워크 모델에 의하여 임베딩된 벡터로 변환하는 임베딩(Embedding) 과정을 거칠 수 있다.
일반적으로 임베딩 과정은, 표현하고 싶은 단어의 인덱스에 1 값을 부여하고, 그 외 인덱스에 0 값을 부여하는 벡터 표현 방식인 원-핫 인코딩(One-Hot Encoding)을 활용할 수 있다. 이러한 원-핫 인코딩 방식은 단어의 갯수가 증가할수록 벡터를 저장하기 위해 필요한 공간이 늘어나 저장 공간 측면에서 매우 비효율적이며, 단어의 유사도/특성을 표현하지 못하는 단점이 있다. 즉, '국어' [1,0,0,0], '수학' [0,1,0,0], '영어' [0,0,1,0] 및 '과학' [0,0,0,1] 등으로 표현된 희소 벡터에서 단어들의 유사도를 찾아낼 수가 없다.
이러한 문제점을 해결하기 위하여, 밀집 표현(Dense Representation)을 활용할 수 있다. 해당 밀집 표현 방식은 사용자가 설정한 값으로 모든 단어의 벡터 표현 차원을 맞추며, 모든 차원에 실수값을 부여한다. 예를 들어, 단어 '국어'에 [0.2,0.1,-0.3,0.8, ...], '수학'에 [0.3,-0.2,0.1,0.7, ...] 등으로 밀집 벡터를 생성할 수 있는 것이다. 이러한 밀집 표현 방식은, 원-핫 인코딩 방식에 비하여 벡터 공간 크기가 작고, 단어 간 특성 또는 유사성을 나타낼 수 있는 것에 장점이 있다.
상기 전처리 모듈(730)은 기계학습을 통해 캐릭터 임베딩(character embedding) 모델을 구축한 이후, 변환모듈(710)을 통한 텍스트 데이터의 입력시 대응되는 밀집 벡터를 생성한다. 그 과정에 대하여 상세히 설명하면, 상기 전처리 모듈(730)은, 입력되는 단어에 대한 희소 벡터와, 단어를 구성하는 문자들의 희소 벡터를 기계학습 모델에 대한 입력 데이터로 생성할 수 있다.
또한, 입력 데이터로 변환되는 단어 주변의 단어(들)의 희소 벡터를 정답 데이터로 생성할 수 있다. 입력 데이터 및 정답 데이터 등 학습 데이터가 입력되면, 상기 모듈(730)은 임베딩 레이어(Embedding Layer)에서 밀집 벡터를 생성한다. 이후, 입력된 문자를 조합하면 어떠한 단어가 되는지 희소 벡터로 예측을 하고, 상기 예측된 값과 실제 입력된 단어의 희소 벡터를 Skip-Gram 모델에 입력하여 각각 주변 단어를 예측한다. 그리고 각각 예측된 주변 단어에 대한 결과값의 손실을 통해 캐릭터 임베딩 모델을 학습한다. 임베딩 모델이 학습되면, 임베딩 레이어의 가중치를 각 문자의 밀집 벡터로 사용할 수 있다. 이와 같이 구축된 임베딩 모델에 의하여 입력되는 텍스트 데이터를 밀집 벡터로 출력한다.
도 9는 도 1에 따른 객체 특정모듈의 블럭도이다.
도 1, 도 8 및 도 9를 참고하면, 객체 특정모듈(750)은 전처리 모듈(730)에 의하여 문자 단위로 임베딩된 밀집 벡터를 통하여, 사용자의 음성신호 중 행위대상인 객체를 특정하는 모듈이다. 예를 들어, 음성 인식부(70)에 '이 컵 가져와' 음성신호가 입력되면, 행위대상 객체인 '컵'이 특정되는 모듈이다. 이러한 객체 특정모듈(750)의 학습모델 구축과정에 대하여 설명한다. 예를 들어 학습 데이터로 문자 단위로 임베딩된 밀집 벡터를 입력하면, 상기 밀집 벡터에 대한 합성곱(Convolution) 연산을 수행한다. 일 예로, 합성곱 연산은 'conv1D' 방식을 적용하여 수행될 수 있다.
객체 특정모듈(750)은, 예를 들어 입력된 밀집 벡터를 1 conv1D, 3 conv1D 및 5 conv1D의 합성곱 연산을 수행하는 제1 연산모듈(751)을 포함할 수 있다. conv1D는 1차원 합성곱 연산 함수이며, 상기 conv1D 앞의 '1', '3' 및 '5'는 상기 밀집 벡터에서의 필터 크기(또는 Height)를 의미한다. 상기 예시에 의하면, 제1 연산모듈(751)에 의하여 입력된 밀집 벡터는 3개의 밀집 벡터로 맵핑되고, 통합모듈(753)을 통하여 하나의 벡터로 합성될 수 있다.
상기 통합모듈(753)은 예를 들어 concatenate 함수를 통하여 수행될 수 있다. 그 후, 합성된 밀집 벡터는 제2 연산모듈(755)에 의하여 다시 합성곱 연산이 수행될 수 있다. 이 때 제2 연산모듈(755)은 5 conv1D, 3 conv1D 및 1 conv1D 합성곱 연산을 순차적으로 수행할 수 있으나 이에 별도의 제한이 있는 것은 아니다. 상기 모듈들(751,753,755)에 의하여 객체를 특정하기 위한 학습 모델이 구축될 수 있다.
사용자의 음성신호에 의하여 전처리 모듈(730)을 통해 변환된 밀집 벡터는 상기 모듈들(751,753,533)에 의하여 구축된 학습 모델에 의하여 가중치 부여된 신규 밀집 벡터로 출력되고, 그 후 코사인 유사도를 활용하여 기 임베딩된 학습 모델의 기준 밀집벡터와 비교하여 단어를 유추하는 객체 유추모듈(757)을 추가로 포함할 수 있다. 상기 객체 유추모듈(757)을 통하여, 예를 들어 행위대상 객체인 '컵'이 특정될 수 있다.
행위 특정모듈(770)은 전처리 모듈(730)에 입력되어 출력되는 문장에 대한 문자 단위로 임베딩된 밀집 벡터를 통하여, 사용자의 음성신호 중 행위를 특정하는 모듈이다. 즉, 예를 들어 '이 컵 가져와' 음성신호가 입력되면, 상기 행위 특정모듈(770)에 의하여 '가져와'가 특정될 수 있는 것이다. 상기 행위 특정모듈(770)의 학습모델은 장/단기 기억 네트워크(Long Short-Term Memory models; LSTM) 모델을 통하여 구축될 수 있다.
상기 행위 특정모듈(770)은 예를 들어, 객체에 대한 행위를 [행위 없음, 잡아, 가져와, 따라가] 등 총 4개로 분류한 이후, 사용자의 음성 신호 문장이 전처리 모듈(730)에 의하여 밀집 벡터로 변환되어 입력될 시, 해당 문장에서 4가지 행위 중 가장 높은 확률의 행위를 음성 명령에 포함된 행위로 인식하여 특정할 수 있다.
예를 들어, 전처리 모듈(730)을 거친 밀집 벡터 입력시 softmax 함수를 통하여 각 행위가 정답인 확률을 출력하고, 출력된 확률값은 argmax 함수를 통하여 가장 높은 확률값을 출력함으로써 음성 명령에 포함된, 객체에 대한 행위를 특정할 수 있다. 상기 행위 특정모듈(770)은 행위를 총 4개로 분류한 것을 예시적으로 설명하였으나, 이에 별도의 제한이 있는 것은 아니며, 2개, 3개 등 복수개의 분류인 것으로 족하다. 상기 행위 특정모듈(770)은 객체 특정모듈(750)과 일체로 형성될 수도 독립적으로 형성될 수도 있고 이에 별도의 제한이 있는 것은 아니다.
도 1을 참고하면, 이미지 분석모듈(90)은 카메라부(30)를 통하여 제공되는 촬영 이미지 내 포함되는 각 객체를 특정하는 모듈이다. 이러한 이미지 분석모듈(90)은 YOLO(You Only Look Once) 이미지 학습모델을 활용하여 수행될 수 있다. 즉, 카메라부(30)를 통하여 단일 이미지 데이터가 입력되면 객체를 찾아 bounding box와 가장 높은 확률의 클래스를 찾고, 각 그리드에서 객체의 확률과 IOU(Insertion Of Union)값을 비교하여 가장 높은 확률을 가진 클래스를 검출하여 해당 그리드의 클래스를 확정한다. 이후, 확정된 클래스의 확률이 임계값 이상의 그리드를 이용하여 bounding box를 표시한다. 상기 이미지 분석모듈(90)에 의하여 촬영 이미지 내 객체와 위치(예를 들어 제2 좌표값)를 특정할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다.
1 : 휠체어 장착형 로봇팔 제어시스템
10 : 로봇팔
110 : 장착부 130 : 하부 링크부
150 : 상부 링크부 170 : 그리퍼
30 : 카메라부
50 : 경로 설정부
510 : 경유지점 연산모듈 530 : 파라미터값 설정모듈
550 : 속도 설정모듈 570 : 로봇팔 구동모듈
590 : 피드백 제어모듈
70 : 음성 인식부
710 : 변환 모듈
730 : 전처리 모듈
750 : 객체 특정모듈
751 : 제1 연산모듈 753 : 통합모듈
755 : 제2 연산모듈 757 : 객체 유추모듈
770 : 행위 특정모듈
90 : 이미지 분석모듈
3 : 휠체어
310 : 손잡이부
J1~J4 : 제1 조인트 내지 제4 조인트
θ1~θ4 : 제1 각도 내지 제4 각도

Claims (14)

  1. 휠체어에 탈착 가능하게 장착되며, 4 자유도를 가지는 로봇팔;
    상기 로봇팔의 일 측에 장착되어, 이미지 분석모듈에 촬영 이미지를 전달하는 카메라부;
    그리퍼의 제1 좌표값을 기준으로 객체가 위치하는 목표지점의 제2 좌표값으로 도달하도록 경로를 계획 설정 및 제어하는 경로 설정부;
    학습모델에 의해 사용자의 음성명령을 분석하여 상기 경로 설정부의 구동을 제어하는 음성 인식부; 및
    상기 카메라부를 통해 제공되는 촬영 이미지 내 객체를 특정하는 이미지 분석모듈;을 포함하고,
    상기 로봇팔은
    일 측이 제1 조인트를 통해 제1 각도 회전하는 장착부; 저부가 상기 장착부와 연결되는 제2 조인트를 통해 제2 각도 회전하며, 상측부가 상부 링크부와 제3 조인트를 통해 연결되는 하부 링크부; 저부가 상기 하부 링크부와 연결되는 제3 조인트를 통해 제3 각도 회전하고, 상측부가 그리퍼와 제4 조인트를 통해 연결되는 상부 링크부; 및 일 측이 상기 상부 링크부와 제4 조인트를 통해 연결되며 제4 각도 회전하는 그리퍼;를 포함하며,
    상기 경로 설정부는
    상기 그리퍼의 초기 좌표값인 제1 좌표값과 객체가 위치하는 목표지점의 제2 좌표값 간 경유 지점인 제3 좌표값을 연산하는 경유지점 연산모듈; 상기 제1 좌표값과 제2 좌표값 및 제3 좌표값을 기준으로 하여 상기 그리퍼의 초기 위치로부터 객체까지의 도달을 위한 각 조인트들의 회전 각도를 설정하는 파라미터값 설정모듈; 및 상기 그리퍼가 제1 좌표값으로부터 제3 좌표값에 도달 시까지 가속되도록 하며 상기 제3 좌표값에서 제2 좌표값에 도달 시까지 감속되도록 제어하는 속도 설정모듈을 포함하고,
    상기 경유지점 연산모듈은
    제3 좌표값을 제1 좌표값의 x 좌표값 및 y 좌표값과 동일하되 제2 좌표값의 z 좌표값과 동일하게 설정하는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 제1 각도는
    상기 하부 링크부가 손잡이부와 일직선일 때를 기준으로 사용자에게 멀어지는 방향으로 45˚ 및 가까워지는 방향으로 135˚ 범위 내이며,
    상기 제2 각도는
    수평면을 기준으로 0˚ 내지 180˚ 범위 내이고,
    상기 제3 각도는
    하부 링크부의 길이방향 중심축과 0˚ 내지 180˚ 범위 내이며,
    상기 제4 각도는
    상부 링크부의 길이방향 중심축과 -90˚ 내지 90˚ 범위 내인 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  4. 제1항에 있어서, 상기 카메라부는
    3D 뎁스 카메라인 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 경로 설정부는
    상기 그리퍼의 동작 중, 제2 좌표값으로의 정확한 도달이 가능하도록 피드백 제어하는 피드백 제어모듈;을 추가로 포함하고,
    상기 피드백 제어모듈은
    비례 제어방식을 통하여 수행되는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  10. 제1항에 있어서, 상기 음성 인식부는
    사용자의 음성 신호인 명령어를 텍스트 데이터로 변환하는 변환모듈;
    상기 텍스트 데이터의 문장 내 문자들을 밀집 벡터 표현으로 변환하는 전처리 모듈;
    상기 전처리 모듈에 의하여 변환된 밀집 벡터를 통하여, 사용자의 음성 신호 중 객체를 특정하는 객체 특정모듈; 및
    상기 전처리 모듈에 의하여 변환된 밀집 벡터를 통하여, 사용자의 음성 신호 중 행위를 특정하는 행위 특정모듈;을 포함하는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  11. 제10항에 있어서, 상기 객체 특정모듈은
    입력된 밀집 벡터에 대한 복수의 합성곱 연산을 수행하는 제1 연산모듈;
    상기 제1 연산모듈에 의하여 맵핑된 다수의 밀집 벡터를 합성하는 통합모듈;
    상기 통합모듈에 의하여 출력되는 밀집 벡터에 대한 합성곱 연산하여 기준 밀집벡터를 생성하는 제2 연산모듈; 및
    상기 전처리 모듈에 의하여 변환된 밀집 벡터를 기준 밀집벡터와 코사인 유사도를 통해 비교하여 사용자의 음성 신호 중 객체를 특정하는 객체 유추모듈;을 포함하는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  12. 제10항에 있어서, 상기 행위 특정모듈은
    객체에 대한 행위 유형을 기 설정된 갯수로 분류한 이후, 상기 전처리 모듈에 의한 밀집 벡터 입력 시, 개별 행위 유형 별 확률을 연산한 이후, 가장 높은 확률의 행위 유형을 사용자의 음성 신호에 포함되는 행위로 특정하는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  13. 제12항에 있어서, 상기 행위 유형은
    행위 없음, 잡아, 가져와, 따라가 등 4가지로 분류되는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
  14. 제1항에 있어서, 상기 이미지 분석모듈은
    YOLO 이미지 학습모델을 활용하는 것을 특징으로 하는 휠체어 장착형 로봇팔 제어시스템.
KR1020220012152A 2022-01-27 2022-01-27 휠체어 장착형 로봇팔 제어시스템 KR102618198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220012152A KR102618198B1 (ko) 2022-01-27 2022-01-27 휠체어 장착형 로봇팔 제어시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220012152A KR102618198B1 (ko) 2022-01-27 2022-01-27 휠체어 장착형 로봇팔 제어시스템

Publications (2)

Publication Number Publication Date
KR20230115547A KR20230115547A (ko) 2023-08-03
KR102618198B1 true KR102618198B1 (ko) 2023-12-27

Family

ID=87568116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220012152A KR102618198B1 (ko) 2022-01-27 2022-01-27 휠체어 장착형 로봇팔 제어시스템

Country Status (1)

Country Link
KR (1) KR102618198B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009531184A (ja) 2006-03-27 2009-09-03 コミッサリア タ レネルジー アトミーク 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法
JP2011118924A (ja) 2011-02-17 2011-06-16 Kyokko Denki Kk 多関節構造体、それを用いた装着具、システムおよびヒューマンマシンインターフェース
CN103110485A (zh) * 2013-02-25 2013-05-22 武汉理工大学 多功能医疗监护智能轮椅及轮椅控制方法
CN109620493A (zh) * 2018-12-07 2019-04-16 西安科技大学 基于脑控的残疾人生活辅助装置及其控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015712A (ja) * 1983-07-06 1985-01-26 Matsushita Electric Ind Co Ltd ロボツトの教示装置
US6646541B1 (en) * 1996-06-24 2003-11-11 Computer Motion, Inc. General purpose distributed operating room control system
NL1026282C2 (nl) 2004-05-27 2005-11-30 Exact Dynamics B V Rolstoel met mechanische arm.
KR102109866B1 (ko) * 2018-10-05 2020-05-12 동아대학교 산학협력단 합성곱 신경망에 의한 발화 임베딩을 사용한 유사도 측정 기반의 채팅 말뭉치 확장을 위한 장치 및 방법
KR102260646B1 (ko) * 2018-10-10 2021-06-07 고려대학교 산학협력단 자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법
KR20190107289A (ko) * 2019-08-30 2019-09-19 엘지전자 주식회사 인공지능 로봇 및 인공지능 로봇의 음성인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009531184A (ja) 2006-03-27 2009-09-03 コミッサリア タ レネルジー アトミーク 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法
JP2011118924A (ja) 2011-02-17 2011-06-16 Kyokko Denki Kk 多関節構造体、それを用いた装着具、システムおよびヒューマンマシンインターフェース
CN103110485A (zh) * 2013-02-25 2013-05-22 武汉理工大学 多功能医疗监护智能轮椅及轮椅控制方法
CN109620493A (zh) * 2018-12-07 2019-04-16 西安科技大学 基于脑控的残疾人生活辅助装置及其控制方法

Also Published As

Publication number Publication date
KR20230115547A (ko) 2023-08-03

Similar Documents

Publication Publication Date Title
JP6807949B2 (ja) 干渉回避装置
CN109551476B (zh) 结合云服务系统的机器人系统
Brooks et al. Sensing and manipulating built-for-human environments
US20200046169A1 (en) Robot system and control method of the same
Nakauchi et al. A social robot that stands in line
WO2022015807A1 (en) Method and system for object grasping
EP3585569B1 (en) Systems, apparatus, and methods for robotic learning and execution of skills
US11904470B2 (en) Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions
CN107363834B (zh) 一种基于认知地图的机械臂抓取方法
CN114746906A (zh) 具有机器人任务特定的头的共享密集网络
Kashyap et al. Multi-objective trajectory planning of humanoid robot using hybrid controller for multi-target problem in complex terrain
Alibhai et al. A Human-Computer Interface for smart wheelchair control using forearm EMG signals
Kragic et al. A framework for visual servoing
KR102618198B1 (ko) 휠체어 장착형 로봇팔 제어시스템
Zavyalov et al. Robotic and smart service for people with disabilities
JP6142307B2 (ja) 注目対象推定システムならびにロボットおよび制御プログラム
Xu et al. Avoidance of manual labeling in robotic autonomous navigation through multi-sensory semi-supervised learning
WO2022209924A1 (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
Luo et al. Recursive neural network based semantic navigation of an autonomous mobile robot through understanding human verbal instructions
Ko Visual object tracking for UAVs using deep reinforcement learning
Qian Design and control of a personal assistant robot
Gräser et al. Vision-based control of assistive robot FRIEND: Practical experiences and design conclusions
Duan et al. Overview of Robots
Kragic et al. Biologically motivated visual servoing and grasping for real world tasks
Nguyen et al. A modular design process for developing humanoid mobile robot viebot

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant