KR102525661B1 - 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 - Google Patents
작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 Download PDFInfo
- Publication number
- KR102525661B1 KR102525661B1 KR1020230007672A KR20230007672A KR102525661B1 KR 102525661 B1 KR102525661 B1 KR 102525661B1 KR 1020230007672 A KR1020230007672 A KR 1020230007672A KR 20230007672 A KR20230007672 A KR 20230007672A KR 102525661 B1 KR102525661 B1 KR 102525661B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- joint
- work device
- angle
- data
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims description 33
- 230000008859 change Effects 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims description 62
- 238000003062 neural network model Methods 0.000 claims description 32
- 210000001503 joint Anatomy 0.000 claims description 22
- 210000003857 wrist joint Anatomy 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 210000001145 finger joint Anatomy 0.000 claims description 9
- 210000002310 elbow joint Anatomy 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000011017 operating method Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 29
- 230000036544 posture Effects 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 210000003811 finger Anatomy 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000003416 augmentation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 210000002478 hand joint Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
Abstract
본 발명은 작업 장치의 원격 제어를 위한 실시간 훈련을 수행하기 위한 것으로, 작업 장치를 제어하기 위한 사용자 장치의 동작 방법은, 상기 사용자 장치에 구비된 제1 카메라를 통해 획득된 사용자의 손의 적어도 하나의 관절에 대한 영상들에서 추출되는 상기 적어도 하나의 관절의 각도 변화에 기반하여, 초기 설정된 명령어 생성 규칙에 따라, 상기 작업 장치를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신하는 단계를 포함한다.
Description
본 발명은 작업 장치의 제어에 관한 것으로, 보다 구체적으로 작업 장치의 원격 제어를 위한 실시간 훈련을 수행하기 위한 방법 및 그 장치에 관한 것이다.
산업 현장에서 필요로 하는 다양한 물리적인 작업을 사람의 노동력에 의해 수행하는 것이 과거의 전통적인 방식이었다. 하지만, 현장의 다양한 조건, 작업의 내용이나 특성에 따라 인력이 직접적으로 투입되기 어려운 환경이 존재할 수 있다. 이 경우, 작업 장치를 활용하면 보다 효과적인 작업 수행이 가능할 수 있다. 한편, 작업 장치를 사용하더라도, 인간이 작업 장치의 인접한 상태에서 직접 제어해야 한다면, 그 효용성은 다소 낮을 것이다. 따라서, 그 거리의 정도의 차이는 있더라도, 작업 장치를 원격으로 제어하는 것이 보다 큰 활용성을 제공할 수 있다. 이 경우, 효과적인 제어가 이루어지는 것이 필요하다.
본 발명은 작업 장치를 보다 효과적으로 제어하기 위한 방법 및 그 장치를 제공한다.
본 발명은 작업 장치를 AI(Artificial Intelligence) 또는 ML(Machine Learning) 모델을 이용하여 원격으로 제어하기 위한 방법 및 그 장치를 제공한다.
본 발명은 카메라를 이용하여 작업 장치를 실시간으로 제어하기 위한 방법 및 그 장치를 제공한다.
본 발명은 작업 장치를 제어하기 위한 AI 또는 ML 모델을 훈련시키기 위한 방법 및 그 장치를 제공한다.
본 발명은 카메라를 이용하여 촬영되는 사용자의 손신체의 일부에 대한 인식 결과에 기반하여 작업 장치를 제어하기 위한 방법 및 그 장치를 제공한다.
본 발명의 실시 예에 따르면, 작업 장치를 제어하기 위한 사용자 장치의 동작 방법은, 상기 사용자 장치에 구비된 제1 카메라를 통해 획득된 사용자의 손의 적어도 하나의 관절에 대한 영상들에서 추출되는 상기 적어도 하나의 관절의 각도 변화에 기반하여, 초기 설정된 명령어 생성 규칙에 따라, 상기 작업 장치를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신하는 단계, 원격 현장에 위치한 제2 카메라를 이용하여 촬영된 상기 적어도 하나의 명령어에 따른 상기 작업 장치의 움직임에 대한 동영상 데이터 및 상기 움직임에 대한 운동 데이터를 수신하는 단계, 상기 동영상 데이터에 기반하여 상기 작업 장치의 움직임을 표현하는 실시간 동영상을 상기 사용자 장치에 구비된 디스플레이에 표시하는 단계, 상기 적어도 하나의 관절의 각도 변화를 나타내는 제1 입력 값, 상기 적어도 하나의 관절의 각도 변화 속도를 나타내는 제2 입력 값, 상기 운동 데이터에 의해 지시되는 회전량을 나타내는 제3 입력 값, 상기 운동 데이터에 의해 지시되는 회전 속도를 나타내는 제4 입력 값, 상기 움직임에 대한 사용자의 피드백에 기반하여 결정되는 레이블(label)을 포함하는 데이터 세트를 생성하는 단계, 상기 데이터 세트를 포함하는 학습 데이터에 기반하여 훈련된, 상기 명령어 생성 규칙에 포함되는 적어도 하나의 파라미터를 결정하는 신경망 모델을 이용하여 상기 명령어 생성 규칙을 갱신하는 단계, 상기 갱신된 명령어 생성 규칙에 따라, 상기 작업 장치를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신하는 단계를 포함하며, 상기 학습 데이터는, 상기 제1 입력 값, 상기 제2 입력 값, 상기 제3 입력 값 및 상기 제4 입력 값에 미리 정의된 가중치들을 곱하여 가중치들의 개수 만큼의 추가적인 데이터 세트들을 생성함으로써 증강하는 동작, 생성된 데이터 세트들 중 최대 가동 범위를 벗어나는 각도 변화량 또는 회전량을 가지는 적어도 하나의 데이터 세트를 제거하는 필터링 동작을 거친 후, 상기 신경망 모델을 학습하기 위해 사용될 수 있다.
본 발명의 실시 예에 따르면, 상기 방법은, 상기 디스플레이에 상기 작업 장치의 움직임에 대한 피드백을 요구하는 지시자를 표시하는 단계, 상기 사용자의 음성 입력에 기반하여 상기 움직임에 대한 사용자의 피드백을 획득하는 단계, 상기 피드백을 상기 적어도 하나의 파라미터에 대한 조정 값으로 변환함으로써 상기 레이블을 결정하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면, 상기 지시자를 표시하는 단계는, 동일한 동작을 서로 다른 속도로 미리 정의된 횟수 이상 반복하는 상황을 검출하는 단계, 상기 상황의 검출에 응하여, 상기 지시자를 표시하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 상기 적어도 하나의 파라미터는, 상기 사용자의 관절 각도 변화량 대비 대응하는 작업 장치의 회전축의 회전량에 대한 제1 가중치, 상기 사용자의 관절 각도 변화 속도 대비 대응하는 작업 장치의 회전축의 회전 속도에 대한 제2 가중치, 상기 사용자의 관절 각도 변화 시작 시점 및 대응하는 작업 장치의 회전축의 회전 운동 시작 시점 간 시간 지연 값을 포함하며, 상기 제1 가중치, 상기 제2 가중치 및 상기 시간 지연 값은, 상기 작업 장치를 제어하기 위해 사용되는 상기 사용자의 손의 관절 별로 정의될 수 있다.
본 발명의 실시 예에 따르면, 상기 작업 장치는, 사람의 적어도 하나의 관절을 가지는 손가락들을 포함하는 로봇 팔이고, 상기 적어도 하나의 명령어는, 상기 로봇 팔의 로봇 손가락 관절, 로봇 손목 관절, 로봇 팔꿈치 관절에 대한 각도 또는 각도 변화량을 지시하며, 상기 로봇 손가락 관절에 대한 각도 또는 각도 변화량은, 상기 제1 카메라에 의해 촬영되는 상기 사용자의 손가락 관절들 중 상기 로봇 손가락 관절에 매칭되는 관절의 각도에 기반하여 결정되고, 상기 로봇 손목 관절에 대한 각도 또는 각도 변화량은, 상기 제1 카메라에 의해 촬영되는 상기 사용자의 손목 관절 및 상기 손목 관절에 인접한 다른 관절들에 의해 특정되는 다각형의 3차원 기울기에 기반하여 결정되며, 상기 로봇 팔꿈치 관절에 대한 각도 또는 각도 변화량은, 상기 사용자의 손 및 상기 제1 카메라의 렌즈 간 거리에 기반하여 결정될 수 있다.
본 발명의 실시 예에 따르면, 매체에 저장된 어플리케이션 프로그램은 프로세서에 의해 동작되면 전술한 방법을 실행할 수 있다.
본 발명은 보다 효과적으로 작업 장치를 원격 제어할 수 있게 한다.
도 1은 본 발명의 실시 예에 따른 시스템을 도시한다.
도 2는 본 발명의 실시 예에 따른 제어 장치의 구조를 도시한다.
도 3은 본 발명의 실시 예에 따른 작업 장치의 구조를 도시한다.
도 4는 본 발명의 실시 예에 따른 촬영 장치의 구조를 도시한다.
도 5는 본 발명의 실시 예에 따른 서버의 구조를 도시한다.
도 6은 본 발명의 실시 예에 따른 원격 제어 서비스의 개념을 도시한다.
도 7은 본 발명의 실시 예에 따른 규칙을 결정하는 신경망 모델에 대한 훈련의 개념을 도시한다.
도 8은 본 발명의 실시 예에 따라 작업 장치를 제어하는 동작 절차를 도시한다.
도 9는 본 발명의 실시 예에 따라 작업 장치를 제어하기 위한 신호를 생성하는 동작 절차를 도시한다.
도 10은 본 발명의 실시 예에 따라 훈련된 신경망 모델을 이용하여 결정된 제어 규칙을 이용하여 작업 장치를 제어하는 절차를 도시한다.
도 11은 본 발명의 실시 예에 따라 신경망 모델의 훈련을 위한 레이블을 생성하는 동작 절차를 도시한다.
도 12는 본 발명의 실시 예에 따른 작업 장치의 구동 모델을 도시한다.
도 2는 본 발명의 실시 예에 따른 제어 장치의 구조를 도시한다.
도 3은 본 발명의 실시 예에 따른 작업 장치의 구조를 도시한다.
도 4는 본 발명의 실시 예에 따른 촬영 장치의 구조를 도시한다.
도 5는 본 발명의 실시 예에 따른 서버의 구조를 도시한다.
도 6은 본 발명의 실시 예에 따른 원격 제어 서비스의 개념을 도시한다.
도 7은 본 발명의 실시 예에 따른 규칙을 결정하는 신경망 모델에 대한 훈련의 개념을 도시한다.
도 8은 본 발명의 실시 예에 따라 작업 장치를 제어하는 동작 절차를 도시한다.
도 9는 본 발명의 실시 예에 따라 작업 장치를 제어하기 위한 신호를 생성하는 동작 절차를 도시한다.
도 10은 본 발명의 실시 예에 따라 훈련된 신경망 모델을 이용하여 결정된 제어 규칙을 이용하여 작업 장치를 제어하는 절차를 도시한다.
도 11은 본 발명의 실시 예에 따라 신경망 모델의 훈련을 위한 레이블을 생성하는 동작 절차를 도시한다.
도 12는 본 발명의 실시 예에 따른 작업 장치의 구동 모델을 도시한다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우, 그 상세한 설명은 생략한다.
이하 본 발명은 원격으로 작업 장치를 실시간 제어하기 위한 기술에 대해 설명한다. 구체적으로, 본 발명은 카메라를 통해 촬영되는 사용자의 신체의 일부를 이용하여 작업 장치를 제어하기 위한 명령을 생성하고, 명령에 따라 제어되는 작업 장치의 움직임을 사용자에게 실시간으로 공유하기 위한 다양한 실시 예들에 대해 설명한다.
도 1은 본 발명의 실시 예에 따른 시스템을 도시한다.
도 1을 참고하면, 시스템은 사용자 장치(110), 작업 장치 모듈(120), 서버(130)를 포함하며, 사용자 장치(110), 작업 장치 모듈(120), 서버(130)는 통신망을 통해 상호 신호를 송신 및 수신할 수 있다.
사용자 장치(110)는 사용자가 위치한 현장(site)에서 사용되는 장비로서, 작업 장치(120a)을 제어하기 위한 명령들을 생성한다. 또한, 사용자 장치(110)는 작업 장치(120a)의 움직임이나 상태에 대한 영상을 수신하고, 사용자가 볼 수 있도록 출력한다. 이를 위해, 사용자 장치(110)는 서버(130)에 접속하고, 서버(130)로부터 접속 가능한 작업 장치에 대한 정보를 획득할 수 있다. 예를 들어, 사용자 장치(110)는 전면에 디스플레이를 구비하고, 후면에 카메라를 구비한 스마트 폰, 타블렛 등의 모바일 장치일 수 있다. 다른 예로, 사용자 장치(110)는 디스플레이를 구비한 제1 장치 및 카메라를 구비한 제2 장치의 집합일 수 있다.
작업 장치 모듈(120)은 작업 장치(120a)이 위치한 현장에서 사용되는 장비로서, 사용자 장치(110)에서 생성되는 명령들에 의해 제어되는 작업 장치(120a), 작업 장치(120a)을 촬영하는 촬영 장치(120b)를 포함한다. 작업 장치(120a)은 사용자 장치(110)로부터 수신되는 명령들에 따라 동작한다. 촬영 장치(120b)는 작업 장치(120a)을 촬영한다. 일 실시 예들에 따라, 촬영 장치(120b)는 작업 장치(120a)의 일부에 부착될 수 있다. 여기서, 촬영 장치(120b)는 하나의 카메라 또는 복수의 카메라들을 포함할 수 있다. 사용자 장치(110)로부터의 명령어의 수신, 사용자 장치(110)로의 영상의 송신은 작업 장치(120a) 또는 촬영 장치(120b) 중 적어도 하나에 의해 수행되며, 또는 별도의 제3의 중계 장치에 의해 수행될 수 있다.
서버(130)는 제안 기술에 따른 서비스를 제공하기 위한 관리 기능을 제공한다. 서버(130)는 사용자 장치(110) 및 작업 장치(120a) 간 상호 연결을 지원하기 위한 기능들을 수행한다. 예를 들어, 서버(130)는 작업 장치(120a) 또는 작업 장치 모듈(120)에 대한 등록을 처리하고, 작업 장치(120a)을 포함한 복수의 작업 장치들에 대한 정보를 관리한다. 또한, 서버(130)는 사용자 장치(110)의 요청에 따라 작업 장치(120a) 또는 작업 장치 모듈(120)에 대한 정보를 제공할 수 있다. 나아가, 서버(130)는 작업 장치 모듈(120)에 포함되는 작업 장치(120a) 및 촬영 장치(120b) 중 적어도 하나를 제어하기 위한 규칙을 수립하는 동작에 관여할 수 있다. 예를 들어, 서버(130)는 규칙을 결정하기 위해 설계된 AI(Artificial Intelligence) 또는 ML(Machine Learning) 모델을 훈련시키고, 훈련된 모델을 이용하여 규칙을 결정할 수 있다.
도 2는 본 발명의 실시 예에 따른 사용자 장치(110)의 구조를 도시한다.
도 2를 참고하면, 사용자 장치(110)는 입출력부(210), 통신부(220), 카메라부(230), 오디오부(240), 센서부(250), 저장부(260), 제어부(270)를 포함한다.
입출력부(210)는 화면을 표시하는 수단 및 외부로부터의 입력을 감지하는 수단을 포함한다. 여기서, 화면을 표시하는 수단은 액정화면 등의 디스플레이로 구현될 수 있다. 입력을 감지하는 수단은 터치패드, 하드웨어 버튼 등을 포함하는 의미이다. 입출력부(210)는 액정화면 및 터치패드가 결합된 터치스크린을 포함할 수 있다. 경우에 따라, 입출력부(210)는 물리적으로 분리된 2 이상의 하드웨어 모듈들의 집합으로 해석될 수 있다.
통신부(220)는 외부 통신망에 접속하고, 데이터/신호/정보를 송신 및 수신하기 위한 기능을 수행한다. 예를 들어, 통신부(220)는 인터넷 망, 무선 통신망, 모바일 통신망 등에 접속하는 기능을 수행할 수 있다. 이를 위해, 통신부(220)는 신호의 변복조, 증폭, 필터링 등의 기능을 수행한다. 통신부(220)는 무선 랜 통신(예: 와이파이), 셀룰러 통신(예: LTE, 5G, 6G) 등의 통신 기술을 지원할 수 있다.
카메라부(230)는 사진 촬영, 비디오 기록 등의 기능을 수행할 수 있다. 카메라부(230)은 영상 센서, 렌즈 등을 포함할 수 있다. 영상 센서로서, CCD(charged coupled device), CMOS(complementary metal-oxide semiconductor) 중 적어도 하나가 사용될 수 있다. 예를 들어, 카메라부(230)는 렌즈를 통해 입력되는 빛을 상기 영상 센서로 인식하고, 상기 영상 센서에서 인식된 영상을 디지털 데이터화한다.
오디오부(240)는 스피커 및 마이크를 포함하며, 오디오의 입력과 출력을 수행한다. 오디오부(240)은 탈부착 가능한 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)을 포함하거나, 이어폰, 헤드폰, 헤드셋 등을 연결하기 위한 단자를 포함할 수 있다.
센서부(250)은 외부의 물리적 현상을 검출한다. 센서부(250)는 가속도 센서, 자이로(gyro) 센서, 광(optical) 센서, 지자기 센서, 중력 센서(G-sensor), 온도 센서, 생체 센서, 위치 센서 중 적어도 하나를 포함할 수 있다. 센서부(250)은 움직임, 빛, 기울기, 방위 등을 감지하고, 감지 결과를 나타내는 전기적 신호를 생성할 수 있다.
저장부(260)는 사용자 장치(110)의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 어플리케이션 등을 저장한다. 저장부(260)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(260)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다.
제어부(270)는 사용자 장치(110)의 전반적인 동작을 제어한다. 제어부(270)는 프로세서, 마이크로 프로세서 중 적어도 하나를 포함할 수 있다. 제어부(270)는 입출력부(210)를 통해 사용자에게 시각적으로 정보를 표현하거나, 사용자의 입력을 감지할 수 있다. 제어부(270)는 저장부(260)에 저장된 프로그램을 실행하고, 통신부(220)를 통해 외부 장치와 데이터를 송신 또는 수신할 수 있다. 또한, 제어부(270)는 카메라부(230)를 제어하여 정지 영상 또는 동영상(video)을 획득하고, 오디오부(240)를 제어하여 오디오를 출력하거나 소리를 감지하고, 센서부(250)를 통해 센싱 데이터를 획득할 수 있다. 특히, 제어부(270)는 사용자 장치(110)가 후술하는 다양한 실시 예들에 따라 동작하도록 제어한다.
도 3은 본 발명의 실시 예에 따른 작업 장치(120a)의 구조를 도시한다.
도 3을 참고하면, 작업 장치(120a)은 통신부(310), 저장부(320), 구동부(330), 구조부(340), 제어부(350)를 포함한다.
통신부(310)는 외부 장치와 통신을 수행하기 위한 기능을 수행한다. 예를 들어, 통신부(310)는 무선/유선 통신을 지원할 수 있다. 저장부(320)는 작업 장치(120a)의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 어플리케이션 등을 저장한다. 저장부(320)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(320)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다.
구동부(330)는 작업 장치(120a)의 움직임을 위한 동력을 생성한다. 즉, 구동부(330)는 전기적 신호에 대응하는 운동력을 발생시킨다. 예를 들어, 구동부(330)는 회전 운동력을 제공하는 모터, 직선 운동을 위한 서보보터 및 가이드 등을 포함할 수 있다.
구조부(340)는 작업 장치(120a)의 물리적 힘을 외부에 가하기 위한 외관을 형성하는 구조물들을 포함한다. 예를 들어, 구조부(340)는 관절, 골격, 하우징 등을 포함한다. 구조부(340)는 복수의 구성요소들을 포함하며, 구동부(330)에서 발생하는 운동력에 따라 작업 장치(120a)의 움직임을 형성한다.
제어부(350)는 작업 장치(120a)의 전반적인 동작을 제어한다. 제어부(350)는 프로세서, 마이크로 프로세서 중 적어도 하나를 포함할 수 있다. 제어부(350)는 저장부(320)에 저장된 프로그램을 실행하고, 통신부(310)를 통해 외부 장치와 데이터를 송신 또는 수신할 수 있다. 또한, 제어부(350)는 구동부(330)를 동작시키기 위한 신호를 생성 및 공급할 수 있다. 특히, 제어부(350)는 작업 장치(120a)이 후술하는 다양한 실시 예들에 따라 동작하도록 제어한다.
도 4는 본 발명의 실시 예에 따른 촬영 장치(120b)의 구조를 도시한다.
도 4를 참고하면, 촬영 장치(120b)는 통신부(410), 저장부(420), 카메라부(430), 제어부(440)를 포함한다.
통신부(410)는 외부 장치와 통신을 수행하기 위한 기능을 수행한다. 예를 들어, 통신부(410)는 무선/유선 통신을 지원할 수 있다. 저장부(420)는 촬영 장치(120b)의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 어플리케이션 등을 저장한다. 저장부(420)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(420)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다.
카메라부(430)는 사진 촬영, 비디오 기록 등의 기능을 수행할 수 있다. 카메라부(430)은 영상 센서, 렌즈 등을 포함할 수 있다. 영상 센서로서, CCD, CMOS 중 적어도 하나가 사용될 수 있다. 예를 들어, 카메라부(430)는 렌즈를 통해 입력되는 빛을 상기 영상 센서로 인식하고, 상기 영상 센서에서 인식된 영상을 디지털 데이터화한다.
제어부(440)는 촬영 장치(120b)의 전반적인 동작을 제어한다. 제어부(440)는 프로세서, 마이크로 프로세서 중 적어도 하나를 포함할 수 있다. 제어부(440)는 저장부(420)에 저장된 프로그램을 실행하고, 통신부(410)를 통해 외부 장치와 데이터를 송신 또는 수신할 수 있다. 또한, 제어부(440)는 카메라부(430)를 제어하여 영상을 획득하고, 영상을 포함하는 스트리밍 데이터를 생성할 수 있다. 특히, 제어부(440)는 촬영 장치(120b)가 후술하는 다양한 실시 예들에 따라 동작하도록 제어한다.
도 5는 본 발명의 실시 예에 따른 서버(130)의 구조를 도시한다.
도 5를 참고하면, 서버(130)는 통신부(510), 저장부(520), 제어부(530)를 포함한다.
통신부(510)는 외부 장치와 통신을 수행하기 위한 기능을 수행한다. 예를 들어, 통신부(510)는 유선 통신을 지원할 수 있다. 저장부(520)는 서버(130)의 동작을 위해 필요한 데이터, 프로그램, 마이크로 코드, 어플리케이션 등을 저장한다. 저장부(520)는 일시적 또는 비일시적 저장 매체로 구현될 수 있다. 또한, 저장부(520)는 장치에 고정되어 있거나, 또는 분리 가능한 형태로 구현될 수 있다.
제어부(530)는 서버(130)의 전반적인 동작을 제어한다. 제어부(530)는 프로세서, 마이크로 프로세서 중 적어도 하나를 포함할 수 있다. 제어부(530)는 저장부(520)에 저장된 프로그램을 실행하고, 통신부(510)를 통해 외부 장치와 데이터를 송신 또는 수신할 수 있다. 특히, 제어부(530)는 서버(130)가 후술하는 다양한 실시 예들에 따라 동작하도록 제어한다.
도 6은 본 발명의 실시 예에 따른 원격 제어 서비스의 개념을 도시한다.
도 6을 참고하면, 원격 제어 서비스는 작업 현장(work site)(610)에서 진행되는 동작들 및 사용자 현장(620)에서 진행되는 동작들을 포함한다. 작업 현장(610)에서, 원격 카메라를 이용한 작업 장치의 촬영 동작(612)이 수행된다. 촬영 동작(612)에 의해 획득된 영상은 실시간 스트리밍을 통해 사용자 현장(620)으로 제공된다. 사용자 현장(620)에서, 스트리밍되는 동영상의 출력 동작(622)이 수행된다. 이에 따라, 사용자는 스트리밍 화면을 통해 상황을 인식한다. 동시에, 사용자의 손에 대한 영상을 기반으로 손의 자세에 대한 인식 동작(624)이 수행된다. 이어서, 인식 동작(624)을 통해 획득된 손 및/또는 팔의 자세에 대한 정보(예: 관절들의 위치, 각도 등)를 작업 장치 및 원격 카메라를 제어하는 제어 명령으로 변환하는 제어 명령 연산 동작(626)이 수행된다. 제어 명령은 다시 작업 현장(610)으로 송신되고, 제어 명령에 기반하여 작업 장치 및 원격 카메라에 대한 제어 동작(614)이 수행된다.
제어 명령은 사용자의 손의 관절들의 각도 변화에 대응하여 작업 장치(120a)에 포함되는 회전축을 회전시키기 위한 것으로, 손 또는 손가락의 관절에 대응하는 작업 장치(120a)의 회전축에 대한 회전 각도, 회전 속도, 회전 지연을 지시한다. 여러 회전축들이 복합적으로 제어될 수 있으며, 이 경우, 회전축 별 제어 명령이 송신된다. 제어 신호를 생성하는 제어 명령 연산 동작(626)은 제어 명령을 생성하기 위한 규칙(이하 '제어 규칙'이라 지칭함)에 기반하여 수행된다. 예를 들어, 제어 규칙은 적어도 하나의 맵핑 테이블, 적어도 하나의 수학식으로 정의될 수 있다. 또한, 제어 규칙은 서로 대응하는 사용자의 관절 및 작업 장치(120a)의 회전축 간 움직임 전환에 관련된 파라미터들을 포함한다. 예를 들어, 파라미터들은 사용자의 관절 각도 변화량 대비 대응하는 작업 장치의 회전축의 회전량에 대한 제1 가중치, 사용자의 관절 각도 변화 속도 대비 대응하는 작업 장치의 회전축의 회전 속도에 대한 제2 가중치, 사용자의 관절 각도 변화 시작 시점 및 대응하는 작업 장치의 회전축의 회전 운동 시작 시점 간 시간 지연 값을 포함할 수 있다. 제1 가중치 및 제2 가중치는 양의 실수, 0 또는 음의 실수로 설정될 있으며, 시간 지연 값은 0이상의 실수로 설정될 수 있다. 제1 가중치, 제2 가중치 및 시간 지연 값 등의 파라미터들은, 작업 장치(120b)를 제어하기 위해 사용되는 사용자의 손의 관절 별로 정의될 수 있다. 사람 마다 신체 조건이 상이하고, 손의 움직임에 따른 작업 장치(120a)의 움직임에 대한 인식 수준이 상이하며, 작업 장치(120a), 작업 환경, 작업 종류, 작업 목적 등에 따라, 사용자의 손의 움직임과 작업 장치(120a) 간 움직임의 상관관계는 적절하게 조절되어야 할 것이다. 따라서, 본 발명은 위와 같은 다양한 파라미터들을 이용한다.
제어 규칙을 정의하는 제어 신호 규칙 수립 동작(628)이 수행될 수 있다. 제어 신호 규칙 수립 동작(628)은 AI 또는 ML 모델(예: 신경망 모델)을 이용하여 수행되며, AI 또는 ML 모델을 훈련시키기 위한 학습 데이터는 인식 동작(624)을 통해 획득된 손 또는 팔의 자세에 대한 정보, 작업 장치(120a)의 움직임 및 사용자로부터의 피드백에 기반하여 생성될 수 있다. 도 6에서, 제어 신호 규칙 수립 동작(628)은 사용자 현장(620)에서 수행되는 것으로 설명되었다. 하지만, 다른 실시 예에 따라, 제어 신호 규칙 수립 동작(628)은 사용자 현장(620)이 아닌 다른 곳에 배치된 장치(예: 서버(130))에 의해서 수행될 수 있다. 사용자 장치의 훈련(training)이나 추론(inference) 동작의 연산량 부담을 줄이기 위해, 서버(130)에 의해 제어 신호 규칙 수립 동작(628)이 수행될 수도 있다.
전술한 절차에서, 제어 명령을 생성하기 위해 사용되는 영상들은 연속적으로 촬영된 영상들, 즉, 동영상으로 이해될 수 있다. 이때, 동영상에 포함되는 프레임들 중 전체 또는 일부가 제어 명령을 생성하기 위해 이용될 수 있다. 일 실시 예에 따라, 일부 프레임들은 일정 시간 간격에 따라 주기적으로 추출될 수 있다. 이 경우, 사용자 장치(110)는 일정 시간 경과 시 마다 프레임을 추출하고, 추출된 영상 프레임에 포함된 영상에서 손의 자세를 검출한다. 이때, 프레임 추출을 위한 시간 간격은 실험에 의해 적절한 값으로 설정될 수 있다. 또는, 작업 장치의 종류, 작업 장치의 사용 목적, 통신 네트워크의 지연(delay) 등 다양한 환경 요인에 기반하여, 시간 간격이 적응적으로 조절될 수도 있다. 다른 실시 예에 따라, 일부 프레임들은 지정된 이벤트의 검출에 따라 추출될 수 있다. 예를 들어, 이벤트는 손의 움직임 정도에 기반하여 정의될 수 있는데, 구체적으로, 이벤트는 손의 움직임이 일정 시간 이상 정지하거나, 움직임의 양이 임계치 이하인 것으로 정의될 수 있다. 즉, 사용자는 특정 작업 장치의 자세를 의도하며 손을 움직일 것이므로, 장치는 최종적인 손의 자세만을 명령화하여 전달할 수 있다. 이를 위해, 장치는 손의 움직임이 잠시 멈추거나 느려지는 상황을 인지하고, 해당 상황에서 새로운 명령을 생성할 수 있다.
도 6과 같은 서비스에 따라, 사용자는 원격에서 실시간으로 작업 장치를 제어할 수 있다. 이때, 사용자는 자신의 신체 일부(예: 손)를 움직이고, 이에 반응하여 움직이는 작업 장치에 대한 실시간 스트리밍 영상을 볼 수 있다. 도 6은 신체 일부로서 손을 예시하였으나, 손 위 다른 신체 부위를 이용하여 작업 장치가 제어될 수 있다. 또한, 도 6에 표현되지 아니하였으나, 작업 장치를 촬영하는 원격 카메라도 사용자 장치의 자세에 따라 제어될 수 있다. 이와 같이, 사용자의 신체 일부의 움직임 및 사용자 장치의 움직임에 응하여 작업 장치 및 원격 카메라가 제어된다면, 사용자는 마치 작업 장치가 자신의 신체의 일부인 것과 같은 사용자 경험(user experience, UX)를 얻을 수 있을 것이다. 즉, 본 발명의 다양한 실시 예들에 따른 서비스는 사용자에게 매우 직관적인 작업 장치 및 카메라 제어 방법을 제공한다. 동시에, AI 또는 ML 모델을 이용하여 제어 규칙을 생성함으로써 사용자에게 최적화된 제어 환경이 제공될 수 있다. 나아가, 제어 규칙을 생성하기 위한 AI 또는 ML 모델을 필요에 따라 실시간으로 훈련시킴으로써, 최적의 제어 규칙이 유지될 수 있다.
도 7은 본 발명의 실시 예에 따른 규칙을 결정하는 신경망 모델에 대한 훈련의 개념을 도시한다. 도 7은 도 6을 참고하여 설명한 작업 장치(120a)에 대한 원격 제어 절차가 진행되는 중 또는 원격 제어 절차에 앞서 수행되는 제어 규칙을 결정하는 AI 또는 ML 모델에 대한 훈련 및 제어 규칙의 갱신을 보여준다.
도 7을 참고하면, 사용자 장치(110)는 사용자의 손에 대한 영상들에 기반하여 제어 명령을 생성하고, 작업 장치(120a)는 제어 명령에 기반하여 동작한다. 이때, 도 6을 참고하여 설명한 바와 같이, 제어 명령은 적어도 하나의 파라미터에 의해 정의되는 제어 규칙에 기반하여 생성될 수 있다. 이때, 제어 규칙을 구성하는 파라미터들은 신경망 모델(740)에 의해 결정될 수 있다. 이를 위해, 작업 장치(120a)이 제어 동작 진행 중, 사용자 장치(110)는 학습 데이터를 생성하기 위한 데이터를 수집할 수 있다.
일 실시 예에 따라, 사용자 장치(110)는 사용자의 손의 관절의 움직임에 대한 데이터(예: 관절의 각도 변화량, 각도 변화 속도), 작업 장치(120a)의 대응하는 회전축의 움직임에 대한 데이터(예: 회전량, 회전 속도) 등을 수집한다. 여기서, 사용자의 손의 관절의 움직임에 대한 데이터는 제어 명령을 생성하는 과정에서 획득되므로, 사용자 장치(110)는 사용자의 손의 관절의 움직임에 대한 데이터를 별도의 추가 동작 없이 획득할 수 있다. 작업 장치(120a)의 대응하는 회전축의 움직임에 대한 데이터는 스트리밍되는 동영상 데이터를 분석하여 획득되거나 또는 작업 장치(120a)로부터 수신되는 운동 데이터를 통해 획득할 수 있다. 즉, 신경망 모델(740)의 훈련을 위해, 작업 장치(120a)는 제어 명령에 따라 수행한 움직임에 대한 데이터를 운동 데이터로서 사용자 장치(110)에게 제공할 수 있다.
수집된 사용자의 손의 관절의 움직임에 대한 데이터(예: 관절의 각도 변화량, 각도 변화 속도), 작업 장치(120a)의 대응하는 회전축의 움직임에 대한 데이터(예: 회전량, 회전 속도)는 신경망 모델(740)의 입력 데이터로서 사용된다. 신경망 모델(740)의 훈련을 위해서, 레이블(label)이 필요하다. 레이블은 사용자의 피드백으로부터 결정될 수 있다. 이에, 사용자 장치(110)는 손의 움직임과 제어 명령에 따른 작업 장치(120a)의 움직임의 상관관계에 대한 체감 결과를 표현하는 사용자의 피드백을 획득할 수 있다. 피드백은 준비된 문항을 포함하는 지시자에 대한 사용자의 응답이며, 응답은 버튼 입력, 터치 입력, 음성 입력 등 다양한 입력 수단을 통해 입력될 수 있다. 따라서, 피드백은 레이블로서 사용 가능한 형식으로서, 제어 규칙을 구성하는 파라미터들에 대한 조절 값들로 변환된다. 즉, 사용자 장치(110)는 피드백에 기반하여 제어 규칙을 구성하는 파라미터들에 대한 조절 값들을 결정한다. 예를 들어, 지시자로서 제공된 문항에 긍정으로 응답한 경우의 파라미터들에 대한 조절 값들 및 부정으로 응답한 경우의 파라미터 조절 값들이, 문항 별로 사전에 정의되어 있으며, 사용자 장치(110)는 지시자를 통해 제시된 문항 및 응답의 내용(예: 긍정 또는 부정)의 조합에 대응하는 파라미터 조절 값들을 레이블로서 결정할 수 있다.
추가적으로, 다양한 조건들에 대한 레이블들을 확보하기 위해, 사용자 장치(110)는 파라미터들의 값들을 변경하면서, 동일한 문항을 포함하는 지시자를 복수 회 반복적으로 표시할 수 있다. 다시 말해, 사용자 장치(110)는 동일 지시자들이 표시되는 동안 제어 규칙을 구성하는 파라미터들의 값을 변경할 수 있다. 예를 들어, 동일 문항을 포함하는 지시자를 N회 표시하는 경우, N개의 서로 다른 값들의 조합들을 파라미터들에 적용한다. 이에 따라, 서로 다른 입력 값들을 포함하는 데이터 세트들이 확보될 수 있다. 여기서, 서로 다른 값들의 파라미터 조합들은 현재 설정된 파라미터들의 값들 각각에 미리 정의된 수치 값들을 가산 또는 곱함으로써 결정되거나 또는 랜덤 발생된 수치 값에 기반하여 계산되는 수치 값들을 가산 또는 곱함으로써 결정될 수 있다.
사용자 장치(110)에 의해 생성된 학습 데이터는 신경망 모델(740)을 훈련시키기 위해 사용된다. 훈련은 입력 데이터로부터의 추론 결과와 레이블에 기반하여 계산되는 손실(loss) 값을 이용하여, 역전파(back-propagation) 과정을 통해 수행될 수 있다. 예를 들어, 신경망 모델(740)은 완전 연결된 딥러닝 모델 또는 신경망 모델로서, 경사 하강법에 의해 훈련될 수 있다. 그리고, 훈련된 신경망 모델(740)을 이용하여 새로운 제어 규칙이 결정될 수 있고, 새로운 제어 규칙은 사용자 장치(110)에게 제공된다. 여기서, 새로운 제어 규칙은 제어 규칙을 구성하는 파라미터들에 대한 조절 값들 또는 조절 값들에 의해 조절된 파라미터 값들을 포함한다. 앞서 피드백을 통해 얻어진 파라미터 조절 값들을 직접 이용하지 아니하고, 이를 이용하여 신경망 모델(740)을 훈련시키고, 훈련된 신경망 모델(740)의 출력 값을 이용함으로써, 문항을 이용하는 경우에 사용 가능한 조절 값들 보다 더 많고, 더 높은 해상도의 조절 값들을 적용하는 것이 가능하다. 이를 위해, 신경망 모델(740)은 분류기로서, 신경망 모델(740)의 출력은 제어 규칙을 구성하는 파라미터들 각각에 대한 증가/감소를 분류하는 확률 값을 출력하는 노드들을 포함하도록 설계될 수 있다. 이때, 노드들에서 출력되는 확률 값에 기반하여 각 파라미터의 증가/감소 여부, 증가/감소량이 결정된다.
전술한 바와 같이 생성되는 학습 데이터를 이용하여 신경망 모델(740)을 훈련함에 있어서, 학습 데이터가 충분히 확보되지 아니할 수 있다. 이에 따라, 본 발명의 실시 예에 따라, 사용자 장치(110)는 수집된 데이터 세트를 포함하는 학습 데이터를 증강(augmentation)할 수 있다. 증강은 미리 정의된 방식에 따라 수행될 수 있으며, 이를 통해 추가적인 데이트 세트들이 확보될 수 있다. 예를 들어, 사용자 장치(110)는 미리 정의된 가중치 집합(예: 1-α 내지 1+β 범위에서 Δ 간격으로 정의되는 실수들의 집합)을 이용하여 입력 데이터에 해당하는 값들을 수정하는 방식을 통해 학습 데이터를 증강할 수 있다. 구체적으로, 사용자 장치(110)는 손의 관절의 움직임에 대한 데이터인 관절의 각도 변화량 및 각도 변화 속도, 작업 장치(120a)의 대응하는 회전축의 움직임에 대한 데이터인 회전량 및 회전 속도 각각에 미리 정의된 가중치들을 곱하여 가중치들의 개수 만큼의 추가적인 데이터 세트들을 생성할 수 있다. 여기서, 값들에 동일한 가중치 집합이 사용되거나, 또는 서로 다른 가중치 집합들이 사용될 수 있다.
전술한 바와 같이, 미리 정의된 가중치 집합이 사용됨에 따라, 데이터 세트들에서 표현되는 사용자 손의 관절의 각도 변화량, 작업 장치(120a)의 회전축의 회전량이 일정 범위 내에서 확장될 것이다. 이 경우, 관절 또는 회전축의 가동 범위를 벗어나는 값으로 각도 변화량 또는 회전량을 포함하는 데이터 세트가 생성될 가능성이 있다. 즉, 발생 불가능한 입력 값들을 포함하는 데이트 세트가 발생할 수 있으며, 이를 그대로 훈련에 이용하는 것은 부적합하다. 따라서, 사용자 장치(110)는 증강을 통해 확보된 데이터 세트들 중 발생 불가능한 입력 값들을 포함하는 데이트 세트가 존재하는지 확인하고, 확인되는 적어도 하나의 데이터 세트를 제거하는 필터링 동작을 수행할 수 있다. 즉, 증강된 학습 데이터는 필터링 동작 후 신경망 모델(740)의 훈련을 위해 사용된다.
도 8은 본 발명의 실시 예에 따라 작업 장치를 제어하는 동작 절차를 도시한다. 도 8은 사용자 장치(110)에 의해 수행되는 동작들을 보여준다.
도 8을 참고하면, 801 단계에서, 사용자 장치(110)는 작업 장치(120a)에 대한 실시간 동영상을 표시한다. 실시간 동영상은 작업 장치(120a)의 인근에 배치된 카메라에 의해 생성된다. 사용자 장치(110)는 작업 장치(120a)을 촬영하는 카메라에 의해 생성된 동영상 데이터를 수신하고, 동영상 데이터를 디코딩함으로써 동영상 정보를 복원한 후, 구비된 디스플레이를 이용하여 실시간 동영상을 출력한다. 이때, 다양한 실시 예들에 따라, 작업 장치(120a)에 대한 실시간 동영상에 더하여, 작업 장치(120a)의 제어를 위해 필요한 부가적인 정보 또는 인터페이스가 함께 표시될 수 있다.
802 단계에서, 사용자 장치(110)는 카메라를 통해 획득된 영상에 기반하여 작업 장치(120a)을 원격 제어한다. 여기서, 카메라는 사용자 장치(110)에 구비된 구성요소이거나, 사용자 장치(110)의 인근에 설치된 것일 수 있다. 즉, 카메라는 사용자 장치(110)의 사용자의 신체의 적어도 일부를 촬영하고 있으며, 사용자 장치(110)는 촬영된 신체의 적어도 일부를 분석함으로써 작업 장치(120a)을 제어하기 위한 적어도 하나의 명령어를 생성한다. 다양한 실시 예들에 따라, 적어도 하나의 명령어는 촬영된 영상에서 검출되는 피사체(예: 손)에 자세(pose), 피사체 및 촬영을 위한 카메라 렌즈 간 거리, 피사체가 보여지는 각도, 피사체의 위치(예: 3차원 좌표) 중 적어도 하나에 기반하여 생성될 수 있다. 그리고, 사용자 장치는 적어도 하나의 명령어를 작업 장치(120a)에게 송신함으로써, 작업 장치(120a)을 원격 제어할 수 있다. 이에 따라, 도 8에 도시되지 아니하였으나, 사용자 장치는 적어도 하나의 명령어에 따라 제어되는 작업 장치(120a)의 모습을 다시 실시간 동영상으로 표시할 수 있다.
도 9는 본 발명의 실시 예에 따라 작업 장치를 제어하기 위한 신호를 생성하는 동작 절차를 도시한다. 도 9는 사용자 장치(110)에 의해 수행되는 동작들을 보여준다. 도 9는 손을 이용하여 제어 메시지를 생성하는 경우를 예시하나, 본 발명은 다른 신체 부위(예: 팔, 다리, 발, 머리, 얼굴 등)를 이용하는 경우에도 확장될 수 있다.
도 9을 참고하면, 901 단계에서, 사용자 장치(110)는 사용자의 손에 대한 영상들을 획득한다. 영상들은 사용자 장치(110)에 구비된 카메라 또는 사용자 장치(110)와 연동되는 카메라를 이용하여 생성될 수 있다. 즉, 카메라는 사용자의 손을 촬영하고 있으며, 영상들은 손의 형태를 확인할 수 있도록 생성된다.
902 단계에서, 사용자 장치(110)는 영상들에 기반하여 손의 자세를 결정한다. 여기서, 손의 자세는 손에 포함되는 관절들의 위치, 손의 각 부위의 위치 및 각도, 관절에 연결된 두 부위들이 이루는 각도 등을 포함하는 의미이다. 즉, 사용자 장치(110)는 영상이 손의 어느 측면을 보여주고 있는지, 손의 자세는 어떠한지를 판단한다. 일 실시 예에 따라, 사용자 장치(110)는 영상 분석 알고리즘 또는 인공지능 알고리즘을 이용하여 손의 자세를 결정할 수 있다. 나아가, 영상들은 동영상을 구성하므로, 사용자 장치(110)는 각 영상에서의 손의 자세는 물론, 손의 자세의 변화도 결정할 수 있다.
903 단계에서, 사용자 장치(110)는 손의 자세에 기반하여 작업 장치(120a)에 대한 제어 명령을 생성한다. 제어되는 작업 장치(120a)은 사람의 손 또는 팔을 모방한 형상을 가지며, 작업 장치(120a)의 관절들 각각은 손의 적어도 하나의 관절에 대응하며, 대응되는 손의 관절의 각도가 작업 장치(120a)의 관절의 각도로 환산된다. 다양한 실시 예들에 따라, 사용자 장치(110)는 연속하는 영상들에서 일정 시간 간격에 따라 주기적으로 추출된 영상들 또는 설정된 조건에 따라 선택된 영상들에 기반하여 결정된 손의 자세들을 이용하여 작업 장치(120a)을 제어하기 위한 명령어를 생성할 수 있다. 여기서, 명령어는 현재 검출된 관절의 각도들의 절대값들을 지시하거나, 또는 직전에 송신된 각도들 대비 변화값들을 지시할 수 있다.
904 단계에서, 사용자 장치(110)는 제어 명령을 송신한다. 즉, 사용자 장치(110)는 작업 장치(120a)에게 제어 명령을 송신한다. 사용자 장치(110)는 설정된 통신 프로토콜에 따라 제어 명령을 포함하는 제어 신호를 생성하고, 생성된 제어 신호를 통신망을 통해 송신할 수 있다.
도 9을 참고하여 설명한 절차와 같이, 작업 장치에 대한 제어 명령은 손에 대한 영상에 기반하여 결정될 수 있다. 이에 따라, 손의 자세를 추적(tracking)하는 별도의 하드웨어(예: 웨어러블 장치) 없이도, 사용자의 신체에 기반한 작업 장치 제어 명령을 생성하는 것이 가능하다. 즉, 본 발명은 별도의 웨어러블 장치를 구비해야 하는 부담 없이도, 카메라 만으로 신체를 이용한 작업 장치 제어를 가능하게 한다.
본 발명에서, 2차원 영상에서 손의 자세를 인식한 결과를 통해 얻어지는 정보는 2차원 좌표의 형식으로 얻어진다. 따라서, 사용자 장치(110)는, 작업 장치를 촬영하기 위해 사용되는 카메라의 화각을 고려하여, 2차원 좌표로부터 3차원 좌표를 계산한다. 통상, 하나의 센서를 이용하여 2차원 깊이를 센싱하기 위해서 ToF(time of flight) 센서를 필요로 한다. 그러나, 본 발명의 제안 기술은 ToF 센서 없이도 범용적 카메라 센서만을 이용한 3차원 좌표 인식을 가능하게 한다.
도 10은 본 발명의 실시 예에 따라 훈련된 신경망 모델을 이용하여 결정된 제어 규칙을 이용하여 작업 장치를 제어하는 절차를 도시한다. 도 10은 사용자 장치(110)에 의해 수행되는 동작들을 보여준다.
도 10을 참고하면, 1001 단계에서, 사용자 장치(110)는 손 영상에 기반하여 작업 장치를 제어한다. 구체적으로, 사용자 장치(110)는 사용자 장치(110)에 구비된 제1 카메라를 통해 사용자의 손의 적어도 하나의 관절에 대한 영상들을 획득한다. 그리고, 사용자 장치(110)는 획득된 영상들에서 추출되는 적어도 하나의 관절의 각도 변화에 기반하여, 초기 설정된 제어 규칙, 즉, 명령어 생성 규칙에 따라, 작업 장치(120b)를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신한다.
1002 단계에서, 사용자 장치(110)는 작업 장치의 움직임에 대한 운동 데이터를 수신한다. 다시 말해, 사용자 장치(110)는 원격 현장에 위치한 제2 카메라를 이용하여 촬영된 적어도 하나의 명령어에 따른 작업 장치(120a)의 움직임에 대한 운동 데이터를 수신한다. 이때, 도 10에 도시되지 아니하였으나, 사용자 장치(110)는 작업 장치(120a)의 움직임에 대한 동영상 데이터를 수신하고, 동영상 데이터에 기반하여 작업 장치(120a)의 움직임을 표현하는 실시간 동영상을 디스플레이에 표시할 수 있다.
1003 단계에서, 사용자 장치(110)는 제어 규칙을 위한 신경망 모델의 훈련을 위한 학습 데이터를 생성한다. 구체적으로, 사용자 장치(110)는 적어도 하나의 관절의 각도 변화를 나타내는 제1 입력 값, 적어도 하나의 관절의 각도 변화 속도를 나타내는 제2 입력 값, 운동 데이터에 의해 지시되는 회전량을 나타내는 제3 입력 값, 운동 데이터에 의해 지시되는 회전 속도를 나타내는 제4 입력 값, 움직임에 대한 사용자의 피드백에 기반하여 결정되는 레이블을 포함하는 데이터 세트를 생성할 수 있다.
1004 단계에서, 사용자 장치(110)는 학습 데이터 이용하여 갱신된 제어 규칙 사용하여 작업 장치(120b)를 제어한다. 이를 위해, 사용자 장치(110)는 데이터 세트를 포함하는 학습 데이터에 기반하여 훈련된, 명령어 생성 규칙에 포함되는 적어도 하나의 파라미터를 결정하는 신경망 모델을 이용하여 명령어 생성 규칙을 갱신할 수 있다. 이때, 신경망 모델의 훈련은 사용자 장치(110)에 의해 수행되거나 또는 다른 장치, 예를 들어, 서버(130)에 의해 수행될 수 있다. 서버(130)에 의해 신경망 모델의 훈련이 수행되는 경우, 사용자 장치(110)는 학습 데이터를 서버에게 송신할 수 있다. 또한, 제어 규칙의 갱신도 사용자 장치(110)에 의해 수행되거나 또는 다른 장치, 예를 들어, 서버(130)에 의해 수행될 수 있다. 사용자 장치(110)에 의해 제어 규칙이 갱신되는 경우, 사용자 장치(110)는 훈련된 신경망 모델에 대한 정보를 수신하고, 훈련된 신경망 모델을 이용하여 제어 규칙을 갱신할 수 있다. 서버(130)에 의해 제어 규칙이 갱신되는 경우, 사용자 장치(110)는 갱신된 제어 규칙을 서버(130)로부터 수신할 수 있다.
도 10을 참고하여 설명한 바와 같이, 제어 규칙을 결정하는 신경망 모델은 학습 데이터를 이용하여 훈련될 수 있다. 이때, 도 10에 도시되지 아니하였으나, 보다 효과적인 훈련을 위해, 학습 데이터에 대한 증강이 수행될 수 있다. 증강은 다양한 방식으로 수행될 수 있는데, 예를 들어, 학습 데이터는, 제1 입력 값, 제2 입력 값, 제3 입력 값 및 제4 입력 값에 미리 정의된 가중치들을 곱하여 가중치들의 개수 만큼의 추가적인 데이터 세트들을 생성함으로써 증강하는 동작, 생성된 데이터 세트들 중 최대 가동 범위를 벗어나는 각도 변화량 또는 회전량을 가지는 적어도 하나의 데이터 세트를 제거하는 필터링 동작을 거친 후, 신경망 모델을 학습하기 위해 사용될 수 있다.
도 11은 본 발명의 실시 예에 따라 신경망 모델의 훈련을 위한 레이블을 생성하는 동작 절차를 도시한다. 도 11은 사용자 장치(110)에 의해 수행되는 동작들을 보여준다.
도 11을 참고하면, 1101 단계에서, 사용자 장치(110)는 피드백을 요구하는 지시자를 표시한다. 지시자는 피드백으로서 사용자의 응답을 유도하는 문항을 포함한다. 예를 들어, 개인별 답변 방식의 차이를 고려하여, 문항은 긍정 또는 부정으로 답변 가능하도록 정의될 수 있다. 일 실시 예에 따라, 작업 장치(120a)와의 접속 초기에 제공되는 초기화 구간 동안, 사용자 장치(110)는 피드백을 요구하는 지시자를 표시할 수 있다. 다른 실시 예에 따라, 제어 규칙 갱신이 필요하다고 판단되는 상황, 예를 들어, 사용자가 동일한 동작을 서로 다른 속도로 미리 정의된 횟수 이상 반복하는 상황이 검출되면, 사용자 장치(110)는 피드백을 요구하는 지시자를 표시할 수 있다.
1102 단계에서, 사용자 장치(110)는 사용자의 피드백을 획득한다. 사용자의 피드백은 사용자 장치(110)에 구비된 입력 수단을 통해 획득된다. 예를 들어, 피드백은 버튼 입력, 터치 입력, 음성 입력 중 하나를 통해 획득될 수 있다. 음성 입력을 통해 피드백이 획득되는 경우, 사용자 장치(110)는 음성 인식 기술을 이용하여 피드백의 내용을 판정할 수 있다.
1103 단계에서, 사용자 장치(110)는 피드백을 파라미터들에 대한 조정 값들로 변환한다. 지시자로서 제공된 문항에 긍정으로 응답한 경우의 파라미터들에 대한 조절 값들 및 부정으로 응답한 경우의 파라미터 조절 값들이, 문항 별로 사전에 정의되어 있다. 따라서, 사용자 장치(110)는 지시자를 통해 제시된 문항 및 응답의 내용(예: 긍정 또는 부정)의 조합에 대응하는 파라미터 조절 값들을 레이블로서 결정할 수 있다.
전술한 절차에서, 손의 자세는 인공지능 알고리즘을 이용하여 결정될 수 있다. 인공지능 알고리즘은 CNN(convolutional neural network) 기반의 영상 처리 인공지능 모델일 수 있고, 사전에 훈련된 상태에서 손의 자세를 결정하기 위해 사용될 수 있다. 보다 구체적으로, 인공지능 모델은 단일 샷 검출기를 이용하는 2-스텝 신경망 파이프라인(two step neural network pipeline with single-shot detector)을 포함할 수 있고, 영상에서 크롭된 영역에서 동작하는 회귀 모델(regression model running on the cropped region)을 이용할 수 있다. 이 외, 다양한 알고리즘들이 본 발명에서 손의 자세를 검출하기 위해 사용될 수 있다.
인공지능 알고리즘 또는 다른 알고리즘에 의해 검출된 손의 자세와, 작업 장치를 제어하기 위한 명령과의 관계는 이하 도 12와 같이 설명될 수 있다. 도 12는 본 발명의 실시 예에 따른 작업 장치의 구동 모델을 도시한다. 도 12는 사용자 현장에서 촬영된 손의 영상(1210) 및 작업 장치 손(1220)을 예시한다. 도 12를 참고하면, 손의 영상(1210)에서 21개 지점들이 검출된다. 검출 지점들은 손가락의 말단, 손가락 관절 등에 대응하고, 고유의 식별자를 가진다. 여기서, 검출되는 지점들의 개수 및 위치는 손의 자세를 검출하기 위해 사용되는 알고리즘에 따라 달라질 수 있다. 검출된 각 지점들의 적어도 일부는 작업 장치 손(1220)의 특정 지점들에 매핑된다. 예를 들어, 검지 손가락의 두번째 관절(1211)은 작업 장치 손(1220)의 검지 손가락의 두번째 관절(1221)에 매핑될 수 있다. 손의 영상(1210)과 같이 지점들이 검출되면, 각 지점에서 인접 지점들과 연결되는 선들이 이루는 각도가 계산될 수 있으며, 그 각도는 작업 장치 손(1220)의 해당 관절에 적용되는 각도가 된다.
도 12에 예시된 작업 장치 손(1220)과 같이, 사람의 신체를 모방한 형상을 가지는 작업 장치의 경우, 촬영되는 신체에서 검출되는 지점들과의 매핑이 직관적으로 이루어질 수 있다. 하지만, 도 12의 손은 일 예에 불과하며, 본 발명의 실시 예에 따른 작업 장치의 엔드 이펙터(end effecter)는 사람의 신체를 모방하지 아니한 다른 도구(예: 집게, 가위, 컷팅기 등)의 형상으로 설계될 수 있다. 이와 같이, 작업 장치가 해당 신체 부위와 다른 구조를 가지는 경우, 작업 장치의 관절들 및 신체의 검출 지점들(예: 관절, 말단) 간 적절하게 맵핑하는 동작이 요구된다. 예를 들어, 신체의 검출 지점들 중 일부만이 작업 장치의 제어를 위해 사용될 수 있다. 구체적으로, 2개의 손가락들만을 가진 집게 형상 또는 컷팅기(예: 가위) 형상의 작업 장치의 경우, 사용자의 검지 손가락 및 엄지 손가락에서의 검출 지점들만이 사용될 수 있다. 다른 예로, 신체의 검출 지점들 중 적어도 하나의 검출 지점은 작업 장치의 복수의 관절들에 맵핑될 수 있다. 이 경우, 하나의 검출 지점에 맵핑된 복수의 작업 장치 관절들을 개별적으로 제어할 수 있도록, 사용자의 선택에 따라 복수의 작업 장치 관절들 중 하나를 제어 대상으로서 지정하는 동작이 수행될 수 있다.
도 12의 예와 같이, 사용자의 신체의 일부에 대한 영상에 기반하여 작업 장치가 제어될 수 있다. 작업 장치의 제어는 작업 장치 관절들의 각도 또는 각도의 변화량을 지시함으로써 수행되고, 작업 장치 관절들의 각도 등은 촬영된 영상에서 검출된 신체의 자세에 의한 신체 관절의 각도에 기반하여 결정된다. 그러나, 작업 장치의 모든 관절들에 대응하는 신체 관절들이 촬영되지 아니할 수 있다. 예를 들어, 작업 장치 팔의 경우, 구현에 따라서, 손가락 관절은 물론, 손목 관절, 팔꿈치 관절이 존재할 수 있다. 하지만, 촬영되는 신체의 일부가 손이고, 팔꿈치가 촬영되지 아니하는 경우, 작업 장치 팔의 팔꿈치 관절에 매칭되는 사용자의 신체 관절은 영상에 존재하지 아니한다.
즉, 작업 장치의 관절들 중 일부는 매칭되는 신체 관절을 가지지 아니할 수 있다. 이하 설명에서, 매칭되는 관절이 영상에 포함되지 아니하는 작업 장치 관절은 '비-매칭 관절'이라 지칭된다. 따라서, 작업 장치의 비-매칭 관절을 제어하는 명령은 신체의 영상에서 직접적으로 검출되는 각도 정보가 아닌 다른 정보에 기반하여 생성될 수 있다. 예를 들어, 손만 촬영되는 상황에서, 작업 장치의 팔꿈치 관절을 제어하기 위한 명령은, 사용자 현장에서의 카메라 렌즈 및 손의 거리에 기반하여 결정될 수 있다. 구체적으로, 카메라 렌즈와 손이 멀어지면 작업 장치의 팔꿈치 관절의 각도가 커지고, 카메라 렌즈와 손이 가까워지면 작업 장치의 팔꿈치 관절의 각도가 작아지도록 제어될 수 있다. 이를 위해, 사용자 장치는 손이 카메라 렌즈에서 멀어지는지 가까워지는지를 판단한다. 예를 들어, 사용자 장치는 촬영되는 손의 크기 변화에 기반하여 손 및 카메라 렌즈의 거리 변화를 판단할 수 있다. 다만, 카메라 렌즈 및 피사체의 거리를 이용하는 것은 일 예로서 설명된 것이며, 본 발명이 이에 제한되는 것은 아니고, 영상으로부터 얻을 수 있는 다양한 정보들이 활용될 수 있을 것이다.
또한, 비-매칭 관절은 아니지만, 해당 관절에 인접한 다른 관절이 하나뿐이거나 존재하지 아니하는 경우, 영상에서 해당 관절의 각도를 직접적으로 계산하기 어려울 수 있다. 예를 들어, 도 12의 손목 관절(1212)와 같은 경우, 손목 관절(1212)은 엄지의 마지막 관절에만 연결되어 있고, 반대 방향으로 연결된 관절이 없으므로, 손목 관절(1212)의 각도가 지점들의 인식 결과로부터 직접적으로 계산될 수 없다. 따라서, 손목 관절(1212)와 같이 각도를 정의하기 위한 적어도 하나의 방향에 대하여 인접 관절을 가지지 아니하는 경우, 사용자 장치는 다른 관절 지점들의 움직임에 기반하여 해당 관절의 각도를 도출할 수 있다. 예를 들어, 손목 관절(1212)의 경우, 손목 관절(1212) 및 위 검지 손가락, 중지 손가락, 약지 손가락, 새끼 손가락 각각에서 가장 가까운 관절들 중 적어도 두 개와 연결하면, 하나의 평면 도형이 특정되며, 특정된 평면 도형의 3차원 기울기에 기반하여 손목 관절(1212)의 각도가 계산될 수 있다. 다만, 해당 관절과 연결된 평면 도형의 3차원 각도를 이용하는 것은 일 예로서 설명된 것이며, 본 발명이 이에 제한되는 것은 아니고, 영상으로부터 얻을 수 있는 다양한 정보들이 활용될 수 있을 것이다.
전술한 본 발명의 다양한 실시 예들에 따른 방법은 하드웨어인 컴퓨터가 결합되어 실행되기 위해 컴퓨터 프로그램 또는 모바일 어플리케이션으로 구현되어 매체에 저장될 수 있다. 또는, 본 발명의 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다. 또한, 알고리즘은 설치 파일 형태로 제작되어 온라인 다운로드 형태로 제공되며, 이를 위해 온라인 소프트웨어 마켓을 통해 접속 가능한 서버에 저장될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (5)
- 삭제
- 작업 장치를 제어하기 위한 사용자 장치의 동작 방법에 있어서,
상기 사용자 장치에 구비된 제1 카메라를 통해 획득된 사용자의 손의 적어도 하나의 관절에 대한 영상들에서 추출되는 상기 적어도 하나의 관절의 각도 변화에 기반하여, 초기 설정된 명령어 생성 규칙에 따라, 상기 작업 장치를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신하는 단계;
원격 현장에 위치한 제2 카메라를 이용하여 촬영된 상기 적어도 하나의 명령어에 따른 상기 작업 장치의 움직임에 대한 동영상 데이터 및 상기 움직임에 대한 운동 데이터를 수신하는 단계;
상기 동영상 데이터에 기반하여 상기 작업 장치의 움직임을 표현하는 실시간 동영상을 상기 사용자 장치에 구비된 디스플레이에 표시하는 단계;
상기 적어도 하나의 관절의 각도 변화를 나타내는 제1 입력 값, 상기 적어도 하나의 관절의 각도 변화 속도를 나타내는 제2 입력 값, 상기 운동 데이터에 의해 지시되는 회전량을 나타내는 제3 입력 값, 상기 운동 데이터에 의해 지시되는 회전 속도를 나타내는 제4 입력 값, 상기 움직임에 대한 사용자의 피드백에 기반하여 결정되는 레이블(label)을 포함하는 데이터 세트를 생성하는 단계;
상기 데이터 세트를 포함하는 학습 데이터에 기반하여 훈련된, 상기 명령어 생성 규칙에 포함되는 적어도 하나의 파라미터를 결정하는 신경망 모델을 이용하여 상기 명령어 생성 규칙을 갱신하는 단계;
상기 갱신된 명령어 생성 규칙에 따라, 상기 작업 장치를 제어하기 위한 적어도 하나의 명령어를 생성 및 송신하는 단계를 포함하며,
상기 학습 데이터는, 상기 제1 입력 값, 상기 제2 입력 값, 상기 제3 입력 값 및 상기 제4 입력 값에 미리 정의된 가중치들을 곱하여 가중치들의 개수 만큼의 추가적인 데이터 세트들을 생성함으로써 증강하는 동작, 생성된 데이터 세트들 중 최대 가동 범위를 벗어나는 각도 변화량 또는 회전량을 가지는 적어도 하나의 데이터 세트를 제거하는 필터링 동작을 거친 후, 상기 신경망 모델을 학습하기 위해 사용되는 방법.
- 청구항 2에 있어서,
상기 디스플레이에 상기 작업 장치의 움직임에 대한 피드백을 요구하는 지시자를 표시하는 단계;
상기 사용자의 음성 입력에 기반하여 상기 움직임에 대한 사용자의 피드백을 획득하는 단계;
상기 피드백을 상기 적어도 하나의 파라미터에 대한 조정 값으로 변환함으로써 상기 레이블을 결정하는 단계를 더 포함하며,
상기 지시자를 표시하는 단계는,
동일한 동작을 서로 다른 속도로 미리 정의된 횟수 이상 반복하는 상황을 검출하는 단계;
상기 상황의 검출에 응하여, 상기 지시자를 표시하는 단계를 포함하는 방법.
- 청구항 2에 있어서,
상기 적어도 하나의 파라미터는,
상기 사용자의 관절 각도 변화량 대비 대응하는 작업 장치의 회전축의 회전량에 대한 제1 가중치, 상기 사용자의 관절 각도 변화 속도 대비 대응하는 작업 장치의 회전축의 회전 속도에 대한 제2 가중치, 상기 사용자의 관절 각도 변화 시작 시점 및 대응하는 작업 장치의 회전축의 회전 운동 시작 시점 간 시간 지연 값을 포함하며,
상기 제1 가중치, 상기 제2 가중치 및 상기 시간 지연 값은, 상기 작업 장치를 제어하기 위해 사용되는 상기 사용자의 손의 관절 별로 정의되는 방법.
- 청구항 2에 있어서,
상기 작업 장치는, 적어도 하나의 관절을 가지는 로봇 팔이고,
상기 적어도 하나의 명령어는, 상기 로봇 팔의 로봇 손가락 관절, 로봇 손목 관절, 로봇 팔꿈치 관절에 대한 각도 또는 각도 변화량을 지시하며,
상기 로봇 손가락 관절에 대한 각도 또는 각도 변화량은, 상기 제1 카메라에 의해 촬영되는 상기 사용자의 손가락 관절들 중 상기 로봇 손가락 관절에 매칭되는 관절의 각도에 기반하여 결정되고,
상기 로봇 손목 관절에 대한 각도 또는 각도 변화량은, 상기 제1 카메라에 의해 촬영되는 상기 사용자의 손목 관절 및 상기 손목 관절에 인접한 다른 관절들에 의해 특정되는 다각형의 3차원 기울기에 기반하여 결정되며,
상기 로봇 팔꿈치 관절에 대한 각도 또는 각도 변화량은, 상기 사용자의 손 및 상기 제1 카메라의 렌즈 간 거리에 기반하여 결정되는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230007672A KR102525661B1 (ko) | 2023-01-18 | 2023-01-18 | 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230007672A KR102525661B1 (ko) | 2023-01-18 | 2023-01-18 | 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102525661B1 true KR102525661B1 (ko) | 2023-04-24 |
Family
ID=86141810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230007672A KR102525661B1 (ko) | 2023-01-18 | 2023-01-18 | 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102525661B1 (ko) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170135027A (ko) * | 2016-05-30 | 2017-12-08 | 재단법인 아산사회복지재단 | 손가락 움직임 기반 원격제어 마스터 장치 |
| KR101978740B1 (ko) | 2012-02-15 | 2019-05-15 | 삼성전자주식회사 | 원격조종시스템 및 그 제어방법 |
| KR20190142053A (ko) | 2018-06-15 | 2019-12-26 | 전남대학교산학협력단 | 병렬 케이블 로봇을 활용한 소형 햅틱 장치 |
| KR20200059111A (ko) * | 2018-11-20 | 2020-05-28 | 한양대학교 산학협력단 | 뉴럴 네트워크를 이용하는 파지 방법, 파지 학습 방법 및 파지 로봇 |
| KR20200140834A (ko) * | 2019-04-30 | 2020-12-16 | 치루 유니버시티 오브 테크놀로지 | 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 |
| KR20210108201A (ko) * | 2020-02-25 | 2021-09-02 | 충남대학교산학협력단 | 손의 움직임을 측정하고 데이터화하는 스마트 글러브 |
| KR102381067B1 (ko) * | 2020-10-21 | 2022-03-30 | 대구대학교 산학협력단 | 이동식 원격 작업 로봇, 그의 제어 시스템 및 제어 방법 |
| KR20220078464A (ko) * | 2020-12-03 | 2022-06-10 | 서울대학교병원 | 손 움직임 측정 장치 |
| KR20220118343A (ko) * | 2021-02-18 | 2022-08-25 | 애플 인크. | 비접촉식 손목 측정 |
-
2023
- 2023-01-18 KR KR1020230007672A patent/KR102525661B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101978740B1 (ko) | 2012-02-15 | 2019-05-15 | 삼성전자주식회사 | 원격조종시스템 및 그 제어방법 |
| KR20170135027A (ko) * | 2016-05-30 | 2017-12-08 | 재단법인 아산사회복지재단 | 손가락 움직임 기반 원격제어 마스터 장치 |
| KR20190142053A (ko) | 2018-06-15 | 2019-12-26 | 전남대학교산학협력단 | 병렬 케이블 로봇을 활용한 소형 햅틱 장치 |
| KR20200059111A (ko) * | 2018-11-20 | 2020-05-28 | 한양대학교 산학협력단 | 뉴럴 네트워크를 이용하는 파지 방법, 파지 학습 방법 및 파지 로봇 |
| KR20200140834A (ko) * | 2019-04-30 | 2020-12-16 | 치루 유니버시티 오브 테크놀로지 | 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 |
| KR20210108201A (ko) * | 2020-02-25 | 2021-09-02 | 충남대학교산학협력단 | 손의 움직임을 측정하고 데이터화하는 스마트 글러브 |
| KR102381067B1 (ko) * | 2020-10-21 | 2022-03-30 | 대구대학교 산학협력단 | 이동식 원격 작업 로봇, 그의 제어 시스템 및 제어 방법 |
| KR20220078464A (ko) * | 2020-12-03 | 2022-06-10 | 서울대학교병원 | 손 움직임 측정 장치 |
| KR20220118343A (ko) * | 2021-02-18 | 2022-08-25 | 애플 인크. | 비접촉식 손목 측정 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11262841B2 (en) | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing | |
| US9367136B2 (en) | Holographic object feedback | |
| JP3996015B2 (ja) | 姿勢認識装置及び自律ロボット | |
| CN108564643B (zh) | 基于ue引擎的表演捕捉系统 | |
| CN109172066B (zh) | 基于语音控制与视觉识别的智能假肢手及其系统和方法 | |
| CN108127669A (zh) | 一种基于动作融合的机器人示教系统及实施方法 | |
| CN113262465A (zh) | 一种虚拟现实交互方法、设备及系统 | |
| JP4435212B2 (ja) | 姿勢認識装置及び自律ロボット | |
| KR102452924B1 (ko) | 역각 시각화 장치, 로봇 및 역각 시각화 프로그램 | |
| JP7375770B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN114730215A (zh) | 用于远程控制环境中的设备的系统和方法 | |
| JP2019005846A (ja) | ロボット、ロボットの制御方法及びプログラム | |
| WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
| JP2015066621A (ja) | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 | |
| KR20220063847A (ko) | 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치 | |
| KR102525661B1 (ko) | 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치 | |
| JP7363823B2 (ja) | 情報処理装置、および情報処理方法 | |
| JP6558764B2 (ja) | テレプレゼンスロボット | |
| KR102553830B1 (ko) | 카메라를 이용한 실시간 로봇 원격 제어 방법 및 장치 | |
| KR20170045678A (ko) | Ｈｍｄ를 이용한 아바타 장치 | |
| CN111966213A (zh) | 图像处理方法、装置、设备及存储介质 | |
| KR20240013046A (ko) | 사용자의 원격 움직임에 기반한 산업용 로봇 제어방법 및 이를 활용하는 장치 | |
| Bouteraa et al. | Development of IoT-based robot for wrist rehabilitation | |
| US20240089539A1 (en) | System, apparatus, and method for broadcasting content | |
| JP7390891B2 (ja) | クライアント装置、サーバ、プログラム、及び、情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |