KR20200054327A - 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램 - Google Patents

3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램 Download PDF

Info

Publication number
KR20200054327A
KR20200054327A KR1020207013091A KR20207013091A KR20200054327A KR 20200054327 A KR20200054327 A KR 20200054327A KR 1020207013091 A KR1020207013091 A KR 1020207013091A KR 20207013091 A KR20207013091 A KR 20207013091A KR 20200054327 A KR20200054327 A KR 20200054327A
Authority
KR
South Korea
Prior art keywords
space
monitoring
distance
learning
worker
Prior art date
Application number
KR1020207013091A
Other languages
English (en)
Other versions
KR102165967B1 (ko
Inventor
요시유키 가토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20200054327A publication Critical patent/KR20200054327A/ko
Application granted granted Critical
Publication of KR102165967B1 publication Critical patent/KR102165967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40339—Avoid collision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/43—Speed, acceleration, deceleration control ADC
    • G05B2219/43202—If collision danger, speed is low, slow motion

Abstract

3차원 공간 감시 장치(10)는, 제 1 감시 대상(31)의 제 1 계측 정보(31a)와 제 2 감시 대상(32)의 제 2 계측 정보(32a)로부터 제 1 감시 대상과 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 학습부(11)와, 제 1 감시 대상(31)의 제 1 동작 공간(43)과 제 2 감시 대상(32)의 제 2 동작 공간(44)을 생성하는 동작 공간 생성부(13)와, 제 1 감시 대상(31)으로부터 제 2 동작 공간(44)까지의 제 1 거리(45)와 제 2 감시 대상(32)으로부터 제 1 동작 공간(43)까지의 제 2 거리(46)를 산출하는 거리 산출부(14)와, 학습 결과(D2)에 근거하여 거리 임계치(L)를 결정하고, 제 1 및 제 2 거리(45, 46)와 거리 임계치(L)에 근거하여 제 1 감시 대상(31)과 제 2 감시 대상(32)의 접촉 가능성을 예측하는 접촉 예측 판정부(15)를 구비하고, 접촉 가능성에 근거하는 처리를 실행한다.

Description

3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램
본 발명은, 제 1 감시 대상과 제 2 감시 대상이 존재하는 3차원 공간(이하 "공존 공간"이라고도 한다)을 감시하기 위한 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램에 관한 것이다.
최근, 제조 공장 등에 있어서, 사람(이하 "작업자"라고도 한다)과 기계(이하 "로봇"이라고도 한다)가, 공존 공간에서 협동 작업을 행하는 경우가 늘고 있다.
특허문헌 1은, 작업자와 로봇의 시계열의 상태(예컨대, 위치 좌표)를 학습하여 얻어진 학습 정보를 유지하고, 작업자의 현재의 상태와 로봇의 현재의 상태와 학습 정보에 근거하여 로봇의 동작을 제어하는 제어 장치를 기재하고 있다.
특허문헌 2는, 작업자와 로봇의 각각의 현재 위치와 이동 속도에 근거하여 작업자와 로봇의 각각의 장래 위치를 예측하고, 이 장래 위치에 근거하여 작업자와 로봇의 접촉 가능성을 판단하고, 이 판단의 결과에 따른 처리를 행하는 제어 장치를 기재하고 있다.
특허문헌 1 : 일본 특허 공개 2016-159407호 공보(예컨대, 청구항 1, 요약, 단락 0008, 도 1 및 2) 특허문헌 2 : 일본 특허 공개 2010-120139호 공보(예컨대, 청구항 1, 요약, 도 1~4)
특허문헌 1의 제어 장치는, 작업자와 로봇의 현재의 상태가, 작업자와 로봇의 학습 시의 상태와 상이할 때에, 로봇의 동작을 정지 또는 감속시킨다. 그러나, 이 제어 장치는, 작업자와 로봇의 사이의 거리를 고려하고 있지 않기 때문에, 작업자와 로봇의 접촉 가능성을 정확하게 판정할 수 없다. 예컨대, 작업자가 로봇으로부터 멀어지는 방향으로 움직인 경우이더라도, 로봇의 동작이 정지 또는 감속한다. 다시 말해, 불필요한 때에 로봇의 동작이 정지 또는 감속하는 경우가 있다.
특허문헌 2의 제어 장치는, 작업자와 로봇의 예측된 장래 위치에 근거하여 로봇을 제어한다. 그러나, 작업자의 행동 및 로봇의 동작이 많은 종류 존재하는 경우 또는 작업자의 행동의 개인차가 큰 경우에는, 작업자와 로봇의 접촉 가능성을 정확하게 판정할 수 없다. 이 때문에, 불필요한 때에 로봇의 동작이 정지하거나, 필요한 때에 로봇의 동작이 정지하지 않거나 하는 경우가 있다.
본 발명은, 상기 과제를 해결하기 위해 이루어진 것이고, 제 1 감시 대상과 제 2 감시 대상의 접촉 가능성을 높은 정밀도로 판정할 수 있는 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 일 태양에 따른 3차원 공간 감시 장치는, 제 1 감시 대상과 제 2 감시 대상이 존재하는 공존 공간을 감시하는 장치이고, 센서부에 의해 상기 공존 공간을 계측함으로써 취득된 상기 제 1 감시 대상의 시계열의 제 1 계측 정보와 상기 제 2 감시 대상의 시계열의 제 2 계측 정보로부터, 상기 제 1 감시 대상 및 상기 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 학습부와, 상기 제 1 계측 정보에 근거하여 상기 제 1 감시 대상이 존재할 수 있는 가상적인 제 1 동작 공간을 생성하고, 상기 제 2 계측 정보에 근거하여 상기 제 2 감시 대상이 존재할 수 있는 가상적인 제 2 동작 공간을 생성하는 동작 공간 생성부와, 상기 제 1 감시 대상으로부터 상기 제 2 동작 공간까지의 제 1 거리와 상기 제 2 감시 대상으로부터 상기 제 1 동작 공간까지의 제 2 거리를 산출하는 거리 산출부와, 상기 학습부의 학습 결과에 근거하여 거리 임계치를 결정하고, 상기 제 1 거리와 상기 제 2 거리와 상기 거리 임계치에 근거하여 상기 제 1 감시 대상과 상기 제 2 감시 대상의 접촉 가능성을 예측하는 접촉 예측 판정부를 구비하고, 상기 접촉 가능성에 근거하는 처리를 실행하는 것을 특징으로 한다.
또한, 본 발명의 다른 태양에 따른 3차원 공간 감시 방법은, 제 1 감시 대상과 제 2 감시 대상이 존재하는 공존 공간을 감시하는 방법이고, 센서부에 의해 상기 공존 공간을 계측함으로써 취득된 상기 제 1 감시 대상의 시계열의 제 1 계측 정보와 상기 제 2 감시 대상의 시계열의 제 2 계측 정보로부터, 상기 제 1 감시 대상 및 상기 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 스텝과, 상기 제 1 계측 정보에 근거하여 상기 제 1 감시 대상이 존재할 수 있는 가상적인 제 1 동작 공간을 생성하고, 상기 제 2 계측 정보에 근거하여 상기 제 2 감시 대상이 존재할 수 있는 가상적인 제 2 동작 공간을 생성하는 스텝과, 상기 제 1 감시 대상으로부터 상기 제 2 동작 공간까지의 제 1 거리와 상기 제 2 감시 대상으로부터 상기 제 1 동작 공간까지의 제 2 거리를 산출하는 스텝과, 상기 학습 결과에 근거하여 거리 임계치를 결정하고, 상기 제 1 거리와 상기 제 2 거리와 상기 거리 임계치에 근거하여 상기 제 1 감시 대상과 상기 제 2 감시 대상의 접촉 가능성을 예측하는 스텝과, 상기 접촉 가능성에 근거하는 동작을 실행하는 스텝을 갖는 것을 특징으로 한다.
본 발명에 따르면, 제 1 감시 대상과 제 2 감시 대상의 접촉 가능성을 높은 정밀도로 판정할 수 있고, 접촉 가능성에 근거하는 적절한 처리를 행하는 것이 가능하게 된다.
도 1은 실시의 형태 1에 따른 3차원 공간 감시 장치 및 센서부의 구성을 개략적으로 나타내는 도면이다.
도 2는 실시의 형태 1에 따른 3차원 공간 감시 장치 및 센서부의 동작을 나타내는 플로차트이다.
도 3은 실시의 형태 1에 따른 3차원 공간 감시 장치의 학습부의 구성예를 개략적으로 나타내는 블록도이다.
도 4는 3층의 가중치를 갖는 뉴럴 네트워크를 개념적으로 나타내는 모식도이다.
도 5(A) 내지 (E)는 감시 대상의 골격 구조와 동작 공간의 예를 나타내는 개략 사시도이다.
도 6(A) 및 (B)는 실시의 형태 1에 따른 3차원 공간 감시 장치의 동작을 나타내는 개략 사시도이다.
도 7은 실시의 형태 1에 따른 3차원 공간 감시 장치의 하드웨어 구성을 나타내는 도면이다.
도 8은 실시의 형태 2에 따른 3차원 공간 감시 장치 및 센서부의 구성을 개략적으로 나타내는 도면이다.
도 9는 실시의 형태 2에 따른 3차원 공간 감시 장치의 학습부의 구성예를 개략적으로 나타내는 블록도이다.
이하의 실시의 형태에서는, 3차원 공간 감시 장치, 3차원 공간 감시 장치에 의해 실행시킬 수 있는 3차원 공간 감시 방법, 및 컴퓨터로 하여금 3차원 공간 감시 방법을 실행하게 하는 3차원 공간 감시 프로그램을, 첨부 도면을 참조하면서 설명한다. 이하의 실시의 형태는, 예에 지나지 않고, 본 발명의 범위 내에서 여러 가지의 변경이 가능하다.
또한, 이하의 실시의 형태에 있어서는, 3차원 공간 감시 장치가, 제 1 감시 대상으로서의 "사람"(즉, 작업자)과 제 2 감시 대상으로서의 "기계 또는 사람"(즉, 로봇 또는 작업자)이 존재하는 공존 공간을 감시하는 경우를 설명한다. 단, 공존 공간에 존재하는 감시 대상의 수는, 3 이상이더라도 좋다.
또한, 이하의 실시의 형태에서는, 제 1 감시 대상과 제 2 감시 대상이 접촉하는 것을 막기 위해, 접촉 예측 판정이 행하여진다. 접촉 예측 판정에서는, 제 1 감시 대상과 제 2 감시 대상의 사이의 거리(이하의 설명에서는, 감시 대상과 동작 공간의 사이의 거리가 이용된다)가 거리 임계치 L보다 작은지 여부(즉, 제 1 감시 대상과 제 2 감시 대상이, 거리 임계치 L보다 접근하고 있는지 여부)를 판정한다. 그리고, 3차원 공간 감시 장치는, 이 판정(즉, 접촉 예측 판정)의 결과에 근거하는 처리를 실행한다. 이 처리는, 예컨대, 작업자에 대한 접촉 회피를 위한 정보 제시를 위한 처리, 및 접촉 회피를 위해 로봇의 동작을 정지 또는 감속시키기 위한 처리이다.
또한, 이하의 실시의 형태에 있어서는, 공존 공간 내의 작업자의 행동 패턴을 기계 학습함으로써 학습 결과 D2가 생성되고, 학습 결과 D2에 근거하여 접촉 예측 판정에 이용하는 거리 임계치 L이 결정된다. 여기서, 학습 결과 D2는, 예컨대, 작업자가 작업에 대하여 어느 정도 숙련되어 있는지를 나타내는 지표인 "숙련도", 작업자의 피로의 정도를 나타내는 지표인 "피로도", 작업자의 작업의 진척 상황이 상대방(즉, 공존 공간 내에 있어서의 로봇 또는 다른 작업자)의 작업의 진척 상황과 일치하고 있는지 여부를 나타내는 지표인 "협조 레벨" 등을 포함할 수 있다.
실시의 형태 1.
<3차원 공간 감시 장치(10)>
도 1은 실시의 형태 1에 따른 3차원 공간 감시 장치(10) 및 센서부(20)의 구성을 개략적으로 나타내는 도면이다. 도 2는 3차원 공간 감시 장치(10) 및 센서부(20)의 동작을 나타내는 플로차트이다. 도 1에 나타내어지는 시스템은, 3차원 공간 감시 장치(10)와, 센서부(20)를 갖는다. 도 1에는, 공존 공간(30) 내에 있어서, 제 1 감시 대상으로서의 작업자(31)와 제 2 감시 대상으로서의 로봇(32)이 협동 작업을 행하는 경우가 나타나 있다.
도 1에 나타내어지는 바와 같이, 3차원 공간 감시 장치(10)는, 학습부(11)와, 학습 데이터 D1 등을 기억하는 기억부(12)와, 동작 공간 생성부(13)와, 거리 산출부(14)와, 접촉 예측 판정부(15)와, 정보 제공부(16)와, 기계 제어부(17)를 갖는다.
3차원 공간 감시 장치(10)는, 3차원 공간 감시 방법을 실행할 수 있다. 또한, 3차원 공간 감시 장치(10)는, 예컨대, 3차원 공간 감시 프로그램을 실행하는 컴퓨터이다. 3차원 공간 감시 방법은, 예컨대,
(1) 센서부(20)에 의해 공존 공간(30)을 계측함으로써 취득된 작업자(31)의 시계열의 계측 정보(예컨대, 화상 정보)(31a)에 근거하는 제 1 골격 정보(41)와 로봇(32)의 시계열의 계측 정보(예컨대, 화상 정보)(32a)에 근거하는 제 2 골격 정보(42)로부터, 작업자(31) 및 로봇(32)의 동작 패턴을 기계 학습하는 것에 의해 학습 결과 D2를 생성하는 스텝(도 2에 있어서의 스텝 S1~S3)과,
(2) 제 1 골격 정보(41)로부터 작업자(31)가 존재할 수 있는 가상적인 제 1 동작 공간(43)을 생성하고, 제 2 골격 정보(42)로부터 로봇(32)이 존재할 수 있는 가상적인 제 2 동작 공간(44)을 생성하는 스텝(도 2에 있어서의 스텝 S5)과,
(3) 작업자(31)로부터 제 2 동작 공간(44)까지의 제 1 거리(45)와 로봇(32)으로부터 제 1 동작 공간(43)까지의 제 2 거리(46)를 산출하는 스텝(도 2에 있어서의 스텝 S6)과,
(4) 학습 결과 D2에 근거하여 거리 임계치 L을 결정하는 스텝(도 2에 있어서의 스텝 S4)과,
(5) 제 1 거리(45)와 제 2 거리(46)와 거리 임계치 L에 근거하여 작업자(31)와 로봇(32)의 접촉 가능성을 예측하는 스텝(도 2에 있어서의 스텝 S7)과,
(6) 예측된 접촉 가능성에 근거하는 처리를 실행하는 스텝(도 2에 있어서의 스텝 S8, S9)을 갖는다.
또, 도 1에 나타내어지는 제 1 골격 정보(41), 제 2 골격 정보(42), 제 1 동작 공간(43), 및 제 2 동작 공간(44)의 각 형상은, 예시이고, 보다 구체적인 형상의 예는, 후술하는 도 5(A) 내지 (E)에 나타내어진다.
<센서부(20)>
센서부(20)는, 작업자(31)의 행동과 로봇(32)의 동작을 3차원 계측한다(도 2에 있어서의 스텝 S1). 센서부(20)는, 예컨대, 제 1 감시 대상인 작업자(31)와 제 2 감시 대상인 로봇(32)의 색 화상과, 센서부(20)로부터 작업자(31)까지의 거리와 센서부(20)로부터 로봇(32)까지의 거리를, 적외선을 이용하여 동시에 측정할 수 있는 거리 화상 카메라를 갖는다. 또한, 센서부(20)에 더하여, 센서부(20)와 상이한 위치에 배치된 다른 센서부를 구비하더라도 좋다. 다른 센서부는, 서로 상이한 위치에 배치된 복수 대의 센서부를 포함하더라도 좋다. 복수의 센서부를 구비하는 것에 의해, 센서부에 의해 측정할 수 없는 사각 영역을 줄일 수 있다.
센서부(20)는, 신호 처리부(20a)를 포함한다. 신호 처리부(20a)는, 작업자(31)의 3차원 데이터를 제 1 골격 정보(41)로 변환하고, 로봇(32)의 3차원 데이터를 제 2 골격 정보(42)로 변환한다(도 2에 있어서의 스텝 S2). 여기서, "골격 정보"란, 작업자 또는 로봇을 관절을 갖는 골격 구조로 간주한 경우에 있어서의, 관절의 3차원 위치 데이터(또는, 관절과 골격 구조의 단부의 3차원 위치 데이터)로 구성되는 정보이다. 제 1 및 제 2 골격 정보로 변환하는 것에 의해, 3차원 공간 감시 장치(10)에 있어서의 3차원 데이터에 대한 처리의 부하를 경감할 수 있다. 센서부(20)는, 제 1 및 제 2 골격 정보(41, 42)를 정보 D0으로서 학습부(11)와 동작 공간 생성부(13)에 제공한다.
<학습부(11)>
학습부(11)는, 센서부(20)로부터 취득한 작업자(31)의 제 1 골격 정보(41)와 로봇(32)의 제 2 골격 정보(42)와 기억부(12)에 기억된 학습 데이터 D1로부터, 작업자(31)의 행동 패턴을 기계 학습하고, 그 결과를 학습 결과 D2로서 도출한다. 마찬가지로, 학습부(11)는, 로봇(32)의 동작 패턴(또는 다른 작업자의 행동 패턴)을 기계 학습하고, 그 결과를 학습 결과 D2로서 도출하더라도 좋다. 기억부(12)에는, 작업자(31)와 로봇(32)의 시계열의 제 1 및 제 2 골격 정보(41, 42)에 근거하는 기계 학습에 의해 취득된 교사 정보 및 학습 결과 등이, 학습 데이터 D1로서 수시로 저장된다. 학습 결과 D2는, 작업자(31)가 작업에 대하여 어느 정도 숙련되어 있는지(다시 말해, 익숙해져 있는지)를 나타내는 지표인 "숙련도", 작업자의 피로의 정도(다시 말해, 컨디션)를 나타내는 지표인 "피로도", 작업자의 작업의 진척 상황이 상대방의 작업의 진척 상황과 일치하고 있는지 여부를 나타내는 지표인 "협조 레벨" 중 1개 이상을 포함할 수 있다.
도 3은 학습부(11)의 구성예를 개략적으로 나타내는 블록도이다. 도 3에 나타내어지는 바와 같이, 학습부(11)는, 학습 장치(111)와, 작업 분해부(112)와, 학습 장치(113)를 갖는다.
여기서는, 제조 공장에 있어서의 셀 생산 방식의 작업을 예로서 설명한다. 셀 생산 방식에서는, 1인 또는 복수의 작업자의 팀으로 작업을 행한다. 셀 생산 방식에 있어서의 일련의 작업은, 복수 종류의 작업 공정을 포함한다. 예컨대, 셀 생산 방식에 있어서의 일련의 작업은, 부품 설치, 나사 조이기, 조립, 검사, 패킹 등의 작업 공정을 포함한다. 따라서, 작업자(31)의 행동 패턴을 학습하기 위해서는, 우선, 이들 일련의 작업을 개개의 작업 공정으로 분해할 필요가 있다.
학습 장치(111)는, 센서부(20)로부터 취득된 계측 정보인 색 화상 정보(52)로부터 얻어진 시계열의 화상 사이의 차분을 이용하여 특징량을 추출한다. 예컨대, 작업대 상에서 일련의 작업이 행하여지는 경우, 작업 공정마다, 작업대 상에 있는 부품, 공구, 제품의 형상 등이 상이하다. 따라서, 학습 장치(111)는, 작업자(31) 및 로봇(32)의 배경 화상(예컨대, 작업대 상의 부품, 공구, 제품의 화상)의 변화량과 배경 화상의 변화의 추이 정보를 추출한다. 학습 장치(111)는, 추출된 특징량의 변화와 동작 패턴의 변화를 조합하여 학습하는 것에 의해, 현재의 작업이, 어느 공정의 작업과 일치하는지를 판정한다. 또, 동작 패턴의 학습에는, 제 1 및 제 2 골격 정보(41, 42)를 이용한다.
학습 장치(111)에 의해 행하여지는 학습인 기계 학습에는 다양한 수법이 있다. 기계 학습으로서는, "비지도 학습(unsupervised learning)", "지도 학습(supervised learning)", "강화 학습(reinforcement learning)" 등을 채용할 수 있다.
"비지도 학습"에서는, 작업대의 다수의 배경 화상으로부터, 비슷한 배경 화상끼리를 학습하고, 다수의 배경 화상을 클러스터링하는 것에 의해, 배경 화상을 작업 공정마다의 배경 화상으로 분류한다. 여기서, "클러스터링"이란, 미리 교사 데이터를 준비하지 않고, 대량의 데이터 중에서 비슷한 데이터의 모임을 찾아내는 수법 또는 알고리즘이다.
"지도 학습"에서는, 개개의 작업 공정에 있어서의 작업자(31)의 시계열의 행동 데이터와 작업 공정마다의 로봇(32)의 시계열의 동작 데이터를 미리 학습 장치(111)에 주는 것에 의해, 작업자(31)의 행동 데이터의 특징을 학습하고, 작업자(31)의 현재의 행동 패턴을 행동 데이터의 특징과 비교한다.
도 4는 기계 학습을 실현하는 한 수법인 심층 학습(딥 러닝)을 설명하기 위한 것이고, 각각이 가중 계수 w1, w2, w3을 갖는 3층(즉, 제 1 층, 제 2 층, 및 제 3 층)으로 이루어지는 뉴럴 네트워크를 나타내는 모식도이다. 제 1 층은, 3개의 뉴런(즉, 노드) N11, N12, N13을 갖고, 제 2 층은, 2개의 뉴런 N21, N22를 갖고, 제 3 층은, 3개의 뉴런 N31, N32, N33을 갖는다. 제 1 층에 복수의 입력 x1, x2, x3이 입력되면, 뉴럴 네트워크가 학습을 행하고, 결과 y1, y2, y3을 출력한다. 제 1 층의 뉴런 N11, N12, N13은, 입력 x1, x2, x3으로부터 특징 벡터를 생성하고, 대응하는 가중 계수 w1이 승산된 특징 벡터를 제 2 층에 출력한다. 제 2 층의 뉴런 N21, N22는, 입력에, 대응하는 가중 계수 w2가 승산된 특징 벡터를 제 3 층에 출력한다. 제 3 층의 뉴런 N31, N32, N33은, 입력에, 대응하는 가중 계수 w2가 승산된 특징 벡터를 결과(즉, 출력 데이터) y1, y2, y3으로서 출력한다. 오차 역전파법(백 프로파게이션)에서는, 가중 계수 w1, w2, w3은, 결과 y1, y2, y3과 교사 데이터 t1, t2, t3의 차분을 작게 하도록 가중 계수 w1, w2, w3을 최적의 값으로 갱신한다.
"강화 학습"은, 현재의 상태를 관측하고, 취해야 할 행동을 결정하는 학습 방법이다. "강화 학습"에서는, 행동 또는 동작할 때마다 보수가 돌아온다. 그 때문에, 보수가 가장 높아지는 행동 또는 동작을 학습할 수 있다. 예컨대, 작업자(31)와 로봇(32)의 사이의 거리 정보는, 거리가 커지면 접촉할 가능성이 작아진다. 다시 말해, 거리가 커질수록 큰 보수를 주는 것에 의해, 보수를 최대화하도록, 로봇(32)의 동작을 결정할 수 있다. 또한, 로봇(32)의 가속도의 크기가 클수록, 작업자(31)와 접촉한 경우에 작업자(31)에게 주는 영향도가 크기 때문에, 로봇(32)의 가속도의 크기가 클수록, 작은 보수를 설정한다. 또한, 로봇(32)의 가속도와 힘이 클수록, 작업자(31)와 접촉한 경우에 작업자(31)에게 주는 영향도가 크기 때문에, 로봇(32)의 힘이 클수록, 작은 보수를 설정한다. 그리고, 학습 결과를 로봇(32)의 동작에 피드백하는 제어를 행한다.
이들 학습 방법, 다시 말해, "비지도 학습", "지도 학습", "강화 학습" 등을 조합하여 이용하는 것에 의해, 학습을 효율적으로 행하고, 좋은 결과(로봇(32)의 행동)를 얻을 수 있다. 후술하는 학습 장치도, 이들 학습 방법을 조합하여 이용한 것이다.
작업 분해부(112)는, 센서부(20)에서 얻어진 시계열의 화상의 상호의 일치성 또는 행동 패턴의 일치성 등에 근거하여, 일련의 작업을 개개의 작업 공정으로 분해하고, 일련의 작업의 단락의 타이밍, 즉, 일련의 작업을 개개의 작업 공정으로 분해할 때의 분해 위치를 나타내는 타이밍을 출력한다.
학습 장치(113)는, 제 1 및 제 2 골격 정보(41, 42)와 학습 데이터 D1로서 기억되어 있는 작업자(31)의 속성 정보인 작업자 속성 정보(53)를 이용하여, 작업자(31)의 숙련도, 피로도, 및 작업 속도(다시 말해, 협조 레벨) 등을 추정한다(도 2에 있어서의 스텝 S3). "작업자 속성 정보"란, 작업자(31)의 연령 및 작업 경험 연수 등 작업자(31)의 경력 정보와, 신장, 체중, 시력 등의 작업자(31)의 신체적인 정보와, 작업자(31)의 그 날의 작업 계속 시간 및 컨디션 등이 포함된다. 작업자 속성 정보(53)는, 미리(예컨대, 작업의 개시 전에) 기억부(12)에 저장된다. 심층 학습에서는, 다층 구조의 뉴럴 네트워크가 사용되고, 다양한 의미를 갖는 뉴럴층(예컨대, 도 4에 있어서의 제 1 층~제 3 층)에서 처리가 행하여진다. 예컨대, 작업자(31)의 행동 패턴을 판정하는 뉴럴층은, 계측 데이터가 교사 데이터와 크게 상이한 경우에, 작업의 숙련도가 낮다고 판정한다. 또한, 예컨대, 작업자(31)의 특성을 판정하는 뉴럴층은, 작업자(31)의 경험 연수가 짧은 경우 또는 작업자(31)가 고령인 경우에, 경험 레벨이 낮다고 판정한다. 다수의 뉴럴층의 판정 결과에 가중치를 부여하는 것에 의해, 최종적으로, 작업자(31)의 종합적인 숙련도가 구하여진다.
동일한 작업자(31)이더라도, 그 날의 작업 계속 시간이 긴 경우는, 피로도가 높아지고 집중력에 영향을 준다. 또한, 피로도는 그 날의 작업 시각 또는 컨디션에 따라서도 변화한다. 일반적으로, 작업을 개시한 직후 또는 오전 중에는, 피로도가 적고 높은 집중력으로 작업을 행할 수 있지만, 작업 시간이 길어짐에 따라 집중력이 저하하고 작업 미스를 일으키기 쉬워진다. 또한, 작업 시간이 길더라도, 업무 시간이 종료되기 직전에는, 반대로 집중력이 높아지는 것이 알려져 있다.
얻어진 숙련도 및 피로도는, 작업자(31)와 로봇(32)의 접촉 가능성을 추측할 때의 판정 기준인 거리 임계치 L의 결정에 이용한다(도 2에 있어서의 스텝 S4).
작업자(31)의 숙련도가 높고 기능이 상급 레벨로 판단된 경우, 작업자(31)와 로봇(32)의 사이의 거리 임계치 L을 조금 작음으로 설정(다시 말해, 낮은 값 L1로 설정)하는 것에 의해, 불필요한 로봇(32)의 동작의 감속 및 정지를 막고, 작업 효율을 높일 수 있다. 반대로, 작업자(31)의 숙련도가 낮고 기능이 초급 레벨로 판단된 경우, 작업자(31)와 로봇(32)의 사이의 거리 임계치 L을 조금 큼으로 설정(다시 말해, 낮은 값 L1보다 높은 값 L2로 설정)하는 것에 의해, 서투른 작업자(31)와 로봇(32)의 접촉 사고를 미연에 막을 수 있다.
또한, 작업자(31)의 피로도가 높은 경우는, 거리 임계치 L을 조금 큼으로 설정(다시 말해, 높은 값 L3으로 설정)하는 것에 의해 서로 접촉하기 어려워진다. 반대로, 작업자(31)의 피로도가 낮고 집중도가 높은 경우는, 거리 임계치 L을 조금 작음으로 설정(다시 말해, 높은 값 L3보다 낮은 값 L4로 설정)하여 불필요한 로봇(32)의 동작의 감속 및 정지를 막는다.
또한, 학습 장치(113)는, 작업자(31)의 행동 패턴인 작업 패턴과 로봇(32)의 동작 패턴인 작업 패턴의 시계열의 전체적인 관계를 학습하고, 현재의 작업 패턴의 관계를 학습으로 얻어진 작업 패턴과 비교하는 것에 의해, 작업자(31)와 로봇(32)의 협동 작업의 협조의 정도인 협조 레벨을 판정한다. 협조 레벨이 낮은 경우, 작업자(31) 및 로봇(32)의 어느 한쪽의 작업이 다른 쪽보다 늦고 있다고 생각할 수 있기 때문에, 로봇(32)의 작업 속도를 빠르게 할 필요가 있다. 또한, 작업자(31)의 작업 속도가 느린 경우는, 작업자(31)에 대하여, 효과적인 정보를 제시하는 것에 의해, 작업을 빠르게 할 것을 재촉할 필요가 있다.
이와 같이, 학습부(11)는, 이론 또는 계산식으로는 산출이 곤란한, 작업자(31)의 행동 패턴, 숙련도, 피로도, 협조 레벨을, 기계 학습을 이용하는 것에 의해 구한다. 그리고, 학습부(11)의 학습 장치(113)는, 얻어진 숙련도 및 피로도 등에 근거하여, 작업자(31)와 로봇(32)의 접촉 판정을 추측할 때에 이용하는 기준치인 거리 임계치 L을 결정한다. 결정된 거리 임계치 L을 이용하는 것에 의해, 작업자(31)의 상태 및 작업 상황에 맞추어, 불필요하게 로봇(32)을 감속 또는 정지시키는 일 없이, 작업자(31)와 로봇(32)이 서로 접촉하는 일 없이 또한 효율적으로 작업을 진행할 수 있다.
<동작 공간 생성부(13)>
도 5(A) 내지 (E)는 감시 대상의 골격 구조와 동작 공간의 예를 나타내는 개략 사시도이다. 동작 공간 생성부(13)는, 작업자(31) 및 로봇(32)의 개개의 형상에 맞추어 가상적인 동작 공간을 형성한다.
도 5(A)는 작업자(31) 또는 인간형 양팔형의 로봇(32)의 제 1 및 제 2 동작 공간(43, 44)의 예를 나타낸다. 작업자(31)는, 머리(301)와, 어깨(302), 팔꿈치(303), 손목(304)의 각 관절을 이용하여, 머리(301)를 꼭짓점으로 한 삼각형의 평면(예컨대, 평면(305~308))을 만든다. 그리고, 작성한 삼각형의 평면을 결합하여, 다각형의 수체(단, 저면은 평면이 아니다)의 머리 부근 이외의 공간을 구성한다. 작업자(31)의 머리(301)는, 로봇(32)에 접촉한 경우의 작업자(31)에 대한 영향도가 크다. 이 때문에, 머리(301)의 부근의 공간은, 머리(301)를 완전히 덮는 사각기둥의 공간으로 한다. 그리고, 도 5(D)에 나타내어지는 바와 같이, 다각형의 수체의 공간(즉, 머리 부근 이외의 공간)과 사각기둥의 공간(즉, 머리 부근의 공간)을 조합한 가상적인 동작 공간을 생성한다. 머리의 사각기둥의 공간은, 사각기둥 이외의 다각기둥의 공간으로 하는 것도 가능하다.
도 5(B)는 단순 암 유형(simple arm type)의 로봇(32)의 동작 공간의 예를 나타낸다. 암을 구성하는 3개의 관절 B1, B2, B3을 포함하는 골격에 의해 형성되는 평면(311)을, 평면(311)의 수직 방향으로 이동시켜 평면(312)과 평면(313)을 작성한다. 이동시키는 폭은, 로봇(32)이 움직이는 속도, 로봇(32)이 다른 물체에 부여하는 힘, 로봇(32)의 크기 등에 따라, 미리 결정한다. 이 경우, 도 5(E)에 나타내어지는 바와 같이, 평면(312)과 평면(313)을 상면과 저면으로 하여 작성된 사각기둥이 동작 공간이 된다. 단, 동작 공간은, 사각기둥 이외의 다각기둥의 공간으로 하는 것도 가능하다.
도 5(C)는 다관절형의 로봇(32)의 동작 공간의 예를 나타낸다. 관절 C1, C2, C3으로 평면(321)을, 관절 C2, C3, C4로 평면(322)을, 관절 C3, C4, C5로 평면(323)을 작성한다. 도 5(B)의 경우와 마찬가지로, 평면(322)을 평면(322)의 수직 방향으로 이동시켜 평면(324)과 평면(325)을 만들고, 평면(324)과 평면(325)을 상면과 저면으로 하는 사각기둥을 작성한다. 마찬가지로, 평면(321) 및 평면(323)의 각각으로도 사각기둥을 작성하고, 이들 사각기둥을 조합한 것이 동작 공간이 된다(도 2에 있어서의 스텝 S5). 단, 동작 공간은, 사각기둥 이외의 다각기둥의 공간의 조합으로 하는 것도 가능하다.
또, 도 5(A) 내지 (E)에 나타내어지는 동작 공간의 형상 및 형성 수순은, 예에 지나지 않고, 여러 가지의 변경이 가능하다.
<거리 산출부(14)>
거리 산출부(14)는, 동작 공간 생성부(13)가 생성한, 작업자(31) 또는 로봇(32)의 가상적인 제 1 및 제 2 동작 공간(43, 44)(도 1에 있어서의 D4)으로부터, 예컨대, 제 2 동작 공간(44)과 작업자(31)의 손의 사이의 제 2 거리(46), 및 제 1 동작 공간(43)과 로봇(32)의 암의 사이의 제 1 거리(45)를 산출한다(도 2에 있어서의 스텝 S6). 구체적으로는, 로봇(32)의 암의 선단부로부터 작업자(31)까지의 거리를 산출하는 경우, 도 5(A)의 제 1 동작 공간(43)의 수체 부분을 구성하는 평면(305~308)의 각각으로부터 로봇(32)의 암의 선단까지의 수직 방향의 거리, 도 5(A)의 제 1 동작 공간(43)의 사각기둥(머리) 부분을 구성하는 각 면으로부터 암의 선단까지 수직 방향의 거리를 산출한다. 마찬가지로, 작업자(31)의 손으로부터 로봇(32)까지의 거리를 산출하는 경우, 제 2 동작 공간(44)의 사각기둥을 구성하는 각 평면으로부터 손까지의 수직 방향의 거리를 산출한다.
이와 같이, 작업자(31) 또는 로봇(32)의 형상을 단순한 평면의 조합으로 모의하고, 가상적인 제 1 및 제 2 동작 공간(43, 44)을 생성하는 것에 의해, 센서부(20)에 특수한 기능을 갖게 하는 일 없이, 감시 대상까지의 거리를 적은 연산량으로 산출할 수 있다.
<접촉 예측 판정부(15)>
접촉 예측 판정부(15)는, 거리 임계치 L을 이용하여 제 1 및 제 2 동작 공간(43, 44)과 작업자(31) 또는 로봇(32)의 간섭의 가능성을 판정한다(도 2에 있어서의 스텝 S7). 거리 임계치 L은, 학습부(11)에 의한 판정의 결과인 학습 결과 D2에 근거하여 결정된다. 따라서, 거리 임계치 L은, 작업자(31)의 상태(예컨대, 숙련도, 피로도 등) 또는 작업 상황(예컨대, 협조 레벨 등)에 따라 변화한다.
예컨대, 작업자(31)의 숙련도가 높은 경우, 그 작업자(31)는 로봇(32)과의 협동 작업에 익숙해져 있고, 서로의 작업 템포를 파악하고 있다고 생각되기 때문에, 거리 임계치 L을 작게 하더라도 로봇(32)과 접촉할 가능성은 낮다. 한편, 숙련도가 낮은 경우, 그 작업자(31)는 로봇(32)과의 협동 작업에 서투르고, 작업자(31)의 부주의한 움직임 등에 의해, 숙련자의 경우보다 로봇(32)과 접촉할 가능성이 높아진다. 그 때문에, 서로 접촉하는 일이 없도록, 거리 임계치 L을 크게 할 필요가 있다.
또한, 동일한 작업자(31)에 있어서도, 컨디션이 나쁠 때 또는 피로도가 낮을 때는, 작업자(31)의 집중력이 저하하기 때문에, 로봇(32)과의 거리가 통상과 동일한 경우에도 접촉할 가능성이 높아진다. 그 때문에, 거리 임계치 L을 크게 하여, 로봇(32)과 접촉할 가능성이 있는 것을 통상보다 빠르게 전할 필요가 있다.
<정보 제공부(16)>
정보 제공부(16)는, 빛에 의한 도형의 표시, 빛에 의한 문자의 표시, 소리, 진동 등 다양한 모덜(modal)을 이용하여, 즉, 인간의 오감 등에 의한 감각의 정보를 조합한 멀티 모덜에 의해, 작업자(31)에게 정보를 제공한다. 예컨대, 접촉 예측 판정부(15)가, 작업자(31)와 로봇(32)이 접촉한다고 예측한 경우, 작업대의 위에 경고를 위한 프로젝션 매핑을 행한다. 경고를 보다 알아차리기 쉽게 또한 알기 쉽게 표현하기 위해, 도 6(A) 및 (B)에 나타내어지는 바와 같이, 동작 공간(44)과는 반대 방향의 큰 화살표(48)를 애니메이션 표시하여, 작업자(31)가 바로 직감적으로 화살표(48) 방향으로 손을 이동시키는 동작을 재촉한다. 또한, 작업자(31)의 작업 속도가, 로봇(32)의 작업 속도보다 느린 경우 또는 제조 공장에 있어서의 목표 작업 속도를 하회하는 경우, 그 내용을 작업의 방해가 되지 않는 형태로 효과적으로 말(49)로 제시하는 것에 의해, 작업을 빠르게 할 것을 작업자(31)에게 재촉한다.
<기계 제어부(17)>
기계 제어부(17)는, 접촉 예측 판정부(15)에 있어서 접촉할 가능성이 있다고 판정된 경우, 로봇(32)에 감속, 정지, 또는 퇴피 등의 동작 지령을 출력한다(도 2에 있어서의 스텝 S8). 퇴피 동작은, 작업자(31)와 로봇(32)이 접촉할 것 같은 경우, 로봇(32)의 암을 작업자(31)와 반대의 방향으로 움직이게 하는 동작이다. 작업자(31)는, 이 로봇(32)의 동작을 보는 것에 의해, 자신의 동작이 잘못되어 있는 것을 인식하기 쉬워진다.
<하드웨어 구성>
도 7은 실시의 형태 1에 따른 3차원 공간 감시 장치(10)의 하드웨어 구성을 나타내는 도면이다. 3차원 공간 감시 장치(10)는, 예컨대, 제조 공장에 있어서의 에지 컴퓨터로서 실장된다. 혹은, 3차원 공간 감시 장치(10)는, 현장 필드에 가까운 제조 기기에 포함된 컴퓨터로서 실장된다.
3차원 공간 감시 장치(10)는, 정보 처리 수단인 프로세서로서의 CPU(Central Processing Unit)(401), 정보 기억 수단으로서의 주 기억부(예컨대, 메모리)(402), 화상 정보 처리 수단으로서의 GPU(Graphics Processing Unit)(403), 정보 기억 수단으로서의 그래픽 메모리(404), I/O(Input/Output) 인터페이스(405), 외부 기억 장치로서의 하드디스크(406), 네트워크 통신 수단으로서의 LAN(Local Area Network) 인터페이스(407), 및 시스템 버스(408)를 구비한다.
또한, 외부 기기/컨트롤러(200)는, 센서부, 로봇 컨트롤러, 프로젝터 디스플레이, HMD(헤드 마운트 디스플레이), 스피커, 마이크, 촉각 디바이스, 웨어러블 디바이스 등을 포함한다.
CPU(401)는, 주 기억부(402)에 저장된 기계 학습 프로그램 등을 실행하기 위한 것이고, 도 2에 나타내는 일련의 처리를 행한다. GPU(403)는, 정보 제공부(16)가 작업자(31)에게 표시하기 위한 2차원 또는 3차원 그래픽 화상을 생성한다. 생성된 화상은 그래픽 메모리(404)에 저장되고, I/O 인터페이스(405)를 통해서 외부 기기/컨트롤러(200)의 디바이스에 출력된다. GPU(403)는, 기계 학습의 처리를 고속화하기 위해서도 활용할 수 있다. I/O 인터페이스(405)는, 학습 데이터를 저장하는 하드디스크(406) 및, 외부 기기/컨트롤러(200)에 접속되고, 다양한 센서부, 로봇 컨트롤러, 프로젝터, 디스플레이, HMD, 스피커, 마이크, 촉각 디바이스, 웨어러블 디바이스로의 제어 또는 통신을 위한 데이터 변환을 행한다. LAN 인터페이스(407)는, 시스템 버스(408)에 접속되고, 공장 내의 ERP(Enterprise Resources Planning), MES(Manufacturing Execution System) 또는 필드 기기와 통신을 행하고, 작업원 정보의 취득 또는 기기의 제어 등에 사용된다.
도 1에 나타내어지는 3차원 공간 감시 장치(10)는, 소프트웨어로서의 3차원 공간 감시 프로그램을 저장하는 하드디스크(406) 또는 주 기억부(402)와, 3차원 공간 감시 프로그램을 실행하는 CPU(401)를 이용하여(예컨대, 컴퓨터에 의해) 실현할 수 있다. 3차원 공간 감시 프로그램은, 정보 기록 매체에 저장되어 제공될 수 있고, 또는, 인터넷을 경유한 다운로드에 의해 제공될 수도 있다. 이 경우에는, 도 1에 있어서의 학습부(11), 동작 공간 생성부(13), 거리 산출부(14), 접촉 예측 판정부(15), 정보 제공부(16), 및 기계 제어부(17)는, 3차원 공간 감시 프로그램을 실행하는 CPU(401)에 의해 실현된다. 또, 도 1에 나타내어지는 학습부(11), 동작 공간 생성부(13), 거리 산출부(14), 접촉 예측 판정부(15), 정보 제공부(16), 및 기계 제어부(17)의 일부를, 3차원 공간 감시 프로그램을 실행하는 CPU(401)에 의해 실현하더라도 좋다. 또한, 도 1에 나타내어지는 학습부(11), 동작 공간 생성부(13), 거리 산출부(14), 접촉 예측 판정부(15), 정보 제공부(16), 및 기계 제어부(17)를, 처리 회로에 의해 실현하더라도 좋다.
<효과>
이상에 설명한 바와 같이, 실시의 형태 1에 따르면, 제 1 감시 대상과 제 2 감시 대상의 접촉 가능성을 높은 정밀도로 판정할 수 있다.
또한, 실시의 형태 1에 따르면, 학습 결과 D2에 근거하여 거리 임계치 L을 결정하고 있으므로, 작업자(31)와 로봇(32)의 접촉 가능성을, 작업자(31)의 상태(예컨대, 숙련도, 피로도 등) 및 작업 상황(예컨대, 협조 레벨 등)에 맞추어 적절하게 예측할 수 있다. 따라서, 불필요한 때에 로봇(32)의 정지, 감속, 퇴피가 발생하는 상황을 줄일 수 있고, 필요한 때에 로봇(32)의 정지, 감속, 퇴피를 확실하게 행할 수 있다. 또한, 불필요한 때에 작업자(31)에게 주의 환기 정보를 제공하는 상황을 줄일 수 있고, 필요한 때에 작업자(31)에게 확실하게 주의 환기 정보를 제공할 수 있다.
또한, 실시의 형태 1에 따르면, 작업자(31)와 로봇(32)의 거리를 동작 공간을 이용하여 산출하고 있으므로, 연산량을 줄일 수 있고, 접촉 가능성의 판정에 요하는 시간을 단축할 수 있다.
실시의 형태 2
도 8은 실시의 형태 2에 따른 3차원 공간 감시 장치(10a) 및 센서부(20)의 구성을 개략적으로 나타내는 도면이다. 도 8에 있어서, 도 1에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 부여된다. 도 9는 실시의 형태 2에 따른 3차원 공간 감시 장치(10a)의 학습부(11a)의 구성예를 개략적으로 나타내는 블록도이다. 도 9에 있어서, 도 3에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 3에 나타내어지는 부호와 동일한 부호가 부여된다. 실시의 형태 2에 따른 3차원 공간 감시 장치(10a)는, 학습부(11a)가 학습 장치(114)를 더 구비한 점 및 정보 제공부(16)가 학습부(11a)로부터의 학습 결과 D9에 근거한 정보를 제공하는 점이, 실시의 형태 1에 따른 3차원 공간 감시 장치(10)와 상위하다.
도 9에 나타내어지는 디자인 가이드 학습 데이터(54)는, 작업자(31)가 용이하게 인식할 수 있는 디자인의 기본 룰이 저장된 학습 데이터이다. 디자인 가이드 학습 데이터(54)는, 예컨대, 작업자(31)가 알아차리기 쉬운 배색, 작업자(31)가 판별하기 쉬운 배경색과 전경색의 조합, 작업자(31)가 읽기 쉬운 문자의 양, 작업자(31)가 인식하기 쉬운 문자의 크기, 작업자(31)가 이해하기 쉬운 애니메이션의 속도 등이 저장된 학습 데이터 D1이다. 예컨대, 학습 장치(114)는, "지도 학습"을 이용하여, 디자인 가이드 학습 데이터(54)와 화상 정보(52)로부터, 작업자(31)의 작업 환경에 따라, 작업자(31)가 식별하기 쉬운 표현 수단 또는 표현 방법을 구한다.
예컨대, 학습 장치(114)는, 작업자(31)에게 정보 제시할 때의 배색의 기본 룰로서, 이하의 룰 1~3을 이용한다.
(룰 1) 청색은 "문제 없음".
(룰 2) 황색은 "주의".
(룰 3) 적색은 "경고".
이 때문에, 학습 장치(114)는, 제시하는 정보의 종별을 입력하여 학습을 행하는 것에 의해, 사용해야 할 추천 색을 도출한다.
또한, 학습 장치(114)는, 녹색 또는 회색 등 어두운 색(다시 말해, 검은색에 가까운 색)의 작업대에 프로젝션 매핑하는 경우, 흰색 계통의 밝은 문자색으로 하여 콘트라스트를 분명히 하게 하는 것에 의해 식별하기 쉬운 표시를 행할 수 있다. 학습 장치(114)는, 작업대의 색 화상 정보(배경색)로부터 학습을 행하고, 가장 바람직한 문자색(전경색)을 도출할 수도 있다. 한편, 학습 장치(114)는, 작업대의 색이 흰색 계통의 밝은 색인 경우는, 검은색 계통의 문자색을 도출할 수도 있다.
프로젝션 매핑 등으로 표시하는 문자 사이즈는, 경고 표시의 경우, 큰 문자를 이용하여 한눈에 식별할 수 있는 표시로 할 필요가 있다. 이 때문에, 학습 장치(114)는, 표시 내용의 종별 또는 표시하는 작업대의 크기를 입력하여 학습하는 것에 의해, 경고에 적합한 문자 사이즈를 구한다. 한편, 학습 장치(114)는, 작업 지시 내용 또는 매뉴얼을 표시하는 경우는, 모든 문자가 표시 영역에 들어가는 최적의 문자의 크기를 도출한다.
이상에 설명한 바와 같이, 실시의 형태 2에 따르면, 디자인 룰의 학습 데이터를 이용하여, 표시하는 색 정보 또는 문자 사이즈 등을 학습하는 것에 의해, 환경이 변화하더라도 작업자(31)가 직감적으로 식별하기 쉬운 정보 표현 수법을 선택할 수 있다.
또, 실시의 형태 2는, 상기 이외의 점에 관하여, 실시의 형태 1과 동일하다.
10, 10a : 3차원 공간 감시 장치
11 : 학습부
12 : 기억부
12a : 학습 데이터
13 : 동작 공간 생성부
14 : 거리 산출부
15 : 접촉 예측 판정부
16 : 정보 제공부
17 : 기계 제어부
20 : 센서부
30 : 공존 공간
31 : 작업자(제 1 감시 대상)
31a : 작업자의 화상
32 : 로봇(제 2 감시 대상)
32a : 로봇의 화상
41 : 제 1 골격 정보
42 : 제 2 골격 정보
43, 43a : 제 1 동작 공간
44, 44a : 제 2 동작 공간
45 : 제 1 거리
46 : 제 2 거리
47 : 표시
48 : 화살표
49 : 메시지
111 : 학습 장치
112 : 작업 분해부
113 : 학습 장치
114 : 학습 장치

Claims (12)

  1. 제 1 감시 대상과 제 2 감시 대상이 존재하는 공존 공간을 감시하는 3차원 공간 감시 장치로서,
    센서부에 의해 상기 공존 공간을 계측함으로써 취득된 상기 제 1 감시 대상의 시계열의 제 1 계측 정보와 상기 제 2 감시 대상의 시계열의 제 2 계측 정보로부터, 상기 제 1 감시 대상 및 상기 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 학습부와,
    상기 제 1 계측 정보에 근거하여 상기 제 1 감시 대상이 존재할 수 있는 가상적인 제 1 동작 공간을 생성하고, 상기 제 2 계측 정보에 근거하여 상기 제 2 감시 대상이 존재할 수 있는 가상적인 제 2 동작 공간을 생성하는 동작 공간 생성부와,
    상기 제 1 감시 대상으로부터 상기 제 2 동작 공간까지의 제 1 거리와 상기 제 2 감시 대상으로부터 상기 제 1 동작 공간까지의 제 2 거리를 산출하는 거리 산출부와,
    상기 학습부의 학습 결과에 근거하여 거리 임계치를 결정하고, 상기 제 1 거리와 상기 제 2 거리와 상기 거리 임계치에 근거하여 상기 제 1 감시 대상과 상기 제 2 감시 대상의 접촉 가능성을 예측하는 접촉 예측 판정부
    를 구비하고,
    상기 접촉 가능성에 근거하는 처리를 실행하는
    것을 특징으로 하는 3차원 공간 감시 장치.
  2. 제 1 항에 있어서,
    상기 학습부는, 상기 제 1 계측 정보에 근거하여 생성된 상기 제 1 감시 대상의 제 1 골격 정보와 상기 제 2 계측 정보에 근거하여 생성된 상기 제 2 감시 대상의 제 2 골격 정보로부터, 상기 동작 패턴을 기계 학습하는 것에 의해 상기 학습 결과를 출력하고,
    상기 동작 공간 생성부는, 상기 제 1 골격 정보로부터 상기 제 1 동작 공간을 생성하고, 상기 제 2 골격 정보로부터 상기 제 2 동작 공간을 생성하는
    것을 특징으로 하는 3차원 공간 감시 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 감시 대상은 작업자이고, 상기 제 2 감시 대상은 로봇인 것을 특징으로 하는 3차원 공간 감시 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 감시 대상은 작업자이고, 상기 제 2 감시 대상은 다른 작업자인 것을 특징으로 하는 3차원 공간 감시 장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 학습부로부터 출력되는 상기 학습 결과는, 상기 작업자의 숙련도, 상기 작업자의 피로도, 및 상기 작업자의 협조 레벨을 포함하는 것을 특징으로 하는 3차원 공간 감시 장치.
  6. 제 3 항에 있어서,
    상기 학습부는, 상기 제 1 거리가 클수록 큰 보수를 받고, 상기 제 2 거리가 클수록 큰 보수를 받고, 상기 로봇의 가속도의 크기가 클수록 작은 보수를 받고, 상기 로봇의 힘이 클수록 작은 보수를 받는 것을 특징으로 하는 3차원 공간 감시 장치.
  7. 제 3 항 또는 제 4 항에 있어서,
    상기 작업자에게 정보를 제공하는 정보 제공부를 더 구비하고,
    상기 정보 제공부는, 상기 접촉 가능성에 근거하는 처리로서, 상기 작업자에게 정보의 제공을 행하는
    것을 특징으로 하는 3차원 공간 감시 장치.
  8. 제 7 항에 있어서,
    상기 정보 제공부는, 상기 학습 결과에 근거하여, 상기 작업자에게 제공되는 표시 정보에 관하여, 상기 작업자가 알아차리기 쉬운 배색, 상기 작업자가 판별하기 쉬운 배경색과 전경색의 조합, 상기 작업자가 읽기 쉬운 문자의 양, 상기 작업자가 인식하기 쉬운 문자의 크기를 결정하는 것을 특징으로 하는 3차원 공간 감시 장치.
  9. 제 3 항에 있어서,
    상기 로봇의 동작을 제어하는 기계 제어부를 더 구비하고,
    상기 기계 제어부는, 상기 접촉 가능성에 근거하는 처리로서, 상기 로봇의 제어를 행하는
    것을 특징으로 하는 3차원 공간 감시 장치.
  10. 제 2 항에 있어서,
    상기 동작 공간 생성부는, 상기 제 1 골격 정보에 포함되는 관절의 3차원 위치 데이터에 의해 정해지는 제 1 평면을 이용하여 상기 제 1 동작 공간을 생성하고, 상기 제 2 골격 정보에 포함되는 관절의 3차원 위치 데이터에 의해 정해지는 제 2 평면을 상기 제 2 평면에 수직인 방향으로 이동시킴으로써 상기 제 2 동작 공간을 생성하는 것을 특징으로 하는 3차원 공간 감시 장치.
  11. 제 1 감시 대상과 제 2 감시 대상이 존재하는 공존 공간을 감시하는 3차원 공간 감시 방법으로서,
    센서부에 의해 상기 공존 공간을 계측함으로써 취득된 상기 제 1 감시 대상의 시계열의 제 1 계측 정보와 상기 제 2 감시 대상의 시계열의 제 2 계측 정보로부터, 상기 제 1 감시 대상 및 상기 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 스텝과,
    상기 제 1 계측 정보에 근거하여 상기 제 1 감시 대상이 존재할 수 있는 가상적인 제 1 동작 공간을 생성하고, 상기 제 2 계측 정보에 근거하여 상기 제 2 감시 대상이 존재할 수 있는 가상적인 제 2 동작 공간을 생성하는 스텝과,
    상기 제 1 감시 대상으로부터 상기 제 2 동작 공간까지의 제 1 거리와 상기 제 2 감시 대상으로부터 상기 제 1 동작 공간까지의 제 2 거리를 산출하는 스텝과,
    상기 학습 결과에 근거하여 거리 임계치를 결정하고, 상기 제 1 거리와 상기 제 2 거리와 상기 거리 임계치에 근거하여 상기 제 1 감시 대상과 상기 제 2 감시 대상의 접촉 가능성을 예측하는 스텝과,
    상기 접촉 가능성에 근거하는 동작을 실행하는 스텝
    을 갖는 것을 특징으로 하는 3차원 공간 감시 방법.
  12. 컴퓨터로 하여금, 제 1 감시 대상과 제 2 감시 대상이 존재하는 공존 공간을 감시하게 하는 3차원 공간 감시 프로그램으로서,
    상기 컴퓨터로 하여금,
    센서부에 의해 상기 공존 공간을 계측함으로써 취득된 상기 제 1 감시 대상의 시계열의 제 1 계측 정보와 상기 제 2 감시 대상의 시계열의 제 2 계측 정보로부터, 상기 제 1 감시 대상 및 상기 제 2 감시 대상의 동작 패턴을 기계 학습하는 것에 의해 학습 결과를 생성하는 처리와,
    상기 제 1 계측 정보에 근거하여 상기 제 1 감시 대상이 존재할 수 있는 가상적인 제 1 동작 공간을 생성하고, 상기 제 2 계측 정보에 근거하여 상기 제 2 감시 대상이 존재할 수 있는 가상적인 제 2 동작 공간을 생성하는 처리와,
    상기 제 1 감시 대상으로부터 상기 제 2 동작 공간까지의 제 1 거리와 상기 제 2 감시 대상으로부터 상기 제 1 동작 공간까지의 제 2 거리를 산출하는 처리와,
    상기 학습 결과에 근거하여 거리 임계치를 결정하고, 상기 제 1 거리와 상기 제 2 거리와 상기 거리 임계치에 근거하여 상기 제 1 감시 대상과 상기 제 2 감시 대상의 접촉 가능성을 예측하는 처리와,
    상기 접촉 가능성에 근거하는 동작을 실행하는 처리
    를 실행하게 하는 것을 특징으로 하는 3차원 공간 감시 프로그램.
KR1020207013091A 2017-11-17 2017-11-17 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램 KR102165967B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041487 WO2019097676A1 (ja) 2017-11-17 2017-11-17 ３次元空間監視装置、３次元空間監視方法、及び３次元空間監視プログラム

Publications (2)

Publication Number Publication Date
KR20200054327A true KR20200054327A (ko) 2020-05-19
KR102165967B1 KR102165967B1 (ko) 2020-10-15

Family

ID=63788176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013091A KR102165967B1 (ko) 2017-11-17 2017-11-17 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램

Country Status (7)

Country Link
US (1) US20210073096A1 (ko)
JP (1) JP6403920B1 (ko)
KR (1) KR102165967B1 (ko)
CN (1) CN111372735A (ko)
DE (1) DE112017008089B4 (ko)
TW (1) TWI691913B (ko)
WO (1) WO2019097676A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230031338A (ko) 2020-07-31 2023-03-07 가부시키가이샤 리코 정보 제공 디바이스, 정보 제공 시스템, 정보 제공 방법, 및 프로그램

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3768472A1 (en) * 2018-04-22 2021-01-27 Google LLC Systems and methods for learning agile locomotion for multiped robots
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
JP7049974B2 (ja) * 2018-10-29 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP6997068B2 (ja) 2018-12-19 2022-01-17 ファナック株式会社 ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP7277188B2 (ja) * 2019-03-14 2023-05-18 株式会社日立製作所 作業場の管理支援システムおよび管理支援方法
JP2020189367A (ja) * 2019-05-22 2020-11-26 セイコーエプソン株式会社 ロボットシステム
JP7295421B2 (ja) * 2019-08-22 2023-06-21 オムロン株式会社 制御装置及び制御方法
JP7448327B2 (ja) 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
CN117693418A (zh) * 2021-08-27 2024-03-12 欧姆龙株式会社 控制装置、控制方法以及控制程序
DE102022208089A1 (de) 2022-08-03 2024-02-08 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226057A (ja) * 2008-03-24 2009-10-08 Ntt Data Corp 作業者の疲労度管理装置、方法及びコンピュータプログラム
JP2010120139A (ja) 2008-11-21 2010-06-03 New Industry Research Organization 産業用ロボットの安全制御装置
KR20140103159A (ko) * 2012-01-13 2014-08-25 미쓰비시덴키 가부시키가이샤 리스크 측정 시스템
JP2016159407A (ja) 2015-03-03 2016-09-05 キヤノン株式会社 ロボット制御装置およびロボット制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52116A (en) 1975-06-23 1977-01-05 Sony Corp Storage tube type recorder/reproducer
JP2666142B2 (ja) 1987-02-04 1997-10-22 旭光学工業株式会社 カメラの自動焦点検出装置
JPS647256A (en) 1987-06-30 1989-01-11 Toshiba Corp Interaction device
JPH07102675B2 (ja) 1987-07-15 1995-11-08 凸版印刷株式会社 円圧式印刷機
JPS6444488A (en) 1987-08-12 1989-02-16 Seiko Epson Corp Integrated circuit for linear sequence type liquid crystal driving
JPH0789297B2 (ja) 1987-08-31 1995-09-27 旭光学工業株式会社 天体追尾装置
JPH0727136B2 (ja) 1987-11-12 1995-03-29 三菱レイヨン株式会社 面光源素子
JP3504507B2 (ja) * 1998-09-17 2004-03-08 トヨタ自動車株式会社 適切反力付与型作業補助装置
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP3872387B2 (ja) * 2002-06-19 2007-01-24 トヨタ自動車株式会社 人間と共存するロボットの制御装置と制御方法
DE102006048163B4 (de) 2006-07-31 2013-06-06 Pilz Gmbh & Co. Kg Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung
TW201006635A (en) * 2008-08-07 2010-02-16 Univ Yuan Ze In situ robot which can be controlled remotely
JP5036661B2 (ja) * 2008-08-29 2012-09-26 三菱電機株式会社 干渉チェック制御装置および干渉チェック制御方法
WO2010063319A1 (en) 2008-12-03 2010-06-10 Abb Research Ltd. A robot safety system and a method
DE102009035755A1 (de) * 2009-07-24 2011-01-27 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
DE102010002250B4 (de) * 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
JP2013206962A (ja) * 2012-03-27 2013-10-07 Tokyo Electron Ltd 保守システム及び基板処理装置
JP5549724B2 (ja) 2012-11-12 2014-07-16 株式会社安川電機 ロボットシステム
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
JP6397226B2 (ja) 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
EP2952301B1 (en) * 2014-06-05 2019-12-25 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilities
TWI558525B (zh) * 2014-12-26 2016-11-21 國立交通大學 機器人及其控制方法
US9981385B2 (en) * 2015-10-12 2018-05-29 The Boeing Company Dynamic automation work zone safety system
JP6657859B2 (ja) 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット安全システム
JP6645142B2 (ja) * 2015-11-30 2020-02-12 株式会社デンソーウェーブ ロボット安全システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226057A (ja) * 2008-03-24 2009-10-08 Ntt Data Corp 作業者の疲労度管理装置、方法及びコンピュータプログラム
JP2010120139A (ja) 2008-11-21 2010-06-03 New Industry Research Organization 産業用ロボットの安全制御装置
KR20140103159A (ko) * 2012-01-13 2014-08-25 미쓰비시덴키 가부시키가이샤 리스크 측정 시스템
JP2016159407A (ja) 2015-03-03 2016-09-05 キヤノン株式会社 ロボット制御装置およびロボット制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230031338A (ko) 2020-07-31 2023-03-07 가부시키가이샤 리코 정보 제공 디바이스, 정보 제공 시스템, 정보 제공 방법, 및 프로그램

Also Published As

Publication number Publication date
JP6403920B1 (ja) 2018-10-10
CN111372735A (zh) 2020-07-03
JPWO2019097676A1 (ja) 2019-11-21
DE112017008089B4 (de) 2021-11-25
DE112017008089T5 (de) 2020-07-02
TW201923610A (zh) 2019-06-16
TWI691913B (zh) 2020-04-21
WO2019097676A1 (ja) 2019-05-23
US20210073096A1 (en) 2021-03-11
KR102165967B1 (ko) 2020-10-15

Similar Documents

Publication Publication Date Title
KR102165967B1 (ko) 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램
US10706331B2 (en) Task execution system, task execution method, training apparatus, and training method
Wang et al. Symbiotic human-robot collaborative assembly
CN107263464B (zh) 机器学习装置、机械系统、制造系统以及机器学习方法
US9811074B1 (en) Optimization of robot control programs in physics-based simulated environment
US11052537B2 (en) Robot operation evaluation device, robot operation evaluating method, and robot system
KR101255948B1 (ko) 산업용 로봇 시스템
JP6386786B2 (ja) 複合システムの構成要素上で実行されるタスクをサポートするユーザの追跡
Chryssolouris et al. Artificial intelligence in manufacturing equipment, automation, and robots
Weng et al. Quantitative assessment at task-level for performance of robotic configurations and task plans
CN112486319B (zh) 基于触觉渲染设备的vr交互方法、装置、设备及介质
JP7383999B2 (ja) 協調作業システム、解析装置および解析プログラム
M. Tehrani et al. Enhancing safety in human–robot collaboration through immersive technology: a framework for panel framing task in industrialized construction
Będkowski et al. Methodology of control and supervision of web connected mobile robots with cuda technology application
RU2685996C1 (ru) Способ и система предиктивного избегания столкновения манипулятора с человеком
Zhu et al. The cyber-physical production system of smart machining system
Wang et al. A smart operator assistance system using deep learning for angle measurement
Messina et al. A knowledge-based inspection workstation
US20220395979A1 (en) Automated safety assessment for robot motion planning
Rincon et al. Adaptive cognitive robot using dynamic perception with fast deep-learning and adaptive on-line predictive control
US20230410430A1 (en) Spatial modeling based on point collection and voxel grid
Lossie et al. Smart Glasses for State Supervision in Self-optimizing Production Systems
Erboz et al. Lean Management through Industry 4.0: Applicability to the Seven Types of Waste of the TPS System
WO2023037443A1 (ja) ロボット制御装置、学習装置および推論装置
JP7148938B2 (ja) 状態判定システム、状態判定方法、及び状態判定プログラム

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right