TW201923610A - ３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式 - Google Patents

３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式 Download PDF

Info

Publication number
TW201923610A
TW201923610A TW107102021A TW107102021A TW201923610A TW 201923610 A TW201923610 A TW 201923610A TW 107102021 A TW107102021 A TW 107102021A TW 107102021 A TW107102021 A TW 107102021A TW 201923610 A TW201923610 A TW 201923610A
Authority
TW
Taiwan
Prior art keywords
monitoring
space
distance
operator
learning
Prior art date
Application number
TW107102021A
Other languages
English (en)
Other versions
TWI691913B (zh
Inventor
加藤義幸
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW201923610A publication Critical patent/TW201923610A/zh
Application granted granted Critical
Publication of TWI691913B publication Critical patent/TWI691913B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40339—Avoid collision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/43—Speed, acceleration, deceleration control ADC
    • G05B2219/43202—If collision danger, speed is low, slow motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

本發明之3次元空間監視裝置(10)，包括：學習部(11)，其從第1監視對象(31)的第1測量資訊(31a)與第2監視對象(32)的第2測量資訊(32a)，藉由機械學習第1監視對象與第2監視對象的動作圖案產生學習結果；動作空間產生部(13)，其產生第1監視對象(31)的第1動作空間(43)與第2監視對象(32)的第2動作空間(44)；距離算出部(14)，其算出從第1監視對象(31)到第2動作空間(44)之第1距離(45)與從第2監視對象(32)到第1動作空間(43)之第2距離(46)；及接觸預測判定部(15)，其依據學習結果(D2)決定距離臨界值(L)，依據第1及第2距離(45、46)與距離臨界值(L)預測第1監視對象(31)與第2監視對象(32)的接觸可能性，並且執行依據接觸可能性的處理。

Description

3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式
本發明為有關一種用以監視第1監視對象與第2監視對象所存在的3次元空間(以下也稱為「共存空間」)之3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式。
近年來，在製造工場中，以人(以下也稱為「作業員」)與機械(以下也稱為「機器人」)在共存空間進行合作作業越趨增加。
專利文獻1，揭露：保持有學習作業員與機器人的時間序列狀態(例如位置座標)而得到的學習資訊，依據作業員的現在狀態與機器的現在狀態與學習資訊，控制機器人的動作之控制裝置。
專利文獻2，揭露：依據作業員與機器人各自的現在位置與移動速度，預測作業員與機器人各自的將來位置，依據該將來位置判斷作業員與機器人的接觸可能性，進行因應該判斷結果的處理之控制裝置。
先前專利文獻 專利文獻
專利文獻1：日本特開2016-159407號公報(例如申請專利範圍第1項、摘要、段落0008、及圖1與2)
專利文獻2：日本特開2010-120139號公報(例如申請專利範圍第1項、摘要、圖1~4)
專利文獻1之控制裝置，在作業員與機器人的現在狀態不同於作業員與機器人的學習時狀態時，使機器人的動作停止或減速。但是，該控制裝置由於未考量作業員與機器人之間的距離，因此無法正確判定作業員與機器人的接觸可能性。例如，即使在作業員朝與機器人分開的方向移動之情況下，也會停止或減速機器人的動作。換言之，會造成在不必要時使機器人的動作停止或減速的情形。
專利文獻2之控制裝置，依據作業員與機器人被預測的將來位置控制機器人。但是，在作業員的行動或機器人的動作存在多種類之情況或是作業員的行動個人差異為大之情況下，無法正確判定作業員與機器人的接觸可能性。為此，會造成在不必要時停止機器人的動作、或是在必要時未停止機器人的動作之情形。
本發明為用以解決上述課題而開發出來者。以提供一種能夠以高精確度判定第1監視對象與第2監視對象的接觸可能性之3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式為目的。
有關本發明之一態樣之3次元空間監視裝置，其為監視第1監視對象與第2監視對象所存在的共存空間之裝置，其特徵為包括：學習部，其從藉由利用感測器部測量前述共存空間而取得之前述第1監視對象時間序列的第1測量資訊與前述第2監視對象時間序列的第2測量資訊，藉由機械學習前述第1監視對象與前述第2監視對象的動作圖案產生學習結果；動作空間產生部，其依據前述第1測量資訊產生前述第1監視對象可存在之虛擬第1動作空間、依據前述第2測量資訊產生前述第2監視對象可存在之虛擬第2動作空間；距離算出部，其算出從前述第1監視對象到前述第2動作空間之第1距離與從前述第2監視對象到前述第1動作空間之第2距離；及接觸預測判定部，其依據前述學習部的學習結果決定距離臨界值，依據前述第1距離、前述第2距離與前述距離臨界值，預測前述第1監視對象與前述第2監視對象之接觸可能性，執行依據前述接觸可能性之處理。
又，有關本發明之其他態樣之3次元空間監視方法，其為監視第1監視對象與第2監視對象所存在的共存空間之方法，其特徵為具有以下步驟：從藉由利用感測器部測量前述共存空間而取得之前述第1監視對象時間序列的第1測量資訊與前述第2監視對象時間序列的第2測量資訊，藉由機械學習前述第1監視對象與前述第2監視對象的動作圖案產生學習結果之步驟；依據前述第1測量資訊產生前述第1監視對象可存在之虛擬第1動作空間、依據前述第2測量資訊產生前述第 2監視對象可存在之虛擬第2動作空間之步驟；算出從前述第1監視對象到前述第2動作空間之第1距離與從前述第2監視對象到前述第1動作空間之第2距離之步驟；依據前述學習結果決定距離臨界值，依據前述第1距離、前述第2距離與前述距離臨界值，預測前述第1監視對象與前述第2監視對象之接觸可能性之步驟；及執行依據前述接觸可能性的動作之步驟。
根據本發明，能夠以高精確度判定第1監視對象與第2監視對象的接觸可能性，可以進行依據接觸可能性之適當處理。
10、10a‧‧‧3次元空間監視裝置
11‧‧‧學習部
12‧‧‧記憶部
12a‧‧‧學習資料
13‧‧‧動作空間產生部
14‧‧‧距離算出部
15‧‧‧接觸預測判定部
16‧‧‧資訊提供部
17‧‧‧機械控制部
20‧‧‧感測器部
30‧‧‧共存空間
31‧‧‧作業員(第1監視對象)
31a‧‧‧作業員的影像
32‧‧‧機器人(第2監視對象)
32a‧‧‧機器人的影像
41‧‧‧第1骨骼資訊
42‧‧‧第2骨骼資訊
43、43a‧‧‧第1動作空間
44、44a‧‧‧第2動作空間
45‧‧‧第1距離
46‧‧‧第2距離
47‧‧‧顯示
48‧‧‧箭頭
49‧‧‧訊息
111‧‧‧學習裝置
112‧‧‧作業分解部
113‧‧‧學習裝置
114‧‧‧學習裝置
圖1為概略顯示有關實施形態1之3次元空間監視裝置及感測器部的構成之圖面。
圖2為顯示有關實施形態1之3次元空間監視裝置及感測器部的動作之流程圖。
圖3為概略顯示有關實施形態1之3次元空間監視裝置的學習部之構成例的方塊圖。
圖4為概念顯示具有3層權重之神經網路的模式圖。
圖5(A)至(E)為顯示監視對象的骨骼構造與動作空間的例示之概略立體圖。
圖6(A)至(B)為顯示有關實施形態1之3次元空間監視裝置的動作之概略立體圖。
圖7為顯示有關實施形態1之3次元空間監視裝置的硬體 構成之圖面。
圖8為概略顯示有關實施形態2之3次元空間監視裝置及感測器部的構成之圖面。
圖9為概略顯示有關實施形態2之3次元空間監視裝置的學習部之構成例的方塊圖。
在以下的實施形態中，一邊參照添附圖面，一邊說明3次元空間監視裝置、可以藉由3次元空間監視裝置使其執行之3次元空間監視方法、及在電腦上使3次元空間監視方法執行之3次元空間監視程式。以下的實施形態不過是例示，在本發明的範圍內可進行各種變更。
又，在以下的實施形態中，3次元空間監視裝置以監視作為第1監視對象之「人」(即作業員)與作為第2監視對象之「機械或人」(即機器人或作業員)所存在的共存空間之情況進行說明，但是，存在於共存空間之監視對象個數為3以上亦可。
又，在以下的實施形態中，為了防止第1監視對象與第2監視對象接觸，進行接觸預測判定。在接觸預測判定中，判定第1監視對象與第2監視對象之間的距離(在以下說明中使用監視對象與動作空間之間的距離)是否比距離臨界值L更小(即第1監視對象與第2監視對象是否比距離臨界值L更靠近)。接著，3次元空間監視裝置執行依據該判定(即接觸預測判定)結果之處理。該處理例如用以是對作業員之回避接觸所用之資訊提示的處理、及用以回避接觸所用之使機器人的 動作停止或減速的處理。
又，在以下的實施形態中，藉由機械學習共存空間內之作業員的行動圖案產生學習結果D2，依據學習結果D2決定用於接觸預測判定之距離臨界值L。其中，學習結果D2例如可以包含：顯示作業員對於作業熟練到哪個程度的指標之「熟悉度」、顯示作業員的疲勞程度的指標之「疲勞度」、顯示作業員的作業現況與對方(即共存空間內之機器人或其他作業員)的作業現況是否一致的指標之「協調等級」等。
實施形態1.
<3次元空間監視裝置10>
圖1為概略顯示有關實施形態1之3次元空間監視裝置10及感測器部20的構成之圖面。圖2為顯示3次元空間監視裝置10及感測器部20的動作之流程圖。圖1所示之系統具有3次元空間監視裝置10、及感測器部20。在圖1中，顯示在共存空間30內，使作為第1監視對象之作業員31與作為第2監視對象之機器人32進行合作作業的情況。
如圖1所示，3次元空間監視裝置10具有：學習部11、記憶學習資料D1等之記憶部12、動作空間產生部13、距離算出部14、接觸預測判定部15、資訊提供部16、及機械控制部17。
3次元空間監視裝置10可以執行3次元空間監視方法。又，3次元空間監視裝置10例如是執行3次元空間監視程式之電腦。3次元空間監視方法例如具有： (1)依據藉由利用感測器部20測量共存空間30而取得之作 業員31時間序列的測量資訊(例如影像資訊)31a之第1骨骼資訊41與依據機器人32時間序列的測量資訊(例如影像資訊)32a之第2骨骼資訊42，機械學習作業員31與機器人32的動作圖案，產生學習結果D2之步驟(圖2中的步驟S1~S3)； (2)從第1骨骼資訊41產生作業員31可存在之虛擬第1動作空間43、從第2骨骼資訊42產生機器人32可存在之虛擬第2動作空間44之步驟(圖2中的步驟S5)； (3)算出從作業員31到第2動作空間44之第1距離45與從機器人32到第1動作空間43之第2距離46之步驟(圖2中的步驟S6)； (4)依據學習結果D2決定距離臨界值L之步驟(圖2中的步驟S4)； (5)依據第1距離45、第2距離46與距離臨界值L，預測作業員31與機器人32之接觸可能性之步驟(圖2中的步驟S7)；及 (6)執行依據被預測的接觸可能性的處理之步驟(圖2中的步驟S8、S9)。
又，圖1所示之第1骨骼資訊41、第2骨骼資訊42、第1動作空間43、及第2動作空間44的各形狀為例示，更具體的形狀例示如後述之圖5(A)至(E)所示。
<感測器部20>
感測器部20進行作業員31的行動與機器人32的動作之3次元測量(圖2中的步驟S1)。感測器部20例如具有距離影像攝像機，該距離影像攝像機可以使用紅外線同時測量第1監視 對象之作業員31與第2監視對象之機器人32的色彩影像、及從感測器部20到作業員31之距離與從感測器部20到機器人32之距離。又，除了感測器部20，包括配置在與感測器部20不同位置之其他感測器部亦可。其他感測器部包含配置在相互不同位置的多台感測器部亦可。藉由包括多台感測器部，可以減少無法利用感測器部測量到的死角區域。
感測器部20包含訊號處理部20a。訊號處理部20a將作業員31的3次元資料轉換為第1骨骼資訊41，將機器人32的3次元資料轉換為第2骨骼資訊42(圖2中的步驟S2)。其中，所謂「骨骼資訊」，其為在將作業員或機器人視為具有關節的骨骼構造情況下之由關節的3次元位置資料(或者關節與骨骼構造端部的3次元位置資料)構成的資訊。藉由轉換為第1及第2骨骼資訊，可以減輕3次元空間監視裝置10之對於3次元資料的處理負荷。感測器部20將第1及第2骨骼資訊41、42作為資訊D0，提供給學習部11與動作空間產生部13。
<學習部11>
學習部11從由感測器部20取得之作業員31的第1骨骼資訊41與機器人32的第2骨骼資訊42與記憶在記憶部12之學習資料D1，機械學習作業員31的行動圖案，將該結果作為學習結果D2予以導出。同樣，學習部11機械學習機器人32的動作圖案(或是其他作業員的行動圖案)，將該結果作為學習結果D2予以導出亦可。在記憶部12中，將藉由依據作業員31與機器人32時間序列的第1及第2骨骼資訊41、42機械學 習而取得之教師資訊及學習結果等，作為學習資料D1隨時儲存。學習結果D2可以包含顯示作業員31對於作業熟練到哪個程度(換言之是否習慣)的指標之「熟悉度」、顯示作業員的疲勞程度(換言之身體狀況)的指標之「疲勞度」、顯示作業員的作業現況是否與對方的作業現況一致的指標之「協調等級」內的1個以上。
圖3為概略顯示學習部11的構成例之方塊圖。如圖3所示，學習部11具有：學習裝置111、作業分解部112、及學習裝置113。
其中，以製造工場中的單元生產方式的作業為例示進行說明。在單元生產方式中，利用1人或多人的作業員團隊進行作業。單元生產方式中的一連貫作業包含多種作業工程。例如單元生產方式中的一連貫作業包含：零件設置、螺絲鎖緊、組裝、檢查、捆包等作業工程。因此，為了學習作業員31的行動圖案，首先必須將此等一連貫的作業分解成各個作業工程。
學習裝置111使用從由感測器部20取得的測量資訊，即色彩影像資訊52得到之時間序列的影像間差分，擷取出特徵量。例如，在作業機上進行一連貫的作業之情況，對於每一作業工程，置於作業機上的零件、工具、製品的形狀等都不相同。因此，學習裝置111擷取出作業員31與機器人32之背景影像(例如作業機上的零件、工具、製品的影像)的變化量與背景影像變化的推移資訊。學習裝置111藉由組合已擷取出之特徵量變化與動作圖案變化進行學習，判定現在的作業是否 與哪一個工程的作業一致。又，在動作圖案的學習中，使用第1及第2骨骼資訊41、42。
針對藉由學習裝置111所進行之學習，即機械學習有各種方法。就機械學習而言，可以採用「無師學習(無監督)」、「有師學習(有監督)」、「強化學習」等。
在「無師學習」中，從作業機的多個背景影像學習相似的背景影像，藉由將多個背景影像進行集群，將背景影像分類到每一作業工程的背景影像。所謂「集群」，不須預先準備教師資料，其為在大量資料之中發現相似資料的集合之方法或演算法。
在「有師學習」中，藉由將各個作業工程中之作業員31時間序列的行動資料與每一作業工程之機器人32時間序列的動作資料預先提供給學習裝置111，學習作業員31行動資料的特徵，將作業員31的現在行動圖案與行動資料特徵進行比較。
圖4為用以說明實現機械學習之一方法即深層學習(Deep Learning)者，顯示由分別具有權重係數w1、w2、w3之3層(即第1層、第2層及第3層)構成之神經網路的模式圖。第1層具有3個神經元(即節點)N11、N12、N13，第2層具有2個神經元N21、N22，第3層具有3個神經元N31、N32、N33。當在第1層輸入多個輸入x1、x2、x3時，神經網路進行學習，輸出結果y1、y2、y3。第1層的神經元N11、N12、N13從輸入x1、x2、x3產生特徵向量，將與對應的權重係數w1相乘後的特徵向量輸出到第2層。第2層的神經元N21、N22將輸入 與對應的權重係數w2相乘後的特徵向量輸出到第3層。第3層的神經元N31、N32、N33將輸入與對應的權重係數w2相乘後的特徵向量作為結果(即輸出資料)y1、y2、y3予以輸出。在誤差反向傳播法(Backpropagation)中，權重係數w1、w2、w3以結果y1、y2、y3與教師資料t1、t2、t3的差分變小的方式，將權重係數w1、w2、w3更新為最佳值。
「強化學習」為觀察現在的狀態，決定應採取的行動之學習方法。在「強化學習」中，每次行動或動作都會回歸報酬。為此，可以學習到報酬變成最高的行動或動作。例如，對於作業員31與機器人32之間的距離資訊，當距離變大時接觸可能性就變小。換言之，藉由距離越大就可以給予越大報酬，能夠以將報酬最大化的方式決定機器人32的動作。又，由於機器人32的加速度越大，在與作業員31接觸時對作業員31造成的影響度也越大，因此設定機器人32的加速度越大，給予越小的報酬。又，由於機器人32的加速度與力量越大，在與作業員31接觸時對作業員31造成的影響度也越大，因此設定機器人32的力量越大，給予越小的報酬。接著，進行將學習結果反饋到機器人32動作之控制。
藉由組合使用此等學習方法，也就是「無師學習」、「有師學習」、「強化學習」等，可以有效進行學習，得到良好結果(機器人32的行動)。後述的學習裝置為組合使用此等學習方法者。
作業分解部112依據利用感測器部20得到的時間序列影像的相互一致性或行動圖案的一致性等，將一連貫的作 業分解成各個作業工程，輸出一連貫作業的切開時點，即顯示將一連貫作業分解為各個作業工程時的分解位置之時點。
學習裝置113使用第1及第2骨骼資訊41、42及記憶成學習資料D1之作業員31的屬性資訊即作業員屬性資訊53，推測作業員31的熟悉度、疲勞度、及作業速度(換言之協調等級)等(圖2中的步驟S3)。所謂「作業員屬性資訊」，其包含：作業員31的年齡及作業經驗年數等作業員31的經歷資訊；身高、體重、視力等作業員31的身體資訊；及作業員31之當日的作業持續時間與身體狀況等。作業員屬性資訊53預先(例如作業開始前)儲存在記憶部12。在深層學習中，使用多層構造的神經網路，在具有各種意義之神經層(例如圖4中的第1層~第3層)進行處理。例如，判定作業員31的行動圖案之神經層，其在測量資料與教師資料大不相同的情況下，判定作業熟悉度為低。又，判定作業員31的特性之神經層，其在作業員31的經驗年數為短的情況或作業員31為高齡的情況下，判定經驗等級為低。藉由將多數的神經層判定結果進行加權，最後求出作業員31的綜合性熟悉度。
即使是相同的作業員31，在當日的作業持續時間為長的情況下，使疲勞度變高而影響集中力。再者，疲勞度也會根據當日作業時刻或身體狀況而有所變化。一般而言，在剛開始作業之後或上午時段，能夠以疲勞度少且高集中力進行作業，但是隨著作業時間變長而使集中力減低，易於引起作業疏失。又，即使作業時間為長，但在上班時間快要結束前，反而會提高集中力為悉知的。
得到的熟悉度及疲勞度用於推測作業員31與機器人32的接觸可能性時之判定基準即距離臨界值L的決定(圖2中的步驟S4)。
在判斷為作業員31的熟悉度高、技能為上級等級的情況下，藉由將作業員31與機器人32之間的距離臨界值L設定為小(換言之，設定為低值L1)，可以防止不必要的機器人32動作之減速及停止，提高作業效率。反之，在判斷為作業員31的熟悉度低、技能為初級等級的情況下，藉由將作業員31與機器人32之間的距離臨界值L設定為大(換言之，設定為比低值L1更高值L2)，對於不習慣的作業員31與機器人32的接觸事故可以防範未然。
又，在作業員31的疲勞度為高的情況下，藉由距離臨界值L設定為大(換言之，設定為高值L3)，使兩者難以互相接觸。反之，在作業員31的疲勞度低、集中力為高的情況下，將距離臨界值L設定為低(換言之，設定為比高值L3更低值L4)，防止不必要的機器人32動作之減速及停止。
又，學習裝置113學習作業員31的行動圖案即作業圖案與機器人32的動作圖案即作業圖案之時間序列的整體關係，藉由將現在的作業圖案關係與利用學習得到的作業圖案相比，判定作業員31與機器人32之合作作業的協調度即協調等級。在協調等級為低的情況下，由於可以認為是作業員31及機器人32之任一方作業比另一方更延遲，因此必須加速機器人32的作業速度。又，作業員31的作業速度為慢的情況下，必須對作業員31藉由提示有效的資訊促使作業加速。
如此一來，學習部11藉由使用機器學習，求出在理論性或計算式上難以算出之作業員31的行動圖案、熟悉度、疲勞度、協調等級。接著，學習部11的學習裝置113依據得到的熟悉度及疲勞度等，決定用於推測作業員31與機器人32的接觸判定時之基準值即距離臨界值L。藉由使用已決定的距離臨界值L，配合作業員31的狀態及作業狀況，不會造成在不必要時使機器人32減速或停止，可以使作業員31與機器人32不會相互接觸且有效進行作業。
<動作空間產生部13>
圖5(A)至(E)為顯示監視對象的骨骼構造與動作空間的例示之概略立體圖。動作空間產生部13配合作業員31及機器人32各自的形狀，形成虛擬的動作空間。
圖5(A)為顯示作業員31或人型雙臂型機器人32的第1及第2動作空間43、44的例示。作業員31使用頭部301、肩部302、手肘303、手腕304的各關節，作成以頭部301為頂點之三角形平面(例如平面305~308)。接著，結合已作成的三角形平面，構成多角形垂體(但底部為非平面)之頭部周圍以外的空間。作業員31的頭部301若與機器人32接觸情況下對於作業員31的影響度為大。為此，頭部301的周圍空間構成為完全覆罩頭部301之四角柱空間。接著，如圖5(D)所示，產生組合多角形垂體空間(即頭部周圍以外的空間)與四角柱空間(即頭部周圍空間)之虛擬動作空間。頭部的四角柱空間構成為四角柱以外的多角柱空間亦可。
圖5(B)為顯示單純臂型的機器人32之動作空間的 例示。將利用包含構成機器臂之3個關節B1、B2、B3之骨骼而形成的平面311，朝平面311的垂直方向移動而作成平面312與平面313。移動的寬幅則因應機器人32的移動速度、機器人32施加到其他物體的力量、機器人32的尺寸等而預先決定。在該情況下，如圖5(E)所示，將平面312與平面313為上面與底面而作成的四角柱即為動作空間。但是，動作空間構成四角柱以外的多角柱空間亦可。
圖5(C)為顯示多關節型機器人32的動作空間之例示。由關節C1、C2、C3作成平面321、由關節C2、C3、C4作成平面322、由關節C3、C4、C5作成平面323。與圖5(B)的情況相同，將平面322朝平面322的垂直方向移動作成平面324與平面325，作成以平面324與平面325為上面與底面的四角柱。同樣，也分別由平面321及平面323作成四角柱，組合此等四角柱者即為動作空間(圖2中的步驟S5)。但是，動作空間為四角柱以外的多角柱空間之組合亦可。
又，圖5(A)至圖5(E)所示之動作空間的形狀及形成順序不過是例示，可進行各種變更。
<距離算出部14>
距離算出部14從動作空間產生部13產生的作業員31或機器人32的虛擬第1及第2動作空間43、44(圖1中的D4)，算出例如第2動作空間44與作業員31的手之間的第2距離46、及第1動作空間43與機器人32的臂之間的第1距離45(圖2中的步驟S6)。具體而言，在算出機器人32的臂前端部至作業員31的距離之情況下，就是算出從圖5(A)之構成第1動作 空間43之垂體部分的平面305~308分別到機器人32的臂前端之垂直方向距離、從圖5(A)之構成第1動作空間43之四角柱部分(頭部)的各面到臂前端的垂直方向距離。同樣，在算出從作業員31的手到機器人32的距離之情況下，就是算出從構成第2動作空間44之四角柱的各平面到手之垂直方向距離。
如此一來，藉由利用單純的平面組合模擬作業員31或機器人32的形狀，產生虛擬第1及第2動作空間43、44，不必在感測器部20包括特殊機能，就能夠利用少的運算量算出到監視對象的距離。
<接觸預測判定部15>
接觸預測判定部15使用距離臨界值L，判定第1及第2動作空間43、44、與作業員31或機器人32之干涉可能性(圖2中的步驟S7)。距離臨界值L為依據利用學習部11的判定結果即學習結果D2予以決定。因此，距離臨界值L會因應作業員31的狀態(例如熟悉度、疲勞度等)或作業狀況(例如協調等級等)而有所變化。
例如，在作業員31的熟悉度為高的情況下，由於認為該作業員31習慣與機器人32的合作作業，可以掌握相互的作業節奏，因此即使距離臨界值L為小與機器人32的接觸可能性為低。另一方面，在熟悉度為低的情況下，該作業員31不習慣與機器人32的合作作業，由於作業員31的不慎動作，與機器人32的接觸可能性比熟練者情況更高。為此，必須以兩者不會相互接觸，將距離臨界值L變大。
又，即使是相同的作業員31，在身體狀況不佳或 疲勞度為低的情況下，由於作業員31的集中力減低，因此與機器人32的距離即使是與平常相同的情況下也會提高接觸可能性。為此，必須將距離臨界值L變大，並且比通常更早傳達有與機器人32接觸的可能性。
<資訊提供部16>
資訊提供部16使用根據光的圖形表示，根據光的文字表示、聲音、振動等各種模版，即藉由組合根據人的五感等感覺資訊之多模版，將資訊提供給作業員31。例如，接觸預測判定部15在預測到作業員31與機器人32接觸之情況下，在作業機上進行用以警告之投影映射。為了使警告表現得更容易注意且易於了解，如圖6(A)及(B)所示，以動畫顯示與動作空間44反方向的大箭頭48，促使作業員31立刻直覺反應將手朝箭頭48方向移動。又，在作業員31的作業速度比機器人32的作業速度更慢之情況或低於製造工場的目標作業速度之情況下，藉由以不干擾作業的形式利用文字49有效提示該內容，對作業員31催促加速作業。
<機械控制部17>
機械控制部17在接觸預測判定部15中判定為有接觸可能性的情況下，對機器人32輸出減速、停止、或退避等動作指令(圖2中的步驟S8)。退避動作為在作業員31與機器人32似乎就要接觸的情況下，使機器人32的臂朝作業員31的相反方向移動之動作。作業員31藉由看到該機器人32的動作，易於認識到自己的動作有誤。
<硬體構成>
圖7為顯示有關實施形態1之3次元空間監視裝置10的硬體構成之圖面。3次元空間監視裝置10例如是作為製造工場中的邊緣電腦予以安裝。或者，3次元空間監視裝置10作為組裝在靠近現場場域之製造機器內之電腦予以安裝。
3次元空間監視裝置10包括：作為資訊處理手段即處理器之CPU(Central Processing Unit；中央處理單元)401、作為資訊記憶手段之主記憶部(例如記憶體)402、作為顯像資訊處理手段之GPU(Graphics Processing Unit；圖形處理單元)403、作為資訊記憶手段之圖形記憶體404、I/O(Input/Output；輸入/輸出)介面405、作為外部記憶裝置之硬碟406、作為網路通訊手段之LAN(Local Area Network；區域網路)介面407、及系統匯流排408。
又，外部機器/控制器200包含：感測器部、機器人控制器、圖形顯示器、HMD(頭戴式顯示器；Head-mounted display)、喇叭、滑鼠、觸覺裝置、穿戴式裝置等。
CPU401為用以執行儲存在主記憶部402之機械學習程式等者，進行圖2所示之一連貫處理。GPU403產生資訊提供部16為了對作業員31顯示之2次元或3次元圖形影像。已產生的影像儲存在圖形記憶體404，透過I/O介面405輸出到外部機器/控制器200的裝置。GPU403也可以運用於使機械學習的處理高速化。I/O介面405與儲存學習資料的硬碟406、及外部機器/控制器200連接，用以進行對各種感測器部、機器人控制器、投影、顯示、HMD、喇叭、滑鼠、觸覺裝置、穿戴式裝置之控制或通訊之資料轉換。LAN介面407與系統匯流 排408連接，與工場內的ERP(Enterprise Resources Planning；企業資源規劃)、MES(Manufacturing Execution System；製造執行系統)或現場機器進行通訊，被用於作業員資訊的取得或機器控制等。
圖1所示之3次元空間監視裝置10可以使用儲存作為軟體之儲存3次元空間監視程式的硬碟406或主記憶部402、及執行3次元空間監視程式的CPU401(例如根據電腦)予以實現。3次元空間監視程式可以儲存在資訊記錄媒後再予以提供、或者利用經由網路的下載予以提供亦可。在該情況下，圖1之學習部11、動作空間產生部13、距離算出部14、接觸預測判定部15、資訊提供部16、及機械控制部17利用執行3次元空間監視程式之CPU401予以實現。又，利用執行3次元空間監視程式之CPU401實現圖1所示之學習部11、動作空間產生部13、距離算出部14、接觸預測判定部15、資訊提供部16、及機械控制部17的一部分亦可。又，利用處理電路實現圖1所示之學習部11、動作空間產生部13、距離算出部14、接觸預測判定部15、資訊提供部16、及機械控制部17亦可。
<效果>
如以上說明所示，根據實施形態1，能夠以高精確度判定第1監視對象與第2監視對象的接觸可能性。
又，根據實施形態1，因為是依據學習結果D2決定距離臨界值L，因此可以配合作業員31的狀態(例如熟悉度、疲勞度等)及作業狀況(例如協調等級等)適當預測作業員31與機器人32的接觸可能性。因此，可以減少在不必要時發 生機器人32的停止、減速、退避等狀況，可以在必要時確實進行機器人32的停止、減速、退避。又，可以減少在不必要時對作業員31提供注意喚起資訊的狀況，可以在必要時對作業員31確實提供注意喚起資訊。
又，根據實施形態1，因為使用動作空間算出作業員31與機器人32的距離，可以減少運算量，可以縮短接觸可能性判定所需的時間。
實施形態2
圖8為概略顯示有關實施形態2之3次元空間監視裝置10a及感測器部20的構成之圖面。在圖8中，對於與圖1所示之構成要素相同或對應的構成要素附予與圖1所示的符號相同之符號。圖9為概略顯示有關實施形態2之3次元空間監視裝置10a的學習部11a之構成例的方塊圖。在圖9中，對於與圖3所示之構成要素相同或對應的構成要素附予與圖3所示的符號相同之符號。有關實施形態2之3次元空間監視裝置10a，其中學習部11a更進一步包括學習裝置114之點及資訊提供部16提供依據來自學習部11a之學習結果D9的資訊之點，與有關實施形態1之3次元空間監視裝置10不同。
圖9所示之設計指南學習資料54為儲存有作業員31能夠易於認識之設計基本規則的學習資料。設計指南學習資料54為儲存有例如作業員31易於注意到的配色、作業員31易於分辨之背景色與前景色的組合、作業員31易讀的文字量、作業員31易於認識的文字尺寸、作業員31易於理解的動畫速度等之學習資料D1。例如學習裝置114使用「有師學習」，從 設計指南學習資料54與影像資訊52，因應作業員31的作業環境，求出作業員31易於辨識的表現手段或表現方法。
例如，學習裝置114使用以下規則1~3，作為在對作業員31進行資訊提示時之顏色使用上的基本規則。
(規則1)藍色為「沒問題」。
(規則2)黃色為「注意」。
(規則3)紅色為「警告」。
為此，學習裝置114藉由輸入提示的資訊類別後進行學習，導出應使用之建議的顏色。
又，學習裝置114在對綠色或灰色等暗色系(換言之接近黑色的顏色)的作業機進行投影映射的情況下，可以藉由使用白色系列之明亮文字顏色使對比鮮明，進行易於辨識的顯示。學習裝置114從作業機的顏色影像資訊(背景色)進行學習，導出最佳的文字顏色(前景色)亦可。另一方面，學習裝置114在作業機的顏色為白色系列的明亮顏色之情況下，導出黑色系列的文字顏色亦可。
利用投影映射等所顯示的文字尺寸，在警告顯示的情況下必須是使用大文字以便一眼就能夠辨識的顯示。為此，學習裝置114藉由輸入顯示內容的類別或顯示的作業機尺寸後進行學習，求出適合警告的文字尺寸。另一方面，學習裝置114在顯示作業指示內容或動畫的情況下，導出以所有文字都可以顯示在顯示區域內的最佳文字尺寸。
如以上說明所示，根據實施形態2，使用設計規則的學習資料，藉由學習顯示的顏色資訊或文字尺寸等，即使環 境有所變化也可以選擇作業員31直覺上易於辨識的資訊顯示方法。
又，實施形態2對於有關上述以外的特點都與實施形態1相同。

Claims (12)

  1. 一種3次元空間監視裝置，其為監視第1監視對象與第2監視對象所存在的共存空間之3次元空間監視裝置，其特徵為包括：學習部，其從藉由利用感測器部測量前述共存空間而取得之前述第1監視對象時間序列的第1測量資訊與前述第2監視對象時間序列的第2測量資訊，藉由機械學習前述第1監視對象與前述第2監視對象的動作圖案產生學習結果；動作空間產生部，其依據前述第1測量資訊產生前述第1監視對象可存在之虛擬第1動作空間、依據前述第2測量資訊產生前述第2監視對象可存在之虛擬第2動作空間；距離算出部，其算出從前述第1監視對象到前述第2動作空間之第1距離與從前述第2監視對象到前述第1動作空間之第2距離；及接觸預測判定部，其依據前述學習部的學習結果決定距離臨界值，依據前述第1距離、前述第2距離與前述距離臨界值，預測前述第1監視對象與前述第2監視對象之接觸可能性，執行依據前述接觸可能性之處理。
  2. 如申請專利範圍第1項之3次元空間監視裝置，其中，前述學習部藉由從依據前述第1測量資訊所產生的前述第1監視對象的第1骨骼資訊與依據前述第2測量資訊所產生的前述第2監視對象的第2骨骼資訊機械學習前述動作圖案，輸出前述學習結果， 前述動作空間產生部從前述第1骨骼資訊產生前述第1動作空間、從前述第2骨骼資訊產生前述第2動作空間。
  3. 如申請專利範圍第1或2項之3次元空間監視裝置，其中，前述第1監視對象為作業員，前述第2監視對象為機器人。
  4. 如申請專利範圍第1或2項之3次元空間監視裝置，其中，前述第1監視對象為作業員，前述第2監視對象為其他作業員。
  5. 如申請專利範圍第3或4項之3次元空間監視裝置，其中，從前述學習部所輸出的前述學習結果，包含前述作業員的熟悉度、前述作業員的疲勞度、及前述作業員的協調等級。
  6. 如申請專利範圍第3項之3次元空間監視裝置，其中，前述學習部，在前述第1距離越大接收到越大報酬，在前述第2距離越大接收到越大報酬，在前述機器人的加速度尺寸越大接收到越小報酬，在前述機器人的力量越大接收到越小報酬。
  7. 如申請專利範圍第3或4項之3次元空間監視裝置，其中，進一步包括：對前述作業員提供資訊之資訊提供部，前述資訊提供部將進行對前述作業員的資訊提供作為前述依據接觸可能性的處理。
  8. 如申請專利範圍第7項之3次元空間監視裝置，其中，前述資訊提供部依據前述學習結果，關於對前述作業員提供的顯示資訊，決定前述作業員易於注意的配色、前述作業員易於分辨之背景色與前景色的組合、前述作業員易讀的 文字量、前述作業員易認識的文字尺寸。
  9. 如申請專利範圍第3項之3次元空間監視裝置，其中，進一步包括：控制前述機器人的動作之機械控制部，前述機械控制部將進行對前述機器人的控制作為前述依據接觸可能性的處理。
  10. 如申請專利範圍第2項之3次元空間監視裝置，其中，前述動作空間產生部，使用根據包含在前述第1骨骼資訊內之關節的3次元位置資料所決定的第1平面，產生前述第1動作空間，藉由將使用根據包含在前述第2骨骼資訊內之關節的3次元位置資料所決定的第2平面朝前述第2平面垂直方向移動，產生前述第2動作空間。
  11. 一種3次元空間監視方法，其為監視第1監視對象與第2監視對象所存在的共存空間之3次元空間監視方法，其特徵為具有以下步驟：從藉由利用感測器部測量前述共存空間而取得之前述第1監視對象時間序列的第1測量資訊與前述第2監視對象時間序列的第2測量資訊，藉由機械學習前述第1監視對象與前述第2監視對象的動作圖案產生學習結果之步驟；依據前述第1測量資訊產生前述第1監視對象可存在之虛擬第1動作空間、依據前述第2測量資訊產生前述第2監視對象可存在之虛擬第2動作空間之步驟；算出從前述第1監視對象到前述第2動作空間之第1距離與從前述第2監視對象到前述第1動作空間之第2距離之 步驟；依據前述學習結果決定距離臨界值，依據前述第1距離、前述第2距離與前述距離臨界值，預測前述第1監視對象與前述第2監視對象之接觸可能性之步驟；及執行依據前述接觸可能性之動作。
  12. 一種3次元空間監視程式，其為在電腦監視第1監視對象與第2監視對象所存在的共存空間之3次元空間監視程式，其特徵為在前述電腦上執行以下處理：從藉由利用感測器部測量前述共存空間而取得之前述第1監視對象時間序列的第1測量資訊與前述第2監視對象時間序列的第2測量資訊，藉由機械學習前述第1監視對象與前述第2監視對象的動作圖案產生學習結果之處理；依據前述第1測量資訊產生前述第1監視對象可存在之虛擬第1動作空間、依據前述第2測量資訊產生前述第2監視對象可存在之虛擬第2動作空間之處理；算出從前述第1監視對象到前述第2動作空間之第1距離與從前述第2監視對象到前述第1動作空間之第2距離之處理；依據前述學習部的學習結果決定距離臨界值，依據前述第1距離、前述第2距離與前述距離臨界值，預測前述第1監視對象與前述第2監視對象之接觸可能性之處理；及執行依據前述接觸可能性之動作之處理。
TW107102021A 2017-11-17 2018-01-19 ３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式 TWI691913B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
WOPCT/JP2017/041487 2017-11-17
PCT/JP2017/041487 WO2019097676A1 (ja) 2017-11-17 2017-11-17 ３次元空間監視装置、３次元空間監視方法、及び３次元空間監視プログラム
??PCT/JP2017/041487 2017-11-17

Publications (2)

Publication Number Publication Date
TW201923610A true TW201923610A (zh) 2019-06-16
TWI691913B TWI691913B (zh) 2020-04-21

Family

ID=63788176

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102021A TWI691913B (zh) 2017-11-17 2018-01-19 ３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式

Country Status (7)

Country Link
US (1) US20210073096A1 (zh)
JP (1) JP6403920B1 (zh)
KR (1) KR102165967B1 (zh)
CN (1) CN111372735A (zh)
DE (1) DE112017008089B4 (zh)
TW (1) TWI691913B (zh)
WO (1) WO2019097676A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3768472A1 (en) * 2018-04-22 2021-01-27 Google LLC Systems and methods for learning agile locomotion for multiped robots
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
JP7049974B2 (ja) * 2018-10-29 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP6997068B2 (ja) 2018-12-19 2022-01-17 ファナック株式会社 ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP7277188B2 (ja) * 2019-03-14 2023-05-18 株式会社日立製作所 作業場の管理支援システムおよび管理支援方法
JP2020189367A (ja) * 2019-05-22 2020-11-26 セイコーエプソン株式会社 ロボットシステム
JP7295421B2 (ja) * 2019-08-22 2023-06-21 オムロン株式会社 制御装置及び制御方法
JP7448327B2 (ja) * 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
EP4190886A4 (en) 2020-07-31 2024-02-21 Ricoh Company, Ltd. INFORMATION PROVISION APPARATUS, INFORMATION PROVISION SYSTEM, INFORMATION PROVISION METHOD AND PROGRAM
JPWO2023026589A1 (zh) * 2021-08-27 2023-03-02
DE102022208089A1 (de) 2022-08-03 2024-02-08 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters
DE102022131352A1 (de) 2022-11-28 2024-05-29 Schaeffler Technologies AG & Co. KG Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters und System mit einem kollaborativen Roboter
WO2024116333A1 (ja) * 2022-11-30 2024-06-06 三菱電機株式会社 情報処理装置、制御方法、及び制御プログラム
WO2024122625A1 (ja) * 2022-12-08 2024-06-13 ソフトバンクグループ株式会社 情報処理装置及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52116A (en) 1975-06-23 1977-01-05 Sony Corp Storage tube type recorder/reproducer
JP2666142B2 (ja) 1987-02-04 1997-10-22 旭光学工業株式会社 カメラの自動焦点検出装置
JPS647256A (en) 1987-06-30 1989-01-11 Toshiba Corp Interaction device
JPH07102675B2 (ja) 1987-07-15 1995-11-08 凸版印刷株式会社 円圧式印刷機
JPS6444488A (en) 1987-08-12 1989-02-16 Seiko Epson Corp Integrated circuit for linear sequence type liquid crystal driving
JPH0789297B2 (ja) 1987-08-31 1995-09-27 旭光学工業株式会社 天体追尾装置
JPH0727136B2 (ja) 1987-11-12 1995-03-29 三菱レイヨン株式会社 面光源素子
JP3504507B2 (ja) * 1998-09-17 2004-03-08 トヨタ自動車株式会社 適切反力付与型作業補助装置
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP3872387B2 (ja) * 2002-06-19 2007-01-24 トヨタ自動車株式会社 人間と共存するロボットの制御装置と制御方法
DE102006048163B4 (de) 2006-07-31 2013-06-06 Pilz Gmbh & Co. Kg Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung
JP4272249B1 (ja) 2008-03-24 2009-06-03 株式会社エヌ・ティ・ティ・データ 作業者の疲労度管理装置、方法及びコンピュータプログラム
TW201006635A (en) * 2008-08-07 2010-02-16 Univ Yuan Ze In situ robot which can be controlled remotely
JP5036661B2 (ja) * 2008-08-29 2012-09-26 三菱電機株式会社 干渉チェック制御装置および干渉チェック制御方法
JP2010120139A (ja) 2008-11-21 2010-06-03 New Industry Research Organization 産業用ロボットの安全制御装置
WO2010063319A1 (en) 2008-12-03 2010-06-10 Abb Research Ltd. A robot safety system and a method
DE102009035755A1 (de) * 2009-07-24 2011-01-27 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
DE102010002250B4 (de) * 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
DE112012005650B4 (de) 2012-01-13 2018-01-25 Mitsubishi Electric Corporation Risikomesssystem
JP2013206962A (ja) * 2012-03-27 2013-10-07 Tokyo Electron Ltd 保守システム及び基板処理装置
JP5549724B2 (ja) 2012-11-12 2014-07-16 株式会社安川電機 ロボットシステム
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
EP2952301B1 (en) * 2014-06-05 2019-12-25 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilities
JP6397226B2 (ja) 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
TWI558525B (zh) * 2014-12-26 2016-11-21 國立交通大學 機器人及其控制方法
JP6494331B2 (ja) * 2015-03-03 2019-04-03 キヤノン株式会社 ロボット制御装置およびロボット制御方法
US9981385B2 (en) * 2015-10-12 2018-05-29 The Boeing Company Dynamic automation work zone safety system
JP6657859B2 (ja) 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット安全システム
JP6645142B2 (ja) * 2015-11-30 2020-02-12 株式会社デンソーウェーブ ロボット安全システム

Also Published As

Publication number Publication date
KR102165967B1 (ko) 2020-10-15
DE112017008089B4 (de) 2021-11-25
TWI691913B (zh) 2020-04-21
CN111372735A (zh) 2020-07-03
JPWO2019097676A1 (ja) 2019-11-21
DE112017008089T5 (de) 2020-07-02
JP6403920B1 (ja) 2018-10-10
KR20200054327A (ko) 2020-05-19
WO2019097676A1 (ja) 2019-05-23
US20210073096A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
TWI691913B (zh) ３次元空間監視裝置、３次元空間監視方法、及３次元空間監視程式
US20180330200A1 (en) Task execution system, task execution method, training apparatus, and training method
Xu et al. Digital twin-based industrial cloud robotics: Framework, control approach and implementation
Proia et al. Control techniques for safe, ergonomic, and efficient human-robot collaboration in the digital industry: A survey
JP5436460B2 (ja) 産業用ロボットシステム
US11052537B2 (en) Robot operation evaluation device, robot operation evaluating method, and robot system
JP6386786B2 (ja) 複合システムの構成要素上で実行されるタスクをサポートするユーザの追跡
Wang et al. Collision-free trajectory planning in human-robot interaction through hand movement prediction from vision
JP2019101516A (ja) 作業者管理装置
Zaeh et al. A multi-dimensional measure for determining the complexity of manual assembly operations
WO2022074823A1 (ja) 制御装置、制御方法及び記憶媒体
Flowers et al. A Spatio-Temporal Prediction and Planning Framework for Proactive Human–Robot Collaboration
Ko et al. A study on manufacturing facility safety system using multimedia tools for cyber physical systems
Cichon et al. Robotic teleoperation: Mediated and supported by virtual testbeds
Weng et al. Quantitative assessment at task-level for performance of robotic configurations and task plans
M. Tehrani et al. Enhancing safety in human–robot collaboration through immersive technology: a framework for panel framing task in industrialized construction
Abd Majid et al. Aluminium process fault detection and diagnosis
RU2685996C1 (ru) Способ и система предиктивного избегания столкновения манипулятора с человеком
Messina et al. A knowledge-based inspection workstation
Lossie et al. Smart Glasses for State Supervision in Self-optimizing Production Systems
Yi et al. Safety-aware human-centric collaborative assembly
JP7485058B2 (ja) 判定装置、判定方法及びプログラム
Alasti et al. Interactive Virtual Reality-Based Simulation Model Equipped with Collision-Preventive Feature in Automated Robotic Sites
El-Meligy et al. A configurable process control method for robotic system-based industrial service improvements
Gorkavyy et al. Modeling of Operator Poses in an Automated Control System for a Collaborative Robotic Process

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees