WO2024004746A1 - システム及びプログラム - Google Patents

システム及びプログラム Download PDF

Info

Publication number
WO2024004746A1
WO2024004746A1 PCT/JP2023/022681 JP2023022681W WO2024004746A1 WO 2024004746 A1 WO2024004746 A1 WO 2024004746A1 JP 2023022681 W JP2023022681 W JP 2023022681W WO 2024004746 A1 WO2024004746 A1 WO 2024004746A1
Authority
WO
WIPO (PCT)
Prior art keywords
interference
image
working device
interference area
area
Prior art date
Application number
PCT/JP2023/022681
Other languages
English (en)
French (fr)
Inventor
翼 黒川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024004746A1 publication Critical patent/WO2024004746A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

作業装置に干渉する物体の検出精度を向上する。システムは、干渉領域検出部と、干渉領域画像生成部と、干渉物体検出部とを有する。干渉領域検出部は、可動部を有する作業装置を備える本体装置における作業装置が物体と干渉する領域である干渉領域を検出する。干渉領域画像生成部は、距離の情報が画素毎に反映された画像である距離画像から干渉領域に基づいて作業装置と干渉する物体である干渉物体を含む距離画像の領域である干渉領域画像を生成する。干渉物体検出部は、干渉領域画像に基づいて干渉物体を検出する。

Description

システム及びプログラム
 本開示は、システム及びプログラムに関する。
 産業用ロボットアーム等の可動部を有する作業装置において作業装置に干渉する物体を検出し、当該物体との衝突を防ぐ装置が提案されている。例えば、ロボットアームであるマニピュレータにおいて稼働空間に侵入する障害物を検出するマニピュレータが提案されている(例えば、特許文献1参照)。このマニピュレータは、リンクと、リンクを回動させる関節部と、センシング方向がリンクの表面と平行な方向に向けられて設置された距離センサとを備える。この距離センサによりリンクの回動方向に設置された局所的な監視空間に侵入する障害物を監視する。
特開2019-202405号公報
 しかしながら、上記の従来技術では、マニピュレータの旋回等の動作により背景が大きく変化するため、距離センサによる物体の検出精度が低下するという問題がある。
 そこで、本開示では、作業装置に干渉する物体の検出精度を向上するシステムを提案する。
 本開示に係るシステムは、干渉領域検出部と、干渉領域画像生成部と、干渉物体検出部とを有する。干渉領域検出部は、可動部を有する作業装置を備える本体装置における上記作業装置が物体と干渉する領域である干渉領域を検出する。干渉領域画像生成部は、距離の情報が画素毎に反映された画像である距離画像から上記干渉領域に基づいて上記作業装置と干渉する物体である干渉物体を含む上記距離画像の領域である干渉領域画像を生成する。干渉物体検出部は、上記干渉領域画像に基づいて上記干渉物体を検出する。
 また、本開示に係るプログラムは、可動部を有する作業装置を備える本体装置における上記作業装置が物体と干渉する領域である干渉領域を検出する手順と、距離の情報が画素毎に反映された画像である距離画像から上記干渉領域に基づいて上記作業装置と干渉する物体である干渉物体を含む上記距離画像の領域である干渉領域画像を生成する手順と、上記干渉領域画像に基づいて上記干渉物体を検出する手順とを含む。
本開示の実施形態に係るロボットアームの構成例を示す図である。 本開示の第1の実施形態に係る物体検出システムの構成例を示す図である。 本開示の第1の実施形態に係る干渉領域の一例を示す図である。 本開示の第1の実施形態に係る干渉領域の一例を示す図である。 本開示の第1の実施形態に係る距離画像の一例を示す図である。 本開示の第1の実施形態に係る干渉領域画像の一例を示す図である。 本開示の第1の実施形態に係る物体検出処理の一例を示す図である。 本開示の第2の実施形態に係る物体検出システムの構成例を示す図である。 本開示の第3の実施形態に係る物体検出システムの構成例を示す図である。 本開示の第3の実施形態に係る干渉領域の一例を示す図である。 本開示の第4の実施形態に係る物体検出システムの構成例を示す図である。 本開示の第4の実施形態に係る干渉領域の一例を示す図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
 (1.第1の実施形態)
 [作業装置の構成]
 図1は、本開示の実施形態に係るロボットアームの構成例を示す図である。同図は、本開示の監視システムが適用され得るロボットアーム1を説明する図である。ロボットアーム1は、人間の腕の代わりに対象物をつかむ、運ぶ等の作業を行う装置である。同図のロボットアーム1は、本体装置200と、作業装置210とを備える。
 作業装置210は、それぞれ回動可能に取り付けられた複数のリンク211とハンド212とを備える。リンク211は、ロボットアーム1の腕の骨に相当する部分である。ハンド212は、運搬対象物を把持するものである。
 本体装置200は、作業装置210を保持する装置であり、作業装置210を駆動する装置である。
 作業装置210は、本体装置200の制御に基づいて、伸縮及び旋回して把持した運搬対象物を可動範囲内の任意の位置に運ぶことができる。本体装置200は、作業者による遠隔操作や自動制御により作業装置210を駆動することができる。
 この作業装置210の可動範囲の近傍に運搬対象物以外の物体が存在する場合、作業装置210と接触又は衝突する可能性が生じる。このような作業装置210に干渉する物体を検出することにより、作業の安全性を確保することができる。同図には、干渉物体10を記載した。この干渉物体10は、作業装置210に接近する人物である。本開示の物体検出システム(物体検出システム100)は、人物が作業装置210の可動範囲20に侵入する場合に干渉物体10として検出するシステムである。干渉物体10を検出することにより、警告を発する等の処理を行うことが可能となる。同図の本体装置200には、干渉物体10を検出するためのセンサである測距センサ110が配置される。測距センサ110の詳細については後述する。
 [物体検出システムの構成]
 図2は、本開示の第1の実施形態に係る物体検出システムの構成例を示す図である。同図は、物体検出システム100の構成例を表すブロック図である。
 なお、同図には、作業装置210及び本体装置200を更に記載した。本体装置200は、駆動部220及び制御部230を備える。駆動部220は、作業装置210を駆動するものである。制御部230は、駆動部220を制御するものである。制御部230は、作業者等の操作に基づいて駆動部220を制御し、作業装置210の伸縮や運搬対象物の把持等を行わせるものである。なお、同図の制御部230は、作業装置の情報を物体検出システム100の干渉領域検出部130に対して出力する。この作業装置の情報には、例えば、作業装置210の可動範囲が該当する。また、作業装置の情報として、作業装置210の伸縮方向、伸長長さ及び移動速度を適用することもできる。
 同図には、測距センサ110を更に記載した。この測距センサ110は、図1に表したように、本体装置200等に配置されて作業装置210の近傍に配置される物体までの距離を測定するセンサである。物体までの距離は、例えば、飛行時間(ToF:Time of Flight)法により測定することができる。このToF法は、物体に光を照射して物体との間を光が往復する時間を測定することにより物体までの距離を測定する測距方法である。同図の測距センサ110は、検出した物体までの距離のデータに基づいて距離画像を生成する。ここで距離画像とは、距離の情報が画素毎に反映された画像である。測距センサ110は、生成した距離画像を後述する干渉領域画像生成部120に対して出力する。
 物体検出システム100は、干渉領域画像生成部120と、干渉領域検出部130と、干渉物体検出部140とを備える。
 干渉領域検出部130は、干渉領域を検出するものである。この干渉領域は、作業装置210が物体と干渉する領域である。この干渉領域に存在する人物等の干渉物体10は作業装置210と接触する可能性を生じることとなる。干渉領域は、例えば、作業装置210の可動範囲に基づいて検出することができる。具体的には、作業装置210の可動範囲にオフセットを付加した範囲を干渉領域として検出することができる。この作業装置210の可動範囲は、本体装置200の制御部230から出力される作業装置の情報から取得することができる。また、作業装置210の伸縮方向、伸長長さ及び移動速度等の情報により、可動範囲を更に限定した干渉領域を検出することもできる。干渉領域検出部130は、検出した干渉領域を干渉領域画像生成部120に対して出力する。
 干渉領域画像生成部120は、測距センサ110から出力された距離画像から干渉領域画像を生成するものである。この干渉領域画像は、干渉物体を含む距離画像の領域である。干渉領域画像生成部120は、干渉領域に基づいて干渉領域画像を生成する。具体的には、干渉領域画像生成部120は、距離画像から干渉領域に含まれる領域を抽出することにより、干渉領域画像を生成することができる。
 また、干渉領域画像生成部120は、距離画像から干渉領域に含まれない物体を除外する処理を行って干渉領域画像を生成することもできる。この干渉領域に含まれない物体には、例えば、比較的遠方の建物等の背景画像が該当する。このような背景画像を除外し、残った物体について干渉領域に含まれるか否かの判断を行うことにより、干渉領域画像の精度を向上させることができる。また、干渉領域画像生成の処理速度を向上させることもできる。
 干渉領域画像生成部120は、生成した干渉領域画像を干渉物体検出部140に対して出力する。
 干渉物体検出部140は、干渉領域画像生成部120から出力される干渉領域画像に基づいて干渉物体を検出するものである。干渉物体検出部140は、例えば、干渉領域画像から物体を抽出し、この抽出した物体について干渉物体か否かの判断を行って、干渉物体を検出することができる。干渉物体か否かの判断は、AI(Artificial Intelligence)処理により行うことができる。
 干渉物体検出部140は、検出した干渉物体の情報を制御部230に出力することができる。この出力された干渉物体の情報に基づいて、制御部230は、作業装置210の動作の停止や警告を発する処理を行うことができる。
 [干渉領域]
 図3A及び3Bは、本開示の第1の実施形態に係る干渉領域の一例を示す図である。図3Aは、測距センサ110におけるセンシング範囲の画像の例を表した図である。同図には、運搬対象物13及び干渉物体10の他に背景画像に該当する建物11及び柵12を記載した。
 図3Bは、図3Aの画像を俯瞰画像に変換したものである。同図には、作業装置210及び干渉領域410を更に記載した。同図の点線で挟まれた領域が干渉領域410を表す。干渉物体検出部140は、干渉領域410に含まれる物体のうち、自身の前記作業装置210が取り扱う運搬対象物13を干渉物体から除外し、人物を干渉物体10として検出する。運搬対象物13は、AIにより既知の物体として認識することができる。
 [距離画像]
 図4Aは、本開示の第1の実施形態に係る距離画像の一例を示す図である。同図は、図3Aの画像に対応する距離画像400を表した図である。同図の距離画像400は、距離の情報を濃淡により表した画像である。濃い領域が近距離の物体を表し、薄い領域が遠距離の物体を表す。背景画像である建物11は、白色の画像となる。このような距離画像を使用することにより、干渉領域410に含まれる物体を容易に検出することができる。なお、距離画像として、距離の情報を色により表した画像を使用することもできる。
 [干渉領域画像]
 図4Bは、本開示の第1の実施形態に係る干渉領域画像の一例を示す図である。同図は、図3Aの画像に対応する干渉領域画像420を表した図である。同図の干渉領域画像420は、距離画像400から干渉領域410に含まれる領域を抽出した画像に相当する。
 [物体検出処理]
 図5は、本開示の第1の実施形態に係る物体検出処理の一例を示す図である。同図は、物体検出システム100における干渉物体検出処理の処理手順の一例を表す流れ図である。まず、干渉領域検出部130が作業装置の情報に基づいて干渉領域を検出する(ステップS501)。次に、干渉領域画像生成部120が、距離画像及び干渉領域に基づいて干渉領域画像を生成する(ステップS502)。次に、干渉物体検出部140が干渉領域画像に基づいて干渉物体を検出する(ステップS503)。次に、干渉物体検出部140は、干渉物体の情報を生成して制御部230に対して出力する(ステップS504)。以上の処理により、干渉物体の検出を行うことができる。
 このように、本開示の第1の実施形態の物体検出システム100は、検出した干渉領域に含まれる物体を距離画像から抽出し、当該抽出した物体について干渉物体か否かを判断する。この際、背景画像等を除外することができるため、干渉物体の検出精度を向上させることができる。
 (2.第2の実施形態)
 上述の第1の実施形態の物体検出システム100は、干渉領域画像から干渉物体を検出していた。これに対し、本開示の第2の実施形態の物体検出システム100は、干渉領域画像及び画像に基づいて干渉物体を検出する点で、上述の第1の実施形態と異なる。
 [物体検出システムの構成]
 図6は、本開示の第2の実施形態に係る物体検出システムの構成例を示す図である。同図は、図2と同様に、物体検出システム100の構成例を表すブロック図である。干渉領域画像生成部120が複数のセンサからのデータを処理する点で、図2の物体検出システム100と異なる。
 同図のセンサ111は、干渉物体10等の物体を含む画像を生成するセンサである。このセンサ111には、例えば、ステレオカメラを適用することができる。センサ111は、生成した画像を干渉領域画像生成部120に対して出力する。
 同図のセンサ112は、物体の材質を判別するセンサである。センサ112は、材質の情報を干渉領域画像生成部120に対して出力する。
 前述のように、測距センサ110は、照射した光の反射光に基づいて物体までの距離を測定する。しかし、物体の材質によっては、距離の測定の誤差が増加する。例えば、金属等の光の反射率が高い物体においては誤差が増大する。そのような場合には、距離画像の代わりに通常の画像を使用して干渉物体10を検出することができる。同図の干渉領域画像生成部120は、センサ112からの材質の情報に基づいて測距センサ110からの距離画像及びセンサ111からの画像の何れかを選択する。次に干渉領域画像生成部120は、選択した距離画像及び画像に対して干渉領域に含まれる領域を抽出し、干渉領域画像として出力する。
 これ以外の物体検出システム100の構成は本開示の第1の実施形態における物体検出システム100の構成と同様であるため、説明を省略する。
 このように、本開示の第2の実施形態の物体検出システム100は、物体の材質に応じて距離画像及び画像を選択して干渉物体10を検出する。これにより、干渉物体10の検出精度を更に向上させることができる。
 (3.第3の実施形態)
 上述の第1の実施形態の物体検出システム100は、作業装置の干渉領域に基づいて干渉領域画像を生成していた。これに対し、本開示の第3の実施形態の物体検出システム100は、物体の位置情報を更に使用する点で、上述の第1の実施形態と異なる。
 [物体検出システムの構成]
 図7は、本開示の第3の実施形態に係る物体検出システムの構成例を示す図である。同図は、図2と同様に、物体検出システム100の構成例を表すブロック図である。制御システム300からの位置情報が干渉領域画像生成部120に入力される点で、図2の物体検出システム100と異なる。
 同図のセンサ310は、作業装置210の近傍の画像を生成して出力するセンサである。また、同図の制御システム300は、センサ310からの画像に基づいて背景となる物体の位置を検出するものである。位置情報取得部320は、検出した背景の位置に基づいて位置情報を生成し、干渉領域画像生成部120に対して出力する。センサ310及び制御システム300は、定点カメラ装置やドローン装置を想定したものである。なお、制御システム300は、請求の範囲に記載の他のシステムの一例である。
 同図の干渉領域画像生成部120は、距離画像、干渉領域及び位置情報に基づいて干渉領域画像を生成する。
 [干渉領域]
 図8は、本開示の第3の実施形態に係る干渉領域の一例を示す図である。同図は、図3Aと同様に、測距センサ110におけるセンシング範囲の画像の例を表した図である。同図には、運搬対象物13の他に既知の物体14を記載した。この物体14は、背景画像に相当する画像である。また、物体14は、例えば、パイロン等の作業装置210と衝突しても問題がない物体であってもよい。図7のセンサ310及び制御システム300は、作業装置210の近傍の画像を生成し、物体14等の既知の物体を検出して位置情報を生成し、干渉領域画像生成部120に対して出力する。干渉領域画像生成部120は、この位置情報に基づいて物体14を背景画像として除外し、残った物体について干渉領域に含まれるか否かの判断を行う。
 これ以外の物体検出システム100の構成は本開示の第1の実施形態における物体検出システム100の構成と同様であるため、説明を省略する。
 このように、本開示の第3の実施形態の物体検出システム100は、他のシステムからの位置情報を使用して干渉物体10を検出する。これにより、干渉物体10の検出精度を更に向上させることができる。
 (4.第4の実施形態)
 上述の第1の実施形態の物体検出システム100は、自身が接続される本体装置200の制御部230からの作業装置の情報を使用していた。これに対し、本開示の第4の実施形態の物体検出システム100は、他の本体装置200の制御部230からの作業装置の情報を更に使用する点で、上述の第1の実施形態と異なる。
 [物体検出システムの構成]
 図9は、本開示の第4の実施形態に係る物体検出システムの構成例を示す図である。同図は、図2と同様に、物体検出システム100の構成例を表すブロック図である。なお、同図には、それぞれ2つの本体装置200及び物体検出システム100を記載した。これらの本体装置及び物体検出システム100は、それぞれの符号に「a」及び「b」を付して識別する。本体装置200a及び本体装置200bは、同じ作業場に配置されて個別に作業を行う装置である。物体検出システム100aは、本体装置200aに取り付けられた作業装置210aに対する干渉物体10を検出する。同様に、物体検出システム100bは、本体装置200bに取り付けられた作業装置210bに対する干渉物体10を検出する。
 同図の干渉領域検出部130には、自身の物体検出システム100の対象の制御部230からの作業装置の情報に加えて他の物体検出システム100が対象とする制御部230からの作業装置の情報が入力される。同図の干渉領域検出部130は、これら複数の作業装置の情報に基づいて干渉領域を検出する。
 [干渉領域]
 図10は、本開示の第4の実施形態に係る干渉領域の一例を示す図である。同図は、図3と同様に、作業装置210の近傍の俯瞰画像を表した図である。また、同図は、作業装置210a及び作業装置210bが個別に作業を行う様子を表したものである。同図の作業装置210aは、運搬対象物13を把持し、運搬する作業を行う。また、同図の作業装置210bは、運搬対象物15を把持し、運搬する作業を行う。同図の作業装置210aを例に挙げて説明すると、自身が運搬する運搬対象物13は干渉物体には該当しない。一方、作業装置210b及び運搬対象物15は、干渉物体に該当する場合が生じる。例えば、作業装置210a及び作業装置210bが同じ領域(例えば、同図の領域411)に運搬対象物を運搬する場合に作業装置210aにとって作業装置210bの把持部等が干渉物体に該当することとなる。
 そこで、干渉領域検出部130aは、制御部230bからの作業装置の情報を使用して作業装置210bの位置を取得し、干渉領域を検出する。この際、制御部230bは、自身が運搬する運搬対象物15の位置の情報を含む作業装置の情報を制御部230aに出力することができる。また、作業装置210aは、取得した運搬対象物15の位置の情報に基づいて干渉領域を検出することができる。なお、制御部230bは、請求の範囲に記載の他のシステムの一例である。
 なお、物体検出システム100の構成は、この例に限定されない。例えば、複数の本体装置200を同時に制御する制御装置を制御部230bとして使用することもできる。
 これ以外の物体検出システム100は本開示の第1の実施形態における物体検出システム100の構成と同様であるため、説明を省略する。
 このように、本開示の第4の実施形態の物体検出システム100は、自身が付随する本体装置200の制御部230及び他の本体装置200の制御部230からの作業装置の情報に基づいて干渉領域を検出する。これにより、複数の作業装置210が稼働する場合における干渉物体の検出精度を向上させることができる。
 なお、本開示の第2の実施形態の構成は、他の実施形態に適用することができる。具体的には、図6の干渉領域画像生成部120は、本開示の第3及び第4の実施形態に適用することができる。
 本開示の第3の実施形態の構成は、他の実施形態に適用することができる。具体的には、図7の干渉領域画像生成部120の構成は、本開示の第2及び第4の実施形態に適用することができる。
 (その他の変形例)
 本実施形態の物体検出システム100は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
 例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。
 また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
 また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
 また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態の流れずに示された各ステップは、適宜順序を変更することが可能である。
 また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
 なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム又はそのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ及びメモリカード等を用いることができる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 可動部を有する作業装置を備える本体装置における前記作業装置が物体と干渉する領域である干渉領域を検出する干渉領域検出部と、
 距離の情報が画素毎に反映された画像である距離画像から前記干渉領域に基づいて前記作業装置と干渉する物体である干渉物体を含む前記距離画像の領域である干渉領域画像を生成する干渉領域画像生成部と、
 前記干渉領域画像に基づいて前記干渉物体を検出する干渉物体検出部と
 を有するシステム。
(2)
 前記干渉領域検出部は、前記作業装置の情報に基づいて前記干渉領域を検出する前記(1)に記載のシステム。
(3)
 前記干渉領域検出部は、前記作業装置の可動範囲を前記作業装置の情報として前記干渉領域を検出する前記(2)に記載のシステム。
(4)
 前記干渉領域検出部は、前記作業装置の制御部から出力される前記作業装置の情報に基づいて前記干渉領域を検出する前記(2)に記載のシステム。
(5)
 前記干渉領域検出部は、他のシステムから出力される情報と自身の前記作業装置の情報とに基づいて前記干渉領域を検出する前記(2)に記載のシステム。
(6)
 前記干渉領域検出部は、前記作業装置の近傍の物体の位置を前記他のシステムから出力される前記情報として前記干渉領域を検出する前記(5)に記載のシステム。
(7)
 前記他のシステムは、前記作業装置の制御を行うシステムである前記(5)に記載のシステム。
(8)
 前記干渉領域画像生成部は、前記干渉領域、前記距離画像及び前記物体の画像に基づいて前記干渉領域画像を生成する前記(1)から(7)の何れかに記載のシステム。
(9)
 前記干渉領域画像生成部は、前記干渉領域、前記距離画像及び前記物体の材質に基づいて前記干渉領域画像を生成する前記(1)から(7)の何れかに記載のシステム。
(10)
 可動部を有する作業装置を備える本体装置における前記作業装置が物体と干渉する領域である干渉領域を検出する手順と、
 距離の情報が画素毎に反映された画像である距離画像から前記干渉領域に基づいて前記作業装置と干渉する物体である干渉物体を含む前記距離画像の領域である干渉領域画像を生成する手順と、
 前記干渉領域画像に基づいて前記干渉物体を検出する手順と
 を含むプログラム。
 1 ロボットアーム
 10 干渉物体
 20 可動範囲
 100、100a、100b 物体検出システム
 110 測距センサ
 111、112、310 センサ
 120 干渉領域画像生成部
 130、130a、130b 干渉領域検出部
 200、200a、200b 本体装置
 210、210a、210b 作業装置
 220、220a、220b 駆動部
 230、230a、230b 制御部
 300 制御システム
 320 位置情報取得部
 400 距離画像
 410 干渉領域
 420 干渉領域画像

Claims (10)

  1.  可動部を有する作業装置を備える本体装置における前記作業装置が物体と干渉する領域である干渉領域を検出する干渉領域検出部と、
     距離の情報が画素毎に反映された画像である距離画像から前記干渉領域に基づいて前記作業装置と干渉する物体である干渉物体を含む前記距離画像の領域である干渉領域画像を生成する干渉領域画像生成部と、
     前記干渉領域画像に基づいて前記干渉物体を検出する干渉物体検出部と
     を有するシステム。
  2.  前記干渉領域検出部は、前記作業装置の情報に基づいて前記干渉領域を検出する請求項1に記載のシステム。
  3.  前記干渉領域検出部は、前記作業装置の可動範囲を前記作業装置の情報として前記干渉領域を検出する請求項2に記載のシステム。
  4.  前記干渉領域検出部は、前記作業装置の制御部から出力される前記作業装置の情報に基づいて前記干渉領域を検出する請求項2に記載のシステム。
  5.  前記干渉領域検出部は、他のシステムから出力される情報と自身の前記作業装置の情報とに基づいて前記干渉領域を検出する請求項2に記載のシステム。
  6.  前記干渉領域検出部は、前記作業装置の近傍の物体の位置を前記他のシステムから出力される前記情報として前記干渉領域を検出する請求項5に記載のシステム。
  7.  前記他のシステムは、前記作業装置の制御を行うシステムである請求項5に記載のシステム。
  8.  前記干渉領域画像生成部は、前記干渉領域、前記距離画像及び前記物体の画像に基づいて前記干渉領域画像を生成する請求項1に記載のシステム。
  9.  前記干渉領域画像生成部は、前記干渉領域、前記距離画像及び前記物体の材質に基づいて前記干渉領域画像を生成する請求項1に記載のシステム。
  10.  可動部を有する作業装置を備える本体装置における前記作業装置が物体と干渉する領域である干渉領域を検出する手順と、
     距離の情報が画素毎に反映された画像である距離画像から前記干渉領域に基づいて前記作業装置と干渉する物体である干渉物体を含む前記距離画像の領域である干渉領域画像を生成する手順と、
     前記干渉領域画像に基づいて前記干渉物体を検出する手順と
     を含むプログラム。
PCT/JP2023/022681 2022-07-01 2023-06-20 システム及びプログラム WO2024004746A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022106770 2022-07-01
JP2022-106770 2022-07-01

Publications (1)

Publication Number Publication Date
WO2024004746A1 true WO2024004746A1 (ja) 2024-01-04

Family

ID=89382171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022681 WO2024004746A1 (ja) 2022-07-01 2023-06-20 システム及びプログラム

Country Status (1)

Country Link
WO (1) WO2024004746A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018089728A (ja) * 2016-12-01 2018-06-14 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2021033869A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 電子機器、その制御方法、プログラム、および記憶媒体
JP2021088011A (ja) * 2019-12-02 2021-06-10 Arithmer株式会社 ピッキングシステム、ピッキング方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018089728A (ja) * 2016-12-01 2018-06-14 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
JP2018126862A (ja) * 2018-05-14 2018-08-16 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2021033869A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 電子機器、その制御方法、プログラム、および記憶媒体
JP2021088011A (ja) * 2019-12-02 2021-06-10 Arithmer株式会社 ピッキングシステム、ピッキング方法、及びプログラム

Similar Documents

Publication Publication Date Title
KR102365465B1 (ko) 로봇 행동들에 대한 보정들의 결정 및 이용
JP6804825B2 (ja) センサ融合を用いた環境内での位置特定
Strandgard et al. Automated time study of forwarders using GPS and a vibration sensor
CN111678026B (zh) 机器的防护
JP2010120139A (ja) 産業用ロボットの安全制御装置
US10578639B2 (en) Hybrid altimeter for measuring vertical velocity
EP3889887A1 (en) Image generation device, robot training system, image generation method, and image generation program
CN102648074B (zh) 机器人系统和附属控制方法
CN113840698A (zh) 用于自动零售店环境的机器人补货和安全系统
CN108445501A (zh) 一种基于slam技术的多雷达防串扰系统及方法
WO2024004746A1 (ja) システム及びプログラム
US11376634B2 (en) Article management device, article management system, and computer-readable storage medium
EP3287243A1 (en) Method for collision detection and autonomous system
CN115576274A (zh) 功能安全系统、方法和非暂态计算机可读介质
US11203116B2 (en) System and method for predicting robotic tasks with deep learning
Di Cosmo et al. Collaborative robotics safety control application using dynamic safety zones based on the ISO/TS 15066: 2016
Jo et al. A drone-based building inspection system using software-agents
JP2022525041A (ja) 人間とロボット車両との協働タスク実行
Aliev et al. Analysis of cooperative industrial task execution by mobile and manipulator robots
JP2016014572A (ja) 安全制御装置および安全制御システム
Winiarski et al. Automated generation of component system for the calibration of the service robot kinematic parameters
RU2685996C1 (ru) Способ и система предиктивного избегания столкновения манипулятора с человеком
Schmidt Real-time collision detection and collision avoidance
Gamper et al. Adaptive Radiation Survey Using an Autonomous Robot Executing LiDAR Scans in the Large Hadron Collider
JP2018133731A (ja) 監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831192

Country of ref document: EP

Kind code of ref document: A1