RU2013134636A - Способ, компьютерная программа и устройство для определения места захвата - Google Patents
Способ, компьютерная программа и устройство для определения места захвата Download PDFInfo
- Publication number
- RU2013134636A RU2013134636A RU2013134636/02A RU2013134636A RU2013134636A RU 2013134636 A RU2013134636 A RU 2013134636A RU 2013134636/02 A RU2013134636/02 A RU 2013134636/02A RU 2013134636 A RU2013134636 A RU 2013134636A RU 2013134636 A RU2013134636 A RU 2013134636A
- Authority
- RU
- Russia
- Prior art keywords
- mask
- capture
- gripper
- calculating
- overlap
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract 19
- 238000004590 computer program Methods 0.000 title claims 3
- 238000004458 analytical method Methods 0.000 claims abstract 4
- 238000004364 calculation method Methods 0.000 claims abstract 4
- 238000006073 displacement reaction Methods 0.000 claims 2
- 238000003491 array Methods 0.000 claims 1
- 230000000873 masking effect Effects 0.000 claims 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
1. Способ, включающий:получение по меньшей мере одного изображения, содержащего по меньшей мере один объект;анализ по меньшей мере одного изображения для определения по меньшей мере одного места захвата для захвата объекта;выбор места захвата из по меньшей мере одного места захвата на основе заранее заданного критерия ивыдачу по меньшей мере одной команды захватному приспособлению для захвата объекта в выбранном месте захвата.2. Способ по п.1, в котором шаги анализа и выбора также включают:вычисление маски фона, которая является маской пикселей изображения, которые не являются частью какого-либо объекта на изображении;вычисление маски объекта, которая является маской пикселей изображения, которые являются частью объекта, подлежащего захвату;вычисление маски захватного приспособления, которая является маской пикселей изображения, соответствующих захватывающим частям захватного приспособления;вычисление маски области захвата, которая является маской пикселей изображения, которые помещаются внутри захватного приспособления;наложение маски захватного приспособления на маску фона в по меньшей мере одном месте;вычисление перекрытия маски захватного приспособления и маски фона в по меньшей мере одном месте;наложение маски области захвата на маску объекта в по меньшей мере одном месте;вычисление перекрытия маски области захвата и маски объекта в по меньшей мере одном месте ивыбор места захвата на основе вычислений перекрытий.3. Способ по п.2, включающийназначение каждому пикселю в по меньшей мере одном изображении значения, соответствующего вероятности того, что данный пиксель принадлежит объекту.4. Спо
Claims (17)
1. Способ, включающий:
получение по меньшей мере одного изображения, содержащего по меньшей мере один объект;
анализ по меньшей мере одного изображения для определения по меньшей мере одного места захвата для захвата объекта;
выбор места захвата из по меньшей мере одного места захвата на основе заранее заданного критерия и
выдачу по меньшей мере одной команды захватному приспособлению для захвата объекта в выбранном месте захвата.
2. Способ по п.1, в котором шаги анализа и выбора также включают:
вычисление маски фона, которая является маской пикселей изображения, которые не являются частью какого-либо объекта на изображении;
вычисление маски объекта, которая является маской пикселей изображения, которые являются частью объекта, подлежащего захвату;
вычисление маски захватного приспособления, которая является маской пикселей изображения, соответствующих захватывающим частям захватного приспособления;
вычисление маски области захвата, которая является маской пикселей изображения, которые помещаются внутри захватного приспособления;
наложение маски захватного приспособления на маску фона в по меньшей мере одном месте;
вычисление перекрытия маски захватного приспособления и маски фона в по меньшей мере одном месте;
наложение маски области захвата на маску объекта в по меньшей мере одном месте;
вычисление перекрытия маски области захвата и маски объекта в по меньшей мере одном месте и
выбор места захвата на основе вычислений перекрытий.
3. Способ по п.2, включающий
назначение каждому пикселю в по меньшей мере одном изображении значения, соответствующего вероятности того, что данный пиксель принадлежит объекту.
4. Способ по п.2 или 3, также включающий:
назначение первого показателя качества для перекрытия маски захватного приспособления и маски фона в по меньшей мере одном месте на основе вычисления перекрытия маски захватного приспособления и маски фона в упомянутом по меньшей мере одном месте;
назначение второго показателя качества для перекрытия маски области захвата и маски объекта на основе вычисления перекрытия маски области захвата и маски объекта в по меньшей мере одном месте и
выбор места захвата на основе первого и второго показателей качества.
5. Способ по п.4, в котором выбор места захвата на основе первого и второго показателей качества включает
выбор места захвата, для которого произведение первого и второго показателей качества является наибольшим.
6. Способ по п.5, в котором выбор места захвата на основе первого и второго показателей качества также включает установку минимального значения для первого показателя качества выбираемого места захвата.
7. Способ по п.2 или 3, также включающий
вычисление множества масок захватного приспособления и масок области захвата, которые соответствуют различным положениям захватного приспособления.
8. Способ по п.2 или 3, в котором маску захвата и маску области захвата предварительно вычисляют для набора возможных положений захватного приспособления.
9. Способ по п.2 или 3, в котором маску захвата и маску области захвата вычисляют для набора возможных положений захватного приспособления в реальном времени.
10. Способ по п.2 или 3, в котором вычисление перекрытия масок также включает:
разделение маски захватного приспособления на части маски захватного приспособления;
вычисление перекрытия части маски захватного приспособления и маски фона;
вычисление перекрытия для каждой из других частей маски захватного приспособления путем сдвига значений, вычисленных с помощью первой части маски захватного приспособления, на величину смещения каждой другой части маски захватного приспособления относительно первой части маски захватного приспособления в маске захватного приспособления и
вычисление перекрытия всей маски захватного приспособления и маски фона как суммы перекрытий, вычисленных для частей маски захватного приспособления.
11. Способ по п.2 или 3, в котором вычисление перекрытия масок также включает:
разделение маски области захвата на части маски области захвата;
вычисление перекрытия части маски области захвата и маски объекта;
вычисление перекрытия для каждой из других частей маски области захвата путем сдвига значений, вычисленных для первой части маски области захвата, на величину смещения каждой другой части маски области захвата относительно первой части маски области захвата в маске области захвата и
вычисление перекрытия всей маски области захвата и маски объекта как суммы перекрытий, вычисленных для частей маски области захвата.
12. Способ по п.2 или 3, в котором при вычислении перекрытий используют свертку с помощью быстрого преобразования Фурье (FFT).
13. Способ по любому из пп.1-3, в котором некоторые или все шаги осуществляют с использованием программируемых пользователем вентильных матриц (FPGA).
14. Компьютерная программа, содержащая программный код, включающий команды для выполнения способа по любому из пп.1-13.
15. Компьютерная программа по п.14, хранимая на машиночитаемом носителе.
16. Устройство, содержащее:
средства (145, 153) для получения по меньшей мере одного изображения, содержащего объект;
средства (154, 156) для анализа по меньшей мере одного изображения для определения по меньшей мере одного места захвата для захвата объекта;
средства (156) для выбора места захвата из по меньшей мере одного места захвата на основе заранее заданного критерия и
средства (142) для выдачи по меньшей мере одной команды захватному приспособлению для захвата объекта в выбранном месте захвата.
17. Устройство по п.16, также содержащее средства (140) для выполнения способа по любому из пп.2-13.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20106387A FI20106387A (fi) | 2010-12-30 | 2010-12-30 | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
| FI20106387 | 2010-12-30 | ||
| PCT/FI2011/051172 WO2012089928A1 (en) | 2010-12-30 | 2011-12-30 | Method, computer program and apparatus for determining a gripping location |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013134636A true RU2013134636A (ru) | 2015-02-10 |
| RU2594231C2 RU2594231C2 (ru) | 2016-08-10 |
Family
ID=43415074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013134636/02A RU2594231C2 (ru) | 2010-12-30 | 2011-12-30 | Способ, компьютерная программа и устройство для определения места захвата |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9230329B2 (ru) |
| EP (1) | EP2658691B1 (ru) |
| JP (1) | JP5918266B2 (ru) |
| CN (1) | CN103402715A (ru) |
| DK (1) | DK2658691T3 (ru) |
| ES (1) | ES2651494T3 (ru) |
| FI (1) | FI20106387A (ru) |
| RU (1) | RU2594231C2 (ru) |
| WO (1) | WO2012089928A1 (ru) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6036662B2 (ja) * | 2013-11-22 | 2016-11-30 | 三菱電機株式会社 | ロボットシミュレーション装置、プログラム、記録媒体及び方法 |
| JP6265784B2 (ja) * | 2014-03-06 | 2018-01-24 | 株式会社メガチップス | 姿勢推定システム、プログラムおよび姿勢推定方法 |
| DE102014005355A1 (de) * | 2014-04-11 | 2015-10-15 | Herbert Kannegiesser Gmbh | Verfahren zum Erfassen eines Wäschestücks |
| DE102014017478A1 (de) * | 2014-11-26 | 2016-06-02 | Herbert Kannegiesser Gmbh | Verfahren zum Sortieren von Wäschestücken, insbesondere Schmutzwäschestücken |
| JP6140204B2 (ja) * | 2015-02-06 | 2017-05-31 | ファナック株式会社 | ３次元センサを備えた搬送ロボットシステム |
| JP2018034242A (ja) * | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
| JP6470321B2 (ja) | 2017-01-11 | 2019-02-13 | ファナック株式会社 | 物品搬送装置 |
| RU2635144C1 (ru) * | 2017-01-20 | 2017-11-09 | Общество с ограниченной ответственностью "АтомИнтелМаш" | Способ укладки в контейнер брикетов, полученных прессованием размещенных в бочках твердых радиоактивных отходов |
| WO2019079598A1 (en) * | 2017-10-18 | 2019-04-25 | Brown University | PROBABILISTIC PROBABILISTIC OBJECTS-ROBUST AND REPRODUCIBLE PLACEMENT |
| SE543130C2 (en) | 2018-04-22 | 2020-10-13 | Zenrobotics Oy | A waste sorting robot gripper |
| SE543177C2 (en) | 2018-04-22 | 2020-10-20 | Zenrobotics Oy | Waste sorting gantry robot comprising an integrated chute and maintenance door |
| SE544741C2 (en) | 2018-05-11 | 2022-11-01 | Genie Ind Bv | Waste Sorting Gantry Robot and associated method |
| WO2020190166A1 (ru) * | 2019-03-21 | 2020-09-24 | Публичное Акционерное Общество "Сбербанк России" | Способ и система захвата объекта с помощью роботизированного устройства |
| EP3976281A1 (en) | 2019-05-24 | 2022-04-06 | Technische Universiteit Delft | Apparatus and method for picking up objects off a surface |
| WO2021133183A1 (ru) * | 2019-12-23 | 2021-07-01 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Способ управления роботизированным манипулятором |
| WO2021133184A1 (ru) * | 2019-12-23 | 2021-07-01 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт (Национальный Исследовательский Университет") | Способ выполнения манипуляции с объектом |
| DE102020001961A1 (de) | 2020-03-27 | 2021-09-30 | Herbert Kannegiesser Gmbh | Verfahren zum Ergreifen textiler Gegenstände |
| SE2030325A1 (en) * | 2020-10-28 | 2021-12-21 | Zenrobotics Oy | Waste sorting robot and method for detecting faults |
| SE544457C2 (en) * | 2020-10-28 | 2022-06-07 | Zenrobotics Oy | Waste sorting robot and method for cleaning a waste sorting robot |
| US20220375097A1 (en) * | 2021-05-18 | 2022-11-24 | Mujin, Inc. | Robotic system for object size detection |
| US20220405506A1 (en) * | 2021-06-22 | 2022-12-22 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
| US11752525B2 (en) | 2021-07-16 | 2023-09-12 | Mihir Kothari | System and method of laundry sorting |
| JP7398763B2 (ja) * | 2021-09-01 | 2023-12-15 | 株式会社Mujin | 重なり処理機構を備えたロボットシステム及びその操作方法 |
| SE2130289A1 (en) | 2021-10-26 | 2023-04-27 | Mp Zenrobotics Oy | Waste Sorting Robot |
| CN116175541B (zh) * | 2021-11-28 | 2023-11-10 | 梅卡曼德（北京）机器人科技有限公司 | 抓取控制方法、装置、电子设备和存储介质 |
| SE2130349A1 (en) | 2021-12-09 | 2023-06-10 | Mp Zenrobotics Oy | Waste sorting robot and external cleaning apparatus |
| WO2024015858A1 (en) | 2022-07-15 | 2024-01-18 | Mihir Kothari | Laundry sorting and evaluation system |
| WO2024104586A1 (de) * | 2022-11-17 | 2024-05-23 | Robert Bosch Gmbh | Verfahren zum aufnehmen eines objekts mittels eines roboters |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5877486A (ja) * | 1981-10-28 | 1983-05-10 | 富士通株式会社 | ロボツト用視覚認識装置 |
| ZA838150B (en) * | 1982-11-01 | 1984-06-27 | Nat Res Dev | Automatic welding |
| SU1615757A1 (ru) * | 1988-06-20 | 1990-12-23 | Мгту Им.Н.Э.Баумана | Способ фильтрации шумов бинарных изображений объектов |
| JPH05228780A (ja) * | 1992-02-19 | 1993-09-07 | Daikin Ind Ltd | 把持対象ワークの把持位置教示方法 |
| JP3300682B2 (ja) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
| US6304050B1 (en) * | 1999-07-19 | 2001-10-16 | Steven B. Skaar | Means and method of robot control relative to an arbitrary surface using camera-space manipulation |
| JP3964220B2 (ja) * | 2002-01-30 | 2007-08-22 | 独立行政法人科学技術振興機構 | 顔画像認識システム |
| JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
| SE524796C2 (sv) | 2002-12-10 | 2004-10-05 | Svensk Industriautomation Ab | Kollisionsskydd |
| JP3722806B2 (ja) * | 2003-03-05 | 2005-11-30 | 松下電器産業株式会社 | 物品管理システムおよびロボット制御装置 |
| JP2004289222A (ja) * | 2003-03-19 | 2004-10-14 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理方法 |
| GB0308943D0 (en) * | 2003-04-17 | 2003-05-28 | Univ Dundee | A system for determining the body pose of a person from images |
| DE10324895A1 (de) * | 2003-05-30 | 2004-12-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge |
| US7477969B2 (en) * | 2003-10-02 | 2009-01-13 | W.E.T. Automotive Systems Ag | Temperature conditioned assembly having a controller in communication with a temperature sensor |
| JP2005117791A (ja) * | 2003-10-08 | 2005-04-28 | Denso Wave Inc | 駆動制御装置及び駆動制御装置の駆動モジュール判別方法 |
| DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
| DE602005007370D1 (de) * | 2005-12-22 | 2008-07-17 | Honda Res Inst Europe Gmbh | Adaptive szenenabhängige Filter in Online-Lern-Umgebungen |
| EP1870210A1 (en) * | 2006-06-22 | 2007-12-26 | Honda Research Institute Europe GmbH | Evaluating visual proto-objects for robot interaction |
| JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
| JP5265296B2 (ja) | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | ワーク取り出し方法 |
| US9089966B2 (en) * | 2010-11-17 | 2015-07-28 | Mitsubishi Electric Corporation | Workpiece pick-up apparatus |
-
2010
- 2010-12-30 FI FI20106387A patent/FI20106387A/fi not_active Application Discontinuation
-
2011
- 2011-12-30 JP JP2013546749A patent/JP5918266B2/ja active Active
- 2011-12-30 RU RU2013134636/02A patent/RU2594231C2/ru not_active IP Right Cessation
- 2011-12-30 CN CN2011800687634A patent/CN103402715A/zh active Pending
- 2011-12-30 EP EP11853742.2A patent/EP2658691B1/en active Active
- 2011-12-30 DK DK11853742.2T patent/DK2658691T3/en active
- 2011-12-30 WO PCT/FI2011/051172 patent/WO2012089928A1/en active Application Filing
- 2011-12-30 US US13/977,920 patent/US9230329B2/en active Active
- 2011-12-30 ES ES11853742.2T patent/ES2651494T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP5918266B2 (ja) | 2016-05-18 |
| WO2012089928A1 (en) | 2012-07-05 |
| JP2014502564A (ja) | 2014-02-03 |
| FI20106387A (fi) | 2012-07-01 |
| EP2658691A1 (en) | 2013-11-06 |
| ES2651494T3 (es) | 2018-01-26 |
| RU2594231C2 (ru) | 2016-08-10 |
| US9230329B2 (en) | 2016-01-05 |
| CN103402715A (zh) | 2013-11-20 |
| FI20106387A0 (fi) | 2010-12-30 |
| EP2658691B1 (en) | 2017-09-13 |
| US20130338826A1 (en) | 2013-12-19 |
| DK2658691T3 (en) | 2017-12-18 |
| EP2658691A4 (en) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2013134636A (ru) | Способ, компьютерная программа и устройство для определения места захвата | |
| JP2011010300A5 (ru) | ||
| JP2012145981A5 (ru) | ||
| JP2019522897A5 (ru) | ||
| JP2014115109A5 (ru) | ||
| JP2016517576A5 (ru) | ||
| EP2584529A3 (en) | Method of image processing and device therefore | |
| JP2012069089A5 (ru) | ||
| CN107316022B (zh) | 动态手势识别方法和装置 | |
| JP2016097014A5 (ru) | ||
| JP2006345254A5 (ru) | ||
| EP2975527A3 (en) | A method for tracing computer software | |
| JP2015219603A5 (ru) | ||
| JP2016010656A5 (ru) | ||
| JP2016109934A5 (ja) | 制御装置、制御方法、画像表示システム及びプログラム | |
| JP2014229115A5 (ru) | ||
| CN103460254A (zh) | 基于图像内容的自动亮度检测方法与装置 | |
| JP2015118282A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| RU2015106674A (ru) | Способ и система вычисления ошибки деформации дозы | |
| JP2015012567A5 (ru) | ||
| JP2014150844A5 (ru) | ||
| JP2016538537A5 (ja) | レジストレーション方法、コンピュータプログラム及び記憶媒体 | |
| EP2919156A3 (en) | Image processing apparatus, vehicle-mounted device control system, method of image processing, image processsing programm, and carrier medium | |
| JP2019537263A5 (ru) | ||
| JP2019046055A5 (ru) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20181231 |