JP7383255B2 - 情報処理システム、情報処理方法、建設機械 - Google Patents
情報処理システム、情報処理方法、建設機械 Download PDFInfo
- Publication number
- JP7383255B2 JP7383255B2 JP2019152111A JP2019152111A JP7383255B2 JP 7383255 B2 JP7383255 B2 JP 7383255B2 JP 2019152111 A JP2019152111 A JP 2019152111A JP 2019152111 A JP2019152111 A JP 2019152111A JP 7383255 B2 JP7383255 B2 JP 7383255B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- working
- posture
- working machine
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 54
- 238000010276 construction Methods 0.000 title claims description 22
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000010801 machine learning Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 131
- 230000007246 mechanism Effects 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 12
- 230000008602 contraction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Description
図面を参照して、本発明の第1実施形態の作業機械の情報処理システム10の構成について説明する。図1は、第1実施形態の情報処理システム10を備えた作業機械100を概略的に示す側面図である。図2は、情報処理システム10を概略的に示すブロック図である。
本発明の第2実施形態は、作業機械の情報処理方法である。この情報処理方法は、作業機械100の作業部40の参照画像のデータGsと作業機械100の作業部40の姿勢のデータKsとを対応づけて記憶部30に記憶するステップ(S72~S75)と、参照画像のデータGsと比較するために作業部40の画像のデータGjを取得するステップ(S82)と、画像のデータGjと記憶部30の記憶情報とに基づいて作業機械100の作業部40の姿勢を推定するステップ(S86)とを含む。
本発明の第3実施形態は、建設機械1000である。この建設機械1000は、作業部40と、作業部40の参照画像のデータGsと作業機械100の作業部40の姿勢のデータKsとを対応づけて記憶している記憶部30と、参照画像のデータGsと比較するために作業部40の画像のデータGjを取得する画像情報取得部12と、画像のデータGjと記憶部30の記憶情報とに基づいて作業機械100の作業部40の姿勢を推定する姿勢推定部20eとを備える。
本発明の第4実施形態は、コンピュータプログラムP100である。このコンピュータプログラムP100は、作業機械100の作業部40の参照画像のデータGsと作業機械100の作業部40の姿勢のデータKsとを対応づけて記憶部30に記憶する機能と、参照画像のデータGsと比較するために作業機械100の作業部40の画像のデータGjを取得する機能と、画像のデータGjと記憶部の記憶情報とに基づいて作業機械100の作業部40の姿勢を推定する機能とをコンピュータに実現させる。
以下、変形例について説明する。変形例の図面および説明では、実施形態と同一または同等の構成要素、部材には、同一の符号を付する。実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
Claims (11)
- 作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて前記画像のデータを補正する補正部と
を備える情報処理システム。 - 作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
情報処理システム。 - 前記取得部は前記作業機械の作業部と一体的に旋回するように構成される請求項1または2に記載の情報処理システム。
- 前記記憶部は前記参照画像のデータおよび前記姿勢のデータをもとに機械学習により生成された姿勢推定モデルを記憶することを特徴とする請求項1から3のいずれかに記載の情報処理システム。
- 前記参照画像のデータの色情報を圧縮または除去する色情報除去部を有する
請求項1から4のいずれかに記載の情報処理システム。 - 前記参照画像のデータの背景画像を除去する背景情報除去部を有する
請求項1から5のいずれかに記載の情報処理システム。 - 作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記作業機械の作業部と一体的に旋回するように構成されるとともに前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
情報処理システム。 - 作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶部に記憶するステップと、
前記参照画像のデータと比較するために前記作業部の画像のデータを取得するステップと、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定するステップであって、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定するステップと
を含む情報処理方法。 - 前記推定するステップは、前記参照画像のデータと前記姿勢のデータとをもとに機械学習により生成された姿勢推定モデルを参照するステップを含む
請求項8に記載の情報処理方法。 - 作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶部に記憶する機能と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する機能と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する機能であって、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する機能と
をコンピュータに実現させるためのコンピュータプログラム。 - 作業機械の作業部と、
前記作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
建設機械。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152111A JP7383255B2 (ja) | 2019-08-22 | 2019-08-22 | 情報処理システム、情報処理方法、建設機械 |
KR1020200104588A KR20210023747A (ko) | 2019-08-22 | 2020-08-20 | 정보 처리 시스템, 정보 처리 방법, 건설 기계 |
CN202010847464.1A CN112414299A (zh) | 2019-08-22 | 2020-08-21 | 信息处理系统、信息处理方法以及建筑机械 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152111A JP7383255B2 (ja) | 2019-08-22 | 2019-08-22 | 情報処理システム、情報処理方法、建設機械 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033568A JP2021033568A (ja) | 2021-03-01 |
JP7383255B2 true JP7383255B2 (ja) | 2023-11-20 |
Family
ID=74676542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019152111A Active JP7383255B2 (ja) | 2019-08-22 | 2019-08-22 | 情報処理システム、情報処理方法、建設機械 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7383255B2 (ja) |
KR (1) | KR20210023747A (ja) |
CN (1) | CN112414299A (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004112144A (ja) | 2002-09-17 | 2004-04-08 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
JP2008240361A (ja) | 2007-03-27 | 2008-10-09 | Komatsu Ltd | 建設機械の省燃費運転支援方法および省燃費運転支援システム |
JP2009146337A (ja) | 2007-12-18 | 2009-07-02 | Kyosan Electric Mfg Co Ltd | 車両存否判定装置、車両存否判定方法及びプログラム |
WO2016125915A1 (ja) | 2016-03-01 | 2016-08-11 | 株式会社小松製作所 | 評価装置及び評価方法 |
JP2017053627A (ja) | 2015-09-07 | 2017-03-16 | Kyb株式会社 | 角度検出装置 |
CN109961471A (zh) | 2017-12-14 | 2019-07-02 | 北京猎户星空科技有限公司 | 一种图像中物体位置的标注方法、装置及电子设备 |
CN110000795A (zh) | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
CN110076772A (zh) | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120162377A1 (en) * | 2009-09-03 | 2012-06-28 | Ccs Inc. | Illumination/image-pickup system for surface inspection and data structure |
JP6343938B2 (ja) * | 2014-01-14 | 2018-06-20 | セイコーエプソン株式会社 | ロボット、制御装置、ロボットシステム及び制御方法 |
JP6438512B2 (ja) * | 2017-03-13 | 2018-12-12 | ファナック株式会社 | 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 |
CN106918306A (zh) * | 2017-04-22 | 2017-07-04 | 许晟明 | 基于光场单相机的工业产品三维形貌实时检测系统 |
JP2018178711A (ja) * | 2018-08-09 | 2018-11-15 | 株式会社小松製作所 | 施工現場の形状情報の生成方法及び作業機械の制御システム |
-
2019
- 2019-08-22 JP JP2019152111A patent/JP7383255B2/ja active Active
-
2020
- 2020-08-20 KR KR1020200104588A patent/KR20210023747A/ko unknown
- 2020-08-21 CN CN202010847464.1A patent/CN112414299A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004112144A (ja) | 2002-09-17 | 2004-04-08 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
JP2008240361A (ja) | 2007-03-27 | 2008-10-09 | Komatsu Ltd | 建設機械の省燃費運転支援方法および省燃費運転支援システム |
JP2009146337A (ja) | 2007-12-18 | 2009-07-02 | Kyosan Electric Mfg Co Ltd | 車両存否判定装置、車両存否判定方法及びプログラム |
JP2017053627A (ja) | 2015-09-07 | 2017-03-16 | Kyb株式会社 | 角度検出装置 |
WO2016125915A1 (ja) | 2016-03-01 | 2016-08-11 | 株式会社小松製作所 | 評価装置及び評価方法 |
CN109961471A (zh) | 2017-12-14 | 2019-07-02 | 北京猎户星空科技有限公司 | 一种图像中物体位置的标注方法、装置及电子设备 |
CN110076772A (zh) | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
CN110000795A (zh) | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112414299A (zh) | 2021-02-26 |
KR20210023747A (ko) | 2021-03-04 |
JP2021033568A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4961860B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
US9304501B2 (en) | Coordinated joint motion control system with position error correction | |
JP6931457B2 (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
US20140018957A1 (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
US11040451B2 (en) | Teaching device and teaching method | |
KR102261469B1 (ko) | 로봇 제어 장치, 로봇의 관절의 각도를 구하는 방법, 프로그램 | |
US20060195228A1 (en) | Robot locus control method and apparatus and program of robot locus control method | |
US10481571B2 (en) | Robot controller which automatically sets interference region for robot | |
JP2013132731A (ja) | ロボット制御システム、ロボットシステム及びロボット制御方法 | |
JP2019107704A (ja) | ロボットシステム及びロボット制御方法 | |
CN109591014A (zh) | 一种双臂协作机器人的双臂协调搬运方法 | |
JP3415427B2 (ja) | ロボットシミュレーションにおけるキャリブレーション装置 | |
US20210073445A1 (en) | Robotic assembly of a mesh surface | |
JP7383255B2 (ja) | 情報処理システム、情報処理方法、建設機械 | |
CN112847328A (zh) | 控制系统、控制器、和控制方法 | |
JP2014188617A (ja) | ロボット制御システム、ロボット、ロボット制御方法及びプログラム | |
JP6217322B2 (ja) | ロボット制御装置、ロボット及びロボット制御方法 | |
JP6410411B2 (ja) | パターンマッチング装置及びパターンマッチング方法 | |
JP5228856B2 (ja) | 作業対象物の位置検出方法および位置検出装置 | |
CN112482460B (zh) | 信息处理装置及系统和方法、计算机程序以及建筑机械 | |
JP6571723B2 (ja) | 動作プログラムを生成するプログラミング装置、及びプログラム生成方法 | |
JP7374867B2 (ja) | 制御システム、ローカルコントローラ及び制御方法 | |
JP2020159147A (ja) | 自動操縦システム | |
CN112207813B (zh) | 运算装置、机器学习方法以及非暂时性存储介质 | |
JP7447568B2 (ja) | シミュレーション装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7383255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |