JP7365122B2 - 画像処理システムおよび画像処理方法 - Google Patents
画像処理システムおよび画像処理方法 Download PDFInfo
- Publication number
- JP7365122B2 JP7365122B2 JP2019017400A JP2019017400A JP7365122B2 JP 7365122 B2 JP7365122 B2 JP 7365122B2 JP 2019017400 A JP2019017400 A JP 2019017400A JP 2019017400 A JP2019017400 A JP 2019017400A JP 7365122 B2 JP7365122 B2 JP 7365122B2
- Authority
- JP
- Japan
- Prior art keywords
- vessel
- image
- unit
- captured
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 20
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000011218 segmentation Effects 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 239000013256 coordination polymer Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000009412 basement excavation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Operation Control Of Excavators (AREA)
Description
本発明の目的は、撮像画像から運搬物の積み下ろし対象を、ロバストに特定することができる画像処理システム、画像処理方法、学習済みモデルの生成方法、および学習用データセットを提供することを目的とする。
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、一実施形態に係る積込場の構成を示す図である。
積込場には、積込機械である油圧ショベル100と運搬車両であるダンプトラック200とが配備される。油圧ショベル100は、施工現場から土砂等の運搬物Lをすくい、ダンプトラック200に積み込む。ダンプトラック200は、油圧ショベル100によって積み込まれた運搬物Lを所定の排土場に運搬する。ダンプトラック200は、運搬物Lを収容する容器であるベッセル210を備える。ベッセル210は、運搬物Lの積み下ろし対象の一例である。積込場は、現場の一例である。現場とは、積込機械による作業が行われる土地である。
図2は、一実施形態に係る油圧ショベルの外観図である。
油圧ショベル100は、油圧により作動する作業機110と、作業機110を支持する旋回体120と、旋回体120を支持する走行体130とを備える。
アーム112は、ブーム111とバケット113とを連結する。アーム112の基端部は、ブーム111の先端部にアームピンP2を介して取り付けられる。
バケット113は、土砂などを掘削するための刃を有する容器である。バケット113の基端部は、アーム112の先端部にバケットピンP3を介して取り付けられる。
アームシリンダ115は、アーム112を駆動するための油圧シリンダである。アームシリンダ115の基端部は、ブーム111に取り付けられる。アームシリンダ115の先端部は、アーム112に取り付けられる。
バケットシリンダ116は、バケット113を駆動するための油圧シリンダである。バケットシリンダ116の基端部は、アーム112に取り付けられる。バケットシリンダ116の先端部は、バケット113に取り付けられる。
油圧ショベル100は、作業機位置検出器122、位置方位演算器123、傾斜検出器124、ステレオカメラ125、操作装置126、制御装置127、表示装置128を備える。
位置方位演算器123は、2つの受信器がそれぞれ受信した測位信号を用いて、検出された2つの測位信号が示す位置と2つの受信器の接地位置とに基づいて旋回体120の方位を演算する。なお、他の実施形態に係る位置方位演算器123は、2つの受信器に代えて、ロータリーエンコーダやIMUなどの他の装置を備えることで旋回体120の方位を計測してもよい。
なお、実施形態によっては、油圧ショベル100は、作業機位置検出器122、位置方位演算器123、傾斜検出器124、ステレオカメラ125、および表示装置128を備えないものであってもよい。
第1の実施形態においては、ステレオカメラ125は、右側カメラ1251および左側カメラ1252を備える。各カメラの例としては、例えばCCD(Charge Coupled Device)センサ、およびCMOS(Complementary Metal Oxide Semiconductor)センサを用いたカメラが挙げられる。
図3は、第1の実施形態に係る制御装置の構成を示す概略ブロック図である。
制御装置127は、プロセッサ91、メインメモリ92、ストレージ93、インタフェース94を備える。
そのため、プロセッサ91は、プログラムの実行により、データ取得部1701、領域特定部1702、三次元データ生成部1703、積み下ろし対象特定部1704、モデルフィッティング部1705、作業機位置特定部1706、ガイダンス情報生成部1707、表示制御部1708、学習部1709を備える。また、ストレージ93には、カメラパラメータCP、セグメンテーションモデルM、および対象モデルDが記憶される。カメラパラメータCPとは、旋回体120と右側カメラ1251との位置関係、および旋回体120と左側カメラ1252との位置関係を示す情報である。対象モデルDは、ベッセル210の形状を表す三次元データである。
領域特定部1702は、データ取得部1701が取得したステレオ画像の右目画像を、ストレージ93に記憶されたセグメンテーションモデルMに入力することで、右目画像を、既知の複数の物体に対応する複数の領域に分割する。例えば、領域特定部1702は、入力画像である右目画像を、図4に示すように、ダンプトラック200の車体、ベッセル210、運搬物L、作業機110、および地面の5つの物体に対応する複数の領域に分割したセグメント画像を生成する。なお、既知の複数の物体は、少なくとも積込対象であるベッセル210を含む。セグメント画像の各画素の値は、当該画素に対応する入力画像の画素に写る物体の種類を表す値をとる。すなわち、セグメント画像は、同じ値をとる複数の画素からなる複数の領域(セグメント)に分けられる。領域特定部1702は、セグメンテーションモデルMのセグメント画像に基づいて、データ取得部1701が取得したステレオ画像において、ベッセルが写る領域を特定する。
図5に示すようにニューラルネットワーク140は、入力層141、1つまたは複数の中間層142(隠れ層)、及び出力層143を含む。各層141,142,143は、1又は複数のニューロンを備えている。中間層142のニューロンの数は、適宜設定することができる。出力層143は、出力画像のサイズに応じて適宜設定することができる。
セグメンテーションモデルMのニューラルネットワーク140の構成としては、画像セグメンテーションに一般的に用いられるDNN構成が用いられる。セグメンテーションモデルMは、既存の学習済みのセグメンテーションモデルに、上記の学習用データセットを用いて転移学習したものであってもよい。なお、他の実施形態に係るセグメンテーションモデルMは、教師なし学習または強化学習によって訓練されたものであってもよい。
学習部1709は、セグメンテーションモデルMの学習処理を行う。なお、学習部1709は、制御装置127と別個の装置に設けられてもよい。この場合、別個の装置において学習された学習済みモデルが、ストレージ93に記録されることとなる。
図7は、第1の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の角度を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS1)。なお、他の実施形態においては、データ取得部1701は、作業機110の角度、旋回体120の位置、方位および傾きを取得しなくてもよい。次に、領域特定部1702は、データ取得部1701が取得したステレオ画像の右目画像を、ストレージ93に記憶されたセグメンテーションモデルMに入力することで、写った物体ごとの複数の領域に分割されたセグメント画像を得る(ステップS2)。なお、他の実施形態においては、領域特定部1702は、左目画像からセグメント画像を得てもよい。領域特定部1702は、セグメント画像に基づいて、データ取得部1701が取得したステレオ画像において、ベッセルが写る領域を特定する(ステップS3)。
図8は、第1の実施形態に係るセグメンテーションモデルの学習方法を示すフローチャートである。データ取得部1701は、学習データを取得する(ステップS101)。例えば、セグメンテーションモデルMにおける学習データは、積込場で撮像された画像、または3DCGやCADデータから生成された画像である。セグメンテーションモデルMの学習に用いる複数の学習データは、少なくともベッセル210が写る画像を含む。学習データは、ステレオカメラ125が撮像する画像から取得してもよい。また、他の作業機械が撮像した画像から取得してもよい。
セグメンテーションモデルMからの出力値が、教師データと一致する場合(ステップS103:YES)、学習部1709は、学習によって最適化されたパラメータを含む学習済みモデルであるセグメンテーションモデルMを、ストレージ93に記録する(ステップS104)。
このように、第1の実施形態によれば、制御装置127は、運搬物Lの積み下ろし対象であるベッセル210が写る撮像画像から、ベッセル210が写る領域を特定し、当該領域に基づいてベッセル210の位置を特定する。このように、第1の実施形態に係る制御装置127は、積み下ろし対象の位置を、画像に含まれるエッジによらずに特定することができる。これにより、第1の実施形態に係る制御装置127は、積み下ろし対象の変形等によってエッジが検出し難い場合においても、運搬物Lの積み下ろし対象の位置を、ロバストに特定することができる。また、ベッセル210に運搬物Lが積載されると、ベッセル210全体としての表面形状が変化するが、ベッセル210が写る領域を特定することで、運搬物Lとベッセル210とを識別することができるため、認識のロバスト性を向上することができる。なお、実施形態によっては、図7に示す制御装置127による処理のうち、ステップS2~ステップS6、ステップS8~S11の処理が実施されなくてもよい。
また、他の実施形態においては、ステレオ画像に代えて、レーザスキャナが生成した距離画像を用いて、三次元データを生成してもよい。
以下、図面を参照しながら第2の実施形態について説明する。第1の実施形態に係る制御装置127は、特定したベッセル210の位置、方位、および傾きに基づいてガイダンス情報を生成し、これをオペレータに提示する。これに対し、第2の実施形態に係る制御装置127は、特定したベッセル210の位置、方位、および傾きに基づいて作業機の積込作業を制御する。
図9は、第2の実施形態に係る制御装置の構成を示す概略ブロック図である。
第2の実施形態に係るプロセッサ91は、第1の実施形態に係るガイダンス情報生成部1707および表示制御部1708に代えて、作業機械制御部1711を備える。
図10は、第2の実施形態に係る油圧ショベルの制御方法を示すフローチャートである。
自動積込ボタンが押下されると、制御装置127は、第1の実施形態のステップS1からステップS9までと同様の処理により、ベッセル210および作業機110の現場座標系における位置を特定する。そして、作業機械制御部1711は、ベッセル210および作業機110の現場座標系における位置に基づいて、旋回体120および作業機110の制御信号を生成し、出力する(ステップS31)。
このように、第2の実施形態によれば、制御装置127は、撮像画像に基づいて油圧ショベル100を自動制御することができる。
以下、図面を参照しながら第3の実施形態について説明する。第3の実施形態に係る制御装置127は、ベッセル210における運搬物Lの量の分布を示すベッセルマップを表示装置128に表示させる。これにより、制御装置127は、オペレータに、ベッセル210にバランスよく運搬物Lを積み込むための運搬物Lの積み下ろし位置を認識させる。
第3の実施形態に係る制御装置127は、第1の実施形態に係る作業機位置特定部1706に代えて、分布特定部1721を備える。また、第3の実施形態に係る領域特定部1702、三次元データ生成部1703、ガイダンス情報生成部1707は、第1の実施形態と処理が異なる。
三次元データ生成部1703は、ベッセル210が写る領域に係る三次元データであるベッセル点群データおよび運搬物Lが写る領域に係る三次元データである運搬物点群データを生成する。なお、三次元データ生成部1703は、運搬物Lに分類された領域のみではなく、運搬物Lに分類された領域の近傍も含む領域から、運搬物点群データを生成してもよい。例えば、三次元データ生成部1703は、運搬物Lに分類された領域に外接する矩形を上下左右に所定画素数だけ拡張した領域に基づいて運搬物点群データを生成してもよい。なお、運搬物Lに分類された領域の近傍も含む領域を抽出することで、セグメンテーションの誤りによって運搬物Lの一部が他の物体に分類された場合にも運搬物Lが写る領域の欠落を防ぐことができる。
図12は、第3の実施形態に係るガイダンス情報の一例である。ガイダンス情報生成部1707は、例えば図12に示すように、ベッセル210の底面から運搬物Lの表面までの高さの分布を表す二次元のヒートマップを表示するガイダンス情報を生成する。図12に示すヒートマップにおける縦および横の分割の粒度は一例であり、他の実施形態ではこれに限られない。なお、他の実施形態に係るヒートマップは、例えばベッセル210の積載上限に係る高さに対する運搬物Lの高さの割合を表すものであってよい。
図13は、第3の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して位置方位演算器123から旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS51)。なお、他の実施形態においては、データ取得部1701は、作業機110の角度、旋回体120の位置、方位および傾きを取得しなくてもよい。次に、領域特定部1702は、データ取得部1701が取得したステレオ画像を、ストレージ93に記憶されたセグメンテーションモデルMに入力することで、写った物体ごとの複数の領域に分割されたセグメント画像を得る(ステップS52)。領域特定部1702は、セグメント画像に基づいて、データ取得部1701が取得したステレオ画像において、ベッセル210が写る領域および運搬物Lが写る領域を特定する(ステップS53)。
このように、第3の実施形態によれば、制御装置127は、撮像画像に基づいて、運搬物Lの表面およびベッセル210の底面の三次元位置を特定し、これらに基づいてベッセル210における運搬物Lの量の分布を示すベッセルマップを生成する。これにより、制御装置127は、ベッセル210における運搬物Lの分布を特定することができる。オペレータは、ベッセル210における運搬物Lの分布を認識することで、ベッセル210にバランスよく運搬物Lを積み込むための運搬物Lの積み下ろし位置を認識することができる。
第3の実施形態に係る制御装置127は、ベッセル点群データに対象モデルDをマッチングさせることでベッセル210の底面の三次元位置を特定する。これに対し、第4の実施形態に係る制御装置127は、対象モデルDを用いずにベッセル210の底面の三次元位置を特定する。つまり、第4の実施形態に係る制御装置127は、ストレージ93に対象モデルDを記憶しなくてよい。
図14は、第5の実施形態に係る画像のセグメンテーションの例を示す図である。
第1から第4の実施形態に係るセグメンテーションモデルMによって生成されるセグメント画像では、ベッセル210が写る領域を1つのセグメントによって表している。第5の実施形態に係るセグメンテーションモデルMは、ベッセル210が写る画像について、図14に示すように、ガードフレームが写る領域、フロントパネルが写る領域、サイドゲートが写る領域、およびテールゲートが写る領域に分けるセグメント画像を生成するように訓練されたものを用いる。
図15は、第5の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
まず、データ取得部1701は、インタフェース94を介して作業機位置検出器122から作業機110の角度を取得し、位置方位演算器123から、旋回体120の位置および方位を取得し、傾斜検出器124から旋回体120の傾きを取得し、ステレオカメラ125からステレオ画像を取得する(ステップS71)。なお、他の実施形態においては、データ取得部1701は、作業機110の角度、旋回体120の位置、方位および傾きを取得しなくてもよい。次に、領域特定部1702は、データ取得部1701が取得したステレオ画像を、ストレージ93に記憶されたセグメンテーションモデルMに入力することで、写った物体ごとの複数の領域に分割されたセグメント画像を得る(ステップS72)。領域特定部1702は、セグメント画像に基づいて、データ取得部1701が取得したステレオ画像において、ベッセル210の面毎に領域を特定する(ステップS73)。つまり、領域特定部1702は、ガードフレームが写る領域、フロントパネルが写る領域、サイドゲートが写る領域、およびテールゲートが写る領域をそれぞれ特定する。
このように、第5の実施形態によれば、制御装置127は、セグメンテーションモデルMが、ベッセル210の各面を異なる領域に分割する。これにより、制御装置127は、三次元特徴量を算出することなく、三次元データと三次元モデルのマッチングを行うことができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の実施形態においては、制御装置127が三角測量に基づいてステレオ画像から三次元データを生成するが、これに限られない。例えば、他の実施形態に係る制御装置127は、ステレオ画像を入力することで深度画像を出力する学習済みモデルを用いて三次元データを生成してもよい。また他の実施形態においては、セグメンテーションモデルMが、ステレオ画像を入力することで、物体毎の領域に分割した深度画像を出力するように学習されてたものであってもよい。
Claims (9)
- 作業機械のベッセルが写る撮像画像を取得するデータ取得部と、
前記撮像画像の各画素について前記ベッセルが写る画素であるか否かを判定し、前記撮像画像から前記ベッセルが写ると判定された画素からなる領域を特定する領域特定部と、
前記領域特定部で特定された領域から前記ベッセルの少なくとも一つの所定の面を特定するベッセル面特定部と、
を備える画像処理システム。 - 前記領域特定部は、入力画像を入力することで、複数の画素それぞれの値が当該画素に対応する前記入力画像の画素に写る物体の種類を表す値をとる出力画像を出力する学習済みモデルであるセグメンテーションモデルと、前記撮像画像とに基づいて、前記ベッセルが写ると判定された画素からなる領域を特定する
請求項1に記載の画像処理システム。 - 前記特定した面に基づいて前記ベッセルの位置を特定する姿勢特定部
を備える請求項1または請求項2に記載の画像処理システム。 - 前記姿勢特定部は、前記特定した面に基づいて、さらに前記ベッセルの方位および姿勢を特定する
請求項3に記載の画像処理システム。 - 前記撮像画像に基づいて、前記撮像画像の被写体の三次元形状を表す三次元データを生成する三次元データ生成部を備え、
前記姿勢特定部は、前記領域に係る三次元データにおける前記少なくとも一つの所定の面に基づいて前記ベッセルの位置を特定する
請求項3または請求項4に記載の画像処理システム。 - 前記姿勢特定部は、前記領域に係る三次元データにおける前記少なくとも一つの所定の面と、前記ベッセルの形状を示す三次元モデルである対象モデルの前記所定の面とをフィッティングさせることにより、前記ベッセルの位置を特定する
請求項5に記載の画像処理システム。 - 前記データ取得部は、前記撮像画像を撮像する撮像装置の撮像姿勢を取得し、
前記姿勢特定部は、前記領域と前記撮像姿勢とに基づいて、前記ベッセルの現場における三次元位置を特定する
請求項3から請求項6のいずれか1項に記載の画像処理システム。 - 前記三次元データ生成部は、前記撮像画像に基づいて、前記ベッセルに積み込まれた運搬物の三次元位置を表す運搬物三次元データを生成し、
前記ベッセルにおける前記運搬物三次元データと、前記ベッセルの少なくとも一部の三次元位置とに基づいて、前記ベッセルにおける運搬物の量の分布を示す分布情報を生成する分布特定部
を備える請求項5または請求項6に記載の画像処理システム。 - コンピュータが、作業機械の運搬物のベッセルが写る撮像画像を取得するステップと、
前記コンピュータが、前記撮像画像の各画素について前記ベッセルが写る画素であるか否かを判定し、前記撮像画像のうち前記ベッセルが写ると判定された画素からなる領域を特定するステップと、
前記コンピュータが、前記ベッセルが写ると判定された画素からなる領域から前記ベッセルの少なくとも一つの所定の面を特定するステップと
を備える画像処理方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017400A JP7365122B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理システムおよび画像処理方法 |
CN202080010943.6A CN113366533A (zh) | 2019-02-01 | 2020-01-24 | 图像处理系统、图像处理方法、学习完毕模型的生成方法以及学习用数据集 |
DE112020000310.8T DE112020000310T5 (de) | 2019-02-01 | 2020-01-24 | Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen |
US17/422,029 US12094151B2 (en) | 2019-02-01 | 2020-01-24 | Image processing system, image processing method, learned model generation method, and data set for learning |
KR1020217024275A KR20210110671A (ko) | 2019-02-01 | 2020-01-24 | 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트 |
PCT/JP2020/002554 WO2020158611A1 (ja) | 2019-02-01 | 2020-01-24 | 画像処理システム、画像処理方法、学習済みモデルの生成方法、および学習用データセット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017400A JP7365122B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理システムおよび画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126363A JP2020126363A (ja) | 2020-08-20 |
JP7365122B2 true JP7365122B2 (ja) | 2023-10-19 |
Family
ID=71841008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019017400A Active JP7365122B2 (ja) | 2019-02-01 | 2019-02-01 | 画像処理システムおよび画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12094151B2 (ja) |
JP (1) | JP7365122B2 (ja) |
KR (1) | KR20210110671A (ja) |
CN (1) | CN113366533A (ja) |
DE (1) | DE112020000310T5 (ja) |
WO (1) | WO2020158611A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6840645B2 (ja) * | 2017-09-08 | 2021-03-10 | 株式会社小松製作所 | 施工管理装置および施工管理方法 |
JP7088691B2 (ja) * | 2018-02-28 | 2022-06-21 | 株式会社小松製作所 | 積込機械の制御装置、制御方法および遠隔操作システム |
JP7283332B2 (ja) * | 2019-09-26 | 2023-05-30 | コベルコ建機株式会社 | 容器計測システム |
US11624171B2 (en) * | 2020-07-31 | 2023-04-11 | Baidu Usa Llc | Engineering machinery equipment, and method, system, and storage medium for operation trajectory planning thereof |
JP7484630B2 (ja) * | 2020-09-29 | 2024-05-16 | コベルコ建機株式会社 | 積込ポイント決定システム |
CN112348781A (zh) * | 2020-10-26 | 2021-02-09 | 广东博智林机器人有限公司 | 一种基准面高度检测方法、装置、设备及存储介质 |
JP2022077328A (ja) * | 2020-11-11 | 2022-05-23 | 日本電気株式会社 | 制御装置、制御システム、および制御方法 |
KR20230105967A (ko) * | 2022-01-05 | 2023-07-12 | (주)서울로보틱스 | 작업 현장을 모니터링하는 방법 및 장치 |
JP2023152458A (ja) * | 2022-04-04 | 2023-10-17 | 日立建機株式会社 | 作業機械 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000192514A (ja) | 1998-12-28 | 2000-07-11 | Hitachi Constr Mach Co Ltd | 自動運転建設機械およびその運転方法 |
WO2008018398A1 (fr) | 2006-08-10 | 2008-02-14 | Nec Corporation | dispositif d'extraction de région d'objet |
JP2018041176A (ja) | 2016-09-05 | 2018-03-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム |
JP2018146347A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2018173814A (ja) | 2017-03-31 | 2018-11-08 | 富士通株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法 |
WO2019016870A1 (ja) | 2017-07-18 | 2019-01-24 | 株式会社ソニー・インタラクティブエンタテインメント | 画像認識装置、画像認識方法及びプログラム |
JP2019016294A (ja) | 2017-07-10 | 2019-01-31 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、及びシステム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211438A (ja) * | 1998-01-22 | 1999-08-06 | Komatsu Ltd | 荷台積載体積計測装置 |
JP5597596B2 (ja) * | 2011-06-07 | 2014-10-01 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
US20140184643A1 (en) * | 2012-12-27 | 2014-07-03 | Caterpillar Inc. | Augmented Reality Worksite |
JP6159092B2 (ja) * | 2013-01-18 | 2017-07-05 | 日野自動車株式会社 | 車両の荷台高さ調整システム |
JP6318267B2 (ja) | 2014-12-12 | 2018-04-25 | 株式会社日立製作所 | 体積推定装置およびそれを用いた作業機械 |
WO2017042873A1 (ja) | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | 遠隔操作システムおよび操作支援システム |
JP6013655B2 (ja) * | 2015-09-30 | 2016-10-25 | 株式会社小松製作所 | クローラ式作業機械の周辺監視装置 |
JP6776343B2 (ja) * | 2016-04-21 | 2020-10-28 | 住友建機株式会社 | ショベルの表示装置 |
JP6633575B2 (ja) | 2017-07-11 | 2020-01-22 | 株式会社三共 | 遊技機 |
US10733752B2 (en) * | 2017-07-24 | 2020-08-04 | Deere & Company | Estimating a volume of contents in a container of a work vehicle |
-
2019
- 2019-02-01 JP JP2019017400A patent/JP7365122B2/ja active Active
-
2020
- 2020-01-24 CN CN202080010943.6A patent/CN113366533A/zh active Pending
- 2020-01-24 US US17/422,029 patent/US12094151B2/en active Active
- 2020-01-24 KR KR1020217024275A patent/KR20210110671A/ko not_active Application Discontinuation
- 2020-01-24 WO PCT/JP2020/002554 patent/WO2020158611A1/ja active Application Filing
- 2020-01-24 DE DE112020000310.8T patent/DE112020000310T5/de active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000192514A (ja) | 1998-12-28 | 2000-07-11 | Hitachi Constr Mach Co Ltd | 自動運転建設機械およびその運転方法 |
WO2008018398A1 (fr) | 2006-08-10 | 2008-02-14 | Nec Corporation | dispositif d'extraction de région d'objet |
JP2018041176A (ja) | 2016-09-05 | 2018-03-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム |
JP2018146347A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2018173814A (ja) | 2017-03-31 | 2018-11-08 | 富士通株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法 |
JP2019016294A (ja) | 2017-07-10 | 2019-01-31 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、及びシステム |
WO2019016870A1 (ja) | 2017-07-18 | 2019-01-24 | 株式会社ソニー・インタラクティブエンタテインメント | 画像認識装置、画像認識方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20210110671A (ko) | 2021-09-08 |
JP2020126363A (ja) | 2020-08-20 |
US12094151B2 (en) | 2024-09-17 |
DE112020000310T5 (de) | 2021-11-04 |
WO2020158611A1 (ja) | 2020-08-06 |
US20220101552A1 (en) | 2022-03-31 |
CN113366533A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7365122B2 (ja) | 画像処理システムおよび画像処理方法 | |
US11414837B2 (en) | Image processing system, display device, image processing method, method for generating trained model, and dataset for learning | |
CN110805093B (zh) | 利用视觉传感器进行反馈回路控制的容器角度感测 | |
US9990543B2 (en) | Vehicle exterior moving object detection system | |
AU2022209235B2 (en) | Display control device and display control method | |
US9133600B2 (en) | Method for selecting an attack pose for a working machine having a bucket | |
US8903689B2 (en) | Autonomous loading | |
WO2020044848A1 (ja) | 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット | |
JP6867132B2 (ja) | 作業機械の検出処理装置及び作業機械の検出処理方法 | |
CN104302848A (zh) | 用于挖掘机的俯视图系统 | |
JP7203616B2 (ja) | 作業機械 | |
JP7023813B2 (ja) | 作業機械 | |
AU2019292457B2 (en) | Display control device, display control system, and display control method | |
JP6826233B2 (ja) | 作業機の外形形状測定システム,作業機の外形形状表示システム,作業機の制御システム及び作業機械 | |
US20230291989A1 (en) | Display control device and display method | |
US20230267895A1 (en) | Display control device and display control method | |
US20220412056A1 (en) | Measuring device, and construction machine | |
Borthwick | Mining haul truck pose estimation and load profiling using stereo vision | |
JP7175245B2 (ja) | 作業機械 | |
CN114821496A (zh) | 用于提供深度感知的视觉覆盖物 | |
JP7390991B2 (ja) | 作業機械および施工支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231006 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7365122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |