JP7463530B2 - 機械視点を用いた工作機械上の装置の制御システムおよび方法 - Google Patents
機械視点を用いた工作機械上の装置の制御システムおよび方法 Download PDFInfo
- Publication number
- JP7463530B2 JP7463530B2 JP2022546467A JP2022546467A JP7463530B2 JP 7463530 B2 JP7463530 B2 JP 7463530B2 JP 2022546467 A JP2022546467 A JP 2022546467A JP 2022546467 A JP2022546467 A JP 2022546467A JP 7463530 B2 JP7463530 B2 JP 7463530B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- global
- components
- blade
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- -1 gravel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003971 tillage Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
- E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
- E02F3/80—Component parts
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
- E02F3/80—Component parts
- E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
- E02F3/844—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
- E02F3/847—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically using electromagnetic, optical or acoustic beams to determine the blade position, e.g. laser beams
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/02—Travelling-gear, e.g. associated with slewing gears
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/52—Determining velocity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
滑り率=100×(Vt-Vm)/Vt
ここで、Vtはトラック速度、Vmは工作機械速度であり、そうすると、工作機械上のブレード位置を制御することによって、例えば、ブレードを上昇させブレード負荷を減少させることにより、滑り率は、減少(例えば、5%あるいはそれ未満のレベルに維持)させることができる。このように、機械速度、トラック速度、および滑り率の情報を有することは、工作機械の操作に際して有用である。
Claims (22)
- 車両上の装置の位置および配向を決定するためのシステムであって、
前記システムは、
三次元(3D)カメラが前記装置の複数の構成要素を含む視野を持つように前記車両上の構造に搭載された前記3Dカメラと、
前記構造に搭載された全地球的測位システムおよび慣性測定装置と、および
前記3Dカメラ、前記慣性測定装置および前記全地球的測位システムと通信可能に接続されたコンピュータシステムとを備え、
前記3Dカメラは、前記複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定するよう構成され、
前記全地球的測位システムおよび慣性測定装置は、全地球的座標系における前記3Dカメラの全地球的三次元位置および配向を決定するよう構成され、
前記コンピュータシステムは、前記複数の構成要素のそれぞれの前記局所三次元位置、前記3Dカメラの前記全地球的三次元位置、および前記3Dカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算するよう構成され
たことを特徴とするシステム。 - 前記3Dカメラは、ステレオカメラであることを特徴とする請求項1に記載のシステム。
- 前記複数の構成要素は、前記装置上に位置する複数のマーカーを備え、前記複数のマーカーは、特定の色彩に基づいた特徴、および特定の形状に基づいた特徴の少なくとも一方を含むことを特徴とする請求項1に記載のシステム。
- 前記局所座標系は、前記3Dカメラに関連することを特徴とする請求項1に記載のシステム。
- さらに、前記3Dカメラによる画像キャプチャを強化するために前記複数の構成要素を発光させるよう構成された近赤外発光体を備えることを特徴とする請求項1に記載のシステム。
- 前記コンピュータシステムはさらに、前記装置の前記計算された位置および配向に基づいて前記装置の高さおよび傾斜を計算するよう構成されたことを特徴とする請求項1に記載のシステム。
- 前記全地球的測位システムおよび前記慣性測定装置は、少なくとも一つのアンテナと統合されることを特徴とする請求項1に記載のシステム。
- 前記構造は、前記車両の運転席の屋根表面に搭載され、前記3Dカメラ、前記全地球的測位システムおよび慣性測定装置は、前記構造上に共同設置配置されて位置することを特徴とする請求項1に記載のシステム。
- 前記車両は、工作機械であり、前記装置は、土木装置であることを特徴とする請求項8に記載のシステム。
- 前記土木装置は、ブレードであり、前記3Dカメラは、前記3Dカメラの前記視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知するように構成されたことを特徴とする請求項9に記載のシステム。
- 前記工作機械は、左トラックおよび右トラックを有するトラック型工作機械であり、
前記3Dカメラは、前記3Dカメラの前記視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャするよう構成され、
前記コンピュータシステムは、前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算するよう構成され、
前記全地球的測位システムは、工作機械速度を計算するよう構成され、および、
前記コンピュータシステムは、前記計算されたトラック速度と前記計算された工作機械速度との比較に基づいて滑り率を計算するよう構成されたことを特徴とする請求項9に記載のシステム。 - 車両上の装置の位置および配向を決定するための方法であって、
前記方法は、
三次元(3D)カメラによって、前記3Dカメラの視野内の前記装置の複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定し、
全地球的測位システムおよび慣性測定装置によって、全地球的座標系における前記3Dカメラの全地球的三次元位置および配向を決定し、
前記複数の構成要素のそれぞれの前記局所三次元位置、前記3Dカメラの前記全地球的三次元位置、および前記3Dカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、および
前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算する
ステップを備えたことを特徴とする方法。 - 前記3Dカメラは、ステレオカメラであることを特徴とする請求項12に記載の方法。
- 前記複数の構成要素は、前記装置上に位置する複数のマーカーを備え、前記複数のマーカーは、特定の色彩に基づいた特徴、および特定の形状に基づいた特徴の少なくとも一方を含むことを特徴とする請求項12に記載の方法。
- 前記局所座標系は、前記3Dカメラに関連することを特徴とする請求項12に記載の方法。
- 前記方法はさらに、前記3Dカメラによる画像キャプチャを強化するために近赤外発光によって前記複数の構成要素を発光させることを特徴とする請求項12に記載の方法。
- 前記方法はさらに、前記装置の前記計算された位置および配向に基づいて前記装置の高さおよび傾斜を計算することを特徴とする請求項12に記載の方法。
- 前記車両は、左トラックおよび右トラックを有するトラック型工作機械であり、前記装置は、土木装置であり、前記方法はさらに、
前記3Dカメラの視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャし、
前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算し、
前記全地球的測位システムを用いて車両速度を計算し、および、
前記計算されたトラック速度と前記計算された車両速度との比較に基づいて滑り率を計算することを特徴とする請求項12に記載の方法。 - 前記車両は、土木工作機械であり、前記装置は、ブレードであり、前記方法はさらに、
前記3Dカメラの視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知することを特徴とする請求項12に記載の方法。 - 車両上の装置の位置および配向を決定するための、持続性コンピュータ可読媒体に実現されたコンピュータプログラムであって、前記コンピュータプログラムは、少なくとも一つのプロセッサに次の操作を実行させるよう構成され、
前記操作は、
三次元(3D)カメラによって、前記3Dカメラの視野内の前記装置の複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定し、
全地球的測位システムおよび慣性測定装置によって、全地球的座標系における前記3Dカメラの全地球的三次元位置および配向を決定し、
前記複数の構成要素のそれぞれの前記局所三次元位置、前記3Dカメラの前記全地球的三次元位置、および前記3Dカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、および
前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算する
ステップを備えたことを特徴とするコンピュータプログラム。 - 前記車両は、左トラックおよび右トラックを有するトラック型工作機械であり、前記装置は、土木装置であり、前記操作はさらに、
前記3Dカメラの視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャし、
前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算し、
前記全地球的測位システムを用いて前記車両の速度を計算し、および、
前記計算されたトラック速度と前記計算された車両の速度との比較に基づいて滑り率を計算することを特徴とする請求項20に記載のコンピュータブログラム。
- 前記車両は、土木工作機械であり、前記装置は、ブレードであり、前記操作はさらに、
前記3Dカメラの視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知することを特徴とする請求項20に記載のコンピュータブログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/RU2020/000039 WO2021154111A1 (en) | 2020-01-28 | 2020-01-28 | System and method for controlling an implement on a work machine using machine vision |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518146A JP2023518146A (ja) | 2023-04-28 |
JP7463530B2 true JP7463530B2 (ja) | 2024-04-08 |
Family
ID=76971172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022546467A Active JP7463530B2 (ja) | 2020-01-28 | 2020-01-28 | 機械視点を用いた工作機械上の装置の制御システムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11846091B2 (ja) |
EP (1) | EP4097552A4 (ja) |
JP (1) | JP7463530B2 (ja) |
CN (1) | CN115104075A (ja) |
WO (1) | WO2021154111A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7301514B2 (ja) * | 2018-09-21 | 2023-07-03 | 日立建機株式会社 | 座標変換システム及び作業機械 |
WO2023195873A1 (en) * | 2022-04-07 | 2023-10-12 | Topcon Positioning Systems, Inc. | Method and apparatus for determining marker position and attitude |
CN114830911B (zh) * | 2022-05-19 | 2023-08-01 | 苏州大学 | 智能除草方法、装置和存储介质 |
WO2023234255A1 (ja) * | 2022-05-31 | 2023-12-07 | 株式会社クボタ | センシングシステム、農業機械、およびセンシング装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005256232A (ja) | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dデータ表示方法、装置、およびプログラム |
JP2010117230A (ja) | 2008-11-12 | 2010-05-27 | Topcon Corp | 建設機械 |
JP2019521403A (ja) | 2016-04-04 | 2019-07-25 | トプコン ポジショニング システムズ, インク. | 車輌ウィンドスクリーン上における拡張現実表示の方法及び装置 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8478492B2 (en) * | 1998-11-27 | 2013-07-02 | Caterpillar Trimble Control Technologies, Inc. | Method and system for performing non-contact based determination of the position of an implement |
US6317676B1 (en) * | 2000-06-07 | 2001-11-13 | Caterpillar Inc. | Method and apparatus for controlling slip |
US9002565B2 (en) * | 2003-03-20 | 2015-04-07 | Agjunction Llc | GNSS and optical guidance and machine control |
US7845560B2 (en) * | 2004-12-14 | 2010-12-07 | Sky-Trax Incorporated | Method and apparatus for determining position and rotational orientation of an object |
WO2007044301A2 (en) | 2005-10-04 | 2007-04-19 | Intersense, Inc. | Tracking objects with markers |
US8229166B2 (en) * | 2009-07-07 | 2012-07-24 | Trimble Navigation, Ltd | Image-based tracking |
US8239083B2 (en) * | 2006-01-18 | 2012-08-07 | I-Guide Robotics, Inc. | Robotic vehicle controller |
US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
US9139977B2 (en) * | 2010-01-12 | 2015-09-22 | Topcon Positioning Systems, Inc. | System and method for orienting an implement on a vehicle |
US20120059554A1 (en) * | 2010-09-02 | 2012-03-08 | Topcon Positioning Systems, Inc. | Automatic Blade Control System during a Period of a Global Navigation Satellite System ... |
JP5237409B2 (ja) * | 2011-03-24 | 2013-07-17 | 株式会社小松製作所 | 油圧ショベルの較正装置及び油圧ショベルの較正方法 |
WO2013119140A1 (en) * | 2012-02-10 | 2013-08-15 | Kosarev Alexey Andreevich | Estimation of the relative attitude and position between a vehicle body and an implement operably coupled to the vehicle body |
US8983739B2 (en) | 2012-11-30 | 2015-03-17 | Caterpillar Inc. | Real time pull-slip curve modeling in large track-type tractors |
US9957692B2 (en) * | 2013-03-15 | 2018-05-01 | Hexagon Technology Center Gmbh | System and method for heavy equipment navigation and working edge positioning using an image acquisition device that provides distance information |
US10030358B2 (en) * | 2014-02-13 | 2018-07-24 | Trimble Inc. | Non-contact location and orientation determination of an implement coupled with a mobile machine |
KR101800103B1 (ko) * | 2014-06-04 | 2017-11-21 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 작업 기계의 자세 연산 장치, 작업 기계 및 작업 기계의 자세 연산 방법 |
US10234566B2 (en) * | 2015-02-11 | 2019-03-19 | Trimble Inc. | Fast GNSS receiver convergence by relative positioning |
JP6777375B2 (ja) * | 2015-03-05 | 2020-10-28 | 株式会社小松製作所 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
US9624650B2 (en) * | 2015-05-05 | 2017-04-18 | Caterpillar Inc. | System and method for implement control |
CN105339759B (zh) * | 2015-06-29 | 2018-04-20 | 株式会社小松制作所 | 作业机械的控制系统以及作业机械的控制方法 |
JP5947477B1 (ja) * | 2015-09-25 | 2016-07-06 | 株式会社小松製作所 | 作業機械の制御装置、作業機械、及び作業機械の制御方法 |
WO2016047807A1 (ja) * | 2015-09-30 | 2016-03-31 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
JP6925775B2 (ja) * | 2015-10-05 | 2021-08-25 | 株式会社小松製作所 | 施工管理システム |
WO2017061888A1 (en) * | 2015-10-06 | 2017-04-13 | Limited Liability Company "Topcon Positioning Systems" | Automatic blade control system for a motor grader |
WO2016052762A1 (ja) * | 2015-10-16 | 2016-04-07 | 株式会社小松製作所 | 作業車両、バケット装置及びチルト角度の取得方法 |
KR101812127B1 (ko) * | 2016-03-17 | 2017-12-26 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 작업 차량의 제어 시스템, 제어 방법, 및 작업 차량 |
KR101731368B1 (ko) * | 2016-03-17 | 2017-04-28 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 작업 차량의 제어 시스템, 제어 방법, 및 작업 차량 |
WO2017188836A1 (en) * | 2016-04-27 | 2017-11-02 | Limited Liability Company "Topcon Positioning Systems" | Gnss antenna with an integrated antenna element and additional information sources |
US10245994B2 (en) | 2016-08-17 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Transportation system including autonomous detachable engine modules and passenger module |
WO2018044191A1 (en) | 2016-08-31 | 2018-03-08 | Limited Liability Company "Topcon Positioning Systems" | Apparatus and method for providing vehicular positioning |
JP6794193B2 (ja) * | 2016-09-02 | 2020-12-02 | 株式会社小松製作所 | 作業機械の画像表示システム |
US10519627B2 (en) * | 2017-02-08 | 2019-12-31 | Caterpillar Inc. | Pull-slip control system for track-type tractor and track-type tractor operating method |
US10132060B2 (en) * | 2017-02-27 | 2018-11-20 | Caterpillar Inc. | Implement orientation by image processing |
US10526766B2 (en) * | 2017-07-31 | 2020-01-07 | Deere & Company | Work machines and methods and systems to control and determine a position of an associated implement |
JP7117843B2 (ja) * | 2017-12-26 | 2022-08-15 | 日立建機株式会社 | 作業機械 |
CN110799708B (zh) * | 2018-03-12 | 2021-12-31 | 日立建机株式会社 | 作业机械 |
US10689831B2 (en) * | 2018-03-27 | 2020-06-23 | Deere & Company | Converting mobile machines into high precision robots |
JP6946226B2 (ja) * | 2018-03-29 | 2021-10-06 | 株式会社小松製作所 | 作業車両の制御システム、方法、及び作業車両 |
US10807236B2 (en) * | 2018-04-30 | 2020-10-20 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for multimodal mapping and localization |
US20200117201A1 (en) | 2018-10-15 | 2020-04-16 | Caterpillar Paving Products Inc. | Methods for defining work area of autonomous construction vehicle |
US10781575B2 (en) * | 2018-10-31 | 2020-09-22 | Deere & Company | Attachment calibration control system |
JP7278095B2 (ja) * | 2019-02-19 | 2023-05-19 | 株式会社小松製作所 | 作業機械の制御システム |
WO2020175645A1 (ja) * | 2019-02-28 | 2020-09-03 | 住友重機械工業株式会社 | 表示装置、ショベル、情報処理装置 |
US10820478B1 (en) | 2019-07-30 | 2020-11-03 | Cnh Industrial America Llc | System and method for providing a visual indication of field surface conditions |
US11905675B2 (en) * | 2019-08-05 | 2024-02-20 | Topcon Positioning Systems, Inc. | Vision-based blade positioning |
US12017352B2 (en) * | 2020-10-29 | 2024-06-25 | Nvidia Corporation | Transformation of joint space coordinates using machine learning |
-
2020
- 2020-01-28 EP EP20917210.5A patent/EP4097552A4/en active Pending
- 2020-01-28 US US16/976,480 patent/US11846091B2/en active Active
- 2020-01-28 CN CN202080096646.8A patent/CN115104075A/zh active Pending
- 2020-01-28 WO PCT/RU2020/000039 patent/WO2021154111A1/en unknown
- 2020-01-28 JP JP2022546467A patent/JP7463530B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005256232A (ja) | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dデータ表示方法、装置、およびプログラム |
JP2010117230A (ja) | 2008-11-12 | 2010-05-27 | Topcon Corp | 建設機械 |
JP2019521403A (ja) | 2016-04-04 | 2019-07-25 | トプコン ポジショニング システムズ, インク. | 車輌ウィンドスクリーン上における拡張現実表示の方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4097552A1 (en) | 2022-12-07 |
EP4097552A4 (en) | 2023-11-22 |
US20210230842A1 (en) | 2021-07-29 |
US11846091B2 (en) | 2023-12-19 |
JP2023518146A (ja) | 2023-04-28 |
CN115104075A (zh) | 2022-09-23 |
WO2021154111A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7463530B2 (ja) | 機械視点を用いた工作機械上の装置の制御システムおよび方法 | |
US9378554B2 (en) | Real-time range map generation | |
US9251587B2 (en) | Motion estimation utilizing range detection-enhanced visual odometry | |
US9449397B2 (en) | Real-time visual odometry system for determining motion of a machine with a range detection unit | |
US8412418B2 (en) | Industrial machine | |
US8872920B2 (en) | Camera calibration apparatus | |
US11120577B2 (en) | Position measurement system, work machine, and position measurement method | |
CN106029994B (zh) | 校正系统、作业机械和校正方法 | |
EP2971377B1 (en) | System and method for heavy equipment navigation and working edge positioning | |
US12085950B2 (en) | Visual overlays for providing perception of depth | |
JP6715205B2 (ja) | 作業機械の周囲画像表示装置 | |
US10859377B2 (en) | Method for improving position information associated with a collection of images | |
JP7400076B2 (ja) | 視覚に基づくブレード位置決め | |
JP2018112051A (ja) | 作業機械の制御システム、作業機械、作業機械の制御方法及びナビゲーションコントローラ | |
US20230340755A1 (en) | Continuous calibration of grade control system | |
JP2023065012A (ja) | 記憶装置、および記憶方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |