JP2023518146A - 機械視点を用いた工作機械上の装置の制御システムおよび方法 - Google Patents

機械視点を用いた工作機械上の装置の制御システムおよび方法 Download PDF

Info

Publication number
JP2023518146A
JP2023518146A JP2022546467A JP2022546467A JP2023518146A JP 2023518146 A JP2023518146 A JP 2023518146A JP 2022546467 A JP2022546467 A JP 2022546467A JP 2022546467 A JP2022546467 A JP 2022546467A JP 2023518146 A JP2023518146 A JP 2023518146A
Authority
JP
Japan
Prior art keywords
camera
global
orientation
components
blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022546467A
Other languages
English (en)
Other versions
JP7463530B2 (ja
Inventor
ユーリエヴィチ ヴォロビエフ，ミハイル
ウラジスラホヴィチ ズダーノフ，アレクセイ
アレクサンドロヴィチ ボグダニュク，イワン
ニコラエヴィチ ヴァシリユク，ニコライ
Original Assignee
トプコン ポジショニング システムズ， インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トプコン ポジショニング システムズ， インク． filed Critical トプコン ポジショニング システムズ， インク．
Publication of JP2023518146A publication Critical patent/JP2023518146A/ja
Application granted granted Critical
Publication of JP7463530B2 publication Critical patent/JP7463530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/844—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
    • E02F3/847—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically using electromagnetic, optical or acoustic beams to determine the blade position, e.g. laser beams
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/02—Travelling-gear, e.g. associated with slewing gears
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】機械視点を用いた非接触方式にて、工作機械上の装置の位置および配向を決定するために、システムおよび方法を提供する。【解決手段】装置上の構成要素（例えば、いくつかの例においてはマーカー）が視野に含まれるように車両上に搭載された３Ｄカメラは、構成要素のそれぞれの局所座標系における三次元位置を決定する。慣性測定装置と組み合わせた全地球的測位システムは、全地球的座標系での３Ｄカメラの三次元位置および配向を決定する。コンピュータシステムは、構成要素の局所三次元位置および３Ｄカメラの全地球的三次元位置および配向を使用することにより、構成要素のための全地球的座標系での三次元位置を計算する。続いて、装置の位置および配向は、構成要素の計算された全地球的三次元位置に基づいて計算される。

Description

本開示は、概して、工作機械上の装置制御に関し、特に、非接触システムを用いた工作機械上の装置の効果的な制御および当該装置の位置を決定する方法に関する。
建設および農業の作業で用いられる様々な型の土木工作機械は、現場での通常の様々な機能を実行するために、装置を活用している。一例として、ブルドーザー、モーターグレーダー、掘削機、トラクター等の工作機械は、通常、現場での機能を実行するためにブレードを有している。例えば、ブルドーザーのブレードを使用して、現場の一区域を所望の水準まで均すなどである。生産性および効率を向上させるため、費用を削減するため、および／または最終製品の品質を向上させるために、次第に、多くの建設および農業の作業においてより高い精度への要求が生じている。
これら要求を満たすため、現在工作機械の多くの操作は効率と精度を向上させるため自動化され、操作における人的な因子の影響も減少している。自動化のための通常の候補としては、ブルドーザー、モーターグレーダーまたは他の同様の工作機械のブレードの制御のための制御システムがある。例えば、高い正確性の表面整地を実施する場合、特にそのような作業を完遂するために最小限の時間しか許容されていない場合、非常に高い程度の正確性（例えば、ｃｍの範囲）によってブルドーザーまたはグレーダーのブレード位置を制御することが重要である。
ブレード位置制御のためのいくつかの配置においては、ブレード本体それ自体に搭載された全地球的航法衛星システム（ＧＮＳＳ）アンテナが利用されている。ＧＮＳＳ受信器はそこで、空間中でのブレードの位置および配向を決定するために使用されている。他の配置においては、線形往復動作センサが油圧ブレード制御システム上に搭載され、工作機械本体それ自体に対するブレードの位置および配向がそこで計算される。さらに他の配置においては、これもまた工作機械本体それ自体に対してのブレードの位置と配向を決定するために慣性測定装置（ＩＭＵ）がブレードの本体に搭載されている。
これらおよび他の配置では、装置の本体上に要素（例えば、アンテナ、センサ、測定素子、等）の搭載が必要となり、それにより、工作機械の操作における正確性、信頼性、効率および品質に対して悪影響となり得る様々な問題を生じさせる。例えば、作業表面に接触するブルドーザーのブレードは、相当量の衝撃および振動に起因する効果にさらされる。結論として、搭載されたセンサや他の敏感な構成要素の操作には悪影響が及び、それにより装備や構成要素の欠陥発生や破損の他、作業成果の品質の低下等をもたらす。他の不利な点は、ブレード上に装着しなければならない数多くのセンサ（または他の構成要素）に関連し、それは既存の標準的制御システムと統合させるには困難で複雑な、断片化された配置となってしまう。
様々な実施形態に従って、機械視点を使用した非接触方式での工作機械上の装置の位置と配向を決定するための解決法によって、これらおよび他の問題は対処される。一または他の実施形態においては、解決法は、工作機械の標準的な構成に明らかな変化を要求せず、既存の制御システムとの複雑な統合を要求せず、組み込むことができる、統合された設計である。
一実施形態によれば、車両上の装置の位置および配向を決定するためのシステムが提供され、そのシステムは、三次元（３Ｄ）カメラ、全地球的測位システム、慣性測定装置（ＩＭＵ）およびコンピュータシステムを有する。３Ｄカメラの視野が装置の複数の構成要素（例えば、特徴）を含むように、３Ｄカメラは車両上の構造に搭載される。３Ｄカメラは、複数の構成要素（特徴）のそれぞれの局所座標系における局所的三次元位置を決定するよう構成される。同じく３Ｄカメラとしての同じ構造上に搭載される全地球的測位システムおよびＩＭＵは、全地球的座標系における３Ｄカメラの全地球的三次元位置および配向を決定するよう構成される。コンピュータシステムは、３Ｄカメラ、ＩＭＵおよび全地球的測位システムと通信可能に結合され、複数のマーカーのそれぞれの局所三次元位置および３Ｄカメラの全地球的三次元位置および配向を使用して（装置の）複数の構成要素のそれぞれの全地球的座標系における全地球的三次元位置を計算するよう構成される。コンピュータシステムはまた、複数の構成要素のそれぞれの計算された全地球的三次元位置に基づいて装置の位置および配向を計算するよう構成される。
他の実施形態は、上述したシステムに従った車両上の装置の位置および配向を決定するための方法および持続性コンピュータ可読媒体上に実現されたコンピュータプログラムを含む。
一または他の実施形態によれば、３Ｄカメラは、３Ｄステレオカメラである。様々な実施形態においては、複数の構成要素は、装置上に位置する複数のマーカーを有し、複数のマーカーは、特定の色彩に基づく、または特定の形状に基づく特徴の少なくとも一方を含む。一実施形態によれば、システムはさらに、ステレオカメラによる画像キャプチャを強化するため、複数の構成要素（例えば、マーカー）を発光させるよう構成された近赤外発光体を有する。一または他の実施形態においては、全地球的測位システム、ＩＭＵおよびステレオカメラは、車両の運転席上の屋根表面に搭載可能な構造上の共同設置に位置している。他の実施形態によれば、コンピュータシステムはさらに、装置の計算された位置および配向に基づいて、装置の高さおよび傾斜を計算するように構成されている。他の実施形態においては、車両は、左トラックおよび右トラックを含むトラック型工作機械であり、３Ｄカメラは、３Ｄカメラの視野内の左トラックおよび右トラックの動作の画像をキャプチャするように構成される。これらの実施形態においては、コンピュータシステムは、キャプチャされた画像に基づく左トラックの測定された速度および右トラックの測定された速度の機能として、トラック速度を計算するよう構成される。この例では、コンピュータシステムは、計算されたトラック速度と全地球的測位システムによって測定された工作機械速度との比較に基づいて滑り率を計算するよう構成することが可能である。他の実施形態においては、装置は土木ブレードであり、ステレオカメラは、ステレオカメラの視野内のブレードのキャプチャ画像に基づいて、ブレードの高さを超えるブレード負荷の許容量を検知するように構成される。
これらおよび他の利点は、以下の詳細な説明および付随する図面を参照することによって、当業者にとって明らかになるであろう。
図１は、一または他の実施形態に従った車両上の装置の位置の決定のためのシステムを示すブロック図である。
図２は、一または他の実施形態に従った土木工作機械の側面図である。
一または他の実施形態に従った、図３Ａは、搭載可能システムの側面図であり、図３Ｂは、平面図である。
図４は、一または他の実施形態に従った土木工作機械の平面図である。
一または他の実施形態に従ったＮＩＲ発光の、図５Ａは、スペクトル関連の特徴のグラフプロットを示し、図５Ｂは、時間関連の特徴のグラフプロットを示す。
図６は、一または他の実施形態に従った車両上の装置の位置を決定するための方法を示すフローチャート図である。
図７は、一または他の実施形態に従ったトラックの速度を測定し、ブレード負荷を検知するためのシステムの特徴を示すトラック型の土木機械の透視図である。
図８は、一または他の実施形態に従ったコンピュータシステムの高レベルブロック図を示す。
以下、いくつかの実例となる実施形態が図示された添付図面を参照しながら、様々な実例となる実施形態について、より全体的に説明する。しかしながら、実例となる実施形態を特定の開示された形式に限定する意図はなく、むしろ、実例となる実施形態は、請求の範囲内におけるすべての改変物、等価物および代替物を包含すると意図される。適切であれば、複数の図の説明を通じて同種の数字は同種の要素を参照する。ここで第１、第２、等といった用語が様々な要素を説明するのに使用されていても、これら要素はこれら用語によって限定されないと解されるべきである。これら用語は、一つの要素を他の要素から区別されるためだけに使用されている。例えば、実例となる実施形態の範囲から外れることなく、第１要素は第２要素と称することができ、同様に、第２要素は第１要素と称することができる。ここで使用される用語「および／または」は、一または複数の関連する挙げられた物のあらゆる、全ての組み合わせを含む。
ここで説明する様々な実施形態によれば、工作機械の装置（ブレード）の操作を制御するために、非接触測定解決法は有用である。詳細は後述するように、様々な実施形態によるシステムおよび方法では、装置の位置および配向を決定するために（例えば、さらに高さおよび傾斜を推定するために）機械の視野が利用され、それにより現場での作業の間、装置の制御をより正確に行うことを可能にする。また、動作中の工作機械のトラックの画像をキャプチャするために機械視野を用いることによって、工作機械のトラックの速度を推定することができる。機械視野はまた、キャプチャした画像に基づいて、ブレード負荷（例えば、移動中の土壌）の許容量がブレードの高さを超えていないか検知するためにも有利に利用することができ、さらに、衝突回避のため機械経路上の物体検知／認識にも有用である。あらゆる数のこれらの作業／機能はまた、並行に、および／または同時に行うことができる。
図１は、様々な実施形態に従ったシステム１００を示す。システム１００は、三次元（３Ｄ）カメラ１０５、全地球的測位システム１１０、慣性測定装置（ＩＭＵ）１５０およびコンピュータシステム１３０を備える。一実施形態においては、全地球的測位システム１１０は、全地球的航法衛星システム（ＧＮＳＳ）受信器１１５および図１でアンテナ１２０とアンテナ１２１として示される複数のアンテナを備える。ＧＮＳＳ受信器１１５は、３Ｄカメラ１０５およびＩＭＵ１５０と通信可能に接続される。コンピュータシステム１３０は、３Ｄカメラ１０５、ＧＮＳＳ受信器１１５およびＩＭＵ１５０と通信可能に接続される。
いくつかの実施形態によれば、システム１００はまた、周囲の明るさ条件に関わらず正確性を確保するために、近赤外（ＮＩＲ）発光体１４０を含むが、これの詳細は後述する。なお、あらゆる数のＮＩＲ発光体（例えば、１または複数）をこの目的で使用することができ、ここで記載され示される実施形態は例示の意味に過ぎない。
示されるように、ＧＮＳＳ受信器１１５は、アンテナ１２０および１２１からＧＮＳＳ信号を受信する二重アンテナＧＮＳＳ受信器である。いくつかの実施形態においては、二重アンテナＧＮＳＳ受信器では典型的な構成の、アンテナ１２０が主アンテナであり、アンテナ１２１が従属アンテナである。一または他の実施形態によれば、ＩＭＵ１５０は、主アンテナ、例えばアンテナ１２０に統合される。例えば、これらの構成要素を統合するための方法および機能のいくつかの例の一つとして、米国特許第１０，０８８，５７６号、Ｎ．Ｖａｓｉｌｙｕｋらによる、発明の名称「統合アンテナ要素および付加的情報源を有するＧＮＳＳアンテナ」に開示がある。他の実施形態によれば、ＩＭＵ１５０は、全地球的測位システム１１０の外部に位置し、３Ｄカメラ１０５およびＧＮＳＳアンテナ１２０および１２１と共通（例えば、硬い）架台（図示せず）上に位置する。二重アンテナＧＮＳＳ受信器１１５は、共通架台の二つの姿勢角を測定するのに使用される。特に、これら角度は、両アンテナ１２０および１２１の位相中心を通るベースラインの角座標に等しい。ベースライン周囲の回転角度である第３角度は、ＩＭＵ１５０を使用して測定することができる。したがって、ＧＮＳＳ受信器１１５とＩＭＵ１５０との組み合わせは、共通架台の３Ｄ位置および配向を測定することを可能にする。
３Ｄカメラ１０５は、機械視野の機能を提供するために、３Ｄ画像をキャプチャすることが可能である。一実施形態においては、３Ｄカメラ１０５は、ステレオ視野を採用し、キャプチャしたデジタル画像から３Ｄ情報を抽出する、３Ｄステレオカメラである。例えば、見通しの良い二つの点からの情報を比較することによって、二つの見通しの良い点における物体の相対位置を検討することで３Ｄ情報を抽出することができる。
一または他の実施形態によれば、３Ｄカメラ１０５（例えば、この例では３Ｄステレオカメラ１０５として参照される）は、より高い精度の機械視野に有用であるグローバルシャッター付きの画像センサを有する。特に、グローバルシャッターは、土木工作機械を含む用途において共通して遭遇する、衝撃および振動により起こるいわゆる「ゼリー効果」を防ぐ、あるいは軽減する助けになる。ある実施形態によれば、３Ｄステレオカメラ１０５は、これらのみに限定されないが、黒および白画像性能、秒速約５０フレーム（ＦＰＳ）以上の速度、約２．５μｍ以上のピクセルサイズ、および／または、高精細（ＨＤ）解像度性能（例えば、３メガピクセルの解像度）を含む様々な特徴および機能を備える。さらにまた、３Ｄステレオカメラ１０５は、コンピュータシステム１３０とＧＮＳＳ受信器１１５との間に情報を通信および送信する能力を有する。ある実施形態においては、ＮＩＲ発光体１４０（詳細は後述する）によってＮＩＲ発光がもたらされる場合、３Ｄステレオカメラ１０５は、能動的なＮＩＲ発光の助けのため、赤外の長経路または帯域フィルタを組み合わせられる。たとえば、いくつかの例においては、ＮＩＲ域で動作する場合、そのようなフィルタは、シナリオの特定のスペクトル（可視光および赤外スペクトル）をカットするためにＮＩＲ通過域８００～９００ｎｍを有する。ここで説明する実施形態においては、様々な３Ｄステレオカメラを好適に使用することができる。このように、上記例は例示の意味に過ぎず、いかなる方法によっても限定するものではない。
また、機械視野アルゴリズムのための３Ｄ画像獲得は、ステレオカメラの代替手段として、他の３Ｄカメラの変形例からも得られる。例えば、３Ｄカメラ１０５は、飛行時間（ＴＯＦ）カメラと実行してもよく、それは、カメラと画像中の各点の対象との距離を解像するための飛行時間技術を採用したレンジ撮像カメラシステムである。さらに他の実施形態においては、あらゆる他のＬＩＤＡＲ（光検知および測距）システムもまた好適に本実施形態において記載される３Ｄカメラ１０５として使用することができる。
図２は、土木工作機械２７０の側面図であり、一または他の実施形態に従って、装置（例えばブレード）２７５の位置を決定するためのシステム２００を備える。様々な実施形態において、記述の簡潔化のため、同様の要素は同様の参照符号によって参照される。図２に示すように、システム２００は３Ｄカメラ２０５、ＩＭＵ２５０、ＧＮＳＳ受信器２１５、第１アンテナ２２０、および第２アンテナ２２１を有し、システム１００（図１）の構成に相当する。この例では、搭載構造２２５（例えば、共通架台）は、システム２００の要素（例えば、３Ｄカメラ２０５、ＩＭＵ２５０，ＧＮＳＳ受信器２１５、アンテナ２２０および２２１）が搭載されるか、さもなければ配置される単一の構造である。一実施形態においては、搭載構造２２５は、土木機械２７０の運転席２７１の屋根上に搭載される。この方法で、システム２００は、統合された、共通架台／容器構造上のオールインワン構成（例えば、構成要素の共同設置配置）で配置され、土木工作機械２７０の標準的な構成に顕著な変化を要求することなく、搭載することができる。図２に示す実施形態は、システム２００を配備する構成の単なる一例である。様々な他の構成および搭載配置がここでの開示により期待される。
図３Ａおよび３Ｂは、一または他の実施形態に従ったシステム３００の配備および構成をさらに図示する側面図および平面図である。システム１００（図１）およびシステム２００（図２）と同様、システム３００は３Ｄカメラ３０５、ＧＮＳＳ受信器３１５、第１アンテナ３２０、第２アンテナ３２１、およびＩＭＵ３５０を備え、それらは搭載構造３２５に搭載され、さらに工作機械（図示せず）上に取り付けおよび／または搭載される。既に述べた通り、一または他の実施形態においては、ＩＭＵ３５０は第１（主）アンテナ３２０に統合される。このように、図３Ａおよび３Ｂ（および他の図）に示される搭載構造３２５への様々な要素の位置決めおよび統合は、例示であり、いかなる方法によっても限定されない。
図４は、一または他の実施形態によった様々な特徴を示す土木工作機械４７０の平面図である。図１～３に示す構成と同様、土木工作機械４７０は、装置（例えば、ブレード）４７５を含むように示されており、システム４００は、３Ｄカメラ４０５、ＧＮＳＳ受信器４１５、第１アンテナ４２０、第２アンテナ４２１、およびＩＭＵ４５０を備え、それらは構造４２５に搭載され、さらに、土木機械４７０の屋根上に搭載／取り付けされる。本実施形態に示すように、第１マーカー４５１および第２マーカー４５２は、ブレード４７５の頂部表面に配置（例えば、搭載、取り付け、頑強に固定、等）されている。３Ｄカメラ４０５は、マーカー４５１および４５２が見えるような視野４６０を有する。図４に示す構成は例示であり、いかなる方法によっても限定をするものではない。例えば、あらゆる数のマーカーがブレード４７５上に位置し、本開示の原則に従って利用される。視野４６０はまた、ブレード４７５に接触する材料、例えば、土壌、砂、砂利、粘土、等の土木工作機械４７０によって動かされる物の視野４６５を含む。
図示するように、３Ｄカメラ４０５は、図４に示すようにマーカー４５１および４５２等の複数のマーカーが視野に含まれるように、構造４２５に搭載される。装置（例えば、ブレード４７５）の様々な他の特徴も、装置の位置および配向を決定するのを簡略化するのに好適に用いられることが期待される。そのような特徴は、工作機械それ自体の構成要素、要素、部品、等であり（例えば、警告シール、ブレードの覆い、楔、ねじ式アンカー、等）、または、そのような特徴は、マーカー等のように装置に付加された（例えば、装着された、等）構成要素、要素、部品、等である。ある実施形態においては、そのような特徴は特定の色彩、陰影、形状、または様々なそれらの組み合わせであり、３Ｄカメラを使用した機械視野にて位置決めおよび特定する過程で助けになるであろう（例えば、そのような特徴は、それらを発見および特定することを容易にする色彩、形状、等）。したがって、マーカーまたは装置（例えば、ブレード４７５）の他の構成要素は、様々な実施形態において好適に使用される。説明の簡素化のため、用語「構成要素」は、これらの目的のために使用されるあらゆるそのような特徴を広く包含することを意図している。さらに、ここで説明される様々な実施形態は、マーカーの例を使用するが、例示であり、いかなる方法によっても限定をするものではない。
既に述べたとおり、いくつかの実施形態によれば、システム１００はまた、周囲の明るさ条件によらず正確性を確立するために、一または複数の近赤外（ＮＩＲ）発光体４４１および４４２を含む。例えば、周囲の光は、ある環境および／または条件において、システム性能に影響を及ぼす（例えば、周囲の光は、３Ｄカメラ４０５による画像キャプチャを阻害、さもなければ誤らせる）。特定の周囲の光の条件においてマーカー４５１および４５２の画像を獲得する潜在的な問題に対処するため、マーカー４５１および４５２を照射する一または複数の近赤外（ＮＩＲ）発光体を使用することができ、それにより、ＮＩＲ域の光を受容するよう構成された３Ｄカメラ４０５による画像キャプチャのためにマーカーの発光を強化することができる。一または他の実施形態において、ＮＩＲ発光領域４６１および４６２は、可能性のあるマーカー４５１および４５２の位置をカバーする。一または他の実施形態において、領域４６１および４６２はまた、３Ｄカメラ４０５の補助によるトラック速度推定のため、左トラック４７１および右トラック４７２の領域もカバーするが、詳細は後述する。ＮＩＲ域でのマーカー４５１および４５２（および左および右トラック４７１および４７２）の活発なパルス発光は、１００Ｈｚまで、マーカー位置およびトラック速度の計算の周波数を有利に増加させ、それにより、システム性能（例えば、周囲の光の強度に不変で計算を行うことによって）の頑健性を向上させる。
図５Ａおよび５Ｂは、ここで説明される様々な実施形態、例えば、システム４００において、ＮＩＲ発光がどのように有利に適用されるかを示す。記載されているとおり、機械視野システムの品質および信頼性は、日光に顕著に影響される。例えば、届く日光の強度、方向、および角度は、システム４００の操作の間に顕著に変化し得るものであり、そこで、性能の所定のレベルを維持するために、システム４００にそのような変化を受容するような要求が生じる（例えば、ある場合においては、連続的に）。ある場合においては、周囲の光は、機械視野システムの正確性の顕著な低下の原因となる。例えば、あるシナリオでは、ブレード４７５の反対の両端部にあるマーカー４５１およびマーカー４５２は、異なる光条件の元に置かれる（例えば、ある場合においては、顕著に）。マーカー４５１および４５２（一方または両方）は、過剰に露光し、（画像中で）その形状の崩壊をもたらすか、または過少に露光し、その位置決めの正確性の低下をもたらす。
日光の影響を軽減するか無くすため、一または他の実施形態においては、充分に狭い波長（図５Ａを参照して説明される）の動作領域での近赤外（ＮＩＲ）光域を使用すること、３Ｄカメラ４０５のカメラシャッターが開いている（図５Ｂを参照して説明される）ときのみ光を放射するよう構成されたパルス発光体を用いた活発な発光を使用することが期待される。
図５Ａに示すプロット５００を参照すると、線５１０は、太陽のスペクトル（例えば、日光）の放射強度と波長のプロットを表している。線５２０は、一または他の実施形態に従って例えばＮＩＲ発光体として使用されるＬＥＤ発光体のスペクトル（例えば、システム４００（図４）で使用されるＮＩＲ発光体１４０（図１））の放射強度と波長のプロットを表している。本実施形態においては、３Ｄカメラ４０５は、線５１５で示す帯域を有する帯域フィルタを備えている。この方法では、システムは、他のスペクトル要素を除去して、ＮＩＲ域光を受光することができる。図５Ａに示す例では、帯域フィルタは約８００～９００ｎｍの帯域を有しており、特定のスペクトル（例えば、可視およびＩＲスペクトル）を除去するようにふるまい、それにより、ＮＩＲ域での動作を容易にする。この方法では、太陽スペクトルの部分（例えば、日光の顕著な能力）が、３Ｄカメラ４０５のレンズを通過することを防ぐことができる。
ＮＩＲ発光体の設計および操作パラメータを選択するために様々な設計の考えを考慮に入れる。例えば、一例では、ＮＩＲ発光体のためのパルス光の出力レベルは、快晴日の日光の強度に対して優勢（または等価）を確保するように選択される。例えば、図５Ａに示す例においては、明るい日光より優勢となるためには、一実施形態においてはＮＩＲ発光体（光源）の出力は、１ｍ２の表面積を発光させるためにおよそ１００Ｗの範囲となる。仮にＮＩＲ発光体がストロボモードで動作するとなると、ある実施形態において電力消費はおよそ５～７Ｗの範囲という受容可能なレベルまで減少させることができる。一例においては、マーカー４５１および４５２の存在可能な位置の全領域を照らすように、ＮＩＲ発光領域４６１および４６２（ＮＩＲ発光光線４６１および４６２としても参照される）が形成される。
他の特徴によれば、システム４００で使用されるＮＩＲ発光体４４１および４４２は、３Ｄカメラ４０５のシャッター動作と同期され、例えば、マーカー４５１および４５２の発光は、画像露光のために３Ｄカメラ４０５のシャッターが開いたときだけに起こる。図５Ｂに示すように、３Ｄカメラのシャッターと関連するタイミングは線５６０で表され、ＮＩＲ発光体の動作（例えば、ストロボモードで）と関連するタイミングは線５７０で表される。この実例となる実施形態に示されるように、一例として、ＮＩＲ発光体パルスの持続はおよそ０．０８ミリ秒で、周期はおよそ２０ミリ秒であり、３Ｄカメラは更新速度毎秒５０フレーム（毎２０ミリ秒）で、シャッター（露光）時間はおよそ０．１ミリ秒で動作する。さらに、この例では、ストロボ（パルス）モードは、ＮＩＲ発光体の電力消費を顕著に減少させることを可能にする。なお、図５Ａおよび５Ｂに示された例（関連する値、範囲、等）は例示であり、いかなる方法によっても限定されない。
図６は、一または他の実施形態に従って車両上の装置の位置を決定する方法６００を示すが、これは図１～４に示されるシステム配置の背景事情で説明される。説明の簡略化のため、全ての例は、特に示さない限り、図４に示すシステム構成４００を参照する。
ステップ６０５で示すように、３Ｄカメラ４０５は、装置の複数の構成要素のそれぞれ（例えば、様々な実施形態で装置に設けられる複数のマーカー）の局所座標系での局所３Ｄ位置を決定するのに用いられる。複数の構成要素は３Ｄカメラ４０５の視野内にある。より具体的には、３Ｄカメラ４０５は、視野４６０内でマーカー４５１および４５２を有する装置（例えば、ブルドーザーブレード４７５）に焦点を絞る。そこで、３Ｄカメラ４０５でキャプチャされたマーカー４５１および４５２の画像によって、カメラの局所座標系でのマーカーの３Ｄ位置が決定する。３Ｄカメラ４０５が３Ｄステレオカメラである一実施形態では、（３Ｄステレオカメラ４０５の）ベースが１５ｃｍであり、３ＭＰビデオマトリックスが使用され、センチメートル未満の正確性でのマーカー４５１および４５２の位置決めが得られる。これは、例えば、３Ｄカメラ４０５から３ｍまでの距離である。３Ｄカメラ４０５の水平視野角は、およそ９０度である。
ステップ６１０では、３Ｄカメラ４０５の全地球的３Ｄ位置および全地球的３Ｄ配向のそれぞれを決定するために、全地球的測位システム（例えば、ＧＮＳＳ受信器４１５および二重アンテナ４２０および４２１）およびＩＭＵ４５０が使用され、ここで、全地球的３Ｄ位置および全地球的３Ｄ配向は、全地球的座標系内にある。したがって、共通架台４２５に搭載された３Ｄカメラ４０５と、工作機械４７０の全地球的３Ｄ位置および配向が結果として得られる。
ここで説明する実施形態によれば、ＧＮＳＳ受信器４１５の位置を決定する精度は、およそ１ｃｍ（動的干渉測位（ＲＴＫ））であり、傾斜角を決定する精度（例えば、ピッチ傾斜およびロール傾斜）は、およそ０．１度であり、機首角度を決定する精度は、アンテナ４２０とアンテナ４２１との距離に依存する（例えば、アンテナベースが約５０ｃｍであれば、精度はおよそ０．５度）。
ステップ６２０では、全地球的座標系での３Ｄカメラ４０５の全地球的３Ｄ位置および配向を知ることにより、マーカー４５１および４５２の全地球的３Ｄ位置が計算することができる（例えば、カメラの局所座標系から全地球的座標系までを再計算）。全地球的座標系でのマーカーの局所座標の再計算（計算）は、３Ｄカメラ４０５の３Ｄ位置および３Ｄ配向の両方が分かるときに可能である。
ステップ６３０では、複数のマーカーのそれぞれの計算された全地球的三次元位置に基づいて装置の位置および配向が（コンピュータシステム１３０によって）計算される。
装置の位置および配向を決定するのに加えて、様々な実施形態に従って、左トラック（例えば、第１トラック）および右トラック（例えば、第２トラック）を有するトラック型工作機械の操作に関する他の機能のため（例えば、トラック速度、ブレード負荷、等）に機械視点を使用することができる。図７は、一または他の実施形態に従った、土木機械のキャタピラ（トラックに基づく動作機構）の速度を計算するため、および、ブレード負荷を検知するための、システムの特徴を図示する土木機械の透視図である。より具体的には、構成７００は、（オペレーターの視点からの）ディスプレイの見え方を示しており、（１）ブレードの位置、（２）工作機械のトラック速度、（３）工作機械の速度、（４）滑り率および（５）ブレード負荷を反映する断片に関する、システムからの情報が同時に表示される。
より具体的には、機械視点は、キャタピラ（トラック）速度を推定するために用いられ、トラック速度は、車両動作の際の滑り効果が存在するときには車両（工作機械）速度とは同じではない。車両（工作機械）速度は、工作機械７００に搭載されたＧＮＳＳシステム（例えば、全地球的測位システム１１０）から推定することができ、トラック速度は、３Ｄカメラ（４０５）によって推定することができる。両速度の差異（工作機械とキャタピラトラック速度）は、（ブルドーザーの）負荷に起因する滑り効果を反映する。工作機械とキャタピラトラック速度の差異が大きいほど、滑りも大きくなる。
操作では、車両オペレーターは、（例えば、手動で、または自動的に）ブレード負荷を減少させることにより（例えば、ブレードを上昇させることにより）、大きな程度の滑りを軽減あるいは防止することができる。例として、滑り率が次の関数で計算されると仮定する。
滑り率＝１００×（Ｖｔ－Ｖｍ）／Ｖｔ
ここで、Ｖｔはトラック速度、Ｖｍは工作機械速度であり、そうすると、工作機械上のブレード位置を制御することによって、例えば、ブレードを上昇させブレード負荷を減少させることにより、滑り率は、減少（例えば、５％あるいはそれ未満のレベルに維持）させることができる。このように、機械速度、トラック速度、および滑り率の情報を有することは、工作機械の操作に際して有用である。
図７を参照すると、工作機械７７０は、ブレード７７５およびマーカー７５１および７５２を有し、図４に示す構成と一致している。また、工作機械７７０は、左トラック７７１および右トラック７７２を備えたキャタピラ機構を有するように示されている。区域７８０（複数の断片からなるように視覚的に示されている）は、工作機械７７０の動作中に、前述の実施形態での説明に従ってなされた測定および計算に基づいて、オペレーターから見たブレード位置を表している。図示されるように、区域７８０の断片７８１は、負荷（例えば、土壌）がブレードの高さを超えたところのブレード７７５の一部分に相当している。したがって、ここで説明される実施形態によれば、ブレードの位置の表示に対してこの情報が表すことは、ブレード７７５および／または工作機械の動きを制御するために、オペレーターにとって有用であるか、または、自動化されたドーザーシステムを簡潔化するために有用である。
開示された実施形態の他の特徴によれば、工作機械（ドーザー）７７０の速度、キャタピラトラック速度（左トラック７７１および右トラック７７２）、および滑り率は、区域７９０に示されている。
例えば、ブルドーザーといった工作機械のトラックは、目立った垂直の模様（例えば、グローサ）を有する。一または他の実施形態によれば、コンピュータシステムは、キャタピラ位置に関連する領域のみを（カメラ画像から）選択するように構成される。そしてコンピュータシステムは、画像を正規化する（例えば、ピクセルあたり４ビットで明るさ１６段階以下のグラデーション）。次に、トラックグローサの位置をパーセンタイル法によって推定する。例えば、一連のカメラフレームに対して推定を行い、フレーム時間に分割されたそれらの位置シフトに基づいてトラックグローサの速度を計算する。３Ｄカメラを使用することで、動作中のキャタピラ高さの逸脱／変動は相殺させられる（例えば、時間的にキャタピラ張力は一定ではないので、および、可変の垂れが存在するのでキャタピラ表面は平滑表面で近似できない）。
実施形態の他の特徴によれば、ブレード負荷制御が考えられる。例えば、ドーザーブレード７７５の上端部は、すでに検知済みの、および局在のマーカーの助けによって、推定することができる。そして、ドーザーブレード７７５の上部の領域の深さマップを計算することができる。そして、この領域のあらゆる物体は検知することができ、ある物体が（カメラに対して）ブレード距離と同様の距離を有している場合、そのような物体は、障害物としてマークすることができ、ブレード過負荷であると示される。
詳細に上述したように、ここで様々な実施形態は、方法およびこれら方法を実践する装置の形で、実現することができる。開示された方法は、ユーザの装置に組み込まれるか、および／または通信可能に接続された、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、およびコンピュータ可読の媒体（集合的に「コンピュータシステム」）の組み合わせによって実行することができる。図８は、ここで様々な実施形態に従った車両上の装置の位置を決定する方法を実行するよう構成された、例としてのコンピュータシステム８００の高レベルブロック図である。
コンピュータシステム８００は、データ記憶装置８２０およびメモリ８３０と動作可能に接続されたプロセッサ８１０（または複数のプロセッサ）を備える。プロセッサ８１０は、そのような動作を定義するコンピュータプログラム命令を実行することによって、コンピュータシステム８００の全体の動作を制御する。通信バス８６０は、コンピュータシステム８００の様々な構成要素間の接続および通信を容易にする。コンピュータプログラム命令は、データ記憶装置８２０、または、持続性コンピュータ可読媒体に格納され、コンピュータプログラム命令の実行が要求されるときに、メモリ８３０に読み出される。このように、開示された方法のステップ（例えば、図５および上記の関連する記述を参照）は、メモリ８３０および／またはデータ記憶装置８２０に格納されたコンピュータプログラム命令によって定義することができ、コンピュータプログラム命令を実行するプロセッサ８１０によって制御することができる。例えば、コンピュータプログラム命令は、開示された方法によって定義される実例となる操作を実行するために当業者によってプログラムされたコンピュータ実行可能なコードとして実装することができる。したがって、コンピュータプログラム命令を実行することにより、プロセッサ８１０は、開示された方法によって定義されたアルゴリズムを実行する。コンピュータシステム８００はまた、ネットワーク（例えば、無線通信ネットワーク）またはよく知られた通信プロトコルを介して他の装置と通信するための一または複数の通信インタフェース８５０を備える。例えば、そのような通信インタフェースは、いくつものよく知られた方法によって有線または無線通信を交換するための受信器、トランシーバ、またはモデムである。コンピュータシステム８００はまた、ユーザとコンピュータシステム８００を相互作用可能とする一または複数の入力／出力装置８４０を備える（例えば、カメラ、ディスプレイ、キーボード、マウス、スピーカー、マイク、ボタン、等）。
プロセッサ８１０は、汎用的および特別の両方の目的のマイクロプロセッサを備え、コンピュータシステム８００の単一のプロセッサまたは複数のプロセッサのうちの一つである。プロセッサ８１０は、例えば、一または複数の中央演算処理装置（ＣＰＵ）を備える。プロセッサ８１０、データ記憶装置８２０、および／またはメモリ８３０は、一または複数の特定用途向け集積回路（ＡＳＩＣｓ）および／または一または複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）を備えるか、これらで補完されるか、これらと組み合わされる。
データ記憶装置８２０およびメモリ８３０のそれぞれは、有形の持続性コンピュータ可読記憶媒体を備える。データ記憶装置８２０およびメモリ８３０のそれぞれは、動的ランダムアクセスメモリ（ＤＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、二重データ速度同期動的ランダムアクセスメモリ（ＤＤＲ ＲＡＭ）、または他のランダムアクセス固相メモリ装置等の高速ランダムアクセスメモリを備え、および、内部ハードディスクおよびリムーバブルディスク等の一または複数の磁気ディスク記憶装置等の不揮発メモリ、光磁気ディスク記憶装置、光学ディスク記憶装置、フラッシュメモリ装置、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）等の半導体メモリ装置、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク読み取り専用メモリ（ＤＶＤ－ＲＯＭ）ディスク、または他の不揮発固相記憶装置を備える。
入力／出力装置８４０は、カメラ、プリンタ、スキャナ、ディスプレイスクリーン等の周辺機器を備える。例えば、入力／出力装置８４０は、陰極線管（ＣＲＴ）、プラズマまたは液晶ディスプレイ（ＬＣＤ）モニタ等のユーザに情報を表示するためのディスプレイ装置、キーボード、およびマウスやトラックボール等のコンピュータシステム８００にユーザが入力を行うための指示デバイスを備える。
なお、説明の明確性のため、ここで説明された実例となる実施形態は、個々の機能ブロックまたは機能ブロックの組み合わせを有するとして表されている。これらブロックが表す機能は、これのみに限定されないが、ソフトウェアを実行可能なハードウェアを含む、専用または共有のハードウェアの使用を通じて提供されるであろう。実例となる実施形態は、デジタル信号プロセッサ（ＤＳＰ）ハードウェアおよび／またはここで記述される操作を実行するソフトウェアを有するであろう。このように、例えば、本願でのブロック図は、本明細書での様々な実施形態によって記述された原則の実例となる機能、操作および／または回路の概念図を表すことは、当業者であれば自明であろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、疑似コード、プログラムコード等は、本質的にコンピュータ可読媒体内に表され、そしてコンピュータ、機械またはプロセッサによって実行される様々なプロセスを表していることは、たとえそのようなコンピュータ、機械またはプロセッサが明確に示されていないとしても自明であろう。実際のコンピュータまたはコンピュータシステムの実行は、他の構成を有し、他の構成要素を含むであろうことや、そのようなコンピュータのいくつかの構成要素の高レベル表現は例示の目的であることは、当業者であれば認識するであろう。
前述の説明は、本開示の原則を例示しているに過ぎず、いかなる点からも限定をするものではなく、実例および例示として理解されるべきである。よって、本開示で明確に記述または表示されていなくても、当業者であれば、本願の本質および範囲に含まれかつ本開示の原則を実現する様々な変更を考案することができるのは自明であろう。例えば、本開示の実施形態が建設用途（例えば、土木、掘削、等）としての文脈で表現されているが、実施形態は他の様々な文脈（例えば、農業、鉱業、等）にも同様に適用できると解される。例えばトラクター装置の位置および配向を推定するために機械視点を使用することなど、例えばトラクターまたは他の耕作車両の装置は、土木工作機械と同様の方法で制御することができる。機械視点はまた、トラクターの前で下部の表面の画像をキャプチャし、表面の起伏や植物の条（苗床）を推定することによって、植え付けのため（例えば、作条をたどること、操舵すること）にも有利に使用することができる。
さらに、本開示で参照する全ての例および状態を表す言葉は、主に、本分野の拡大促進のため発明者によって提供された本開示の原則および概念を読者が理解するのを助ける教育上の目的のためにだけに意図されており、そのような特定の参照される例や条件に限定することなく解釈されるべきである。さらに、特定の例のみならず、本開示の原則、特徴、および実施形態を列挙したここでの全ての記述は、構造的および機能的なその均等物を包含すると意図されている。また、そのような均等物は、現在知られている均等物および将来的に開発されるであろう均等物の両方を含むと意図されている。

Claims (22)

  1. 車両上の装置の位置および配向を決定するためのシステムであって、
    前記システムは、
    三次元（３Ｄ）カメラが前記装置の複数の構成要素を含む視野を持つように前記車両上の構造に搭載された前記３Ｄカメラと、
    前記構造に搭載された全地球的測位システムおよび慣性測定装置と、および
    前記３Ｄカメラ、前記慣性測定装置および前記全地球的測位システムと通信可能に接続されたコンピュータシステムとを備え、
    前記３Ｄカメラは、前記複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定するよう構成され、
    前記全地球的測位システムおよび慣性測定装置は、全地球的座標系における前記３Ｄカメラの全地球的三次元位置および配向を決定するよう構成され、
    前記コンピュータシステムは、前記複数の構成要素のそれぞれの前記局所三次元位置、前記３Ｄカメラの前記全地球的三次元位置、および前記３Ｄカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算するよう構成され
    たことを特徴とするシステム。
  2. 前記３Ｄカメラは、ステレオカメラであることを特徴とする請求項１に記載のシステム。
  3. 前記複数の構成要素は、前記装置上に位置する複数のマーカーを備え、前記複数のマーカーは、特定の色彩に基づいた特徴、および特定の形状に基づいた特徴の少なくとも一方を含むことを特徴とする請求項１に記載のシステム。
  4. 前記局所座標系は、前記３Ｄカメラに関連することを特徴とする請求項１に記載のシステム。
  5. さらに、前記３Ｄカメラによる画像キャプチャを強化するために前記複数の構成要素を発光させるよう構成された近赤外発光体を備えることを特徴とする請求項１に記載のシステム。
  6. 前記コンピュータシステムはさらに、前記装置の前記計算された位置および配向に基づいて前記装置の高さおよび傾斜を計算するよう構成されたことを特徴とする請求項１に記載のシステム。
  7. 前記全地球的測位システムおよび前記慣性測定装置は、少なくとも一つのアンテナと統合されることを特徴とする請求項１に記載のシステム。
  8. 前記構造は、前記車両の運転席の屋根表面に搭載され、前記３Ｄカメラ、前記全地球的測位システムおよび慣性測定装置は、前記構造上に共同設置配置されて位置することを特徴とする請求項１に記載のシステム。
  9. 前記車両は、工作機械であり、前記装置は、土木装置であることを特徴とする請求項８に記載のシステム。
  10. 前記土木装置は、ブレードであり、前記３Ｄカメラは、前記３Ｄカメラの前記視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知するように構成されたことを特徴とする請求項９に記載のシステム。
  11. 前記工作機械は、左トラックおよび右トラックを有するトラック型工作機械であり、
    前記３Ｄカメラは、前記３Ｄカメラの前記視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャするよう構成され、
    前記コンピュータシステムは、前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算するよう構成され、
    前記全地球的測位システムは、工作機械速度を計算するよう構成され、および、
    前記コンピュータシステムは、前記計算されたトラック速度と前記計算された工作機械速度との比較に基づいて滑り率を計算するよう構成されたことを特徴とする請求項９に記載のシステム。
  12. 車両上の装置の位置および配向を決定するための方法であって、
    前記方法は、
    三次元（３Ｄ）カメラによって、前記３Ｄカメラの視野内の前記装置の複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定し、
    全地球的測位システムおよび慣性測定装置によって、全地球的座標系における前記３Ｄカメラの全地球的三次元位置および配向を決定し、
    前記複数の構成要素のそれぞれの前記局所三次元位置、前記３Ｄカメラの前記全地球的三次元位置、および前記３Ｄカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、および
    前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算する
    ステップを備えたことを特徴とする方法。
  13. 前記３Ｄカメラは、ステレオカメラであることを特徴とする請求項１２に記載の方法。
  14. 前記複数の構成要素は、前記装置上に位置する複数のマーカーを備え、前記複数のマーカーは、特定の色彩に基づいた特徴、および特定の形状に基づいた特徴の少なくとも一方を含むことを特徴とする請求項１２に記載の方法。
  15. 前記局所座標系は、前記３Ｄカメラに関連することを特徴とする請求項１２に記載の方法。
  16. 前記方法はさらに、前記３Ｄカメラによる画像キャプチャを強化するために近赤外発光によって前記複数の構成要素を発光させることを特徴とする請求項１２に記載の方法。
  17. 前記方法はさらに、前記装置の前記計算された位置および配向に基づいて前記装置の高さおよび傾斜を計算することを特徴とする請求項１２に記載の方法。
  18. 前記車両は、左トラックおよび右トラックを有するトラック型工作機械であり、前記装置は、土木装置であり、前記方法はさらに、
    前記３Ｄカメラの視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャし、
    前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算し、
    前記全地球的測位システムを用いて車両速度を計算し、および、
    前記計算されたトラック速度と前記計算された車両速度との比較に基づいて滑り率を計算することを特徴とする請求項１２に記載の方法。
  19. 前記車両は、土木工作機械であり、前記装置は、ブレードであり、前記方法はさらに、
    前記３Ｄカメラの視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知することを特徴とする請求項１２に記載の方法。
  20. 車両上の装置の位置および配向を決定するための、持続性コンピュータ可読媒体に実現されたコンピュータプログラムであって、前記コンピュータプログラムは、少なくとも一つのプロセッサに次の操作を実行させるよう構成され、
    前記操作は、
    三次元（３Ｄ）カメラによって、前記３Ｄカメラの視野内の前記装置の複数の構成要素のそれぞれの局所座標系における局所三次元位置を決定し、
    全地球的測位システムおよび慣性測定装置によって、全地球的座標系における前記３Ｄカメラの全地球的三次元位置および配向を決定し、
    前記複数の構成要素のそれぞれの前記局所三次元位置、前記３Ｄカメラの前記全地球的三次元位置、および前記３Ｄカメラの前記全地球的三次元配向を用いて前記複数の構成要素のそれぞれのための前記全地球的座標系における全地球的三次元位置を計算し、および
    前記複数の構成要素のそれぞれのための前記計算された全地球的三次元位置に基づいて前記装置の位置および配向を計算する
    ステップを備えたことを特徴とするコンピュータプログラム。
  21. 前記車両は、左トラックおよび右トラックを有するトラック型工作機械であり、前記装置は、土木装置であり、前記操作はさらに、
    前記３Ｄカメラの視野内の前記左トラックおよび前記右トラックの動きの画像をキャプチャし、
    前記キャプチャされた画像に基づいて計測された前記左トラックの速度および計測された前記右トラックの速度の機能としてトラック速度を計算し、
    前記全地球的測位システムを用いて前記車両速度を計算し、および、
    前記計算されたトラック速度と前記計算された車両速度との比較に基づいて滑り率を計算することを特徴とする請求項２０に記載のコンピュータブログラム。
  22. 前記車両は、土木工作機械であり、前記装置は、ブレードであり、前記操作はさらに、
    前記３Ｄカメラの視野内の前記ブレードのキャプチャ画像に基づいて前記ブレードの高さを超えるブレード負荷の許容量を検知することを特徴とする請求項２０に記載のコンピュータブログラム。

JP2022546467A 2020-01-28 2020-01-28 機械視点を用いた工作機械上の装置の制御システムおよび方法 Active JP7463530B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000039 WO2021154111A1 (en) 2020-01-28 2020-01-28 System and method for controlling an implement on a work machine using machine vision

Publications (2)

Publication Number Publication Date
JP2023518146A true JP2023518146A (ja) 2023-04-28
JP7463530B2 JP7463530B2 (ja) 2024-04-08

Family

ID=76971172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546467A Active JP7463530B2 (ja) 2020-01-28 2020-01-28 機械視点を用いた工作機械上の装置の制御システムおよび方法

Country Status (5)

Country Link
US (1) US11846091B2 (ja)
EP (1) EP4097552A4 (ja)
JP (1) JP7463530B2 (ja)
CN (1) CN115104075A (ja)
WO (1) WO2021154111A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
US20240087278A1 (en) * 2022-04-07 2024-03-14 Topcon Positioning Systems, Inc. Method and apparatus for determining marker position and attitude
CN114830911B (zh) * 2022-05-19 2023-08-01 苏州大学 智能除草方法、装置和存储介质
WO2023234255A1 (ja) * 2022-05-31 2023-12-07 株式会社クボタ センシングシステム、農業機械、およびセンシング装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478492B2 (en) * 1998-11-27 2013-07-02 Caterpillar Trimble Control Technologies, Inc. Method and system for performing non-contact based determination of the position of an implement
US6317676B1 (en) * 2000-06-07 2001-11-13 Caterpillar Inc. Method and apparatus for controlling slip
US9002565B2 (en) 2003-03-20 2015-04-07 Agjunction Llc GNSS and optical guidance and machine control
JP2005256232A (ja) 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US8224024B2 (en) 2005-10-04 2012-07-17 InterSense, LLC Tracking objects with markers
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US8239083B2 (en) 2006-01-18 2012-08-07 I-Guide Robotics, Inc. Robotic vehicle controller
JP5227139B2 (ja) 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9139977B2 (en) * 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
US20120059554A1 (en) * 2010-09-02 2012-03-08 Topcon Positioning Systems, Inc. Automatic Blade Control System during a Period of a Global Navigation Satellite System ...
JP5237409B2 (ja) * 2011-03-24 2013-07-17 株式会社小松製作所 油圧ショベルの較正装置及び油圧ショベルの較正方法
RU2565597C2 (ru) * 2012-02-10 2015-10-20 Алексей Андреевич Косарев Метод для оценки ориентации, аппаратура и компьютерный программоноситель
US8983739B2 (en) 2012-11-30 2015-03-17 Caterpillar Inc. Real time pull-slip curve modeling in large track-type tractors
US9957692B2 (en) * 2013-03-15 2018-05-01 Hexagon Technology Center Gmbh System and method for heavy equipment navigation and working edge positioning using an image acquisition device that provides distance information
US10030358B2 (en) * 2014-02-13 2018-07-24 Trimble Inc. Non-contact location and orientation determination of an implement coupled with a mobile machine
WO2015186214A1 (ja) * 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
US10234566B2 (en) * 2015-02-11 2019-03-19 Trimble Inc. Fast GNSS receiver convergence by relative positioning
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
US9624650B2 (en) * 2015-05-05 2017-04-18 Caterpillar Inc. System and method for implement control
US9617717B2 (en) * 2015-06-29 2017-04-11 Komatsu Ltd. Construction machine control system and construction machine control method
KR101737389B1 (ko) * 2015-09-25 2017-05-18 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 제어 장치, 작업 기계, 및 작업 기계의 제어 방법
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
WO2017061888A1 (en) * 2015-10-06 2017-04-13 Limited Liability Company "Topcon Positioning Systems" Automatic blade control system for a motor grader
WO2016052762A1 (ja) * 2015-10-16 2016-04-07 株式会社小松製作所 作業車両、バケット装置及びチルト角度の取得方法
KR101812127B1 (ko) * 2016-03-17 2017-12-26 가부시키가이샤 고마쓰 세이사쿠쇼 작업 차량의 제어 시스템, 제어 방법, 및 작업 차량
CN106029991B (zh) * 2016-03-17 2017-07-28 株式会社小松制作所 作业车辆的控制系统、控制方法以及作业车辆
AU2016402225B2 (en) 2016-04-04 2022-02-10 Topcon Positioning Systems, Inc. Method and apparatus for augmented reality display on vehicle windscreen
EP3449285A4 (en) * 2016-04-27 2019-10-16 Limited Liability Company "Topcon Positioning Systems" GNSS ANTENNA EQUIPPED WITH AN INTEGRATED ANTENNA ELEMENT AND ADDITIONAL INFORMATION SOURCES
US10245994B2 (en) 2016-08-17 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Transportation system including autonomous detachable engine modules and passenger module
EP4060288A3 (en) 2016-08-31 2023-02-01 Topcon Positioning Systems, Inc. Apparatus and method for providing vehicular positioning
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US10519627B2 (en) * 2017-02-08 2019-12-31 Caterpillar Inc. Pull-slip control system for track-type tractor and track-type tractor operating method
US10132060B2 (en) * 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
US10526766B2 (en) 2017-07-31 2020-01-07 Deere & Company Work machines and methods and systems to control and determine a position of an associated implement
JP7117843B2 (ja) * 2017-12-26 2022-08-15 日立建機株式会社 作業機械
CN110799708B (zh) * 2018-03-12 2021-12-31 日立建机株式会社 作业机械
US10689831B2 (en) * 2018-03-27 2020-06-23 Deere & Company Converting mobile machines into high precision robots
JP6946226B2 (ja) * 2018-03-29 2021-10-06 株式会社小松製作所 作業車両の制御システム、方法、及び作業車両
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US20200117201A1 (en) 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
US10781575B2 (en) * 2018-10-31 2020-09-22 Deere & Company Attachment calibration control system
JP7278095B2 (ja) * 2019-02-19 2023-05-19 株式会社小松製作所 作業機械の制御システム
EP3934241A4 (en) * 2019-02-28 2022-04-20 Sumitomo Heavy Industries, Ltd. DISPLAY DEVICE, EXCAVATOR, INFORMATION PROCESSING DEVICE
US10820478B1 (en) 2019-07-30 2020-11-03 Cnh Industrial America Llc System and method for providing a visual indication of field surface conditions
US11905675B2 (en) * 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
US20220134537A1 (en) * 2020-10-29 2022-05-05 Nvidia Corporation Transformation of joint space coordinates using machine learning

Also Published As

Publication number Publication date
WO2021154111A1 (en) 2021-08-05
US11846091B2 (en) 2023-12-19
EP4097552A1 (en) 2022-12-07
EP4097552A4 (en) 2023-11-22
US20210230842A1 (en) 2021-07-29
CN115104075A (zh) 2022-09-23
JP7463530B2 (ja) 2024-04-08

Similar Documents

Publication Publication Date Title
JP7463530B2 (ja) 機械視点を用いた工作機械上の装置の制御システムおよび方法
US9378554B2 (en) Real-time range map generation
US10859682B2 (en) Telematics using a light ranging system
US9251587B2 (en) Motion estimation utilizing range detection-enhanced visual odometry
US9449397B2 (en) Real-time visual odometry system for determining motion of a machine with a range detection unit
US8412418B2 (en) Industrial machine
US11120577B2 (en) Position measurement system, work machine, and position measurement method
US9335545B2 (en) Head mountable display system
CN106029994B (zh) 校正系统、作业机械和校正方法
EP2971377B1 (en) System and method for heavy equipment navigation and working edge positioning
US20230112788A1 (en) Automated license plate recognition system and related method
US11508091B2 (en) Calibration device for imaging device, monitoring device, work machine and calibration method
US20200400818A1 (en) Apparatus and method for obstacle detection
US20240028042A1 (en) Visual overlays for providing perception of depth
US20210388580A1 (en) System and method for work machine
US20220316188A1 (en) Display system, remote operation system, and display method
US11549238B2 (en) System and method for work machine
US11908076B2 (en) Display system and display method
US20210395980A1 (en) System and method for work machine

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150