JP2023504772A - 作業現場における状況認識を決定するための方法 - Google Patents

作業現場における状況認識を決定するための方法 Download PDF

Info

Publication number
JP2023504772A
JP2023504772A JP2022525311A JP2022525311A JP2023504772A JP 2023504772 A JP2023504772 A JP 2023504772A JP 2022525311 A JP2022525311 A JP 2022525311A JP 2022525311 A JP2022525311 A JP 2022525311A JP 2023504772 A JP2023504772 A JP 2023504772A
Authority
JP
Japan
Prior art keywords
machine
data
location
tracking
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022525311A
Other languages
English (en)
Other versions
JP7445756B2 (ja
Inventor
コヴァネン、トゥオマス
コル、アンッティ
モイシオ、ペトリ
ヴェサネン、ミッコ
アンティラ、アルト
ハーラニエミ、ニコ
Original Assignee
ノバトロン オサケ ユキチュア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FI20196023A external-priority patent/FI20196023A1/en
Priority claimed from FI20196022A external-priority patent/FI20196022A1/en
Application filed by ノバトロン オサケ ユキチュア filed Critical ノバトロン オサケ ユキチュア
Publication of JP2023504772A publication Critical patent/JP2023504772A/ja
Application granted granted Critical
Publication of JP7445756B2 publication Critical patent/JP7445756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/004Devices for guiding or controlling the machines along a predetermined path
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2045Guiding machines along a predetermined path
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mining & Mineral Resources (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

作業現場13における状況認識を決定するための方法は、少なくとも1つの環境モデリング装置EMを、機械上又は機械の外部のうちの少なくとも一方に設定することと、少なくとも1つの追跡装置TAを、機械上又は機械の外部のうちの少なくとも一方に設定することと、少なくとも1つの追跡装置TAによってデータを取得することと、少なくとも1つの環境モデリング装置によってデータを取得することとを含む。さらに、方法は、少なくとも1つの位置決定ユニットPDUによって、少なくとも1つの追跡装置TAに関連するデータ及び少なくとも1つの環境モデリング装置EMに関連するデータを受信することと、少なくとも1つの位置決定ユニットPDUによって、受信されたデータに少なくとも部分的に基づいて、作業現場13内の機械の場所及び向きを決定することとを含む。

Description

本発明は、作業現場における状況認識を決定するための方法に関する。
様々な土工作業現場又は建設現場では、例えば、土又は岩の材料をある場所から別の場所に移動するため、又は建設に使用される材料を上昇又は降下させるために、様々なタイプの作業機械が利用されることがある。この種の作業現場の例には、例えば、建物の基礎建設作業現場又は住宅建設現場、及び道路建設作業現場が含まれ、このような作業現場は、典型的な作業現場のいくつかの実例を形成する。このような作業機械は、例えば、掘削機及び移動式クレーンである。
作業機械及び作業機械の作業工具は、設計された動作を適切に実施するために、作業現場に極めて正確に配置されなければならない。作業機械及びその工具の正確な場所に関する情報が作業機械のオペレータに対して表示され、それによりオペレータは、工具及び機械を制御する際にその情報を使用することができる。機械及びその工具のこの正確な場所情報は、半自動又は全自動の作業機械、すなわち、機械のオペレータによる一定の制御無しに少なくとも一定時間動作する作業機械で使用される場合に特に重要であり、そのため機械又はその工具の誤配置は、機械のオペレータによってすぐには修正されない。
一般に、機械の自動測位は、例えば、GPS(US)、GLONASS(RU)、Galileo(EU)、又はCompass(CN)などの衛星ベースの測位システムである全地球航法衛星システム(GNSS:Global Navigation Satellite Systems)に基づいてもよい。或いは、作業現場に配置されたトータル・ステーションによって、作業機械の測位が提供されてもよい。
しかしながら、すべての作業現場で、必ずしも正確で十分な衛星ベースの測位システムが利用可能であるとは限らず、又は利用可能な測位システムは、機械の場所及び向きの高精度な決定に十分なほど精巧ではない。より古い機械を高精度システムに後付けすることは、必ずしも費用対効果が高いとは限らない。また、特にトータル・ステーション・ベースのシステムを毎日又は1日に何度も作業現場から撤去すべき場合、作業現場でのトータル・ステーション・ベースの測位システムの設定は手間がかかる場合がある。
作業現場内の作業機械の正確な測位に加えて、作業現場の様子又は状態に関する知識もまた、作業現場における状況認識を示す情報を提供し、作業機械の効率的な動作及び作業現場の進捗を促進することになる。
したがって、作業現場における状況認識も改善する簡単な測位ソリューションが必要である。
本発明の目的は、作業現場における状況認識を決定するための新規な方法を提供することである。
本発明は、独立請求項の機能を特徴とする。
本発明において、作業現場における状況認識を決定するために、作業現場内の機械の場所及び向きの決定は、作業現場の様子又は状態の知識を提供することと組み合わされる。
作業現場の様子又は状態の取得とともに作業現場内の作業機械を測位することにより、作業現場における状況認識を示す情報が提供され、作業機械の効率的な動作及び作業現場の進捗が促進される。これにより、作業機械の制御は、他の作業機械及び交替状況(alternating circumstance)、又は現時点で実行している作業タスクの実施においてだけでなく後で実行される作業タスクにおいて発生する予期しない事象も考慮に入れることが可能になる。
本発明のいくつかの実施例が、従属請求項に開示されている。
作業現場における状況認識を決定するための方法の実施例によれば、方法は、少なくとも1つの環境モデリング装置を、機械上又は機械の外部のうちの少なくとも一方に設定することと、少なくとも1つの追跡装置を、機械上又は機械の外部のうちの少なくとも一方に設定することと、少なくとも1つの追跡装置によってデータを取得することと、少なくとも1つの環境モデリング装置によってデータを取得することと、少なくとも1つの位置決定ユニットによって、少なくとも1つの追跡装置に関連するデータ及び少なくとも1つの環境モデリング装置に関連するデータを受信することと、少なくとも1つの位置決定ユニットによって、受信されたデータに少なくとも部分的に基づいて、作業現場内の機械の場所及び向きを決定することとを含む。
方法の一実施例によれば、方法は、少なくとも1つの位置決定ユニットによって、受信されたデータに少なくとも部分的に基づいて、作業現場内の機械の進行方向又は代替の進行方向のうちの少なくとも一方を決定することをさらに含む。
方法の一実施例によれば、方法は、作業現場内の機械の決定された場所及び方向の正確度レベル又は妥当性のうちの少なくとも一方を決定することをさらに含む。
方法の一実施例によれば、少なくとも1つの追跡装置に関連するデータは、追跡装置に対する追跡されるマーカ点の場所、追跡装置に対する追跡される基準点の場所、追跡装置の傾斜角度、追跡装置の方位、追跡装置の安定性、機械座標系、作業現場座標系、若しくは世界座標系のうちの少なくとも1つにおける追跡装置の場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む。
方法の一実施例によれば、少なくとも1つの環境モデリング装置に関連するデータは、空間データ、環境モデリング装置に対する追跡されるマーカ点の場所、環境モデリング装置に対する追跡される基準点の場所、環境モデリング装置の傾斜角度、環境モデリング装置の方位、環境モデリング装置の安定性、機械座標系、作業現場座標系、若しくは世界座標系のうちの少なくとも1つにおける環境モデリング装置の場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つである。
方法の一実施例によれば、空間データは、図形データ、点群データ、又は作業現場若しくは地球のうちの少なくとも一方に関連する場所への暗黙的若しくは明示的な参照を伴うデータのうちの少なくとも1つを含む。
方法の一実施例によれば、方法は、少なくとも1つの環境モデリング・ユニットによって、材料搬送の指示、置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置に関連する第1のデータによって決定される材料搬送ベース、及び置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置に関連する第2のデータによって決定される材料搬送完了(complete)を受信することと、少なくとも1つの環境モデリング・ユニットによって、材料搬送の指示、材料搬送ベース、及び材料搬送完了に関するデータを、搬送済みの材料として少なくとも部分的に保存することとをさらに含む。
方法の一実施例によれば、方法は、少なくとも1つの環境モデリング・ユニットによって、それぞれの区域の作業フェーズ又は作業段階のうちの少なくとも一方に関連する1つ又は複数の指示、及び少なくとも1つの環境モデリング装置に関連するデータを受信することをさらに含み、1つ又は複数の指示を考慮に入れることによって、少なくとも1つの環境モデリング装置に関連するデータから、それぞれの区域のジオリファレンス済み(georeferenced)空間データが導出され、ジオリファレンス済み空間データが少なくとも部分的に保存される。
方法の一実施例によれば、ジオリファレンス済み空間データを少なくとも部分的に保存するステップは、少なくとも1つの環境モデリング装置から受信されたデータに少なくとも部分的に基づいて、ジオリファレンス済み空間データが保存されるべき区域を決定することと、保存されるべきと決定された区域のジオリファレンス済み空間データを保存することとをさらに含む。
方法の一実施例によれば、少なくとも1つの環境モデリング装置から受信されたデータに少なくとも部分的に基づいて、ジオリファレンス済み空間データが保存されるべき区域を決定するステップは、少なくとも1つの環境モデリング装置のジオリファレンス済み空間データが障害物無しである区域を検出して、障害物無し区域と見なすことを含み、方法は、作業現場内の機械の決定された場所及び向きの現在の正確度を、以前に保存されたジオリファレンス済み空間データの時間における作業現場内の機械の決定された場所及び向きの正確度と比較することと、現在の正確度がほぼ同等を上回る(above almost as good)場合、障害物無し区域内の保存されたジオリファレンス済み空間データを更新することとをさらに含む。
方法の一実施例によれば、方法は、作業現場内の機械の場所及び向きを決定した少なくとも1つの位置決定ユニットによって、追跡装置、環境モデリング装置、対象物、又は別の機械のうちの少なくとも1つに関するデータを解決することと、解決されたデータを、それぞれの追跡装置、環境モデリング装置、対象物、若しくは別の機械に関連するデータの一部、又は少なくとも1つの位置決定ユニットによって受信可能なデータのうちの少なくとも一方として送信することとをさらに含む。
方法の一実施例によれば、方法は、追跡装置が機械又は別の機械のうちの少なくとも一方に設定される場合、機械座標系又は作業現場座標系のうちの少なくとも一方において、追跡装置の場所及び向きを決定すること、並びに、追跡装置が任意の機械の外部に設定される場合、作業現場座標系において追跡装置の場所及び向きを決定することによって、追跡装置を初期化することをさらに含む。
方法の一実施例によれば、方法は、環境モデリング装置が機械又は別の機械のうちの少なくとも一方に設定される場合、機械座標系又は作業現場座標系のうちの少なくとも一方において、環境モデリング装置の場所及び向きを決定すること、並びに、環境モデリング装置が任意の機械の外部に設定される場合、作業現場座標系において環境モデリング装置の場所及び向きを決定することによって、環境モデリング装置を初期化することをさらに含む。
方法の一実施例によれば、決定される状況認識は、空間データ、ジオリファレンス済み空間データ、領域作業フェーズ・データ、領域作業段階データ、完成時データ、作業現場内の任意の機械の場所、向き、進行方向、若しくは代替の進行方向のうちの少なくとも1つ、場所、方向、進行方向、若しくは代替の進行方向、又は、回避対象若しくは関心対象のうちの少なくとも一方である、周囲の静止しているか若しくは動いているかのうちの少なくとも一方である機械、障害物、若しくは対象物のうちの少なくとも1つである。
方法の一実施例によれば、少なくとも1つの追跡装置は、作業現場内の少なくとも1つの基準点、機械に取り付けられた少なくとも1つのマーカ点、又は機械、障害物、若しくは対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカのうちの少なくとも1つの、追跡装置の場所に対して追跡し、少なくとも1つの環境モデリング装置は、作業現場内の少なくとも1つの基準点、機械に取り付けられた少なくとも1つのマーカ点、機械、障害物、若しくは対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカ、又は作業現場に関連する空間データのうちの少なくとも1つの、少なくとも1つの環境モデリング装置の場所に対して追跡する。
方法の一実施例によれば、方法は、作業現場内の機械の決定された場所及び向きの正確度の最小レベルを決定することと、正確度の最小レベルを超える閾値レベルを決定することとをさらに含み、正確度のレベルが閾値レベルを下回る場合、及び、下部キャリッジを移動させることなく進行中の作業タスクが実行され得る場合、機械の下部キャリッジを移動させるための制御は、無効にされる。
方法の一実施例によれば、少なくとも1つの追跡装置又は少なくとも1つの環境モデリング装置のうちの少なくとも一方に関連するデータは、それぞれの装置によって取得されたデータ、それぞれの装置上に設置されたセンサからのデータ、装置の取り付け点上に設置されたセンサからのデータ、任意の位置決定ユニット若しくは任意の装置のうちの少なくとも一方によって、それぞれの装置を追跡することによって若しくはそれぞれの装置に関連する任意の算出の結果としての少なくとも一方で解決されたデータ、又は、上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む。
方法の一実施例によれば、少なくとも1つの追跡装置が作業現場に設定される場合、及び少なくとも1つの追跡装置が、1つ又は複数のGNSSアンテナを用いて追跡装置の場所を追跡するための追跡デバイスを備える場合、追跡装置は、カメラ、ステレオカメラ、ライダ、レーダ、又はタキメータのうちの少なくとも1つを追跡デバイスとしてさらに備える。
方法の一実施例によれば、少なくとも1つの位置決定ユニットによる作業現場内の機械の場所及び向きの決定がさらに、機械又は別の機械のうちの少なくとも一方に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的に基づき、センサは、機械又は別の機械のうちの少なくとも一方の位置、向き、傾斜、方位、又は進行距離のうちの少なくとも1つを含む。
方法の一実施例によれば、機械は掘削機であり、少なくとも1つの位置決定ユニットによる作業現場内の機械の場所及び向きの決定がさらに、機械又は別の機械のうちの少なくとも一方の上部キャリッジ上に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的に基づき、センサは、機械又は別の機械のうちの少なくとも一方の上部キャリッジの位置、向き、傾斜、又は方位のうちの少なくとも1つを含む。
以下では、本発明を、添付の図面を参照して、好ましい実施例を用いてより詳細に説明する。
掘削機の概略側面図である。 作業現場の概略上面図である。 作業現場内の機械の場所及び向きを決定するための測位システムのいくつかの構成要素の概略図である。 作業現場内の機械の場所及び向きを決定するための方法の一実施例の概略図である。 作業現場内の機械の場所及び向きの決定のために作業現場内に配置されるいくつかの基準点を有する基準マーカの概略図である。 作業現場内の機械の場所及び向きの決定のために機械上に配置されるいくつかのマーカ点を有するマーカの概略図である。 追跡装置の一実施例の概略図である。 機械及び/又は追跡装置に配置される可能性のあるセンサの概略図である。 追跡装置のいくつかの可能な追跡状態の概略図である。 第2の作業現場の概略上面図である。 作業現場内の機械の場所及び向きを決定するための別の方法の一実施例の概略図である。 第3の作業現場の概略上面図である。 第4の作業現場の概略上面図である。 作業現場における状況認識を備えた、作業現場内の機械の場所及び向きを決定するための別の測位システムのいくつかの構成要素の概略図である。 作業現場内の機械の場所及び向きを決定するためのさらなる方法の一実施例の概略図である。 少なくとも1つの追跡装置に関連するデータの概略図である。 少なくとも1つの環境モデリング装置に関連するデータの概略図である。 作業現場における状況認識を示すデータの概略図である。
明確にするために、図は、本発明のいくつかの実施例を、簡略化した方法で示している。同様の参照番号は、図の同様の要素を示す。
図1は、掘削機1が動作されるよう意図された作業現場13における掘削機1の概略側面図である。掘削機1は、開示された方法及び測位システム、並びに作業現場13における状況認識を決定するための方法が関連して利用され得る作業機械の一実例である。作業現場13は、アクティブな作業が行われる予定の少なくとも1つの区域又は空間を含む。作業現場13の性質又は特性に応じて、作業現場13は、アクティブな作業が行われる予定の区域又は空間に加えて、アクティブな作業が行われる予定の区域若しくは空間での動作に影響を与え得る、且つ/又は、アクティブな作業が行われる予定の区域若しくは空間で行われている動作によって影響を受ける可能性がある区域又は空間に対して影響を与え得る、典型的には周囲の区域又は空間である、1つ又は複数の区域又は空間を含んでもよい。特に都市環境では、作業機械は実際の又は公式に決定された作業現場の外で作業する必要がある場合があり、したがって、本明細書において、作業現場13は、実際の又は公式に決定された作業現場を示す区域及び/又は空間を数メートル超えて延在する可能性があり、したがって、実際の又は公式に決定された作業現場の近くの障壁及び移動する人も追跡又は検出する必要性が生まれる。さらに、作業現場13は、作業現場13の周囲のものの少なくともいくつかの部分も含む場合があり、その周囲のものは、例えば、作業現場13の一部であるそれぞれの視覚的に情報を与える標識によって明確に示されない。
掘削機1は、下方キャリッジ2a、すなわち下部キャリッジ2aと、上部キャリッジ2bとを含む、可動キャリッジ2を備える。下部キャリッジ2aは、キャタピラーバンドを備えるが、代替として車輪を設けることもできる。上部キャリッジ2bは、上部キャリッジ2bの回転アクスル3によって下部キャリッジ2aに連結される。上部キャリッジ2bは、矢印Rで概略的に示すように回転軸4の周りで下部キャリッジ2aに対して相対的に回転されてもよい。回転軸4は、回転アクスル3の中心軸と一致する。
掘削機1は、上部キャリッジ2bに連結されたブーム5をさらに備え、それによりブーム5は、上部キャリッジ2bと共に回転するように構成される。ブーム5は、少なくとも第1のブーム部位5aを含んでもよい。ブーム5はまた、第2のブーム部位5bなどのさらなるブーム部位を含んでもよい。ブーム5は、矢印Lで概略的に示すように上部キャリッジ2bに対して相対的に上昇及び降下されてもよい。
第2のブーム部位5bが、ジョイント6によって第1のブーム部位5aに連結されることにより、第2のブーム部位5bは、矢印T6で概略的に示すように第1のブーム部位5aの周りを回転することが可能になる。第2のブーム部位5bの遠位端には、作業工具、この場合はバケット7が存在し、バケット7と第2のブーム部位5bとの間にジョイント8があることにより、バケット7は、矢印T8で概略的に示すように第2のブーム部位5bに対して回転することが可能になる。ジョイント8に関連して、例えば、バケットを横方向に傾斜させることを可能にするジョイント又は機構がある場合もある。
キャリッジ2上には、掘削機1のオペレータ10用の制御キャビン9があってもよい。制御キャビン9に、例えば、制御キャビン9の垂直位置をキャリッジ2に対して相対的に調整することができる移動配置構成が設けられてもよい。
掘削機1は、受信した制御アクションに応答して、キャリッジ2、ブーム5、及びバケット7の動作などの掘削機1の動作を制御するように構成された少なくとも1つの制御ユニット11をさらに備える。
掘削機1が、ある種の衛星ベースの測位システムGNSS(全地球航法衛星システム)を利用できるよう意図されている場合、掘削機1は、アンテナ12などのいくつかの衛星受信デバイスをさらに含んでもよい。アンテナ12は、例えば、上部キャリッジ2b上に配置されてもよい。
図2は、掘削機1が動作しようとしている作業現場13の概略上面図である。図2の実例では、作業現場座標系WCS(worksite coordinate system)内において、作業現場13に、掘削機1、並びに掘削機1の場所及び向きを決定するための測位システムPS(positioning system)のいくつかの機器、又は代替としていくつかの他の機器がある。また、掘削機1の制御システムは、それ自体の機械座標系MCS(machine coordinate system)を備えてもよく、それにより、機械座標系MCSを、マーカ点MP(marker point)が機械内に配置された状態で機械に固定することができ、その結果、測位システムPSによって提供される測位により、機械座標系MCSを、作業現場座標系WCSに対して識別することが可能になる。作業現場座標系WCS及び機械座標系MCSは、図1に概略的に示されている。次に、図3は、測位システムPSに関連するいくつかの追加の機器を有する測位システムPSの一実施例の概略図である。
測位システムPSは、少なくとも1つの基準マーカRM(reference marker)、すなわち、作業現場13に設定された1つ又は複数の基準マーカRMを備える。作業現場13に配置される基準マーカRMは、例えば、arucoマーカ、QRコード、発光マーカ、光反射マーカ、プリズムなどでもよい。各基準マーカRMは、少なくとも1つの基準点RP(reference point)、すなわち1つ又は複数の基準点RPを提供し、それにより、作業現場13内には、機械の場所及び向きの決定のために作業現場座標系WCSで決定された少なくとも1つの基準点RPがある。明確にするために、本明細書における作業現場内及び/又は座標系内の機械及び/又は装置の向きを決定及び/又は定義及び/又は計算することは、ロール、ピッチ、及びヨーなどの必要な3つの角度を決定して、機械及び/又は装置が作業現場及び/又は座標系のどの位置にあるかを正確に決定することを意味する。したがって、点及び/又はスポットがそれ自体の座標系において既知である、機械及び/又は装置の少なくとも1つの点及び/又はスポットの場所が決定されるか又は決定され得るとともに、機械及び/又は装置の向きが決定されるか又は決定され得るとき、機械及び/又は装置が、作業現場内又は座標系内で正確に固定及び/又は配置及び/又は設定及び/又は測位され得る。
図2の実例には、概略的に示された3つの基準マーカRM、すなわち、作業現場13内に設定又は配置された第1の基準マーカRM1、第2の基準マーカRM2、及び第3の基準マーカRM3がある。各基準マーカRM1、RM2、RM3は、1つの基準点RPを含み、すなわち、第1の基準マーカRM1は第1の基準点RP1を含み、第2の基準マーカRM2は第2の基準点RP2を含み、第3の基準マーカRM3は第3の基準点RP3を含む。特定の基準点RPは、例えば、arucoマーカ内の特定の点によって、又は発光マーカ内の特定の発光デバイスによって提供されてもよい。図5の実例では、3つの基準点RP、すなわち、第1の基準点RP1、第2の基準点RP2、及び第3の基準点RP3を有する基準マーカRMが概略的に示されている。基準点RPはそれぞれ識別可能であり、基準点RPの場所は、作業現場座標系WCSにおいて決定される。したがって、基準点RPの識別データを有することにより、作業現場座標系WCS内の基準点RPの場所が決定されてもよい。
測位システムPSは、少なくとも1つのマーカMA(marker)、すなわち、機械上すなわち掘削機1内に設定された1つ又は複数のマーカMAをさらに備える。機械上に配置されるマーカMAは、例えば、arucoマーカ、QRコード、optitrackなどの発光マーカ、光反射マーカなどでもよい。各マーカMAは、少なくとも1つのマーカ点MP、すなわち1つ又は複数のマーカ点MPを提供し、それにより、機械上には、機械の場所及び向きの決定のための少なくとも1つのマーカ点MPがある。各機械のマーカ点MPはそれぞれ識別可能であり、マーカ点MPの場所は、機械座標系MCSにおいて決定され、その結果、測位システムPSによるマーカ点MPの測位及び識別は、機械座標系MCS、すなわち機械を測位することであり得る。したがって、マーカ点MPの識別データを有することにより、機械座標系MCS内のマーカ点MPの場所が決定されてもよい。
図1の実例には、概略的に示された2つのマーカMA、すなわち、機械上に配置された第1のマーカMA1及び第2のマーカMA2がある。各マーカMA1、MA2は、1つのマーカ点MPを含み、すなわち、第1のマーカMA1は第1のマーカ点MP1を含み、第2のマーカMA2は第2のマーカ点MP2を含む。特定のマーカ点MPは、例えば、arucoマーカ内の特定の点によって、又は発光マーカ内の特定の発光デバイスによって提供されてもよい。図6の実例では、3つのマーカ点MP、すなわち、第1のマーカ点MP1、第2のマーカ点MP2、及び第3のマーカ点MP3を有するマーカMAが概略的に示されている。
測位システムPSは、少なくとも1つの追跡装置TA(tracking apparatus)、すなわち、作業現場13内に配置された1つ又は複数の追跡装置TAをさらに備える。追跡装置TAは、基準点RP及びマーカ点MP、特にそれらの識別データ、並びに作業現場13内の追跡装置TAに対するそれらの場所を追跡又は監視する。追跡装置TAは、追跡の初期化に基づいて、作業現場13内の少なくとも1つの識別された基準点RP、及び機械内の少なくとも1つの識別されたマーカ点MPの場所を追跡する。したがって、測位システムPSは、少なくとも1つの基準点RPの識別データを使用することによって、作業現場座標系WCS内の基準点RPを位置特定することができ、また測位システムPSは、少なくとも1つのマーカ点MPの識別データを使用することによって、機械座標系MCS内のマーカ点MPを位置特定することができ、測位システムPSがそれに対する少なくとも1つの識別された基準点RP及び少なくとも1つの識別されたマーカ点MPの場所を追跡した後、測位システムPSは、作業現場の座標系WCSにおける、機械座標系MCS、すなわち機械の場所及び向きを決定することができる。追跡装置TAは、少なくとも1つの追跡デバイスTD(tracking device)、すなわち、追跡装置TAと基準点RP及びマーカ点MPとの間の視覚的通信を提供するための1つ又は複数の追跡デバイスTDを備える。さらに、追跡装置TAは、情報を受信及び/又は送信するための入出力ユニットなどの手段を備える。
追跡又は監視は、追跡装置TAとそれぞれの基準点RP及びマーカ点MPとの間の視覚的通信を介して実施又は実行される。図2の実例には、作業現場13内に配置された2つの追跡装置TA、すなわち、第1の追跡装置TA1及び第2の追跡装置TA2がある。第1の追跡装置TA1は、3つの追跡デバイス、すなわち、第1の追跡デバイスTD1と第1の基準点RP1との間の第1の視覚的接続TD1_RP1、第2の追跡デバイスTD2と第2の基準点RP2との間の第2の視覚的接続TD2_RP2、及び第3の追跡デバイスTD3と第3の基準点RP3との間の第3の視覚的接続TD3_RP3をある時点で提供するための、第1の追跡デバイスTD1、第2の追跡デバイスTD2、及び第3の追跡デバイスTD3を備える。さらに、第2の追跡デバイスTD2は、第2の追跡デバイスTD2と第2のマーカ点MP2との間の第4の視覚的接続TD2_RM2を提供するように配置されている。第2の追跡装置TA2は、2つの追跡装置、すなわち、第4の追跡デバイスTD4と第1のマーカ点MP1との間の第5の視覚的接続TD4_MP1を提供するための第4の追跡デバイスTD4、及び第5の追跡デバイスTD5と第2のマーカ点MP2との間の第6の視覚的接続TD5_MP2を提供するための第5の追跡デバイスTD5を備える。さらに、第5の追跡デバイスTD5は、第5の追跡デバイスTD5と第2の基準点RP2との間の第7の視覚的接続TD5_RP2を提供するように配置されている。
図2の実施例では、2つの追跡装置、すなわち、基準点RP1、RP2、RP3の場所及び第2のマーカ点MP2の場所をある時点で追跡するための3つの追跡デバイスTD1、TD2、TD3を備えた第1の追跡装置TA1、並びにマーカ点MP1、MP2の場所及び第2の基準点RP2の場所をある時点で追跡するための2つの追跡デバイスTD4、TD5を備えた第2の追跡装置TA2が示されている。しかしながら、各追跡装置TA1、TA2は、それぞれの基準点RP1、RP2、RP3の場所及びマーカ点MP1、MP2の場所を追跡するための単一の追跡デバイスのみを備えることができる。さらに、測位システムは、基準点RP1、RP2、RP3、及びマーカ点MP1、MP2の場所を追跡するための1つ又は複数の追跡デバイスTDを有する単一の追跡装置のみを備えることができる。さらに、2つ以上の追跡装置TA、例えばTA1、TA2が、互いに対して既知の向き及び場所にある場合、これは、1つの追跡装置TA、及び2つ以上の追跡装置TA(TA1、TA2など)のすべての追跡デバイスTD(TD1、TD2、TD3、TD4、TD5など)を有する配置構成に対応し、これにより、TA1が、基準点RPのみを追跡するように管理し、TA2が、マーカ点MPのみを追跡するように管理する場合、取得されたすべてのデータの組合せによって、作業現場13内の機器の場所及び向きの決定が可能になる。
追跡デバイスTD1、TD2、TD3、TD4、TD5は、追跡装置TAと少なくとも1つの基準点RPとの間の視覚的接続、及び/又は追跡装置と少なくとも1つのマーカ点MPとの間の視覚的接続を確立又は提供することが可能なデバイスである。一実施例によれば、追跡デバイスは、カメラ、ステレオカメラ、ライダ、又はタキメータである。
カメラ及び/又はステレオカメラには、カメラ及び/若しくはステレオカメラに実質的に近いままである対象物、又は、作業現場13内で機械よりもカメラ及び/若しくはステレオカメラから実質的に遠くに位置する対象物などのカメラ及び/若しくはステレオカメラから遠い対象物への正確な視覚的接続をカメラ及び/又はステレオカメラが確立できるような焦点を有する、レンズ又は対物レンズが装備されてもよい。したがって、カメラ及び/又はステレオカメラは、追跡装置TAから実質的に遠くに位置する対象物にズーム効果を提供することが可能であってもよい。
追跡装置TAの一実施例によれば、追跡装置TAは、カメラ又は何らかの他の追跡デバイスTDと、カメラ又は何らかの他の追跡デバイス用のベースBとを備え、これにより、追跡装置TAは、作業現場13内の地面での特定の固定位置に設置されてもよい。図7では、左側に、この種の追跡装置TAを概略的に示している。
1つのカメラ又は何らかの他の追跡デバイスTD、追跡装置TAを使用して高い正確度を得るために、追跡される基準点RP及びマーカ点MPは、互いに遠くに離れているべきであり、且つ/又は追跡装置TAからあまり遠くに離れてはいけない。1つのカメラを使用する場合、平面を形成する少なくとも4つの基準点RP、及び同様に平面を形成する少なくとも4つのマーカ点MPが存在することが好ましい。2つのカメラを使用する場合、追跡装置TA内の3つ以上の追跡デバイスTDを使用すると、追跡装置TAと基準点RP及びマーカ点MPとの間の距離が長くなる可能性があり、追跡される基準点RP及びマーカ点MPの量が少なくなる可能性がある。言い換えれば、追跡デバイスTDが多いほど、追跡される基準点RPが多くなり、追跡されるマーカ点MPが多くなり、追跡装置TAと追跡される基準点RP及び追跡されるマーカ点MPとの間の距離が短くなり、正確度が高くなる。追跡される基準点RPの場所の互いの比較が正確度に影響することを考慮すると、同様に、追跡されるマーカ点MPの場所の互いの比較も正確度に影響する。好ましくは、いくつかの追跡デバイスTD、すなわち1つ又は複数の追跡デバイスを有する各追跡装置TAは、少なくとも1つの基準点RP及び少なくとも1つのマーカ点MPを常に追跡する。
追跡装置TAの別の実施例によれば、追跡装置TAは、作業現場13の境界内で移動することが可能なベースを備えることができ、それにより、作業現場13内の追跡装置TAの位置を容易に変更することができる。この種の追跡装置TAは、例えば、2つ以上の追跡デバイスTDを備えたドローンでもよい。ドローンの制御ユニットは、ドローンが作業現場13の境界を超えないように構成されてもよい。作業現場13内の機械の場所及び向きの決定中、ドローンは静止していることが好ましい。代替として、ドローンは、機械の位置及び向きの要求された正確度に関する閾値レベルを超えてはならない場合にのみ、静止していてもよい。
追跡装置TAのベースBは調整可能であってもよく、それにより、追跡装置TAの位置合せが、ベースBの位置合せを調整することによって調整されてもよい。したがって、測位システムPSの一実施例によれば、追跡デバイスTDのうちの少なくとも1つは、調整可能ベース上に設置されてもよい。追跡デバイスTDの調整可能ベースにより、ベースBの配向が可能になり、それにより、例えば、機械が作動する領域及び/又は最も近い基準点RPの場所を考慮することによって、追跡デバイスTDの向きを都合よく調整することができる。
測位システムの一実施例によれば、追跡装置TAは、調整可能ベースB上の追跡デバイスTDのそれぞれの追跡装置TAに対する向きに関するデータを取得するための手段を備える。追跡装置TAに対する追跡デバイスTDの向きが分かると、機械の位置及び向きを正確に決定することができる。ベースBの調整は、自動化又は遠隔制御されてよいが、手動で動作されてもよく、それにより、ベースBの向きを示すための目盛分割、例えば、5~15度ごとに回転方向に選択可能な取り付け点があってもよい。
測位システムPSは、少なくとも1つの位置決定ユニットPDU(position determination unit)、すなわち1つ又は複数の位置決定ユニットPDUをさらに備える。位置決定ユニットPDUは、少なくとも1つの追跡装置TAによって取得されたデータを受信するための受信手段を備える。少なくとも1つの追跡装置TAによって取得されたデータは、基準点RP及びマーカ点MP、並びに追跡装置TAに対するそれらの相対的な場所、すなわち、検出している追跡装置TAの場所に対して相対的に識別される基準点RPの場所及びマーカ点MPの場所を識別するための識別データを含み、識別データは、作業現場座標系WCS内の各特定の基準点RP及び機械座標系MCS内の各特定のマーカ点MPを、追跡装置TAに対する相対的な各基準点RP及び各マーカ点MPのそれぞれの場所データに関連付ける。
追跡装置の場所に対する相対的な場所は、例えば、追跡装置の座標系内の3次元座標である。代替として、場所は、作業現場座標系WCS内の3次元座標及び/又は機械座標系MCS内の3次元座標でもよい。
位置決定ユニットPDUは、受信したデータに少なくとも部分的に基づいて、すなわち、追跡装置TAによって取得されたデータに少なくとも部分的に基づいて、作業現場座標系WCS内の機械の場所及び向きを決定するための決定手段をさらに備える。機械に固定された利用可能な機械座標系MCSがある場合、機械によって実行される作業タスクを実装するために、作業現場座標系WCS内の機械の場所及び向きは、機械座標系MCS内の作業現場の場所及び向きに変換されてもよい。
少なくとも1つの位置決定ユニットPDUは、ハードウェアとソフトウェアの組合せによって実装されてもよい。実装形態は、位置決定ユニットPDUに接続された他のデバイスと通信するための入力/出力ユニットと、位置決定ユニットPDUによって受信されたデータを処理するように構成されたコンピュータ・プログラムを実行することができるマイクロプロセッサ又は何らかの他の処理手段とを含む。実装形態は、位置決定ユニットPDUによって受信されたデータ及び/又は位置決定ユニットPDUから送信すべきデータを少なくとも一時的に記憶するための少なくとも1つのメモリ・ユニットを含んでもよい。
少なくとも1つの位置決定ユニットPDUは、例えば、任意の有線若しくは無線ネットワークによって到達可能なコンピュータ、及び/又は機械、及び/又は少なくとも1つの追跡装置TA内に存在してもよい。位置決定ユニットPDUが任意の有線又は無線ネットワークによって到達可能なコンピュータ内に存在する場合、位置決定ユニットPDUの物理的な場所は自由に選択されてもよく、したがって位置決定ユニットPDUは、作業現場13の内側又は外側にあってもよい。位置決定ユニットPDUが機械内に存在する場合、位置決定ユニットPDUは、例えば、機械の制御ユニット11内に実装されてもよい。位置決定ユニットPDUが少なくとも1つの追跡装置TA内に存在する場合、追跡装置TAは、位置決定ユニットPDUの動作を実施するために必要な手段を備えるように構成される。
少なくとも1つの位置決定ユニットPDUが、任意の有線若しくは無線ネットワークによって到達可能なコンピュータ内若しくは少なくとも1つの追跡装置TA内に存在するか、又は少なくとも1つの位置決定ユニットPDUが、機械の制御ユニット内に存在しない場合、機械は、機械の場所及び向きに関するデータを取得する、制御ユニット11などの少なくとも1つの制御ユニットを備え、制御ユニットは、制御ユニットが作業現場13内の機械の決定された場所及び向きを受信する元となる少なくとも1つの位置決定ユニットPDUを選択するように構成される。
一実施例によれば、少なくとも1つの位置決定ユニットPDUは、機械によって取得されたデータを受信するための受信手段を含む。機械によって取得されたデータは、例えば、少なくとも1つのセンサSM(図1)によって取得されたデータ、すなわち、機械の位置及び/又は向き及び/又は傾斜及び/又は方位を決定するために機械に設置される可能性のある1つ又は複数のセンサSMによって取得されたデータに関するものでもよい。機械に設置される可能性のある1つ又は複数のセンサSMについては、後で詳細に説明する。
作業現場13内の機械の場所及び向きが決定されると、少なくとも1つのマーカ点MPが機械上に配置され、少なくとも1つの基準点RPが作業現場13内に配置される。方法は、追跡装置TAに対する基準点RPの場所を追跡することによって、また追跡装置TAに対するマーカ点MPの場所を追跡することによってデータを取得するために、作業現場13内に少なくとも1つの追跡装置TAを配置することをさらに含む。追跡装置TAによって取得されたデータは、追跡装置TAから位置決定ユニットPDUに送信される。位置決定ユニットPDUは、追跡装置TAから受信した取得データに少なくとも部分的に基づいて、作業現場13内の機械の場所及び向きを決定する。図4は、作業現場13内の機械の場所及び向きを決定するための方法の一実施例の概略図である。
作業現場13への追跡装置TAの設置は、追跡装置TAを作業現場13内に配置することによってのみ実施されてもよく、その後、追跡装置TA自体が、作業現場13内の少なくとも1つの基準点RP及び少なくとも1つのマーカ点MPを追跡するか又は見つけ、作業現場13内の少なくとも1つの基準点RP及び少なくとも1つのマーカ点MPの場所に関するデータを取得してもよい。したがって、一般に知られているタキメータ又は同様のデバイスとは異なり、追跡装置TAを作業現場13に正確に調整又は配置する必要はない。
基本的に、追跡装置TAは、追跡装置TAの動作範囲内にあるすべての基準点RP及びマーカ点MPを見つけるように構成される。作業現場13内に設定された基準点RP又はマーカ点MPがない場合、追跡装置TAは、少なくとも1つの基準点RPから及び/又は少なくとも1つのマーカ点MPからデータを取得することはできず、したがって、少なくとも1つの基準点RP及び/又は少なくとも1つのマーカ点MPの場所に関するそれぞれのデータを提供しない。追跡装置TAが作業現場13に配置されており、基準点RP及び/又はマーカ点MPを識別できない場合、追跡装置は、任意の知られている手段によってそれを信号で伝えてもよい。また、追跡装置は、任意の知られている手段によって、現在の場所から識別できる基準点及び/又はマーカ点MPの数を信号で伝えてもよい。したがって、作業現場に追跡装置TAを配置している人は、追跡装置TAを配置している場所の種類に関するフィードバックを得てもよい。フィードバックは、追跡装置TAの現在の位置によって到達可能な正確度レベルを示してもよい。
追跡装置TAが機械の場所及び向きを決定する際の支援を開始するための最小要件は、少なくとも1つの基準点RPを識別して追跡装置に対するその場所を追跡し、少なくとも1つのマーカ点MPを識別して追跡を識別して追跡装置に対するその場所を追跡し、追跡した基準点RPの識別及び追跡したマーカ点MPの識別に関するデータ、並びに追跡装置に関するそれらの追跡した場所を、少なくとも1つの位置決定ユニットPDUに送信することである。最小要件が満たされない場合、追跡装置TAはそれを示してもよい。
さらに、位置決定ユニットPDUは、追跡装置TAによって位置決定ユニットPDUに送信されるすべての情報に加えて、作業現場座標系WCS内で識別された基準点RPの場所情報を取得し、機械座標系MCS内で識別されたマーカ点MP場所の場所情報を取得する必要がある。作業現場座標系WCS内の基準点RP及び機械座標系MCS内のマーカ点MPに関する場所情報は、任意の知られている方法で位置決定ユニットPDUによって受信されてもよい。
機械の場所及び向きの決定を開始するために、位置決定ユニットPDUは追加情報を必要とする場合がある。必要な追加情報は、位置決定ユニットPDUが追跡装置TAから受信する情報の量に依存する。
したがって、追跡装置TAの配置に関して、追跡装置TAは、少なくとも1つの基準点RP及び少なくとも1つのマーカ点MPを識別できるように配置される必要がある。追跡装置TAを配置する人は、機械がまだ作業現場13に到着していないことを認識している可能性があるので、追跡装置TAがマーカ点MPを見つけることができないと通知した場合、その人はその情報を無視してもよい。或いは、何らかの一時的な障壁により、追跡装置TAが1つ又は複数の基準点RPを識別できず、追跡装置TAが基準点RPを識別できない状況につながる場合、人はその情報を無視し、一時的な障壁が取り除かれた後にのみ追跡が開始できることを認識してもよい。
測位システムPSの一実施例によれば、少なくとも1つの追跡装置TAは、追跡装置TAの位置及び/又は向き及び/又は傾斜及び/又は方位を決定するための、少なくとも1つのセンサSTA(図7)、すなわち1つ又は複数のセンサSTAを備える。追跡装置TAの位置及び/又は向き及び/又は傾斜及び/又は方位に関する情報を含むデータもまた、追跡装置TAによって取得されたデータであると見なされ、それにより、追跡装置によって取得されて位置決定ユニットPDUに通信されるデータは、追跡装置TAの位置及び/又は向き及び/又は傾斜及び/又は方位に関する情報を含むデータも含んでよい。
測位システムPSの一実施例によれば、機械は、機械の位置及び/又は向き及び/又は傾斜及び/又は方位を決定するための、少なくとも1つのセンサSM(図1)、すなわち1つ又は複数のセンサSMを備える。機械内のセンサには、機械の作業工具の向きの決定に関するセンサも含まれ得る。この実施例の効果は、例えば、機械と少なくとも1つの基準点RP及び/又はマーカ点MPとの間に発生する障害物が原因で、追跡装置TAと、作業現場13内の少なくとも1つの基準点RP及び/又は機械内の少なくとも1つのマーカ点MPとの間の視覚的通信が欠如している場合、機械は、それでもなお、機械の少なくとも1つのセンサSMによって取得された情報によって、少なくともしばらくの間その動作を継続できることである。機械は、例えば、追跡装置TAと少なくとも1つの基準点RP及び/又はマーカ点MPとの間に障害物が発生する前に位置決定ユニットPDUによって既に決定されたその現在の状態に留まり、機械に対する相対的な作業工具の位置を引き続き決定又は追跡してもよい。機械がその動作を継続することが可能であり得る期間は、現在のタスクに必要とされる正確度、並びに機械と少なくとも1つの基準点RP及び/又は少なくとも1つのマーカ点MPとの間に障害物が発生する前に追跡装置TAによって取得されたデータに依存する場合がある。この期間は、同様に、機械内の少なくとも1つのセンサSMがどれ程正確であるか、及びセンサSMがいくつあるかにも依存する。機械内のセンサが機械の作業工具の向きの決定に関するセンサも含み得ることに関連する別の効果は、1つ又は複数のマーカ点MPが、例えば、機械座標系MCSの原点が位置する機械の一部に固定的に連結されていない場所に存在する場合、位置決定ユニットPDUが、その場所が機械座標系MCSに対してどのように方向付けられたかに関する情報、又は追跡の正確な時間における機械座標系MCS内の問題としているマーカ点MPの場所に関する情報を必要とすることである。この種の場所は、例えば、図1のMP2が存在する掘削機1のブーム5から見つけることができる。
機械内及び/又は追跡装置TA内の1つ又は複数のセンサは、ジャイロスコープ、加速度計、傾斜計、磁気コンパス、衛星ベースのコンパス、角度センサ、位置センサ、振り子、水準測定装置(spirit level measuring device)、並びに、対象物及び/又は互いに取り付けられた1つ又は複数の対象物のうちの少なくとも1つの位置、場所、及び向きのうちの少なくとも1つを決定するという目的に適した、カメラ・センサ、レーザ受信機/検出器、又はライダなどの任意の他のセンサ、のうちの少なくとも1つでもよい。図8は、これらのセンサのいくつかを概略的に示す。例えば、掘削機1について考察する場合、本明細書における対象物という用語は、ブーム5、そのブーム部位5a、5b、及びバケット7などの作業工具を指す。掘削機1において、センサは、好ましくは、下部キャリッジ2a及び上部キャリッジ2bの相互の向き、並びにブーム5及び/又はその部位5a、5b、及びバケット7などの作業工具の、下部キャリッジ2a及び上部キャリッジ2bに対する相対的な向きを決定することが可能であるような方法で選択されることが好ましい。例えば、掘削機1について考察する場合、本明細書における対象物という用語は、追跡装置TA内の追跡デバイスTDの相互の向き、並びに追跡デバイスTD及びその可能なベースBの相互の向きを指す。
一実施例によれば、追跡装置TAはさらに、追跡装置TAの安定性に関するデータを取得する。追跡装置の安定性は、追跡装置によって取得されたデータの信頼性を表す。
追跡装置TAの安定性に関するデータを取得するための一実施例によれば、追跡装置TAは、追跡装置TAの安定性を決定するための少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度計を備える。少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度計は、例えば、追跡装置TAの揺動又は振動を決定するために使用されてもよく、追跡装置TAの揺動又は振動の量は、追跡装置TAの安定性を示し、この安定性が、追跡装置TAによって取得されたデータの正確度を表す。
追跡装置TAの安定性に関するデータを取得するためのさらなる実施例によれば、追跡装置TAの安定性は、少なくとも1つの基準点RPに関する追跡装置TAによって取得されたデータから連続して観察されてもよい。このような一実施例によれば、位置決定ユニットPDUは、例えば、追跡装置TAによって取得されたデータの変動を決定するように構成されてもよく、変動が顕著である場合、すなわち作業を実行するために必要とされる正確度よりも高い場合、基準点RP及び追跡装置TAの少なくとも一方が揺動又は振動していると仮定することができ、それにより、追跡装置TAによって取得されたデータの正確度が予想よりも低くなる可能性がある。顕著であることは、必要とされる現在の正確度に依存する可能性がある。特定の作業タスクの正確度は、例えば、作業現場13に対して設定されたビルディング・インフォメーション・モデル(BIM:building information modelモデル)において設定されてもよい。位置決定ユニットPDUは、例えば、ミリメートル及び/又は度で変動レベルを示してもよく、オペレータは、それを正確度の低下として考慮に入れてもよい。代替として、PDUは、追跡装置TAによって取得されたデータを分析し、オペレータに変動の原因を示してもよい。
一実施例によれば、追跡装置TAの追跡状態が、決定する対象になる。追跡装置TAの追跡状態は、追跡装置TAの現在の優勢な動作状態を表す。追跡装置TAの追跡状態は、追跡装置TAによって取得されたデータに基づいて決定されてもよい。追跡装置TAの動作は、少なくとも、優勢な状態の一段階ずつ、アクティブ、追跡、ポジティブ、保留、及び休止という状態を含んでもよい。図9は、追跡装置TAのいくつかの可能な追跡状態を概略的に示す。
追跡装置TAがアクティブ状態にあるとき、追跡装置TAは、基準点RP及びマーカ点MPの場所を追跡することによってデータを取得し、取得したデータを位置決定ユニットPDUに送信する。ただし、追跡装置TAは、取得したデータの正確度、信頼性、又は妥当性についてのいかなる指標も提供しない。
追跡装置TAが追跡状態にあるとき、追跡装置TAは、基準点RP及びマーカ点MPの場所を追跡することによってデータを取得するとともに、追跡装置TAに設置されたセンサSTAからデータを取得し、取得したデータを位置決定ユニットPDUに送信する。さらに、追跡装置TAは、例えば、上記で開示されたように、決定した正確度、及び/又は取得したデータの量に基づいて、追跡装置TAが作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に、すなわち正しく十分に追跡することが可能であることを能動的に認識する。代替として、追跡装置TAに設置されている(上記で開示された)センサSTAの量及び種類に基づいて、追跡装置TAが追跡状態にあると見なすことが可能であるように各状況で追跡できる基準点RP及び/又はマーカ点MPの最小量が決定されてもよい。したがって、少なくとも最小量の基準点RP及び/又はマーカ点MPが追跡される場合、追跡装置は追跡状態にあり、そうでない場合は何らかの他の状態にある。
追跡装置TAがポジティブ状態にあるとき、追跡装置TAは、基準点RP及びマーカ点MPの場所を追跡することによってデータを取得し、取得したデータを位置決定ユニットPDUに送信する。また、追跡装置TAは、追跡装置TAが正しく動作していることを認識するが、いくつかの理由により、追跡装置TAの正しい動作を確認することができない。理由の1つは、追跡状態にある間、追跡される基準点RPの最小量が満たされていないが、例えば、追跡される基準点RPが最小量を下回った状況の後に、追跡装置TAに設置されたセンサが、追跡装置TAの安定性がより低いレベルに変化していないことを確認できることである可能性がある。この種の状況に対する理由は、例えば、1つ又は複数の追跡される基準点RPと追跡装置TAとの間を人物が歩いていることである可能性がある。この種の状況が長すぎる場合、追跡状態はアクティブ状態であるか、又は、例えば誰かが追跡装置TAに接近して追跡装置TAを停止させたと見なされる。
追跡装置TAが休止状態にあるとき、追跡装置TAは、動作の休止中である。例えば、追跡装置TAが停止された可能性がある。
追跡装置TAが保留状態にあるとき、追跡装置TAは、その動作を初期化し、その状態を休止状態から追跡状態又はアクティブ状態に変更している。
一実施例によれば、追跡装置TAは、その追跡状態を決定するように構成され、追跡装置TAは、追跡状態及び/又は追跡状態の変化を位置決定ユニットPDUに送信するようにさらに構成される。したがって、追跡装置TAは、その状態を識別し、状態情報を送信するために必要なデータ処理手段を備えてもよい。
一実施例によれば、機械の場所ベースの特徴の利用可能性は、追跡状態に依存する。この実施例によれば、追跡装置TAの追跡状態によっては、機械に利用可能な位置データが全くないか、又は位置データが高精度を必要とする作業タスクに対して十分ではない可能性があり、それにより、必要な正確度が現在の利用可能な正確度を超える位置データを利用する必要がある作業タスクを実行することはできないが、依然として、利用可能な現在の正確度以下の正確度を必要とする何らかの他の作業タスクを実行できる場合がある。また、一部の作業タスクは、最小レベルの正確度で高い確実性を必要とする場合があり、したがって、追跡状態が追跡でない場合、これらの作業タスクは使用できない場合がある。或いは、機械が、位置決定ユニットPDUを支援する多くのセンサSMを有する場合、少なくとも、例えば少し前の期間の状態が追跡だった場合、アクティブ及びポジティブの追跡状態でも十分である可能性がある。
一実施例によれば、作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に追跡できる追跡正確度のレベルに到達する追跡装置TAの追跡状態は、a)追跡装置TAに対する少なくとも3つの基準点RPを追跡することによってデータを取得すること、b)追跡装置TAの傾斜に関するデータを取得することに加えて、追跡装置TAに対する1つから2つの基準点RPを追跡することによってデータを取得すること、及びc)追跡装置TAに対する少なくとも4つの衛星の場所を決定することによってデータを取得することのうちの少なくとも1つによって決定されてもよい。
したがって、一実施例によれば、作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に追跡できる追跡正確度のレベルに到達する追跡装置TAの追跡状態は、追跡装置TAに対する少なくとも3つの基準点RPを追跡することによってデータを取得することによって決定されてもよい。これらの基準点は、3次元で観察される1本の線上にあってはならない。基準点RPが3次元空間の1本の線から離れるほど、正確度が向上する。追跡装置TAが追跡装置TAの傾斜を決定するためのセンサSTAを備えていない場合、作業現場座標系内の機械を追跡できるレベルに到達するために必要なデータが利用可能であるように、3次元空間の1本の線上にない少なくとも3つの基準点RPが必要である。上記で説明したように、この状態を、追跡と名付けることができる。
追跡装置TAに対する少なくとも3つの基準点RPを追跡することによってデータを取得すること加えて、又はその代替として、作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に追跡できる追跡正確度のレベルに到達する追跡装置TAの追跡状態は、追跡装置TAの傾斜及び追跡装置TAから北への方向のうちの少なくとも一方に関するデータを取得することに加えて、追跡装置TAに対する2つの基準点RPを追跡することによってデータを取得することによって決定されてもよい。したがって、この実施例では、追跡装置TAの傾斜情報及び/又は追跡装置TAから北への方向は、例えば上記で説明したような何らかの手段によって取得され、それにより、作業現場座標系WCS内の機械を追跡できるレベルに到達する追跡装置TAの追跡状態を決定するには、2つの基準点RPのみの追跡で十分になる。
2つの基準点RPを追跡するのに追跡装置TAの傾斜が使用される場合、基準点が、地球の重力場に対して上下に又は平行に存在してはならず、基準点がその状態の場合、北への方向は未解決のままであることに留意されたい。したがって、この場合、基準点が上下にある状態から離れる(角度で測定される)ほど、又は垂直であるほど、正確度が向上する。
さらに、2つの基準点RPを追跡するのに追跡装置TAから北への方向が使用される場合、基準点は、地球から同じ高さ、すなわち地球の重力場に対して同じ平面に存在してはならならず、基準点がその状態の場合、追跡装置TAの傾斜は未解決のままであることに留意されたい。したがって、この場合、基準点RPが地球から同じ高さにある、すなわち地球の重力場に対して同じ平面にある状態から離れている(角度で測定される)ほど、又は平行であるほど、正確度が向上する。
追跡装置TAに対する少なくとも3つの基準点RPを追跡することによってデータを取得すること、並びに/若しくは、追跡装置TAの傾斜及び追跡装置TAから北への方向のうちの少なくとも一方に関するデータを取得することに加えて、追跡装置TAに対する2つの基準点RPを追跡することによってデータを取得すること、に加えて、又はその代替として、作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に追跡できる追跡正確度のレベルに到達する追跡装置TAの追跡状態は、追跡装置の傾斜に関するデータを取得すること、及び追跡装置から北への方向に関するデータを取得することに加えて、追跡装置TAに対する1つの基準点RPを追跡することによってデータを取得することにより決定されてもよい。したがって、この実施例では、追跡装置TAの傾斜情報及び追跡装置TAから北への方向は、例えば上記で説明したような何らかの手段によって取得され、それにより、作業現場座標系WCS内の機械を追跡できるレベルに到達する追跡装置TAの追跡状態を決定するためには、1つの基準点RPのみの追跡で十分である。
追跡装置TAに対する少なくとも3つの基準点RPを追跡することによってデータを取得すること、並びに/若しくは、追跡装置TAの傾斜及び追跡装置TAから北への方向のうちの少なくとも一方に関するデータを取得することに加えて、追跡装置TAに対する2つの基準点RPを追跡することによってデータを取得すること、並びに/若しくは、追跡装置の傾斜に関するデータを取得すること、及び追跡装置から北への方向に関するデータを取得することに加えて、追跡装置TAに対する1つの基準点RPを追跡することによってデータを取得すること、に加えて、又はその代替として、作業現場座標系WCS内の任意の種類の点及び/又はスポットを正確に追跡できる追跡正確度のレベルに到達する追跡装置TAの追跡状態は、追跡装置TAに対して少なくとも4つの衛星の場所を決定することによってデータを取得することにより決定されてもよい。この実施例では、追跡装置TA内の少なくとも2つのアンテナ12が、追跡装置TAに対する少なくとも4つの衛星の場所を決定する。図7では、右側に、2つのアンテナ12を備えた追跡装置TAを概略的に示している。衛星が4つ未満の場合、追跡装置TAが3つ以上のアンテナ12を備えない限り、取得データは正確な情報を提供しない。この実施例では、作業現場内のすべての機械に少なくとも2つのアンテナ12を装備する代わりに、追跡装置TAが、少なくとも2つのアンテナ12を装備していてもよい。さらに、追跡装置TAが少なくとも2つのアンテナ12を装備しているこの実施例に関して、少なくとも2つのアンテナ12のうちの少なくとも一方は、作業現場13内に存在してもよい。この実施例では、作業現場13内に存在するアンテナ12は、例えば、追跡装置TAの追跡デバイスTDのうちの少なくとも1つを使用することによって、追跡装置TAに対して関して光学的に配置される必要がある。
追跡装置TAが作業現場座標系WCS内の機械を追跡できるレベル、すなわち追跡状態に到達することに関する上述の実施例によれば、そのレベルに到達した後、どの時点においても最小要件が満たされているとは限らないが、追跡装置TAがその安定性を維持していると追跡装置TAが判断できる場合、レベルはそのままであってもよい。同様に、上述の実施例によれば、追跡状態が変化したかどうか、又は追跡状態が保留状態若しくは休止状態にあるかどうかを検出することが可能である。
一実施例によれば、追跡装置TAに対する1つ又は複数の基準点RPの場所を追跡することによってデータを取得することは、半自動的に及び/又は自動的に1つ又は複数の基準点RPの初期の場所を識別することを伴う。
1つ又は複数の基準点RPの初期の場所が半自動的に識別されると、オペレータ10は、作業現場13で少なくとも1つの基準点RPを見つけ、追跡装置TAを少なくとも1つの基準点に焦点を合わせるように誘導する。代替として、オペレータ10は、追跡装置TAを少なくとも1つの基準点RPを含む領域に向けてもよく、追跡装置TA自体が、作業現場13で少なくとも1つの基準点RPを識別し、少なくとも1つの基準点RPに焦点を合わせる。オペレータ10は、例えば、基準点RPのメニュー又はデータベース内で少なくとも1つの基準点RPを選択して、特定の少なくとも1つの識別された基準点RPとしてもよく、又は測位システムPS自体が、基準点RPのメニュー又はデータベース内で少なくとも1つの基準点RPを識別する。基準点RPのメニュー又はデータベースは、例えば、クラウド・サービスから掘削機1の制御ユニット11の中へ取り出されてもよく、それにより、これらは、少なくとも1つの位置決定ユニットPDUによって掘削機1から検索可能になる。
1つ又は複数の基準点RPの初期の場所が自動的に識別されると、追跡装置TA自体が、作業現場13で必要な数の基準点RPを識別し、それらに作業現場情報を含むデータベース内の情報を割り当てる。
1つ又は複数の基準点RPの初期の場所の半自動的及び/又は自動的な識別は、掘削機1の制御ユニット11によって、及び/又は追跡装置TAによって、及び/又は位置決定ユニットPDUによって制御されてもよい。1つ又は複数の基準点RPの初期の場所の識別は、位置決定ユニットPDUが正しく動作できるように、基準点RPを位置決定ユニットPDUに個別化し、識別された各基準点RPに関する場所情報を検索するために実施される。作業現場13内の各基準点RPに関する場所情報は、無線若しくは有線のI/Oデバイスを使用して入力されてもよく、且つ/又は、作業現場コンピュータ、クラウド・サービス、及び/若しくは任意の有線若しくは無線ネットワークによって到達可能な任意のコンピュータ若しくはメモリ媒体などの任意の既知の場所から検索されてもよい。
一実施例によれば、追跡装置TAはさらに、取得データに基づいて追跡装置TA自体の場所及び向きを決定し、追跡装置TAから少なくとも1つの位置決定ユニットPDUに送信される取得データは、少なくとも、追跡装置TAの場所及び向きのデータ、少なくとも3つのマーカ点MPに関する追跡データ、及び追跡装置TAの追跡状態を決定することができるデータを含む。追跡装置TAは、例えば上記に開示されたセンサを用いて、その場所及び向きを決定することが可能であってもよい。その後、位置決定ユニットPDUは、追跡装置から位置決定ユニットPDUに送信された取得データに基づいて、機械の場所及び向きを決定する。この実施例は、センサを1つも備えていないか、又は機械の位置及び向きを決定することに関する少数のセンサのみを中に備え、位置決定ユニットPDUを備える機械で使用するのに適している。機械、特にその中の位置決定ユニットPDUは、本明細書に開示された機能に基づいて、機械の場所及び向きを決定し、且つ決定された場所及び向きの正確度を決定することが可能なデータを十分に受信する。この実施例によれば、追跡装置TAは、それ自体の位置を事前に決定するので、その場所及び向きが決定されることに基づいて即座にデータについて認識する必要はない。さらに、この実施例によれば、追跡装置TAは、他の追跡装置TAへの一時的な基準点として使用されてもよい。この場合、一時的な基準点は、いくつかの一般的に知られている手段によって、一時的な基準点としていつ使用できるかを示すべきである。したがって、追跡装置は、少なくとも1つの一時的な基準点を含むそれぞれの一時的な基準マーカを含んでもよく、したがって、場所情報が利用可能であるべきであり、同様に、上記に開示された各基準点RPに関する場所情報も利用可能である。
一実施例によれば、位置決定ユニットPDUはさらに、機械の決定された場所及び向きの正確度レベルを決定し、機械は、決定された正確度レベルに基づいて、次の選択肢、すなわち、a)現在の正確度レベルで選択され得る動作モードを有効にすること、b)現在の正確度レベルが、選択した機械の動作モードに関する閾値レベル未満及び/又は閾値レベルを下回っている状態であるかどうかをオペレータに示すこと、並びに、c)機械のより正確な場所及び向きを必要とする動作モードを無効にすること、のうちの少なくとも1つを提供する。この実施例によれば、機械の動作モード、すなわち機械の作業タスクは、機械で特定の作業タスクを実行するために必要な機械の場所及び向きの正確度に基づいて分類されてもよい。機械の現在の場所又は向きの正確度が、特定の作業タスクを実行するのに十分な高さではない場合、場所及び向きの正確度が十分に高くなるまで機械にその特定のタスクを実行させないか、又は、場所及び向きの正確度がこの作業タスクで必要な閾値レベルを超えていないため、その特定の作業タスクが記録されない、及び/又は完了したと見なされない可能性があることを、少なくともオペレータが通知されてもよい。取得された基準点RP及びマーカ点MPのデータが多いほど、場所の正確度は高いと見なされ、データが新しいほど、取得データの汎用性が高まる。場所の正確度は、同様に、上記で開示されているように、データが取得される基準点RP及びマーカ点MPが互いにどれだけ接近しているか、並びに、これらの基準点RP及びマーカ点MPの互いに対する場所、並びに、傾斜及び/又は北への方向など、どのようなセンサ情報が追加で利用可能であるかに依存する。
基準点RP及びマーカ点MPに関する場所及び向きのデータがどちらも、追跡装置TAに実質的に近い場合、また追跡装置TAから実質的に遠くに離れている場合、取得された基準点RP及びマーカ点MPのデータは、汎用性がある。基準点RP及びマーカ点MPのデータを含む情報に加えて、測位の正確度は、機械及びその中のセンサから受信されるような機械の安定性及び傾斜に関する利用可能な情報に依存する場合がある。
測位システムPSの一実施例によれば、少なくとも1つの追跡装置TAは、少なくとも1つのタキメータを備え、少なくとも1つのマーカ点MPは、タキメータによって検出され得るプリズム又はタグである。さらに、この実施例によれば、機械は、少なくとも1つのマーカ点MPに対して既知の位置にある少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度センサを備え、少なくとも1つの位置決定ユニットPDUは、少なくとも1つのマーカ点MPに対する少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度センサの位置に関するデータを受信するための、また、少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度センサからデータを受信するための受信手段をさらに備える。機械内のジャイロスコープは、機械の向きの変化、状況によっては北への方向に関する情報を提供し、ジャイロスコープは、例えば、下部キャリッジ2aに対する上部キャリッジ2bの数回の回転によって、掘削機1の上部キャリッジ2bの向きを学習することが可能である。機械内の加速度センサは、地球の重力場の方向に関する情報、すなわち、機械の傾斜に関する情報を提供する。したがって、この実施例では、ジャイロスコープ及び/又は加速度センサからのデータも利用可能であり、このデータは、タキメータの動作サイクル間の機械の場所及び向きの変化を定義するために使用されてもよい。
作業現場13内の機械の場所及び向きを決定するための方法の一実施例によれば、作業現場13には、少なくとも1つの基準点RPが配備され、方法は、追跡装置TAを機械上に設置することと、追跡装置TAを用いて、追跡装置TAに対する作業現場13内の少なくとも1つの基準点RPの場所を決定することによって機械を追跡することと、追跡に関するデータを追跡装置TAから位置決定ユニットPDUに送信することと、位置決定ユニットPDUによって、追跡装置TAから受信したデータに少なくとも部分的に基づいて作業現場13内の機械の場所及び向きを決定することとを含む。この実施例によれば、掘削機1などの機械自体に、追跡装置TAに対する作業現場13内の少なくとも1つの基準点RPの場所を決定することによって機械を追跡するように構成された追跡装置TAが設けられる。図10は、追跡装置TAが設けられた機械を伴う作業現場13の概略上面図であり、追跡装置TAの追跡デバイスTDと基準マーカRMの基準点RPとの間に、視覚的接続TD_RPがある。図11は、作業現場13内の機械の場所及び向きを決定するためのこの実施例による方法の概略図である。この実施例では、機械に再取り付けされた追跡装置TAが以前に取り付けられたときと同じ位置及び向きに存在することを検証する際、機械に設定されるように意図されたマーカ点MPが省略されてもよく、又は、機械座標系MCS内で既知の1つ又は複数のマーカ点MPが使用されてもよく、したがって、1日の作業後に追跡装置TAを取り外すことが可能になる。
一実施例によれば、追跡デバイスTDは、ライダでもよく、ライダは、機械式ライダ又はソリッド・ステート式ライダでもよい。ソリッド・ステート式ライダの視野は機械式ライダと比べて狭いため、特定の用途に必要なソリッド・ステート式ライダの数は、機械式ライダの数よりも多くなる可能性がある。しかしながら、必要なソリッド・ステート式ライダの数が多くなる可能性がある場合、ソリッド・ステート式ライダの価格が機械式ライダの価格と比べて著しく低いことにより相殺されることになる。
追跡デバイスTDがライダである場合、それぞれの基準点RPは、ライダが基準点RPを検出できるように選択される。基準点RPは、例えば、いくつかのボール、すなわち1つ又は複数のボールを含んでもよい。単一の基準マーカRMが基準点RPとして単一のボールを含む場合、作業現場13の異なる基準マーカRMは、他の基準マーカRMについて異なるサイズのボールを含んでもよく、これにより、各基準マーカRM及び対応する基準点RPは、他の基準マーカRM及びその中のそれぞれの基準点RPについて一意である。それぞれの基準点RPを形成するボールの直径は、例えば、5cm、10cm、15cm、…、又は2cm、4cm、6cm、8cm、…、又は3cm、6cm、9cm、12cm、…などであるように選択されてもよい。ボールのサイズ及びそれらの相互の直径の差は、作業現場13内の追跡デバイスTDと基準点RPとの間の実際の距離に基づいて選択されてもよい。
一実施例によれば、作業現場13にいくつかの基準マーカ及びそれぞれの基準点RPがある場合、基準点RPがその他の基準点RPと区別され得るように各基準点RPを一意にするために、各基準点RPは、同じサイズであるが異なる配置構成のいくつかのボール、又は同じ若しくは異なる配置構成で異なるサイズのいくつかのボールを含んでもよい。
一実施例によれば、作業現場13にいくつかの基準マーカRM及びそれぞれの基準点RPがある場合、各基準点RPをその他の基準点RPと区別するために、各基準点RPは、同じサイズのいくつかのボールと、それに加えて、異なるサイズのいくつかのボール、すなわち1つ又は複数のボールとを備えてもよい。基準点RPは、異なるサイズの1つ又は複数のボールの代わりに、基準点に適用されるコードによって互いに区別されてもよい。コードは、例えば、適切なセンサによって機械可読でもよく、又は、コードは、適切なメニュー若しくはデータベースに手動で格納されてもよく、それにより、作業現場13での特定の基準点RPの場所が、コードに基づいて決定されてもよい。基準点RPのコード及びそれぞれの基準点RPの場所は、測位システムPSが、最初に基準点を正常に測位した後でも実質的に中程度の正確度レベルで基準点を互いに区別することができるように測位システムPSに対して指示されてもよく、その測位システムPSの位置合せを変更するたびに基準点を再び測位する必要がなくなる。
方法の一実施例によれば、機械に追跡装置TAが設けられ、方法は、機械座標系MCS内の追跡装置TAの場所及び向きを決定することによって追跡装置TAの追跡状態を初期化することをさらに含む。この実施例によれば、追跡装置TAは、追跡装置TAを機械上に設置し、追跡装置TAが機械に対するその相対的な位置を確認又は検証できるようにすることによって、導入されてもよい。
方法の一実施例によれば、機械に追跡装置TAが設けられ、方法は、追跡装置TAから受信したデータによって達成される機械の場所及び向きに関する現在の正確度レベルを、位置決定ユニットPDUによって指示することをさらに含む。追跡装置TAから受信したデータによって達成される機械の場所及び向きに関する正確度レベルにより、正確度レベルが低い場合、正確度レベルが十分な高さではない限り、高い正確度レベルを必要とする作業タスクが実行されないか、又は実行が終了するようにさせてもよい。
方法の一実施例によれば、機械に追跡装置TAが設けられ、方法は、達成されるべき、すなわち事前に決定された最小閾値レベルを超えるべき機械の場所及び向きに関する正確度レベルを決定することと、位置決定ユニットによって機械の場所及び向きに関するより高い正確度レベルの必要性を検出することと、位置決定ユニットによって、追跡装置から追加の追跡データを取得することとをさらに含む。この実施例によれば、達成されるべき機械の場所及び向きに関する正確度レベルは、機械によって実行すべき特定の作業タスクに基づいて、又はオペレータから提供された情報に基づいて、例えば、機械の制御ユニット、位置決定ユニットPDU、又は、例えばクラウド・サービス内若しくは作業現場内に存在するビルディング・インフォメーション・モデリング(BIM)モデルによって、例えば最小閾値レベルとして決定されてもよい。その後、位置決定ユニットPDUは、機械の場所及び向きに関するより高い正確度レベルの必要性を検出し、追跡装置TAから追加の追跡データを取得してもよい。追加の追跡データは、追跡装置TAから半自動的に及び/又は自動的に取得されてもよい。
追跡装置TAから追加の追跡データを取得することは、追跡装置TAが少なくとも1つの基準点RPを検出する必要があることをオペレータ10に指示すること、追跡装置TAが別の基準点RPを検出する必要があることをオペレータに指示すること、及び追跡装置TAが少なくとも1つのさらなる基準点RPを検出する必要があることをオペレータに指示することのうちの少なくとも1つ提供するように位置決定ユニットPDUを構成することを含み、これによりオペレータは、その指示に従って機械を動作させてもよい。したがって、追跡装置TAから追加の追跡データの取得することは、追跡装置TAが基準点RPを検出できない場合に、少なくとも1つの基準点RPの場所及び向きから情報を検索すること、又は、追跡装置TAによって既に追跡されている基準点RPが、作業現場13内の機械の場所及び向きを十分に正確に決定するのに十分な情報を提供できない場合に、少なくとも1つの追加の基準点RPの場所及び向きから情報を検索することを含む。
追跡装置TAから追加の追跡データを半自動的に取得するための方法の一実施例によれば、追跡装置TAの機械上への設置は、調整可能ベースB上の機械上に追跡装置TAを設置することを含み、これによりオペレータ10は、位置決定ユニットPDUから受信した指示に従って調整可能ベースBを動作させてもよく、調整可能ベースBの各動作の後、機械座標系MCS内で追跡装置TAの場所及び向きを決定することによる追跡装置TAの追跡状態の初期化が行われる。この実施例によれば、オペレータ10は、調整可能ベースBを動作させることによって追跡装置TAを調整して、追跡装置TAによって追跡されることを意図した少なくとも1つの基準点RPを見つけるか、又は位置特定してもよい。
追跡装置TAから追加の追跡データを自動的に取得するための方法の一実施例によれば、追跡装置TAの機械上への設置は、調整可能ベースB上の機械上に追跡装置TAを設置することを含み、追跡装置TAからの追跡データは、追跡装置TA及び位置決定ユニットPDUのうちの少なくとも一方によって調整可能ベースBを制御することによって自動的に取得される。この実施例によれば、追跡装置TA及び位置決定ユニットPDUのうちの少なくとも一方は、追跡装置TAが、追跡されることを意図した少なくとも1つの基準点RPを見つけるか、又は位置特定できるように、調整可能なベースBを調整するように構成される。
方法の一実施例によれば、機械に追跡装置TAが設けられ、方法は、1つ又は複数の追加の追跡装置TAを作業現場13に設置し、機械に、機械座標系MCS内で既知の少なくとも1つのマーカ点MPを配備することと、1つ又は複数の追加の追跡装置TAによって、それぞれの1つ又は複数の追加の追跡装置TAに対する基準点RP及びマーカ点MPの場所を追跡することによってデータを取得することと、取得したデータを1つ又は複数の追加の追跡装置TAから少なくとも1つの位置決定ユニットPDUに送信することと、位置決定ユニットPDUによって、追跡装置及び1つ又は複数の追加の追跡装置のうちの少なくとも1つから受信したデータに少なくとも部分的に基づいて、作業現場座標系WCS内の機械の場所及び向きを決定することとをさらに含む。言い換えれば、この実施例では、1つ又は複数の追加の追跡装置TAは、作業現場13に設置され、1つ又は複数の追加の追跡装置TAによって追跡されることを意図した少なくとも1つのマーカ点MPは、機械に設置される。図12は、第1の追跡装置TA1を備えた機械と、第2の追跡装置TA2を備えた作業現場13とを伴う、作業現場13の概略上面図であり、機械上に設置された第1の追跡装置TA1内の第1の第1の追跡デバイスTD1と、作業現場13内の基準マーカRMにある基準点RPとの間に、視覚的接続TD1_RPがあり、作業現場13内に設置された第2の追跡装置TA2内の第2の追跡デバイスTD2と、機械内に設置されたマーカMAにあるマーカ点MPとの間に、視覚的接続TD2_MPがあり、作業現場13内に設置された第2の追跡装置TA2内の第2の追跡デバイスTD2と、作業現場13内の基準マーカRMにある基準点RPとの間に、TD2_RPがある。
1つ又は複数の追加の追跡装置TAを含む方法の一実施例によれば、機械座標系MCS内の追跡装置TAの場所及び向きの決定は、追加の追跡装置TAのうちの1つを使用して決定されてもよい。この実施例によれば、機械内に設置された追跡装置TAの場所及び向きの決定は、追加の追跡装置TAのうちの1つを使用して、機械座標系MCS内で決定されてもよい。
特に作業現場13内の機械の場所及び向きを決定するためのいくつかのアプリケーションが上記で提示されている。作業現場13の様子又は状態についての価値のある知識を取得するために、作業現場13の一部の区域にある又は作業現場の全区域にあるなど、作業機械に近い場合又は作業機械から遠く離れている場合のいずれにおいても、作業現場13における状況認識を決定するために、追加の手段が、作業現場13内の機械の場所及び向きの決定と組み合わされてもよい。作業現場13における状況認識は、作業現場13内の作業機械の場所及び向きに関する知識、任意の他の作業機械の場所及び向きに関する知識、作業現場内で存在している及び/若しくは移動している材料、工具、人、動物、又は任意の対象物に関する知識、並びに作業現場13の様子又は状態に関する知識である。機械内に存在する機器は、作業現場13内の作業機械の場所及び向きを正確に知らなければ、作業現場若しくはその一部の現在の様子又は状態を決定できないおそれがあり、それにより、作業現場又はその一部における状況認識を決定できないおそれがある。一方、作業現場の様子又は状態に関する状況認識が正確に決定されている場合、機械は、その情報を使用して、作業現場内の機械自体の場所及び向きを正確に決定することを支援することができる。以下の実施例では、作業現場13における状況認識を決定するための解決策が提示されており、作業現場13内の機械の場所及び向きの決定は、作業現場13の現在の様子又は状態に関する知識を説明する情報も使用することによって機械を制御する際に使用されてもよい。また、機械の決定された場所及び向きに関するデータは状況認識として他者が利用可能であり得るので、機械の場所及び向きを決定することは、何らかの他の機械、対象物、又は人に対する状況認識の重要な部分である可能性がある。
作業現場13における状況認識を決定するための方法の一実施例によれば、少なくとも1つの環境モデリング装置EMは、機械上又は機械の外部のうちの少なくとも一方に、すなわち機械上及び/又は機械の外部に設定される。さらに、少なくとも1つの追跡装置TAは、機械上又は機械の外部のうちの少なくとも一方に、すなわち、機械上及び/又は機械の外部に設定される。その後、少なくとも1つの追跡装置TA及び少なくとも1つの環境モデリング装置EMによってデータが取得される。少なくとも1つの追跡装置TAに関連するデータ及び少なくとも1つの環境モデリング装置EMに関連するデータは、少なくとも1つの位置決定ユニットPDUによって受信される。受信したデータに少なくとも部分的に基づいて、作業現場13内の機械の場所及び向きが、少なくとも1つの位置決定ユニットPDUによって決定される。そのような実施例は、図13、図14、及び図15に概略的に示されており、図13は、第4の作業現場13の概略上面図であり、図14は、作業現場13における状況認識も決定するための測位システムPSのいくつかの構成要素を概略的に示し、図15は、作業現場13における状況認識を決定するための方法のいくつかのステップを概略的に示す。少なくとも1つの追跡装置及び/又は少なくとも1つの環境モデリング装置に関連するデータが、1つ又は複数の機械の1つ又は複数の位置決定ユニットPDUによって使用されてもよく、それにより、1つの機械に配置された少なくとも1つの追跡装置及び/又は少なくとも1つの環境モデリング装置が、少なくとも1つの別の機械によって活用又は利用されてもよいことに留意されたい。
図13は、機械を伴う第4の作業現場13の概略上面図であり、機械は、掘削機1であり、第1の追跡装置TA1が設けられ、作業現場13には、第2の追跡装置TA2が設けられ、その結果、機械上に設定された第1の追跡装置TA1内の第1の追跡デバイスTD1と、作業現場13内に設定された基準マーカRMにある基準点RPとの間に、視覚的接続TD1_RPがあり、作業現場13内に設定された第2の追跡装置TA2内の第2の追跡デバイスTD2と、機械内に設定されたマーカMAにあるマーカ点MPとの間に、視覚的接続TD2_MPがあり、同様に、作業現場13内に設定された第2の追跡装置TA2内の第2の追跡デバイスTD2と、作業現場13内に設定された基準マーカRMにある基準点RPとの間に、視覚的接続TD2_RPがある。第1の追跡装置TA1は、機械上に設定された追跡装置を表し、第2の追跡装置TA2は、機械の外部に設定された追跡装置を表す。図13の実施例では、第2の追跡装置TA2は、作業現場13内に設定されているが、第2の追跡装置TA2は、別の機械上に設定される可能性もあり、それにより場合によっては、作業現場13内で移動可能である可能性もある。図13の実施例では、追跡装置TA1、TA2は、作業現場13内の機械の場所及び向きの決定のためのデータを取得するように配置される。一実施例によれば、追跡装置TA1、TA2のうちの一方だけが利用可能である可能性もある。
図13の実施例は、いくつかの環境モデリング装置EMも含む。より具体的には、第1の環境モデリング装置EM1、及び第2の環境モデリング装置EM2がある。第1の環境モデリング装置EM1は、機械上に設定される。第2の環境モデリング装置EM2は、機械の外部にあり、作業現場13内に設定されるが、第2の環境モデリング装置EM2は、別の機械上に設定される可能性もあり、それにより場合によっては、作業現場13内で移動可能である可能性もある。一実施例によれば、環境モデリング装置EM1、EM2のうちの一方だけが利用可能である可能性もある。環境モデリング装置EM1、EM2は、作業現場13又はその一部に関連するデータを取得するように配置される。このデータは、少なくとも部分的に、機械又は作業現場13内の任意の他の機械の場所及び向きの決定に使用されてもよい。
図13の実例では、第1の環境モデリング装置EM1は、第1の環境モデリング装置EM1と第1の対象物OB1との間の第1のデータ取得接続EM1_OB1を介して、作業現場13内の第1の対象物OB1に関連するデータを取得するように配置される。第1の環境モデリング装置EM1はまた、第1の環境モデリング装置EM1と第2の対象物OB2との間の第2のデータ取得接続EM1_OB2を介して、作業現場13内の第2の対象物OB2に関連するデータを取得するように配置される。第2の環境モデリング装置EM2もまた、第2の環境モデリング装置EM2と第2の対象物OB2との間の第3のデータ取得接続EM2_OB2を介して、作業現場13内の第2の対象物OB2に関連するデータを取得するように配置される。それぞれのデータ取得接続は、図13において円錐形で概略的に示されている。少なくとも1つの環境モデリング装置EM1、EM2によって取得されたデータは、作業現場13又はその一部の現在又は現時点の状態を描写する作業現場13のモデルを提供するために使用される。モデルは、作業現場13の現在又は現時点の状態を説明するデータが利用可能である、ジオリファレンス済み空間データ・モデルであり、又は後でモデルとしても言及され得る。
一実施例によれば、少なくとも1つの基準点及び/又は少なくとも1つのマーカ点が追跡され得る場合、及び/又は作業現場の若しくは作業現場に関連する空間データとしての周囲区域が同じデバイスを用いて検出され得る場合においては、少なくとも1つの追跡装置TA及び少なくとも1つの環境モデリング装置EMは、データ取得を提供する実際のデバイスに応じて、ステレオカメラなどの同一のデバイスであってもよい。基準点及び/又はマーカ点を追跡することは、作業の又は作業に関連する空間データとして周囲区域を検出すること、及び保存すべきと見なされる検出された空間データの部分をモデルに保存することと同時に且つ/又は異なる時間に実行されてもよい。
環境モデリング装置EM1、EM2は、モデリング又は追跡デバイスとして、例えば、カメラ、ステレオカメラ、ライダ、レーダ又はタキメータを備えてもよい。したがって、環境モデリング装置によって提供されるような、環境モデリング装置とそれぞれの対象物との間のデータ取得接続は、視覚的又は非視覚的であってもよい。例えば、少なくとも1つの追跡装置TA及び/若しくは少なくとも1つの環境モデリング装置EMによって取得されたデータを使用することによる機械の場所及び向きの決定が、防止される若しくは信頼できないと見なされる場合に、機械の場所及び向きの決定を維持及び改善するために、又は、例えば、機械の意図された移動及び/若しくは意図しない移動を決定するために有用な追加情報を提供するために、例えば、環境モデリング装置の角速度及び/若しくは向き、並びに/又はそれに影響を与える力を決定するために、環境モデリング装置と組み合わせて、例えば、加速度計、ジャイロスコープ、若しくは磁力計、又は上記に開示された何らかの他のセンサのうちの少なくとも1つを備える慣性測定ユニットも適用されてもよい。さらに、環境モデリング装置EMは、情報を受信すること及び/若しくは送信することを可能にする入出力ユニットなどの手段を備えるか又はその手段に接続される。
第1の対象物OB1及び第2の対象物OB2は、機械の動作を制御するときに影響を与え得る又は考慮され得る、作業現場13内の対象物である。したがって、これらは、機械の制御に対する何らかの影響を有し得るだけの対象物、又は機械によって実行される動作によってアクティブに影響を受け得る対象物であってもよい。対象物OB1、OB2は、作業現場13における、機械によって実行されるアクティブな作業が行われる予定の作業現場13の一部分に位置してもよい。代替として、対象物OB1、OB2の少なくとも1つは、機械によって実行されるアクティブな作業が行われる予定の作業現場13の一部分の外側の作業現場13にあるが、それでもやはり、機械によって実行される作業に対する何らかの間接的な影響を有し得る部分、及び/又は、機械によるアクティブな作業が行われる予定の作業現場13のその部分において機械によって実行される作業によって間接的に影響を受け得る部分に位置してもよい。したがって、対象物は、作業現場13内の定位置に置かれたままであるように意図された岩、岩盤、若しくは建造物などの固定された恒久的な対象物である対象物、又は作業現場13から移されるように意図された対象物、又は作業現場13内で建設中である対象物、又は単に地面の表面形状であってもよい。代替として、対象物は、問題となる建設作業において使用されるべき材料など、作業現場13のある場所に一時的にのみ設定されているが、後で別の場所へ移されることになる対象物であってもよい。対象物はまた、少なくとも1つの追跡装置及び/又は少なくとも1つの環境モデリング装置のいずれかによって追跡される基準マーカRM又はマーカMAなど、機械のための測位システムPSの一部を形成する対象物であってもよい。作業現場13内には、監視又は追跡されるこれらの対象物がいくつも存在してもよい。状況認識の決定のために、これらの対象物の現在の又は現時点の状態及びその進捗は、環境モデリングを提供する機器又は装置によってモデル化されてもよい。
図14は、図13及び図15の実施例において適用された測位システムPSの実施例を概略的に示す。本明細書において適用される測位システムPSは、図3に示されるものと実質的に類似しているが、環境モデリング装置EM、及びいくつかの環境モデリング装置EMのための中央ユニットを提供する環境モデリング・ユニットEMUなど、状況認識の決定に関連する構成要素をさらに含む。
少なくとも1つの追跡装置TAは、特に、作業現場13内の機械の場所及び向きの決定に関連するデータを取得するように配置される。少なくとも1つの追跡装置TAに関連するデータは、位置決定ユニットPDUにおいて、少なくとも1つの追跡装置に関連するデータを受信するための受信手段によって受信される。少なくとも1つの追跡装置TAに関連するデータは、例えば、追跡装置TAによって取得されたデータ、並びにそれぞれの少なくとも1つの追跡装置TA自体の傾斜及び/又は方位及び/又は位置情報に関連するデータを含んでもよく、そのデータは、機械によって、機械自体の場所及び/又は向きを決定するために利用されてもよい。少なくとも1つの追跡装置に関連するデータについては、本明細書において後でより詳細に考察する。
同様に本明細書において後でより詳細に考察する、少なくとも1つの環境モデリング装置EMに関連するデータは、少なくとも1つの環境モデリング装置EMによって取得されたデータ、並びに/又は、それぞれの少なくとも1つの環境モデリング装置EM自体の傾斜及び/若しくは方位及び/若しくは場所情報、並びに/又は、作業現場に関する利用可能な以前のデータを含んでもよい。作業現場に関する利用可能な以前のデータは、例えば、ビルディング・インフォメーション・モデル(BIMモデル)、又は作業現場の若しくは作業現場に関連する空間データ、又は上記のデータの組合せであってもよい。作業現場の若しくは作業現場に関連する空間データ、又はジオリファレンス済み空間データは、例えば、作業現場若しくはその一部の現在若しくは現時点の状態を説明するデータ、又はより一般には、作業現場13若しくは地球のうちの少なくとも一方に関連する場所への暗黙的若しくは明示的な参照を伴うデータであってもよい。したがって、そのようなデータは、例えば、破砕岩を作業現場に運んでいるトラックの場所又は作業現場への到着時間をモデルに共有することによる、そのトラックに関するデータであってもよく、したがって、データを共有することは、掘削機のオペレータがその後の数分又は数時間における自分の作業時間の使用をどのように計画するかに影響を及ぼす可能性がある。さらに、破砕岩に関する追加情報、例えば、破砕岩の色、積荷の総重量、湿度、温度なども、作業現場に関連する空間データとして共有及び見なされてもよい。
作業現場の現在の又は現時点の状態は、少なくとも作業現場内の様々な区域の作業フェーズ、動作、又は段階に関する情報を含んでもよく、作業現場は、必要に応じて小さい区域に分割されていてもよく、例えば、材料堆積物は、既知の作業段階、及び材料堆積物に関する追加情報を有する1つの区域を構成してもよい。作業現場の現在の又は現時点の状態は、作業現場内の又は作業現場に関連付けられた対象物及び/又は作業機械に関する情報をさらに含んでもよい。例えば、発注されて、ある時点で作業現場に到着する材料堆積物は、作業現場での置くべき区域を必要とする。作業現場の現在の又は現時点の状態は、作業現場内で作業する人員をさらに含んでもよく、各人は場所データに関連付けられてもよい。
ジオリファレンス済み空間データは、例えば、データベース、データ構造、及び/又はモデルを形成してもよい。又は、ジオリファレンス済み空間データは、ある一定のデータ構造及び/若しくはモデルを伴うデータベースに対して形成並びに/又は編成並びに/又は構造化されてもよい。モデルは、ジオリファレンス済み空間データ・モデルを指し、後でモデルとも呼ばれる。モデルは、例えば、BIMモデルのようなものであってもよい。データベース、データ構造、及び/又はモデルは、アプリケーション及び/又はユーザとの対話用に設計されており、権限を与えられたユーザ及び/又は権限を与えられたオペレータ及び/又は権限を与えられたシステム及び/又は権限を与えられたアプリケーションによってアクセスされる。データは、例えば、いくつかの追跡装置、環境モデリング装置、作業現場内で一般的に使用される探査デバイスから取得されてもよく、このデータには、例えば、作業現場の基準点RP、作業現場内で若しくは作業現場に関連して動作している機械のマーカ点、又は機械、障害物、対象物、若しくは作業現場で作業している人の機器に取り付けられた任意の他の追跡可能なマーカが含まれてもよい。基準点RP、マーカ点MP、及び任意の他の追跡可能なマーカに関する識別データは、オペレータにとって、データベース、データ構造、又はモデルを介して利用可能であってもよい。少なくとも1つの環境モデリング装置EMに関連するデータは、位置決定ユニットPDUにおいて、少なくとも1つの環境モデリング装置EMに関連するデータを受信するための受信手段によって受信される。位置決定ユニットPDUは、受信されたデータ、すなわち、少なくとも1つの追跡装置TA及び少なくとも1つの環境モデリング装置EMに関連するデータに少なくとも部分的に基づいて、作業現場13内の機械の場所及び向きを決定するように構成される。受信されたデータ、すなわち、追跡装置及び環境モデリング装置に関連するデータに加えて、位置決定ユニットPDUはまた、機械によって取得されたデータを受信するための受信手段によって機械からデータを受信してもよく、このデータは、位置決定ユニットPDUが作業現場13内の機械の場所及び向きを決定するときに考慮に入れられてもよい。
上記の解決策は、作業現場内の機械の場所及び向きの決定を提供する。これは、作業現場内の場所及び向きが決定された後、機械が、機械の場所及び向きの情報を、データを取得するときに状況認識情報として使用されるべきジオリファレンス済み空間データとして、作業現場13内の他のオペレータ、例えば、他の追跡装置及び/又は環境モデリング装置に提供できることを意味する。一方、作業現場内の機械の場所及び向きが決定された後、機械自体は、ジオリファレンス済み空間データ内の機械の場所及び向きを認識し、したがって、機械は、ジオリファレンス済み空間データ・モデルにおいて機械の周囲を観察するとともに、BIMモデルに従って作業タスクを実行し、実行された作業タスクに関してジオリファレンス済み空間データ・モデルを更新するとともに、機械の場所及び向きの情報をジオリファレンス済み空間データ・モデル又はモデルに提供した機械の場所及び向きを観察してもよい。機械の場所及び向きを決定し、その後、作業現場13における状況認識を、機械自体のために且つ他のオペレータ及びモデルに提供するための手順を開始するための初期データとして、機械のシステム導入、例えばセンサの数などに応じて、追跡装置TAによって検出される少なくとも1つの基準点RPの場所及び向きが必要であるか、又は、機械は、環境モデリング装置EMによって、作業現場13内の機械の場所及び向きを決定することを可能にする程度に十分に正確であるとマーク付けされた又は確認されたそのようなジオリファレンス済み空間データを検出してもよい。その後、作業現場13のBIMモデルにおける場所及び向きの決定が実行されてもよく、機械に関する状況認識は、他のオペレータが使用可能であるように、また、実行された作業タスクに関してモデル及び/又はBIMモデルを更新するために、モデルに提供され得る。機械は、典型的には、作業現場における、アクティブな作業が行われる予定のその作業現場の部分に位置しているが、機械の少なくとも一部分が、例えば建設作業に使用される材料に届くように、作業現場内のその部分の外側に届き得る場面がある可能性がある。少なくとも1つの追跡装置TA及び少なくとも1つの環境モデリング装置EMの利用に対応して、作業現場内の機械の場所及び向きの決定は、その種の場面の最中にも実行することができる。追跡装置TAと環境モデリング装置EMとの両方が機械の場所及び向きを決定することに関する有益なデータを取得できるわけではないが、多くの場合、機械の場所及び向きが十分に正確に決定され得ることに留意されたい。ほとんどの場合、機械のセンサからのデータと、少なくとも1つの追跡装置TAのセンサからのデータと、少なくとも1つの環境モデリング装置EMのセンサからのデータと、少なくとも1つの追跡装置TAによって取得されたデータと、少なくとも1つの環境モデリング装置EMによって取得されたデータとの組合せが十分に存在するので、結果として、機械の場所及び向きが十分に正確に決定される。異なる組合せの数は、例えば少なくとも1つの追跡装置TA又は少なくとも1つの環境モデリング装置EMの前を歩いている又は立っている通行者が、作業現場内の機械の場所及び向きの決定に失敗して、それにより、機械の正確な場所及び向きを必要とする作業タスクを中断しないように、又は作業現場内の機械に関する状況認識の決定に失敗しないようにすることができる。さらに、少なくとも1つの環境モデリング装置EMを利用することにより、アクティブな作業が行われる予定の作業現場の部分において機械によって実行される作業に応じて、また周囲の対象物において、機械がどのように影響を受ける可能性があるかについてのデータを取得することもでき、これにより、作業現場13内で発生するダウンキャスト障害などの様々な種類の悪影響も検出され得る。この解決策は、機械のすべての動作状況に対して、すなわち、作業を実行するときに実質的に静止している機械、ある場所から別の場所に実質的に移動せずに同じ場所で作業している機械、及びある場所から別の場所にアクティブに又は実質的にアクティブに移動している機械に対して適用可能である。
一実施例によれば、少なくとも1つの位置決定ユニットPDUによって、受信されたデータに少なくとも部分的に基づいて、作業現場13内の機械の進行方向又は代替の進行方向が決定される。この実施例の効果は、少なくとも1つの環境モデリング装置EM及び少なくとも1つの追跡装置TAによって、取得されたデータに基づいて、移動している機械の正確な進行方向が決定され得ることである。機械が掘削機である場合、掘削機は2つの主要な進行方向を有し、さらに、その進行方向の両方がともに同時にカーブを曲がるかどうかにかかわらず、これらの選択肢はすべて、受信されたデータに少なくとも部分的に基づいて検出可能である。この実施例のさらなる効果は、機械によって作成された状況認識データが、機械がどの方向にどれだけ速く移動できるかに関する情報をモデルに含み得ることである。したがって、例えば、機械の近くで作業する自律型車両は、機械によって中断されることなく機械を通過するようなルートを選択することになる。また、例えば機械に背を向けて立っているなどの理由で注意を払っていない人が、機械に関するそれらのセクタのうちの1つの中にいる場合、その人は、通知又は警告を受けることができ、そのセクタは、機械が迅速に移動できるセクタのうちの1つである。
一実施例によれば、作業現場13内の機械の決定された場所及び向きの正確度レベル又は妥当性のうちの少なくとも一方、すなわち、正確度レベル及び/又は妥当性がさらに決定される。
作業現場内の機械の決定された場所及び向きの達成可能な正確度レベルは、使用される環境モデリング装置の数、使用される追跡装置の数、及び使用される基準点とマーカ点の数、使用される検出された周囲の区域、及び追跡された場所と追跡している装置との間の距離、並びに追跡装置TAの安定性などの本明細書で上記に示した他の要因によって、影響を受ける可能性がある。また、現在の気象は、達成可能な正確度レベル、並びに追跡装置及び/又は環境モデリング装置として使用される装置に影響を与える可能性がある。さらに、例えば平坦な駐車空間においては、環境モデリング装置を用いて追跡するのに適したターゲットが、例えば1つ又は複数の大型の作業工具が(一時的に)保管されている駐車空間よりもはるかに少ないため、周囲が検出される区域は影響を与える。さらに、正確度レベルのレベルが高くなり得るほど、取得されたデータの誤差原因がより適切にモデル化される可能性がある。
作業現場内の機械の決定された場所及び向きの妥当性については、決定される場所及び向きが非常に古いデータに基づくことがないように、少なくとも1つの環境モデリング装置によって及び少なくとも1つの追跡装置によってデータを十分な頻度で、移動している機械の場合は、好ましくは実質的には継続的に取得することによって、影響を受ける可能性がある。機械の場所及び向きが、その特定の機械内に配置されている若しくは作業現場内にある追跡装置TA及び/又は環境モデリング装置EMによって取得されたデータに基づいており、機械に追加で独自のセンサが設けられる場合、それぞれの装置によって取得されたデータの妥当性は、機械内のセンサによって提供されるデータによって改善される可能性がある。これにより、少なくとも1つの追跡装置TAによって及び/又は少なくとも1つの環境モデリング装置EMによって取得されたデータの使用による機械の場所及び向きの決定が防止される又は信頼できないと見なされる場合、作業タスクの実行を継続することが可能になる。その場合、装置によって取得されるデータは、必ずしも非常に新しいものである必要はない。しかしながら、機械の決定された場所及び向きが、別の機械内に配置された追跡及び/又は環境モデリング装置によって取得されたデータに基づく場合、その別の機械内の装置によって取得されるデータは、かなり新しいものであるべきであり、すなわち、取得されたデータのタイムスタンプは、かなり新しい、好ましくは可能な限り新しいものであるべきであり、その理由は、場所及び向きが決定されるべき機械は、通常、データを取得するための装置が取り付けられているその別の機械の場所又は向きの変化を検出することが不可能であるため、取得されたデータの妥当性を検証することも改善することもできないからである。一方、別の機械内に配置された装置からデータを取得し得る機械は、例えば、データの正確度及び/又は妥当性を示し得るこれらの装置に関連するデータを受信することもできる。
一実施例によれば、少なくとも1つの追跡装置TAに関連するデータは、追跡装置TAに対する追跡されるマーカ点MPの場所、追跡装置TAに対する追跡される基準点RPの場所、追跡装置TAの傾斜角度、追跡装置TAの方位、追跡装置TAの安定性、機械座標系MCS、作業現場座標系WCS、若しくは世界座標系WLCSのうちの少なくとも1つにおける追跡装置TAの場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む。図16は、この実施例による、少なくとも1つの追跡装置TAに関連するデータを概略的に示す。少なくとも1つの追跡装置TAに関連するデータは、本明細書に具体的に開示されていない他の情報も含んでもよい。それにより、追跡装置TAに関連するデータは、追跡装置TA自体の場所及び/又は向きデータを含んでもよく、そのデータは、オペレータがそのデータを知ることなく受信されてもよく、データは、機械によって機械自体の場所及び/又は向きを決定するために利用されてもよい。既に上記で簡単に示したように、本明細書で問題となるデータは、例えば、各追跡装置TAが取り付けられている同じ機械内に配置された装置及び/又はセンサによって提供されてもよく、又は、本明細書で問題となるデータは、例えば、各追跡装置TAが存在する場所とは別の機械内に配置された装置及び/又はセンサによって提供されてもよい。代替として、装置若しくはセンサが少なくとも1つの情報を提供する場合、その情報自体が追跡装置TAに関連するデータに追加され得るように、又は、別の装置若しくはセンサが別の少なくとも1つの情報を提供する場合、その情報自体も追跡装置TAに関連するデータに追加され得るように、本明細書で問題となるデータは、上記の組合せによって提供されてもよい。さらに、2つ以上の装置又はセンサが同じ情報、例えば追跡装置TAの傾斜を提供する場合、そのような2つ以上の情報は、例えば、平均化若しくは加重平均化などによって数学的に組み合わされてもよく、又は、例えば、より正確及び/若しくはより妥当であると思われるものを選択することによって、追跡装置TAに関連するデータに2つ以上の情報のうちのどれを追加するかが選択されてもよい。
追跡装置TAに対する追跡されたマーカ点MPの場所及び追跡装置TAに対する追跡された基準点RPの場所は、本明細書における他の実施例とともに上記に開示されたように決定されてもよい。
追跡装置TAの傾斜角度、追跡装置TAの方位、及び追跡装置TAの安定性は、本明細書で上記に開示されるように、追跡装置TA内に配置されたセンサによって、又は代替として、機械座標系MCSにおける追跡装置TAの場所及び向きが知られている場合は機械内に配置されたセンサによって決定されてもよい。追跡装置TAの場所及び向きは、上記に開示されるように、作業現場座標系WCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度、並びに/又は、機械座標系MCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度よって決定されてもよい。代替として、又はそれに加えて、追跡装置TAの場所及び向きは、世界座標系WLCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度によって決定されてもよく、世界座標系WLCSは、例えば、衛星ベースの測位システムGNSSである。
少なくとも1つの追跡装置TAに関連するデータの正確度レベル又は妥当性については、使用される追跡装置の数、使用される基準点とマーカ点の数及びこれらと追跡装置との間の距離、並びに、追跡装置TAの安定性、及び少なくとも1つの追跡装置TA及び追跡装置TA内及び/又は機械内の可能なセンサによるデータの十分に頻繁な取得などの上記に示した他の要因によって、影響を受ける可能性がある。
一実施例によれば、少なくとも1つの環境モデリング装置に関連するデータは、空間データ、環境モデリング装置EMに対する追跡されるマーカ点MPの場所、環境モデリング装置EMに対する追跡される基準点RPの場所、環境モデリング装置EMの傾斜角度、環境モデリング装置EMの方位、環境モデリング装置EMの安定性、機械座標系MCS、作業現場座標系WCS、若しくは世界座標系WLCSのうちの少なくとも1つにおける環境モデリング装置EMの場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つである。図17は、この実施例による、少なくとも1つの環境モデリング装置EMに関連するデータを概略的に示す。少なくとも1つの環境モデリング装置EMに関連するデータは、本明細書に具体的に開示されていない他の情報も含んでもよい。それにより、環境モデリング装置EMに関連するデータは、環境モデリング装置EM自体の場所及び/又は向きデータを含んでもよく、そのデータは、オペレータがそのデータを知ることなく受信されてもよく、データは、機械によって機械自体の場所及び/又は向きを決定するために利用されてもよい。既に上記で簡単に示したように、本明細書で問題となるデータは、例えば、各環境モデリング装置が取り付けられている同じ機械内に配置された装置及び/又はセンサによって提供されてもよく、又は、本明細書で問題となるデータは、例えば、環境モデリング装置EMが存在する場所とは別の機械内に配置された装置及び/又はセンサによって提供されてもよい。代替として、装置若しくはセンサが少なくとも1つの情報を提供する場合、その情報自体が環境モデリング装置EMに関連するデータに追加され得るように、又は、別の装置若しくはセンサが別の少なくとも1つの情報を提供する場合、その情報自体も環境モデリング装置EMに関連するデータに追加され得るように、本明細書で問題となるデータは、上記の組合せによって提供されてもよい。さらに、2つ以上の装置又はセンサが同じ情報、例えば環境モデリング装置EMの傾斜を提供する場合、そのような2つ以上の情報は、例えば、平均化若しくは加重平均化などによって数学的に組み合わされてもよく、又は、例えば、より正確及び/若しくはより妥当であると思われるものを選択することによって、環境モデリング装置EMに関連するデータに2つ以上の情報のうちのどれを追加するかが選択されてもよい。
環境モデリング装置EMによって追跡及び/又は検出される空間データは、生データ又は前処理されたデータであってもよく、このデータは、作業現場13全体又は作業現場13の特定の部分に関係してもよい。本明細書において前述したように、空間データは、例えば、作業現場13全体に関連するデータ、又は作業現場13の特定の部分に関連するデータを含み、この特定の部分は、問題となる機械がアクティブに動作されるのと同じ部分、又は作業現場13の別の部分であってもよい。空間データは、作業現場又はその特定の部分の表面形状、住宅建物若しくは保管室、岩、岩盤、樹木、作業機械、又は補助作業機械などの恒久的又は一時的な対象物、作業現場内など又は作業現場の特定の部分で使用されるべき材料を含んでもよい。これらの対象物は、可視の対象物及び不可視の対象物を含んでもよく、不可視の対象物は、例えば、地下のパイプ又は電力線である。空間データは、例えば1時間単位又は1日単位の温度、湿度、及び雨量など、作業現場又は作業現場の特定の部分の環境条件も含んでもよい。作業現場又は作業現場の特定の部分に関連する空間データは、作業現場又はその特定の部分に関連するとともに利用可能な少なくとも1つの装置によって検出され得る他の情報も含んでもよい。
環境モデリング装置EMに関する追跡されたマーカ点MPの場所、及び環境モデリング装置EMに関する追跡された基準点RPの場所は、追跡装置TAに関する追跡されたマーカ点MP及び追跡された基準点RPの場所と同様の方法で決定されてもよい。追跡装置TAに関する本明細書における上記の仕様は、この点に関して、環境モデリング装置EMにも同様に適用可能である。
環境モデリング装置EMの傾斜角度、環境モデリング装置EMの方位、及び環境モデリング装置EMの安定性は、環境モデリング装置EM内に配置されたセンサによって決定されてもよい。これに関して、追跡装置TA及びその中のセンサに関する上記の図7の仕様及び実施例は、環境モデリング装置EMにも適用可能である。代替として、機械座標系MCS内の環境モデリング装置EMの場所及び向きが知られている場合、環境モデリング装置EMの傾斜角度、環境モデリング装置EMの方位、及び環境モデリング装置EMの安定性は、機械内に配置されたセンサによって決定されてもよい。
上記の追跡装置TAと同様に、環境モデリング装置EMの場所及び向きは作業現場座標系WCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度、並びに/又は、機械座標系MCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度よって決定されてもよい。代替として、又はそれに加えて、環境モデリング装置EMの場所及び向きは、世界座標系WLCSにおける、3次元座標、並びにロール、ピッチ、及びヨーなどの傾斜角度及び方位角度によって決定されてもよい。
環境モデリング装置EMに関する情報は、作業現場13における状況認識を決定するために、作業現場13をモデル化するための多くの方法で使用されてもよい。実行される特定の作業タスクに関連して、得られた状況認識は、例えば、作業タスクを開始する前の作業現場13又はその一部の初期状態、及び特定の作業タスクが実行された後の最終結果に関する情報を含んでもよい。さらに、状況認識は、作業タスクの実行中の作業現場13又はその一部の中間段階に関する情報、並びに、掘削作業中に見えるようになる地下の岩又は岩盤などの、当初は目立たなかったが作業タスクの実行中に出現する又は見えるようなる対象物に関連する情報など、作業タスクの実行中に現れる逸脱(deviation)に関する情報の取得を含んでもよい。状況認識を決定するための開示される解決策により、設けられたれた機器による現時点の作業タスクの実行中に既に出現した対象物の調査又はモデル化が可能になり、これにより、例えば、岩又は岩盤を除去するための将来の作業タスクの実現可能な計画が可能になる。
少なくとも1つの環境モデリング装置EMに関連するデータの正確度レベル又は妥当性については、使用される環境モデリング装置の数、使用される基準点とマーカ点の数、及び検出された周囲の区域、及びこれらと環境モデリング装置との間の距離、並びに、環境モデリング装置EMの安定性、及び少なくとも1つの環境モデリング装置EM及び環境モデリング装置EM内及び/又は機械内の可能なセンサによるデータの十分に頻繁な取得などの上記に示した他の要因によって、影響を受ける可能性がある。したがって、少なくとも1つの追跡装置TAに関連するデータの正確度レベル又は妥当性に関する上記の説明は、少なくとも1つの環境モデリング装置EMに関連するデータの正確度レベル又は妥当性にも適用可能である。
少なくとも1つの環境モデリング装置EMによって取得されたデータの正確度、及び少なくとも1つの追跡装置TAによって取得されたデータの正確度も、取得されたデータに対する平均情報を決定することによって向上させることができる。これは、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMが、ある単一の場所に長期間留まる機械の中に配置される場合に特に有用な方法であり、それにより、個々のデータ情報の取得中に機械が同じ場所に留まる限り、異なる時点で取得された個々のデータ情報におけるいくつかの平均情報が決定されてもよい。
個々のデータ情報の取得中に、追跡又は監視されるべき少なくとも1つの点又は対象物が同じままである限り、平均情報の決定は、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMが、移動している機械内に配置される場合にも適用されてもよい。
また、取得されたデータの正確度を向上させるために、加重平均値が適用されてもよい。この実施例によれば、監視されるべき対象物に近いままである装置によって取得されたデータは、監視されるべき対象物から遠く離れたままである装置によって取得されたデータよりも高い重みを有してもよい。これは、特に、移動している機械の場合に、取得されたデータの正確度を向上させるために使用され得る。
状況認識を正確に決定するには、機械の決定された場所及び向きと、作業現場13又はその一部をモデル化し、作業現場13における状況認識に関連するデータを提供するデータとの正しい同期も必要とする可能性がある。機械が、ある単一の場所に長期間留まる場合、機械は移動していないので、状況認識を正確に決定するために、厳密な同期はそれほど重要ではない。しかしながら、移動している機械の場合、機械の決定された場所及び向きと、作業現場13又はその一部をモデル化するデータとの間の正しい適合のためには、同期の重要性は高まる。したがって、特に移動している機械の場合、機械の場所及び向きを決定するためのデータ取得と、作業現場13又はその一部をモデル化するデータとの間の正しい同期のために、必要なデータの取得は、機械の決定された場所及び向きと、ミリ秒の期間においてさえも行われる可能性がある。この場合も、作業現場13又はその一部をモデル化するためのデータ取得との間の実時間に関する最終的な要件は、それらが互いに同期され得る限り、存在しない。
少なくとも1つの追跡装置TA及び少なくとも1つの環境モデリング装置EMが同一の機器である場合、機械の場所及び向きを決定する取得データ及び作業現場13をモデル化する取得データは自動的に同期する。
一実施例によれば、空間データは、図形データ、点群データ、又は作業現場13若しくは地球のうちの少なくとも一方に関連する場所への暗黙的若しくは明示的な参照を伴うデータのうちの少なくとも1つを含む。この実施例によれば、空間データ、特に作業現場13内の物理的対象物に関連する空間データを説明するデータは、図形データによって、すなわち図形を利用することによって、及び/又は点群データによって表されてもよく、それによって、物理的対象物が点群によって説明されてもよい。空間データの特定のデータ項目の内容及びその表現方法にかかわらず、各特定のデータ項目は、作業現場13若しくは地球に関連する場所への暗黙的又は明示的な参照と組み合わされてもよく、これにより、特定のデータ項目の情報を、作業現場内の特定の場所に割り当てることが可能になる。明示的な参照は、例えば、作業現場座標系WCS内の又は世界座標系WLCS内の場所への参照であってもよく、暗黙的な参照は、例えば、場所及び向きが作業現場座標系WCS又は世界座標系WLCSのいずれかにおいて知られている環境モデリング装置の座標系における、環境モデリング装置によって見られる点群の場所への参照であってもよい。
一実施例によれば、方法は、少なくとも1つの環境モデリング・ユニットEMUによって、材料搬送の指示、置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置EMに関連する第1のデータによって決定される材料搬送ベース、及び置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置EMに関連する第2のデータによって決定される材料搬送完了を受信することと、少なくとも1つの環境モデリング・ユニットEMUによって、材料搬送の指示、材料搬送ベース、及び材料搬送完了に関するデータを、搬送済みの材料として少なくとも部分的に保存することとをさらに含む。第1のデータ及び第2のデータが、異なる少なくとも1つの環境モデリング装置EMによって決定され得ることに留意されたい。
材料搬送の指示は、材料の実際の搬送に関する情報又はデータ、すなわち、材料搬送が行われた日時、及び搬送された材料の製品説明を含んでもよい。材料搬送の指示は、搬送された材料のタイプ若しくはグレード、並びに/又は搬送された材料の量及び/若しくは重量及び/若しくは体積及び/若しくは色などの、搬送された材料の内容に関連する他の情報を、別個の情報として又は搬送された材料の製品説明の一部として含んでもよい。
材料が、作業現場13内の又はその中の特定の部分内の区域に搬送されるように意図されていることに対応して、その区域をカバーする少なくとも1つの環境モデリング装置EMは、搬送されるべき材料が置かれる予定の区域における材料搬送ベースを決定するように構成される。言い換えれば、この実施例によれば、少なくとも1つの環境モデリング装置EMは、例えば、搬送されるべき材料が置かれる予定の作業現場13のその区域の表面形状を決定するように構成される。これにより、後で、搬送された材料が別の場所に移動されるとき、例えば最終用途に使用されるときに、好ましくは搬送ベースの材料ではないが実質的にすべての搬送された材料が、搬送された材料が置かれた材料搬送ベースから除去されるような、作業機械の制御が可能になり、したがって、材料搬送ベースは、材料搬送前と実質的に同じままとなる。材料搬送ベースに関連する情報は、材料が置かれる区域をカバーする少なくとも1つの環境モデリング装置EMに関連する第1のデータを提供する。
材料が、作業現場13又はその中の特定の部分に搬送されたことに対応して、その区域をカバーする少なくとも1つの環境モデリング装置EMは、完了している材料の搬送に関連する情報、すなわち、破砕石の堆積物などの完了又は終了した材料搬送を説明する情報を決定するように構成される。これにより、例えば、それぞれの作業機械を制御するための破砕石の敷設のスケジューリングなど、後の作業フェーズの設計が可能になる。完了した材料搬送に関連する情報は、置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置EMに関連する第2のデータを提供する。
材料搬送の指示、材料搬送ベース、及び材料搬送完了に関するデータの少なくとも一部は、少なくとも1つの環境モデリング・ユニットEMUによって、完了又は終了した材料の搬送及びその特性を説明する搬送済みの材料として保存される。
一実施例によれば、方法は、少なくとも1つの環境モデリング・ユニットEMUによって、作業現場の領域データ、すなわち、例えば、作業現場の一部のそれぞれの区域における作業フェーズ及び/又は作業段階に関連する情報を含む、作業現場の一部の区域に関連するデータに関連する、1つ又は複数の指示を受信することをさらに含む。さらに、少なくとも1つの環境モデリング・ユニットEMUは、少なくとも1つの環境モデリング装置EMに関連するデータを受信し、1つ又は複数の指示を考慮に入れることによって、少なくとも1つの環境モデリング装置EMに関連するデータから、それぞれの区域のジオリファレンス済み空間データが導出され、ジオリファレンス済み空間データは、例えばモデルに、少なくとも部分的に保存される。
この実施例によれば、少なくとも1つの環境モデリング・ユニットEMUは、例えば、作業現場管理によって使用されるアプリケーション・インターフェースから、作業現場13の一部のそれぞれの区域の作業フェーズ及び/又は作業段階に関連する1つ又は複数の指示を受信するように構成される。これらの指示は、作業現場13若しくはその特定の部分で既に実行された若しくは現時点で実行されている作業段階又は動作に関連する情報を含んでもよい。代替として、又はそれに加えて、これらの指示は、作業現場13又はその特定の部分の段階、すなわち、作業現場13又はその特定の部分の進捗のレベルに関連する情報を含んでもよい。作業の進捗のレベルは、作業現場13の異なる部分によって異なる場合がある。さらに、少なくとも1つの環境モデリング・ユニットEMUは、少なくとも1つの環境モデリング装置EMに関連するデータを受信するように構成され、少なくとも1つの環境モデリング装置EMに関連するデータは、本明細書において上記でより詳細に説明されている。
さらに、少なくとも1つの環境モデリング・ユニットEMUは、1つ又は複数の指示を考慮に入れ、少なくとも1つの環境モデリング装置EMに関連するデータから、作業現場13の一部のそれぞれの区域のジオリファレンス済み空間データを導出し、ジオリファレンス済み空間データをモデル又はジオリファレンス済み空間データ・モデルに少なくとも部分的に保存するように構成される。位置決定ユニットPDU内の可能なメモリ・ユニットが利用されない限り、少なくとも1つの環境モデリング・ユニットEMUは、保存されたデータを少なくとも一時的に記憶するための少なくとも1つのメモリ・ユニットを含んでもよい。データ及び/又はモデルは、例えば、作業現場コンピュータ及び/若しくはクラウド・サービス、並びに/又は、データ及び/若しくはモデルを記憶するのに適した任意の他のメモリ、データベース、若しくはデータ構造に保存されてもよい。
ジオリファレンス済み空間データは、上記でより詳細に説明した空間データを指すが、この空間データはさらに、作業現場又はその特定の部分における空間データの項目若しくは対象物の場所を決定又は確立する、より具体的な又はより正確な場所情報と組み合わされる。ジオリファレンス済み空間データの重要な部分の1つは、作業現場又はその特定の部分における作業の段階又は進捗レベルを説明する完成時データである。
一実施例によれば、ジオリファレンス済み空間データを少なくとも部分的に保存するステップは、少なくとも1つの環境モデリング装置から受信されたデータに少なくとも部分的に基づいて、ジオリファレンス済み空間データが保存されるべき区域を決定することと、保存されるべきと決定された区域のジオリファレンス済み空間データを保存することとをさらに含む。本明細書において、ジオリファレンス済み空間データの区域は、作業現場の区域を指す。モデルに保存するために作業現場の駐車空間区域から新しいジオリファレンス済み空間データが取得され、その区域に記憶された追加の掘削機バケットが存在した場合、追加の掘削機バケットを表す点群はその区域の破砕石レベルとして保存されないが、一方、区域に関する履歴から、作業フェーズが、BIMモデルで示されたレベルまで破砕石を充填することであることが分かっている場合は、バケットの隣の区域が、破砕石レベルを表す点群として保存されてもよい。したがって、この実施例によれば、すべてのジオリファレンス済み空間データが保存されるわけではなく、例えば、オペレータが作業している路盤の一部などのオペレータ自身が作業している区域にある、検索されたデータ内の区域が保存される。同様に、環境モデリング・ユニットEMUは、オペレータの同僚が作業している路盤の隣接部分に関連する指示を有していた可能性がある。同僚又は作業現場の管理者は、同僚が作業している路盤の部分に関してオペレータが収集するジオリファレンス済み空間データに関心を有する可能性があり、したがって、オペレータの環境モデリング装置は、路盤の隣接部分に到達するジオリファレンス済み空間データの部分も保存する可能性があるが、路盤の組み合わされた作業区域を超える区域は保存しない可能性がある。同様に、作業現場の進捗を進めるための作業機械の場所及び向きの決定に影響を及ぼし得る項目又は対象物に関連するそのようなジオリファレンス済み空間データが保存されてもよい。したがって、例えば、作業現場内に一時的に留まっている人又は車両を表す点群は、それらが作業現場の進捗を考慮した作業機械の場所及び向きの決定に影響を与えない場合、必ずしも保存されるとは限らない。保存されないデータの選択は、機械のオペレータによって提供又は支援されてもよく、又は例えばニューラル・ネットワーク・アプリケーションを利用して完全に自動化されてもよい。必要に応じて、例えば作業機械とその種の一時的な対象物との間の衝突を回避するための機械制御レベルのアプリケーションなどの他のアプリケーションが、機械の制御に利用されてもよい。検出された一時的な対象物は、例えば、独自のデータベース又はデータ構造に収集されてもよい。同様に、作業現場内にある又は作業現場に関連する工具及び/又は材料も、例えば、独自のデータベース又はデータ構造に収集されてもよい。
一実施例によれば、少なくとも1つの環境モデリング装置から受信されたデータに少なくとも部分的に基づいて、ジオリファレンス済み空間データが保存されるべき区域を決定するステップは、少なくとも1つの環境モデリング装置のジオリファレンス済み空間データが障害物無しである区域を検出して、障害物無し区域と見なすことを含む。さらに、作業現場内の機械の決定された場所及び向きの現在の正確度は、以前に保存されたジオリファレンス済み空間データの時間における作業現場内の機械の決定された場所及び向きの正確度と比較され、現在の正確度が約同等を上回る場合、障害物無し区域内の保存されたジオリファレンス済み空間データが更新される。この文脈におけるデータを更新することは、データを置き換えること、書き換えること、調整すること、追加すること、又は、例えば平均若しくは加重平均などの知られている数学的方法を使用して平均化することのうちの少なくとも1つを含む。
この実施例では、少なくとも1つの環境モデリング装置EMによって提供されるジオリファレンス済み空間データ内の障害物無し区域、すなわち、例えば、少なくとも1つの環境モデリング装置EMの捕捉されたビューに一時的な障害物が一切現れることなく、作業現場又はその特定の部分の実際の段階に関する情報を提供する区域が決定される。位置決定ユニットPDUによって、ジオリファレンス済み空間データ内のこれらの障害物無し区域に関して、作業現場13内の機械の現在又は現時点の場所及び向き、並びに機械の場所及び向きの正確度が決定される。さらに、位置決定ユニットPDUによって、作業現場13内の機械の現在の場所及び向きに関する正確度が、以前に保存又は記憶されたジオリファレンス済み空間データに関する機械の場所及び向きの正確度と比較される。機械の現在の場所及び向きに関連する正確度がほぼ同等を上回ることに対応して、すなわち、正確度を決定する際のマージン又は誤差を考慮に入れて、正確度が、以前に保存されたジオリファレンス済み空間データに関連する機械の場所及び向きの正確度と少なくとも同等であるか又はそれよりも優れている場合、保存されたジオリファレンス済み空間データが更新される、すなわち、障害物無し区域において、置き換えられる、書き換えられる、調整される、追加される、又は、例えば平均又は加重平均などの知られている数学的方法を使用して平均化される。さらに、正確度の基準が満たされると、ジオリファレンス済み空間データをそれぞれの場合にどのように更新すべきかを決定するために、各正確度レベルに対する閾値レベルがさらに決定されてもよい。このような閾値レベルは、例えば、決定された正確度レベルのマージンの誤差であってもよい。例えば、作業現場座標系における工具の実際の場所が20mm以内であると判断された場合、閾値は、20mm、40mm、さらには80mmになる可能性がある。閾値の使用は、非常に軽微な又はごくわずかな変化、すなわち、ジオリファレンス済み空間データの区域における閾値を下回る変化が、以前に保存されたジオリファレンス済み空間データの書き換え又は置き換えを開始せずに、例えば、以前に保存されたジオリファレンス済み空間データを用いてジオリファレンス済み空間データを平均化又は加重平均化することを開始し得ることを保証する。変化が、決定された閾値を上回る場合、そのような場合は環境内で変化が起きたと想定されるべきであるので、更新は、ジオリファレンス済み空間データを置き換え又は書き換えることであってもよい。
一実施例によれば、作業現場内の機械の場所及び向きを決定した少なくとも1つの位置決定ユニットによって、追跡装置、環境モデリング装置、対象物、又は別の機械のうちの少なくとも1つに関するデータが解決され、解決されたデータは、それぞれの追跡装置、環境モデリング装置、対象物、若しくは別の機械に関連するデータの一部として、又は少なくとも1つの位置決定ユニットによって受信可能なデータとしてのうちの少なくとも一方として送信される。
この実施例によれば、作業現場13内の機械の場所及び向きを決定した少なくとも1つの位置決定ユニットPDUは、例えばそれ自体の測定と関連して、例えば追跡装置TA、環境モデリング装置EM、対象物、又は別の機械のうちの少なくとも1つに関連するデータを解決、すなわち、決定してもよい。対象物は、障害物などの回避すべき対象物、又は作業で使用される材料などの接近すべき又は関心対象の対象物であってもよい。この解決後、解決されたデータは、例えば、作業現場コンピュータ及び/若しくはクラウド・サービス、並びに/又は、それぞれの追跡装置TA、環境モデリング装置EM、対象物、若しくは別の機械に関連するデータの一部として及び/若しくは少なくとも1つの位置決定ユニットPDUによって受信可能なデータとしてのうちの少なくとも一方でデータを保存するのに適した、メモリ、データベース、若しくはデータ構造に送信される。解決されたこの種のデータに関する正確性及び/又は妥当性は、そのようなデータの提供に関連する各センサ及び/又は装置の正確性及び妥当性に依存する。例えば、機械上に配置された環境モデリング装置EMによって、機械上に設置されたセンサから受信されたデータと組み合わせて、その時点で、データを解決する機械の場所及び向きが決定される場合、解決されるデータの正確性及び/又は妥当性は、機械の場所及び向きを決定するために取得されたデータの組合せの正確性及び妥当性、並びに解決に関する任意の他のデータの正確性及び妥当性に依存する。ここで、環境モデリング装置EMによって取得されたデータの正確性は、例えば、追跡時に機械が安定しているかどうか、追跡された周囲又は追跡された基準点若しくは他の追跡可能なマーカがどれだけ近いか又は遠いか、及びそれらのうちのいくつが追跡されるか、並びに、それらの場所がどれだけ正確に決定されるかに依存する。
一実施例によれば、追跡装置が機械又は別の機械のうちの少なくとも一方に設定される場合は、機械座標系又は作業現場座標系のうちの少なくとも一方における追跡装置の場所及び向きを決定することによって、及び、追跡装置が任意の機械の外部に設定される場合は、作業現場座標系における追跡装置の場所及び向きを決定することによって、追跡装置がさらに初期化される。
そのような追跡装置TAの初期化は、本明細書において既に上記で考察されている。さらに、この実施例によれば、追跡装置TAの初期化において、追跡装置TAの場所及び向きは、機械座標系MCS及び/又は作業現場座標系WCSにおいて決定されてもよい。追跡装置TAが機械又は別の機械に配置される場合、追跡装置TAの場所及び向きは、追跡装置及び追跡装置が取り付けられている場所に応じて、機械座標系MCS若しくは作業現場座標系WCS又はその両方のいずれかにおいて決定されてもよい。追跡装置がGNSSのような外部測位システムを使用する場合、追跡装置は、作業現場座標系WCSにおいて追跡装置自体を決定し、追跡装置は、追跡装置が取り付けられている機械の座標系において決定される。一方、追跡装置TAが外部測位システムを使用せず、追跡装置TAが機械、すなわち機械又は別の機械に取り付けられている場合、追跡装置TAは、少なくとも、追跡装置TAが取り付けられている機械の座標系において、さらに、追跡装置TAが別の機械によって追跡装置として使用される場合には作業現場座標系WCSにおいて決定される。追跡装置TAが任意の機械の外部に配置される場合、追跡装置TAの場所及び向きは、少なくとも作業現場座標系WCSにおいて決定されるものとする。
一実施例によれば、環境モデリング装置が機械又は別の機械のうちの少なくとも一方に設定される場合は、機械座標系又は作業現場座標系のうちの少なくとも一方における環境モデリング装置の場所及び向きを決定することによって、及び、環境モデリング装置が任意の機械の外部に設定される場合は、作業現場座標系における環境モデリング装置の場所及び向きを決定することによって、環境モデリング装置がさらに初期化される。
上記の追跡装置TAの初期化に関する説明は、相応に、環境モデリング装置EMの初期化にも同様に適用可能である。さらに、この実施例によれば、環境モデリング装置EMの初期化において、環境モデリング装置EMの場所及び向きは、機械座標系MCS及び/又は作業現場座標系WCSにおいて決定されてもよい。環境モデリング装置EMが機械又は別の機械に配置される場合、環境モデリング装置EMの場所及び向きは、環境モデリング装置及び環境モデリング装置が取り付けられている場所に応じて、機械座標系MCS若しくは作業現場座標系WCS又はその両方のいずれかにおいて決定されてもよい。環境モデリング装置がGNSSのような外部測位システムを使用する場合、環境モデリング装置は、作業現場座標系WCSにおいて環境モデリング装置自体を決定し、環境モデリング装置は、環境モデリング装置が取り付けられている機械の座標系において決定される。一方、環境モデリング装置EMが外部測位システムを使用せず、環境モデリング装置EMが機械、すなわち機械又は別の機械に取り付けられている場合、環境モデリング装置EMは、少なくとも、環境モデリング装置EMが取り付けられている機械の座標系において、さらに、環境モデリング装置EMが別の機械によって使用される場合には作業現場座標系WCSにおいて決定される。環境モデリング装置EMが機械の外部に配置される場合、環境モデリング装置EMの場所及び向きは、少なくとも作業現場座標系WCSにおいて決定されるものとする。
一実施例によれば、決定される状況認識は、空間データ、ジオリファレンス済み空間データ、領域作業フェーズ及び/若しくは領域作業段階データ、完成時データ、作業現場内の任意の機械の場所、向き、進行方向、若しくは代替の進行方向、場所、方向、進行方向、若しくは代替の進行方向、又は、回避対象若しくは関心対象のうちの少なくとも一方である、周囲の静止しているか若しくは動いているかのうちの少なくとも一方である機械、障害物、若しくは対象物のうちの少なくとも1つである。
図18は、作業現場13における状況認識を描写又は提供するいくつかのデータを概略的に示す。決定された状況認識は、作業現場又はその特定の部分に応じて、いくつかの異なるデータ又は情報を備えるか又は含んでもよい。
空間データ、ジオリファレンス済み空間データ、領域データ、完成時データ、又は作業現場13内の任意の機械の場所、向き、進行方向、若しくは代替の進行方向のうちの少なくとも1つの少なくとも一部を形成し得るデータ又は情報のいくつかの例については、本明細書において上記で既に説明されている。
前の段落で開示されたデータの代わりに、又はそれに加えて、場所、向き、若しくは進行方向、若しくは代替の進行方向、又は周囲の静止している若しくは移動している機械、障害物、若しくは対象物のうちの少なくとも1つに関連するデータ又は情報もまた、作業現場13における状況認識を決定又は示すために使用されてもよい。開示される機械、障害物、又は対象物は、静止しているか又は移動しているかのいずれかであってもよい。本明細書における障害物は、静止しているか又は移動しているかのいずれかであり得る対象物を指すが、いずれの場合も、例えば、避けて通る(skirt)ことによって能動的に又は道を譲ることによって受動的に回避されるべき対象物を指す。次に、本明細書における対象物は、上記の障害物などの回避されるべき対象物、又は機械によって実行される作業で使用される材料などの意図的に接近され得る関心対象の対象物を指すことがある。
一実施例によれば、少なくとも1つの追跡装置は、作業現場内の少なくとも1つの基準点、機械に取り付けられた少なくとも1つのマーカ点、又は機械、障害物、若しくは対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカのうちの少なくとも1つの、追跡装置の場所に対して追跡し、少なくとも1つの環境モデリング装置は、作業現場内の少なくとも1つの基準点、機械に取り付けられた少なくとも1つのマーカ点、機械、障害物、若しくは対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカ、又は作業現場に関連する空間データのうちの少なくとも1つの、少なくとも1つの環境モデリング装置の場所に対して追跡する。
この実施例によれば、少なくとも1つの追跡装置TAは、作業現場13内の少なくとも1つの基準点RP及び/又は機械に取り付けられた少なくとも1つのマーカ点MPの追跡装置TAの場所に対して追跡するように構成される。これらのうちの少なくとも1つの代替として、又はこれらのうちの少なくとも1つに加えて、少なくとも1つの追跡装置TAは、機械及び/又は障害物及び/又は対象物に取り付けられた任意の他の追跡可能なマーカの場所を追跡するように構成される。任意の他の追跡可能なマーカは、例えば、大きな石、硬い岩、又は大きな木、又はかなり静的な対象物に取り付けられたマーカであってもよく、このマーカは、機械の場所及び向きの決定を支援するために使用される追加の追跡可能なマーカとして使用され得る非公式の基準点として機能してもよい。これらは、特に、利用できる追跡可能な基準点RPの量が少ない区域において使用されてもよい。機械は、作業現場座標系WCS及び/又は世界座標系WLCS内のそのようなマーカの正確な場所を解決し、その正確な場所を解決した後、その正確な場所を、例えば、作業現場コンピュータ及び/若しくはクラウド・サービス、並びに/又は、追跡可能なマーカに関連するデータの一部として及び/若しくは少なくとも1つの位置決定ユニットPDUによって受信可能なデータとしてデータを保存するのに適した、メモリ、データベース、若しくはデータ構造に送信することができる。この種のデータには、データの正確度及び/又は妥当性に関する情報も含まれるべきであり、その理由は、例えば、岩が、岩の近くの何らかの作業タスクに関して少し移動した可能性があるか、又は追跡可能なマーカが作業者によって別の場所に変更される可能性があるからである。後者の場合、追跡可能なマーカを移動する作業者はまた、追跡可能なマーカについて保存された解決済みの場所を、その解決済みの場所が保存された場所から削除するべきである。追跡装置TAによって提供される追跡は、上記の実施例において開示されたように動作する。
さらに、この実施例によれば、少なくとも1つの環境モデリング装置EMは、作業現場13内の少なくとも1つの基準点RP及び/又は機械に取り付けられた少なくとも1つのマーカ点MPの少なくとも1つの環境モデリング装置EMの場所に対して追跡するように構成される。これらのうちの少なくとも1つの代替として、又はこれらのうちの少なくとも1つに加えて、少なくとも1つの環境モデリング装置EMは、機械及び/若しくは障害物及び/若しくは対象物に取り付けられた任意の他の追跡可能なマーカの場所、並びに/又は、作業現場13に関連する空間データを追跡するように構成され、作業現場13に関連する空間データは、例えば、木及び/若しくは大きな石及び/若しくは硬い岩及び/若しくはより小さい石などの自然のランドマーク、並びに/又は、移動していない対象物及び/若しくは工具及び/若しくは建物及び/若しくは倉庫及び/若しくは木の切り株などの他のランドマークであってもよい。環境モデリング装置EMが、機械の場所及び向きを追跡し続けるためにいくつかのランドマークを使用してもよいこと、すなわち、場所及び向きが一度に決定される場合、環境モデリング装置EMは、これらのランドマークを使用して、これらのランドマークに関して場所及び向きが決定された時点の後に機械の場所及び向きがどれだけ変化したかを決定することによって、場所及び向きが決定された時点の後の機械の場所及び向きを決定してもよいことに留意されたい。次いで、環境モデリング装置EMは、そのような基準点及び/又はモデル内で位置が知られている他の追跡可能なマーカ点を必ずしも検出することなく、機械の場所及び向きのこの種の追跡を延々と継続してもよい。当然のことながら、そのような追跡が延長され、基準点及び他の追跡可能なマーカ点が検出されない場合、機械の決定された場所及び向きの正確度は低下する。オペレータは、そのような低下について通知を受けてもよい。少なくとも1つの環境モデリング装置EMによって行われる追跡は、少なくとも1つの追跡装置によって行われる追跡と同様に動作してもよい。したがって、追跡装置TAに関する上記の仕様は、この点に関して、環境モデリング装置EMにも同様に適用可能である。
一実施例によれば、作業現場における状況認識を決定するための方法は、作業現場内の機械の決定された場所及び向きの正確度の最小レベルを決定することと、正確度の最小レベルを超える閾値レベルを決定することとをさらに含み、正確度のレベルが閾値レベルを下回る場合、及び、下部キャリッジを移動させることなく進行中の作業タスクが実行され得る場合、機械の下部キャリッジを移動させるための制御は、無効にされる。
本明細書におけるこの実施例は、特に、掘削機内のように互いに相対的に回転するなど、互いに相対的に移動することが可能な下部キャリッジ及び上部キャリッジを備える可動キャリッジを伴う機械に関する。この実施例によれば、作業機械のすべての可能な動作が完全に動作することを可能にするために必要とされる、機械の決定された場所及び向きの正確度の最小レベルが決定される。機械の決定された場所及び向きの正確度のこの最小レベルが達成されない場合、機械は、制限された動作で動作することが許可されてもよい。したがって、機械の決定された場所及び向きの正確度に対する閾値レベルがさらに決定され、機械の決定された場所及び向きの正確度のレベルが閾値レベルを下回っていることに対応して、機械の動作は、機械がその動作を継続できるが作業現場13内のその現時点の場所から移動することが許可されないように、制限されてもよい。機械が掘削機1である場合、これは、掘削機1の下部キャリッジ2aが移動することは許可されないが、掘削機1がその現時点の場所から移動する必要がない限り、掘削機1はその動作を継続できることを意味する。
一実施例によれば、少なくとも1つの追跡装置又は少なくとも1つの環境モデリング装置のうちの少なくとも一方に関連するデータは、それぞれの装置によって取得されたデータ、それぞれの装置上に設置されたセンサからのデータ、装置の取り付け点上に設置されたセンサからのデータ、任意の位置決定ユニット若しくは任意の装置のうちの少なくとも一方によって、それぞれの装置を追跡することによって若しくはそれぞれの装置に関連する任意の算出の結果としての少なくとも一方で解決されたデータ、又は、上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む。
この実施例によれば、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMに関連するデータは、それぞれの装置によって取得されたデータ及び/又はそれぞれの装置上に設置された可能なセンサからのデータを含み、センサは、本明細書において既に上記でより詳細に説明されている。代替として、又は追加として、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMに関連するデータは、装置の取り付け点上に設置されたセンサからのデータを含んでもよく、それにより、センサは、例えば、それぞれの装置の位置及び/又は向き及び/又は傾斜及び/又は方位に関する情報を提供してもよい。代替として、又は追加として、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMに関連するデータは、任意の位置決定ユニット及び/又は任意の装置によって、それぞれの装置を追跡することによって及び/若しくはそれぞれの装置に関連する任意の算出の結果としての解決されたデータ、並びに/又は、本明細書で前述したデータのうちの少なくとも1つの正確度レベル及び/若しくは妥当性を含んでもよい。したがって、少なくとも1つの追跡装置TA及び/又は少なくとも1つの環境モデリング装置EMに関連するデータは、少なくとも1つの位置決定ユニット内のデータを解決するそれぞれの追跡装置によって提供される追跡動作によって、又は、例えば、データの正確度レベル及び/若しくは妥当性も考慮に入れる少なくとも1つの位置決定ユニットによって提供される算出動作によってなど、いくつかの異なる方法によって取り出されてもよい。
一実施例によれば、少なくとも1つの追跡装置が作業現場に設定される場合、及び少なくとも1つの追跡装置が、1つ又は複数のGNSSアンテナを用いて追跡装置の場所を追跡するための追跡デバイスを備える場合、追跡装置は、カメラ、ステレオカメラ、ライダ、レーダ、又はタキメータのうちの少なくとも1つを追跡デバイスとしてさらに備える。
この実施例によれば、追跡装置TAが作業現場13に設定され、追跡装置TAが、1つ又は複数のGNSSアンテナを用いて追跡装置TAの場所を追跡するための追跡デバイスTDを備える場合、追跡装置TAには、作業現場13内の機械の場所及び向きを追跡すると同時に、作業現場13内の他の対象物又は障害物の場所及び向きを追跡するためのさらなる追跡デバイスTDとして、少なくとも1つのカメラ及び/又は少なくとも1つのステレオカメラ及び/又は少なくとも1つのライダ及び/又は少なくとも1つのレーダ及び/又は少なくとも1つのタキメータも設けられる。特にレーダは、地下構造物などの不可視の対象物を追跡するためにも使用されてもよい。
作業現場における状況認識を決定するための一実施例によれば、少なくとも1つの位置決定ユニットは、機械及び/又は別の機械に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的にさらに基づいて、作業現場内の機械の場所及び向きを決定するように構成され、センサは、機械及び/又は別の機械の位置、向き、傾斜、方位、又は進行距離のうちの少なくとも1つを含む。この実施例によれば、機械の場所及び向きの決定はさらに、場所及び向きが決定される機械の、及び/又は、問題となる機械の場所及び向きを決定するために別の機械に関連するデータが利用される場合は別の機械の、位置及び/又は向き及び/又は傾斜及び/又は方位及び/又は進行距離を説明するセンサ・データに少なくとも部分的に基づいてもよい。
作業現場における状況認識を決定するための一実施例によれば、機械は掘削機であり、少なくとも1つの位置決定ユニットPDUは、機械及び/又は別の機械の上部キャリッジ上に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的に基づいて、作業現場内の機械の場所及び向きを決定するようにさらに構成され、センサは、機械及び/又は別の機械の上部キャリッジの位置及び/又は向き及び/又は傾斜及び/又は方位を含む。この実施例によれば、機械は掘削機1であり、掘削機1の場所及び向きの決定はさらに、場所及び向きが決定される掘削機1の、及び/又は、問題となる掘削機1の場所及び向きを決定するために別の掘削機1に関連するデータが利用される場合は別の掘削機1の、上部キャリッジ2bの位置及び/又は向き及び/又は傾斜及び/又は方位を説明するセンサ・データに少なくとも部分的に基づいてもよい。
掘削機1は、作業現場内の機械の場所及び向きを決定するための、並びに作業現場における状況認識を決定するための解決策と関連して利用され得る、移動式土木機械の一実例である。このような掘削機に加えて、本明細書に開示される解決策は、例えば、移動式クレーンの残りの部分に対して回転するように配置されたキャリッジ部分を備える移動式クレーンにおいても利用することができ、回転可能なキャリッジ部分は、吊り上げブームと、クレーンの作業工具を提供するブームの遠位端にあるフックとを備える。作業現場内の機械の場所及び向き、並びに作業現場における状況認識を決定するための解決策は、移動式クレーンにおいても実質的に同様である。掘削機及び移動式クレーンに加えて、やはり開示された解決策を利用できる他の機械は、例えば、ブルドーザ、ホイール・ローダ、ローラ、バックホー、ダンプ・トラック、フォワーダ、収穫機などである。
技術が進歩するにつれて本発明の概念が様々な方法で実施され得ることは当業者には明らかであろう。本発明及びその実施例は、上記の実例に限定されるものではなく、特許請求の範囲内で変更されてもよい。

Claims (20)

  1. 作業現場(13)における状況認識を決定するための方法であって、
    少なくとも1つの環境モデリング装置(EM)を、機械上又は前記機械の外部のうちの少なくとも一方に設定することと、
    少なくとも1つの追跡装置(TA)を、前記機械上又は前記機械の外部のうちの少なくとも一方に設定することと、
    前記少なくとも1つの追跡装置(TA)によってデータを取得することと、
    前記少なくとも1つの環境モデリング装置によってデータを取得することと、
    少なくとも1つの位置決定ユニット(PDU)によって、
    前記少なくとも1つの追跡装置(TA)に関連するデータ及び
    前記少なくとも1つの環境モデリング装置(EM)に関連するデータ
    を受信することと、
    前記少なくとも1つの位置決定ユニット(PDU)によって、前記受信されたデータに少なくとも部分的に基づいて、前記作業現場(13)内の前記機械の場所及び向きを決定することと
    を含む、方法。
  2. 前記少なくとも1つの位置決定ユニット(PDU)によって、前記受信されたデータに少なくとも部分的に基づいて、前記作業現場(13)内の前記機械の進行方向又は代替の進行方向のうちの少なくとも一方を決定することをさらに含む、請求項1に記載の方法。
  3. 前記方法が、前記作業現場(13)内の前記機械の前記決定された場所及び方向の正確度レベル又は妥当性のうちの少なくとも一方を決定することをさらに含む、請求項1又は2に記載の方法。
  4. 前記少なくとも1つの追跡装置(TA)に関連する前記データが、前記追跡装置(TA)に対する追跡されるマーカ点(MP)の場所、前記追跡装置(TA)に対する追跡される基準点(RP)の場所、前記追跡装置(TA)の傾斜角度、前記追跡装置(TA)の方位、前記追跡装置(TA)の安定性、機械座標系(MCS)、作業現場座標系(WCS)、若しくは世界座標系(WLCS)のうちの少なくとも1つにおける前記追跡装置(TA)の場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む、請求項1から3までのいずれか一項に記載の方法。
  5. 前記少なくとも1つの環境モデリング装置(EM)に関連する前記データが、空間データ、前記環境モデリング装置(EM)に対する追跡されるマーカ点(MP)の場所、前記環境モデリング装置(EM)に対する追跡される基準点(RP)の場所、前記環境モデリング装置(EM)の傾斜角度、前記環境モデリング装置(EM)の方位、前記環境モデリング装置(EM)の安定性、機械座標系(MCS)、作業現場座標系(WCS)、若しくは世界座標系(WLCS)のうちの少なくとも1つにおける前記環境モデリング装置の場所及び向き、又は上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つである、請求項1から4までのいずれか一項に記載の方法。
  6. 前記空間データが、図形データ、点群データ、又は前記作業現場(13)若しくは地球のうちの少なくとも一方に関連する場所への暗黙的若しくは明示的な参照を伴うデータのうちの少なくとも1つを含む、請求項5に記載の方法。
  7. 前記方法が、
    少なくとも1つの環境モデリング・ユニット(EMU)によって、
    材料搬送の指示、
    置くべき材料の区域をカバーする少なくとも1つの環境モデリング装置(EM)に関連する第1のデータによって決定される材料搬送ベース、及び
    置くべき材料の前記区域をカバーする少なくとも1つの環境モデリング装置(EM)に関連する第2のデータによって決定される材料搬送完了
    を受信することと、
    前記少なくとも1つの環境モデリング・ユニット(EMU)によって、前記材料搬送の前記指示、前記材料搬送ベース、及び前記材料搬送完了に関する前記データを、搬送済みの材料として少なくとも部分的に保存することと
    をさらに含む、請求項1から6までのいずれか一項に記載の方法。
  8. 前記方法が、
    前記少なくとも1つの環境モデリング・ユニット(EMU)によって、
    それぞれの区域の作業フェーズ又は作業段階のうちの少なくとも一方に関連する1つ又は複数の指示、及び
    前記少なくとも1つの環境モデリング装置(EM)に関連するデータ
    を受信することをさらに含み、前記1つ又は複数の指示を考慮に入れることによって、
    前記少なくとも1つの環境モデリング装置(EM)に関連する前記データから、それぞれの区域のジオリファレンス済み空間データが導出され、
    前記ジオリファレンス済み空間データが少なくとも部分的に保存される、請求項1から7までのいずれか一項に記載の方法。
  9. 前記ジオリファレンス済み空間データを少なくとも部分的に保存する前記ステップが、
    前記少なくとも1つの環境モデリング装置(EM)から受信された前記データに少なくとも部分的に基づいて、前記ジオリファレンス済み空間データが保存されるべき前記区域を決定することと、
    保存されるべきと決定された前記区域の前記ジオリファレンス済み空間データを保存することと
    をさらに含む、請求項8に記載の方法。
  10. 前記少なくとも1つの環境モデリング装置(EM)から受信された前記データに少なくとも部分的に基づいて、前記ジオリファレンス済み空間データが保存されるべき前記区域を決定する前記ステップが、
    前記少なくとも1つの環境モデリング装置(EM)の前記ジオリファレンス済み空間データが障害物無しである区域を検出して、障害物無し区域と見なすことを含み、前記方法が、
    前記作業現場(13)内の前記機械の前記決定された場所及び向きの現在の正確度を、前記以前に保存されたジオリファレンス済み空間データの時間における前記作業現場(13)内の前記機械の前記決定された場所及び向きの前記正確度と比較することと、
    前記現在の正確度がほぼ同等を上回る場合、前記障害物無し区域内の前記保存されたジオリファレンス済み空間データを更新することと
    をさらに含む、請求項9に記載の方法。
  11. 前記方法が、
    前記作業現場(13)内の前記機械の前記場所及び向きを決定した前記少なくとも1つの位置決定ユニット(PDU)によって、追跡装置、環境モデリング装置、対象物、又は別の機械のうちの少なくとも1つに関するデータを解決することと、
    前記解決されたデータを、
    前記それぞれの追跡装置(TA)、環境モデリング装置、対象物、若しくは別の機械に関連するデータの一部、又は
    少なくとも1つの位置決定ユニット(PDU)によって受信可能なデータ
    のうちの少なくとも一方として送信することと
    をさらに含む、請求項1から10までのいずれか一項に記載の方法。
  12. 前記方法が、
    前記追跡装置(TA)が前記機械又は別の機械のうちの少なくとも一方に設定される場合、前記機械座標系(MCS)又は前記作業現場座標系(WCS)のうちの少なくとも一方において、前記追跡装置(TA)の場所及び向きを決定すること、並びに
    前記追跡装置(TA)が任意の機械の外部に設定される場合、前記作業現場座標系(WCS)において前記追跡装置(TA)の場所及び向きを決定すること
    によって、前記追跡装置(TA)を初期化すること
    をさらに含む、請求項1から11までのいずれか一項に記載の方法。
  13. 前記方法が、
    前記環境モデリング装置(EM)が前記機械又は別の機械のうちの少なくとも一方に設定される場合、前記機械座標系(MCS)又は前記作業現場座標系(WCS)のうちの少なくとも一方において、前記環境モデリング装置(EM)の場所及び向きを決定すること、並びに
    前記環境モデリング装置(EM)が任意の機械の外部に設定される場合、前記作業現場座標系(WCS)において前記環境モデリング装置(EM)の前記場所及び向きを決定すること
    によって、前記環境モデリング装置(EM)を初期化すること
    をさらに含む、請求項1から12までのいずれか一項に記載の方法。
  14. 前記決定される状況認識が、空間データ、ジオリファレンス済み空間データ、領域作業フェーズ・データ、領域作業段階データ、完成時データ、前記作業現場内の任意の機械の場所、向き、進行方向、若しくは代替の進行方向、場所、方向、進行方向、若しくは代替の進行方向、又は、回避対象若しくは関心対象のうちの一方である、周囲の静止しているか若しくは動いているかの一方である機械、障害物、若しくは対象物のうちの少なくとも1つである、請求項1から13までのいずれか一項に記載の方法。
  15. 前記少なくとも1つの追跡装置(TA)が、前記作業現場(13)内の少なくとも1つの基準点(RP)、前記機械に取り付けられた少なくとも1つのマーカ点(MP)、又は前記機械、前記障害物、若しくは前記対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカのうちの少なくとも1つの、前記追跡装置(TA)の場所に対して追跡し、
    前記少なくとも1つの環境モデリング装置(EM)が、前記作業現場(13)内の少なくとも1つの基準点(RP)、前記機械に取り付けられた少なくとも1つのマーカ点(MP)、前記機械、前記障害物、若しくは前記対象物のうちの少なくとも1つに取り付けられた任意の他の追跡可能なマーカ、又は前記作業現場(13)に関連する空間データのうちの少なくとも1つの、前記少なくとも1つの環境モデリング装置(EM)の場所に対して追跡する、請求項1から14までのいずれか一項に記載の方法。
  16. 前記方法が、
    前記作業現場(13)内の前記機械の前記決定された場所及び向きの正確度の最小レベルを決定することと、
    正確度の前記最小レベルを超える閾値レベルを決定することと
    をさらに含み、正確度の前記レベルが前記閾値レベルを下回る場合、及び、下部キャリッジ(2a)を移動させることなく進行中の作業タスクが実行され得る場合、前記機械の前記下部キャリッジ(2a)を移動させるための制御が無効にされる、請求項1から15までのいずれか一項に記載の方法。
  17. 前記少なくとも1つの追跡装置(TA)又は前記少なくとも1つの環境モデリング装置(EM)のうちの少なくとも一方に関連する前記データが、前記それぞれの装置(TA、EM)によって取得された前記データ、前記それぞれの装置(TA、EM)上に設置されたセンサからのデータ、前記装置(TA、EM)の取り付け点上に設置されたセンサからのデータ、任意の位置決定ユニット(PDU)若しくは任意の装置(TA、EM)のうちの少なくとも一方によって、前記それぞれの装置(TA、EM)を追跡することによって若しくは前記それぞれの装置(TA、EM)に関連する任意の算出の結果としての少なくとも一方で解決されたデータ、又は、上記のうちの少なくとも1つの正確度レベル若しくは妥当性のうちの少なくとも一方のうちの少なくとも1つを含む、請求項1から16までのいずれか一項に記載の方法。
  18. 前記少なくとも1つの追跡装置(TA)が前記作業現場(13)に設定される場合、及び前記少なくとも1つの追跡装置(TA)が、1つ又は複数のGNSSアンテナを用いて前記追跡装置(TA)の前記場所を追跡するための追跡デバイス(TD)を備える場合、
    前記追跡装置(TA)が、カメラ、ステレオカメラ、ライダ、レーダ、又はタキメータのうちの少なくとも1つを追跡デバイス(TD)としてさらに備える、請求項1から17までのいずれか一項に記載の方法。
  19. 前記少なくとも1つの位置決定ユニット(PDU)による前記作業現場(13)内の前記機械の前記場所及び向きの決定がさらに、前記機械又は別の機械のうちの少なくとも一方に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的に基づき、前記センサが、前記機械又は別の機械のうちの少なくとも一方の位置、向き、傾斜、方位、又は進行距離のうちの少なくとも1つを含む、請求項1から18までのいずれか一項に記載の方法。
  20. 前記機械が掘削機(1)であり、
    前記少なくとも1つの位置決定ユニット(PDU)による前記作業現場(13)内の前記機械の前記場所及び向きの決定がさらに、前記機械又は別の機械のうちの少なくとも一方の前記上部キャリッジ(2b)上に設置された1つ又は複数のセンサから受信されたデータに少なくとも部分的に基づき、
    前記センサが、前記機械又は別の機械のうちの少なくとも一方の前記上部キャリッジ(2b)の位置、向き、傾斜、又は方位のうちの少なくとも1つを含む、請求項1から19までのいずれか一項に記載の方法。
JP2022525311A 2019-11-27 2020-11-25 作業現場における状況認識を決定するための方法 Active JP7445756B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
FI20196023A FI20196023A1 (en) 2019-11-27 2019-11-27 Method for determining the position and orientation of a machine
FI20196023 2019-11-27
FI20196022 2019-11-27
FI20196022A FI20196022A1 (en) 2019-11-27 2019-11-27 Method and positioning system for determining the position and orientation of a machine
PCT/EP2020/083352 WO2021105204A1 (en) 2019-11-27 2020-11-25 Method for determining situational awareness in worksite

Publications (2)

Publication Number Publication Date
JP2023504772A true JP2023504772A (ja) 2023-02-07
JP7445756B2 JP7445756B2 (ja) 2024-03-07

Family

ID=73598123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022525311A Active JP7445756B2 (ja) 2019-11-27 2020-11-25 作業現場における状況認識を決定するための方法

Country Status (6)

Country Link
US (1) US20220389685A1 (ja)
EP (1) EP4065421A1 (ja)
JP (1) JP7445756B2 (ja)
CN (1) CN114729808A (ja)
FI (1) FI20225526A (ja)
WO (1) WO2021105204A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
EP4361355A1 (en) * 2022-10-24 2024-05-01 Leica Geosystems Technology A/S Visual localization and feature detection for a work vehicle implement tracking system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019143995A (ja) * 2018-02-16 2019-08-29 株式会社神戸製鋼所 建設機械の位置推定装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002340556A (ja) 2001-05-18 2002-11-27 Hitachi Constr Mach Co Ltd 走行式建設機械の位置計測システム、位置計測コンピュータ及び位置計測プログラム
US8345926B2 (en) * 2008-08-22 2013-01-01 Caterpillar Trimble Control Technologies Llc Three dimensional scanning arrangement including dynamic updating
US9131119B2 (en) * 2012-11-27 2015-09-08 Caterpillar Inc. Perception based loading
WO2015089403A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
JP7032308B2 (ja) * 2016-03-31 2022-03-08 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
WO2018026021A1 (ja) 2016-08-05 2018-02-08 株式会社小松製作所 管理システム
JP6794193B2 (ja) 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US20180068035A1 (en) * 2016-09-08 2018-03-08 Brand Shared Services Llc Modeling and designing system and method
US10570582B2 (en) * 2016-11-23 2020-02-25 Caterpillar Inc. System and method for operating a material-handling machine
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6966218B2 (ja) 2017-04-27 2021-11-10 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
US20190332114A1 (en) * 2018-04-26 2019-10-31 Maidbot, Inc. Robot Contextualization of Map Regions
US11346682B2 (en) * 2019-06-28 2022-05-31 GM Cruise Holdings, LLC Augmented 3D map
JP7340996B2 (ja) * 2019-09-03 2023-09-08 日立建機株式会社 現場管理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019143995A (ja) * 2018-02-16 2019-08-29 株式会社神戸製鋼所 建設機械の位置推定装置

Also Published As

Publication number Publication date
EP4065421A1 (en) 2022-10-05
FI20225526A1 (en) 2022-06-13
WO2021105204A1 (en) 2021-06-03
FI20225526A (fi) 2022-06-13
CN114729808A (zh) 2022-07-08
JP7445756B2 (ja) 2024-03-07
US20220389685A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US9142063B2 (en) Positioning system utilizing enhanced perception-based localization
EP3351699B1 (en) Construction management system and method
CN106715800B (zh) 用于运土机械的导向系统
CN101946250B (zh) 地形图更新系统
AU2014274647B2 (en) Determining terrain model error
JP7261780B2 (ja) 機械の場所及び向きを決定するための方法及び測位システム
US20080109141A1 (en) Systems and methods for augmenting an inertial navigation system
EP3119660B1 (en) System and method for positioning construction machine
US10591640B2 (en) Processing of terrain data
JP2010540796A (ja) 多次元空間のナビゲートおよび/またはマッピングが可能なシステムおよび方法
JP7445756B2 (ja) 作業現場における状況認識を決定するための方法
CN105793667A (zh) 集成机械引导系统
EP3828499A1 (en) Method for determining location and orientation of machine
AU2014274649B2 (en) System and method for modelling worksite terrain
US11499297B2 (en) Measuring arrangement for measuring three dimensional location and orientation of the center axis of first axle in relation to the center axis of second axle
JP3118173B2 (ja) 測地システム
Beliveau What can real-time positioning do for construction?
US11788247B1 (en) Basket assembly operation for autonomous pile driving system
El‐Sheimy et al. GNSS Applications in Surveying and Mobile Mapping
JP2024520230A (ja) 作業現場における土工機械の場所及び配向を決定するための方法
AU2014274648B2 (en) Determining terrain of a worksite

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7445756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150