JP6982669B1 - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
JP6982669B1
JP6982669B1 JP2020149868A JP2020149868A JP6982669B1 JP 6982669 B1 JP6982669 B1 JP 6982669B1 JP 2020149868 A JP2020149868 A JP 2020149868A JP 2020149868 A JP2020149868 A JP 2020149868A JP 6982669 B1 JP6982669 B1 JP 6982669B1
Authority
JP
Japan
Prior art keywords
vehicle
fine particles
information
work machine
point data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020149868A
Other languages
English (en)
Other versions
JP2022044307A (ja
Inventor
瑳佳 北井
幹雄 板東
健人 緒方
信一 魚津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2020149868A priority Critical patent/JP6982669B1/ja
Priority to US18/019,492 priority patent/US20230324917A1/en
Priority to EP21863895.5A priority patent/EP4177696A1/en
Priority to CN202180056411.0A priority patent/CN116075794A/zh
Priority to PCT/JP2021/018284 priority patent/WO2022049836A1/ja
Application granted granted Critical
Publication of JP6982669B1 publication Critical patent/JP6982669B1/ja
Publication of JP2022044307A publication Critical patent/JP2022044307A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】検知対象の物体をより高い精度で検知することができる作業機械を提供する。【解決手段】作業機械の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群情報として計測する計測センサと、計測センサからの情報に基づいて、作業機械の周囲の検知対象物体を検知する物体検知装置とを備え、物体検知装置は、計測センサで計測された3次元点群情報を取得し、3次元点群情報を構成する複数の点データについて、垂直方向に隣り合うレイヤの点データの計測センサからの距離の関係と、距離の差のばらつきとに基づいて微小粒子を計測している点データを検知し、微小粒子として検知した点データを3次元点群情報から削除し、微小粒子の点データを削除した3次元点群情報に基づいて周囲の物体を検知する。【選択図】図2

Description

本発明は、作業機械に関する。
鉱山現場においては、生産性の向上を目的として、例えば、自律走行ダンプトラックなどの作業機械が用いられている。自律走行ダンプトラックでは、管制情報を用いた運行管理が行われるほか、走行の安全性を確保するために、個々の自律走行ダンプトラックにおいて走行中の周囲の状況を常に把握し、障害物や他の車両等の有無を検知して、自律走行を制御することが行われる。一方、鉱山現場などのオフロード環境では、砂埃等の微小粒子の浮遊状態が頻繁に発生するため、これらを物体として誤検知することを抑制する必要がある。
このような障害物の検知に係る技術として、例えば、特許文献1には、建設車両に搭載される障害物検知装置であって、投射光と反射光との時間差から距離を測定するTOF方式の距離画像センサと、前記距離画像センサの測定データに基づいて障害物の有無を判定する制御装置と、を備え、前記測定データに関し、車両端部からの車両進行方向成分をxデータ、車幅方向成分をyデータ、地面からの高さ方向成分をzデータとしたとき、前記制御装置は、zデータが閾値T1よりも大きい測定データのみを選別して障害物の有無を判定する高さ選別ステップを行う建設車両の障害物検知装置が開示されている。
特開2019−12063号公報
上記従来技術においては、地面を計測した際の反射強度を基準に閾値を設けることで、路面の測定データ、及び、砂埃や水蒸気等の微小粒子などの測定データを除去し、障害物検知の精度向上を図っている。しかしながら、検知対象が路面上に落下している岩のような路面と同様の物質の場合には、検知対象と除去対象との測定データの反射強度が同じような値となってしまうため、検知対象の測定データが路面や砂埃の測定データとともに除去されてしまい、障害物として検知すべき検知対象を検知できないおそれがあった。
本発明は上記に鑑みてなされたものであり、検知対象の物体をより高い精度で検知することができる作業機械を提供することを目的とする。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、現場で稼働する作業車両であって、前記作業車両の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群情報として計測する計測センサと、前記計測センサからの情報に基づいて、前記作業車両の周囲の検知対象物体を検知する物体検知装置とを備え、前記物体検知装置は、前記計測センサで計測された3次元点群情報を取得し、前記3次元点群情報を構成する複数の点データについて、垂直方向に隣り合うレイヤの点データの前記計測センサからの距離の関係と、距離の差のばらつきとに基づいて微小粒子を計測している点データを検知し、検知した微小粒子の点データを前記3次元点群情報から削除し、微小粒子の点データを削除した前記3次元点群情報に基づいて周囲の物体を検知するものとする。
本発明によれば、検知対象の物体をより高い精度で検知することができる。
第1の実施の形態に係る物体検知装置を抜き出して概略的に示す機能ブロック図である。 物体検知装置の処理内容を示す機能ブロック図である。 物体検知装置で扱われる3次元点群データの一例を示す図であり、3次元点群データを構成する各点データの概要を示す図である。 物体検知装置で扱われる3次元点群データの一例を示す図であり、3次元点群データのデータ構造を示す図である。 ダンプトラックに搭載された外界認識センサによる計測の様子を示す図であり、微小粒子の飛散領域が存在する場合を示す図である。 ダンプトラックに搭載された外界認識センサによる計測の様子を示す図であり、微小粒子の飛散領域が存在しない場合を示す図である。 微小粒子検知部における微小粒子検知処理の処理内容を示すフローチャートである。 微小粒子削除部における微小粒子削除処理の処理内容を示すフローチャートである。 物体検知装置を搭載したダンプトラックの処理機能を概略的に示す機能ブロック図である。 ダンプトラックに搭載した物体検知装置の処理内容を示すフローチャートである。 車両行動変更判断部の処理内容を示すフローチャートである。 微小粒子の飛散領域の時系列推定結果の様子を例示する図である。 微小粒子の飛散領域の時系列推定結果の様子を例示する図である。 微小粒子の飛散領域の時系列推定結果の様子を例示する図である。 第2の実施の形態に係る物体検知装置を搭載したダンプトラックの処理機能を関連構成とともに概略的に示す機能ブロック図である。 先行車による物体検知結果の一例を示す図である。 車両行動変更判断部の処理内容を示すフローチャートである。
以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例として自律走行車両であるダンプトラック(自律走行ダンプトラック)を示して説明するが、油圧ショベルなどの他の作業機械であっても本発明の適用が可能である。
<第1の実施の形態>
本発明の第1の実施の形態を図1〜図14を参照しつつ説明する。
図1は、本実施の形態に係る物体検知装置を抜き出して概略的に示す機能ブロック図である。また、図2は、物体検知装置の処理内容を示す機能ブロック図である。
図1において、物体検知装置100は、本実施の形態に係る作業機械の一例として示す自律走行ダンプトラック(以降、単にダンプトラックと称する)に搭載されるものであり、外界情報取得部110と、微小粒子検知部120と、微小粒子削除部130と、物体検知部140とを備えている。
図2において、まず、物体検知装置100の外界情報取得部110は、ダンプトラックに設けられた外界認識センサ210(計測センサ)から3次元点群データ(3次元点群情報)を取得する(ステップS100)。
外界認識センサ210は、ダンプトラック200(後の図5等参照)に搭載され、ダンプトラック200の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群データとして計測する計測センサである。本実施の形態では、外界認識センサ210としてLiDAR(Light Detection And Ranging)を用いる場合を例示して説明する。なお、外界認識センサ210は、作業機械であるダンプトラック200の周囲に存在する物体表面の3次元位置を計測可能なものであれば良く、例えば、距離画像センサを用いたり、ステレオカメラにおいて公知の三角測量法を用いたりしても良い。また、ステレオカメラとLiDARなど複数のセンサを組み合わせて用いても良い。
図3及び図4は、物体検知装置で扱われる3次元点群データの一例を示す図であり、図3は3次元点群データを構成する各点データの概要を、図4は3次元点群データのデータ構造をそれぞれ示す図である。
図3に示すように、外界認識センサ210で取得される3次元点群データは、外界認識センサ210で取得される各点データのIDと、外界認識センサ210から各計測点までの距離と、基準方向からの水平方向の角度、及び、垂直方向の角度とで構成されている。すなわち、外界認識センサ210で取得される3次元点群データは、距離・角度データであり、図3の左側のデータID、水平計測角度、垂直計測角度、及び、計測距離がこれに相当する。
続いて、外界情報取得部110は、外界認識センサ210から距離・計測角度情報を含んだ3次元点群データを受け取り、各点データを自車両を中心とした直交座標系(車両座標系)における3次元座標に変換し、3次元点群データに追記する(ステップS110)。
図3に示すように、外界情報取得部110では、3次元点群データを、データID、水平方向の計測角度、垂直方向の計測角度、計測距離、3次元座標、及び微小粒子ラベルとから構成されるデータに変換する。
具体的には、外界情報取得部110は、外界認識センサ210から出力される距離及び計測角度の情報を含んだ点群データと自車中心から見た外界認識センサ210の設置位置から、各計測点の自車両の中心を原点とする直交座標系(車両座標系)における3次元座標を算出し、元の3次元点群データに算出した情報を追記し、微小粒子検知部120へ出力する。
なお、外界認識センサ210にステレオカメラを用いる場合には、三角測量法により3次元直交座標が取得される。そこで、センサの設置位置と取得された直交座標から、各点のセンサの計測中心を原点とする3次元極座標系を算出することで物体までの距離および計測距離の情報を取得することができる。
ここで、微小粒子ラベルとは、各点データが微小粒子を計測した点であるか否かを示すラベルであり、微小粒子ラベルが「1」の場合には微小粒子を計測した点を意味し、微小粒子ラベルが「0」(ゼロ)の場合には微小粒子以外の物体を計測した点を意味する。なお、外界情報取得部110から出力される3次元点群データの微小粒子ラベルには初期値として「0」(ゼロ)が設定されている。外界情報取得部110は、図4に示すように、行方向を水平方向の計測角度に応じて、列方向を垂直方向の計測角度に応じてそれぞれ並べた2次元配列データを3次元点群データとして出力する。
続いて、微小粒子検知部120は、外界情報取得部110から取得した3次元点群データに基づき、各点データの距離情報を用いて各点データが微小粒子を計測したものであるか否かを判定し(ステップS120)、判定結果がYESの場合には該当する点データの微小粒子ラベルを「1」とし(ステップS130)、判定結果がNOの場合には該当する点データの微小粒子ラベルを「0」(ゼロ)とする(ステップS121)。
ここで、微小粒子検知部120における微小粒子検知処理の基本原理、すなわち、図2のステップS120,S121,S130の処理の詳細について説明する。
図5及び図6は、ダンプトラックに搭載された外界認識センサによる計測の様子を示す図であり、図5は微小粒子の飛散領域が存在する場合を、図6は微小粒子の飛散領域が存在しない場合をそれぞれ示す図である。
図5に示すように、鉱山現場などにおいては、ダンプトラック200の走行動作や風などの作用によって、微小粒子の一つである複数の砂粒が浮遊する場合(所謂、砂埃が発生する場合)がある。通常、砂埃のような微小粒子が空気中に浮遊していた場合、図5に示すように微小粒子を計測した点211aと、粒子の隙間を抜けて地面510を計測する点212aと、砂埃の後ろの領域にある物体500を計測する点213とが混在することになる。このとき、物体が存在しない場合に地面を計測している点に関しては、図6のように下側の点212bの方が上側の走査線で計測された点211bより計測距離が短くなる。しかし、微小粒子を計測した場合には、図5に示すように、点211a、点212aのように距離関係が逆転するデータが発生する。すなわち、地面510を計測していると考えられる場合において、外界認識センサ210から水平方向を基準とした場合の俯角が大きい点211aの計測距離が俯角が小さい点211bよりも短くなるという関係性の逆転が生じる。したがって、この距離の関係性が逆転している点211aを、微小粒子を計測した点として判定する。
なお、本実施の形態においては、空気中に浮遊する微小粒子の一例として砂埃(砂粒)を示して説明したが、雨粒(雨滴)や霧、煙、水蒸気などのように空気中に存在する他の微小粒子についても同様に検知することができる。
ただし、鉱山現場に存在する物体の形状によっては、微小粒子の飛散領域ではないにも関わらず、距離関係が逆転する場合がある。そこで、一定の閾値(閾値2)を設け、上下方向に隣り合う点データの距離の差をこの閾値と比較することで、距離関係の逆転が微小粒子によるものなのか物体の形状によるものなのかを判定する。この閾値2は、車両の走行環境の中で想定される検知対象のうち、距離関係の逆転が発生する形状の物体中で最も大きい物体における幅または奥行きのうち値の大きい方により決定する。例えば、鉱山現場であれば、球状の岩などがその物体に該当する。さらに、物体であれば距計測点同士の距離差は物体の大きさ以下であるため、距離差の分散が小さくなる傾向となる。一方で、微小粒子を計測している場合は、近傍の地面を計測している点は距離差が小さくなるが、遠方の地面を計測しているデータでは大きくなる。つまり物体を計測した時と比較して距離差の分散が大きくなる。そこで、距離関係の逆転が発生する形状の物体中で最も大きい物体を計測した場合の距離差の分散を閾値3とし、各点データの上下方向の距離の差の分散をこの閾値3と比較することで、距離関係の逆転が微小粒子によるものなのか物体の形状によるものなのかを判定し、微小粒子の誤検知をさらに確実に防止する。
図7は、微小粒子検知部における微小粒子検知処理の処理内容を示すフローチャートである。
図7において、微小粒子検知部120は、まず、外界情報取得部110から3次元点群データを取得し(ステップS200)、3次元点群データの2次元配列(図4参照)の同一列のデータを参照して、一番下の行の点から順番に、その点の計測距離と一つ上の行の点の計測距離の差を算出する(ステップS210)。なお、ステップS210では、下側の行の点データの計測距離から上側の行の点データの計測距離を引くことで差を算出する。
続いて、距離の差が予め定めた閾値(閾値2)以上であるか否か判定し(ステップS220)、判定結果がYESの場合、すなわち、下側の点データの計測距離の方が上側の点データの計測距離よりも一定距離以上長い場合には、上側の点データの微小粒子ラベルを「1」とし(ステップS230)、ステップS210で算出した距離差を保存する(ステップS240)。
ステップS220での判定結果がNOの場合、又は、ステップS240の処理が終了した場合には、続いて、3次元点群データの全ての列を参照したか否かを判定し(ステップS250)、判定結果がNOの場合には、判定結果がYESになるまでステップS210〜S250の処理を繰り返す。
また、ステップS250での判定結果がYESの場合には、ステップS240で保存した各点データの計測距離の差から分散を算出し(ステップS260)、分散が予め定めた閾値(閾値3)以上であるか否かを判定する(ステップS270)。ここで、閾値3は、物体を計測した場合の計測距離の差の分散と、飛散領域の微小粒子を計測した場合の計測距離の差の分散との間の値に設定されるものであり、物体検知装置100が搭載される作業機械(例えば、ダンプトラック200)が稼働する環境において存在する可能性のある物体について、計測距離の差の分散を予め算出しておき、この値にマージンを持たせた値を閾値3とすることで、物体であるか微小粒子であるかを判定することができる。
ステップS270での判定結果がYESの場合には、微小粒子ラベルが「1」となっている全ての点データの3次元座標を参照し、それらの点データの重心座標を微小粒子の飛散領域の位置として算出する(ステップS280)。また、x,y,z座標のそれぞれの最大値から最小値までの距離を、それぞれ奥行、幅、高さとする直方体の領域を定義し、この領域を微小粒子の飛散領域として算出する(ステップS280)。さらに、微小粒子の飛散領域として算出した直方体の体積と、微小粒子ラベルが「1」である点データの個数とから、飛散領域内の微小粒子の密度を算出する(ステップS280)。
続いて、ステップS280で算出した微小粒子の飛散領域の位置、範囲、密度の情報を時系列で蓄積し、公知のカルマンフィルタ等の追跡手法を用いて、位置、範囲、密度の時間変位を算出し追跡する(ステップS290)。
続いて、ステップS290で算出された飛散領域の位置および範囲の時間変位が予め定めた閾値(閾値4)以上であるか否かを判定し(ステップS300)、判定結果がYESの場合には、自車両の移動経路上において、微小粒子の飛散領域が存在する領域は危険な領域、存在しない領域は安全に走行可能な領域とし(ステップS310)、3次元点群データを微小粒子削除部130に出力して(ステップS320)、処理を終了する。ここで、閾値4は、物体検知部140における物体検知の距離精度の値より大きい任意の値とする。
また、ステップS270での判定結果がNOの場合、或いは、ステップS300での判定結果がNOの場合には、全ての点データの微小粒子ラベルを「0」(ゼロ)とし(ステップS271)、3次元点群データを微小粒子削除部130に出力して(ステップS320)、処理を終了する。
図2に戻る。
ステップS130又はS121の処理が終了すると、続いて、微小粒子削除部130は、3次元点群データから、微小粒子と判定されている点データ(すなわち、微小粒子ラベルが「1」となっている点データ)を削除する(ステップS140)。
続いて、削除後の点データの数が予め定めた閾値(閾値1)以上であるか否かを判定し(ステップS150)、判定結果がNOの場合には、微小粒子削除部130に3次元点群データを保存し(ステップS151)、ステップS100の処理に戻る。
ここで、微小粒子削除部130における微小粒子削除処理の基本原理、すなわち、図2のステップS140,S150,S151の処理の詳細について説明する。
図8は、微小粒子削除部における微小粒子削除処理の処理内容を示すフローチャートである。
図8に示すように、微小粒子削除部130は、まず、微小粒子検知部120から3次元点群データを取得し(ステップS400)、微小粒子ラベルが「1」の点データがあるか否かを判定する(ステップS410)。
ステップS410での判定結果がNOの場合には、微小粒子を計測していないため、物体検知部140へ3次元データを出力し(ステップS440)、処理を終了する。
また、ステップS410での判定結果がYESの場合には、3次元点群データから微小粒子ラベルが「1」の点データを削除し(ステップS420)、削除後の3次元点群データの点データの数と、保存されている点データの数(後のステップS431参照)の合計が予め定めた閾値(閾値1)以上であるか否かを判定する(ステップS430)。
ステップS430での判定結果がYESの場合、すなわち、物体検知が可能な数の点データがある場合には、物体検知部140へ3次元データを出力し(ステップS440)、処理を終了する。
また、ステップS430での判定結果がNOの場合、すなわち、物体検知が可能な数の点データが無いと判定した場合には、ステップS430で合計した3次元点群データを保存し(ステップS431)、物体検知装置100の最所の処理(図2のステップS100)に戻る。
ここで、閾値1は、外界認識センサ210の空間分解能dh、元の3次元点群データの点データ数n0、検知を要する(検知したい)と想定される最小の検知対象の大きさSmin、及び、最長検知距離rtを用いて下記の(式1)及び(式2)により求まる固定値である。
Figure 0006982669
Figure 0006982669
上記(式1)及び(式2)により、センサの空間分解能から、最長距離における隣り合う計測点の間の距離が求まる。この距離と最小検知対象の大きさから、検知対象を計測する点の個数ntが算出できる。この点の個数ntが少なくとも1点以上でないとそもそも計測できないため、1を上記点の個数ntで割った値が、削除できるデータの割合となる。この割合に元の点群データの個数noをかけた値が閾値1である。
図2に戻る。
ステップS150での判定結果がYESの場合には、物体検知部140は、微小粒子削除部130から3次元点群データを取得し、車両周囲に存在する物体の位置・形状・移動速度・移動方向の情報を時系列で検知する(ステップS160)。
ここで、物体検知部140における物体検知処理の処理内容について説明する。
物体検知部140は、微小粒子削除部130から点群データを取得し、点群の3次元座標情報を用いて自車周囲の物体の位置・形状・移動速度・移動方向の情報を取得する。ここで、物体の位置とは、検知された物体を計測した各点の3次元座標を用いて算出した重心座標である。また、形状とは、各点の3次元座標からx,y,z座標それぞれの最大値から最小値までの距離を、奥行き、幅、高さとして算出した直方体である。
物体の位置・形状の検知手法としては、例えば公知のOGM(Occupancy Grid Map)法や、機械学習を用いたVoxelNet法など、3次元の点群から上記物体情報を取得できる手法であればよい。また、物体の移動速度・方向を検知する手法としては、公知のカルマンフィルタやパーティクルフィルタを用いた手法など、時系列で物体の移動速度・方向を推定できる手法であれば良い。
以上のように構成した物体検知装置の作用効果について説明する。
物体検知装置100は、外界認識センサ210と、外界情報取得部110と、微小粒子検知部120と、微小粒子削除部130と、物体検知部140と、を備える。外界情報取得部110は、外界認識センサ210から距離・計測角度情報含んだ3次元点群データを受け取り、各点の自車を中心とした直交座標系における3次元座標を算出し、3次元点群データに追記し、微小粒子検知部120に出力する。微小粒子検知部120は、外界情報取得部110から3次元点群データを取得し、各点の距離情報を用いて各点に対し微小粒子を計測したかを判定する。微小粒子計測したと判定された点の微小粒子ラベルを「1」にする。微小粒子削除部130は、微小粒子検知部120から3次元点群データを受け取り、微小粒子と判定されている点を3次元点群データから削除する。削除後のデータ数が閾値1以上であるか判定し、閾値1以上の場合は物体検知部140に出力する。閾値1以下の場合は、微小粒子削除部130に3次元点群データを保存する。物体検知部140は、微小粒子削除部130から3次元点群データを取得し、車両周囲に存在する物体の位置・形状・移動速度・移動方向の情報を時系列で検知する。そのため、物体検知部140では微小粒子の影響による未検知及び誤検知を防ぐことができる。
また、微小粒子検知部120では、3次元点群データの配列の列方向を参照し、上下に隣り合った点において、下側の点の計測距離が、距離の閾値2より大きく、また、距離差の分散の値が閾値3より大きい場合に、上側の点を微小粒子を計測した点として判定し、検知できる。そのため、微小粒子を計測した点を誤検知なく検知可能である。
また、微小粒子検知部120では、微小粒子を計測した点を検知し、その3次元座標を用いて微小粒子の飛散領域の位置、範囲、密度の情報を取得できる。また、微小粒子は浮遊物であることから、飛散領域の位置、範囲、密度は時系列で追跡した際に変化するため、変位が閾値4より小さい場合に、微小粒子ではなく物体を検知したと判断し、すべての点の微小粒子ラベルを「0」にする。そのため、微小粒子を計測した点を誤検知なく検知可能である。
また、微小粒子検知部120では、微小粒子を計測した点を検知し、その3次元座標を用いて微小粒子の飛散領域の位置、範囲、密度の情報を取得できる。また、それらの情報を用いて、自車の進路上において、微小粒子が存在する領域は危険な領域、存在しない領域は安全に走行可能な領域として算出できる。そのため、微小粒子が発生しても、自車を安全に走行させることができる。
また、微小粒子削除部130では、削除した後の3次元点群データのデータ数と閾値1を比較し、閾値1より少ない場合は、データ数が閾値1以上になるまで点群の蓄積を行う。そのため、物体の未検知を防ぐことができる。
以上のように構成した物体検知装置100をダンプトラック200に搭載した場合についてさらに詳細に説明する。
本実施の形態の物体検知装置100が搭載されるダンプトラック200は、図示は省略するが、前後方向に延在して支持構造体を形成する車体フレームと、車体フレームの上部に前後方向に延在するように配置され、その後端下部をピン結合部を介して車体フレームに傾動可能に設けられた荷台(ベッセル)と、車体フレームの下方前側左右に設けられた一対の従動輪(前輪)と、車体の下方後側左右に設けられた一対の駆動輪(後輪)と、車体フレームの上方前側に設けられた運転室(キャブ)と、車体フレームの下方に設けられた燃料タンクと、車体フレーム上に配置され、燃料タンクから供給される燃料により駆動するエンジンと、ダンプトラック200の自律走行を制御する車両制御装置300とから概略構成されている。
図9は、物体検知装置を搭載したダンプトラックの処理機能を概略的に示す機能ブロック図である。
図9において、ダンプトラック200は、物体検知装置100と、外界認識センサ210と、車載センサ220と、車両制御装置300と、ダンプトラック200の運行を管理する管制センタ400と、を備える。
外界認識センサ210は自車周囲の環境を計測し、点群データ215を物体検知装置100に出力する。
物体検知装置100は自車周囲に存在する物体の位置、形状、移動速度、移動方向の情報を算出し、車両制御装置300に出力する。また、物体検知装置100は微小粒子検知部120で算出した微小粒子の飛散状況と、微小粒子削除部130で算出された点群の不足情報を車両制御装置300に出力する。車載センサ220は自車の位置と姿勢を計測し、車両制御装置300に送信する。
管制センタ400は各車両の位置情報を取得し、運行管理情報を車両制御装置300に出力する。
車両制御装置300は、管制センタ400から受信した運行管理情報と、車載センサ220から取得された自己位置および車両の姿勢情報と、物体検知装置100から取得される物体情報および微小粒子の情報から、物体検知が確実に実施できるように車両の速度と操舵角を決定し、アクチュエータに出力する。
外界認識センサ210はダンプトラック200に搭載され、車両の周囲の環境を計測する。本実施の形態では、外界認識センサ210としてLiDARを用いる。
車載センサ220は、ダンプトラック200に搭載され、自車の位置、姿勢情報を計測する。本実施例では、位置を測定するセンサとしてGNSS(Global Navigation Satellite System)装置221を用いる。また、姿勢を計測するセンサとしては、IMU(Inertial Measurement Unit)装置222を用いる。
車両制御装置300は、自己位置推定部310と、速度計画部320と、軌道計画部330と、通信部340と、車両行動変更判断部350を備え、車両を制御するための速度や操舵角情報を決定する。
管制センタ400は運行管理部410と、通信部420と、地図記憶部430と、経路記憶部440を備え、複数のダンプトラック200の運行を管理、制御する。詳細は後述する。
図10は、ダンプトラックに搭載した物体検知装置の処理内容を示すフローチャートである。なお、図10においては、図2と同じ処理内容には同じ符号を付して説明を省略し、相違点のみについて説明する。
ステップS130において微小粒子検知部120において算出された、微小粒子の飛散領域の位置、範囲、密度の時系列情報を、車両制御装置300の車両行動変更判断部350に出力する(ステップS510)。
また、ステップS150での判定結果がYESの場合には、データ蓄積回数に「0」(ゼロ)を代入して、車両行動変更判断部350にデータ蓄積回数を出力する(ステップS520)、物体検知部140は、微小粒子削除部130から3次元点群データを取得し、車両周囲に存在する物体の位置・形状・移動速度・移動方向の情報を時系列で検知し(ステップS160)、3次元点群データを用いて物体検知部140で物体検知を実施し、検知した物体の位置、形状の情報を、速度計画部320と軌道計画部330に出力する(ステップS530)。
また、ステップS150での判定結果がNOの場合には、閾値1を削除後のデータ数で割ることで、データの蓄積回数を算出し(ステップS540)、蓄積回数を車両行動変更判断部350に出力する(ステップS550)。
ここで、物体の位置とは、検知された物体を計測した各点の3次元座標を用いて算出した重心座標である。また、形状とは、各点の3次元座標からx,y,z座標それぞれの最大値から最小値までの距離を、奥行き、幅、高さとして算出した直方体である。
次に管制センタ400における処理の内容について説明する。
管制センタ400は、通信部420で複数のダンプトラック200から位置情報と、速度情報と、走行軌道を取得し、運行管理部410に出力する。また、地図記憶部430は、あらかじめ鉱山内の自律走行車両の走行路を一定の区間ごとに区切り、その区間の走行経路と制限速度を設定した地図情報を記憶してある。地図記憶部430は、地図情報を運行管理部410に出力する。経路記憶部440は、各車両の現在の走行経路を保存してあり、運行管理部410に保存した各車両の経路情報を出力する。運行管理部410は、取得された各車両の位置情報と、地図情報とを用いて、各車両位置情報を地図上に重ねることで、各車両の地図上の位置を把握する。各車両の地図上の位置と、各車両の経路情報から、現在の経路を走り終えると判断した場合には、地図上の次の走行経路を新たな走行経路として、また、その経路に含まれる制限速度を目標速度として通信部420を通してダンプトラック200に出力する。また、各車両の新たな走行経路を経路記憶部440に出力する。
次に車両制御装置300における処理の内容について説明する。通信部340で管制センタ400からの目標速度と走行経路を受信する。通信部340は受信した目標速度を速度計画部320に、走行経路を軌道計画部330に出力する。自己位置推定部310は、車載センサ220から取得した位置データと、車体のx、y、z、ロール、ピッチ、ヨーの6軸方向の加速度から構成される姿勢データを用いて車両の現在位置、速度を推定し、速度計画部320と軌道計画部330と車両行動変更判断部350に出力する。車両行動変更判断部350は、微小粒子検知部120から微小粒子の飛散領域の位置、範囲、密度の時系列情報と、微小粒子削除部130からデータ蓄積回数と、自己位置推定部310から現在位置と車両速度と、を取得する。データ蓄積回数が「0」(ゼロ)の場合はダンプトラック200の最高車速を速度計画部320に出力する。データ蓄積回数が1以上の場合は、後述する処理により算出された車両速度を速度計画部320に出力する。車両行動変更判断部350の処理の詳細については後述する。速度計画部320は通信部340から取得した目標速度と、車両行動変更判断部350から取得した車両速度を比較し、遅い方の速度を目標速度する。現在の車両速度と目標速度の差分から加速量または減速量を算出し、アクチュエータの操作量を決定する。軌道計画部330は走行経路と現在位置、物体検知装置100から取得される周囲の物体の位置、形状情報から、物体に衝突せず、かつ最も走行経路から外れないように目標軌道を決定し、その軌道に沿って走行できるように、現在位置と目標軌道の位置の差分から操舵角を算出する。
次に、車両行動変更判断部350における処理の内容について説明する。
図11は、車両行動変更判断部の処理内容を示すフローチャートである。
図11に示すように、車両行動変更判断部350は、まず、自己位置推定部310から自己位置と車両速度の情報を、微小粒子検知部120から微小粒子領域の位置、範囲、密度の時系列情報を、微小粒子削除部130からデータ蓄積回数をそれぞれ取得し(ステップS600)、データ蓄積回数が「0」(ゼロ)より大きいか否かを判定する(ステップS610)。
ステップS610での判定結果がNOの場合、すなわち、データ蓄積回数が「0」の場合には、ダンプトラック200の最高速度を速度計画部320に出力し(ステップS611)、処理を終了する。
また、ステップS610での判定結果がYESの場合、すなわち、データ蓄積回数が「0」より大きい場合には、飛散領域の位置、範囲の情報から求まる直方体と、自車の位置、車両速度から、直方体の中で車体に一番近い面と、自車位置までの距離を算出し、その距離と車両速度から車体が到達するまでの時間を算出する(ステップS620)。
続いて、到達時間後の飛散領域の位置、範囲、密度を、微小粒子領域の時系列データを公知のカルマンフィルタ等の推定手法を用いて推定し、到達時間までに微小粒子の飛散領域が消滅、又は、ダンプトラック200の進路外に移動したか否かを判定する(ステップS630)。
ステップS630では、ダンプトラック200の進路上の飛散領域の密度が予め定めた閾値(閾値5)より小さいであるか否かを判定することにより、到達時間までに微小粒子の飛散領域が消滅、又は、ダンプトラック200の進路外に移動したか否かを判定する。
図12〜図14は、微小粒子の飛散領域の時系列推定結果の様子を例示する図である。
ステップS630では、図12に示すような初期状態の微小粒子の飛散領域について、図13に示すように到達時間後の推定結果では密度が低下して閾値5より小さい値となるか、または、図14に示すように飛散領域の位置、範囲が変化して、飛散領域を示す直方体と車両を囲うように設定した直方体の領域が接しない、つまり自車の進路上からいなくなるかを判断する。
なお、閾値5は、事前に密度を変化させながら微小粒子を発生させ物体検知装置100で計測した実験を実施した際の、微小粒子削除部130でデータ蓄積回数「0」(ゼロ)となるときの微小粒子検知部120で算出された微小粒子の飛散領域の密度のうち、最も高い密度の値である。
ステップS630の判定結果がYESの場合、すなわち、飛散領域が消滅またはいなくなると判断をされた場合は、速度計画部320に現在の車両速度を出力し(ステップS640)、処理を終了する。
また、ステップS630の判定結果がNOの場合には、ステップS620で算出した飛散領域までの到達時間と、蓄積回数と外界認識センサ210の計測時間をかけた時間とを比較することで、データ蓄積に必要な回数を外界認識センサ210が計測可能かを判定する(ステップS631)。外界認識センサ210の計測時間は、使用するセンサにより固有の値である。
ステップS631での判定結果がYESの場合には、速度計画部320に現在の車両速度の信号を出力し(ステップS640)、処理を終了する。
また、ステップS631での判定結果がNOの場合には、ステップS620で算出した自車と飛散領域との距離を、データ蓄積回数と計測時間をかけた時間で割ることで、計測可能となる車両速度を算出して、速度計画部320にその車両速度を出力し(ステップS632)、後続車でも減速が発生し、さらなる生産性の低下につながることを防止するため、通信部340を通し管制センタ400に散水アラートを出力し(ステップS633)、処理を終了する。
以上のように構成した本実施の形態における作用効果を説明する。
ダンプトラック200は、物体検知装置100と、外界認識センサ210と、車載センサ220と、車両制御装置300と、ダンプトラック200の運行を管理する管制センタ400と、を備える。外界認識センサ210は自車周囲の環境を計測し、点群データ215を物体検知装置100に出力する。物体検知装置100は自車周囲に存在する物体の位置、形状、移動速度、移動方向の情報を算出し、車両制御装置300に出力する。また、物体検知装置100は微小粒子検知部120で算出した微小粒子の飛散状況と、微小粒子削除部130で算出された点群の不足情報を車両制御装置300に出力する。車載センサ220は自車の位置と姿勢を計測し、車両制御装置300に送信する。管制センタ400は運行管理情報を車両制御装置300に出力する。車両制御装置300は、管制センタ400から受信した運行管理情報と、車載センサ220から取得された自己位置および車両の姿勢情報と、物体検知装置100から取得される物体情報および微小粒子の情報から、物体検知が確実に実施できるように車両の速度と操舵角を決定し、アクチュエータに出力する。そのため、ダンプトラック200は微小粒子が発生しても未検知、誤検知なく周囲の物体を検知することで、物体に衝突することなく走行することができる。
また、車両行動変更判断部350は、自己位置推定部310から自己位置と車両速度の情報を、微小粒子検知部120から微小粒子領域の位置、範囲、密度の時系列情報を、微小粒子削除部130からデータ蓄積回数を取得し、現在位置、車両速度、微小粒子領域の位置、範囲から、微小粒子の飛散領域までの到達時間を算出する。次に、到達時間後の微小粒子領域の状況を、微小粒子領域の時系列データを公知のカルマンフィルタ等の推定手法を用いて推定する。推定した結果、微小粒子領域が消滅または、移動して進路上からいなくなると判断された場合は、速度計画部320にそのままの速度を保つように信号を出力する。また、進路上に残ると判断した場合は、外界認識センサ210の計測時間とデータ蓄積回数から到達時間までにデータ蓄積可能か判断し、蓄積可能な場合は速度計画部320にそのままの速度を保つように信号を出力する。蓄積不可能と判断した場合は、データ蓄積に必要な時間と、現在位置から微小粒子領域までの距離をもとに車両速度を決定し、速度計画部320にその車両速度を出力する。そのため、微小粒子の影響による物体検知の未検知、誤検知を防ぐことができる。
また、車両行動変更判断部350は、速度計画部320に車両速度を送信した場合には、散水アラートを管制センタ400に送信するそのため、微小粒子のさらなる発生を防止することができる。
<第1の実施の形態の変形例>
なお、第1の実施の形態においては、車両行動変更判断部350において、微小粒子の飛散領域の時系列情報とデータ蓄積回数、自己位置、車両速度を用いて、データ蓄積が不可能だと判断した場合には車両速度の減速する場合を例示したが、これに限られず、データ蓄積が不可能な場合に減速以外の処理を行うことも考えられる。
例えば、微小粒子の飛散領域への到達時間後の微小粒子領域の位置、範囲を推定した結果、進路上に一部微小粒子が存在していた場合に、飛散領域を示す直方体の各頂点と、走行している道路上の両側の路肩との距離を算出し、どちらかの路肩との間に、車体の横幅以上の間隔があると判断した場合に、軌道計画部330に、微小粒子領域を回避した軌道を出力しても良い。このとき、路肩の位置は、管制センタ400の地図情報から取得しても良いし、物体検知装置100で検知された各物体の検知の位置、形状の情報から、車両進行方向にと垂直な方向で自車の位置から最も遠い物体を路肩として識別し、その物体の位置、形状情報を用いても良い。その場合、軌道計画部330において受信した軌道で走行することで、微小粒子領域が存在しない安全な領域を走行することができるため、微小粒子の影響による物体検知の誤検知、未検地を防ぐことができる。
<第2の実施の形態>
本発明の第2の実施の形態を図15〜図17を参照しつつ説明する。
本実施の形態は、物体検知装置100をそれぞれ備える2台の作業機械(ダンプトラック)における自律走行制御を示すものである。
図15は、本実施の形態に係る物体検知装置を搭載したダンプトラックの処理機能を関連構成とともに概略的に示す機能ブロック図である。図中、第1の実施の形態と同様の構成には同じ符号を付し、説明を省略する。
図15において、ダンプトラック200は、物体検知装置100と、外界認識センサ210と、車載センサ220と、車両制御装置300と、ダンプトラック200の運行を管理する管制センタ400と、を備える。
外界認識センサ210は自車周囲の環境を計測し、点群データ215を物体検知装置100に出力する。
物体検知装置100は自車周囲に存在する物体の位置、大きさ、形状、移動速度、移動方向の情報を算出し、車両制御装置300と車両制御装置300内の通信部340を用いて、管制センタ400に出力する。また、物体検知装置100は微小粒子検知部120で算出した微小粒子の飛散領域の位置、範囲、密度と、微小粒子削除部130で算出された点群の蓄積回数を車両制御装置300に出力する。
車載センサ220は自車の位置と姿勢を計測し、車両制御装置300に送信する。
管制センタ400は各車両の位置と車両速度と物体の位置、形状、移動速度、移動方向の情報と受信し、物体情報の記憶及び、各車両の走行経路と目標速度を決定し、各車両の車両制御装置300に先行車の物体情報、走行経路、目標車速を出力する。
車両制御装置300は、管制センタ400から受信した走行経路と目標速度と自律走行車両201の物体検知結果、車載センサ220から取得された自己位置および車両の姿勢情報と、物体検知装置100から取得される自車周囲の物体の位置、形状、移動速度、移動方向の時系列情報および微小粒子の飛散領域の位置、範囲密度の時系列情報を取得する。先行車の物体検知結果から、物体検知が必要か判断し、必要な場合は、微小粒子の情報から物体検知が確実に実施できるように車両の速度と操舵角を決定し、アクチュエータに出力する。
本実施の形態において、自律走行車両201の構成はダンプトラック200と同じため省略する。
なお、本実施の形態においては、2台の自律走行車両(ダンプトラック200,201)を示して説明するが、これに限られず、3台以上の自律走行車両が同一経路を走行する場合においても本願発明を適用することができる。また、先行車は自律走行車両に限る必要はなく、物体検知装置100を搭載した作業機械であれば、人が操縦する車両であっても良い。
本実施の形態では、外界認識センサ210としてLiDARを用いる。また、外界認識センサ210は、車両の前方方向を主に計測する前方LiDAR218と、車両後方を主に計測する後方LiDAR219とから構成されている。ただし、前方LiDARおよび後方LiDARは、車両前方および後方の進路上を計測可能であれば、設置位置および設置個数に制限は設けない。
物体検知装置100の物体検知部140は、車両前方および後方の進路上の物体の位置、形状、移動方向、移動速度の情報を速度計画部320と、軌道計画部330と、通信部340に出力する(第1の実施の形態における図10のS530に相当)。その他の処理については、第1の実施の形態の物体検知装置100と同様である。
次に管制センタ400における処理の内容について説明する。管制センタ400は、通信部420で複数のダンプトラック200の通信部340から位置情報と物体情報を取得し、運行管理部410に出力する。運行管理部410は、取得された物体情報と、その物体情報を送信した車体の番号を物体情報記憶部450に出力する。取得された各車両の位置情報と、地図記憶部430から取得される地図情報と、経路記憶部440から取得される経路情報を用いて各車両の目標速度と走行経路を算出する。そして、決定した目標速度、走行経路を、通信部420を通してダンプトラック200に出力する。また、各車両の位置情報と地図を重ね合わせることで、各車両の位置関係を把握し、ダンプトラック200の前方を走行する自律走行車両201に該当する番号の物体情報を物体情報記憶部450から取得し、通信部420を通してダンプトラック200に出力する。
次に車両制御装置300における処理の内容について説明する。
通信部340で管制センタ400からの目標速度と走行経路を受信する。通信部340は受信した目標速度を速度計画部320に、走行経路を軌道計画部330に出力する。自己位置推定部310は、車載センサ220から取得した位置データと、姿勢データを用いて車両の現在位置、速度を推定し、速度計画部320と軌道計画部330と車両行動変更判断部350に出力する。車両行動変更判断部350は、微小粒子検知部120から微小粒子の飛散領域の位置、範囲、密度の情報を、微小粒子削除部130からデータ蓄積回数を、自己位置推定部310から現在位置と車両速度を、通信部340から先行車である自律走行車両201で検知された物体の位置、形状、移動速度、移動方向の情報を取得する。自律走行車両201で検知された物体がない場合はそのまま処理を終了する。自律走行車両201で検知された物体情報が存在する場合は、第2の実施の形態と同様の動作を実施する。車両行動変更判断部350の処理の詳細については後述する。速度計画部320は通信部340から取得した目標速度と現在の速度、車両行動変更判断部350から取得した車両速度をもとにアクチュエータの操作量を決定する。軌道計画部330は走行経路と現在位置、周囲の物体情報から目標軌道を決定し、その軌道に沿って走行できるように操舵角を計算する。
次に、車両行動変更判断部350における処理の内容について説明する。
図16は、先行車による物体検知結果の一例を示す図である。図16においては、自律走行車両201が通過後に砂埃520が進路上に発生し、ダンプトラック200の微小粒子削除部130で処理後の点群データ215が物体検知に必要なデータ数に対し不足している場合を例に説明する。
また、図17は、車両行動変更判断部の処理内容を示すフローチャートである。なお、図17においては、
図17において、車両行動変更判断部350は、まず、管制センタ400から自律走行車両201の物体検知結果を、自己位置推定部310から自己位置と車両速度の情報を、微小粒子検知部120から微小粒子領域の位置、範囲、密度の時系列情報を、微小粒子削除部130からデータ蓄積回数を取得し(ステップS700)、管制センタ400から取得した先行車である自律走行車両201の物体検知結果において、自律走行車両201の前方および後方の進路上に物体が存在するか否かを判定する(ステップS710)。
ステップS710の判定結果がYESの場合、すなわち、進路上に物体が存在すると判定した場合には、飛散領域の位置、範囲の情報から求まる直方体と、自車の位置、車両速度から、直方体の中で車体に一番近い面と、自車位置までの距離を算出し、その距離と車両速度から車体が到達するまでの時間を算出する(ステップS720)。
続いて、到達時間後の飛散領域の位置、範囲、密度を、微小粒子領域の時系列データを公知のカルマンフィルタ等の推定手法を用いて推定し、到達時間までに微小粒子の飛散領域が消滅、又は、ダンプトラック200の進路外に移動したか否かを判定する(ステップS730)。
ステップS730では、ダンプトラック200の進路上の飛散領域の密度が予め定めた閾値(閾値5)より小さいであるか否かを判定することにより、到達時間までに微小粒子の飛散領域が消滅、又は、ダンプトラック200の進路外に移動したか否かを判定する(第1の実施の形態の図11のステップS630参照)。
ステップS730の判定結果がYESの場合、すなわち、飛散領域が消滅またはいなくなると判断をされた場合は、速度計画部320に現在の車両速度の信号を出力し(ステップS740)、処理を終了する。
また、ステップS730の判定結果がNOの場合には、ステップS720で算出した飛散領域までの到達時間と、蓄積回数と外界認識センサ210の計測時間をかけた時間とを比較することで、データ蓄積に必要な回数を外界認識センサ210が計測可能かを判定する(ステップS731)。外界認識センサ210の計測時間は、使用するセンサにより固有の値である。
ステップS731での判定結果がYESの場合には、速度計画部320に現在の車両速度の信号を出力し(ステップS740)、処理を終了する。
また、ステップS731での判定結果がNOの場合には、ステップS720で算出した自車と飛散領域との距離を、データ蓄積回数と計測時間をかけた時間で割ることで、計測可能となる車両速度を算出して、速度計画部320にその車両速度を出力し(ステップS732)、後続車でも減速が発生し、さらなる生産性の低下につながることを防止するため、通信部340を通し管制センタ400に散水アラートを出力し(ステップS733)、処理を終了する。
また、ステップS710での判定結果がNOの場合、すなわち、ダンプトラック200の経路上に物体が存在しないと判定した場合には、後続車でも減速が発生し、さらなる生産性の低下につながることを防止するため、通信部340を通し管制センタ400に散水アラートを出力し(ステップS733)、処理を終了する。
その他の構成は第1の実施の形態と同様である。
以上のように構成した本実施の形態においても第1の実施の形態と同様の効果を得ることができる。
また、ダンプトラック200は、物体検知装置100と、外界認識センサ210と、車載センサ220と、車両制御装置300と、ダンプトラック200の運行を管理する管制センタ400と、を備える。外界認識センサ210は自車周囲の環境を計測し、点群データ215を物体検知装置100に出力する。物体検知装置100は自車周囲に存在する物体の位置、大きさ、形状、移動速度、移動方向の情報を算出し、車両制御装置300と車両制御装置300内の通信部340を用いて、管制センタ400に出力する。また、物体検知装置100は微小粒子検知部120で算出した微小粒子の飛散領域の位置、範囲、密度と、微小粒子削除部130で算出された点群の蓄積回数を車両制御装置300に出力する。車載センサ220は自車の位置と姿勢を計測し、車両制御装置300に送信する。管制センタ400は各車両の位置と車両速度と物体の位置、形状、移動速度、移動方向の情報と受信し、物体情報の記憶及び、各車両の走行経路と目標速度を決定し、各車両の車両制御装置300に先行車の物体情報、走行経路、目標車速を出力する。車両制御装置300は、管制センタ400から受信した走行経路と目標速度と自律走行車両201の物体検知結果、車載センサ220から取得された自己位置および車両の姿勢情報と、物体検知装置100から取得される自車周囲の物体の位置、形状、移動速度、移動方向の時系列情報および微小粒子の飛散領域の位置、範囲密度の時系列情報を取得する。先行車の物体検知結果から、物体検知が必要か判断し、必要な場合は、微小粒子の情報から物体検知が確実に実施できるように車両の速度と操舵角を決定し、アクチュエータに出力する。そのため、ダンプトラック200は、微小粒子が発生しても生産性を低下させることなく走行することが可能である。
また、車両行動変更判断部350は、先行車の物体検知情報を用いて、物体が存在しない場合には車両速度の低減をせずに処理を終了する。そのため、ダンプトラック200は進路上に物体が存在しないことが保証されている場合には、微小粒子の飛散領域を速度を低下させることなく通過できるため、生産性の低下を防止できる。
<付記>
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
100…物体検知装置、110…外界情報取得部、120…微小粒子検知部、130…微小粒子削除部、140…物体検知部、200…ダンプトラック(作業機械、自律走行車両)、201…ダンプトラック、210…外界認識センサ、220…車載センサ、221…GPS装置、222…IMU装置、300…車両制御装置、310…自己位置推定部、320…速度計画部、330…軌道計画部、340…通信部、350…車両行動変更判断部、400…管制センタ、410…運行管理部、420…通信部、430…地図記憶部、440…経路記憶部、450…物体情報記憶部、500…物体、510…地面、520…砂埃、218…前方LiDAR、219…後方LiDAR

Claims (6)

  1. 現場で稼働する作業機械であって、
    前記作業機械の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群情報として計測する計測センサと、
    前記計測センサからの情報に基づいて、前記作業機械の周囲の検知対象物体を検知する物体検知装置とを備え、
    前記物体検知装置は、
    前記計測センサで計測された3次元点群情報を取得し、
    前記3次元点群情報を構成する複数の点データについて、垂直方向に隣り合うレイヤの点データの前記計測センサからの距離の関係と、距離の差のばらつきとに基づいて微小粒子を計測している点データを検知し、
    微小粒子として検知した点データを前記3次元点群情報から削除し、
    微小粒子の点データを削除した前記3次元点群情報に基づいて周囲の物体を検知するとともに、
    前記微小粒子の飛散位置および飛散範囲の形状を記憶するとともに時系列で追跡し、予め定めた単位時間における微小粒子の飛散位置および飛散範囲の変位が予め定めた閾値よりも小さい場合には、その飛散範囲を構成する点データを物体の3次元点群情報の点データとすることを特徴とする作業機械。
  2. 現場で稼働する作業機械であって、
    前記作業機械の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群情報として計測する計測センサと、
    前記計測センサからの情報に基づいて、前記作業機械の周囲の検知対象物体を検知する物体検知装置とを備え、
    前記物体検知装置は、
    前記計測センサで計測された3次元点群情報を取得し、
    前記3次元点群情報を構成する複数の点データについて、垂直方向に隣り合うレイヤの点データの前記計測センサからの距離の関係と、距離の差のばらつきとに基づいて微小粒子を計測している点データを検知し、
    微小粒子として検知した点データを前記3次元点群情報から削除し、
    微小粒子の点データを削除した前記3次元点群情報に基づいて周囲の物体を検知するとともに、
    微小粒子の飛散位置、範囲、形状、密度を記憶するとともに時系列で追跡し、追跡結果に基づいて、前記微小粒子によって物体の未検知または誤検知が発生する可能性の高い領域と、物体検知の確実性が高い領域とを判別することを特徴とする作業機械。
  3. 現場で稼働する作業機械であって、
    前記作業機械の周囲の物体の表面位置を、垂直方向に複数のレイヤを持つ3次元点群情報として計測する計測センサと、
    前記計測センサからの情報に基づいて、前記作業機械の周囲の検知対象物体を検知する物体検知装置と
    前記作業機械の現場における自律走行制御を行う車両制御装置と、
    自車両の位置を計測する位置計測センサと、
    自車両の姿勢を計測する姿勢計測センサとを備え、
    前記物体検知装置は、
    前記計測センサで計測された3次元点群情報を取得し、
    前記3次元点群情報を構成する複数の点データについて、垂直方向に隣り合うレイヤの点データの前記計測センサからの距離の関係と、距離の差のばらつきとに基づいて微小粒子を計測している点データを検知し、
    微小粒子として検知した点データを前記3次元点群情報から削除し、
    微小粒子の点データを削除した前記3次元点群情報に基づいて周囲の物体を検知するとともに、
    前記車両制御装置は、前記物体検知装置の検知結果に基づいて前作業機械の自律走行を制御し、前記位置計測センサの計測結果に基づいて算出した自車両の位置および移動速度の情報と、前記物体検知装置から得られる、前記微小粒子の検知結果と、点データの蓄積回数の情報とを用いて、自車両が微小粒子の飛散領域に到達するまでに、前記飛散領域が自車両の走行軌道上に存在しなくなるか否かを判断することを特徴とする作業機械。
  4. 請求項記載の作業機械において、
    前記車両制御装置は、微小粒子の飛散領域に現在の移動速度の自車両が到達するまでに微小粒子の飛散領域が自車両の走行軌道上に存在すると判断し、かつ、微小粒子の点データを削除した3次元点群情報の点データの数が予め定めた閾値よりも少ない場合には、自車両が微小粒子の飛散領域に到達するまでに前記3次元点群情報の点データが蓄積されて前記閾値以上となるように自車両の移動速度を減速することを特徴とする作業機械。
  5. 請求項記載の作業機械において、
    前記車両制御装置は、微小粒子の飛散領域に現在の移動速度の自車両が到達するまでに微小粒子の飛散領域が自車両の走行軌道上に存在すると判断し、かつ、飛散領域における微小粒子の飛散密度が予め定めた閾値よりも高く、かつ、現在の移動速度の自車両が飛散領域に到達する時点までに蓄積される3次元点群情報の点データの数が予め定めた閾値よりも少ない場合には、
    微小粒子の飛散領域およびその裏側の領域を計測できる位置に自車両が移動するように、自車両の走行軌道を変更することを特徴とする作業機械。
  6. 請求項記載の作業機械において、
    前記車両制御装置は、管制センタから取得される、自車両と同じ走行軌道の前方を走行する先行車両の物体検知装置の検知結果において、微小粒子の飛散領域およびその裏側の領域に物体が検知されない場合には、微小粒子の飛散領域を通過するように自車両の走行軌道を設定することを特徴とする作業機械。
JP2020149868A 2020-09-07 2020-09-07 作業機械 Active JP6982669B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020149868A JP6982669B1 (ja) 2020-09-07 2020-09-07 作業機械
US18/019,492 US20230324917A1 (en) 2020-09-07 2021-05-13 Work machines
EP21863895.5A EP4177696A1 (en) 2020-09-07 2021-05-13 Work machine
CN202180056411.0A CN116075794A (zh) 2020-09-07 2021-05-13 作业机械
PCT/JP2021/018284 WO2022049836A1 (ja) 2020-09-07 2021-05-13 作業機械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020149868A JP6982669B1 (ja) 2020-09-07 2020-09-07 作業機械

Publications (2)

Publication Number Publication Date
JP6982669B1 true JP6982669B1 (ja) 2021-12-17
JP2022044307A JP2022044307A (ja) 2022-03-17

Family

ID=79170004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020149868A Active JP6982669B1 (ja) 2020-09-07 2020-09-07 作業機械

Country Status (5)

Country Link
US (1) US20230324917A1 (ja)
EP (1) EP4177696A1 (ja)
JP (1) JP6982669B1 (ja)
CN (1) CN116075794A (ja)
WO (1) WO2022049836A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153661A (ja) * 1996-11-26 1998-06-09 Omron Corp 測距装置
US20170023473A1 (en) * 2015-07-21 2017-01-26 Airbus Ds Electronics And Border Security Gmbh Method for segmenting the data of a 3d sensor produced in the presence of aerosol clouds for increasing the situational awareness and the location detection of obstacles
JP2019105654A (ja) * 2019-03-26 2019-06-27 株式会社デンソー ノイズ除去方法および物体認識装置
JP2019179512A (ja) * 2018-03-30 2019-10-17 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の制御方法
JP2020125031A (ja) * 2019-02-05 2020-08-20 シャープ株式会社 移動装置および移動制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7089954B2 (ja) 2017-06-30 2022-06-23 酒井重工業株式会社 建設車両の障害物検知装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153661A (ja) * 1996-11-26 1998-06-09 Omron Corp 測距装置
US20170023473A1 (en) * 2015-07-21 2017-01-26 Airbus Ds Electronics And Border Security Gmbh Method for segmenting the data of a 3d sensor produced in the presence of aerosol clouds for increasing the situational awareness and the location detection of obstacles
JP2019179512A (ja) * 2018-03-30 2019-10-17 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の制御方法
JP2020125031A (ja) * 2019-02-05 2020-08-20 シャープ株式会社 移動装置および移動制御方法
JP2019105654A (ja) * 2019-03-26 2019-06-27 株式会社デンソー ノイズ除去方法および物体認識装置

Also Published As

Publication number Publication date
CN116075794A (zh) 2023-05-05
WO2022049836A1 (ja) 2022-03-10
EP4177696A1 (en) 2023-05-10
JP2022044307A (ja) 2022-03-17
US20230324917A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
JP6342822B2 (ja) 自動運転システム、自動運転の方法及びコンピューティング装置
US10671084B1 (en) Using obstacle clearance to measure precise lateral gap
JP6473685B2 (ja) 車両制御装置及び作業機械
EP2942687B1 (en) Automated driving safety system
US10019007B2 (en) Work machine control system, work machine, and work machine management system
CN114258366B (zh) 对于自主车辆的折线轮廓表示
JP2015125760A (ja) 鉱山用作業機械
KR20200084938A (ko) 차량 동작 계획방법 및 그를 위한 장치
CN113504782B (zh) 障碍物防撞方法、装置、系统和移动工具
US20230278574A1 (en) Onboard hazard detection system for a vehicle
JP6982669B1 (ja) 作業機械
EP3715203A1 (en) Vehicle driving support system, method, computer-program product, and vehicle
CN116088513A (zh) 无人驾驶矿车自动路径优化方法、装置、单元及矿车
WO2024075577A1 (ja) 鉱山車両自律走行システム
US20240140483A1 (en) Autonomous Travelling Mine Vehicle
US20230401680A1 (en) Systems and methods for lidar atmospheric filtering background
JP7419085B2 (ja) 認識装置、認識システム、方法、およびプログラム
US20240116500A1 (en) Information processing apparatus, movable apparatus, information processing method, and storage medium
US20230035819A1 (en) Driving assistance device and driving assistance system
AU2021315124A1 (en) Control system of unmanned vehicle, unmanned vehicle, and method of controlling unmanned vehicle
JP2024052332A (ja) 作業現場の検出システム及び作業現場の検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211119

R150 Certificate of patent or registration of utility model

Ref document number: 6982669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150