JP7235691B2 - 自動検査装置 - Google Patents

自動検査装置 Download PDF

Info

Publication number
JP7235691B2
JP7235691B2 JP2020050822A JP2020050822A JP7235691B2 JP 7235691 B2 JP7235691 B2 JP 7235691B2 JP 2020050822 A JP2020050822 A JP 2020050822A JP 2020050822 A JP2020050822 A JP 2020050822A JP 7235691 B2 JP7235691 B2 JP 7235691B2
Authority
JP
Japan
Prior art keywords
inspection
map
automatic inspection
sensor
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050822A
Other languages
English (en)
Other versions
JP2021148698A (ja
Inventor
範安 長谷島
和哉 室谷
勇太 江阪
悠一 五十嵐
健人 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020050822A priority Critical patent/JP7235691B2/ja
Priority to PCT/JP2020/034430 priority patent/WO2021192357A1/ja
Publication of JP2021148698A publication Critical patent/JP2021148698A/ja
Application granted granted Critical
Publication of JP7235691B2 publication Critical patent/JP7235691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

本発明は、自律的にインフラ設備の検査を実行する自動検査装置に関する。
近年、人口の減少などに伴い、経済活動の担い手である労働人口の減少が社会問題になっている。インフラ設備の検査においても、検査員が不足するという問題がある。また、インフラ設備の検査においては、検査範囲が大きいところでは、数キロメートルにも及ぶところもあり、検査員の体力的な負担が大きい。そこで、こうしたインフラ設備の検査において、代替労働力として、自律走行する自動検査装置が使用される。
こうした本技術分野の背景技術として、特開2015-161577号公報(特許文献1)がある。この特許文献1には、制御部が、装置本体の位置情報を推定する手段を、第1位置推定部と第2位置推定部との間で切り替え、取得した装置本体の位置情報に基づいて、走行部を制御することにより、装置本体を所定ルートに沿って進行させると共に、検査部を制御することにより、検査対象である生産設備の検査を実行する自走式検査装置が記載されている(要約参照)。
特開2015-161577号公報
特許文献1には、検査対象である生産設備(インフラ設備)の検査を実行する自走式検査装置(自動検査装置)が記載されている。
しかしながら、特許文献1には、自動検査装置が自律的にインフラ設備の検査を実行するため、自律走行に必要な検査地図を生成することについては、記載されていない。
また、検査地図を生成する場合、通常、自動検査装置に搭載されるセンサを使用する。自律走行に必要な高精度な検査地図を生成する場合、高価なセンサを搭載する必要があり、自動検査装置が高価になってしまうという課題がある。
そこで、本発明は、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置を、アタッチメントとして独立させ、地図生成装置を、地図生成時にのみ、自動検査装置に装着し、通常の自動検査時には、自動検査装置から取り外し、廉価であり、高効率な自動検査装置を提供する。
上記した課題を解決するため、本発明の自動検査装置は、周囲の検査対象の画像を撮影するカメラと、周囲の3次元情報を取得する第1外界認識センサと、位置を取得する第1位置推定センサと、第1外界認識センサ及び第1位置推定センサの第1センサ情報及び検査地図を記憶する情報記憶部と、第1センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部と、自律走行を制御する制御部と、を有し、検査地図を生成する地図生成装置の着脱機構を有することを特徴とする。
本発明によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置を、アタッチメントとして独立させ、地図生成装置を、地図生成時にのみ、自動検査装置に装着し、通常の自動検査時には、自動検査装置から取り外し、廉価であり、高効率な自動検査装置を提供することができる。
なお、上記した以外の課題、構成及び効果ついては、下記する実施例の説明により、明らかにされる。
実施例1に記載する自動検査装置200の地図生成時の構成を説明する説明図である。 実施例1に記載する自動検査装置200の自動検査時の構成を説明する説明図である。 実施例1に記載する検査地図を説明する説明図である。 実施例1に記載する地図生成装置100における検査地図生成部105を説明する説明図である。 実施例1に記載する地図生成においてセンサ情報の記憶を説明するフローチャートである。 実施例1に記載する地図生成を説明するフローチャートである。 実施例1に記載する検査地図を使用し、自動検査を説明する説明図である。 実施例1に記載する自動検査を説明するフローチャートである。 実施例2に記載する地図生成装置100における検査地図生成部105を説明する説明図である。 実施例2に記載する地図生成を説明する説明図である。 実施例2に記載する地図生成を説明するフローチャートである。
以下、図面を使用し、本発明の実施例を説明する。なお、実質的に同一又は類似の構成には、同一の符号を付し、説明が重複する場合には、その説明を省略する場合がある。
まず、実施例1に記載する自動検査装置200の地図生成時の構成を説明する。
図1は、実施例1に記載する自動検査装置200の地図生成時の構成を説明する説明図である。
自動検査装置200は、地図生成装置100を装着し、また、地図生成装置100を取り外すことができる。地図生成装置100は、自動検査装置200に、装着され、また、取り外される。つまり、自動検査装置200は、地図生成装置100の着脱機構(図示なし)を有する。なお、この着脱機構は、自動検査装置200と地図生成装置100とを、機械的及び電気的に接続するものである。
着脱機構は、地図生成装置100の筐体を着脱するための機構であり、地図生成装置100の筐体には、後述する、カメラ101と、外界認識センサ102と、位置推定センサ103と、情報記憶部104と、検査地図生成部105とが、設置される。
自動検査装置200は、車両に搭載され、自律的に検査対象(例えば、インフラ設備におけるメーターやマーカーなど)の検査(自動検査:自動撮影)を実行する。つまり、自動検査装置200は、自律走行し、検査対象の自動検査を実行する。
なお、実施例1では、自動検査装置200は、平面を2次元的に、自律走行するが、空間を3次元に、自律移動してもよい。
以下、地図生成装置100を自動検査装置200に装着している状態を説明する。
地図生成装置100は、自動検査装置200の周囲の検査対象の画像を撮影することができるカメラ101と、自動検査装置200の周囲の3次元情報を詳細に取得することができる高精度な外界認識センサ102と、自動検査装置200の位置を詳細に取得することができる高精度な位置推定センサ103と、外界認識センサ102及び位置推定センサ103のセンサ情報(第2センサ情報)を記憶することができる情報記憶部104と、自動検査装置200が、自律走行し、検査対象の自動検査を実行するための検査地図を生成することができる検査地図生成部105と、を有し、検査地図を生成(地図生成を実行)する。
なお、検査地図は、自動検査装置200が、自律走行するため、及び、自動検査を実行するために、生成される。
カメラ101は、自動検査装置200の周囲の検査対象の画像を撮影する。
カメラ101は、地図生成に使用するカメラである。実施例1では、カメラ101は、水平方向360度、垂直方向90度で回転し、自動検査装置200の向きを大きく変えずに全方向の検査対象の画像を撮影する。ただし、一方向だけを向くようなカメラであっても、自動検査装置200の旋回動作などを併用することにより、全方向の検査対象の画像を撮影することができる。また、一方向だけを向くようなカメラを複数台搭載することにより、全方向の検査対象の画像を撮影することができる。また、魚眼レンズを使用し、1枚の画像を撮影することにより、自動検査装置200の周囲の検査対象の画像を撮影することができる、全天球カメラを使用してもよい。
外界認識センサ102は、レーザ光を使用し、リモートセンシングするセンサであり、例えば、LiDAR(Laser Imaging Detection and Ranging)である。外界認識センサ102は、水平方向360度、垂直方向±20度程度を32~48本のスキャンラインにより、リモートセンシングするような高精度なセンサである。
外界認識センサ102は、自動検査装置200から検査対象までの関係(例えば、距離)を、点群情報として、取得することができる。
なお、外界認識センサ102の取り付け位置及び姿勢は、既知のものであり、情報記憶部104に記憶されている。記憶されている取り付け位置及び姿勢により、自動検査装置200から相対的に存在する検査対象までの距離を、正確に、取得することができる。
また、カメラ101は、外界認識センサ102とキャリブレーションしてあることにより、画像中の検査対象までの距離を把握することができる。
位置推定センサ103は、GNSS(Global Navigation Satellite System)やIMU(Inertial Mesurement Unit)などを組み合わせ、自動検査装置200の位置を、1~5cmの高精度で取得するセンサである。
位置推定センサ103は、自動検査装置200の位置を、位置情報として、取得することができる。
なお、自動検査装置200の位置は、外界認識センサ102を使用し、SLAM(Simultaneous Localization And Mapping)技術を使用し、取得することもできる。SLAM技術を使用する場合、自動検査装置200は、低速(1~2Km/s)で走行することが好ましい。これにより、自動検査装置200の位置を高精度に取得することができる。
情報記憶部104は、例えば、ROMやRAMのようなメモリであり、第2センサ情報を取得し、物理量に変換し、記憶する。
検査地図生成部105は、自動検査装置200が自律的に検査場内(自動検査を実行する場所)を走行し、自動検査を実行するための検査地図を生成する。検査地図生成部105は、外界認識センサ102から取得される点群情報と位置推定センサ103から取得される位置情報とに基づいて、点群で構成される検査地図を生成する。
この地図生成は、オンラインで(リアルタイムに)実行してもよいし、オフラインで実行してもよい。
オフラインで実行する場合には、情報記憶部104に記憶される第2センサ情報を、一時的に外部の記憶装置に書き出し、検査地図を生成する。オンラインで実行する場合には、CPU、ROM及びRAMの組み合わせ、書き換え可能な論理回路であるFPGA(Field Programmable Gate Array)、特定用途向け集積回路であるASIC(Application Specific Integrated Circuit)などを使用し、検査地図を生成する。
また、検査地図生成部105は、CPU、ROM及びRAMの組み合わせや、CPU、ROM、RAM及びFPGAの組み合わせなどにより、構成される。
一方、自動検査装置200は、制御部206を有する。
制御部206は、コントローラ210から入力される制御信号(指令値)に基づいて、自動検査装置200の自律走行を、制御する。コントローラ210は、自動検査装置200の外部から、制御部206に、自動検査装置200の自律走行を制御するための制御信号を出力する。これにより、自動検査装置200は、自律走行し、検査地図を生成する。
なお、制御部206は、制御信号に基づいて、自動検査装置200の駆動機構(図示なし)を、動作させる。
自動検査装置200を手動操作し、検査地図を生成することもできる。手動操作により検査地図を生成する場合は、自動検査装置200に随行し、自動検査装置200を操縦し、自動検査装置200を走行させてもよいし、カメラを使用し、遠隔地からリモートにより、自動検査装置200を操縦し、自動検査装置200を走行させてもよい。
コントローラ210は、有線型であっても、無線型であっても、制御部206に対して、速度と方向とを出力することができればよい。
例えば、ハンドル型のコントローラのように速度と方向とを分離して入力するものでもよいし、ジョイスティック型のコントローラのように倒し量を速度、倒し向きを方向として入力するものでもよい。
また、コントローラ210は、自動検査装置200に随行し、自動検査装置200を操縦するために使用してもよいし、遠隔地からリモートにより、自動検査装置200を操縦するために使用してもよい。
このように、地図生成時には、地図生成装置100を、自動検査装置200に装着し、そして、制御部206を使用する。これにより、単価を低減した廉価な自動検査装置200を提供することができる。
実施例1では、地図生成時には、地図生成装置100を、自動検査装置200に装着し、自動検査時には、地図生成装置100を、自動検査装置200から取り外す。そして、1台の地図生成装置100を複数台の自動検査装置200に使用する。これにより、単価を低減した廉価な自動検査装置200を提供することができる。
次に、実施例1に記載する自動検査装置200の自動検査時の構成を説明する。
図2は、実施例1に記載する自動検査装置200の自動検査時の構成を説明する説明図である。
自動検査装置200は、自動検査装置200の周囲の検査対象の画像を撮影することができるカメラ203と、自動検査装置200の周囲の3次元情報を取得することができる廉価な外界認識センサ201と、自動検査装置200の位置を取得することができる廉価な位置推定センサ202と、外界認識センサ201及び位置推定センサ202のセンサ情報(第1センサ情報)及び検査地図を記憶することができる情報記憶部204と、第1センサ情報を使用し、自動検査を実行するための演算処理を実行することができる演算処理部205と、制御信号に基づいて、自動検査装置200の自律走行を制御することができる制御部206と、を有し、自動検査を実行する。
カメラ203は、自動検査装置200の周囲の検査対象の画像を撮影する。そして、カメラ203は、自動検査時に、検査対象の、例えば、メーターやマーカーなどを読み取る。
そして、カメラ203にて撮影される検査対象の画像は、ネットワークを介して、センタなどに送信される。そして、センタなどに送信される検査対象の画像が解析され、検査対象の正常又は異常が判定される。
なお、送信される検査対象の画像を、人が解析し、正常又は異常を判定てもよい。また、送信される検査対象の画像を、自動的に解析し、正常又は異常を判定し、異常時のみ、人に連絡してもよい。
カメラ203は、自動検査に使用するカメラである。実施例1では、カメラ203は、水平方向360度、垂直方向90度で回転し、自動検査装置200の向きを大きく変えずに全方向の検査対象の画像を撮影する。ただし、一方向だけを向くようなカメラであっても、自動検査装置200の旋回動作などを併用することにより、全方向の検査対象の画像を撮影することができる。また、一方向だけを向くようなカメラを複数台搭載することにより、全方向の検査対象の画像を撮影することができる。また、魚眼レンズを使用し、1枚の画像を撮影することにより、自動検査装置200の周囲の検査対象の画像を撮影することができる、全天球カメラを使用してもよい。
このように、カメラ203とカメラ101とは、同一のものを使用することができる。これにより、地図生成装置100にカメラ101を搭載せずに、カメラ203を使用して検査地図を生成することもできる。
外界認識センサ201は、レーザ光を使用し、リモートセンシングするセンサであり、例えば、LiDAR(Laser Imaging Detection and Ranging)である。外界認識センサ201は、水平方向180度、垂直方向±20度程度を1~16本のスキャンラインにより、リモートセンシングするようなセンサである。外界認識センサ201は、外界認識センサ102よりも、廉価であり、精度が劣るもの(同等以下)である。
外界認識センサ201は、自動検査装置200から検査対象までの関係(例えば、距離)を、点群情報として、取得することができる。
なお、外界認識センサ201の取り付け位置及び姿勢は、既知のものであり、情報記憶部204に記憶されている。記憶されている取り付け位置及び姿勢により、自動検査装置200から相対的に存在する検査対象までの距離を、取得することができる。
また、カメラ203は、外界認識センサ201とキャリブレーションしてあることにより、画像中の検査対象までの距離を把握することができる。
位置推定センサ202は、カーナビゲーションやスマートフォンに一般的に使用されるGPS(Global Positioning System)やDGPS(Diffarential GPS)であり、自動検査装置200の位置を、50~100cmの精度で取得するセンサである。位置推定センサ202は、位置推定センサ103よりも、廉価であり、精度が劣るもの(同等以下)である。
位置推定センサ202は、自動検査装置200の位置を、位置情報として、取得することができる。
情報記憶部204は、例えば、ROMやRAMのようなメモリであり、第1センサ情報を取得し、物理量に変換し、記憶する。そして、情報記憶部204は、検査地図や自動検査装置200の自律走行を制御するための制御信号も記憶する。
なお、地図生成装置100に情報記憶部104を搭載せずに、情報記憶部204を使用して、第2センサ情報及び第1センサ情報を、情報記憶部204が記憶してもよい。
情報記憶部204に記憶される第1センサ情報は、ネットワークを介して、センタなどに送信され、第1センサ情報が収集される。なお、ネットワークを使用せず、自動検査装置200に記憶装置を搭載し、第1センサ情報を収集することもできる。
演算処理部205は、以下の行為を実行するための制御信号を生成する。
・検査地図と位置推定センサ202から取得される位置情報又は外界認識センサ201から取得される点群情報とに基づいて、自動検査装置200の位置を取得(推定)する行為。
・外界認識センサ201から取得される点群情報に基づいて、予め設定される自動検査装置200の規範の走行経路(走行ルート)における、障害物を検出する行為。
・規範の走行経路と自動検査装置200の位置と検出される障害物とに基づいて、自動検査装置200の自律走行を制御する行為。
そして、演算処理部205は、以下の行為を実行するための制御信号を生成する。
・検査地図が有する検査対象の位置と自動検査装置200の位置とに基づいて、カメラ203を操作し、検査対象の画像を撮影する行為。
つまり、演算処理部205は、自動検査装置200が自動検査を実行するための制御信号を生成する、つまり、自動検査を実行するための演算処理を実行する。
なお、演算処理部205には、CPU、ROM及びRAMの組み合わせ、書き換え可能な論理回路であるFPGA、特定用途向け集積回路であるASICなどを使用することができる。また、演算処理部205は、CPU、ROM及びRAMの組み合わせや、CPU、ROM、RAM及びFPGAの組み合わせなどにより、構成される。
制御部206は、演算処理部205にて生成される制御信号に基づいて、自動検査装置200の駆動機構(図示なし)を、動作させる。
実施例1に記載する自動検査装置200は、地図生成装置100の着脱機構を有し、地図生成時には、地図生成装置100が装着され、自動検査時には、地図生成装置100が取り外される。
そして、自動検査装置200は、周囲の検査対象の画像を撮影するカメラ203と、周囲の3次元情報を取得する外界認識センサ(第1外界認識センサ)201と、位置を取得する位置推定センサ(第1位置推定センサ)202と、外界認識センサ201及び位置推定センサ202の第1センサ情報及び検査地図を記憶する情報記憶部204と、第1センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部205と、制御信号に基づいて、自動検査装置200の自律走行を制御する制御部206と、を有する。
そして、地図生成装置100は、自動検査装置200の周囲の検査対象の画像を撮影するカメラ101と、自動検査装置200の周囲の3次元情報を詳細に取得し、外界認識センサ201よりも高精度な外界認識センサ(第2外界認識センサ)102と、自動検査装置200の位置を詳細に取得し、位置推定センサ202よりも高精度な位置推定センサ(第2位置推定センサ)103と、外界認識センサ102及び位置推定センサ103の第2センサ情報を記憶する情報記憶部104と、検査地図を生成する検査地図生成部105と、を有する。
実施例1によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置100を、アタッチメントとして独立させ、地図生成装置100を、地図生成時にのみ、自動検査装置200に装着し、通常の自動検査時には、自動検査装置200から取り外し、単価を低減した廉価な自動検査装置200を提供することができる。
次に、実施例1に記載する検査地図を説明する。
図3は、実施例1に記載する検査地図を説明する説明図である。
検査地図には、歩行者や自動車などが歩行や走行する検査場内の舗装路303、舗装路303に設置され、自動検査装置200が自律走行するための規範の走行経路304、検査場内に存在するインフラ設備300、外界認識センサ102から取得される、地図作成時の点群(●:黒色丸)301、カメラ203で撮影するためのインフラ設備300における検査対象(○:白色丸)302、が表示される。そして、自動検査装置200は、この検査地図を使用し、自動検査を実行する。
このように、実施例1では、検査地図に、検査対象302が、表示される。これにより、高効率に自動検査を実行することができる。
次に、実施例1に記載する地図生成装置100における検査地図生成部105を説明する。
図4は、実施例1に記載する地図生成装置100における検査地図生成部105を説明する説明図である。
検査地図生成部105は、点群301で構成される検査地図を生成し、経路生成機能106と検査対象設定機能107とを有する。そして、経路生成機能106と検査対象設定機能107とは、地図生成装置100が検査地図を生成した後に、使用される機能である。
経路生成機能106は、検査地図に対して、自動検査装置200が自律走行するための規範の走行経路304を設定する。
規範の走行経路304を設定する際には、実際に自動検査装置200を使用し、自動検査装置200に舗装路303を走行させ、走行した軌跡を、規範の走行経路304としてもよし、また、人が、検査地図に手動でノードとリンクとを生成し、規範の走行経路304としてもよい。
検査対象設定機能107は、検査地図に対して、検査対象302の位置を設定する。
検査対象302の位置を設定する際には、既に存在する検査場内の見取図や設計図などから、検査対象302の位置を読み取り、検査地図にその位置を設定してもよいし、カメラ101が撮影する検査対象の画像を使用し、人が手動で検査地図にその位置を設定してもよい。
このように、地図生成装置100は、位置推定センサ103から取得する位置と、外界認識センサ102から取得される点群と、に基づいて、舗装路が表示されいる検査地図に、点群をプロットすることにより、検査地図を生成する。そして、地図生成装置100は、検査地図に対して、自律走行するための規範の走行経路を設定する経路生成機能106を有し、検査地図に対して、検査対象の位置を設定する検査対象設定機能107を有する。
また、カメラ101と、外界認識センサ102と、位置推定センサ103とは、キャリブレーションしてあることが好ましく、この場合、カメラ101が撮影する検査対象の画像における検査対象を指定することにより、検査対象の座標を取得することができる。
検査地図に、検査対象302が、表示されることにより、高効率に自動検査を実行することができる。
次に、実施例1に記載する地図生成においてセンサ情報の記憶を説明する。
図5は、実施例1に記載する地図生成においてセンサ情報の記憶を説明するフローチャートである。
・まず、自動検査装置200は、地図生成装置100の装着を確認する(S101)。
・装着が確認できない場合(No)には、フローを終了する。
・装着が確認できる場合(Yes)には、第2センサ情報を収集する(S102)。
・次に、第2センサ情報を記憶する(S103)。
・最後に、ユーザにより、記憶完了ボタンが押されたか否かを確認する(S104)。
・押されている場合(Yes)には、フローを終了する。
・押されていない場合(No)には、S102に戻る。
次に、実施例1に記載する地図生成を説明する。
図6は、実施例1に記載する地図生成を説明するフローチャートである。
・まず、自動検出装置200の位置(自車の位置)を、位置推定センサ103から取得する(S201)。
・次に、外界認識センサ102から取得され、時刻が同一のタイミングの対応する点群を抽出する(S202)。
・次に、自動検出装置200の位置と抽出される点群とに基づいて、座標を揃え、舗装路303が表示されいる検査地図に、点群301をプロットする(S203)。
・次に、地図生成が完了したか否かを確認する(S204)。
・完了していない場合(No)には、S201に戻る。S201~S203を繰り返すことにより、舗装路303と点群301とが表示される検査地図を生成することができる。
・完了している場合には(Yes)には、規範の走行経路304を設定する(S205)。これにより、舗装路303と点群301と規範の走行経路304とが表示される検査地図を生成することができる。
・次に、検査場内における、検査対象302の位置のデータがある否かを確認する(S206)。
・ある場合(Yes)には、検査対象302の位置のデータを読み取り、検査地図にその位置を設定する(S207)。なお、検査対象302の位置を、更に設定したい場合には、人が手動で、検査地図にその位置を設定することもできる。
・ない場合(No)には、人が手動で、検査地図にその位置を設定する(S208)。
これにより、検査対象302の位置が表示される検査地図を生成することができ、高効率な自動検査装置200を提供することができる。
なお、図5に示すフローと図6に示すフローとが融合し、一つのフローとして使用することもできる。
例えば、第2センサ情報を収集しつつ、リアルタイムに検査地図を生成する場合には、S103を実行した後に、S201~S203を実行する。そして、S204の確認とS104の確認とが、同一の条件となる。
また、例えば、オフラインで検査地図を生成する場合には、図5に示すフローが終了した後に、図6に示すフローを実行する。この場合、S204は、全ての点群301をプロットし、地図生成が完了したか否かを確認することになる。
次に、実施例1に記載する検査地図を使用し、自動検査を説明する。
図7は、実施例1に記載する検査地図を使用し、自動検査を説明する説明図である。
自動検査装置200が、自律走行し、検査対象の自動検査を実行する場合、自動検査装置200は、規範の走行経路304を走行する。外界認識センサ201は、自動検査装置200から検査対象までの関係(例えば、距離)を、自動検査時の点群(灰色丸)401として、取得する。
そして、検査地図に記憶されている点群301と、外界認識センサ201が取得する点群401と、に基づいて、自動検査装置200は、位置を取得(推定)し、自律走行する。更に、自動検査装置200の周囲に検査対象がある場合には、検査対象がある方向400に、検査対象にカメラ203を向け、検査対象の画像を撮影する。
これにより、高効率に自動検査を実行することができる。
次に、実施例1に記載する自動検査を説明する。
図8は、実施例1に記載する自動検査を説明するフローチャートである。
・まず、自動検査において、位置推定センサ202の精度が十分か否かを判定する(S301)。なお、精度が十分か否かは、予め設定される所定の閾値に基づいて判定される。
・精度が十分である場合には、自動検出装置200の位置を、位置推定センサ202から取得(推定)する(S302)。
・精度が十分でない場合には、自動検査装置200の位置を、検査地図と外界認識センサ201から取得される点群401とに基づいて、取得(推定)する(S303)。
・次に、いずれの場合も、点群301と点群401とのずれ量に基づいて、取得される自動検査装置200の位置と規範の走行経路304とのずれ量を算出する(S304)。
・次に、算出されるずれ量に基づいて、自動検査装置200が規範の走行経路304に沿って走行するように、自動検査装置200の自律走行を制御する制御量を演算し、制御信号として、出力する(S305)。
・次に、自動検査装置200の位置と検査対象が記憶されている検査地図とに基づいて、近傍に検査対象があるか否かを確認する(S306)。
・検査対象がある場合(Yes)には、カメラ203にて、検査対象を撮影する(S307)
・検査対象がない場合(No)には、自動検査が終了したか否かを確認するステップに移行する。
・次に、検査対象がない場合及び検査対象を撮影した場合、自動検査が終了したか否か(全て検査対象を撮影したか否か)を確認する(S308)。
・自動検査が終了している場合(Yes)には、自動検査装置200は、待機場所などの元の位置に自動的に帰還する(S309)。
・自動検査が終了していない場合(No)には、S301に戻る。
このように、実施例1によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置100を、アタッチメントとして独立させ、地図生成装置100を、地図生成時にのみ、自動検査装置200に装着し、通常の自動検査時には、自動検査装置200から取り外し、廉価であり、高効率な自動検査装置200を提供することができる。
次に、実施例2に記載する地図生成装置100における検査地図生成部105を説明する。
図9は、実施例2に記載する地図生成装置100における検査地図生成部105を説明する説明図である。
実施例2に記載する検査地図生成部105は、実施例1に記載する検査地図生成部105と比較して、地図合成機能108を有する点で、相違する。
地図合成機能108は、あるデータ取得位置から取得されるデータと、あるデータ取得位置から取得されるデータと、において、近傍の点群(データ)を抽出し、近傍の点群がある場合には、これらをまとめて、点群301として設定する。
つまり、地図生成装置100は、複数のデータ取得位置から取得される複数の点群を取得し、これら点群から近傍の点群を抽出し、点群301を設定する地図合成機能108を有する。
次に、実施例2に記載する地図生成を説明する。
図10は、実施例2に記載する地図生成を説明する説明図である。
地図生成装置100は、データ取得位置500に設置され、データ取得範囲501の範囲でデータが取得される。そして、地図生成装置100は、複数の設置箇所で、データを取得する。
また、地図生成装置100は、例えば、データ取得位置500Aから取得されるデータとデータ取得位置500Bから取得されるデータとにおいて、近傍の点群として、点群3010を抽出し、これらをまとめて、点群301として設定する。
なお、データ取得位置500の設置箇所を増やし、また、データ取得範囲501の範囲を大きくすることにより、抽出されるデータは増加する。
次に、実施例2に記載する地図生成を説明する。
図11は、実施例2に記載する地図生成を説明するフローチャートである。
・まず、あるデータ取得位置500において、外界認識センサ102からデータを取得する(S401)。例えば、データ取得位置500Bにおいて取得される点群。
・次に、近傍で取得されたデータがあるか否かを確認する(S402)。
・ない場合(No)には、S401で取得されたデータを検査地図にプロットする(S407)。
・ある場合(Yes)には、近傍で取得されたデータを取得する(S403)。例えば、データ取得位置500Aにおいて取得される点群。
・次に、S401で取得されたデータとS403で取得されたデータとを探索する(S404)。
・次に、S401で取得されたデータとS403で取得されたデータとで対応するデータ(点群)があるか否かを確認する(S405)。
・ない場合(No)には、S401で取得されたデータを検査地図にプロットする(S407)。
・ある場合(Yes)には、S401で取得されたデータとS403で取得されたデータとの二つのデータを結合する(S406)。
・結合されたデータを検査地図にプロットする(S407)。
・次に、未処理データがあるか否かを確認する(S408)。
・ある場合(Yes)には、S401に戻る。
・ない場合(No)には、処理を終了する。
このように、実施例2によれば、自動検査装置200を自律走行させることなく、舗装路303に、地図生成装置100を設置し、データを取得することにより、検査地図を生成することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために、具体的に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。
また、ある実施例の構成の一部を、他の実施例の構成の一部に置換することもできる。また、ある実施例の構成に他の実施例の構成を追加することもできる。また、各実施例の構成の一部について、それを削除し、他の構成の一部を追加し、他の構成の一部と置換することもできる。
100・・・地図生成装置
101・・・カメラ
102・・・外界認識センサ
103・・・位置推定センサ
104・・・情報記憶部
105・・・検査地図生成部
106・・・経路生成機能
107・・・検査対象設定機能
108・・・地図合成機能
200・・・自動検査装置
201・・・外界認識センサ
202・・・位置推定センサ
203・・・カメラ
204・・・情報記憶部
205・・・演算処理部
206・・・制御部
210・・・コントローラ
300・・・インフラ設備
301・・・点群
302・・・検査対象
303・・・舗装路
304・・・走行経路
400・・・方向
401・・・点群
500・・・データ取得位置
501・・・データ取得範囲

Claims (7)

  1. 周囲の検査対象の画像を撮影するカメラと、周囲の3次元情報を取得する第1外界認識センサと、位置を取得する第1位置推定センサと、前記第1外界認識センサ及び前記第1位置推定センサの第1センサ情報及び検査地図を記憶する情報記憶部と、前記第1センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部と、自律走行を制御する制御部と、を有する自動検査装置であって、
    前記検査地図を生成する地図生成装置の着脱機構を有することを特徴とする自動検査装置。
  2. 請求項1に記載する自動検査装置であって、
    前記地図生成装置は、周囲の3次元情報を取得し、前記第1外界認識センサよりも高精度な第2外界認識センサと、位置を取得し、前記第1位置推定センサよりも高精度な第2位置推定センサと、前記第2外界認識センサ及び前記第2位置推定センサの第2センサ情報を記憶する情報記憶部と、前記検査地図を生成する検査地図生成部と、を有することを特徴とする自動検査装置。
  3. 請求項2に記載する自動検査装置であって、
    地図生成時には、前記地図生成装置が装着され、自動検査時には、前記地図生成装置が取り外されることを特徴とする自動検査装置。
  4. 請求項3に記載する自動検査装置であって、
    前記地図生成装置は、前記第2位置推定センサから取得する位置と、前記第2外界認識センサから取得される点群と、に基づいて、舗装路が表示されいる検査地図に、点群をプロットすることにより、前記検査地図を生成することを特徴とする自動検査装置。
  5. 請求項4に記載する自動検査装置であって、
    前記地図生成装置は、検査地図に対して、自律走行するための規範の走行経路を設定する経路生成機能を有することを特徴とする自動検査装置。
  6. 請求項5に記載する自動検査装置であって、
    前記地図生成装置は、検査地図に対して、検査対象の位置を設定する検査対象設定機能を有することを特徴とする自動検査装置。
  7. 請求項4に記載する自動検査装置であって、
    前記地図生成装置は、複数のデータ取得位置から取得される複数のデータを取得し、これらデータから近傍のデータを抽出し、点群を設定する地図合成機能を有することを特徴とする自動検査装置。
JP2020050822A 2020-03-23 2020-03-23 自動検査装置 Active JP7235691B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020050822A JP7235691B2 (ja) 2020-03-23 2020-03-23 自動検査装置
PCT/JP2020/034430 WO2021192357A1 (ja) 2020-03-23 2020-09-11 自動検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050822A JP7235691B2 (ja) 2020-03-23 2020-03-23 自動検査装置

Publications (2)

Publication Number Publication Date
JP2021148698A JP2021148698A (ja) 2021-09-27
JP7235691B2 true JP7235691B2 (ja) 2023-03-08

Family

ID=77848494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050822A Active JP7235691B2 (ja) 2020-03-23 2020-03-23 自動検査装置

Country Status (2)

Country Link
JP (1) JP7235691B2 (ja)
WO (1) WO2021192357A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116224462A (zh) * 2022-10-28 2023-06-06 同方威视技术股份有限公司 检查设备的自主检查方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511957A (ja) 2006-12-08 2010-04-15 韓國電子通信研究院 周辺の環境変化に迅速に適応し、環境マップを作成することができる移動体の環境マップ作成装置及びその方法
JP2010107495A (ja) 2008-11-03 2010-05-13 Samsung Electronics Co Ltd 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法
JP4980606B2 (ja) 2005-11-15 2012-07-18 株式会社岩根研究所 移動型自動監視装置
WO2015151770A1 (ja) 2014-03-31 2015-10-08 株式会社日立産機システム 三次元地図生成システム
US20180188026A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
JP2018133010A (ja) 2017-02-17 2018-08-23 三菱重工業株式会社 屋内空間の検査方法
CN108475062A (zh) 2016-02-05 2018-08-31 三星电子株式会社 车辆和基于地图识别车辆的位置的方法
JP2018160228A (ja) 2017-03-21 2018-10-11 株式会社東芝 経路生成装置、経路制御システム、及び経路生成方法
US20190369620A1 (en) 2016-12-15 2019-12-05 Positec Power Tools (Suzhou) Co., Ltd Returning method of self-moving device, self-moving device, storage medium, and server

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4980606B2 (ja) 2005-11-15 2012-07-18 株式会社岩根研究所 移動型自動監視装置
JP2010511957A (ja) 2006-12-08 2010-04-15 韓國電子通信研究院 周辺の環境変化に迅速に適応し、環境マップを作成することができる移動体の環境マップ作成装置及びその方法
JP2010107495A (ja) 2008-11-03 2010-05-13 Samsung Electronics Co Ltd 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法
WO2015151770A1 (ja) 2014-03-31 2015-10-08 株式会社日立産機システム 三次元地図生成システム
CN108475062A (zh) 2016-02-05 2018-08-31 三星电子株式会社 车辆和基于地图识别车辆的位置的方法
US20190369620A1 (en) 2016-12-15 2019-12-05 Positec Power Tools (Suzhou) Co., Ltd Returning method of self-moving device, self-moving device, storage medium, and server
US20180188026A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
JP2018133010A (ja) 2017-02-17 2018-08-23 三菱重工業株式会社 屋内空間の検査方法
JP2018160228A (ja) 2017-03-21 2018-10-11 株式会社東芝 経路生成装置、経路制御システム、及び経路生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUJIWO, Adi et al. ,Localization Based on Multiple Visual-Metric Maps,2017 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI 2017),米国,IEEE,2017年12月11日,pp. 212-219,DOI:10.1109/MFI.2017.8170431

Also Published As

Publication number Publication date
JP2021148698A (ja) 2021-09-27
WO2021192357A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7078093B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN109664301B (zh) 巡检方法、装置、设备及计算机可读存储介质
US10620317B1 (en) Lidar-based high definition map generation
JP4475632B2 (ja) 無人飛行体を用いた送電線点検システム
US11250585B2 (en) Information processing device, information processing method, and computer program
US11017228B2 (en) Method and arrangement for condition monitoring of an installation with operating means
KR102001659B1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
JP6975513B2 (ja) カメラベースの自動化された高精度道路地図の生成システム及び方法
Ibrahim et al. BIM-driven mission planning and navigation for automatic indoor construction progress detection using robotic ground platform
US11002553B2 (en) Method and device for executing at least one measure for increasing the safety of a vehicle
CN111837136A (zh) 基于本地感测的自主导航以及相关联的系统和方法
CN111947644B (zh) 一种室外移动机器人定位方法、系统及其电子设备
US20230138084A1 (en) Sensor optimization
CN110618436A (zh) 基于即时定位与地图构建的巡检方法、装置及设备
JP7209367B2 (ja) ゴルフ場自動運転車のナビゲーション切り替え設備
Shim et al. Remote robotic system for 3D measurement of concrete damage in tunnel with ground vehicle and manipulator
CN112447058B (zh) 泊车方法、装置、计算机设备及存储介质
JP7235691B2 (ja) 自動検査装置
CN115540849A (zh) 高空作业平台激光视觉与惯导融合定位与建图装置及方法
CN115793649A (zh) 一种电缆沟自动巡检装置及巡检方法
CN113405555B (zh) 一种自动驾驶的定位传感方法、系统及装置
KR20200109116A (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
JP7014261B2 (ja) 制御方法及び制御装置
JP2020201850A (ja) 飛行体の制御方法
KR100586815B1 (ko) 3차원 위치 추적 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230224

R150 Certificate of patent or registration of utility model

Ref document number: 7235691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150