WO2021192357A1 - Automatic inspection device - Google Patents
Automatic inspection device Download PDFInfo
- Publication number
- WO2021192357A1 WO2021192357A1 PCT/JP2020/034430 JP2020034430W WO2021192357A1 WO 2021192357 A1 WO2021192357 A1 WO 2021192357A1 JP 2020034430 W JP2020034430 W JP 2020034430W WO 2021192357 A1 WO2021192357 A1 WO 2021192357A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- map
- inspection
- automatic inspection
- sensor
- inspection device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
Abstract
The present invention provides a low-cost high-efficiency automatic inspection device, wherein an expensive map generation device that generates an accurate inspection map required for autonomous travel is provided as a separate attachment. The map generation device is attached to the automatic inspection device only during map generation, and detached from the automatic inspection device during normal automatic inspection. The automatic inspection device according to the present invention is characterized by comprising: a camera which captures an image of an inspection target in the vicinity; a first surroundings recognition sensor which acquires three-dimensional information about the surroundings; a first location estimation sensor which acquires a location; an information storage unit which stores an inspection map and first sensor information about the first surroundings recognition sensor and the first location estimation sensor; a calculation processing unit which uses the first sensor information to perform calculation processing for automatic inspection; and a control unit which controls autonomous travel. The automatic inspection device is also characterized by comprising an attachment/detachment mechanism for a map generation device that generates an inspection map.
Description
本発明は、自律的にインフラ設備の検査を実行する自動検査装置に関する。
The present invention relates to an automatic inspection device that autonomously inspects infrastructure equipment.
近年、人口の減少などに伴い、経済活動の担い手である労働人口の減少が社会問題になっている。インフラ設備の検査においても、検査員が不足するという問題がある。また、インフラ設備の検査においては、検査範囲が大きいところでは、数キロメートルにも及ぶところもあり、検査員の体力的な負担が大きい。そこで、こうしたインフラ設備の検査において、代替労働力として、自律走行する自動検査装置が使用される。
In recent years, with the declining population, the decrease in the working population, which is the bearer of economic activities, has become a social problem. There is also the problem of a shortage of inspectors in the inspection of infrastructure equipment. In addition, in the inspection of infrastructure equipment, where the inspection range is large, there are places where the inspection range extends to several kilometers, which puts a heavy physical burden on the inspector. Therefore, in the inspection of such infrastructure equipment, an automatic inspection device that runs autonomously is used as an alternative labor force.
こうした本技術分野の背景技術として、特開２０１５－１６１５７７号公報（特許文献１）がある。この特許文献１には、制御部が、装置本体の位置情報を推定する手段を、第１位置推定部と第２位置推定部との間で切り替え、取得した装置本体の位置情報に基づいて、走行部を制御することにより、装置本体を所定ルートに沿って進行させると共に、検査部を制御することにより、検査対象である生産設備の検査を実行する自走式検査装置が記載されている（要約参照）。
As a background technology in this technical field, there is Japanese Patent Application Laid-Open No. 2015-161577 (Patent Document 1). In Patent Document 1, the control unit switches the means for estimating the position information of the device main body between the first position estimation unit and the second position estimation unit, and based on the acquired position information of the device main body, A self-propelled inspection device that advances the main body of the device along a predetermined route by controlling the traveling unit and inspects the production equipment to be inspected by controlling the inspection unit is described. See summary).
特許文献１には、検査対象である生産設備（インフラ設備）の検査を実行する自走式検査装置（自動検査装置）が記載されている。
Patent Document 1 describes a self-propelled inspection device (automatic inspection device) that executes inspection of production equipment (infrastructure equipment) to be inspected.
しかしながら、特許文献１には、自動検査装置が自律的にインフラ設備の検査を実行するため、自律走行に必要な検査地図を生成することについては、記載されていない。
However, Patent Document 1 does not describe that an automatic inspection device autonomously inspects infrastructure equipment and therefore generates an inspection map necessary for autonomous driving.
また、検査地図を生成する場合、通常、自動検査装置に搭載されるセンサを使用する。
自律走行に必要な高精度な検査地図を生成する場合、高価なセンサを搭載する必要があり、自動検査装置が高価になってしまうという課題がある。 Further, when generating an inspection map, a sensor mounted on an automatic inspection device is usually used.
In order to generate a highly accurate inspection map required for autonomous driving, it is necessary to mount an expensive sensor, and there is a problem that the automatic inspection device becomes expensive.
自律走行に必要な高精度な検査地図を生成する場合、高価なセンサを搭載する必要があり、自動検査装置が高価になってしまうという課題がある。 Further, when generating an inspection map, a sensor mounted on an automatic inspection device is usually used.
In order to generate a highly accurate inspection map required for autonomous driving, it is necessary to mount an expensive sensor, and there is a problem that the automatic inspection device becomes expensive.
そこで、本発明は、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置を、アタッチメントとして独立させ、地図生成装置を、地図生成時にのみ、自動検査装置に装着し、通常の自動検査時には、自動検査装置から取り外し、廉価であり、高効率な自動検査装置を提供する。
Therefore, in the present invention, an expensive map generator that generates a highly accurate inspection map required for autonomous driving is made independent as an attachment, and the map generator is attached to the automatic inspection device only at the time of map generation. At the time of automatic inspection, it is removed from the automatic inspection device to provide an inexpensive and highly efficient automatic inspection device.
上記した課題を解決するため、本発明の自動検査装置は、周囲の検査対象の画像を撮影するカメラと、周囲の３次元情報を取得する第１外界認識センサと、位置を取得する第１位置推定センサと、第１外界認識センサ及び第１位置推定センサの第１センサ情報及び検査地図を記憶する情報記憶部と、第１センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部と、自律走行を制御する制御部と、を有し、検査地図を生成する地図生成装置の着脱機構を有することを特徴とする。
In order to solve the above-mentioned problems, the automatic inspection device of the present invention includes a camera that captures an image of the surrounding inspection target, a first external world recognition sensor that acquires three-dimensional information of the surroundings, and a first position that acquires a position. Using the estimation sensor, the information storage unit that stores the first sensor information and the inspection map of the first external world recognition sensor and the first position estimation sensor, and the first sensor information, the arithmetic processing for executing the automatic inspection is executed. It is characterized by having an arithmetic processing unit for performing an operation and a control unit for controlling autonomous traveling, and having a attachment / detachment mechanism of a map generation device for generating an inspection map.
本発明によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置を、アタッチメントとして独立させ、地図生成装置を、地図生成時にのみ、自動検査装置に装着し、通常の自動検査時には、自動検査装置から取り外し、廉価であり、高効率な自動検査装置を提供することができる。
According to the present invention, an expensive map generator that generates a highly accurate inspection map required for autonomous driving is made independent as an attachment, and the map generator is attached to the automatic inspection device only at the time of map generation. At the time of automatic inspection, it is possible to provide an inexpensive and highly efficient automatic inspection device by removing it from the automatic inspection device.
なお、上記した以外の課題、構成及び効果ついては、下記する実施例の説明により、明らかにされる。
Issues, configurations and effects other than the above will be clarified by the explanation of the examples below.
以下、図面を使用し、本発明の実施例を説明する。なお、実質的に同一又は類似の構成には、同一の符号を付し、説明が重複する場合には、その説明を省略する場合がある。
Hereinafter, examples of the present invention will be described with reference to the drawings. The substantially same or similar configurations are designated by the same reference numerals, and when the explanations are duplicated, the explanations may be omitted.
まず、実施例１に記載する自動検査装置２００の地図生成時の構成を説明する。
First, the configuration of the automatic inspection device 200 described in the first embodiment at the time of map generation will be described.
図１は、実施例１に記載する自動検査装置２００の地図生成時の構成を説明する説明図である。
FIG. 1 is an explanatory diagram illustrating a configuration at the time of map generation of the automatic inspection device 200 described in the first embodiment.
自動検査装置２００は、地図生成装置１００を装着し、また、地図生成装置１００を取り外すことができる。地図生成装置１００は、自動検査装置２００に、装着され、また、取り外される。つまり、自動検査装置２００は、地図生成装置１００の着脱機構（図示なし）を有する。なお、この着脱機構は、自動検査装置２００と地図生成装置１００とを、機械的及び電気的に接続するものである。
The automatic inspection device 200 can be equipped with the map generation device 100, and the map generation device 100 can be removed. The map generator 100 is attached to and removed from the automatic inspection device 200. That is, the automatic inspection device 200 has a attachment / detachment mechanism (not shown) of the map generation device 100. The attachment / detachment mechanism mechanically and electrically connects the automatic inspection device 200 and the map generation device 100.
着脱機構は、地図生成装置１００の筐体を着脱するための機構であり、地図生成装置１００の筐体には、後述する、カメラ１０１と、外界認識センサ１０２と、位置推定センサ１０３と、情報記憶部１０４と、検査地図生成部１０５とが、設置される。
The attachment / detachment mechanism is a mechanism for attaching / detaching the housing of the map generation device 100, and the housing of the map generation device 100 includes a camera 101, an outside world recognition sensor 102, a position estimation sensor 103, and information, which will be described later. A storage unit 104 and an inspection map generation unit 105 are installed.
自動検査装置２００は、車両に搭載され、自律的に検査対象（例えば、インフラ設備におけるメーターやマーカーなど）の検査（自動検査：自動撮影）を実行する。つまり、自動検査装置２００は、自律走行し、検査対象の自動検査を実行する。
The automatic inspection device 200 is mounted on a vehicle and autonomously executes an inspection (automatic inspection: automatic shooting) of an inspection target (for example, a meter or a marker in infrastructure equipment). That is, the automatic inspection device 200 autonomously travels and executes automatic inspection of the inspection target.
なお、実施例１では、自動検査装置２００は、平面を２次元的に、自律走行するが、空間を３次元に、自律移動してもよい。
In the first embodiment, the automatic inspection device 200 autonomously travels on a plane in two dimensions, but may autonomously move in space in three dimensions.
以下、地図生成装置１００を自動検査装置２００に装着している状態を説明する。
Hereinafter, a state in which the map generation device 100 is attached to the automatic inspection device 200 will be described.
地図生成装置１００は、自動検査装置２００の周囲の検査対象の画像を撮影することができるカメラ１０１と、自動検査装置２００の周囲の３次元情報を詳細に取得することができる高精度な外界認識センサ１０２と、自動検査装置２００の位置を詳細に取得することができる高精度な位置推定センサ１０３と、外界認識センサ１０２及び位置推定センサ１０３のセンサ情報（第２センサ情報）を記憶することができる情報記憶部１０４と、自動検査装置２００が、自律走行し、検査対象の自動検査を実行するための検査地図を生成することができる検査地図生成部１０５と、を有し、検査地図を生成（地図生成を実行）する。
The map generator 100 includes a camera 101 capable of capturing an image of an inspection target around the automatic inspection device 200 and a highly accurate external world recognition capable of acquiring detailed three-dimensional information around the automatic inspection device 200. It is possible to store the sensor 102, the highly accurate position estimation sensor 103 capable of acquiring the position of the automatic inspection device 200 in detail, and the sensor information (second sensor information) of the external world recognition sensor 102 and the position estimation sensor 103. It has an information storage unit 104 capable of generating an inspection map, and an inspection map generation unit 105 capable of autonomously traveling and generating an inspection map for executing an automatic inspection of an inspection target, and generates an inspection map. (Execute map generation).
なお、検査地図は、自動検査装置２００が、自律走行するため、及び、自動検査を実行するために、生成される。
The inspection map is generated for the automatic inspection device 200 to autonomously travel and for executing the automatic inspection.
カメラ１０１は、自動検査装置２００の周囲の検査対象の画像を撮影する。
The camera 101 captures an image of the inspection target around the automatic inspection device 200.
カメラ１０１は、地図生成に使用するカメラである。実施例１では、カメラ１０１は、水平方向３６０度、垂直方向９０度で回転し、自動検査装置２００の向きを大きく変えずに全方向の検査対象の画像を撮影する。ただし、一方向だけを向くようなカメラであっても、自動検査装置２００の旋回動作などを併用することにより、全方向の検査対象の画像を撮影することができる。また、一方向だけを向くようなカメラを複数台搭載することにより、全方向の検査対象の画像を撮影することができる。また、魚眼レンズを使用し、１枚の画像を撮影することにより、自動検査装置２００の周囲の検査対象の画像を撮影することができる、全天球カメラを使用してもよい。
Camera 101 is a camera used for map generation. In the first embodiment, the camera 101 rotates 360 degrees in the horizontal direction and 90 degrees in the vertical direction, and captures an image of an inspection target in all directions without significantly changing the orientation of the automatic inspection device 200. However, even if the camera faces only one direction, it is possible to take an image of the inspection target in all directions by using the turning operation of the automatic inspection device 200 together. Further, by mounting a plurality of cameras that face only one direction, it is possible to take an image of an inspection target in all directions. Alternatively, a spherical camera that can capture an image of an inspection target around the automatic inspection device 200 by capturing one image using a fisheye lens may be used.
外界認識センサ１０２は、レーザ光を使用し、リモートセンシングするセンサであり、例えば、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）である。外界認識センサ１０２は、水平方向３６０度、垂直方向±２０度程度を３２～４８本のスキャンラインにより、リモートセンシングするような高精度なセンサである。
The outside world recognition sensor 102 is a sensor that uses laser light for remote sensing, and is, for example, LiDAR (Laser Imaging Detection and Ringing). The external world recognition sensor 102 is a high-precision sensor that remotely senses 360 degrees in the horizontal direction and ± 20 degrees in the vertical direction by 32 to 48 scan lines.
外界認識センサ１０２は、自動検査装置２００から検査対象までの関係（例えば、距離）を、点群情報として、取得することができる。
The external world recognition sensor 102 can acquire the relationship (for example, distance) from the automatic inspection device 200 to the inspection target as point cloud information.
なお、外界認識センサ１０２の取り付け位置及び姿勢は、既知のものであり、情報記憶部１０４に記憶されている。記憶されている取り付け位置及び姿勢により、自動検査装置２００から相対的に存在する検査対象までの距離を、正確に、取得することができる。
The mounting position and posture of the outside world recognition sensor 102 are known and are stored in the information storage unit 104. From the stored mounting position and posture, the distance from the automatic inspection device 200 to the relatively existing inspection target can be accurately acquired.
また、カメラ１０１は、外界認識センサ１０２とキャリブレーションしてあることにより、画像中の検査対象までの距離を把握することができる。
Further, since the camera 101 is calibrated with the outside world recognition sensor 102, the distance to the inspection target in the image can be grasped.
位置推定センサ１０３は、ＧＮＳＳ（Global Navigation Satellite System）やＩＭＵ（Inertial Measurement Unit）などを組み合わせ、自動検査装置２００の位置を、１～５ｃｍの高精度で取得するセンサである。
The position estimation sensor 103 is a sensor that acquires the position of the automatic inspection device 200 with high accuracy of 1 to 5 cm by combining GNSS (Global Navigation Satellite System), IMU (Inertial Measurement Unit), and the like.
位置推定センサ１０３は、自動検査装置２００の位置を、位置情報として、取得することができる。
The position estimation sensor 103 can acquire the position of the automatic inspection device 200 as position information.
なお、自動検査装置２００の位置は、外界認識センサ１０２を使用し、ＳＬＡＭ（Simultaneous Localization And Mapping）技術を使用し、取得することもできる。ＳＬＡＭ技術を使用する場合、自動検査装置２００は、低速（１～２Ｋｍ／ｓ）で走行することが好ましい。これにより、自動検査装置２００の位置を高精度に取得することができる。
The position of the automatic inspection device 200 can also be obtained by using the external world recognition sensor 102 and using SLAM (Simultaneous Localization And Mapping) technology. When using SLAM technology, the automatic inspection device 200 preferably travels at a low speed (1 to 2 km / s). As a result, the position of the automatic inspection device 200 can be acquired with high accuracy.
情報記憶部１０４は、例えば、ＲＯＭやＲＡＭのようなメモリであり、第２センサ情報を取得し、物理量に変換し、記憶する。
The information storage unit 104 is, for example, a memory such as a ROM or RAM, which acquires the second sensor information, converts it into a physical quantity, and stores it.
検査地図生成部１０５は、自動検査装置２００が自律的に検査場内（自動検査を実行する場所）を走行し、自動検査を実行するための検査地図を生成する。検査地図生成部１０５は、外界認識センサ１０２から取得される点群情報と位置推定センサ１０３から取得される位置情報とに基づいて、点群で構成される検査地図を生成する。
The inspection map generation unit 105 autonomously travels in the inspection site (the place where the automatic inspection is executed) by the automatic inspection device 200, and generates an inspection map for executing the automatic inspection. The inspection map generation unit 105 generates an inspection map composed of point clouds based on the point cloud information acquired from the outside world recognition sensor 102 and the position information acquired from the position estimation sensor 103.
この地図生成は、オンラインで（リアルタイムに）実行してもよいし、オフラインで実行してもよい。
This map generation may be executed online (in real time) or offline.
オフラインで実行する場合には、情報記憶部１０４に記憶される第２センサ情報を、一時的に外部の記憶装置に書き出し、検査地図を生成する。オンラインで実行する場合には、ＣＰＵ、ＲＯＭ及びＲＡＭの組み合わせ、書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）、特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）などを使用し、検査地図を生成する。
When executing offline, the second sensor information stored in the information storage unit 104 is temporarily written to an external storage device to generate an inspection map. When executing online, use a combination of CPU, ROM and RAM, FPGA (Field Programmable Gate Array) which is a rewritable logic circuit, and ASIC (Application Specific Integrated Circuit) which is an integrated circuit for specific applications. Generate an inspection map.
また、検査地図生成部１０５は、ＣＰＵ、ＲＯＭ及びＲＡＭの組み合わせや、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＦＰＧＡの組み合わせなどにより、構成される。
Further, the inspection map generation unit 105 is composed of a combination of CPU, ROM and RAM, a combination of CPU, ROM, RAM and FPGA, and the like.
一方、自動検査装置２００は、制御部２０６を有する。
On the other hand, the automatic inspection device 200 has a control unit 206.
制御部２０６は、コントローラ２１０から入力される制御信号（指令値）に基づいて、自動検査装置２００の自律走行を、制御する。コントローラ２１０は、自動検査装置２００の外部から、制御部２０６に、自動検査装置２００の自律走行を制御するための制御信号を出力する。これにより、自動検査装置２００は、自律走行し、検査地図を生成する。
The control unit 206 controls the autonomous driving of the automatic inspection device 200 based on the control signal (command value) input from the controller 210. The controller 210 outputs a control signal for controlling the autonomous driving of the automatic inspection device 200 to the control unit 206 from the outside of the automatic inspection device 200. As a result, the automatic inspection device 200 autonomously travels and generates an inspection map.
なお、制御部２０６は、制御信号に基づいて、自動検査装置２００の駆動機構（図示なし）を、動作させる。
The control unit 206 operates the drive mechanism (not shown) of the automatic inspection device 200 based on the control signal.
自動検査装置２００を手動操作し、検査地図を生成することもできる。手動操作により検査地図を生成する場合は、自動検査装置２００に随行し、自動検査装置２００を操縦し、自動検査装置２００を走行させてもよいし、カメラを使用し、遠隔地からリモートにより、自動検査装置２００を操縦し、自動検査装置２００を走行させてもよい。
It is also possible to manually operate the automatic inspection device 200 to generate an inspection map. When the inspection map is generated by manual operation, the inspection map may be accompanied by the automatic inspection device 200, the automatic inspection device 200 may be operated and the automatic inspection device 200 may be driven, or a camera may be used to remotely control the automatic inspection device 200. The automatic inspection device 200 may be operated and the automatic inspection device 200 may be driven.
コントローラ２１０は、有線型であっても、無線型であっても、制御部２０６に対して、速度と方向とを出力することができればよい。
Whether the controller 210 is a wired type or a wireless type, it suffices if the controller 210 can output the speed and the direction to the control unit 206.
例えば、ハンドル型のコントローラのように速度と方向とを分離して入力するものでもよいし、ジョイスティック型のコントローラのように倒し量を速度、倒し向きを方向として入力するものでもよい。
For example, a handle-type controller may be used to input the speed and direction separately, or a joystick-type controller may be used to input the tilt amount as the speed and the tilt direction as the direction.
また、コントローラ２１０は、自動検査装置２００に随行し、自動検査装置２００を操縦するために使用してもよいし、遠隔地からリモートにより、自動検査装置２００を操縦するために使用してもよい。
Further, the controller 210 may be used to accompany the automatic inspection device 200 and operate the automatic inspection device 200, or may be used to remotely control the automatic inspection device 200 from a remote location. ..
このように、地図生成時には、地図生成装置１００を、自動検査装置２００に装着し、そして、制御部２０６を使用する。これにより、単価を低減した廉価な自動検査装置２００を提供することができる。
In this way, at the time of map generation, the map generation device 100 is attached to the automatic inspection device 200, and the control unit 206 is used. As a result, it is possible to provide an inexpensive automatic inspection device 200 with a reduced unit price.
実施例１では、地図生成時には、地図生成装置１００を、自動検査装置２００に装着し、自動検査時には、地図生成装置１００を、自動検査装置２００から取り外す。そして、１台の地図生成装置１００を複数台の自動検査装置２００に使用する。これにより、単価を低減した廉価な自動検査装置２００を提供することができる。
In the first embodiment, the map generation device 100 is attached to the automatic inspection device 200 at the time of map generation, and the map generation device 100 is removed from the automatic inspection device 200 at the time of automatic inspection. Then, one map generation device 100 is used for a plurality of automatic inspection devices 200. As a result, it is possible to provide an inexpensive automatic inspection device 200 with a reduced unit price.
次に、実施例１に記載する自動検査装置２００の自動検査時の構成を説明する。
Next, the configuration of the automatic inspection device 200 described in the first embodiment at the time of automatic inspection will be described.
図２は、実施例１に記載する自動検査装置２００の自動検査時の構成を説明する説明図である。
FIG. 2 is an explanatory diagram illustrating a configuration at the time of automatic inspection of the automatic inspection device 200 described in the first embodiment.
自動検査装置２００は、自動検査装置２００の周囲の検査対象の画像を撮影することができるカメラ２０３と、自動検査装置２００の周囲の３次元情報を取得することができる廉価な外界認識センサ２０１と、自動検査装置２００の位置を取得することができる廉価な位置推定センサ２０２と、外界認識センサ２０１及び位置推定センサ２０２のセンサ情報（第１センサ情報）及び検査地図を記憶することができる情報記憶部２０４と、第１センサ情報を使用し、自動検査を実行するための演算処理を実行することができる演算処理部２０５と、制御信号に基づいて、自動検査装置２００の自律走行を制御することができる制御部２０６と、を有し、自動検査を実行する。
The automatic inspection device 200 includes a camera 203 capable of capturing an image of an inspection target around the automatic inspection device 200, and an inexpensive external world recognition sensor 201 capable of acquiring three-dimensional information around the automatic inspection device 200. , An inexpensive position estimation sensor 202 capable of acquiring the position of the automatic inspection device 200, and information storage capable of storing the sensor information (first sensor information) of the external world recognition sensor 201 and the position estimation sensor 202 and the inspection map. To control the autonomous running of the automatic inspection device 200 based on the unit 204, the arithmetic processing unit 205 that can execute the arithmetic processing for executing the automatic inspection by using the first sensor information, and the control signal. It has a control unit 206 that can perform automatic inspection.
カメラ２０３は、自動検査装置２００の周囲の検査対象の画像を撮影する。そして、カメラ２０３は、自動検査時に、検査対象の、例えば、メーターやマーカーなどを読み取る。
The camera 203 captures an image of the inspection target around the automatic inspection device 200. Then, the camera 203 reads, for example, a meter or a marker to be inspected at the time of automatic inspection.
そして、カメラ２０３にて撮影される検査対象の画像は、ネットワークを介して、センタなどに送信される。そして、センタなどに送信される検査対象の画像が解析され、検査対象の正常又は異常が判定される。
Then, the image to be inspected taken by the camera 203 is transmitted to the center or the like via the network. Then, the image of the inspection target transmitted to the center or the like is analyzed, and the normality or abnormality of the inspection target is determined.
なお、送信される検査対象の画像を、人が解析し、正常又は異常を判定してもよい。また、送信される検査対象の画像を、自動的に解析し、正常又は異常を判定し、異常時のみ、人に連絡してもよい。
Note that a person may analyze the transmitted image to be inspected and determine whether it is normal or abnormal. In addition, the transmitted image to be inspected may be automatically analyzed to determine whether it is normal or abnormal, and a person may be contacted only when the image is abnormal.
カメラ２０３は、自動検査に使用するカメラである。実施例１では、カメラ２０３は、水平方向３６０度、垂直方向９０度で回転し、自動検査装置２００の向きを大きく変えずに全方向の検査対象の画像を撮影する。ただし、一方向だけを向くようなカメラであっても、自動検査装置２００の旋回動作などを併用することにより、全方向の検査対象の画像を撮影することができる。また、一方向だけを向くようなカメラを複数台搭載することにより、全方向の検査対象の画像を撮影することができる。また、魚眼レンズを使用し、１枚の画像を撮影することにより、自動検査装置２００の周囲の検査対象の画像を撮影することができる、全天球カメラを使用してもよい。
Camera 203 is a camera used for automatic inspection. In the first embodiment, the camera 203 rotates 360 degrees in the horizontal direction and 90 degrees in the vertical direction, and captures an image of an inspection target in all directions without significantly changing the orientation of the automatic inspection device 200. However, even if the camera faces only one direction, it is possible to take an image of the inspection target in all directions by using the turning operation of the automatic inspection device 200 together. Further, by mounting a plurality of cameras that face only one direction, it is possible to take an image of an inspection target in all directions. Alternatively, a spherical camera that can capture an image of an inspection target around the automatic inspection device 200 by capturing one image using a fisheye lens may be used.
このように、カメラ２０３とカメラ１０１とは、同一のものを使用することができる。
これにより、地図生成装置１００にカメラ１０１を搭載せずに、カメラ２０３を使用して検査地図を生成することもできる。 As described above, thesame camera 203 and the camera 101 can be used.
As a result, the inspection map can be generated by using thecamera 203 without mounting the camera 101 on the map generation device 100.
これにより、地図生成装置１００にカメラ１０１を搭載せずに、カメラ２０３を使用して検査地図を生成することもできる。 As described above, the
As a result, the inspection map can be generated by using the
外界認識センサ２０１は、レーザ光を使用し、リモートセンシングするセンサであり、例えば、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）である。外界認識センサ２０１は、水平方向１８０度、垂直方向±２０度程度を１～１６本のスキャンラインにより、リモートセンシングするようなセンサである。外界認識センサ２０１は、外界認識センサ１０２よりも、廉価であり、精度が劣るもの（同等以下）である。
The outside world recognition sensor 201 is a sensor that uses laser light for remote sensing, and is, for example, LiDAR (Laser Imaging Detection and Ringing). The external world recognition sensor 201 is a sensor that remotely senses 180 degrees in the horizontal direction and ± 20 degrees in the vertical direction by 1 to 16 scan lines. The external world recognition sensor 201 is cheaper and inferior in accuracy (equal or less) than the external world recognition sensor 102.
外界認識センサ２０１は、自動検査装置２００から検査対象までの関係（例えば、距離）を、点群情報として、取得することができる。
The external world recognition sensor 201 can acquire the relationship (for example, distance) from the automatic inspection device 200 to the inspection target as point cloud information.
なお、外界認識センサ２０１の取り付け位置及び姿勢は、既知のものであり、情報記憶部２０４に記憶されている。記憶されている取り付け位置及び姿勢により、自動検査装置２００から相対的に存在する検査対象までの距離を、取得することができる。
The mounting position and posture of the outside world recognition sensor 201 are known and are stored in the information storage unit 204. The distance from the automatic inspection device 200 to the relatively existing inspection target can be obtained from the stored mounting position and posture.
また、カメラ２０３は、外界認識センサ２０１とキャリブレーションしてあることにより、画像中の検査対象までの距離を把握することができる。
Further, since the camera 203 is calibrated with the outside world recognition sensor 201, the distance to the inspection target in the image can be grasped.
位置推定センサ２０２は、カーナビゲーションやスマートフォンに一般的に使用されるＧＰＳ（Global Positioning System）やＤＧＰＳ（Differential ＧＰＳ）であり、自動検査装置２００の位置を、５０～１００ｃｍの精度で取得するセンサである。位置推定センサ２０２は、位置推定センサ１０３よりも、廉価であり、精度が劣るもの（同等以下）である。
The position estimation sensor 202 is a GPS (Global Positioning System) or DGPS (Differential GPS) generally used for car navigation systems and smartphones, and is a sensor that acquires the position of the automatic inspection device 200 with an accuracy of 50 to 100 cm. be. The position estimation sensor 202 is cheaper than the position estimation sensor 103 and is inferior in accuracy (equal or less).
位置推定センサ２０２は、自動検査装置２００の位置を、位置情報として、取得することができる。
The position estimation sensor 202 can acquire the position of the automatic inspection device 200 as position information.
情報記憶部２０４は、例えば、ＲＯＭやＲＡＭのようなメモリであり、第１センサ情報を取得し、物理量に変換し、記憶する。そして、情報記憶部２０４は、検査地図や自動検査装置２００の自律走行を制御するための制御信号も記憶する。
The information storage unit 204 is, for example, a memory such as a ROM or RAM, which acquires the first sensor information, converts it into a physical quantity, and stores it. Then, the information storage unit 204 also stores the inspection map and the control signal for controlling the autonomous traveling of the automatic inspection device 200.
なお、地図生成装置１００に情報記憶部１０４を搭載せずに、情報記憶部２０４を使用して、第２センサ情報及び第１センサ情報を、情報記憶部２０４が記憶してもよい。
Note that the information storage unit 204 may store the second sensor information and the first sensor information by using the information storage unit 204 without mounting the information storage unit 104 on the map generation device 100.
情報記憶部２０４に記憶される第１センサ情報は、ネットワークを介して、センタなどに送信され、第１センサ情報が収集される。なお、ネットワークを使用せず、自動検査装置２００に記憶装置を搭載し、第１センサ情報を収集することもできる。
The first sensor information stored in the information storage unit 204 is transmitted to the center or the like via the network, and the first sensor information is collected. It is also possible to mount the storage device on the automatic inspection device 200 and collect the first sensor information without using the network.
演算処理部２０５は、以下の行為を実行するための制御信号を生成する。
・検査地図と位置推定センサ２０２から取得される位置情報又は外界認識センサ２０１から取得される点群情報とに基づいて、自動検査装置２００の位置を取得（推定）する行為。
・外界認識センサ２０１から取得される点群情報に基づいて、予め設定される自動検査装置２００の規範の走行経路（走行ルート）における、障害物を検出する行為。
・規範の走行経路と自動検査装置２００の位置と検出される障害物とに基づいて、自動検査装置２００の自律走行を制御する行為。 Thearithmetic processing unit 205 generates a control signal for executing the following actions.
An act of acquiring (estimating) the position of theautomatic inspection device 200 based on the inspection map and the position information acquired from the position estimation sensor 202 or the point cloud information acquired from the outside world recognition sensor 201.
-The act of detecting an obstacle in the standard travel route (travel route) of theautomatic inspection device 200 set in advance based on the point cloud information acquired from the outside world recognition sensor 201.
-The act of controlling the autonomous driving of theautomatic inspection device 200 based on the normative travel route, the position of the automatic inspection device 200, and the detected obstacle.
・検査地図と位置推定センサ２０２から取得される位置情報又は外界認識センサ２０１から取得される点群情報とに基づいて、自動検査装置２００の位置を取得（推定）する行為。
・外界認識センサ２０１から取得される点群情報に基づいて、予め設定される自動検査装置２００の規範の走行経路（走行ルート）における、障害物を検出する行為。
・規範の走行経路と自動検査装置２００の位置と検出される障害物とに基づいて、自動検査装置２００の自律走行を制御する行為。 The
An act of acquiring (estimating) the position of the
-The act of detecting an obstacle in the standard travel route (travel route) of the
-The act of controlling the autonomous driving of the
そして、演算処理部２０５は、以下の行為を実行するための制御信号を生成する。
・検査地図が有する検査対象の位置と自動検査装置２００の位置とに基づいて、カメラ２０３を操作し、検査対象の画像を撮影する行為。 Then, thearithmetic processing unit 205 generates a control signal for executing the following actions.
-The act of operating thecamera 203 based on the position of the inspection target and the position of the automatic inspection device 200 of the inspection map to take an image of the inspection target.
・検査地図が有する検査対象の位置と自動検査装置２００の位置とに基づいて、カメラ２０３を操作し、検査対象の画像を撮影する行為。 Then, the
-The act of operating the
つまり、演算処理部２０５は、自動検査装置２００が自動検査を実行するための制御信号を生成する、つまり、自動検査を実行するための演算処理を実行する。
That is, the arithmetic processing unit 205 generates a control signal for the automatic inspection device 200 to execute the automatic inspection, that is, executes the arithmetic processing for executing the automatic inspection.
なお、演算処理部２０５には、ＣＰＵ、ＲＯＭ及びＲＡＭの組み合わせ、書き換え可能な論理回路であるＦＰＧＡ、特定用途向け集積回路であるＡＳＩＣなどを使用することができる。また、演算処理部２０５は、ＣＰＵ、ＲＯＭ及びＲＡＭの組み合わせや、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＦＰＧＡの組み合わせなどにより、構成される。
For the arithmetic processing unit 205, a combination of a CPU, ROM and RAM, an FPGA which is a rewritable logic circuit, an ASIC which is an integrated circuit for a specific application, and the like can be used. Further, the arithmetic processing unit 205 is composed of a combination of a CPU, a ROM and a RAM, a combination of a CPU, a ROM, a RAM and an FPGA, and the like.
制御部２０６は、演算処理部２０５にて生成される制御信号に基づいて、自動検査装置２００の駆動機構（図示なし）を、動作させる。
The control unit 206 operates the drive mechanism (not shown) of the automatic inspection device 200 based on the control signal generated by the arithmetic processing unit 205.
実施例１に記載する自動検査装置２００は、地図生成装置１００の着脱機構を有し、地図生成時には、地図生成装置１００が装着され、自動検査時には、地図生成装置１００が取り外される。
The automatic inspection device 200 described in the first embodiment has a attachment / detachment mechanism of the map generation device 100, and the map generation device 100 is attached at the time of map generation, and the map generation device 100 is removed at the time of automatic inspection.
そして、自動検査装置２００は、周囲の検査対象の画像を撮影するカメラ２０３と、周囲の３次元情報を取得する外界認識センサ（第１外界認識センサ）２０１と、位置を取得する位置推定センサ（第１位置推定センサ）２０２と、外界認識センサ２０１及び位置推定センサ２０２の第１センサ情報及び検査地図を記憶する情報記憶部２０４と、第１センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部２０５と、制御信号に基づいて、自動検査装置２００の自律走行を制御する制御部２０６と、を有する。
Then, the automatic inspection device 200 includes a camera 203 that captures an image of the surrounding inspection target, an external world recognition sensor (first external world recognition sensor) 201 that acquires three-dimensional information of the surroundings, and a position estimation sensor (1st external world recognition sensor) 201 that acquires the position. The first position estimation sensor) 202, the information storage unit 204 that stores the first sensor information and the inspection map of the external world recognition sensor 201 and the position estimation sensor 202, and the first sensor information are used to perform an automatic inspection. It has an arithmetic processing unit 205 that executes arithmetic processing, and a control unit 206 that controls autonomous travel of the automatic inspection device 200 based on a control signal.
そして、地図生成装置１００は、自動検査装置２００の周囲の検査対象の画像を撮影するカメラ１０１と、自動検査装置２００の周囲の３次元情報を詳細に取得し、外界認識センサ２０１よりも高精度な外界認識センサ（第２外界認識センサ）１０２と、自動検査装置２００の位置を詳細に取得し、位置推定センサ２０２よりも高精度な位置推定センサ（第２位置推定センサ）１０３と、外界認識センサ１０２及び位置推定センサ１０３の第２センサ情報を記憶する情報記憶部１０４と、検査地図を生成する検査地図生成部１０５と、を有する。
Then, the map generation device 100 acquires in detail the camera 101 that captures an image of the inspection target around the automatic inspection device 200 and the three-dimensional information around the automatic inspection device 200, and has higher accuracy than the external world recognition sensor 201. External world recognition sensor (second external world recognition sensor) 102 and position estimation sensor (second position estimation sensor) 103 that acquires the position of the automatic inspection device 200 in detail and is more accurate than the position estimation sensor 202, and external world recognition. It has an information storage unit 104 that stores the second sensor information of the sensor 102 and the position estimation sensor 103, and an inspection map generation unit 105 that generates an inspection map.
実施例１によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置１００を、アタッチメントとして独立させ、地図生成装置１００を、地図生成時にのみ、自動検査装置２００に装着し、通常の自動検査時には、自動検査装置２００から取り外し、単価を低減した廉価な自動検査装置２００を提供することができる。
According to the first embodiment, an expensive map generator 100 that generates a highly accurate inspection map required for autonomous driving is made independent as an attachment, and the map generator 100 is attached to the automatic inspection device 200 only at the time of map generation. However, at the time of normal automatic inspection, it is possible to provide an inexpensive automatic inspection device 200 which is removed from the automatic inspection device 200 and whose unit price is reduced.
次に、実施例１に記載する検査地図を説明する。
Next, the inspection map described in Example 1 will be described.
図３は、実施例１に記載する検査地図を説明する説明図である。
FIG. 3 is an explanatory diagram for explaining the inspection map described in the first embodiment.
検査地図には、歩行者や自動車などが歩行や走行する検査場内の舗装路３０３、舗装路３０３に設置され、自動検査装置２００が自律走行するための規範の走行経路３０４、検査場内に存在するインフラ設備３００、外界認識センサ１０２から取得される、地図作成時の点群（●：黒色丸）３０１、カメラ２０３で撮影するためのインフラ設備３００における検査対象（○：白色丸）３０２、が表示される。そして、自動検査装置２００は、この検査地図を使用し、自動検査を実行する。
The inspection map is installed on the paved road 303 and the paved road 303 in the inspection site where pedestrians, automobiles, etc. walk and travel, and exists in the standard traveling route 304 and the inspection site for the automatic inspection device 200 to autonomously travel. The point group (●: black circle) 301 at the time of map creation and the inspection target (○: white circle) 302 in the infrastructure equipment 300 for taking a picture with the camera 203, which are acquired from the infrastructure equipment 300 and the outside world recognition sensor 102, are displayed. Will be done. Then, the automatic inspection device 200 uses this inspection map to execute the automatic inspection.
このように、実施例１では、検査地図に、検査対象３０２が、表示される。これにより、高効率に自動検査を実行することができる。
As described above, in the first embodiment, the inspection target 302 is displayed on the inspection map. As a result, automatic inspection can be performed with high efficiency.
次に、実施例１に記載する地図生成装置１００における検査地図生成部１０５を説明する。
Next, the inspection map generation unit 105 in the map generation device 100 described in the first embodiment will be described.
図４は、実施例１に記載する地図生成装置１００における検査地図生成部１０５を説明する説明図である。
FIG. 4 is an explanatory diagram illustrating an inspection map generation unit 105 in the map generation device 100 described in the first embodiment.
検査地図生成部１０５は、点群３０１で構成される検査地図を生成し、経路生成機能１０６と検査対象設定機能１０７とを有する。そして、経路生成機能１０６と検査対象設定機能１０７とは、地図生成装置１００が検査地図を生成した後に、使用される機能である。
The inspection map generation unit 105 generates an inspection map composed of a point cloud 301, and has a route generation function 106 and an inspection target setting function 107. The route generation function 106 and the inspection target setting function 107 are functions that are used after the map generation device 100 generates an inspection map.
経路生成機能１０６は、検査地図に対して、自動検査装置２００が自律走行するための規範の走行経路３０４を設定する。
The route generation function 106 sets a normative travel route 304 for the automatic inspection device 200 to autonomously travel on the inspection map.
規範の走行経路３０４を設定する際には、実際に自動検査装置２００を使用し、自動検査装置２００に舗装路３０３を走行させ、走行した軌跡を、規範の走行経路３０４としてもよし、また、人が、検査地図に手動でノードとリンクとを生成し、規範の走行経路３０４としてもよい。
When setting the standard travel route 304, the automatic inspection device 200 may actually be used, the paved road 303 may be traveled by the automatic inspection device 200, and the traveled trajectory may be used as the standard travel route 304. A person may manually generate a node and a link on the inspection map to use the normative travel route 304.
検査対象設定機能１０７は、検査地図に対して、検査対象３０２の位置を設定する。
The inspection target setting function 107 sets the position of the inspection target 302 with respect to the inspection map.
検査対象３０２の位置を設定する際には、既に存在する検査場内の見取図や設計図などから、検査対象３０２の位置を読み取り、検査地図にその位置を設定してもよいし、カメラ１０１が撮影する検査対象の画像を使用し、人が手動で検査地図にその位置を設定してもよい。
When setting the position of the inspection target 302, the position of the inspection target 302 may be read from an existing sketch or design drawing in the inspection site and the position may be set on the inspection map, or the camera 101 may take a picture. The image to be inspected may be used and the position may be manually set on the inspection map by a person.
このように、地図生成装置１００は、位置推定センサ１０３から取得する位置と、外界認識センサ１０２から取得される点群と、に基づいて、舗装路が表示されている検査地図に、点群をプロットすることにより、検査地図を生成する。そして、地図生成装置１００は、検査地図に対して、自律走行するための規範の走行経路を設定する経路生成機能１０６を有し、検査地図に対して、検査対象の位置を設定する検査対象設定機能１０７を有する。
In this way, the map generator 100 displays the point cloud on the inspection map on which the paved road is displayed, based on the position acquired from the position estimation sensor 103 and the point cloud acquired from the outside world recognition sensor 102. An inspection map is generated by plotting. Then, the map generation device 100 has a route generation function 106 for setting a normative travel route for autonomous driving with respect to the inspection map, and an inspection target setting for setting the position of the inspection target with respect to the inspection map. It has a function 107.
また、カメラ１０１と、外界認識センサ１０２と、位置推定センサ１０３とは、キャリブレーションしてあることが好ましく、この場合、カメラ１０１が撮影する検査対象の画像における検査対象を指定することにより、検査対象の座標を取得することができる。
Further, the camera 101, the external world recognition sensor 102, and the position estimation sensor 103 are preferably calibrated. In this case, the inspection target is specified in the image to be inspected by the camera 101. You can get the coordinates of the target.
検査地図に、検査対象３０２が、表示されることにより、高効率に自動検査を実行することができる。
By displaying the inspection target 302 on the inspection map, automatic inspection can be executed with high efficiency.
次に、実施例１に記載する地図生成においてセンサ情報の記憶を説明する。
Next, the memory of the sensor information in the map generation described in the first embodiment will be described.
図５は、実施例１に記載する地図生成においてセンサ情報の記憶を説明するフローチャートである。
・まず、自動検査装置２００は、地図生成装置１００の装着を確認する（Ｓ１０１）。
・装着が確認できない場合（Ｎｏ）には、フローを終了する。
・装着が確認できる場合（Ｙｅｓ）には、第２センサ情報を収集する（Ｓ１０２）。
・次に、第２センサ情報を記憶する（Ｓ１０３）。
・最後に、ユーザにより、記憶完了ボタンが押されたか否かを確認する（Ｓ１０４）。
・押されている場合（Ｙｅｓ）には、フローを終了する。
・押されていない場合（Ｎｏ）には、Ｓ１０２に戻る。 FIG. 5 is a flowchart illustrating the storage of sensor information in the map generation described in the first embodiment.
First, theautomatic inspection device 200 confirms that the map generation device 100 is attached (S101).
・ If the installation cannot be confirmed (No), the flow is terminated.
-If the mounting can be confirmed (Yes), the second sensor information is collected (S102).
Next, the second sensor information is stored (S103).
-Finally, it is confirmed whether or not the storage completion button is pressed by the user (S104).
-If pressed (Yes), the flow ends.
-If not pressed (No), the process returns to S102.
・まず、自動検査装置２００は、地図生成装置１００の装着を確認する（Ｓ１０１）。
・装着が確認できない場合（Ｎｏ）には、フローを終了する。
・装着が確認できる場合（Ｙｅｓ）には、第２センサ情報を収集する（Ｓ１０２）。
・次に、第２センサ情報を記憶する（Ｓ１０３）。
・最後に、ユーザにより、記憶完了ボタンが押されたか否かを確認する（Ｓ１０４）。
・押されている場合（Ｙｅｓ）には、フローを終了する。
・押されていない場合（Ｎｏ）には、Ｓ１０２に戻る。 FIG. 5 is a flowchart illustrating the storage of sensor information in the map generation described in the first embodiment.
First, the
・ If the installation cannot be confirmed (No), the flow is terminated.
-If the mounting can be confirmed (Yes), the second sensor information is collected (S102).
Next, the second sensor information is stored (S103).
-Finally, it is confirmed whether or not the storage completion button is pressed by the user (S104).
-If pressed (Yes), the flow ends.
-If not pressed (No), the process returns to S102.
次に、実施例１に記載する地図生成を説明する。
Next, the map generation described in the first embodiment will be described.
図６は、実施例１に記載する地図生成を説明するフローチャートである。
・まず、自動検出装置２００の位置（自車の位置）を、位置推定センサ１０３から取得する（Ｓ２０１）。
・次に、外界認識センサ１０２から取得され、時刻が同一のタイミングの対応する点群を抽出する（Ｓ２０２）。
・次に、自動検出装置２００の位置と抽出される点群とに基づいて、座標を揃え、舗装路３０３が表示されている検査地図に、点群３０１をプロットする（Ｓ２０３）。
・次に、地図生成が完了したか否かを確認する（Ｓ２０４）。
・完了していない場合（Ｎｏ）には、Ｓ２０１に戻る。Ｓ２０１～Ｓ２０３を繰り返すことにより、舗装路３０３と点群３０１とが表示される検査地図を生成することができる。
・完了している場合には（Ｙｅｓ）には、規範の走行経路３０４を設定する（Ｓ２０５）。これにより、舗装路３０３と点群３０１と規範の走行経路３０４とが表示される検査地図を生成することができる。
・次に、検査場内における、検査対象３０２の位置のデータがある否かを確認する（Ｓ２０６）。
・ある場合（Ｙｅｓ）には、検査対象３０２の位置のデータを読み取り、検査地図にその位置を設定する（Ｓ２０７）。なお、検査対象３０２の位置を、更に設定したい場合には、人が手動で、検査地図にその位置を設定することもできる。
・ない場合（Ｎｏ）には、人が手動で、検査地図にその位置を設定する（Ｓ２０８）。 FIG. 6 is a flowchart illustrating map generation described in the first embodiment.
First, the position of the automatic detection device 200 (the position of the own vehicle) is acquired from the position estimation sensor 103 (S201).
Next, a corresponding point cloud acquired from the outsideworld recognition sensor 102 and having the same time is extracted (S202).
Next, the coordinates are aligned based on the position of theautomatic detection device 200 and the extracted point cloud, and the point cloud 301 is plotted on the inspection map on which the paved road 303 is displayed (S203).
-Next, it is confirmed whether or not the map generation is completed (S204).
-If it is not completed (No), the process returns to S201. By repeating S201 to S203, it is possible to generate an inspection map in which thepaved road 303 and the point cloud 301 are displayed.
-If completed, thenormative travel route 304 is set in (Yes) (S205). As a result, it is possible to generate an inspection map in which the paved road 303, the point cloud 301, and the normative traveling route 304 are displayed.
-Next, it is confirmed whether or not there is data on the position of theinspection target 302 in the inspection site (S206).
-In a certain case (Yes), the data of the position of theinspection target 302 is read and the position is set on the inspection map (S207). If the position of the inspection target 302 is to be further set, a person can manually set the position on the inspection map.
-If not (No), a person manually sets the position on the inspection map (S208).
・まず、自動検出装置２００の位置（自車の位置）を、位置推定センサ１０３から取得する（Ｓ２０１）。
・次に、外界認識センサ１０２から取得され、時刻が同一のタイミングの対応する点群を抽出する（Ｓ２０２）。
・次に、自動検出装置２００の位置と抽出される点群とに基づいて、座標を揃え、舗装路３０３が表示されている検査地図に、点群３０１をプロットする（Ｓ２０３）。
・次に、地図生成が完了したか否かを確認する（Ｓ２０４）。
・完了していない場合（Ｎｏ）には、Ｓ２０１に戻る。Ｓ２０１～Ｓ２０３を繰り返すことにより、舗装路３０３と点群３０１とが表示される検査地図を生成することができる。
・完了している場合には（Ｙｅｓ）には、規範の走行経路３０４を設定する（Ｓ２０５）。これにより、舗装路３０３と点群３０１と規範の走行経路３０４とが表示される検査地図を生成することができる。
・次に、検査場内における、検査対象３０２の位置のデータがある否かを確認する（Ｓ２０６）。
・ある場合（Ｙｅｓ）には、検査対象３０２の位置のデータを読み取り、検査地図にその位置を設定する（Ｓ２０７）。なお、検査対象３０２の位置を、更に設定したい場合には、人が手動で、検査地図にその位置を設定することもできる。
・ない場合（Ｎｏ）には、人が手動で、検査地図にその位置を設定する（Ｓ２０８）。 FIG. 6 is a flowchart illustrating map generation described in the first embodiment.
First, the position of the automatic detection device 200 (the position of the own vehicle) is acquired from the position estimation sensor 103 (S201).
Next, a corresponding point cloud acquired from the outside
Next, the coordinates are aligned based on the position of the
-Next, it is confirmed whether or not the map generation is completed (S204).
-If it is not completed (No), the process returns to S201. By repeating S201 to S203, it is possible to generate an inspection map in which the
-If completed, the
-Next, it is confirmed whether or not there is data on the position of the
-In a certain case (Yes), the data of the position of the
-If not (No), a person manually sets the position on the inspection map (S208).
これにより、検査対象３０２の位置が表示される検査地図を生成することができ、高効率な自動検査装置２００を提供することができる。
As a result, it is possible to generate an inspection map in which the positions of the inspection target 302 are displayed, and it is possible to provide a highly efficient automatic inspection device 200.
なお、図５に示すフローと図６に示すフローとが融合し、一つのフローとして使用することもできる。
Note that the flow shown in FIG. 5 and the flow shown in FIG. 6 can be fused and used as one flow.
例えば、第２センサ情報を収集しつつ、リアルタイムに検査地図を生成する場合には、Ｓ１０３を実行した後に、Ｓ２０１～Ｓ２０３を実行する。そして、Ｓ２０４の確認とＳ１０４の確認とが、同一の条件となる。
For example, in the case of generating an inspection map in real time while collecting the second sensor information, S201 to S203 are executed after executing S103. Then, the confirmation of S204 and the confirmation of S104 are the same conditions.
また、例えば、オフラインで検査地図を生成する場合には、図５に示すフローが終了した後に、図６に示すフローを実行する。この場合、Ｓ２０４は、全ての点群３０１をプロットし、地図生成が完了したか否かを確認することになる。
Further, for example, when generating an inspection map offline, the flow shown in FIG. 6 is executed after the flow shown in FIG. 5 is completed. In this case, S204 plots all the point clouds 301 and confirms whether or not the map generation is completed.
次に、実施例１に記載する検査地図を使用し、自動検査を説明する。
Next, the automatic inspection will be described using the inspection map described in Example 1.
図７は、実施例１に記載する検査地図を使用し、自動検査を説明する説明図である。
FIG. 7 is an explanatory diagram for explaining the automatic inspection using the inspection map described in the first embodiment.
自動検査装置２００が、自律走行し、検査対象の自動検査を実行する場合、自動検査装置２００は、規範の走行経路３０４を走行する。外界認識センサ２０１は、自動検査装置２００から検査対象までの関係（例えば、距離）を、自動検査時の点群（灰色丸）４０１として、取得する。
When the automatic inspection device 200 autonomously travels and executes the automatic inspection of the inspection target, the automatic inspection device 200 travels on the normative travel route 304. The outside world recognition sensor 201 acquires the relationship (for example, distance) from the automatic inspection device 200 to the inspection target as a point cloud (gray circle) 401 at the time of automatic inspection.
そして、検査地図に記憶されている点群３０１と、外界認識センサ２０１が取得する点群４０１と、に基づいて、自動検査装置２００は、位置を取得（推定）し、自律走行する。更に、自動検査装置２００の周囲に検査対象がある場合には、検査対象がある方向４００に、検査対象にカメラ２０３を向け、検査対象の画像を撮影する。
Then, based on the point cloud 301 stored in the inspection map and the point cloud 401 acquired by the outside world recognition sensor 201, the automatic inspection device 200 acquires (estimates) the position and autonomously travels. Further, when there is an inspection target around the automatic inspection device 200, the camera 203 is pointed at the inspection target in the direction 400 where the inspection target is, and an image of the inspection target is taken.
これにより、高効率に自動検査を実行することができる。
This makes it possible to execute automatic inspections with high efficiency.
次に、実施例１に記載する自動検査を説明する。
Next, the automatic inspection described in Example 1 will be described.
図８は、実施例１に記載する自動検査を説明するフローチャートである。
・まず、自動検査において、位置推定センサ２０２の精度が十分か否かを判定する（Ｓ３０１）。なお、精度が十分か否かは、予め設定される所定の閾値に基づいて判定される。
・精度が十分である場合には、自動検出装置２００の位置を、位置推定センサ２０２から取得（推定）する（Ｓ３０２）。
・精度が十分でない場合には、自動検査装置２００の位置を、検査地図と外界認識センサ２０１から取得される点群４０１とに基づいて、取得（推定）する（Ｓ３０３）。
・次に、いずれの場合も、点群３０１と点群４０１とのずれ量に基づいて、取得される自動検査装置２００の位置と規範の走行経路３０４とのずれ量を算出する（Ｓ３０４）。
・次に、算出されるずれ量に基づいて、自動検査装置２００が規範の走行経路３０４に沿って走行するように、自動検査装置２００の自律走行を制御する制御量を演算し、制御信号として、出力する（Ｓ３０５）。
・次に、自動検査装置２００の位置と検査対象が記憶されている検査地図とに基づいて、近傍に検査対象があるか否かを確認する（Ｓ３０６）。
・検査対象がある場合（Ｙｅｓ）には、カメラ２０３にて、検査対象を撮影する（Ｓ３０７）
・検査対象がない場合（Ｎｏ）には、自動検査が終了したか否かを確認するステップに移行する。
・次に、検査対象がない場合及び検査対象を撮影した場合、自動検査が終了したか否か（全て検査対象を撮影したか否か）を確認する（Ｓ３０８）。
・自動検査が終了している場合（Ｙｅｓ）には、自動検査装置２００は、待機場所などの元の位置に自動的に帰還する（Ｓ３０９）。
・自動検査が終了していない場合（Ｎｏ）には、Ｓ３０１に戻る。 FIG. 8 is a flowchart illustrating the automatic inspection described in the first embodiment.
-First, in the automatic inspection, it is determined whether or not the accuracy of theposition estimation sensor 202 is sufficient (S301). Whether or not the accuracy is sufficient is determined based on a predetermined threshold value set in advance.
-If the accuracy is sufficient, the position of theautomatic detection device 200 is acquired (estimated) from the position estimation sensor 202 (S302).
If the accuracy is not sufficient, the position of theautomatic inspection device 200 is acquired (estimated) based on the inspection map and the point cloud 401 acquired from the outside world recognition sensor 201 (S303).
Next, in each case, the amount of deviation between the acquired position of theautomatic inspection device 200 and the standard traveling path 304 is calculated based on the amount of deviation between the point cloud 301 and the point group 401 (S304).
Next, based on the calculated deviation amount, the control amount for controlling the autonomous driving of theautomatic inspection device 200 is calculated so that the automatic inspection device 200 travels along the standard traveling path 304, and the control amount is used as a control signal. , Output (S305).
Next, it is confirmed whether or not there is an inspection target in the vicinity based on the position of theautomatic inspection device 200 and the inspection map in which the inspection target is stored (S306).
-If there is an inspection target (Yes), the inspection target is photographed with the camera 203 (S307).
-If there is no inspection target (No), the process proceeds to the step of confirming whether or not the automatic inspection is completed.
-Next, when there is no inspection target or when the inspection target is photographed, it is confirmed whether or not the automatic inspection is completed (whether or not all the inspection targets are photographed) (S308).
-When the automatic inspection is completed (Yes), theautomatic inspection device 200 automatically returns to the original position such as the standby place (S309).
-If the automatic inspection is not completed (No), the process returns to S301.
・まず、自動検査において、位置推定センサ２０２の精度が十分か否かを判定する（Ｓ３０１）。なお、精度が十分か否かは、予め設定される所定の閾値に基づいて判定される。
・精度が十分である場合には、自動検出装置２００の位置を、位置推定センサ２０２から取得（推定）する（Ｓ３０２）。
・精度が十分でない場合には、自動検査装置２００の位置を、検査地図と外界認識センサ２０１から取得される点群４０１とに基づいて、取得（推定）する（Ｓ３０３）。
・次に、いずれの場合も、点群３０１と点群４０１とのずれ量に基づいて、取得される自動検査装置２００の位置と規範の走行経路３０４とのずれ量を算出する（Ｓ３０４）。
・次に、算出されるずれ量に基づいて、自動検査装置２００が規範の走行経路３０４に沿って走行するように、自動検査装置２００の自律走行を制御する制御量を演算し、制御信号として、出力する（Ｓ３０５）。
・次に、自動検査装置２００の位置と検査対象が記憶されている検査地図とに基づいて、近傍に検査対象があるか否かを確認する（Ｓ３０６）。
・検査対象がある場合（Ｙｅｓ）には、カメラ２０３にて、検査対象を撮影する（Ｓ３０７）
・検査対象がない場合（Ｎｏ）には、自動検査が終了したか否かを確認するステップに移行する。
・次に、検査対象がない場合及び検査対象を撮影した場合、自動検査が終了したか否か（全て検査対象を撮影したか否か）を確認する（Ｓ３０８）。
・自動検査が終了している場合（Ｙｅｓ）には、自動検査装置２００は、待機場所などの元の位置に自動的に帰還する（Ｓ３０９）。
・自動検査が終了していない場合（Ｎｏ）には、Ｓ３０１に戻る。 FIG. 8 is a flowchart illustrating the automatic inspection described in the first embodiment.
-First, in the automatic inspection, it is determined whether or not the accuracy of the
-If the accuracy is sufficient, the position of the
If the accuracy is not sufficient, the position of the
Next, in each case, the amount of deviation between the acquired position of the
Next, based on the calculated deviation amount, the control amount for controlling the autonomous driving of the
Next, it is confirmed whether or not there is an inspection target in the vicinity based on the position of the
-If there is an inspection target (Yes), the inspection target is photographed with the camera 203 (S307).
-If there is no inspection target (No), the process proceeds to the step of confirming whether or not the automatic inspection is completed.
-Next, when there is no inspection target or when the inspection target is photographed, it is confirmed whether or not the automatic inspection is completed (whether or not all the inspection targets are photographed) (S308).
-When the automatic inspection is completed (Yes), the
-If the automatic inspection is not completed (No), the process returns to S301.
このように、実施例１によれば、自律走行に必要な高精度な検査地図を生成する高価な地図生成装置１００を、アタッチメントとして独立させ、地図生成装置１００を、地図生成時にのみ、自動検査装置２００に装着し、通常の自動検査時には、自動検査装置２００から取り外し、廉価であり、高効率な自動検査装置２００を提供することができる。
As described above, according to the first embodiment, the expensive map generation device 100 that generates the highly accurate inspection map required for autonomous driving is made independent as an attachment, and the map generation device 100 is automatically inspected only at the time of map generation. It is possible to provide an inexpensive and highly efficient automatic inspection device 200 by attaching it to the device 200 and removing it from the automatic inspection device 200 at the time of normal automatic inspection.
次に、実施例２に記載する地図生成装置１００における検査地図生成部１０５を説明する。
Next, the inspection map generation unit 105 in the map generation device 100 described in the second embodiment will be described.
図９は、実施例２に記載する地図生成装置１００における検査地図生成部１０５を説明する説明図である。
FIG. 9 is an explanatory diagram illustrating an inspection map generation unit 105 in the map generation device 100 described in the second embodiment.
実施例２に記載する検査地図生成部１０５は、実施例１に記載する検査地図生成部１０５と比較して、地図合成機能１０８を有する点で、相違する。
The inspection map generation unit 105 described in the second embodiment is different from the inspection map generation unit 105 described in the first embodiment in that it has a map synthesis function 108.
地図合成機能１０８は、あるデータ取得位置から取得されるデータと、あるデータ取得位置から取得されるデータと、において、近傍の点群（データ）を抽出し、近傍の点群がある場合には、これらをまとめて、点群３０１として設定する。
The map composition function 108 extracts a nearby point cloud (data) from the data acquired from a certain data acquisition position and the data acquired from a certain data acquisition position, and if there is a nearby point cloud, there is a nearby point cloud. , These are collectively set as a point cloud 301.
つまり、地図生成装置１００は、複数のデータ取得位置から取得される複数の点群を取得し、これら点群から近傍の点群を抽出し、点群３０１を設定する地図合成機能１０８を有する。
That is, the map generation device 100 has a map composition function 108 that acquires a plurality of point clouds acquired from a plurality of data acquisition positions, extracts nearby point clouds from these point clouds, and sets the point cloud 301.
次に、実施例２に記載する地図生成を説明する。
Next, the map generation described in the second embodiment will be described.
図１０は、実施例２に記載する地図生成を説明する説明図である。
FIG. 10 is an explanatory diagram for explaining the map generation described in the second embodiment.
地図生成装置１００は、データ取得位置５００に設置され、データ取得範囲５０１の範囲でデータが取得される。そして、地図生成装置１００は、複数の設置箇所で、データを取得する。
The map generation device 100 is installed at the data acquisition position 500, and data is acquired within the data acquisition range 501. Then, the map generation device 100 acquires data at a plurality of installation locations.
また、地図生成装置１００は、例えば、データ取得位置５００Ａから取得されるデータとデータ取得位置５００Ｂから取得されるデータとにおいて、近傍の点群として、点群３０１０を抽出し、これらをまとめて、点群３０１として設定する。
Further, the map generator 100 extracts, for example, a point cloud 3010 as a nearby point cloud in the data acquired from the data acquisition position 500A and the data acquired from the data acquisition position 500B, and puts them together. It is set as a point cloud 301.
なお、データ取得位置５００の設置箇所を増やし、また、データ取得範囲５０１の範囲を大きくすることにより、抽出されるデータは増加する。
The number of data to be extracted increases by increasing the number of places where the data acquisition position 500 is installed and increasing the range of the data acquisition range 501.
次に、実施例２に記載する地図生成を説明する。
Next, the map generation described in the second embodiment will be described.
図１１は、実施例２に記載する地図生成を説明するフローチャートである。
・まず、あるデータ取得位置５００において、外界認識センサ１０２からデータを取得する（Ｓ４０１）。例えば、データ取得位置５００Ｂにおいて取得される点群。
・次に、近傍で取得されたデータがあるか否かを確認する（Ｓ４０２）。
・ない場合（Ｎｏ）には、Ｓ４０１で取得されたデータを検査地図にプロットする（Ｓ４０７）。
・ある場合（Ｙｅｓ）には、近傍で取得されたデータを取得する（Ｓ４０３）。例えば、データ取得位置５００Ａにおいて取得される点群。
・次に、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとを探索する（Ｓ４０４）。
・次に、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとで対応するデータ（点群）があるか否かを確認する（Ｓ４０５）。
・ない場合（Ｎｏ）には、Ｓ４０１で取得されたデータを検査地図にプロットする（Ｓ４０７）。
・ある場合（Ｙｅｓ）には、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとの二つのデータを結合する（Ｓ４０６）。
・結合されたデータを検査地図にプロットする（Ｓ４０７）。
・次に、未処理データがあるか否かを確認する（Ｓ４０８）。
・ある場合（Ｙｅｓ）には、Ｓ４０１に戻る。
・ない場合（Ｎｏ）には、処理を終了する。 FIG. 11 is a flowchart illustrating map generation described in the second embodiment.
First, at a certaindata acquisition position 500, data is acquired from the outside world recognition sensor 102 (S401). For example, a point cloud acquired at the data acquisition position 500B.
-Next, it is confirmed whether or not there is data acquired in the vicinity (S402).
-If not (No), the data acquired in S401 is plotted on the inspection map (S407).
-In a certain case (Yes), the data acquired in the vicinity is acquired (S403). For example, a point cloud acquired at thedata acquisition position 500A.
-Next, the data acquired in S401 and the data acquired in S403 are searched (S404).
Next, it is confirmed whether or not there is corresponding data (point cloud) between the data acquired in S401 and the data acquired in S403 (S405).
-If not (No), the data acquired in S401 is plotted on the inspection map (S407).
-In a certain case (Yes), the two data of the data acquired in S401 and the data acquired in S403 are combined (S406).
-Plot the combined data on the inspection map (S407).
-Next, it is confirmed whether or not there is unprocessed data (S408).
-If there is (Yes), the process returns to S401.
-If there is no (No), the process ends.
・まず、あるデータ取得位置５００において、外界認識センサ１０２からデータを取得する（Ｓ４０１）。例えば、データ取得位置５００Ｂにおいて取得される点群。
・次に、近傍で取得されたデータがあるか否かを確認する（Ｓ４０２）。
・ない場合（Ｎｏ）には、Ｓ４０１で取得されたデータを検査地図にプロットする（Ｓ４０７）。
・ある場合（Ｙｅｓ）には、近傍で取得されたデータを取得する（Ｓ４０３）。例えば、データ取得位置５００Ａにおいて取得される点群。
・次に、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとを探索する（Ｓ４０４）。
・次に、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとで対応するデータ（点群）があるか否かを確認する（Ｓ４０５）。
・ない場合（Ｎｏ）には、Ｓ４０１で取得されたデータを検査地図にプロットする（Ｓ４０７）。
・ある場合（Ｙｅｓ）には、Ｓ４０１で取得されたデータとＳ４０３で取得されたデータとの二つのデータを結合する（Ｓ４０６）。
・結合されたデータを検査地図にプロットする（Ｓ４０７）。
・次に、未処理データがあるか否かを確認する（Ｓ４０８）。
・ある場合（Ｙｅｓ）には、Ｓ４０１に戻る。
・ない場合（Ｎｏ）には、処理を終了する。 FIG. 11 is a flowchart illustrating map generation described in the second embodiment.
First, at a certain
-Next, it is confirmed whether or not there is data acquired in the vicinity (S402).
-If not (No), the data acquired in S401 is plotted on the inspection map (S407).
-In a certain case (Yes), the data acquired in the vicinity is acquired (S403). For example, a point cloud acquired at the
-Next, the data acquired in S401 and the data acquired in S403 are searched (S404).
Next, it is confirmed whether or not there is corresponding data (point cloud) between the data acquired in S401 and the data acquired in S403 (S405).
-If not (No), the data acquired in S401 is plotted on the inspection map (S407).
-In a certain case (Yes), the two data of the data acquired in S401 and the data acquired in S403 are combined (S406).
-Plot the combined data on the inspection map (S407).
-Next, it is confirmed whether or not there is unprocessed data (S408).
-If there is (Yes), the process returns to S401.
-If there is no (No), the process ends.
このように、実施例２によれば、自動検査装置２００を自律走行させることなく、舗装路３０３に、地図生成装置１００を設置し、データを取得することにより、検査地図を生成することができる。
As described above, according to the second embodiment, the inspection map can be generated by installing the map generation device 100 on the paved road 303 and acquiring the data without autonomously driving the automatic inspection device 200. ..
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために、具体的に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。 The present invention is not limited to the above-described examples, and includes various modifications.
For example, the above-described embodiment has been specifically described in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
例えば、上記した実施例は本発明を分かりやすく説明するために、具体的に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。 The present invention is not limited to the above-described examples, and includes various modifications.
For example, the above-described embodiment has been specifically described in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
また、ある実施例の構成の一部を、他の実施例の構成の一部に置換することもできる。
また、ある実施例の構成に他の実施例の構成を追加することもできる。また、各実施例の構成の一部について、それを削除し、他の構成の一部を追加し、他の構成の一部と置換することもできる。 It is also possible to replace a part of the configuration of one embodiment with a part of the configuration of another embodiment.
It is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to delete a part of the configuration of each embodiment, add a part of the other configuration, and replace it with a part of the other configuration.
また、ある実施例の構成に他の実施例の構成を追加することもできる。また、各実施例の構成の一部について、それを削除し、他の構成の一部を追加し、他の構成の一部と置換することもできる。 It is also possible to replace a part of the configuration of one embodiment with a part of the configuration of another embodiment.
It is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to delete a part of the configuration of each embodiment, add a part of the other configuration, and replace it with a part of the other configuration.
１００・・・地図生成装置、１０１・・・カメラ、１０２・・・外界認識センサ、１０３・・・位置推定センサ、１０４・・・情報記憶部、１０５・・・検査地図生成部、１０６・・・経路生成機能、１０７・・・検査対象設定機能、１０８・・・地図合成機能、２００・・・自動検査装置、２０１・・・外界認識センサ、２０２・・・位置推定センサ、２０３・・・カメラ、２０４・・・情報記憶部、２０５・・・演算処理部、２０６・・・制御部、２１０・・・コントローラ、３００・・・インフラ設備、３０１・・・点群、３０２・・・検査対象、３０３・・・舗装路、３０４・・・走行経路、４００・・・方向、４０１・・・点群、５００・・・データ取得位置、５０１・・・データ取得範囲
100 ... Map generator, 101 ... Camera, 102 ... External recognition sensor, 103 ... Position estimation sensor, 104 ... Information storage unit, 105 ... Inspection map generator, 106 ... -Route generation function, 107 ... Inspection target setting function, 108 ... Map composition function, 200 ... Automatic inspection device, 201 ... External recognition sensor, 202 ... Position estimation sensor, 203 ... Camera, 204 ... Information storage unit, 205 ... Arithmetic processing unit, 206 ... Control unit, 210 ... Controller, 300 ... Infrastructure equipment, 301 ... Point group, 302 ... Inspection Target, 303 ... paved road, 304 ... traveling route, 400 ... direction, 401 ... point group, 500 ... data acquisition position, 501 ... data acquisition range
Claims (7)
- 周囲の検査対象の画像を撮影するカメラと、周囲の３次元情報を取得する第１外界認識センサと、位置を取得する第１位置推定センサと、前記第１外界認識センサ及び前記第１位置推定センサの第１センサ情報及び検査地図を記憶する情報記憶部と、前記第１センサ情報を使用し、自動検査を実行するための演算処理を実行する演算処理部と、自律走行を制御する制御部と、を有する自動検査装置であって、
前記検査地図を生成する地図生成装置の着脱機構を有することを特徴とする自動検査装置。 A camera that captures an image of the surrounding inspection target, a first external world recognition sensor that acquires three-dimensional information about the surroundings, a first position estimation sensor that acquires a position, the first external world recognition sensor, and the first position estimation. An information storage unit that stores the first sensor information and inspection map of the sensor, an arithmetic processing unit that executes arithmetic processing for executing automatic inspection using the first sensor information, and a control unit that controls autonomous driving. It is an automatic inspection device that has
An automatic inspection device characterized by having a attachment / detachment mechanism of a map generation device that generates the inspection map. - 請求項１に記載する自動検査装置であって、
前記地図生成装置は、周囲の３次元情報を取得し、前記第１外界認識センサよりも高精度な第２外界認識センサと、位置を取得し、前記第１位置推定センサよりも高精度な第２位置推定センサと、前記第２外界認識センサ及び前記第２位置推定センサの第２センサ情報を記憶する情報記憶部と、前記検査地図を生成する検査地図生成部と、を有することを特徴とする自動検査装置。 The automatic inspection device according to claim 1.
The map generator acquires the surrounding three-dimensional information, acquires the second external world recognition sensor with higher accuracy than the first external world recognition sensor, and acquires the position, and has higher accuracy than the first position estimation sensor. It is characterized by having a two-position estimation sensor, an information storage unit that stores the second sensor information of the second external world recognition sensor and the second position estimation sensor, and an inspection map generation unit that generates the inspection map. Automatic inspection device. - 請求項２に記載する自動検査装置であって、
地図生成時には、前記地図生成装置が装着され、自動検査時には、前記地図生成装置が取り外されることを特徴とする自動検査装置。 The automatic inspection device according to claim 2.
An automatic inspection device characterized in that the map generation device is attached at the time of map generation, and the map generation device is removed at the time of automatic inspection. - 請求項３に記載する自動検査装置であって、
前記地図生成装置は、前記第２位置推定センサから取得する位置と、前記第２外界認識センサから取得される点群と、に基づいて、舗装路が表示されている検査地図に、点群をプロットすることにより、前記検査地図を生成することを特徴とする自動検査装置。 The automatic inspection device according to claim 3.
The map generator displays a point cloud on an inspection map on which a paved road is displayed, based on a position acquired from the second position estimation sensor and a point cloud acquired from the second external world recognition sensor. An automatic inspection device characterized by generating the inspection map by plotting. - 請求項４に記載する自動検査装置であって、
前記地図生成装置は、検査地図に対して、自律走行するための規範の走行経路を設定する経路生成機能を有することを特徴とする自動検査装置。 The automatic inspection device according to claim 4.
The map generation device is an automatic inspection device having a route generation function for setting a normative travel route for autonomous driving with respect to an inspection map. - 請求項５に記載する自動検査装置であって、
前記地図生成装置は、検査地図に対して、検査対象の位置を設定する検査対象設定機能を有することを特徴とする自動検査装置。 The automatic inspection device according to claim 5.
The map generation device is an automatic inspection device having an inspection target setting function for setting a position of an inspection target with respect to an inspection map. - 請求項４に記載する自動検査装置であって、
前記地図生成装置は、複数のデータ取得位置から取得される複数のデータを取得し、これらデータから近傍のデータを抽出し、点群を設定する地図合成機能を有することを特徴とする自動検査装置。 The automatic inspection device according to claim 4.
The map generation device is an automatic inspection device characterized by having a map composition function of acquiring a plurality of data acquired from a plurality of data acquisition positions, extracting nearby data from these data, and setting a point cloud. ..
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-050822 | 2020-03-23 | ||
| JP2020050822A JP7235691B2 (en) | 2020-03-23 | 2020-03-23 | Automatic inspection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021192357A1 true WO2021192357A1 (en) | 2021-09-30 |
Family
ID=77848494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/034430 WO2021192357A1 (en) | 2020-03-23 | 2020-09-11 | Automatic inspection device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7235691B2 (en) |
| WO (1) | WO2021192357A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116224462A (en) * | 2022-10-28 | 2023-06-06 | 同方威视技术股份有限公司 | Autonomous inspection method and device of inspection equipment and electronic equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4980606B2 (en) * | 2005-11-15 | 2012-07-18 | 株式会社岩根研究所 | Mobile automatic monitoring device |
| US20180188026A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| JP2018133010A (en) * | 2017-02-17 | 2018-08-23 | 三菱重工業株式会社 | Indoor space inspection method |
| JP2018160228A (en) * | 2017-03-21 | 2018-10-11 | 株式会社東芝 | Route generation device, route control system, and route generation method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100823739B1 (en) | 2006-12-08 | 2008-04-21 | 한국전자통신연구원 | Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof |
| KR101591471B1 (en) | 2008-11-03 | 2016-02-04 | 삼성전자주식회사 | apparatus and method for extracting feature information of object and apparatus and method for generating feature map |
| JP6272460B2 (en) | 2014-03-31 | 2018-01-31 | 株式会社日立産機システム | 3D map generation system |
| KR102373926B1 (en) | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | Vehicle and recognizing method of vehicle's position based on map |
| WO2018108178A1 (en) | 2016-12-15 | 2018-06-21 | 苏州宝时得电动工具有限公司 | Self-moving device return method, self-moving device, storage medium, and server |
-
2020
- 2020-03-23 JP JP2020050822A patent/JP7235691B2/en active Active
- 2020-09-11 WO PCT/JP2020/034430 patent/WO2021192357A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4980606B2 (en) * | 2005-11-15 | 2012-07-18 | 株式会社岩根研究所 | Mobile automatic monitoring device |
| US20180188026A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| JP2018133010A (en) * | 2017-02-17 | 2018-08-23 | 三菱重工業株式会社 | Indoor space inspection method |
| JP2018160228A (en) * | 2017-03-21 | 2018-10-11 | 株式会社東芝 | Route generation device, route control system, and route generation method |
Non-Patent Citations (1)
| Title |
|---|
| SUJIWO, ADI ET AL.: "Localization Based on Multiple Visual-Metric Maps", 2017 IEEE INTERNATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS (MFI 2017, 16 November 2017 (2017-11-16), pages 212 - 219, XP033264835, DOI: 10.1109/MFI.2017.8170431 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7235691B2 (en) | 2023-03-08 |
| JP2021148698A (en) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11927960B2 (en) | Control device, control method, and computer program | |
| JP7078093B2 (en) | Information processing equipment, information processing methods and information processing programs | |
| JP7452743B2 (en) | Flight information control method, control device and computer program | |
| CN109664301B (en) | Inspection method, inspection device, inspection equipment and computer readable storage medium | |
| JP6975513B2 (en) | Camera-based automated high-precision road map generation system and method | |
| CN111837136A (en) | Autonomous navigation based on local sensing and associated systems and methods | |
| CN110618436A (en) | Inspection method, device and equipment based on instant positioning and map construction | |
| CN112447058B (en) | Parking method, parking device, computer equipment and storage medium | |
| WO2021192357A1 (en) | Automatic inspection device | |
| JP2024020389A (en) | Control method, control device and program | |
| CN115793649A (en) | Automatic cable trench inspection device and inspection method | |
| JP2020201850A (en) | Control method of flying body | |
| JP2018174002A (en) | Mobile body | |
| Sokolov et al. | Coordinated use of visual odometry and landmarks for navigation of mobile ground vehicles | |
| JP2024063175A (en) | Flight information control method, control device and computer program | |
| KR20230101586A (en) | Apparatus and method for agricultural autonomous vehicle control | |
| JP2023016267A (en) | Maintenance support system and maintenance support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20927077 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20927077 Country of ref document: EP Kind code of ref document: A1 |