WO2018150591A1 - センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム - Google Patents

センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム Download PDF

Info

Publication number
WO2018150591A1
WO2018150591A1 PCT/JP2017/006228 JP2017006228W WO2018150591A1 WO 2018150591 A1 WO2018150591 A1 WO 2018150591A1 JP 2017006228 W JP2017006228 W JP 2017006228W WO 2018150591 A1 WO2018150591 A1 WO 2018150591A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
data
assigned
area
sensor data
Prior art date
Application number
PCT/JP2017/006228
Other languages
English (en)
French (fr)
Inventor
洋平 三木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112017006844.4T priority Critical patent/DE112017006844T5/de
Priority to US16/473,585 priority patent/US11181618B2/en
Priority to PCT/JP2017/006228 priority patent/WO2018150591A1/ja
Priority to CN201780086112.5A priority patent/CN110291419A/zh
Priority to JP2017549350A priority patent/JP6257868B1/ja
Publication of WO2018150591A1 publication Critical patent/WO2018150591A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • This invention relates to a technique for integrating sensor data acquired by a plurality of sensors.
  • Safety and convenience are improved by detecting an object such as an obstacle using a sensor and controlling a moving body such as a vehicle.
  • a sensor such as a vehicle
  • Patent Document 1 describes a technique for reducing the overall processing load by setting priorities of sensors in advance.
  • An object of the present invention is to efficiently integrate a plurality of sensor data.
  • the sensor data integration device includes: In the assigned area assigned to the assigned sensor that detects the position, a missing area specifying unit that identifies a missing area that is not detected in the assigned data that is the sensor data acquired by the assigned sensor; Interpolation data extraction unit for extracting sensor data acquired by a sensor other than the responsible sensor as sensor data that has detected the missing region identified by the missing region identification unit; A detection data generation unit that generates detection data of the assigned region by integrating the assigned data and the interpolation data extracted by the interpolation data extraction unit;
  • This invention interpolates the missing area in the assigned area assigned to the assigned sensor, which is not detected by the assigned sensor, using sensor data acquired by other sensors. Thereby, sensor data can be efficiently integrated.
  • FIG. 1 is a configuration diagram of a sensor data integration device 10 according to Embodiment 1.
  • FIG. FIG. 4 is a diagram showing information stored in a sensor position storage unit 31 according to the first embodiment. The figure which shows the information memorize
  • FIG. 5 is a flowchart of the operation of the sensor data integration device 10 according to the first embodiment. Explanatory drawing of the sensor data which concerns on Embodiment 1.
  • FIG. FIG. 4 is an explanatory diagram of interpolation data extraction processing according to the first embodiment.
  • FIG. 10 is a flowchart of the operation of the sensor data
  • Embodiment 1 FIG. *** Explanation of configuration *** With reference to FIG. 1, the structure of the sensor data integration apparatus 10 which concerns on Embodiment 1 is demonstrated.
  • FIG. 1 a state where the sensor data integration device 10 is mounted on the moving body 100 is shown.
  • the moving body 100 is a vehicle, a ship, or the like.
  • the moving body 100 is a vehicle.
  • the sensor data integration device 10 may be mounted in an integrated form or inseparable form with the moving body 100 or other components shown in the figure, or in a removable or separable form. May be.
  • the sensor data integration device 10 is a computer.
  • the sensor data integration device 10 includes hardware including a processor 11, a memory 12, a storage 13, and a sensor interface 14.
  • the processor 11 is connected to other hardware via a signal line, and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the memory 12 is a storage device that temporarily stores data.
  • the memory 12 is an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).
  • the storage 13 is a storage device that stores data.
  • the storage 13 is, as a specific example, an HDD (Hard Disk Drive).
  • the storage 13 is a portable storage such as an SD (registered trademark, Secure Digital) memory card, CF (CompactFlash), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk). It may be a medium.
  • the sensor interface 14 is an interface for communicating with the sensor 101 mounted on the moving body 100.
  • the sensor interface 14 is a sensor data acquisition LSI (Large Scale Integration).
  • the sensor interface 14 is connected to three sensors 101, which are sensors 101A to 101C.
  • the sensor interface 14 only needs to be connected to a plurality of sensors 101, and is not limited to three.
  • the sensor 101 is assumed to be LiDAR.
  • the sensor data integration device 10 includes, as functional components, a data acquisition unit 21, a position calculation unit 22, a missing region specification unit 23, an interpolation data extraction unit 24, a position conversion unit 25, and a detection data generation unit 26. Is provided.
  • the functions of the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, and the detection data generation unit 26 are realized by software.
  • a program that realizes the functions of the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, and the detection data generation unit 26 is stored. It is remembered. This program is read into the memory 12 by the processor 11 and executed by the processor 11.
  • the functions of the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, and the detection data generation unit 26 are realized. Further, the storage 13 realizes functions of the sensor position storage unit 31 and the assigned area storage unit 32.
  • the sensor data integration device 10 may include a plurality of processors that replace the processor 11.
  • the plurality of processors are programs that realize the functions of the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, and the detection data generation unit 26. Share the execution of
  • the operation of the sensor data integration device 10 according to the first exemplary embodiment corresponds to the sensor data integration method according to the first embodiment.
  • the operation of the sensor data integration apparatus 10 according to the first embodiment corresponds to the processing of the sensor data integration program according to the first embodiment.
  • the sensor position storage unit 31 stores relative position information 41 of each sensor 101 for each sensor 101.
  • a transformation matrix is stored as the relative position information 41.
  • the transformation matrix is a matrix for transforming the coordinate system of the sensor data acquired by the sensor 101 into the global coordinate system, and is a matrix indicating the rotation and translation of the coordinate system.
  • the assigned area storage unit 32 stores an assigned area 42 assigned to each sensor 101 for each sensor 101.
  • the assigned area 42 is an area in which the sensor 101 is responsible for detecting an object such as an obstacle.
  • the assigned area 42 is represented by a relative coordinate system based on the position of the sensor 101, for example.
  • the overlapping area 44 overlaps the area 43A that can be detected by the sensor 101A and the area 43B that can be detected by the sensor 101B.
  • each position in the overlapping area 44 is set as the assigned area 42 of the sensor 101 closer to that position.
  • a perpendicular bisector L2 of a straight line L1 connecting the sensor 101A and the sensor 101B is drawn.
  • a straight line obtained by translating the vertical bisector L2 so as to pass through the sensor 101A is defined as a straight line L3.
  • An angle around the vertical axis of the straight line L3 with respect to the straight line L1 is defined as an angle ⁇ 1.
  • the region included in the region 43A that can be detected by the sensor 101A is the assigned region 42A of the sensor 101A.
  • the region closer to the sensor 101A than the vertical bisector L2 is also set as the assigned region 42A of the sensor 101A.
  • the area excluding the assigned area 42A of the sensor 101A is defined as the assigned area 42B.
  • FIG. 5 shows a state viewed from the upper side in the vertical direction, as in FIG. Similar to the case of FIG. 4, the overlapping area 44 overlaps the area 43 ⁇ / b> A that can be detected by the sensor 101 ⁇ / b> A and the area 43 ⁇ / b> B that can be detected by the sensor 101 ⁇ / b> B.
  • the overlapping area 44 is set as the assigned area 42 of one sensor 101.
  • the area 43A that can be detected by the sensor 101A is set as the assigned area 42A of the sensor 101A.
  • regions 43B which the sensor 101B can detect is made into the charge area
  • the assigned areas 42 of the sensors 101 may partially overlap.
  • the operation of the sensor data integration apparatus 10 according to the first embodiment will be described. As a premise of the process shown in FIG. 6, it is assumed that the sensor position storage unit 31 and the assigned region storage unit 32 store the above-described information.
  • Step S11 Data acquisition process
  • the data acquisition unit 21 acquires sensor data acquired by each sensor 101 via the sensor interface 14.
  • the data acquisition unit 21 writes the acquired sensor data in the memory 12.
  • the first embodiment is LiDAR.
  • LiDAR irradiates a laser that emits light in pulses while gradually shifting the irradiation angle of the laser.
  • LiDAR measures the scattered light with respect to a laser and acquires sensor data. Therefore, the data acquisition unit 21 acquires a plurality of ordered sensor data from each sensor 101. As shown in FIG. 7, each sensor data indicates a distance m to an object at each angle ( ⁇ , ⁇ ) with the position of the sensor 101 as the center.
  • Step S12 position calculation process
  • the position calculation unit 22 calculates a three-dimensional position indicated by each sensor data acquired in step S11. Specifically, the position calculation unit 22 reads each sensor data from the memory 12. The position calculation unit 22 calculates the distance X on the x axis and the distance Y on the y axis based on the position of the sensor 101 from which the sensor data is acquired from the angle ( ⁇ , ⁇ ) indicated by the sensor data and the distance m. , The distance Z in the z-axis is calculated.
  • the position calculation unit 22 writes the calculated three-dimensional position in the memory 12.
  • step S13 to step S19 is executed with each sensor 101 as the responsible sensor.
  • the missing area specifying unit 23 specifies the missing area 45 that is not detected in the assigned data that is sensor data acquired by the assigned sensor in the assigned area 42 assigned to the assigned sensor. That is, the missing area specifying unit 23 specifies the missing area 45 where the assigned data is missing due to a blind spot from the assigned sensor. That is, the missing area 45 is an area in the assigned area 42 that could not be detected by the assigned sensor. Specifically, the missing area specifying unit 23 reads the assigned area 42 corresponding to the assigned sensor from the assigned area storage unit 32. The missing area specifying unit 23 reads the three-dimensional position in the assigned area 42 from the memory 12 among the three-dimensional positions of the assigned data that is sensor data acquired by the assigned sensor. As shown in FIG.
  • the missing area specifying unit 23 specifies an area where the distance between the positions indicated by the adjacent assigned data is more than the first threshold as the missing area 45.
  • the gap between the sensor data A1 and the sensor data A2 is specified as a missing area 45.
  • the missing area specifying unit 23 writes the specified missing area 45 in the memory 12.
  • the first threshold value is set in advance and stored in the memory 12. The first threshold is set according to the distance detection accuracy of the sensor 101 or the like.
  • Step S14 interpolation data extraction process
  • the interpolation data extraction unit 24 extracts sensor data acquired by the sensors 101 other than the assigned sensor as the interpolation data, which is sensor data in which the missing area 45 specified in step S13 is detected. Specifically, the interpolation data extraction unit 24 reads the missing area 45 from the memory 12. The interpolation data extraction unit 24 calculates the angle of the other sensor 101 corresponding to the missing region 45 based on the relative position information stored in the sensor position storage unit 31. The interpolation data extraction unit 24 extracts sensor data for the calculated angle as interpolation data.
  • the sensor 101A is a responsible sensor.
  • the coordinate system of the sensor 101A is a global coordinate system.
  • Two points at both ends of the missing region 45 in the sensor 101A are sensor data A1 and sensor data A2.
  • step S11 the data acquisition unit 21 stores each sensor data in a corresponding column of a table in which the angle ⁇ and the angle ⁇ are rows and columns. Then, the interpolation data extraction unit 24 extracts, as interpolation data, sensor data in a column that passes when a straight line connecting two columns at both ends of the missing region 45 is drawn on the table. That is, in FIG. 9, a column (hatched column) through which a straight line connecting the column of sensor data B1 angle ( ⁇ B1 , ⁇ B1 ) and the column of sensor data B2 angle ( ⁇ B2 , ⁇ B2 ) passes. ) Sensor data is extracted as interpolation data.
  • Step S15 position conversion process
  • the position conversion unit 25 converts the coordinate system of the position of the assigned data and the coordinate system of the position of the interpolation data extracted in step S14 into a global coordinate system. Specifically, the position conversion unit 25 converts the coordinate system using a conversion matrix that is relative position information stored in the sensor position storage unit 31.
  • Step S16 Detection data generation process
  • the detection data generation unit 26 generates detection data of the assigned region 42 by integrating the assigned data and the interpolation data whose coordinate system is converted in step S15.
  • the sensor data integration device 10 uses the sensor acquired by the other sensor 101 for the missing area 45 that is not detected by the assigned sensor in the assigned area 42 assigned to the assigned sensor. Interpolate using the data. Thereby, sensor data can be efficiently integrated. That is, while the processing load as a whole is reduced, the missing region 45 is interpolated with the sensor data acquired by the other sensors 101, so that the position and shape of the object can be specified appropriately.
  • the senor 101 is assumed to be LiDAR.
  • the sensor 101 is not limited to LiDAR, and may be another sensor as long as it is a sensor that detects a position.
  • the structure of the sensor data integration apparatus 10 which concerns on the modification 2 is demonstrated.
  • the sensor The data integration device 10 includes a processing circuit 15 instead of the processor 11, the memory 12, and the storage 13.
  • the processing circuit 15 includes functions of the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, and the detection data generation unit 26, This is a dedicated electronic circuit that realizes the function of the storage 13.
  • the processing circuit 15 is assumed to be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). Is done.
  • the function of the processing circuit 15 may be realized by a single processing circuit 15, or the data acquisition unit 21, the position calculation unit 22, the missing region specification unit 23, the interpolation data extraction unit 24, the position conversion unit 25, The function with the detection data generation unit 26 may be distributed to a plurality of processing circuits 15.
  • ⁇ Modification 3> As a third modification, some functions may be realized by hardware, and other functions may be realized by software. That is, some functions of the processing circuit 15 may be realized by hardware, and other functions may be realized by software.
  • the processor 11, the memory 12, the storage 13, and the processing circuit 15 are collectively referred to as “processing circuitries”. That is, the function of each functional component is realized by the processing circuitry.
  • Embodiment 2 is different from the first embodiment in that an area far from the sensor 101 is interpolated by sensor data of other sensors 101. In the second embodiment, this different point will be described, and the description of the same point will be omitted.
  • the operation of the sensor data integration apparatus 10 according to the second embodiment corresponds to the sensor data integration method according to the second embodiment.
  • the operation of the sensor data integration device 10 according to the second embodiment corresponds to the processing of the sensor data integration program according to the second embodiment.
  • step S21 to step S22 is the same as the processing from step S11 to step S12 in FIG. Further, the processing from step S25 to step S26 is the same as the processing from step S15 to step S16 in FIG.
  • Step S23 area specifying process
  • the missing area specifying unit 23 specifies the missing area 45 as in the first embodiment.
  • the missing area specifying unit 23 specifies, as the far area 46, an area in which the distance from the assigned sensor is more than the second threshold among the areas detected by the assigned data in the assigned area 42 assigned to the assigned sensor. .
  • Step S24 Interpolation data extraction process
  • the interpolation data extraction unit 24 extracts sensor data obtained by detecting the missing region 45 and the far region 46 identified in step S24 and acquired by the sensor 101 other than the assigned sensor as interpolation data.
  • the interpolation data extraction method for the far region 46 is the same as the interpolation data extraction method for the missing region 45. That is, the sensor data angles ( ⁇ , ⁇ ) at the two points at both ends of the far region 46 may be specified, and the sensor data between them may be extracted as interpolation data.
  • the sensor data integration device 10 interpolates not only the missing region 45 but also the far region 46 using the sensor data acquired by the other sensors 101.
  • the sensor 101 such as LiDAR
  • the distance between adjacent points increases, and the specified shape becomes rough.
  • the far region 46 far from the sensor 101 is interpolated with the sensor data acquired by the other sensors 101, the shape of the object can be specified appropriately.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

欠落領域特定部(23)は、位置を検出する担当センサに割り当てられた担当領域において、担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域を特定する。補間データ抽出部(24)は、欠落領域を検出したセンサデータであって、担当センサ以外のセンサによって取得されたセンサデータを補間データとして抽出する。検出データ生成部(26)は、担当データと、補間データとを統合して担当領域の検出データを生成する。

Description

センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム
 この発明は、複数のセンサによって取得されたセンサデータを統合する技術に関する。
 センサを用いて障害物といった物体を検出して、車両といった移動体の制御等を行うことにより、安全性及び利便性を向上させることが行われている。
 移動体には複数のセンサが搭載される場合がある。この場合には、各センサで取得されたセンサデータを統合して利用する必要がある。
 特許文献1には、各センサの優先順位を事前に設定しておき、全体の処理負荷を軽減する技術が記載されている。
国際公開第2010/140239号
 パルス状に発光するレーザを照射し、照射されたレーザに対する散乱光を測定して、遠距離にある対象までの距離と、その対象の性質とを分析するLiDAR(Light Detection and Ranging)といったセンサがある。LiDARのようなセンサを複数用いて周辺を監視する場合、各センサの情報を1つに統合することにより、より広いエリアの監視をすることができる。しかし、センサ数が多くなるほど取得されるセンサデータ数が増える。そのため、取得されたセンサデータ全てについて処理を行うと、処理負荷が高くなる。
 LiDARのようなセンサを複数用いて周辺を監視する場合には、各センサに対する優先度は全て同じである。そのため、特許文献1に記載された技術のように、各センサの優先順位を設定しておき、全体の処理負荷を軽減することは難しい。
 この発明は、複数のセンサデータを効率的に統合にすることを目的とする。
 この発明に係るセンサデータ統合装置は、
 位置を検出する担当センサに割り当てられた担当領域において、前記担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域を特定する欠落領域特定部と、
 前記欠落領域特定部によって特定された前記欠落領域を検出したセンサデータであって、前記担当センサ以外のセンサによって取得されたセンサデータを補間データとして抽出する補間データ抽出部と、
 前記担当データと、前記補間データ抽出部によって抽出された前記補間データとを統合して前記担当領域の検出データを生成する検出データ生成部と
を備える。
 この発明は、担当センサに割り当てられた担当領域における、担当センサでは検出されていない欠落領域について、他のセンサによって取得されたセンサデータを用いて補間する。これにより、効率的にセンサデータを統合することができる。
実施の形態1に係るセンサデータ統合装置10の構成図。 実施の形態1に係るセンサ位置記憶部31に記憶される情報を示す図。 実施の形態1に係る担当領域記憶部32に記憶される情報を示す図。 実施の形態1に係る担当領域42の例の説明図。 実施の形態1に係る担当領域42の例の説明図。 実施の形態1に係るセンサデータ統合装置10の動作のフローチャート。 実施の形態1に係るセンサデータの説明図。 実施の形態1に係る欠落領域45の説明図。 実施の形態1に係る補間データ抽出処理の説明図。 変形例2に係るセンサデータ統合装置10の構成図。 実施の形態2に係るセンサデータ統合装置10の動作のフローチャート。
 実施の形態1.
 ***構成の説明***
 図1を参照して、実施の形態1に係るセンサデータ統合装置10の構成を説明する。
 図1では、センサデータ統合装置10が移動体100に搭載された状態が示されている。移動体100は、車両、船舶等である。実施の形態1では、移動体100は、車両である。
 なお、センサデータ統合装置10は、移動体100又は図示した他の構成要素と、一体化した形態又は分離不可能な形態で実装されてもよいし、取り外し可能な形態又は分離可能な形態で実装されてもよい。
 センサデータ統合装置10は、コンピュータである。
 センサデータ統合装置10は、プロセッサ11と、メモリ12と、ストレージ13と、センサインタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
 メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
 ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
 センサインタフェース14は、移動体100に搭載されたセンサ101と通信するためのインタフェースである。具体例としては、センサインタフェース14は、センサデータ取得LSI(Large Scale Integration)である。
 図1では、センサインタフェース14は、センサ101A~センサ101Cの3台のセンサ101と接続されている。センサインタフェース14は、複数のセンサ101と接続されていればよく、3台に限定されるものではない。実施の形態1では、センサ101は、LiDARであるとする。
 センサデータ統合装置10は、機能構成要素として、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26とを備える。データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能はソフトウェアにより実現される。
 ストレージ13には、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能が実現される。
 また、ストレージ13は、センサ位置記憶部31と、担当領域記憶部32との機能を実現する。
 図1では、プロセッサ11は、1つだけ示されている。しかし、センサデータ統合装置10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能を実現するプログラムの実行を分担する。
 ***動作の説明***
 図2から図9を参照して、実施の形態1に係るセンサデータ統合装置10の動作を説明する。
 実施の形態1に係るセンサデータ統合装置10の動作は、実施の形態1に係るセンサデータ統合方法に相当する。また、実施の形態1に係るセンサデータ統合装置10の動作は、実施の形態1に係るセンサデータ統合プログラムの処理に相当する。
 図2を参照して、実施の形態1に係るセンサ位置記憶部31に記憶される情報を説明する。
 センサ位置記憶部31には、センサ101毎に、そのセンサ101の相対位置情報41が記憶される。実施の形態1では、相対位置情報41として、変換行列が記憶される。変換行列は、センサ101で取得されたセンサデータの座標系をグローバル座標系に変換するための行列であり、座標系の回転及び並進を示す行列である。
 図3を参照して、実施の形態1に係る担当領域記憶部32に記憶される情報を説明する。
 担当領域記憶部32には、センサ101毎に、そのセンサ101に割り当てられた担当領域42が記憶される。担当領域42は、センサ101が障害物といった物体の検出を担当する領域である。担当領域42は、例えば、センサ101の位置を基準とする相対座標系で表される。
 図4を参照して、実施の形態1に係る担当領域42の例を説明する。
 図4では、鉛直方向上側から見た状態が示されている。センサ101Aが検出可能な領域43Aと、センサ101Bが検出可能な領域43Bとは、重複領域44部分が重複している。このような場合には、例えば、重複領域44内の各位置については、その位置に近い方のセンサ101の担当領域42とする。
 具体的には、センサ101Aとセンサ101Bとを結ぶ直線L1の垂直二等分線L2が引かれる。垂直二等分線L2をセンサ101Aを通るように平行移動させた直線を直線L3とする。直線L1に対する直線L3の鉛直軸回りの角度を角度θ1とする。そして、角度θ1以上θ1+π以下の領域のうち、センサ101Aが検出可能な領域43Aに含まれる領域は、センサ101Aの担当領域42Aとする。また、その他のセンサ101Aが検出可能な領域43Aのうち、垂直二等分線L2よりもセンサ101A側の領域についても、センサ101Aの担当領域42Aとする。
 そして、センサ101Bが検出可能な領域43Bのうち、センサ101Aの担当領域42Aを除いた領域を担当領域42Bとする。
 図5を参照して、実施の形態1に係る担当領域42の別の例を説明する。
 図5では、図4と同様に、鉛直方向上側から見た状態が示されている。図4の場合と同様に、センサ101Aが検出可能な領域43Aと、センサ101Bが検出可能な領域43Bとは、重複領域44部分が重複している。このような場合には、例えば、重複領域44については一方のセンサ101の担当領域42とする。
 具体的には、センサ101Aが検出可能な領域43Aを、センサ101Aの担当領域42Aとする。そして、センサ101Bが検出可能な領域43Bのうち、重複領域44を除いた領域を担当領域42Bとする。
 なお、各センサ101の担当領域42が一部重複していてもよい。
 図6を参照して、実施の形態1に係るセンサデータ統合装置10の動作を説明する。
 図6に示す処理の前提として、センサ位置記憶部31及び担当領域記憶部32には、上述した情報が記憶されているものとする。
 (ステップS11:データ取得処理)
 データ取得部21は、センサインタフェース14を介して、各センサ101によって取得されたセンサデータを取得する。データ取得部21は、取得されたセンサデータを、メモリ12に書き込む。
 上述した通り、実施の形態1では、LiDARである。LiDARは、レーザの照射角を少しずつずらしながら、パルス状に発光するレーザを照射する。LiDARは、レーザに対する散乱光を測定して、センサデータを取得する。そのため、データ取得部21は、各センサ101から、順序付けされた複数のセンサデータを取得することになる。
 図7に示すように、各センサデータは、センサ101の位置を中心として、各角度(θ,ω)における物体までの距離mを示す。
 (ステップS12:位置計算処理)
 位置計算部22は、ステップS11で取得された各センサデータが示す3次元位置を計算する。
 具体的には、位置計算部22は、メモリ12から各センサデータを読み出す。位置計算部22は、センサデータが示す角度(θ,ω)と距離mとから、センサデータの取得元のセンサ101の位置を基準とする、x軸における距離Xと、y軸における距離Yと、z軸における距離Zとを計算する。x軸における距離Xは、“X=m×cos(ω)×cos(θ)”により計算できる。y軸における距離Yは、“Y=m×cos(ω)×sin(θ)”により計算できる。z軸における距離Zは、“Z=m×sin(ω)”により計算できる。位置計算部22は、計算された3次元位置をメモリ12に書き込む。
 ステップS13からステップS19の処理は、各センサ101を担当センサとして実行される。
 (ステップS13:領域特定処理)
 欠落領域特定部23は、担当センサに割り当てられた担当領域42において、担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域45を特定する。つまり、欠落領域特定部23は、担当センサからの死角となっているといった理由により、担当データが欠落している欠落領域45を特定する。すなわち、欠落領域45は、担当センサでは検出できなかった担当領域42内の領域である。
 具体的には、欠落領域特定部23は、担当領域記憶部32から担当センサに対応する担当領域42を読み出す。欠落領域特定部23は、担当センサによって取得されたセンサデータである担当データについての3次元位置うち、担当領域42内の3次元位置をメモリ12から読み出す。図8に示すように、欠落領域特定部23は、隣接する担当データが示す位置間の距離が第1閾値以上に離れている領域を欠落領域45として特定する。図8では、距離D1と距離D2との差が第1閾値以上であるため、センサデータA1とセンサデータA2との間は欠落領域45として特定される。欠落領域特定部23は、特定された欠落領域45をメモリ12に書き込む。
 第1閾値は、事前に設定されメモリ12に記憶されている。第1閾値は、センサ101の距離の検出精度等に応じて設定される。
 (ステップS14:補間データ抽出処理)
 補間データ抽出部24は、ステップS13で特定された欠落領域45を検出したセンサデータであって、担当センサ以外のセンサ101によって取得されたセンサデータを補間データとして抽出する。
 具体的には、補間データ抽出部24は、メモリ12から欠落領域45を読み出す。補間データ抽出部24は、センサ位置記憶部31に記憶された相対位置情報に基づき、欠落領域45に対応する他のセンサ101の角度を計算する。補間データ抽出部24は、計算された角度についてのセンサデータを補間データとして抽出する。
 図8を参照して具体的に説明する。
 ここでは、センサ101Aを担当センサとする。また、センサ101Aの座標系をグローバル座標系とする。また、グローバル座標系に対するセンサ101Bの相対位置を表す変換行列を変換行列Rとする。つまり、変換行列Rは、センサ101B座標系をセンサ101Aの座標系に変換する行列である。したがって、センサ101Bの座標系のセンサデータBに変換行列Rを乗じることにより、センサデータBをセンサ101Aの座標系のセンサデータAに変換することができる。つまり、A=RBである。
 センサ101Aにおける欠落領域45の両端の2点は、センサデータA1とセンサデータA2である。補間データ抽出部24は、A1=RB1により、センサデータA1に対応するセンサ101BにおけるセンサデータB1を特定する。同様に、補間データ抽出部24は、A2=RB2により、センサデータA2に対応するセンサ101BにおけるセンサデータB2を特定する。補間データ抽出部24は、センサデータB1及びセンサデータB2の角度(θ,ω)を特定することにより、欠落領域45の両端の2点に対応するセンサ101Bの座標系における角度(θ,ω)を特定する。そして、補間データ抽出部24は、特定された欠落領域45の両端の2点の間のセンサデータの間のセンサデータを補間データとして抽出する。
 例えば、図9に示すように、ステップS11でデータ取得部21は、各センサデータを、角度θと角度ωとを行及び列とするテーブルの対応する欄に格納しておく。そして、補間データ抽出部24は、テーブル上で欠落領域45の両端の2点の欄を結ぶ直線を引いたときに通過する欄のセンサデータを補間データとして抽出する。
 つまり、図9において、センサデータB1の角度(θB1,ωB1)の欄と、センサデータB2の角度(θB2,ωB2)の欄とを結んだ直線が通る欄(ハッチングを付した欄)のセンサデータが補間データとして抽出される。
 (ステップS15:位置変換処理)
 位置変換部25は、担当データの位置の座標系と、ステップS14で抽出された補間データの位置の座標系を、グローバル座標系に変換する。
 具体的には、位置変換部25は、センサ位置記憶部31に記憶された相対位置情報である変換行列により、座標系を変換する。
 (ステップS16:検出データ生成処理)
 検出データ生成部26は、担当データと、ステップS15で座標系が変換された補間データとを統合して担当領域42の検出データを生成する。
 ***実施の形態1の効果***
 以上のように、実施の形態1に係るセンサデータ統合装置10は、担当センサに割り当てられた担当領域42における、担当センサでは検出されていない欠落領域45について、他のセンサ101によって取得されたセンサデータを用いて補間する。これにより、効率的にセンサデータを統合することができる。
 つまり、全体としての処理負荷を軽減しつつ、欠落領域45については他のセンサ101により取得されたセンサデータで補間するため、物体の位置及び形状を適切に特定することができる。
 ***他の構成***
 <変形例1>
 実施の形態1では、センサ101は、LiDARであるとした。しかし、センサ101は、LiDARに限らず、位置を検出するセンサであれば、他のセンサであってもよい。
 <変形例2>
 実施の形態1では、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能がソフトウェアで実現された。しかし、変形例2として、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
 図10を参照して、変形例2に係るセンサデータ統合装置10の構成を説明する。
 データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能がハードウェアで実現される場合、センサデータ統合装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、処理回路15を備える。処理回路15は、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能と、メモリ12とストレージ13との機能とを実現する専用の電子回路である。
 処理回路15は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
 処理回路15の機能を1つの処理回路15で実現してもよいし、データ取得部21と、位置計算部22と、欠落領域特定部23と、補間データ抽出部24と、位置変換部25と、検出データ生成部26との機能を複数の処理回路15に分散させて実現してもよい。
 <変形例3>
 変形例3として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、処理回路15のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
 プロセッサ11とメモリ12とストレージ13と処理回路15とを、総称して「プロセッシングサーキットリー」という。つまり、各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
 実施の形態2.
 実施の形態2は、センサ101から遠い領域についても他のセンサ101のセンサデータにより補間する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同じ点については説明を省略する。
 ***動作の説明***
 図11を参照して、実施の形態2に係るセンサデータ統合装置10の動作を説明する。
 実施の形態2に係るセンサデータ統合装置10の動作は、実施の形態2に係るセンサデータ統合方法に相当する。また、実施の形態2に係るセンサデータ統合装置10の動作は、実施の形態2に係るセンサデータ統合プログラムの処理に相当する。
 ステップS21からステップS22の処理は、図6のステップS11からステップS12の処理と同じである。また、ステップS25からステップS26の処理は、図6のステップS15からステップS16の処理と同じである。
 (ステップS23:領域特定処理)
 欠落領域特定部23は、実施の形態1と同様に欠落領域45を特定する。
 欠落領域特定部23は、担当センサに割り当てられた担当領域42において、担当データによって検出された領域のうち、担当センサからの距離が第2閾値以上に離れている領域を遠方領域46として特定する。
 (ステップS24:補間データ抽出処理)
 補間データ抽出部24は、ステップS24で特定された欠落領域45及び遠方領域46を検出したセンサデータであって、担当センサ以外のセンサ101によって取得されたセンサデータを補間データとして抽出する。
 遠方領域46についての補間データの抽出方法は、欠落領域45についての補間データの抽出方法と同じである。つまり、遠方領域46の両端の2点のセンサデータの角度(θ,ω)を特定し、その間のセンサデータを補間データとして抽出すればよい。
 ***実施の形態2の効果***
 以上のように、実施の形態2に係るセンサデータ統合装置10は、欠落領域45だけでなく、遠方領域46についても他のセンサ101によって取得されたセンサデータを用いて補間する。
 LiDARといったセンサ101では、センサ101からの距離が遠くなるにつれ、隣接する点間の距離が広がることにより、特定される形状が荒くなってしまう。しかし、センサ101からの距離が遠い遠方領域46については他のセンサ101により取得されたセンサデータで補間するため、物体の形状を適切に特定することができる。
 10 センサデータ統合装置、11 プロセッサ、12 メモリ、13 ストレージ、14 センサインタフェース、15 処理回路、21 データ取得部、22 位置計算部、23 欠落領域特定部、24 補間データ抽出部、25 位置変換部、26 検出データ生成部、31 センサ位置記憶部、32 担当領域記憶部、41 相対位置情報、42 担当領域、43 検出可能な領域、44 重複領域、45 欠落領域、46 遠方領域、100 移動体、101 センサ。

Claims (6)

  1.  位置を検出する担当センサに割り当てられた担当領域において、前記担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域を特定する欠落領域特定部と、
     前記欠落領域特定部によって特定された前記欠落領域を検出したセンサデータであって、前記担当センサ以外のセンサによって取得されたセンサデータを補間データとして抽出する補間データ抽出部と、
     前記担当データと、前記補間データ抽出部によって抽出された前記補間データとを統合して前記担当領域の検出データを生成する検出データ生成部と
    を備えるセンサデータ統合装置。
  2.  前記欠落領域特定部は、隣接する前記担当データが示す位置間の距離が第1閾値以上に離れている領域を前記欠落領域として特定する
    請求項1に記載のセンサデータ統合装置。
  3.  前記センサデータ統合装置は、さらに、
     前記担当データによって検出された領域のうち、前記担当センサからの距離が第2閾値以上に離れている領域を遠方領域として特定する遠方領域特定部
    を備え、
     前記補間データ抽出部は、前記遠方領域特定部によって特定された前記遠方領域を検出したセンサデータであって、前記担当センサ以外のセンサによって取得されたセンサデータについても前記補間データとして抽出する
    請求項1又は2に記載のセンサデータ統合装置。
  4.  前記検出データ生成部は、前記担当データと前記補間データとを同一座標系のデータに変換した上で合成することによって、前記検出データを生成する
    請求項1から3までのいずれか1項に記載のセンサデータ統合装置。
  5.  コンピュータが、位置を検出する担当センサに割り当てられた担当領域において、前記担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域を特定し、
     コンピュータが、前記欠落領域を検出したセンサデータであって、前記担当センサ以外のセンサによって取得されたセンサデータを補間データとして抽出し、
     コンピュータが、前記担当データと前記補間データとを統合して前記担当領域の検出データを生成するセンサデータ統合方法。
  6.  位置を検出する担当センサに割り当てられた担当領域において、前記担当センサによって取得されたセンサデータである担当データでは検出されていない欠落領域を特定する欠落領域特定処理と、
     前記欠落領域特定処理によって特定された前記欠落領域を検出したセンサデータであって、前記担当センサ以外のセンサによって取得されたセンサデータを補間データとして抽出する補間データ抽出処理と、
     前記担当データと、前記補間データ抽出処理によって抽出された前記補間データとを統合して前記担当領域の検出データを生成する検出データ生成処理と
    をコンピュータに実行させるセンサデータ統合プログラム。
PCT/JP2017/006228 2017-02-20 2017-02-20 センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム WO2018150591A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112017006844.4T DE112017006844T5 (de) 2017-02-20 2017-02-20 Sensordatenintegrationseinrichtung, sensordatenintegrationsverfahren und sensordatenintegrationsprogramm
US16/473,585 US11181618B2 (en) 2017-02-20 2017-02-20 Sensor data integration device, sensor data integration method and computer readable medium
PCT/JP2017/006228 WO2018150591A1 (ja) 2017-02-20 2017-02-20 センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム
CN201780086112.5A CN110291419A (zh) 2017-02-20 2017-02-20 传感器数据整合装置、传感器数据整合方法以及传感器数据整合程序
JP2017549350A JP6257868B1 (ja) 2017-02-20 2017-02-20 センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006228 WO2018150591A1 (ja) 2017-02-20 2017-02-20 センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム

Publications (1)

Publication Number Publication Date
WO2018150591A1 true WO2018150591A1 (ja) 2018-08-23

Family

ID=60940115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006228 WO2018150591A1 (ja) 2017-02-20 2017-02-20 センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム

Country Status (5)

Country Link
US (1) US11181618B2 (ja)
JP (1) JP6257868B1 (ja)
CN (1) CN110291419A (ja)
DE (1) DE112017006844T5 (ja)
WO (1) WO2018150591A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049892A1 (ja) * 2018-09-03 2020-03-12 日立オートモティブシステムズ株式会社 車載レーダシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019653A1 (ja) * 2019-07-29 2021-02-04 日本電信電話株式会社 中継サーバ、中継方法および中継プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61283885A (ja) * 1985-06-10 1986-12-13 Tokyo Keiki Co Ltd 複合レ−ダ装置
JPH04238285A (ja) * 1991-01-21 1992-08-26 Furuno Electric Co Ltd レーダ装置
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61172082A (ja) 1985-01-25 1986-08-02 Matsushita Electric Works Ltd 測距型物体検知装置
JP3509273B2 (ja) 1995-04-19 2004-03-22 松下電器産業株式会社 2次元センサ利用物体位置検出システム
JP2003167628A (ja) 2001-11-28 2003-06-13 Figla Co Ltd 自律走行作業車
JP4917270B2 (ja) * 2005-04-20 2012-04-18 古野電気株式会社 レーダ装置および類似装置
JP4656408B2 (ja) 2005-08-05 2011-03-23 株式会社デンソー 車両用周囲監視装置
JP2007137111A (ja) 2005-11-15 2007-06-07 Matsushita Electric Works Ltd 車両用周辺監視装置
WO2010130286A1 (en) * 2009-05-12 2010-11-18 Raytheon Anschütz Gmbh Combining data from multiple radar signals on a single plan position indicator (ppi) display
WO2010140239A1 (ja) 2009-06-04 2010-12-09 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
US8879793B2 (en) * 2013-02-20 2014-11-04 Raytheon Company Synthetic aperture radar map aperture annealing and interpolation
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP6100144B2 (ja) * 2013-11-19 2017-03-22 アルプス電気株式会社 入力装置およびその情報入力方法
CN105572664A (zh) * 2015-12-31 2016-05-11 上海广电通信技术有限公司 基于数据融合的组网导航雷达目标跟踪系统
US10452071B1 (en) * 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61283885A (ja) * 1985-06-10 1986-12-13 Tokyo Keiki Co Ltd 複合レ−ダ装置
JPH04238285A (ja) * 1991-01-21 1992-08-26 Furuno Electric Co Ltd レーダ装置
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049892A1 (ja) * 2018-09-03 2020-03-12 日立オートモティブシステムズ株式会社 車載レーダシステム
CN112400120A (zh) * 2018-09-03 2021-02-23 日立汽车系统株式会社 车载雷达系统
JPWO2020049892A1 (ja) * 2018-09-03 2021-08-26 日立Astemo株式会社 車載レーダシステム
JP7077408B2 (ja) 2018-09-03 2022-05-30 日立Astemo株式会社 車載レーダシステム
US11892540B2 (en) 2018-09-03 2024-02-06 Hitachi Astemo, Ltd. Vehicle-mounted radar system
CN112400120B (zh) * 2018-09-03 2024-06-04 日立安斯泰莫株式会社 车载雷达系统

Also Published As

Publication number Publication date
CN110291419A (zh) 2019-09-27
US11181618B2 (en) 2021-11-23
DE112017006844T5 (de) 2019-09-26
US20200150234A1 (en) 2020-05-14
JP6257868B1 (ja) 2018-01-10
JPWO2018150591A1 (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
Boikos et al. Semi-dense SLAM on an FPGA SoC
WO2021213432A1 (zh) 数据融合
US20150269396A1 (en) System and method for security-aware master
JP6257868B1 (ja) センサデータ統合装置、センサデータ統合方法及びセンサデータ統合プログラム
JP2019145085A (ja) 点群データ収集軌跡を調整するための方法、装置、およびコンピュータ読み取り可能な媒体
US20190095749A1 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
US9942524B2 (en) Device and method for detecting the position of an object in a machine tool
KR20190062852A (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
JP6605180B2 (ja) 地図処理装置、地図処理方法及び地図処理プログラム
CN112233182A (zh) 一种多激光雷达的点云数据的标注方法和装置
JPWO2019092880A1 (ja) 故障検出装置、故障検出方法及び故障検出プログラム
US20210377437A1 (en) Electronic device for performing object detection and operation method thereof
JP2019035668A (ja) 回転不良検出装置及び回転不良検出方法
JP2017090339A (ja) 位置記録装置
JP2019073191A (ja) 駐車支援装置
CN113607159B (zh) 高精地图车道线的优化方法、装置及设备
CN115841519A (zh) 一种图像采集设备的标定精度检测方法、装置及设备
CN113033426A (zh) 动态对象标注方法、装置、设备和存储介质
Ahlberg et al. GIMME2-An embedded system for stereo vision and processing of megapixel images with FPGA-acceleration
CN117687042B (zh) 一种多雷达数据融合方法、系统和设备
WO2020157844A1 (ja) 計測装置、計測方法及び計測プログラム
US20220019862A1 (en) Apparatus and method for performing heterogeneous sensor fusion
Schulz et al. A SoC with FPGA landmark acquisition system for binocular visual SLAM
US11943557B2 (en) Image sensor module, image processing system, and operating method of image sensor module
JP7026729B2 (ja) 管制支援装置、管制支援方法及び管制支援プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017549350

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896393

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17896393

Country of ref document: EP

Kind code of ref document: A1