WO2025022706A1 - 物体検知システム、物体検知装置、および物体検知方法 - Google Patents

物体検知システム、物体検知装置、および物体検知方法 Download PDF

Info

Publication number
WO2025022706A1
WO2025022706A1 PCT/JP2024/009242 JP2024009242W WO2025022706A1 WO 2025022706 A1 WO2025022706 A1 WO 2025022706A1 JP 2024009242 W JP2024009242 W JP 2024009242W WO 2025022706 A1 WO2025022706 A1 WO 2025022706A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
area
point cloud
cloud data
accumulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/009242
Other languages
English (en)
French (fr)
Inventor
拓磨 柄澤
敦 佐々
正紀 住吉
雅史 保谷
嘉孝 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to GB2518542.2A priority Critical patent/GB2644516A/en
Priority to JP2025535560A priority patent/JPWO2025022706A1/ja
Publication of WO2025022706A1 publication Critical patent/WO2025022706A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to an object detection system based on point cloud data acquired by scanning a monitoring area.
  • FIG. 1 shows an example of the configuration of an object detection system.
  • Figure 2 shows an image of how the object detection system works.
  • the object detection system in FIG. 1 includes a LiDAR 10 and an object detection server 20.
  • the LiDAR 10 acquires point cloud data representing the three-dimensional position and shape of an object 30 present in the monitoring range by scanning and irradiating a laser light onto the monitoring range and measuring the arrival time of the reflected light.
  • the point cloud data acquired by the LiDAR 10 is transmitted to the object detection server 20 via a network NW.
  • the object detection server 20 executes an object detection process to detect an object 30 present in the monitoring range based on the point cloud data received from the LiDAR 10.
  • the resolution of the laser light emitted from a LiDAR is determined by the LiDAR's irradiation pattern and the individual LiDAR.
  • the higher the resolution of the laser light the higher the density of the point cloud data that can be acquired, making it possible to detect smaller or more distant objects.
  • the resolution of the laser light is low, the density of the point cloud data that can be acquired will be low, making it difficult to detect small or distant objects. This is because conventional object detection systems detect objects using one frame of point cloud data acquired by LiDAR at a time.
  • Figure 3 shows an example of one frame of point cloud data obtained by LiDAR for an object.
  • the density of the point cloud data is low, so the object cannot be accurately identified.
  • it has been considered to accumulate and overlay multiple frames of point cloud data before processing (see, for example, Non-Patent Document 1).
  • Figure 4 shows an example of point cloud data from the first to fourth frames obtained for an object by LiDAR.
  • the point cloud data obtained by LiDAR is acquired with a slight shift in the coordinates of the point cloud data in successive frames, as shown in Figure 4, even when the object is stationary. Therefore, by accumulating and overlaying point cloud data from multiple frames, as shown in Figure 5, the density of the point cloud data can be artificially increased, allowing for more accurate object detection and discrimination.
  • the accumulation (overlay) of point cloud data described above is effective for stationary objects (hereafter referred to as "stationary objects"), but is less effective for moving objects, especially objects that move a lot (hereafter referred to as “moving objects”).
  • stationary objects stationary objects
  • moving objects moving objects
  • This problem can be addressed by using high-performance (high-resolution) LiDAR or by increasing the number of LiDAR units installed, but this is hardware-dependent and expensive.
  • the present invention was made in consideration of the above-mentioned conventional circumstances, and aims to provide a mechanism for object detection based on point cloud data acquired by scanning a monitoring range, capable of effectively detecting both stationary and moving objects.
  • an object detection system is configured as follows. That is, in an object detection system including a point cloud data acquisition device that scans a monitoring range to acquire point cloud data, and an object detection device that executes object detection processing based on the point cloud data acquired by the point cloud data acquisition device, the object detection device accumulates point cloud data for each area within the monitoring range by the number of accumulation frames set for that area, in accordance with the setting of the number of accumulation frames for each area into which the monitoring range is divided, and executes the object detection processing based on the accumulated point cloud data.
  • the number of accumulated frames for each area can be set to a value according to the expected speed of the object to be detected in each area.
  • the number of accumulated frames for each area can be set to a different value between the time period when the presence of an object to be detected in each area is expected and other time periods.
  • the object detection device can be configured to re-execute the object detection process for an area in which an object has been detected by the object detection process, based on point cloud data that has accumulated a number of accumulated frames that is greater than the number set for that area.
  • An object detection device is configured as follows. That is, in an object detection device that performs object detection processing based on point cloud data acquired by scanning a monitoring range, the device accumulates point cloud data for each area within the monitoring range by the number of accumulated frames set for that area according to the setting of the number of accumulated frames for each area into which the monitoring range is divided, and performs the object detection processing based on the accumulated point cloud data.
  • An object detection method is configured as follows. That is, in the object detection method based on point cloud data acquired by scanning a monitoring range, an object detection device accumulates point cloud data for each area within the monitoring range by the number of accumulated frames set for that area in accordance with the setting of the number of accumulated frames for each area into which the monitoring range is divided, and performs object detection processing based on the accumulated point cloud data.
  • the present invention provides a mechanism for object detection based on point cloud data acquired by scanning a monitoring range, which can effectively detect both stationary and moving objects.
  • FIG. 1 is a diagram illustrating an example of the configuration of an object detection system.
  • FIG. 2 is a diagram illustrating an operation image of the object detection system illustrated in FIG. 1 .
  • FIG. 2 is a diagram showing an example of one frame of point cloud data obtained regarding an object.
  • FIG. 2 is a diagram showing an example of point cloud data of the first to fourth frames obtained regarding an object.
  • FIG. 13 is a diagram showing an example of point cloud data obtained by overlapping four frames.
  • FIG. 2 is a diagram showing an example of division of a monitoring range in the proposed method.
  • FIG. 11 is a diagram showing an example of data on the number of accumulated frames by area in the proposed method.
  • FIG. 2 is a diagram illustrating an example of a processing flow in the proposed method.
  • the general configuration of an object detection system according to one embodiment of the present invention is the same as the object detection system shown in FIG. 1. That is, the object detection system of this example has a LiDAR 10, which is an example of a point cloud data acquisition device according to the present invention, and an object detection server 20, which is an example of an object detection device according to the present invention.
  • a LiDAR 10 which is an example of a point cloud data acquisition device according to the present invention
  • an object detection server 20 which is an example of an object detection device according to the present invention.
  • LiDAR10 acquires point cloud data representing the three-dimensional position and shape of object 30 present within the monitoring range by scanning and irradiating the monitoring range with laser light and measuring the arrival time of the reflected light.
  • the point cloud data acquired by LiDAR10 is transmitted to object detection server 20 via network NW.
  • object detection server 20 executes object detection processing to detect object 30 present within the monitoring range.
  • the point cloud data is processed using background subtraction to determine the size, shape, etc. of the detected object, and the detected object is identified based on the results.
  • the detected object may be identified by matching with previously registered object shapes or by an AI model that has learned the object shape.
  • LiDAR 10 instead of LiDAR 10, other point cloud data acquisition devices such as 3D sensors capable of acquiring point cloud data representing the three-dimensional position and shape of objects present in the monitoring range may be used.
  • the object detection server 20 may execute object detection processing based on the point cloud data acquired by each LiDAR 10.
  • the object detection server 20 may be realized, for example, by a computer equipped with hardware resources such as a processor and memory, and may be configured to read programs related to each function according to the present invention from the memory and execute them by the processor.
  • the object detection server 20 may be realized by one computer, or by multiple computers connected to each other so that they can communicate with each other.
  • the object detection server 20 divides the monitoring range into multiple areas and executes object detection processing with a different number of accumulated frames for each area. For example, as shown in FIG. 6, the monitoring range is divided into an air area whose main purpose is to detect stationary objects (flying objects caught on utility poles or electric wires) and a ground area whose main purpose is to detect moving objects (passing people and vehicles).
  • FIG. 7 shows an example of area-specific accumulated frame number data used for the above control.
  • Such area-specific accumulated frame number data is stored in the internal memory of the object detection server 20 or in an external device accessible to the object detection server 20.
  • the area-specific accumulated frame number data may be set manually by a user of the object detection system, or may be set automatically by a device such as the object detection server 20 according to the distribution of stationary and moving objects analyzed from past point cloud data.
  • the object detection server 20 accumulates point cloud data for each area within the monitoring range by the number of accumulated frames set for that area according to the area-specific accumulated frame count data described above, and performs object detection processing based on the accumulated point cloud data.
  • the object detection server 20 will perform object detection processing for the sky area based on point cloud data accumulated and superimposed over four frames, and for the ground area based on one frame of point cloud data.
  • FIG. 8 shows an example of a processing flow in the proposed method.
  • the object detection server 20 initializes (sets to 0) the frame counter for each area and initializes (clears) the accumulated point cloud data for each area (step S11).
  • the object detection server 20 receives one frame of point cloud data from the LiDAR 10 (step S12), it performs the following processing (steps S13 to S17) for each area.
  • step S13 the frame counter of area n (where 1 ⁇ n ⁇ number of areas) is incremented (added by 1) (step S13), and the corresponding portion of the received point cloud data is added to the accumulated point cloud data of area n (step S14).
  • step S15 it is determined whether the frame counter of area n has reached the accumulated frame number (step S15). If the frame counter of area n has reached the accumulated frame number (step S15; Yes), object detection processing is performed based on the accumulated point cloud data of area n (step S16), and the frame counter and accumulated point cloud data of area n are reset (step S17), and processing of the next area is started.
  • step S15 if the frame counter of area n has not reached the accumulated frame number (step S15; Yes), processing of steps S16 to S17 is not performed, and processing of the next area is started. If processing of all areas is completed, the system waits until the reception of the next frame of point cloud data (step S12).
  • object detection processing in the sky area is performed every four frames, but by storing point cloud data for the number of accumulated frames as history, it is also possible to perform object detection processing for each frame (each time point cloud data is received from LiDAR) by overlaying the point cloud data from the past four frames.
  • the object detection system of this example includes LiDAR 10 that scans the monitoring range to acquire point cloud data, and object detection server 20 that executes object detection processing based on the point cloud data acquired by LiDAR 10.
  • Object detection server 20 accumulates point cloud data for each area within the monitoring range by the number of accumulation frames set for that area according to the setting of the number of accumulation frames for each area into which the monitoring range is divided, and executes object detection processing based on the accumulated point cloud data.
  • object detection processing can be performed based on point cloud data accumulated and overlaid over four frames
  • object detection processing can be performed based on point cloud data for one frame.
  • flying objects caught on utility poles or power lines can be detected with high accuracy
  • in the ground area people and vehicles passing by can be detected with high accuracy.
  • this can be achieved through ingenuity in software rather than hardware, more advanced detection is possible while keeping costs down for the entire system.
  • the number of accumulated frames in the air area, where the main purpose is to detect stationary objects is set to 4, and the number of accumulated frames in the ground area, where the main purpose is to detect moving objects, is set to 1, but this is merely an example.
  • the number of accumulated frames for each area may be set to a value according to the expected speed of the object to be detected in each area.
  • the number of accumulated frames in an area, where the main purpose is to detect slow-moving moving objects may be set to 2
  • the number of accumulated frames in an area, where the main purpose is to detect fast-moving moving objects may be set to 1.
  • the number of accumulated frames for each area may be set to a different value depending on the time of day when the presence of an object to be detected in each area is expected and other time of day.
  • the number of accumulated frames may be set to a low value during time periods when pedestrians are expected to pass by, and to a high value during time periods when pedestrians are not expected to pass by.
  • the number of accumulated frames for each area may be set to a value according to the LiDAR sampling period.
  • the number of accumulated frames may be increased when the LiDAR sampling period is short, and decreased when the sampling period is long.
  • the number of accumulated frames for each area may be set to a value according to the urgency of detection in each area (degree of need for immediate detection).
  • the number of accumulated frames may be increased in areas where the urgency of detection is low, and decreased in areas where the urgency of detection is high.
  • the monitoring range is divided into two areas, but it may be divided into three or more areas.
  • it may be divided into an overhead area, an area where passengers walk (platform area), and an area where trains run (railroad track area), and a different number of accumulated frames may be set for each area.
  • the object detection server 20 may re-execute the object detection process for an area in which an object has been detected by the object detection process, based on point cloud data that has accumulated a number of frames greater than the number set for that area. For example, if an object is detected by executing the object detection process for a ground area based on one frame of point cloud data, the object detection process is re-executed for the ground area based on four frames of point cloud data. This makes it possible to further improve the accuracy of object detection.
  • the present invention can be provided not only as the devices described above or as systems composed of these devices, but also as methods executed by these devices, programs for implementing the functions of these devices using a processor, and storage media for storing such programs in a computer-readable format.
  • the present invention can be used in an object detection system based on point cloud data acquired by scanning a monitoring area.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本発明は、監視範囲を走査して取得される点群データに基づく物体検知に関し、静止物と移動物の両方を好適に検知することが可能な仕組みを提供するものである。本発明の一実施形態に係る物体検知システムは、監視範囲を走査して点群データを取得するＬｉＤＡＲ１０と、ＬｉＤＡＲ１０により取得された点群データに基づいて物体検知処理を実行する物体検知サーバ２０とを備える。物体検知サーバ２０は、監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて物体検知処理を実行する。

Description

物体検知システム、物体検知装置、および物体検知方法
　本発明は、監視範囲を走査して取得される点群データに基づく物体検知システムに関する。
　従来、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）を用いて監視範囲に存在する物体を検知する物体検知システムが開発されている。図１には、物体検知システムの構成例を示してある。また、図２には、物体検知システムの動作イメージを示してある。
　図１の物体検知システムは、ＬｉＤＡＲ１０と、物体検知サーバ２０とを有している。ＬｉＤＡＲ１０は、図２に示すように、監視範囲に対してレーザー光を走査しながら照射して反射光の到達時間を計測することで、監視範囲に存在する物体３０の３次元位置や形状を表す点群データを取得する。ＬｉＤＡＲ１０により取得された点群データは、ネットワークＮＷを介して物体検知サーバ２０へ送信される。物体検知サーバ２０は、ＬｉＤＡＲ１０から受信した点群データに基づいて、監視範囲に存在する物体３０を検知するための物体検知処理を実行する。
西田健，外３名、「自動運転のためのＬＩＤＡＲの仕様の検証」、第３２回ファジィ学会ファジィシステムシンポジウム講演論文集ＦＳＳ（２０１６佐賀大学）、ｐ．１４７－１５０
　ＬｉＤＡＲから照射されるレーザー光の分解能は、ＬｉＤＡＲの照射パターンや、ＬｉＤＡＲ個体によって決まっている。レーザー光の分解能が高いほど、取得できる点群データの密度が高くなり、より小さな物体や遠い物体の検知が可能となる。一方、レーザー光の分解能が低いと、取得できる点群データの密度が低くなり、その結果、小さな物体や遠い物体の検知がしにくくなる。これは、従来の物体検知システムでは、ＬｉＤＡＲで取得される点群データを１フレーム分ずつ使用して物体を検知していたためである。
　図３には、ＬｉＤＡＲによって対象物に関して得られる１フレーム分の点群データの例を示してある。図３の例では、点群データの密度が低いため、物体を正確に判別することができない。このような問題の対策として、ＬｉＤＡＲで取得される点群データを１フレーム単位で処理するのではなく、複数フレーム分の点群データを蓄積して重ね合わせてから処理することが検討されている（例えば、非特許文献１参照）。
　点群データの蓄積（重ね合わせ）による物体検知について、図４および図５を参照して説明する。図４には、ＬｉＤＡＲによって対象物に関して得られる１フレーム目～４フレーム目の点群データの例を示してある。ＬｉＤＡＲで取得される点群データは、対象物が静止している場合でも、図４に示すように、前後のフレームで点群データの座標が僅かにずれて取得される。そこで、複数フレーム分の点群データを蓄積して重ね合わせることで、図５に示すように、点群データの密度を疑似的に増やすことできるため、物体の検知や判別をより正確に行えるようになる。
　上述した点群データの蓄積（重ね合わせ）は、静止している物体（以下、「静止物」という）に対しては有効であるものの、動いている物体、特に、動きが大きい物体（以下、「移動物」という）に対しての有効性は低い。これは、移動物をＬｉＤＡＲで観測した場合、各フレームでの分布エリアがばらけた点群データしか取得できないため、複数フレーム分を蓄積して重ね合わせたとしても、広範囲に分散した点群データしか得られないためである。このような問題に対しては、高性能（分解能の高い）ＬｉＤＡＲを用いるか、ＬｉＤＡＲの設置台数を増やすことで対応できるが、ハードウェアに依存するものであり、高いコストがかかってしまう。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、監視範囲を走査して取得される点群データに基づく物体検知に関し、静止物と移動物の両方を好適に検知することが可能な仕組みを提供することを目的とする。
　上記の目的を達成するために、本発明の一態様に係る物体検知システムは以下のように構成される。すなわち、監視範囲を走査して点群データを取得する点群データ取得装置と、前記点群データ取得装置により取得された点群データに基づいて物体検知処理を実行する物体検知装置とを備えた物体検知システムにおいて、前記物体検知装置は、前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて前記物体検知処理を実行することを特徴とする。
　ここで、上記の物体検知システムにおいて、前記エリア別の蓄積フレーム数は、各エリアでの検知目標となる物体の想定速度に応じた値が設定され得る。
　また、上記の物体検知システムにおいて、前記エリア別の蓄積フレーム数は、各エリアでの検知目標となる物体の存在が想定される時間帯と他の時間帯とで異なる値が設定され得る。
　また、上記の物体検知システムにおいて、前記物体検知装置は、前記物体検知処理によって物体が検知されたエリアに対し、該エリアに対する設定より多い蓄積フレーム数分を蓄積した点群データに基づいて、前記物体検知処理を実行し直すように構成され得る。
　本発明の別の態様に係る物体検知装置は、以下のように構成される。すなわち、監視範囲を走査して取得される点群データに基づいて物体検知処理を実行する物体検知装置において、前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて前記物体検知処理を実行することを特徴とする。
　本発明の更に別の態様に係る物体検知方法は、以下のように構成される。すなわち、監視範囲を走査して取得される点群データに基づく物体検知方法において、物体検知装置が、前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて物体検知処理を実行することを特徴とする。
　本発明によれば、監視範囲を走査して取得される点群データに基づく物体検知に関し、静止物と移動物の両方を好適に検知することが可能な仕組みを提供することができる。
物体検知システムの構成例を示す図である。 図１に示す物体検知システムの動作イメージを示す図である。 物体に関して得られる１フレーム分の点群データの例を示す図である。 物体に関して得られる１フレーム目～４フレーム目の点群データの例を示す図である。 ４フレーム分を重ね合わせた点群データの例を示す図である。 本提案方式における監視範囲の区分例を示す図である。 本提案方式におけるエリア別蓄積フレーム数データの例を示す図である。 本提案方式における処理フローの例を示す図である。
　本発明の一実施形態について、図面を参照して説明する。本発明の一実施形態に係る物体検知システムの概略的な構成は、図１に示した物体検知システムと同じである。すなわち、本例の物体検知システムは、本発明に係る点群データ取得装置の一例であるＬｉＤＡＲ１０と、本発明に係る物体検知装置の一例である物体検知サーバ２０とを有している。
　ＬｉＤＡＲ１０は、監視範囲に対してレーザー光を走査しながら照射して反射光の到達時間を計測することで、監視範囲に存在する物体３０の３次元位置や形状を表す点群データを取得する。ＬｉＤＡＲ１０により取得された点群データは、ネットワークＮＷを介して物体検知サーバ２０へ送信される。物体検知サーバ２０は、ＬｉＤＡＲ１０から受信した点群データに基づいて、監視範囲に存在する物体３０を検知するための物体検知処理を実行する。物体検知処理では、例えば、点群データを背景差分法により処理して検知物のサイズや形状等を判別し、その結果に基づいて検知物を特定する。また、予め登録しておいた物体形状とのマッチングや、物体形状を学習させたＡＩモデルにより、検知物の特定を行うようにしてもよい。
　なお、ＬｉＤＡＲ１０に代えて、監視範囲に存在する物体の３次元位置や形状を表す点群データを取得可能な３Ｄセンサなどの他の点群データ取得装置を用いてもよい。また、図１では、ＬｉＤＡＲ１０を１台のみ示しているが、複数台のＬｉＤＡＲ１０を備え、物体検知サーバ２０がそれぞれのＬｉＤＡＲ１０により取得された点群データに基づいて物体検知処理を実行してもよい。物体検知サーバ２０は、例えば、プロセッサやメモリなどのハードウェア資源を備えたコンピュータにより実現され、本発明に係る各機能に関するプログラムをメモリから読み出してプロセッサにより実行するように構成され得る。また、物体検知サーバ２０は、１台のコンピュータにより実現されてもよいし、互いに通信可能に接続された複数台のコンピュータにより実現されてもよい。
　本提案方式において、物体検知サーバ２０は、監視範囲を複数のエリアに区分し、エリア毎に異なる蓄積フレーム数で物体検知処理を実行する。監視範囲は、例えば図６に示すように、静止物（電柱や電線に引っかかった飛来物）の検知を主目的とした上空エリアと、移動物（通行する人や車両）の検知を主目的とした地上エリアとに区分される。
　図７には、上記の制御に用いるエリア別蓄積フレーム数データの例を示してある。図７の例では、エリアＩＤ＝“１”で識別される「上空エリア」の蓄積フレーム数として“４”が設定され、エリアＩＤ＝“２”で識別される「地上エリア」の蓄積フレーム数として“１”が設定されている。このようなエリア別蓄積フレーム数データは、物体検知サーバ２０の内部のメモリ、または物体検知サーバ２０がアクセス可能な外部デバイスに記憶される。エリア別蓄積フレーム数データは、物体検知システムのユーザが手入力により設定してもよいし、物体検知サーバ２０等の装置が過去の点群データから分析した静止物や移動物の分布に従って自動的に設定してもよい。
　物体検知サーバ２０は、上記のようなエリア別蓄積フレーム数データに従って、監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて物体検知処理を実行する。図７のエリア別蓄積フレーム数データを用いる場合、物体検知サーバ２０は、上空エリアに対しては、４フレーム分を蓄積して重ね合わせた点群データに基づいて物体検知処理を実行し、地上エリアに対しては、１フレーム分の点群データに基づいて物体検知処理を実行することになる。
　図８には、本提案方式における処理フローの例を示してある。
　物体検知サーバ２０はまず、エリア別のフレームカウンタの初期化（０をセット）およびエリア別の蓄積点群データの初期化（クリア）を行う（ステップＳ１１）。その後、物体検知サーバ２０は、ＬｉＤＡＲ１０から１フレーム分の点群データを受信すると（ステップＳ１２）、各エリアに対して以下の処理（ステップＳ１３～Ｓ１７）を行う。
　まず、エリアｎ（ここで、１≦ｎ≦エリア数）のフレームカウンタをインクリメント（１加算）し（ステップＳ１３）、エリアｎの蓄積点群データに受信点群データの該当する部分を追加する（ステップＳ１４）。次に、エリアｎのフレームカウンタが蓄積フレーム数に到達したか否かを判定する（ステップＳ１５）。そして、エリアｎのフレームカウンタが蓄積フレーム数に到達した場合（ステップＳ１５；Ｙｅｓ）には、エリアｎの蓄積点群データに基づく物体検知処理を実行し（ステップＳ１６）、エリアｎのフレームカウンタおよび蓄積点群データをリセット（ステップＳ１７）した後に、次のエリアの処理に移る。一方、エリアｎのフレームカウンタが蓄積フレーム数に到達していない場合（ステップＳ１５；Ｙｅｓ）には、ステップ１６～ステップＳ１７の処理を行わずに、次のエリアの処理に移る。また、全てのエリアに対する処理が完了した場合には、次のフレームの点群データの受信（ステップＳ１２）まで待機する。
　ここで、図８の処理フローでは、上空エリアの物体検知処理を４フレーム毎に実行することになるが、蓄積フレーム数分の点群データを履歴として記憶しておくことで、１フレーム毎（ＬｉＤＡＲから点群データを受信する毎）に、過去４フレーム分の点群データを重ね合わせて物体検知処理を実行することも可能となる。
　以上のように、本例の物体検知システムは、監視範囲を走査して点群データを取得するＬｉＤＡＲ１０と、ＬｉＤＡＲ１０により取得された点群データに基づいて物体検知処理を実行する物体検知サーバ２０とを備えており、物体検知サーバ２０は、監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて物体検知処理を実行する。
　これにより、例えば、上空エリアに対しては、４フレーム分を蓄積して重ね合わせた点群データに基づいて物体検知処理を実行することができ、地上エリアに対しては、１フレーム分の点群データに基づいて物体検知処理を実行することができる。その結果、上空エリアにおいて、電柱や電線に引っかかった飛来物などの検知を精度よく行えると共に、地上エリアにおいて、通行する人や車両の検知を精度よく行える。このように、静止物と移動物の両方を好適に検知することが可能となる。しかも、ハードウェアではなくソフトウェアの工夫によって実現できるので、システム全体にかかる費用を抑えつつ、より高度な検知が可能となる。
　ここで、上記の説明では、静止物の検知を主目的とした上空エリアの蓄積フレーム数を４とし、移動物の検知を主目的とした地上エリアの蓄積フレーム数を１としたが、これは例示に過ぎない。例えば、エリア別の蓄積フレーム数として、各エリアでの検知目標となる物体の想定速度に応じた値を設定してもよい。一例として、動きが遅い移動物の検知を主目的としたエリアの蓄積フレーム数を２とし、動きが速い移動物の検知を主目的としたエリアの蓄積フレーム数を１としてもよい。
　例えば、エリア別の蓄積フレーム数として、各エリアでの検知目標となる物体の存在が想定される時間帯と他の時間帯とで時間帯に応じて異なる値を設定してもよい。一例として、各エリアにおいて、人の通行が想定される時間帯は蓄積フレーム数を少なくし、人の通行が想定されない時間帯は蓄積フレーム数を多くしてもよい。
　例えば、エリア別の蓄積フレーム数として、ＬｉＤＡＲのサンプリング周期に応じた値を設定してもよい。一例として、ＬｉＤＡＲのサンプリング周期が短い場合は蓄積フレーム数を多くし、サンプリング周期が長い場合は蓄積フレーム数を少なくしてもよい。
　例えば、エリア別の蓄積フレーム数として、各エリアでの検知の緊急度（直ちに検知する必要性の程度）に応じた値を設定してもよい。一例として、検知の緊急度が低いエリアである場合には蓄積フレーム数を多くし、検知の緊急度が高いエリアである場合には蓄積フレーム数を少なくしてもよい。
　また、上記の説明では、監視範囲を２つのエリアに区分したが、３つ以上のエリアに区分してもよい。例えば、駅の構内を監視する場合に、上空エリアと、乗客歩行エリア（プラットホーム部分）と、車両走行エリア（線路部分）とに区分し、各エリアに対して異なる蓄積フレーム数を設定してもよい。
　なお、上述した物体検知システムの変形例として、物体検知サーバ２０は、物体検知処理によって物体が検知されたエリアに対し、該エリアに対する設定より多い蓄積フレーム数分を蓄積した点群データに基づいて、物体検知処理を実行し直すようにしてもよい。例えば、地上エリアに対して１フレーム分の点群データに基づいて物体検知処理を実行して物体が検知された場合に、地上エリアに対して４フレーム分の点群データに基づいて物体検知処理を実行し直す。これにより、物体の検知精度を更に高めることが可能となる。
　以上、本発明の実施形態について説明したが、これら実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、その他の様々な実施形態をとることが可能であると共に、本発明の要旨を逸脱しない範囲で、省略や置換等の種々の変形を行うことができる。これら実施形態及びその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　また、本発明は、上記の説明で挙げたような装置や、これら装置で構成されたシステムとして提供することが可能なだけでなく、これら装置により実行される方法、これら装置の機能をプロセッサにより実現させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。
　本発明は、監視範囲を走査して取得される点群データに基づく物体検知システムに利用することが可能である。
　１０：ＬｉＤＡＲ、　２０：物体検知サーバ、　３０：物体

 

Claims (6)

  1. 　監視範囲を走査して点群データを取得する点群データ取得装置と、
    　前記点群データ取得装置により取得された点群データに基づいて物体検知処理を実行する物体検知装置とを備えた物体検知システムにおいて、
    　前記物体検知装置は、前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて前記物体検知処理を実行することを特徴とする物体検知システム。
  2. 　請求項１に記載の物体検知システムにおいて、
    　前記エリア別の蓄積フレーム数は、各エリアでの検知目標となる物体の想定速度に応じた値が設定されることを特徴とする物体検知システム。
  3. 　請求項１に記載の物体検知システムにおいて、
    　前記エリア別の蓄積フレーム数は、各エリアでの検知目標となる物体の存在が想定される時間帯と他の時間帯とで異なる値が設定されることを特徴とする物体検知システム。
  4. 　請求項１に記載の物体検知システムにおいて、
    　前記物体検知装置は、前記物体検知処理によって物体が検知されたエリアに対し、該エリアに対する設定より多い蓄積フレーム数分を蓄積した点群データに基づいて、前記物体検知処理を実行し直すことを特徴とする物体検知システム。
  5. 　監視範囲を走査して取得される点群データに基づいて物体検知処理を実行する物体検知装置において、
    　前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて前記物体検知処理を実行することを特徴とする物体検知装置。
  6. 　監視範囲を走査して取得される点群データに基づく物体検知方法において、
    　物体検知装置が、前記監視範囲を区分したエリア別の蓄積フレーム数の設定に従って、前記監視範囲内の各エリアの点群データを該エリアに設定された蓄積フレーム数分ずつ蓄積し、蓄積された点群データに基づいて物体検知処理を実行することを特徴とする物体検知方法。

     
PCT/JP2024/009242 2023-07-26 2024-03-11 物体検知システム、物体検知装置、および物体検知方法 Pending WO2025022706A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
GB2518542.2A GB2644516A (en) 2023-07-26 2024-03-11 Object detection system, object detection device, and object detection method
JP2025535560A JPWO2025022706A1 (ja) 2023-07-26 2024-03-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023121949 2023-07-26
JP2023-121949 2023-07-26

Publications (1)

Publication Number Publication Date
WO2025022706A1 true WO2025022706A1 (ja) 2025-01-30

Family

ID=94374640

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009242 Pending WO2025022706A1 (ja) 2023-07-26 2024-03-11 物体検知システム、物体検知装置、および物体検知方法

Country Status (3)

Country Link
JP (1) JPWO2025022706A1 (ja)
GB (1) GB2644516A (ja)
WO (1) WO2025022706A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
JP2021196195A (ja) * 2020-06-10 2021-12-27 パナソニックＩｐマネジメント株式会社 処理装置、処理方法、プログラム、及び、レーダ装置
JP2022112828A (ja) * 2021-01-22 2022-08-03 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
US20230230368A1 (en) * 2020-05-25 2023-07-20 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361496B2 (ja) * 2019-05-24 2023-10-16 三菱電機株式会社 監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
US20230230368A1 (en) * 2020-05-25 2023-07-20 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program
JP2021196195A (ja) * 2020-06-10 2021-12-27 パナソニックＩｐマネジメント株式会社 処理装置、処理方法、プログラム、及び、レーダ装置
JP2022112828A (ja) * 2021-01-22 2022-08-03 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法

Also Published As

Publication number Publication date
JPWO2025022706A1 (ja) 2025-01-30
GB2644516A (en) 2026-04-15

Similar Documents

Publication Publication Date Title
KR102198724B1 (ko) 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
JP7345504B2 (ja) Ｌｉｄａｒデータと画像データの関連付け
Plastiras et al. Efficient convnet-based object detection for unmanned aerial vehicles by selective tile processing
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US20240221186A1 (en) Processing for machine learning based object detection using sensor data
US20200388150A1 (en) Monitoring a scene to analyze an event using a plurality of image streams
US20190087666A1 (en) Method and apparatus for identifying static obstacle
EP4303834A1 (en) Road change detection method, computing device, and storage medium
EP4414746A1 (en) Multi-object detection and tracking
CN119705368B (zh) 基于融合传感器的碰撞预警方法、设备及介质
CN114119465B (zh) 一种点云数据处理方法及装置
JP2025508060A (ja) 道路障害物の検出方法、装置、機器及び記憶媒体
US20140141823A1 (en) Communication device, comunication method and computer program product
KR102221158B1 (ko) 레이더 장치와 영상 처리를 이용하여 차종, 속도, 통행량을 검지하는 장치 및 방법
CN112487894A (zh) 基于人工智能的轨道交通保护区自动巡查方法及装置
CN115661394A (zh) 车道线地图的构建方法、计算机设备及存储介质
Ng et al. Low latency deep learning based parking occupancy detection by exploiting structural similarity
JP7294323B2 (ja) 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
CN119156548A (zh) 一种点云评估方法及装置
CN114169355A (zh) 信息采集方法、装置、毫米波雷达、设备和存储介质
WO2023273467A1 (zh) 真值数据确定、神经网络训练、行驶控制方法及装置
CN119380309B (zh) 路网生成方法、智能设备及计算可读存储介质
JP2019106166A (ja) 情報処理方法、情報処理装置およびプログラム
CN117523914A (zh) 碰撞预警方法、装置、设备、可读存储介质及程序产品
CN113902043A (zh) 目标识别方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24845091

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025535560

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025535560

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 202518542

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20240311

WWE Wipo information: entry into national phase

Ref document number: 2518542.2

Country of ref document: GB

NENP Non-entry into the national phase

Ref country code: DE