JP6919410B2 - Object detector - Google Patents
Object detector Download PDFInfo
- Publication number
- JP6919410B2 JP6919410B2 JP2017158645A JP2017158645A JP6919410B2 JP 6919410 B2 JP6919410 B2 JP 6919410B2 JP 2017158645 A JP2017158645 A JP 2017158645A JP 2017158645 A JP2017158645 A JP 2017158645A JP 6919410 B2 JP6919410 B2 JP 6919410B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- determination unit
- unit
- radar
- determination means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、物体検出装置に関するものである。 The present invention relates to an object detection device.
踏切や自動運転車両等には、レーダやカメラ等により取得された情報から障害物を検出する物体検出装置が設けられている。例えば、特許文献1には、2つの撮像装置により撮像された画像データを合成することにより、移動体(障害物)を判定する画像処理装置が開示されている。 Railroad crossings, autonomous vehicles, and the like are provided with an object detection device that detects obstacles from information acquired by radar, cameras, and the like. For example, Patent Document 1 discloses an image processing device that determines a moving object (obstacle) by synthesizing image data captured by two imaging devices.
上述のような物体検出装置は、移動する物体を機械的に物体として検知し、車両を停止させる信号を発する。このため、例えば落ち葉や鳥、小動物等を物体として過検知してしまい、車両を停止させてしまう場合がある。このような過検知が頻発すると、車両の円滑な運行を行うことが難しい。 The object detection device as described above mechanically detects a moving object as an object and emits a signal to stop the vehicle. Therefore, for example, fallen leaves, birds, small animals, etc. may be over-detected as objects and the vehicle may be stopped. If such over-detection occurs frequently, it is difficult to operate the vehicle smoothly.
本発明は、上述する問題点に鑑みてなされたもので、物体検出装置において、物体の過検知及び誤検知を抑制することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to suppress over-detection and false detection of an object in an object detection device.
本発明は、上記課題を解決するための第1の手段として、外部情報を取得する外部情報取得手段と、予め学習することにより得られる学習データを有すると共に上記外部情報及び上記学習データを用いるアルゴリズムに基づいて物体の有無を判定する複数の判定手段と、複数の上記判定手段の判定結果に基づいて、物体の有無を最終判定する最終判定手段とを備え、上記判定手段は、それぞれ異なる学習データまたは異なるアルゴリズムを有する、という構成を採用する。 The present invention has an external information acquisition means for acquiring external information, learning data obtained by learning in advance, and an algorithm using the external information and the learning data as a first means for solving the above problems. A plurality of determination means for determining the presence or absence of an object based on the above, and a final determination means for finally determining the presence or absence of an object based on the determination results of the plurality of determination means, each of the determination means has different learning data. Or adopt a configuration that has a different algorithm.
第2の手段として、上記第1の手段において、上記外部情報取得手段として、電波または光の送受信を行う情報取得装置と撮像装置とを有し、上記情報取得装置の情報から物体の有無を判定する情報判定手段を有し、上記最終判定手段は、複数の上記判定手段の判定結果と、上記情報判定手段の判定結果とに基づいて、物体の有無を判定する、という構成を採用する。 As the second means, in the first means, the external information acquisition means includes an information acquisition device and an imaging device for transmitting and receiving radio waves or light, and determines the presence or absence of an object from the information of the information acquisition device. The final determination means adopts a configuration in which the presence or absence of an object is determined based on the determination results of the plurality of determination means and the determination results of the information determination means.
第3の手段として、上記第2の手段において、上記最終判定手段は、上記判定手段の判定結果と上記情報判定手段の判定結果とが異なる場合に、上記情報取得装置の外部情報の取得条件を変更して上記情報取得装置に信号取得を再度行わせる、という構成を採用する。 As a third means, in the second means, when the determination result of the determination means and the determination result of the information determination means are different, the final determination means sets the acquisition condition of the external information of the information acquisition device. A configuration is adopted in which the information acquisition device is changed to acquire the signal again.
第4の手段として、上記第2または第3の手段において、上記最終判定手段は、上記判定手段の判定結果がいずれも物体無しであり、上記情報判定手段の判定結果が物体有りである場合に、物体無しと判定する、という構成を採用する。 As a fourth means, in the second or third means, when the final determination means has no object and the determination result of the information determination means has an object. , Adopt a configuration that determines that there is no object.
本発明によれば、それぞれ異なる学習データまたはそれぞれ異なるアルゴリズムに基づいて外部情報から物体の有無を判定する判定手段が複数設けられることにより、複数の判定結果を得ることができる。複数の判定結果に基づいて最終判断を行うことにより、外部情報からより正確に物体を検出することができる。したがって、物体の過検知及び誤検知を抑制することができる。 According to the present invention, a plurality of determination results can be obtained by providing a plurality of determination means for determining the presence or absence of an object from external information based on different learning data or different algorithms. By making a final judgment based on a plurality of judgment results, it is possible to detect an object more accurately from external information. Therefore, over-detection and false detection of an object can be suppressed.
以下、図面を参照して、本発明に係る障害物検出装置1(物体検出装置)の一実施形態について説明する。障害物検出装置1は、図1に示すように、レーダ部2(情報取得装置)と、カメラ部3(撮像装置)と、コンピュータ4とを備えている。
Hereinafter, an embodiment of the obstacle detection device 1 (object detection device) according to the present invention will be described with reference to the drawings. As shown in FIG. 1, the obstacle detection device 1 includes a radar unit 2 (information acquisition device), a camera unit 3 (imaging device), and a
レーダ部2は、鉄道踏切近傍の構造物の上部に設置され、ミリ波レーダの発信部と受信部とを備える装置であり、ミリ波レーダを発信すると共に反射されたミリ波レーダを受信することにより、線路上の所定領域におけるレーダ受信データを取得し、レーダ受信データをコンピュータ4へと送信する。
The
カメラ部3は、鉄道踏切近傍の構造物の上部にレーダ部2と隣接して設置され、レーダ部2のレーダ照射範囲と等しい線路上の所定領域を撮像し、撮像画像をコンピュータ4へと送信する。なお、このようなレーダ部2及びカメラ部3は、本発明の外部情報取得手段に相当する。
The camera unit 3 is installed adjacent to the
コンピュータ4は、レーダ受信データ処理部4aと、画像処理部4bと、レーダ判定部4c(情報判定手段)と、第1判定部4d(判定手段)と、第2判定部4e(判定手段)と、最終判定部4f(最終判定手段)とを有している。なお、コンピュータ4は、ICチップやメモリ等のハードウェアと、メモリ等に記憶されるソフトウェアとを備えている。レーダ受信データ処理部4aは、レーダ部2から取得したレーダ受信データを解析し、障害物の有無を判定する。画像処理部4bは、カメラ部3により撮像された画像を第1判定部4d及び第2判定部4eが判定可能となるように加工する。
The
第1判定部4dは、予め繰り返し機械学習を行うことにより蓄積されたデータ群である学習データAを有し、分類アルゴリズムに基づいて障害物の有無を判定するプログラムである。第1判定部4dは、画像処理部4bにより加工された加工画像を取得し、学習データAに基づいて加工画像内の障害物の有無を判定する。
The
第2判定部4eは、予め繰り返し機械学習を行うことにより蓄積されたデータ群である学習データBを有し、分類アルゴリズムに基づいて障害物の有無を判定するプログラムである。なお、学習データBは、学習データAとは異なるデータ群である。第2判定部4eは、画像処理部4bにより加工された加工画像を取得し、学習データBに基づいて加工画像内の障害物の有無を判定する。
The
最終判定部4fは、レーダ判定部4c、第1判定部4d及び第2判定部4eより判定結果を取得し、それらを比較する。最終判定部4fは、第1判定部4d及び第2判定部4eの判定結果が同一である場合、第1判定部4d及び第2判定部4eの判定結果を採用する。例えば、最終判定部4fは、レーダ判定部4cによる判定が「障害物有り」の場合に、第1判定部4d及び第2判定部4eの判定結果が「障害物無し」であると、最終判定として「障害物無し」と判定する。また、最終判定部4fは、第1判定部4d及び第2判定部4eの判定結果が「障害物有り」であり、レーダ判定部4cの判定結果が「障害物無し」である場合、レーダ部2の閾値を変更して再度レーダ受信データを取得する。
The final determination unit 4f acquires determination results from the radar determination unit 4c, the
このような本実施形態における障害物検出装置1におけるコンピュータ4の動作を、図2を参照して説明する。
コンピュータ4は、初めに、レーダ受信データ処理部4aにより、レーダ受信データの処理を行う(ステップS1)。ステップS1では、レーダ受信データ処理部4aは、レーダ部2からレーダ受信データを取得し、レーダ判定部4cによる判定が可能となるように所定の処理を行う。さらに、レーダ受信データ処理部4aは、レーダ部2によりレーダが発信される上記所定領域内に配置される物体の距離を計測する。
The operation of the
The
次に、コンピュータ4は、画像処理部4bにより、画像データの処理を行う(ステップS2)。ステップS2では、画像処理部4bは、カメラ部3より画像データを取得し、第1判定部4d及び第2判定部4eによる判定が可能となるように所定の処理を行う。
Next, the
そして、コンピュータ4は、レーダ判定部4cにより、障害物の有無の判定を行う(ステップS3)。ステップS3では、レーダ判定部4cは、レーダ受信データ処理部4aにより処理されたレーダ受信データを取得し、このレーダ受信データから物体の障害物の有無を判定する。
Then, the
次に、コンピュータ4は、第1判定部4dにより、障害物の有無を判定する(ステップS4)。ステップS4では、第1判定部4dは、画像処理部4bにより処理された画像データを取得し、この画像データから物体の障害物の有無を判定する。
Next, the
次に、コンピュータ4は、第2判定部4eにより、障害物の有無を判定する(ステップS5)。ステップS4では、第2判定部4eは、画像処理部4bにより処理された画像データを取得し、この画像データから物体の障害物の有無を判定する。なお、第2判定部4eは、第1判定部4dが取得する画像データと同一の画像データを画像処理部4bから取得する。
Next, the
そして、コンピュータ4は、最終判定部4fにより、障害物の有無の最終判定を行う(ステップS6)。ステップS6では、最終判定部4fは、レーダ判定部4c、第1判定部4d及び第2判定部4eから各判定結果を取得し、3つの判定結果に基づいて最終判定を行う。
Then, the
具体的には、最終判定部4fは、図3に示すように、全ての判定結果が「障害物無し」の場合には、「障害物無し」と判断する。
また、最終判定部4fは、レーダ判定部4cの判定結果が「障害物無し」であり、第1判定部4dまたは第2判定部4eの判定結果が「障害物有り」の場合、レーダ判定部4cの判定結果を優先し、「障害物無し」と判定する。
また、最終判定部4fは、レーダ判定部4cが「障害物無し」と判定し、第1判定部4d及び第2判定部4eの判定結果が「障害物有り」の場合には、レーダ部2のレーダ検知閾値や、レーダ照射範囲等(取得条件)を変更してレーダ部2に再検知(信号取得)を指示する。
また、最終判定部4fは、レーダ判定部4cの判定結果が「障害物有り」であり、第1判定部4d及び第2判定部4eの判定結果が「障害物無し」の場合には、レーダ判定部4cの判定結果を誤判定として処理し、「障害物無し」と判定する。
また、最終判定部4fは、レーダ判定部4cの判定結果が「障害物有り」であり、第1判定部4dまたは第2判定部4eの判定結果が「障害物有り」の場合、レーダ判定部4cの判定結果を優先し、「障害物有り」と判定する。
また、最終判定部4fは、全ての判定結果が「障害物有り」の場合には、「障害物有り」と判断する。
Specifically, as shown in FIG. 3, the final determination unit 4f determines that there are no obstacles when all the determination results are "no obstacles".
Further, in the final determination unit 4f, when the determination result of the radar determination unit 4c is "no obstacle" and the determination result of the
Further, in the final determination unit 4f, when the radar determination unit 4c determines that there is no obstacle and the determination results of the
Further, in the final determination unit 4f, when the determination result of the radar determination unit 4c is "with obstacles" and the determination results of the
Further, in the final determination unit 4f, when the determination result of the radar determination unit 4c is "with obstacles" and the determination result of the
Further, the final determination unit 4f determines that "there is an obstacle" when all the determination results are "there is an obstacle".
このような本実施形態における障害物検出装置1によれば、第1判定部4d及び第2判定部4eの2つの機械学習プログラムにより、障害物の有無の判定を行い、第1判定部4d及び第2判定部4eが共に「障害物有り」と判定した場合に、障害物が有りと最終判定を行う。これにより、障害物検出装置1は、正確に障害物の有無を判定することができ、誤検知または過検知を抑制することができる。
According to the obstacle detection device 1 in the present embodiment, the presence or absence of an obstacle is determined by the two machine learning programs of the
また、本実施形態によれば、最終判定部4fは、レーダ判定部4c、第1判定部4d及び第2判定部4eの判定結果に基づいて障害物の有無を判定する。これにより、レーダ部2及びカメラ部3からの外部情報に基づいて障害物の有無を判定することができ、より正確に障害物の有無の判定を行うことができる。
Further, according to the present embodiment, the final determination unit 4f determines the presence or absence of an obstacle based on the determination results of the radar determination unit 4c, the
また、本実施形態によれば、最終判定部4fは、第1判定部4d及び第2判定部4eの判定結果が「障害物有り」であり、レーダ判定部4cの判定結果が「障害物無し」の場合に、レーダ部2の取得条件を変更してレーダ部2に再度検知処理を行わせる。これにより、従来においてはレーダ部2によって検知洩れしていた可能性のある障害物を検知することができる。
Further, according to the present embodiment, in the final determination unit 4f, the determination results of the
また、本実施形態によれば、最終判定部4fは、第1判定部4d及び第2判定部4eの判定結果が双方共に「障害物無し」であり、レーダ判定部4cの判定結果が「障害物有り」の場合には、「障害物無し」と判定する。これにより、レーダ部2による過検知を防止することができる。
Further, according to the present embodiment, in the final determination unit 4f, the determination results of the
以上、図面を参照しながら本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。上述した実施形態において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の趣旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。 Although the preferred embodiment of the present invention has been described above with reference to the drawings, the present invention is not limited to the above embodiment. The various shapes and combinations of the constituent members shown in the above-described embodiment are examples, and can be variously changed based on design requirements and the like without departing from the spirit of the present invention.
上記実施形態によれば、障害物検出装置1は、踏切装置に設けられ、踏切上の障害物を検出する装置としたが、本発明はこれに限定されない。障害物検出装置1は、例えば自動運転車両に設けられ、自動運転車両の周囲の障害物を検出するものとしてもよい。また、障害物検出装置1は、自動車道路上に設けられ、自動車を検出することで、自動車の渋滞情報を取得するものとしてもよい。 According to the above embodiment, the obstacle detection device 1 is provided in the railroad crossing device and is a device for detecting an obstacle on the railroad crossing, but the present invention is not limited thereto. The obstacle detection device 1 may be provided in, for example, an autonomous driving vehicle and may detect obstacles around the autonomous driving vehicle. Further, the obstacle detection device 1 may be provided on an automobile road and may acquire traffic congestion information of the automobile by detecting the automobile.
また、上記実施形態によれば、障害物検出装置1は、レーダ部2及びカメラ部3からの入力に基づいて障害物の検出を行うものとしたが、本発明はこれに限定されない。第1判定部4d及び第2判定部4eは、レーダ部2から取得したレーダ受信データに基づいて判定処理を行うものとしてもよい。
Further, according to the above embodiment, the obstacle detection device 1 detects obstacles based on the inputs from the
また、障害物検出装置1が有するカメラ部3は、可視光を撮像する撮像装置に限定されるものではなく、例えば、赤外線カメラ等としても良い。 Further, the camera unit 3 included in the obstacle detection device 1 is not limited to the image pickup device that captures visible light, and may be, for example, an infrared camera or the like.
また、障害物検出装置1は、学習データA及び学習データBと異なる学習データに基づく第3判定部をさらに有するものとしてもよい。この場合、最終判定部4fは、レーダ判定部4c、第1判定部4d、第2判定部4e及び第3判定部の判定結果に基づいて最終判定を行うため、より判定の精度を向上させることができる。
Further, the obstacle detection device 1 may further have a third determination unit based on learning data different from the learning data A and the learning data B. In this case, since the final determination unit 4f makes the final determination based on the determination results of the radar determination unit 4c, the
また、上記実施形態においては、第1判定部4dと第2判定部4eとは学習データが異なるものとしたが、本発明はこれに限定されない。第1判定部4dと第2判定部4eとは、異なるアルゴリズムで機械学習を行うシステムとしても良い。
Further, in the above embodiment, the learning data is different between the
また、上記実施形態においては、レーダ部2により、電波を送受信することにより、外部情報を取得するものとしたが、本発明はこれに限定されない。障害物検出装置1は、レーダ部2の代わりに、外部情報取得手段として、レーザ光を送受信することにより外部の情報を取得するLIDAR(Laser Imaging Detection and Ranging)を備えるものとしてもよい。この場合、コンピュータ4は、レーダ判定部4cの代わりに、レーザ情報判定部を備える。
Further, in the above embodiment, external information is acquired by transmitting and receiving radio waves by the
1 障害物検出装置
2 レーダ部
3 カメラ部
4 コンピュータ
4a レーダ受信データ処理部
4b 画像処理部
4c レーダ判定部
4d 第1判定部
4e 第2判定部
4f 最終判定部
1
Claims (3)
撮像装置と、
前記情報取得装置の情報から物体の有無を判定する情報判定手段と、
予め学習することにより得られる学習データを有すると共に前記外部情報及び前記学習データを用いるアルゴリズムに基づいて物体の有無を判定する複数の判定手段と、
複数の前記判定手段の判定結果に基づいて、物体の有無を最終判定する最終判定手段とを備え、
前記判定手段は、それぞれ異なる学習データまたは異なるアルゴリズムを有し、
前記最終判定手段は、複数の前記判定手段の判定結果と、前記情報判定手段の判定結果とに基づいて、物体の有無を判定することを特徴とする物体検出装置。 An information acquisition device that sends and receives radio waves or light,
Imaging device and
An information determination means for determining the presence or absence of an object from the information of the information acquisition device,
A plurality of determination means having learning data obtained by learning in advance and determining the presence or absence of an object based on the external information and an algorithm using the learning data.
A final determination means for finally determining the presence or absence of an object based on the determination results of the plurality of determination means is provided.
Said determining means, have a different training data, or different algorithms respectively,
The final determination means is an object detection device that determines the presence or absence of an object based on the determination results of the plurality of determination means and the determination results of the information determination means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017158645A JP6919410B2 (en) | 2017-08-21 | 2017-08-21 | Object detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017158645A JP6919410B2 (en) | 2017-08-21 | 2017-08-21 | Object detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019036240A JP2019036240A (en) | 2019-03-07 |
JP6919410B2 true JP6919410B2 (en) | 2021-08-18 |
Family
ID=65655659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017158645A Active JP6919410B2 (en) | 2017-08-21 | 2017-08-21 | Object detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6919410B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008021034A (en) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
JP2011113360A (en) * | 2009-11-27 | 2011-06-09 | Toyota Motor Corp | Object identification apparatus |
JP6325987B2 (en) * | 2015-01-16 | 2018-05-16 | 公益財団法人鉄道総合技術研究所 | Railroad crossing obstacle detection device |
-
2017
- 2017-08-21 JP JP2017158645A patent/JP6919410B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019036240A (en) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6888950B2 (en) | Image processing device, external world recognition device | |
US20170297488A1 (en) | Surround view camera system for object detection and tracking | |
JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
CN109871787B (en) | Obstacle detection method and device | |
JP5894201B2 (en) | Boundary line recognition device | |
JP2007255977A (en) | Object detection method and object detector | |
JP2007255979A (en) | Object detection method and object detector | |
US10748014B2 (en) | Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium | |
US20200200545A1 (en) | Method and System for Determining Landmarks in an Environment of a Vehicle | |
CN111932901A (en) | Road vehicle tracking detection apparatus, method and storage medium | |
US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
JP6557923B2 (en) | On-vehicle radar device and area detection method | |
KR101767237B1 (en) | Apparatus and method for detecting object | |
JP2007280132A (en) | Travel guide obstacle detector, and controller for vehicle | |
KR20200056068A (en) | System for tracking an object in unmanned aerial vehicle based on mvs | |
Amin et al. | Quality of obstacle distance measurement using ultrasonic sensor and precision of two computer vision-based obstacle detection approaches | |
JP4074577B2 (en) | Vehicle detection method and vehicle detection device | |
WO2017208601A1 (en) | Image processing device and external recognition device | |
CN110537206B (en) | Railway track recognition device, program, and railway track recognition method | |
JP6919410B2 (en) | Object detector | |
US20220163671A1 (en) | Surveillance system, information processing device, fall detection method, and non-transitory computer readable medium | |
JP2007310591A (en) | Image processor and parking space determination method | |
JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
KR101576273B1 (en) | System for recognizing multiplex hybrid object car number | |
US20230009925A1 (en) | Object detection method and object detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6919410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |