JP6789341B2 - Target recognition system, target recognition method, and program - Google Patents
Target recognition system, target recognition method, and program Download PDFInfo
- Publication number
- JP6789341B2 JP6789341B2 JP2019070177A JP2019070177A JP6789341B2 JP 6789341 B2 JP6789341 B2 JP 6789341B2 JP 2019070177 A JP2019070177 A JP 2019070177A JP 2019070177 A JP2019070177 A JP 2019070177A JP 6789341 B2 JP6789341 B2 JP 6789341B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- recognition
- recognition device
- unit
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims description 84
- 238000009795 derivation Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 description 40
- 238000007499 fusion processing Methods 0.000 description 22
- 238000012937 correction Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、物標認識システム、物標認識方法、およびプログラムに関する。 The present invention relates to a target recognition system, a target recognition method, and a program.
従来、自車両の前方に存在する物体を認識する技術が知られている(例えば、特許文献1参照)。 Conventionally, a technique for recognizing an object existing in front of the own vehicle is known (see, for example, Patent Document 1).
しかしながら、従来の技術では、物体を誤って認識することについて十分に検討されていなかった。その結果、物体を精度良く認識できない場合があった。 However, in the prior art, erroneous recognition of an object has not been sufficiently examined. As a result, the object may not be recognized accurately.
本発明は、このような事情を考慮してなされたものであり、処理速度を向上させつつ、物標の認識精度を向上させることができる物標認識システム、物標認識方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and provides a target recognition system, a target recognition method, and a program capable of improving the target recognition accuracy while improving the processing speed. One of the purposes is to do.
(1):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置と、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、前記対応付処理部により対応付けられた物標の将来の位置を予測する予測部と、前記予測部による予測結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定する判定部と、を備え、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力し、前記判定部は、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測部による予測結果と一致するか否かを判定し、前記一方の認識結果が前記予測結果と一致しない場合、認識結果が前記予測結果と一致しない方の認識装置が前記所定状態であると判定する物標認識システムである。 (1): A first recognition device that recognizes the periphery, a second recognition device that recognizes a periphery different from the first recognition device, a target recognized by the first recognition device, and the second recognition device. When the targets recognized by the above are the same target, the corresponding processing unit that associates the targets determined to be the same target with each other and the target associated by the corresponding processing unit. The first recognition device or the second recognition device is based on the prediction unit that predicts the future position of the device, the prediction result by the prediction unit, and the recognition results by the first recognition device and the second recognition device. The first recognition device includes a camera and an image recognition unit, and a determination unit for determining whether or not the state is a predetermined state that should not be used for target recognition due to axis misalignment, and is reflected by the target. The position of the target determined to be the same among the targets recognized by the camera and the image recognition unit and the radar, including the radar that recognizes the target based on the electromagnetic wave, is determined. The second recognition device that outputs to the corresponding processing unit includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target. The positions of the targets determined to be the same among the targets recognized by the camera and the image recognition unit and the rider are output to the corresponding processing unit, and the determination unit outputs the positions of the targets to the corresponding processing unit. When the recognition results by the first recognition device and the second recognition device are different, whether or not the recognition result of either the first recognition device or the second recognition device matches the prediction result by the prediction unit. Is a target recognition system that determines that the recognition device whose recognition result does not match the prediction result is in the predetermined state when one of the recognition results does not match the prediction result .
(2):(1)に記載の物標認識システムにおいて、第1タイミングにおける前記予測部の予測結果と、前記第1タイミングよりも後の第2タイミングにおける前記第1認識装置および前記第2認識装置の認識結果とに基づいて、前記第2タイミングで認識された物標の位置を導出する導出部と、前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、前記予測部が、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第2タイミングで認識された物標の将来の位置を予測するものである。 ( 2 ): In the target recognition system according to (1 ), the prediction result of the prediction unit at the first timing, the first recognition device and the second recognition at the second timing after the first timing. A derivation unit that derives the position of the target recognized at the second timing based on the recognition result of the device, and a storage unit that stores the derivation result by the derivation unit according to the determination result by the determination unit. An information management unit is further provided, and the prediction unit predicts the future position of the target recognized at the second timing based on the information stored in the storage unit by the information management unit. is there.
(3):(1)または(2)に記載の物標認識システムにおいて、前記予測部は、前記判定部により、前記第1認識装置または前記第2認識装置が前記所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の位置に基づいて物標の将来の位置を予測するものである。 (3) :( 1) or in the target object recognition system according to (2), the prediction unit, by the determination unit, the first recognition device and the second recognition device is determined to the a predetermined state In this case, the future position of the target is predicted based on the position of the target recognized by the recognition device that is not in the predetermined state.
(4):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置と、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、前記対応付処理部により対応付けられた物標の将来の速度を予測する予測部と、前記予測部による予測結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定する判定部と、を備え、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力し、前記判定部は、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測部による予測結果と一致するか否かを判定し、前記一方の認識結果が前記予測結果と一致しない場合、認識結果が前記予測結果と一致しない方の認識装置が前記所定状態であると判定する物標認識システムである。 ( 4 ): A first recognition device that recognizes the periphery, a second recognition device that recognizes a periphery different from the first recognition device, a target recognized by the first recognition device, and the second recognition device. When the targets recognized by the above are the same target, the corresponding processing unit that associates the targets determined to be the same target with each other and the target associated by the corresponding processing unit. The first recognition device or the second recognition device is based on the prediction unit that predicts the future speed of the device, the prediction result by the prediction unit, and the recognition results by the first recognition device and the second recognition device. The first recognition device includes a camera and an image recognition unit, and a determination unit for determining whether or not the state is a predetermined state that should not be used for target recognition due to axis misalignment, and is reflected by the target. The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar, including the radar that recognizes the target based on the electromagnetic wave, is determined. The second recognition device that outputs to the corresponding processing unit includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target. The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the rider is output to the corresponding processing unit, and the determination unit outputs the speed of the target to the corresponding processing unit. When the recognition results by the first recognition device and the second recognition device are different, whether or not the recognition result of either the first recognition device or the second recognition device matches the prediction result by the prediction unit. Is a target recognition system that determines that the recognition device whose recognition result does not match the prediction result is in the predetermined state when one of the recognition results does not match the prediction result .
(5):(4)に記載の物標認識システムにおいて、第1タイミングにおける前記予測部の予測結果と、前記第1タイミングよりも後の第2タイミングにおける前記第1認識装置および前記第2認識装置の認識結果とに基づいて、前記第2タイミングで認識された物標の速度を導出する導出部と、前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、前記予測部が、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第2タイミングで認識された物標の将来の速度を予測するものである。 ( 5 ): In the target recognition system according to ( 4), the prediction result of the prediction unit at the first timing, the first recognition device and the second recognition at the second timing after the first timing. Based on the recognition result of the device, the derivation unit that derives the speed of the target recognized at the second timing and the derivation result by the derivation unit are stored in the storage unit according to the determination result by the determination unit. An information management unit is further provided, and the prediction unit predicts the future speed of the target recognized at the second timing based on the information stored in the storage unit by the information management unit. is there.
(6):(4)または(5)に記載の物標認識システムにおいて、前記判定部により、前記第1認識装置または前記第2認識装置が前記所定状態であると判定された場合、前記所定状態でない認識装置により認識された物標の速度に基づいて物標の将来の速度を予測するものである。 In target object recognition system according to (6): 4) or (5), by the determination unit, when the first recognition device and the second recognition device is determined to the a predetermined condition, the predetermined The future velocity of the target is predicted based on the speed of the target recognized by the non-state recognition device.
(7):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置とを備える車両に搭載された車載コンピュータが、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、前記対応付けた物標の将来の位置を予測し、前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定し、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、前記車載コンピュータが、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定し、前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定する物標認識方法である。 ( 7 ): An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device is recognized by the first recognition device. When the target and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other, and the associated target is associated with each other. The state of the first recognition device or the second recognition device is displaced by an axis deviation based on the prediction result and the recognition result by the first recognition device and the second recognition device . The first recognition device determines whether or not it is in a predetermined state that should not be used for target recognition, and the first recognition device includes a camera, an image recognition unit, and a radar that recognizes the target based on electromagnetic waves reflected by the target. The position of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar is output to the in-vehicle computer, and the second recognition is performed. The device includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target, and the camera and the image recognition unit and the rider, respectively. The position of the target determined to be the same target among the targets recognized by is output to the in-vehicle computer, and the in-vehicle computer outputs the recognition result by the first recognition device and the second recognition device. If they are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result, and the recognition result of the one does not match the predicted result. In this case, it is a target recognition method for determining that the recognition device whose recognition result does not match the predicted result is in the predetermined state .
(8):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置とを備える車両に搭載された車載コンピュータが、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、前記対応付けた物標の将来の速度を予測し、前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定し、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、前記車載コンピュータが、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定し、前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定する物標認識方法である。 ( 8 ): An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device is recognized by the first recognition device. When the target and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other, and the associated target is associated with each other. Based on the prediction result and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device is displaced by the axis deviation. The first recognition device determines whether or not it is in a predetermined state that should not be used for target recognition, and the first recognition device includes a camera, an image recognition unit, and a radar that recognizes the target based on electromagnetic waves reflected by the target. The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar is output to the in-vehicle computer, and the second recognition is performed. The device includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target, and the camera and the image recognition unit and the rider, respectively. The speed of the target determined to be the same target among the targets recognized by the above is output to the in-vehicle computer, and the in-vehicle computer obtains the recognition result by the first recognition device and the second recognition device. If they are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result, and the recognition result of the one does not match the predicted result. In this case, it is a target recognition method for determining that the recognition device whose recognition result does not match the predicted result is in the predetermined state .
(9):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置とを備える車両に搭載された車載コンピュータに、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、前記対応付けさせた物標の将来の位置を予測させ、前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定させ、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、前記車載コンピュータに、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定させ、前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定させるプログラムである。 ( 9 ): The first recognition device recognizes by an in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device. When the target and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other and associated with each other. The future position of the target is predicted, and the state of the first recognition device or the second recognition device is determined based on the result of the prediction and the recognition result by the first recognition device and the second recognition device. It is made to determine whether or not it is a predetermined state that should not be used for target recognition due to the axis deviation, and the first recognition device determines the target based on the camera, the image recognition unit, and the electromagnetic wave reflected by the target. The position of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar, including the recognition radar, is output to the in-vehicle computer. The second recognition device includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target, and includes the camera and the image recognition unit and the above. The positions of the targets determined to be the same among the targets recognized by the rider are output to the in-vehicle computer, and the first recognition device and the second recognition device are output to the in-vehicle computer. When the recognition results are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result, and the recognition result of the one is predicted. If the result does not match, the recognition device whose recognition result does not match the predicted result is a program for determining that the predetermined state is in effect .
(10):周辺を認識する第1認識装置と、前記第1認識装置とは異なる周辺を認識する第2認識装置とを備える車両に搭載された車載コンピュータに、前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、前記対応付けさせた物標の将来の速度を予測させ、前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定させ、前記第1認識装置は、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、前記第2認識装置は、カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、前記車載コンピュータに、前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定させ、前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定させるプログラムである。 ( 10 ): The first recognition device recognizes by an in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device. When the target and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other and associated with each other. The future speed of the target is predicted, and the state of the first recognition device or the second recognition device is determined based on the prediction result and the recognition result by the first recognition device and the second recognition device. It is made to determine whether or not it is a predetermined state that should not be used for target recognition due to the axis deviation, and the first recognition device determines the target based on the camera, the image recognition unit, and the electromagnetic wave reflected by the target. The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar, including the recognition radar, is output to the in-vehicle computer. The second recognition device includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target by the target, and includes the camera and the image recognition unit and the above. The speeds of the targets determined to be the same among the targets recognized by the rider are output to the in-vehicle computer, and the first recognition device and the second recognition device are output to the in-vehicle computer. When the recognition results are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result, and the recognition result of the one is predicted. If the result does not match, the recognition device whose recognition result does not match the predicted result is a program for determining that the predetermined state is in effect .
上記(1)、(4)、(7)−(10)によれば、認識された物標の将来の位置または速度を予測し、その予測結果と現時点での認識結果とに基づいて、各認識装置が所定状態であるか否かを判定することにより、処理速度を向上させつつ、物標の認識精度を向上させることができる。 According to the above (1), (4), (7)-(10) , the future position or velocity of the recognized target is predicted, and each is based on the prediction result and the current recognition result. By determining whether or not the recognition device is in a predetermined state, it is possible to improve the recognition accuracy of the target while improving the processing speed.
上記(2)、(5)によれば、物標の速度または位置を導出する導出部と、導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、予測部が、情報管理部が記憶部に記憶させた情報に基づいて物標の将来の位置または速度を予測するため、同一の物標であると物標を対応付ける作業と、過去から継続して認識した物標か、新規生成であるかを区別する作業を分けることで処理速度を低減させることができる。 According to the above ( 2 ) and ( 5 ), a derivation unit for deriving the velocity or position of the target and an information management unit for storing the derivation result by the derivation unit in the storage unit are further provided, and the prediction unit provides information. In order to predict the future position or speed of the target based on the information stored in the storage unit by the management department, the work of associating the target with the same target and the target continuously recognized from the past , The processing speed can be reduced by separating the work of distinguishing whether it is a new generation.
上記(3)、(6)によれば、第1認識装置または第2認識装置が所定状態であると判定された場合、所定状態でない認識装置の認識結果に基づいて物標の位置または速度を認識するため、天地方向にずれている場合には取付の軸ずれであるとして、軸を正しい値に補正してフュージョンすることで異常の以後も利用可能となる。 According to the above ( 3 ) and ( 6 ), when it is determined that the first recognition device or the second recognition device is in a predetermined state, the position or speed of the target is determined based on the recognition result of the recognition device that is not in the predetermined state. In order to recognize it, if it is deviated in the vertical direction, it is considered that the axis is deviated from the mounting, and by correcting the axis to the correct value and fusing it, it can be used even after the abnormality.
上記(1)、(4)によれば、第1認識装置が、カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、カメラおよび画像認識部と、レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置または速度を対応付処理部に出力するため、内部で対応して有る程度精度のある情報で相互監視するので物標の認識精度を向上させることができる。 According to the above ( 1 ) and ( 4 ), the first recognition device includes a camera and an image recognition unit, and a radar that recognizes a target based on an electromagnetic wave reflected by the target, and includes a camera and an image recognition unit. And, among the targets recognized by the radar, the position or speed of the target determined to be the same target is output to the corresponding processing unit, so the information is internally supported and has a certain degree of accuracy. Since mutual monitoring is performed with, the recognition accuracy of the target can be improved.
上記(1)、(4)によれば、第2認識装置が、カメラおよび画像認識部と、物標に投射した光の物標による反射波に基づいて物標を認識するライダとを含み、カメラおよび画像認識部と、ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置または速度を対応付処理部に出力するため、内部で対応して有る程度精度のある情報で相互監視するので物標の認識精度を向上させることができる。
According to the above ( 1 ) and ( 4 ), the second recognition device includes a camera and an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target. Since the position or speed of the target determined to be the same target among the targets recognized by the camera, the image recognition unit, and the rider is output to the corresponding processing unit, it is internally supported. Since mutual monitoring is performed with information with a certain degree of accuracy, the recognition accuracy of the target can be improved.
以下、図面を参照し、本発明の物標認識システム、物標認識方法、およびプログラムの実施形態について説明する。 Hereinafter, the target recognition system, the target recognition method, and the embodiment of the program of the present invention will be described with reference to the drawings.
<第1実施形態>
[システム構成]
図1は、第1実施形態の物標認識システム1の構成図である。第1実施形態の物標認識システム1は、例えば、二輪や三輪、四輪等の車両(以下、自車両Mと称する)に搭載される。自車両Mは、例えば、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらを組み合わせた駆動源により駆動される。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
<First Embodiment>
[System configuration]
FIG. 1 is a configuration diagram of the target recognition system 1 of the first embodiment. The target recognition system 1 of the first embodiment is mounted on, for example, a vehicle such as two wheels, three wheels, or four wheels (hereinafter, referred to as own vehicle M). The own vehicle M is driven by, for example, an internal combustion engine such as a diesel engine or a gasoline engine, an electric motor, or a drive source combining these. The electric motor operates by using the power generated by the generator connected to the internal combustion engine or the discharge power of the secondary battery or the fuel cell.
物標認識システム1は、例えば、第1認識装置10と、第2認識装置20と、車両センサ30と、補正部40と、第1処理部50と、新規物標生成部60と、第2処理部70と、物標情報管理部80と、時系列座標変換部90と、記憶部95と、第1分配器D1と、第2分配器D2と、第1バッファB1と、第2バッファB2とを備える。なお、物標認識システム1は、第1認識装置10、第2認識装置20、および車両センサ30を含まない構成であってもよい。第1処理部50は、「対応付処理部」の一例である。
The target recognition system 1 includes, for example, a
第1認識装置10、第2認識装置20、車両センサ30、および記憶部95を除く上記の機能部は、例えば、CPU(Central Processing Unit)などのプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、これらの機能部の一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
The above-mentioned functional units excluding the
記憶部95は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の記憶装置により実現される。記憶部95には、例えば、プロセッサにより実行されるプログラムが格納される。
The
物標認識システム1に含まれる各種装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、プログラムによる機能部同士の情報伝達は、メモリの共有領域やレジスタに情報を書き込むことで行われる。 Various devices and devices included in the target recognition system 1 are connected to each other by a multiplex communication line such as a CAN (Controller Area Network) communication line, a serial communication line, a wireless communication network, or the like. Information transmission between functional units by a program is performed by writing information to a shared area or a register of a memory.
第1認識装置10は、例えば、第1カメラ12と、レーダ14と、第1フュージョン処理部16とを備える。第1カメラ12は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。第1カメラ12は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、第1カメラ12は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。第1カメラ12は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。第1カメラ12は、ステレオカメラであってもよい。
The
レーダ14は、自車両Mの周辺にミリ波などの電波を放射すると共に、物標によって反射された電波(反射波)を検出して少なくとも物標の位置(距離および方位)を認識する。レーダ14は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ14は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を認識してもよいし、認識した物標の位置の時間的変化に基づいて速度を認識してもよい。
The
第1フュージョン処理部16は、画像認識部16aを含む。なお、画像認識部16aは、第1カメラ12に付随する構成であってもよい。画像認識部16aは、第1カメラ12の撮像画像を解析して物標の位置および速度を認識する。第1フュージョン処理部16は、例えば、第1カメラ12および物標認識部16Aと、レーダ14とのそれぞれによる認識結果に対してセンサフュージョン処理を行って、物標の位置、速度、種類(例えば車両や歩行者、ガードレールといった種類)、遅延量などを導出する。物標の位置は、例えば、自車両Mが存在する実空間(幅・奥行き・高さを基底とする空間)に対応した空間(以下、仮想三次元空間と称する)における座標などで表現される。
The first
また、第1フュージョン処理部16は、位置や速度などの導出対象とした各物標に、物標同士を互いに識別するための物標IDを付与する。そして、第1フュージョン処理部16は、物標IDに対応する各物標の位置、速度、種類、遅延量、認識時刻(センサフュージョン処理の実施時刻)などを含む情報(以下、第1物標情報と称する)を、補正部40および第1分配器D1に出力し、更に、物標の速度の情報を第1処理部50に出力する。以下、第1認識装置10が一度に認識する物標が一つであるかのように説明するが、第1認識装置10は、同時に複数の物標を認識してもよい。第2認識装置20に関しても同様である。
Further, the first
第2認識装置20は、例えば、第2カメラ22と、ファインダ24と、第2フュージョン処理部26とを備える。第2カメラ22は、例えば、第1カメラ12と同様に、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。第2カメラ22は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。第2カメラ22は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。第2カメラ22は、ステレオカメラであってもよい。
The
ファインダ24は、照射光に対する散乱光を測定し、物標の輪郭の一部を少なくとも利用して物標の位置および速度を認識するLIDAR(ライダ;Light Detection and Ranging)である。ファインダ24は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。
The
第2フュージョン処理部26は、画像認識部26aを含む。なお、画像認識部26aは、第2カメラ22に付随する構成であってもよい。画像認識部26aは、第2カメラ22の撮像画像を解析して物標の位置および速度を認識する。第2フュージョン処理部26は、例えば、第2カメラ22および画像認識部26aと、ファインダ24とのそれぞれによる認識結果に対してセンサフュージョン処理を行って、物標の位置(仮想三次元空間における位置)、速度、種類、形状、遅延量などを導出する。また、第2フュージョン処理部26は、位置や速度などの導出対象とした各物標に物標IDを付与する。そして、第2フュージョン処理部26は、物標IDに対応する各物標の位置、速度、形状、種類、遅延量、認識時刻などを含む情報(以下、第2物標情報と称する)を、補正部40および第2分配器D2に出力し、更に、物標の速度の情報を第1処理部50に出力する。
The second
車両センサ30は、例えば、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。車両センサ30は、各センサにより検出された検出結果を示す情報を、時系列座標変換部90に出力する。
The
補正部40は、第1物標情報および第2物標情報を参照し、互いの情報に含まれる物標の位置を時間的に同期させるための補正を行う。例えば、第1認識装置10の第1フュージョン処理部16が、ある所定の周期(以下、第1周期と称する)で繰り返しセンサフュージョン処理を行い、その都度、補正部40に第1物標情報を出力し、第2認識装置20の第2フュージョン処理部26が、第1周期よりも短い、或いは長い周期(以下、第2周期と称する)で繰り返しセンサフュージョン処理を行い、その都度、補正部40に第2物標情報を出力したとする。この場合、必ずしも同じ時刻で物標が認識されているとは限られず、異なる時刻で認識された物標の物標情報が補正部40に出力される場合がある。従って、補正部40は、第1認識装置10および第2認識装置20の其々から入力された物標情報の認識時刻を参照し、互いの情報を同期させるために、認識された物標の位置および速度を補正する。このとき、補正部40は、必要に応じて線形補間などの処理を行い、第1物標情報および第2物標情報の一方または双方における位置の情報を、基準タイミングで認識された場合の情報に補正する。
The
第1処理部50は、補正部40から入力された物標情報と、第1認識装置10および第2認識装置20の其々から入力された物標の速度の情報と、後述する第2処理部70から入力される情報とに基づいて、第1認識装置10により認識された物標(以下、第1物標と称する)と、第2認識装置20により認識された物標(以下、第2物標と称する)とが、同一の物標であるか否かを判定し、同一の物標であると判定した場合に、同一の物標であると判定した物標同士を互いに対応付ける。なお、「対応付ける」とは、例えば、二つの物標に、一つの物標であることを示す識別情報を付与することである。
The
更に、第1処理部50は、第1物標と第2物標のそれぞれについて、過去に認識された物標(以下、認識済み物標と称する)であるか否かを判定し、判定結果に基づいて、第1分配器D1および第2分配器D2の出力先を切り替える制御信号(図中破線矢印)を出力する。
Further, the
第1処理部50は、第1物標が、認識済み物標であると判定した場合、第1分配器D1に対し、第1認識装置10から入力された情報を第2処理部70に出力させ、認識済み物標でないと判定した場合、第1分配器D1に対し、第1認識装置10から入力された情報を新規物標生成部60に出力させる。このとき、第1処理部50は、対応付けされたことを示す情報を新規物標生成部60または第2処理部70に出力するようにしてよい。
When the
また、第1処理部50は、第2物標が認識済み物標であると判定した場合、第2分配器D2に対し、第2認識装置20から入力された情報を第2処理部70に出力させ、第2物標が認識済み物標でないと判定した場合、第2分配器D2に対し、第2認識装置20から入力された情報を新規物標生成部60に出力させる。このとき、第1処理部50は、対応付けされたことを示す情報を新規物標生成部60または第2処理部70に出力するようにしてよい。
Further, when the
また、第1処理部50は、判定部50aを備える。判定部50aは、第1認識装置10および第2認識装置20による認識結果と、後述する第2処理部70の予測部74による予測結果とに基づいて、第1認識装置10または第2認識装置20の状態が所定状態であるか否かを判定する。所定状態は、例えば、第1認識装置10または第2認識装置20の各装置の取り付け状態がシステムの想定と乖離した状態(例えば軸ズレ状態)を含む。
In addition, the
新規物標生成部60は、各分配器から入力された情報に基づいて新規物標としてのIDと共に物標情報を物標情報管理部80に出力する。
The new
また、新規物標生成部60は、過検知除去部60aを備える。過検知除去部60aは、例えば、第1処理部50によって、第1物標と第2物標とが互いに対応付けられている場合、すなわち第1物標および第2物標が同一の物標である場合、過検知でないと判定する。また、過検知除去部60aは、第1処理部50によって、第1物標と第2物標とが互いに対応付けられていない場合、すなわち第1物標および第2物標が同一の物標でない場合、直ちに過検知であると判定してもよいし、後述する第2実施形態のように、所定条件を満たす場合に過検知であると判定してもよい。
Further, the new
新規物標生成部60は、例えば、過検知除去部60aにより過検知が生じたと判定されなかった場合、入力された第1物標と第2物標とに関する情報を(対応付されていれば、対応付IDと共に、そうでない場合は単独で)80に出力する。
For example, when the
第2処理部70は、例えば、導出部72と、予測部74とを備える。導出部72は、例えば、予測部74により出力された情報と、各分配器から入力された情報とに基づいて、物標の位置および速度を導出する。例えば、導出部72は、互いに対応付けられた第1物標および第2物標の位置および速度と、予測部74により予測された物標の将来の位置および速度との平均を導出する。そして、導出部72は、導出結果を物標情報管理部80に出力する。
The
予測部74は、例えば、時系列フィルタを用いて、互いに対応付けられた第1物標および第2物標の将来の位置および速度を予測する。時系列フィルタは、例えば、カルマンフィルタやパーティクルフィルタなどの観測対象(実施形態では物標)の将来の状態を予測するためのアルゴリズムである。例えば、予測部74は、導出部72の直近の導出結果を時系列フィルタに対する入力とすることで、時系列フィルタにより導出された位置および速度を予測結果として取得する。そして、予測部74は、予測結果を第1処理部50および導出部72の其々に出力する。
The
物標情報管理部80は、例えば、新規物標生成部60による処理結果に基づいて、導出部72による導出結果を記憶部95に記憶させることで、互いに対応付けられた第1物標および第2物標の位置および速度を認識時刻ごとに管理する。
For example, the target
そして、物標情報管理部80は、導出部72による導出結果を、第1バッファB1を介して時系列座標変換部90に出力すると共に、第2バッファB2を介して上位装置に出力する。上位装置は、例えば、物標認識システム1の認識結果を利用して、自車両Mの速度制御および操舵制御を自動的に行ったり、速度制御または操舵制御の一方または双方を支援したりする装置である。
Then, the target
時系列座標変換部90は、例えば、車両センサ30から入力された情報に基づいて、第1バッファB1を介して物標情報管理部80から入力された物標の位置を変換(補正)する。例えば、時系列座標変換部90は、物標と自車両Mとの相対距離や相対速度の時間的変化量に応じて、センサフュージョン処理によって得られた仮想三次元空間での物標の位置を座標変換する。そして、時系列座標変換部90は、変換した位置を含む物標情報を予測部74に出力する。
The time-series coordinate
[処理フロー]
以下、物標認識システム1による一連の処理についてフローチャートを用いて説明する。図2は、物標認識システム1による一連の処理を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
[Processing flow]
Hereinafter, a series of processes by the target recognition system 1 will be described with reference to a flowchart. FIG. 2 is a flowchart showing a series of processes by the target recognition system 1. The processing of this flowchart may be repeated, for example, at a predetermined cycle.
まず、第1処理部50は、第1物標情報が示す第1物標が認識済み物標であるか否かを判定する(ステップS100)。例えば、第1処理部50は、第1物標の位置および速度と、予測部74により前回予測された物標の位置および速度との差が許容範囲内であるか否かを判定し、これらの差が許容範囲内である場合、第1物標が認識済み物標であると判定し、これらの差が許容範囲外である場合、第1物標が認識済み物標でないと判定する。
First, the
第1処理部50は、第1物標が認識済み物標であると判定した場合、第1分配器D1を制御して、第1物標情報を第2処理部70に出力し(ステップS102)、第1物標が認識済み物標でなく、新規物標であると判定した場合、第1分配器D1を制御して、第1物標情報を新規物標生成部60に出力する(ステップS104)。
When the
次に、第1処理部50は、第2物標情報が示す第2物標が認識済み物標であるか否かを判定する(ステップS106)。例えば、第1処理部50は、第1物標が認識済み物標かどうかを判定するときと同様に、第2物標の位置および速度と、予測部74により前回予測された物標の位置および速度との差が許容範囲内であるか否かを判定し、これらの差が許容範囲内である場合、第2物標が認識済み物標であると判定し、これらの差が許容範囲外である場合、第2物標が認識済み物標でないと判定する。
Next, the
第1処理部50は、第2物標が認識済み物標であると判定した場合、第2分配器D2を制御して、第2物標情報を第2処理部70に出力し(ステップS108)、第2物標が認識済み物標でなく、新規物標であると判定した場合、第2分配器D2を制御して、第2物標情報を新規物標生成部60に出力する(ステップS110)。
When the
第1物標情報および第2物標情報の一方または双方が入力された場合、第2処理部70の導出部72は、第1物標および第2物標の一方または双方の位置および速度と、予測部74により前回予測された物標の位置および速度とに基づいて、現時点における物標の位置および速度を導出する。例えば、導出部72は、入力された物標情報に含まれる物標の位置および速度と、前回予測された物標の位置および速度との平均値などを、現時点における物標の位置および速度として導出し、その導出結果を物標情報管理部80に出力する。
When one or both of the first target information and the second target information are input, the
次に、第1処理部50は、第1物標情報と第2物標情報とを比較して、第1物標および第2物標が同一の物標であるか否かを判定する(ステップS112)。
Next, the
例えば、第1処理部50は、第1物標の位置および速度と、第2物標の位置および速度との差が許容範囲内であるか否かを判定し、第1物標の位置および速度と、第2物標の位置および速度との差が許容範囲内である場合、第1物標および第2物標が同一の物標であると判定し、第1物標および第2物標に対して共通の物標IDを付与することで、これらの二つの物標を互いに対応付ける(ステップS114)。
For example, the
一方、第1処理部50は、第1物標の位置および速度と、第2物標の位置および速度との差が許容範囲内でないと判定した場合、S114の処理を省略する。
On the other hand, when the
次に、第1処理部50の判定部50aは、第1認識装置10および第2認識装置20による認識結果と、第2処理部70の予測部74による予測結果とに基づいて、第1認識装置10または第2認識装置20の状態が所定状態であるか否かを判定する(ステップS116)。
Next, the determination unit 50a of the
例えば、判定部50aは、第1物標および第2物標が同一の物標ではなく、一方の物標が認識済み物標であり、他方の物標が新規物標である場合、新規物標であると判定された方の認識装置が所定状態であると判定する。 For example, in the determination unit 50a, when the first target and the second target are not the same target, one target is a recognized target and the other target is a new target, the determination unit 50a is a new target. It is determined that the recognition device determined to be the target is in a predetermined state.
また、判定部50aは、第1物標および第2物標が同一の物標ではなく、二つの物標が共に認識済み物標または新規物標である場合、第1認識装置10または第2認識装置20のいずれかが所定状態であると判定する。
Further, when the first target and the second target are not the same target and the two targets are both recognized targets or new targets, the determination unit 50a is the
そして、第1処理部50は、所定状態である方の認識装置の次回以降の物標情報を破棄することを決定する(ステップS118)。これによって、物標の対応付け処理が省略される。この場合、予測部74は、いずれか一方の認識装置が所定状態である間、所定状態でない方の認識装置の物標情報のみを用いて、物標の将来の位置および速度を予測することを繰り返す。
Then, the
なお、いずれかの認識装置が所定状態であるか区別できない場合、第1処理部50は、双方の認識装置の次回以降の物標情報を破棄することを決定し、本フローチャートの処理を終了してよい。
If it is not possible to distinguish whether any of the recognition devices is in a predetermined state, the
図3は、認識装置が所定状態と判定される状況の一例を示す図である。図示の例は、仮想三次元空間(x-y-z空間)での一平面(x-z平面)における各物標の位置を表している。図示のように、第1物標の位置を基準とした許容範囲内に第2物標が存在せず、第2物標の位置を基準とした許容範囲内に予測位置が存在することから、判定部50aは、第1物標については新規物標と判定し、第2物標については認識済み物標と判定する。このとき、第1物標と第2物標とが互いに許容範囲以上ずれていることから、判定部50aは、第1認識装置10側が所定状態であると判定する。
FIG. 3 is a diagram showing an example of a situation in which the recognition device is determined to be in a predetermined state. The illustrated example represents the position of each target in one plane (xz plane) in a virtual three-dimensional space (xyz space). As shown in the figure, the second target does not exist within the permissible range based on the position of the first target, and the predicted position exists within the permissible range based on the position of the second target. The determination unit 50a determines that the first target is a new target and that the second target is a recognized target. At this time, since the first target and the second target are deviated from each other by an allowable range or more, the determination unit 50a determines that the
図4は、第1物標および第2物標が新規物標と判定される状況の一例を示す図である。例えば、第1物標の位置を基準とした許容範囲内に第2物標が存在するものの、予測位置がそれぞれの物標の許容範囲内に存在しないため、判定部50aは、第1物標および第2物標は同じ物標であり、かつ二つの物標が共に新規物標であると判定する。 FIG. 4 is a diagram showing an example of a situation in which the first target and the second target are determined to be new targets. For example, although the second target exists within the permissible range based on the position of the first target, the predicted position does not exist within the permissible range of each target, so that the determination unit 50a determines the first target. And the second target is the same target, and it is determined that both of the two targets are new targets.
図5は、第1物標および第2物標が認識済み物標と判定される状況の一例を示す図である。例えば、第1物標の位置を基準とした許容範囲内に第2物標が存在し、かつ予測位置がそれぞれの物標の許容範囲内に存在しているため、判定部50aは、第1物標および第2物標は同じ物標であり、かつ二つの物標が共に認識済み物標であると判定する。 FIG. 5 is a diagram showing an example of a situation in which the first target and the second target are determined to be recognized targets. For example, since the second target exists within the permissible range based on the position of the first target and the predicted position exists within the permissible range of each target, the determination unit 50a uses the first target. It is determined that the target and the second target are the same target, and that both of the two targets are recognized targets.
次に、新規物標生成部60の過検知除去部60aは、各分配器を介して認識装置から物標情報が入力された場合、S114の処理で第1物標および第2物標が互いに対応付けられているかどうかに応じて、第1認識装置10または第2認識装置20による認識結果に過検知が生じているか否かを判定する(ステップS120)。
Next, when the target information is input from the recognition device via each distributor, the
例えば、過検知除去部60aは、第1物標と第2物標とが互いに対応付けられている場合、すなわち第1物標および第2物標が同一の物標である場合、過検知が生じていないと判定し、第1物標と第2物標とが互いに対応付けられていない場合、すなわち第1物標および第2物標が同一の物標でない場合、過検知が生じていると判定する。
For example, the
新規物標生成部60は、過検知が生じていないと判定した場合、認識装置から入力された物標情報を物標情報管理部80に出力する(ステップS122)。これを受けて、物標情報管理部80は、新規物標の物標情報を記憶部95に記憶させる。そして、物標情報管理部80は、新規物標の物標情報を、第1バッファB1を介して時系列座標変換部90に出力すると共に、第2バッファB2を介して上位装置に出力する
When the new
一方、新規物標生成部60は、過検知が生じていると判定した場合、認識装置から入力された物標情報を破棄する(ステップS124)。これによって本フローチャートの処理が終了する。
On the other hand, when the new
以上説明した第1実施形態によれば、物標からの反射波を利用して物標の位置および速度を認識する第1認識装置10と、物標の輪郭の一部を少なくとも利用して物標の位置および速度を認識する第2認識装置20と、第1認識装置10により認識された物標と、第2認識装置20により認識された物標とが同一の物標であるか否かを判定し、同一の物標であると判定した場合に、同一の物標であると判定した物標同士を互いに対応付ける第1処理部50と、第1処理部50により対応付けられた物標の将来の位置および速度を予測する予測部74と、予測部74による予測結果と、第1認識装置10および第2認識装置20による認識結果とに基づいて、第1認識装置10または第2認識装置20の状態が所定状態であるか否かを判定する判定部50aと、を備えることにより、処理速度を向上させつつ、物標の認識精度を向上させることができる。
According to the first embodiment described above, the
例えば、判定部50aに第1処理部50と同じ段階で処理を行わせることで、導出部72の後段で処理を行う必要が無くなり、処理速度が向上する。また、各認識装置が所定状態であるか否かを判定部50aが判定することで、軸ズレ等によって本来は物標認識に使用すべきでない状態となった認識装置の認識結果を使用しないようにするため、物標の認識精度を向上させることができる。
For example, by causing the determination unit 50a to perform processing at the same stage as the
また、上述した第1実施形態によれば、過検知が生じた場合、過検知除去部60aが物標情報を破棄するため、過検知と判定された物標の位置および速度については、予測部74の時系列フィルタへの入力から除外することができる。この結果、これまでの認識結果から過検知の発生により一時的に物標の位置および速度が逸脱した場合であっても、その物標情報を次の予測処理に反映させないため、物標を精度良く認識し続けることができる。
Further, according to the first embodiment described above, when over-detection occurs, the
<第2実施形態>
以下、第2実施形態について説明する。第2実施形態では、予め過検知が生じやすいことが判明している所定区間を自車両Mが走行する場合、その所定区間では過検知除去部60aが動作し、それ以外の区間では過検知除去部60aが動作しない点で、上述した第1実施形態と異なる。以下、第1実施形態との相違点を中心に説明し、第1実施形態と共通する機能等についての説明は省略する。
<Second Embodiment>
Hereinafter, the second embodiment will be described. In the second embodiment, when the own vehicle M travels in a predetermined section where it is known that over-detection is likely to occur in advance, the
[システム構成]
図6は、第2実施形態の物標認識システム1Aの構成図である。第2実施形態の物標認識システム1Aの過検知除去部60aは、例えば、外部記憶装置200と有線または無線で通信し、外部記憶装置200に記憶された高精度地図情報200aを参照する。高精度地図情報200aは、例えば、車線の中央の情報あるいは車線の境界の情報等を含む。また、高精度地図情報200aは、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の基準速度、車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、道路またはその道路の各車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報を含む。
[System configuration]
FIG. 6 is a block diagram of the
例えば、過検知除去部60aは、高精度地図情報200aを参照し、自車両Mが走行する予定の経路において所定区間が存在するか否かを判定する。所定区間は、上述したように過検知が生じやすい区間であり、例えば、道路の路面凍結や渋滞情報を表示する道路情報掲示板や、車線の合流および分岐ポイントに設けられた衝突衝撃緩衝具が存在する区間である。例えば、経路に所定区間が存在し、その所定区間に自車両Mが到達した場合、過検知除去部60aは、過検知の判定処理を開始する。一方、所定区間に自車両Mが到達していない場合、或いは、予定経路に所定区間が存在しない場合、過検知除去部60aは、過検知の判定処理を停止する。このように、予め過検知が生じやすいことが判明している区間に限定して過検知の判定処理を行うため、不必要に過検知と判定されるのを抑制することができ、更に物標の認識精度を向上させることができる。
For example, the
また、第2実施形態の過検知除去部60aは、過検知の有無を確率や信頼度といった所定の指標値を基に判定する場合、所定区間とそうでない区間とで指標値に対する閾値を変更することで、過検知の判定を行ってよい。例えば、過検知除去部60aは、第1認識装置10または第2認識装置20により出力される物標情報と、第1処理部50の判定部50aの判定結果とを総合的に判断して、過検知がどの程度生じ得るのかを示す指標値を導出し、この指標値が閾値以上となる場合に過検知と判定する。このとき、過検知除去部60aは、所定区間では指標値に対する閾値を低下させることで、過検知と判定し易くし、他の区間では閾値を上昇させることで、過検知と判定し難くする。これによって、不必要に過検知と判定されるのを抑制することができ、更に物標の認識精度を向上させることができる。
Further, when determining the presence or absence of over-detection based on a predetermined index value such as probability or reliability, the
以上説明した第2実施形態によれば、過検知が生じやすい区間では過検知と判定し易くし、それ以外の区間では過検知と判定し難くするため、不必要に過検知と判定されるのを抑制することができる。この結果、更に物標の認識精度を向上させることができる。 According to the second embodiment described above, it is easy to determine over-detection in a section where over-detection is likely to occur, and it is difficult to determine over-detection in other sections, so that it is unnecessarily determined to be over-detection. Can be suppressed. As a result, the recognition accuracy of the target can be further improved.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.
1‥物標認識システム10…第1認識装置、12…第1カメラ、14…レーダ、16…第1フュージョン処理部、20…第2認識装置、22…第2カメラ、24…ファインダ、26…第2フュージョン処理部、30…車両センサ、40…補正部、50…第1処理部、50a…判定部、60…新規物標生成部、60a…過検知除去部、70…第2処理部、72…導出部、74…予測部、80…物標情報管理部、90…時系列座標変換部、95…記憶部
1 ...
Claims (10)
前記第1認識装置とは異なる周辺を認識する第2認識装置と、
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、
前記対応付処理部により対応付けられた物標の将来の位置を予測する予測部と、
前記予測部による予測結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定する判定部と、を備え、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記対応付処理部に出力し、
前記判定部は、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測部による予測結果と一致するか否かを判定し、
前記一方の認識結果が前記予測結果と一致しない場合、認識結果が前記予測結果と一致しない方の認識装置が前記所定状態であると判定する、
物標認識システム。 The first recognition device that recognizes the surroundings and
A second recognition device that recognizes a periphery different from the first recognition device,
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other. Corresponding processing unit and
A prediction unit that predicts the future position of the target associated with the corresponding processing unit, and
Based on the prediction result by the prediction unit and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device is used for target recognition due to misalignment. A determination unit for determining whether or not a predetermined state should not be provided.
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
Among the targets recognized by the camera and the image recognition unit and the radar, the positions of the targets determined to be the same are output to the corresponding processing unit.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
Among the targets recognized by the camera and the image recognition unit and the rider, the positions of the targets determined to be the same are output to the corresponding processing unit.
The determination unit
When the recognition results by the first recognition device and the second recognition device are different, whether or not the recognition result of either the first recognition device or the second recognition device matches the prediction result by the prediction unit. Judging,
When one of the recognition results does not match the prediction result, it is determined that the recognition device whose recognition result does not match the prediction result is in the predetermined state.
The target object recognition system.
前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、
前記予測部は、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第2タイミングで認識された物標の将来の位置を予測する、
請求項1に記載の物標認識システム。 It is recognized at the second timing based on the prediction result of the prediction unit at the first timing and the recognition results of the first recognition device and the second recognition device at the second timing after the first timing. A derivation unit that derives the position of the target
An information management unit for storing the derivation result by the derivation unit in the storage unit according to the determination result by the determination unit is further provided.
The prediction unit predicts the future position of the target recognized at the second timing based on the information stored in the storage unit by the information management unit.
The target recognition system according to claim 1 .
請求項1または2に記載の物標認識システム。 The prediction unit, by the determination unit, when the first recognition device and the second recognition device is determined to the a predetermined state, based on the recognized target object position by the not the predetermined state recognition device Predict the future position of the target,
The target recognition system according to claim 1 or 2 .
前記第1認識装置とは異なる周辺を認識する第2認識装置と、
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付ける対応付処理部と、
前記対応付処理部により対応付けられた物標の将来の速度を予測する予測部と、
前記予測部による予測結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定する判定部と、を備え、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記対応付処理部に出力し、
前記判定部は、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測部による予測結果と一致するか否かを判定し、
前記一方の認識結果が前記予測結果と一致しない場合、認識結果が前記予測結果と一致しない方の認識装置が前記所定状態であると判定する、
物標認識システム。 The first recognition device that recognizes the surroundings and
A second recognition device that recognizes a periphery different from the first recognition device,
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target are associated with each other. Corresponding processing unit and
A prediction unit that predicts the future speed of the target associated with the corresponding processing unit, and
Based on the prediction result by the prediction unit and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device is used for target recognition due to misalignment. A determination unit for determining whether or not a predetermined state should not be provided.
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the radar is output to the corresponding processing unit.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the rider is output to the corresponding processing unit.
The determination unit
When the recognition results by the first recognition device and the second recognition device are different, whether or not the recognition result of either the first recognition device or the second recognition device matches the prediction result by the prediction unit. Judging,
When one of the recognition results does not match the prediction result, it is determined that the recognition device whose recognition result does not match the prediction result is in the predetermined state.
The target object recognition system.
前記判定部による判定結果に応じて、前記導出部による導出結果を記憶部に記憶させる情報管理部と、を更に備え、
前記予測部は、前記情報管理部が前記記憶部に記憶させた情報に基づいて、前記第2タイミングで認識された物標の将来の速度を予測する、
請求項4に記載の物標認識システム。 It is recognized at the second timing based on the prediction result of the prediction unit at the first timing and the recognition results of the first recognition device and the second recognition device at the second timing after the first timing. A derivation unit that derives the speed of the target
An information management unit for storing the derivation result by the derivation unit in the storage unit according to the determination result by the determination unit is further provided.
The prediction unit predicts the future speed of the target recognized at the second timing based on the information stored in the storage unit by the information management unit.
The target recognition system according to claim 4 .
請求項4または5に記載の物標認識システム。 The prediction unit, by the determination unit, when the first recognition device and the second recognition device is determined to the a predetermined state, based on the speed of the recognized target object by the non-predetermined state recognition device Predict the future speed of the target,
The target recognition system according to claim 4 or 5 .
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、
前記対応付けた物標の将来の位置を予測し、
前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定し、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、
前記車載コンピュータが、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定し、
前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定する、
物標認識方法。 An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target correspond to each other. Attach,
Predict the future position of the associated target and
Based on the prediction result and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device should not be used for target recognition due to misalignment. it is determined whether the predetermined state,
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
The positions of the targets determined to be the same among the targets recognized by the camera and the image recognition unit and the radar are output to the in-vehicle computer.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
Among the targets recognized by the camera and the image recognition unit and the rider, the positions of the targets determined to be the same are output to the in-vehicle computer.
The in-vehicle computer
When the recognition results by the first recognition device and the second recognition device are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result. And
When one of the recognition results does not match the predicted result, it is determined that the recognition device whose recognition result does not match the predicted result is in the predetermined state.
Target recognition method.
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定した物標同士を互いに対応付け、
前記対応付けた物標の将来の速度を予測し、
前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定し、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、
前記車載コンピュータが、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定し、
前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定する、
物標認識方法。 An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target correspond to each other. Attach,
Predict the future speed of the associated target and
Based on the prediction result and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device should not be used for target recognition due to misalignment. it is determined whether the predetermined state,
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
Among the targets recognized by the camera and the image recognition unit and the radar, the speeds of the targets determined to be the same are output to the in-vehicle computer.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the rider is output to the in-vehicle computer.
The in-vehicle computer
When the recognition results by the first recognition device and the second recognition device are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result. And
When one of the recognition results does not match the predicted result, it is determined that the recognition device whose recognition result does not match the predicted result is in the predetermined state.
Target recognition method.
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、
前記対応付けさせた物標の将来の位置を予測させ、
前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定させ、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の位置を、前記車載コンピュータに出力し、
前記車載コンピュータに、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定させ、
前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定させる、
プログラム。 An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device.
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target are mutually used. Let's associate
Predict the future position of the associated target,
Based on the prediction result and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device should not be used for target recognition due to misalignment. Let them judge whether it is in a predetermined state ,
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
The positions of the targets determined to be the same among the targets recognized by the camera and the image recognition unit and the radar are output to the in-vehicle computer.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
Among the targets recognized by the camera and the image recognition unit and the rider, the positions of the targets determined to be the same are output to the in-vehicle computer.
To the in-vehicle computer
When the recognition results by the first recognition device and the second recognition device are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result. Let me
When one of the recognition results does not match the predicted result, the recognition device whose recognition result does not match the predicted result is determined to be in the predetermined state.
program.
前記第1認識装置により認識された物標と、前記第2認識装置により認識された物標とが同一の物標である場合、前記同一の物標であると判定させた物標同士を互いに対応付けさせ、
前記対応付けさせた物標の将来の速度を予測させ、
前記予測の結果と、前記第1認識装置および前記第2認識装置による認識結果とに基づいて、前記第1認識装置または前記第2認識装置の状態が軸ずれによって物標認識に使用すべきでない所定状態であるか否かを判定させ、
前記第1認識装置は、
カメラおよび画像認識部と、物標により反射された電磁波に基づいて物標を認識するレーダとを含み、
前記カメラおよび画像認識部と、前記レーダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、
前記第2認識装置は、
カメラおよび画像認識部と、物標に投射した光の前記物標による反射波に基づいて前記物標を認識するライダとを含み、
前記カメラおよび画像認識部と、前記ライダとのそれぞれにより認識された物標のうち同一の物標であると判定した物標の速度を、前記車載コンピュータに出力し、
前記車載コンピュータに、
前記第1認識装置および前記第2認識装置による認識結果が相違する場合、前記第1認識装置または前記第2認識装置のいずれか一方の認識結果が前記予測した結果と一致するか否かを判定させ、
前記一方の認識結果が前記予測した結果と一致しない場合、認識結果が前記予測した結果と一致しない方の認識装置が前記所定状態であると判定させる、
プログラム。 An in-vehicle computer mounted on a vehicle including a first recognition device that recognizes the surroundings and a second recognition device that recognizes the surroundings different from the first recognition device.
When the target recognized by the first recognition device and the target recognized by the second recognition device are the same target, the targets determined to be the same target are mutually used. Let's associate
Predict the future speed of the associated target,
Based on the prediction result and the recognition result by the first recognition device and the second recognition device, the state of the first recognition device or the second recognition device should not be used for target recognition due to misalignment. Let them judge whether it is in a predetermined state ,
The first recognition device is
It includes a camera and an image recognition unit, and a radar that recognizes the target based on the electromagnetic waves reflected by the target.
Among the targets recognized by the camera and the image recognition unit and the radar, the speeds of the targets determined to be the same are output to the in-vehicle computer.
The second recognition device is
It includes a camera, an image recognition unit, and a rider that recognizes the target based on the reflected wave of the light projected on the target.
The speed of the target determined to be the same target among the targets recognized by the camera and the image recognition unit and the rider is output to the in-vehicle computer.
To the in-vehicle computer
When the recognition results by the first recognition device and the second recognition device are different, it is determined whether or not the recognition result of either the first recognition device or the second recognition device matches the predicted result. Let me
When one of the recognition results does not match the predicted result, the recognition device whose recognition result does not match the predicted result is determined to be in the predetermined state.
program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070177A JP6789341B2 (en) | 2019-04-01 | 2019-04-01 | Target recognition system, target recognition method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070177A JP6789341B2 (en) | 2019-04-01 | 2019-04-01 | Target recognition system, target recognition method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017107855A Division JP6509279B2 (en) | 2017-05-31 | 2017-05-31 | Target recognition system, target recognition method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019148593A JP2019148593A (en) | 2019-09-05 |
JP6789341B2 true JP6789341B2 (en) | 2020-11-25 |
Family
ID=67850450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019070177A Expired - Fee Related JP6789341B2 (en) | 2019-04-01 | 2019-04-01 | Target recognition system, target recognition method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6789341B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102606724B1 (en) * | 2023-08-08 | 2023-11-29 | 주식회사 아이티아이비전 | Integrated unmanned traffic control system for cracking down on stable speed maintenance violations in protected areas using radar and camera |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3923201B2 (en) * | 1998-10-23 | 2007-05-30 | 本田技研工業株式会社 | Vehicle object detection device |
DE10149115A1 (en) * | 2001-10-05 | 2003-04-17 | Bosch Gmbh Robert | Object detection device for motor vehicle driver assistance systems checks data measured by sensor systems for freedom from conflict and outputs fault signal on detecting a conflict |
JP2007310741A (en) * | 2006-05-19 | 2007-11-29 | Fuji Heavy Ind Ltd | Solid object recognition device |
US9152526B2 (en) * | 2012-11-16 | 2015-10-06 | GM Global Technology Operations LLC | Method and apparatus for state of health estimation of object sensing fusion system |
JP2014137288A (en) * | 2013-01-17 | 2014-07-28 | Mitsubishi Electric Corp | Device and method for monitoring surroundings of vehicle |
-
2019
- 2019-04-01 JP JP2019070177A patent/JP6789341B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019148593A (en) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10783789B2 (en) | Lane change estimation device, lane change estimation method, and storage medium | |
US10591928B2 (en) | Vehicle control device, vehicle control method, and computer readable storage medium | |
JP6651486B2 (en) | Vehicle control device, vehicle control method, and program | |
US20190359209A1 (en) | Vehicle control device, vehicle control method, and vehicle control program | |
CN109398358B (en) | Vehicle control device, vehicle control method, and medium storing program | |
US11262761B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20190071094A1 (en) | Vehicle control system, vehicle control method, and storage medium | |
US20200094825A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP6696006B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20230126140A1 (en) | Mobile object control method, mobile object control device, and storage medium | |
US10634779B2 (en) | Target recognition system, target recognition method, and storage medium | |
JP6789341B2 (en) | Target recognition system, target recognition method, and program | |
US11273825B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP6509279B2 (en) | Target recognition system, target recognition method, and program | |
US20230177846A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US11932283B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20210284165A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US11654914B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
US11989950B2 (en) | Information processing apparatus, vehicle system, information processing method, and storage medium | |
JP6698188B2 (en) | Target recognition system, target recognition method, and program | |
US12065146B2 (en) | Lane change information sharing device and vehicle | |
US12030490B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20230177843A1 (en) | Object assessment device, storage medium storing computer program for object assessment, and object assessment method | |
US20210300409A1 (en) | Mobile object control method, mobile object control device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |