WO2023032255A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2023032255A1
WO2023032255A1 PCT/JP2022/004764 JP2022004764W WO2023032255A1 WO 2023032255 A1 WO2023032255 A1 WO 2023032255A1 JP 2022004764 W JP2022004764 W JP 2022004764W WO 2023032255 A1 WO2023032255 A1 WO 2023032255A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional object
tracked
image processing
vehicle
tracking
Prior art date
Application number
PCT/JP2022/004764
Other languages
English (en)
French (fr)
Inventor
一貴 湯浅
正幸 小林
健 永崎
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112022002874.2T priority Critical patent/DE112022002874T5/de
Priority to JP2023545015A priority patent/JPWO2023032255A1/ja
Publication of WO2023032255A1 publication Critical patent/WO2023032255A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an image processing device that is mounted on a vehicle or the like and used for tracking surrounding objects.
  • the in-vehicle camera used for front sensing of the advanced driver assistance system detects and tracks three-dimensional objects around the vehicle. It notifies the (user) of the danger and notifies the vehicle control device of information necessary for collision avoidance. As a result, the driver can operate the steering wheel and the brake pedal to avoid collision, and the vehicle control device can control the actuator of the own vehicle to avoid collision.
  • Patent Document 1 A technique described in Patent Document 1 is known as a technique for detecting a three-dimensional object around the vehicle using an in-vehicle camera.
  • the problem is described as follows: "From the time series of images acquired via a camera mounted on a vehicle, the influence of camera movement is appropriately removed by simple processing, and the surrounding area of the vehicle is provides an object detection device, an object detection method, and an object detection program that can accurately detect a moving object.
  • a feature point extraction unit 5 for extracting feature points included in a feature region of each time-series image acquired through a camera 3, and one of two images taken at different times.
  • Patent Document 1 discloses a technique for accurately detecting a moving object around a vehicle by using a feature amount in an image that takes into account the camera motion state caused by the vehicle motion.
  • an object of the present invention to provide an image processing device that can stably track the same object even when the imaging conditions of the vehicle-mounted camera change significantly.
  • the present invention is configured as follows.
  • a tracked object detection unit that detects a three-dimensional object to be tracked from an image acquired by an on-vehicle camera; a tracked object feature amount calculation unit that obtains the feature amount of the three-dimensional object to be tracked; a three-dimensional object tracking unit that tracks the three-dimensional object to be tracked by searching for the three-dimensional object to be tracked from images acquired in time series; and a storage unit for storing the camera parameters or vehicle behavior that are conditions, and the camera parameters or vehicle behavior when the images acquired in the time series are captured, and the camera parameters when the feature amount is obtained.
  • the feature amount of the three-dimensional object to be tracked is recalculated, and the feature amount after the recalculation is used for the tracking.
  • An image processing device that continues to track a target three-dimensional object.
  • the image processing device of the present invention it is possible to stably track the same object even when the imaging conditions of the vehicle-mounted camera change significantly.
  • FIG. 1 is a block diagram of a vehicle control system equipped with an image processing device according to an embodiment
  • FIG. 4 is a flowchart showing an example of processing in a feature amount recalculation determination unit
  • 4 is a flowchart showing an example of processing in a tracked object determination unit
  • 4 is a flowchart showing an example of processing in a three-dimensional object tracking unit
  • 4 is a flowchart showing an example of processing in a tracking continuation determination unit
  • FIG. 1 is a block diagram of a vehicle control system equipped with the image processing device 100 of the present invention.
  • This vehicle control system is an advanced driving support system that notifies the driver of predetermined information according to the surrounding environment of the own vehicle, and an automatic driving system that controls the behavior of the own vehicle. shutter speed, gain, etc.), an imaging device 300 for imaging the surroundings of the vehicle, a vehicle information acquisition device 400 for acquiring vehicle parameters from various in-vehicle sensors, and an image processing device for tracking three-dimensional objects. 100 and a vehicle control device 500 for controlling the own vehicle.
  • each device operates on hardware such as a microcomputer having an arithmetic unit such as a CPU (Central Processing Unit) and a storage device such as RAM (Random Access Memory) and ROM (Read Only Memory). Realized by a software program.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the exposure control device 200 obtains red, green, and blue (RGB) color information and luminance information of each pixel from an image captured by the imaging device 300, and determines camera parameters (shutter speed, gain, etc.) that enable acquisition of a clear image. Calculation is performed, and the camera parameters are set in the imaging device 300 . Therefore, when the surrounding environment changes greatly and the color information and luminance information in the captured image change greatly, specifically, when the vehicle moves from the sun into the shade or vice versa, or when the vehicle moves into the shade. When the vehicle enters the tunnel from outside the tunnel or vice versa, the camera parameters calculated by the exposure control device 200 change significantly.
  • RGB red, green, and blue
  • the imaging device 300 is an in-vehicle camera that is installed in the vehicle and captures an image of the surroundings of the vehicle. ,It is configured. Note that the imaging device 300 may be a stereo camera device having left and right cameras, or may be a monocular camera device having a monocular camera.
  • the vehicle information acquisition device 400 is a device that acquires vehicle parameters that enable the behavior of the vehicle to be estimated from various in-vehicle sensors installed in the vehicle.
  • vehicle parameters acquired here are, for example, the yaw rate measured by the yaw rate sensor, the steering angle measured by the steering angle sensor, and the vehicle speed measured by the vehicle speed sensor.
  • the image processing device 100 performs feature quantity recalculation to determine whether to recalculate the feature quantity of the tracked object based on information (camera parameters, vehicle parameters) acquired from the exposure control device 200 and the vehicle information acquisition device 400.
  • a determination unit 1 a storage unit 2 that stores information acquired from the exposure control device 200 and the vehicle information acquisition device 400 when it is determined to recalculate the feature amount of the tracked object, the feature amount of the tracked object, and the like;
  • a tracked object determination unit 3 that determines a three-dimensional object, a tracked object feature amount calculation unit 4 that calculates a feature amount of the tracked object, a search area determination unit 5 that determines a search processing area in an image, and a feature amount of the tracked object.
  • a three-dimensional object tracking unit 6 that tracks the three-dimensional object based on the above; a movement tracking calculation unit 7 that calculates the movement trajectory of the three-dimensional object to be tracked; and a tracking continuation determination unit 8 that determines whether or not to continue tracking the three-dimensional object.
  • a tracking reliability determination unit 9 that determines the reliability of tracking processing
  • a controlled object determination unit 10 that determines a three-dimensional object related to vehicle control.
  • the vehicle control device 500 is a device that controls the own vehicle based on information notified from the image processing device 100 . For example, when there is a three-dimensional object that may collide, the driver (user) is notified of danger according to the current position, speed, and TTC (Time To Collision) of the three-dimensional object notified from the image processing device 100. Alternatively, it may control an actuator installed in the vehicle for collision mitigation braking or collision avoidance.
  • FIG. 2 is a flowchart showing the processing of the feature quantity recalculation determination unit 1. As shown in FIG. The operation based on the flowchart of FIG. 2 is as follows.
  • Step S11 The feature amount recalculation determination unit 1 acquires from the storage unit 2 camera parameters (shutter speed, gain, etc.) when the feature amount of the tracking target was calculated in the past.
  • Step S12 The feature amount recalculation determination unit 1 acquires camera parameters (shutter speed, gain, etc.) currently set in the imaging device 300 from the exposure control device 200 .
  • Step S13 The feature amount recalculation determination unit 1 determines whether the past camera parameters acquired in step S11 and the current camera parameters acquired in step S12 are significantly different. When the camera parameters of both are significantly different, that is, the color information and brightness information of the image when the feature value was calculated in the past and the image captured this time are greatly changed, and the difference between the current and past feature values is large. If it is considered to be, the process proceeds to step S17. On the other hand, when the camera parameters of both are close, that is, the color information and brightness information do not change greatly between the image when the feature value was calculated in the past and the image captured this time, and the difference between the current and past feature values is small. If so, the process proceeds to step S14.
  • step S13 the situation in which the determination in step S13 is performed based on the past and present shutter speeds will be described.
  • the shutter speed is extremely fast (exposure time is extremely short)
  • the luminance value of the captured image will increase significantly if the shutter speed is made slower (if the exposure time is made longer).
  • the shutter speed is slowed down to some extent (exposure time is lengthened to some extent), even if the shutter speed is further slowed down (even if the exposure time is lengthened further), the luminance value of the captured image does not rise much.
  • the shutter speed is divided into a plurality of categories (see, for example, categories C1 to C5 illustrated in Table 1), and if the past and present shutter speed categories are different, the determination in step S13 is "Yes". If the past and present shutter speed categories are the same, the determination in step S13 is "No". As a result, it is possible to easily determine whether a large change has occurred in the luminance value of the captured image without calculating the luminance value of each image individually.
  • Step S14 The feature quantity recalculation determination unit 1 acquires from the storage unit 2 vehicle parameters (yaw rate, steering angle, vehicle speed, etc.) when the feature quantity of the tracked object was calculated in the past.
  • vehicle parameters yaw rate, steering angle, vehicle speed, etc.
  • Step S15 The feature value recalculation determination unit 1 acquires current vehicle parameters (yaw rate, steering angle, vehicle speed, etc.) from the vehicle information acquisition device 400 .
  • Step S16 The feature amount recalculation determination unit 1 determines whether the past vehicle parameters acquired in step S14 and the current vehicle parameters acquired in step S15 are significantly different.
  • the two vehicle parameters are significantly different, that is, the appearance of the tracked object changes between the image when the feature values were calculated in the past and the image captured this time due to changes in the behavior of the vehicle, resulting in a discrepancy between the current and past feature values. is large, the process proceeds to step S17.
  • the two vehicle parameters are close to each other, that is, if it is considered that there is little change in appearance between the image when the feature amount was calculated in the past and the image taken this time, and the divergence of the feature amount is small, the process proceeds to step S19.
  • step S16 a situation in which the determination in step S16 is made based on the past and present yaw rates will be described.
  • the yaw rate is used to classify the behavior of the vehicle into three statuses of straight running, turning right, and turning left. If they are the same, the determination in step S16 is "No". This makes it possible to easily determine whether a significant change has occurred in the appearance of the tracked object.
  • Step S17 The feature quantity recalculation determination unit 1 acquires feature quantity use frequency information indicating the number of times the three-dimensional object tracking unit 6 performs tracking using the already created feature quantity from the storage unit 2 .
  • Step S18 The feature amount recalculation determination unit 1 determines whether the feature amount use frequency information acquired in step S17 is equal to or greater than a threshold. If it is equal to or greater than the threshold value, the process proceeds to step S1a to recalculate the feature amount of the tracking target. On the other hand, if it is less than the threshold, the process proceeds to step S19, and the feature amount recalculation determination process ends without recalculating the feature amount of the tracking target.
  • the feature amount usage frequency for example, when the camera parameters acquired from the exposure control device 200 change frequently (for example, the shutter speed is periodically change), or when vehicle parameters frequently change due to meandering driving by the driver, etc., hunting in the calculation of the tracked object feature amount can be prevented.
  • Step S19 When it is determined that it is not necessary to recalculate the feature amount of the tracking target based on the processing result of each step, the feature amount recalculation determination unit 1 updates the feature amount usage frequency information recorded in the storage unit 2. , the process of FIG. 2 ends.
  • Step S1a When it is determined that it is necessary to recalculate the feature amount of the tracked object based on the processing result of each step, the feature amount recalculation determination unit 1 sends a feature amount recalculation execution request to the tracked object feature amount calculation unit 4. In addition, the feature amount use frequency information recorded in the storage unit 2 is updated, and the process of FIG. 2 is terminated.
  • the feature amount can be recalculated by judging the change between the captured image when calculating the past feature amount and the current captured image based on the above conditions. is suppressed, the calculation cost is suppressed, the divergence between the feature amount of the tracking target and the feature amount at the time of searching for the tracking target is suppressed, and high-precision tracking can be realized.
  • the storage unit 2 is, for example, a storage unit configured by storage devices such as RAM, ROM, HDD (Hard Disk Drive), and SSD (Solid State Drive).
  • the storage unit 2 stores the camera parameters acquired from the exposure control device 200, the vehicle parameters acquired from the vehicle information acquisition device 400, and the feature values when the feature value recalculation determination unit 1 determines to recalculate the feature values of the tracked object.
  • Various types of information necessary for realizing the image processing apparatus 100 such as use frequency information and the feature amount of the tracked object calculated by the tracked object feature amount calculation unit 4, are stored.
  • the tracking target determination unit 3 detects a three-dimensional object from the image captured by the imaging device 300, and determines a tracking target from among the plurality of detected three-dimensional objects.
  • FIG. 3 is a flow chart showing the processing of the tracking target determination unit 3. As shown in FIG. The operation based on the flowchart of FIG. 3 is as follows.
  • Step S31 The tracking target determination unit 3 detects a three-dimensional object from the image captured by the imaging device 300 .
  • the optical flows of the current frame F(t) and the frame F(t ⁇ 1) captured in the past frame are calculated by a known method, and the image regions of the flows having similar amounts of movement in the same direction are grouped.
  • a three-dimensional object may be detected by
  • Step S32 The tracking target determination unit 3 determines the type of the three-dimensional object detected in step S31.
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • a multi-class classifier that classifies into types may also be used.
  • Automobiles, motorcycles, pedestrians, and bicycles are likely to be moving objects, and it is necessary to calculate the speed and determine the possibility of collision by tracking processing. Therefore, it is judged that there is no need for tracking, and the three-dimensional objects classified as background are not used in the subsequent steps.
  • Real-time processing can be realized with limited computational resources by performing tracking processing on a specific three-dimensional object.
  • Step S33 The tracked object determining unit 3 sorts the three-dimensional objects classified into automobiles, motorbikes, pedestrians, and bicycles in step S32, and the three-dimensional object information already being tracked in the past frames, in order of priority based on the possibility of collision with the own vehicle. .
  • the priority may be determined on the condition that the three-dimensional object is near the course of the vehicle, the Euclidean distance between the vehicle and the three-dimensional object is short, and the type accuracy is high.
  • Step S34 The tracking target determination unit 3 uses the maximum number of tracking processes that can be realized in real time with the performance of hardware such as a microcomputer as a threshold, and sequentially refers to the three-dimensional object information sorted in order of tracking process priority in step S33 to register the tracking process. If the number is equal to or less than the threshold value, the process of the subsequent step S35 is performed, and if the condition is not satisfied, the process ends without registering the tracking process.
  • Step S35 The tracking target determination unit 3 registers the three-dimensional object that satisfies the condition of step S34 as a tracking target.
  • the tracked object feature amount calculation unit 4 selects newly registered three-dimensional objects and three-dimensional objects determined by the feature amount recalculation determination unit 1 as requiring recalculation of the feature amounts among the tracked objects registered in order of priority by the tracked object determination unit 3. Calculate the feature value of the object. For example, when using the CNN described above, the feature amount of the tracked object is calculated by the feature extraction process of the tracked object such as GOTURN (Generic Object Tracking Using Regression Networks) or SiamRPN (Siam Region Proposal Network). The calculated feature amount is stored in the storage unit 2 .
  • GOTURN Generic Object Tracking Using Regression Networks
  • SiamRPN Siam Region Proposal Network
  • the search area determination unit 5 determines the following image of the imaging device 300 based on the vehicle parameters (eg, yaw rate, steering angle, vehicle speed) acquired by the vehicle information acquisition device 400 and the movement trajectory information of the tracking target calculated by the movement trajectory calculation unit 7. It predicts in which part of the image to be captured the tracked object will appear. Based on the prediction information, which area in the image should be processed is calculated and determined as the search area. However, since there is no moving track information for a three-dimensional object newly determined as a tracking target by the tracking target determining unit 3, the search area is determined from the vehicle parameters and the type information of the three-dimensional object.
  • vehicle parameters eg, yaw rate, steering angle, vehicle speed
  • FIG. 4 is a flow chart showing the processing of the three-dimensional object tracking unit 6. As shown in FIG. The operation based on the flowchart of FIG. 4 is as follows.
  • Step S61 The three-dimensional object tracking unit 6 acquires the feature amount corresponding to the tracking target from the storage unit 2 .
  • Step S62 The three-dimensional object tracking unit 6 cuts out the search area determined by the search area determining unit 5 from the image captured by the imaging device 300 .
  • Step S63 The three-dimensional object tracking unit 6 searches the image cut out in step S62 for a position similar to the feature amount of the tracked object acquired in step S61, and identifies the position of the tracked object.
  • the tracking process may use the feature extraction process such as GOTURN or SiamRPN described above.
  • the movement trajectory calculation unit 7 calculates the tracked three-dimensional object from the moving distance of the three-dimensional object to be tracked from the frame F(t ⁇ 1) imaged in the past frame to the current frame F(t) and the imaging interval information of the imaging device 300. is calculated, and the vehicle parameters obtained from the vehicle information obtaining device 400 are used to subtract the amount of movement due to the behavior of the own vehicle, thereby calculating the ground speed of the tracked three-dimensional object. Then, movement information of the tracked three-dimensional object in the obtained current frame and movement information filtered in a plurality of frames based on past movement information are calculated respectively. For example, velocity filtering such as Kalman filtering may be used to calculate movement information for multiple frames.
  • FIG. 5 is a flow chart showing the processing of the tracking continuation determination unit 8. As shown in FIG. The operation based on the flowchart of FIG. 5 is as follows.
  • Step S81 A three-dimensional object tracked by the three-dimensional object tracking unit 6 may move onto the background (for example, a wall or tree) or another three-dimensional object due to erroneous tracking. do.
  • the type determination here for example, CNN may be used to perform multi-class classification that classifies into a plurality of types.
  • Step S82 The tracking continuation determination unit 8 determines whether the result of the type determination in step S81 matches the past type result.
  • Step S83 The tracking continuation determination unit 8 acquires movement information filtered by a plurality of frames based on the movement information of the tracked three-dimensional object in the current frame obtained by the movement trajectory calculation unit 7 and past movement information.
  • Step S84 Even if the types match between the current frame and the past frame in step S82, there is a possibility that another three-dimensional object with the same type is being tracked. Based on the movement information of the tracked three-dimensional object and the past movement information, the movement information filtered by a plurality of frames is compared, and it is determined whether the deviation of the movement information is small. At the same time, the tracking continuation determination unit 8 also determines whether an abnormal speed has occurred based on the type information. For example, when the speed obtained by the movement trajectory calculation unit 7 is 60 km/h even though the type is a pedestrian, the abnormal speed may be defined according to the type, and the determination may be made according to the definition. .
  • Step S85 The tracking continuation determination unit 8 determines that the same object can be tracked based on the type and movement information in the current frame and the past frame, and continues tracking in the next frame.
  • Step S86 The tracking continuation determination unit 8 determines that the same object cannot be tracked in either the type or the movement information in the current frame and the past frame, and stops tracking in the next frame.
  • the tracking reliability determination unit 9 acquires movement information from the movement trajectory calculation unit 7 for the three-dimensional object to be tracked that has been determined to be tracked by the continuation determination unit 8, and determines the tracking reliability. For example, the speed variance or standard deviation is calculated from the movement information so far, compared with a predetermined threshold for each type, and the difference from the threshold determines the reliability in three stages: high, medium, and low. good too.
  • Controlled object determination unit 10 Based on the movement information of the three-dimensional object calculated by the movement trajectory calculation unit 7, the control object determination unit 10 determines that the three-dimensional object whose reliability is determined by the tracking reliability determination unit 9 is equal to or higher than the threshold value. If it is determined that there is a possibility of collision with the own vehicle, information necessary for vehicle control is calculated and notified to the vehicle control device 500 .
  • the information to be notified may be the TTC, the current position of the three-dimensional object, the speed, the type, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

追跡対象の特徴量と追跡対象探索時の特徴量の乖離が大きく同一物体にもかかわらず検知できない未検知の改善。車載されたカメラで取得された画像から追跡対象とする立体物を検知する追跡対象検知部と、追跡対象とする立体物の特徴量を求める追跡対象特徴量計算部と、特徴量に基づき、時系列で取得される画像から追跡対象とする立体物を探索することで、追跡対象とする立体物を追跡する立体物追跡部と、特徴量を求めたときのカメラの撮像条件であるカメラパラメータまたは自車挙動を記憶する記憶部と、を備え、時系列で取得される画像を撮像したときのカメラパラメータまたは自車挙動を、特徴量を求めたときのカメラパラメータまたは自車挙動と比較し、比較の結果が所定の条件を満たさない場合、追跡対象とする立体物の特徴量を再計算し、再計算後の特徴量を用いて追跡対象とする立体物の追跡を継続する画像処理装置。

Description

画像処理装置
　本発明は、車両等に搭載され、周囲の物体追跡に利用する画像処理装置に関する。
　近年、事故を未然に防ぐため、先進運転支援システムを搭載した車両が普及しつつある。先進運転支援システムのフロントセンシングに用いられる車載カメラは、自車周辺の立体物を検知、追跡し、自車と衝突可能性がある立体物が存在する場合には、スピーカー等を介して運転者（ユーザ）へ危険を通知したり、車両制御装置へ衝突回避に必要な情報を通知したりする。この結果、運転者がハンドルやブレーキペダルを操作して衝突を回避したり、車両制御装置が自車のアクチュエータを制御して衝突を回避したりすることができる。
　車載カメラで自車周辺の立体物を検知する技術としては、特許文献１に記載の技術が知られている。例えば、特許文献１の要約書には、課題として「車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる物体検出装置、物体検出方法及び物体検出プログラムを提供する。」と記載されており、また、解決手段として「物体検出装置１は、車両２に搭載されたカメラ３を介して取得した画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部５と、互いに異なる時刻に撮像された２つの画像のうちの一方の画像から特徴点抽出部５により抽出された特徴点のうちの１つ以上の特徴点のそれぞれと、他方の画像から特徴点抽出部５により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部６と、対応度算出部６により算出された対応度に基づいて移動物体を検出する検出部８とを備える。」と記載されている。
すなわち、特許文献１では、車両運動に起因するカメラ運動状態を考慮した画像中の特徴量を利用し、車両周辺の移動物体を精度良く検知する技術が開示されている。
特開２００８-２８２３８６号公報
　ここで、特許文献１の段落００２９では「画像Ｉｔは時刻ｔに撮像された画像であり、画像Ｉｔ＋Δｔは時刻ｔ＋Δｔに撮像された画像である。」と説明され、段落００３０では「次に、ＳＴＥＰ２で、特徴点抽出部５は、方位及びスケールの異なる複数のガボールフィルタを用いて、それぞれのガボールフィルタ毎に、画像Ｉｔ，Ｉｔ＋Δｔにそれぞれフィルタ処理を施す。」と説明され、段落００３１では「次に、ＳＴＥＰ３で、特徴点抽出部５は、フィルタ処理後のデータが所定の条件を満たす画素を特徴点として抽出する。
」と説明されている。このように、特許文献１では、Δｔの時間間隔で撮像した、画像Ｉｔと画像Ｉｔ＋Δｔをガボールフィルタで処理することで特徴点を抽出している。
　しかしながら、特許文献１の技術では、画像Ｉｔと画像Ｉｔ＋Δｔの撮像条件に大きな変化が無ければ、低次元の情報処理を想定したガボールフィルタを利用しても、適切な特徴点を抽出できるが、撮像条件が大きく変化した場合は、撮像条件の変化前後の画像から抽出した特徴量の乖離が大きくなるため、同一物体にもかかわらず同一物体として検知できない未検知が発生したり、他物体を同一物体として検出する誤検知が発生したりする恐れがある。
　そこで、本発明は、車載カメラの撮像条件が大きく変化した場合であっても、同一物体を安定して追跡することが可能な画像処理装置を提供することを目的とする。
　上記目的を解決するため、本発明は次のように構成される。
　車載されたカメラで取得された画像から追跡対象とする立体物を検知する追跡対象検知部と、前記追跡対象とする立体物の特徴量を求める追跡対象特徴量計算部と、前記特徴量に基づき、時系列で取得される画像から前記追跡対象とする立体物を探索することで、前記追跡対象とする立体物を追跡する立体物追跡部と、前記特徴量を求めたときの前記カメラの撮像条件であるカメラパラメータまたは自車挙動を記憶する記憶部と、を備え、前記時系列で取得される画像を撮像したときのカメラパラメータまたは自車挙動を、前記特徴量を求めたときのカメラパラメータまたは自車挙動と比較し、当該比較の結果が所定の条件を満たさない場合には、前記追跡対象とする立体物の特徴量を再計算し、当該再計算後の特徴量を用いて前記追跡対象とする立体物の追跡を継続する画像処理装置。
　本発明の画像処理装置によれば、車載カメラの撮像条件が大きく変化した場合であっても、同一物体を安定して追跡することが可能となる。
一実施例の画像処理装置を搭載した車両制御システムのブロック図。 特徴量再計算判定部での処理の一例を示すフローチャート。 追跡対象決定部での処理の一例を示すフローチャート。 立体物追跡部での処理の一例を示すフローチャート。 追跡継続判断部での処理の一例を示すフローチャート。
　以下、本発明の画像処理装置の一実施例について、図面を用いて説明する。
　図１は、本発明の画像処理装置１００を搭載した車両制御システムのブロック図である。この車両制御システムは、自車の周辺環境に応じて、運転手に所定の情報を通知する先進運転支援システムや、自車挙動を制御する自動運転システムであり、外界環境に応じてカメラパラメータ（シャッタースピード、ゲインなど）を制御する露光制御装置２００と、自車周囲を撮像する撮像装置３００と、各種車載センサから車両パラメータを取得する車両情報取得装置４００と、立体物を追跡する画像処理装置１００と、自車の車両制御を行う車両制御装置５００を備えている。なお、各装置はＣＰＵ（Central Processing Unit）などの演算装置とＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記憶装置を有するマイクロコンピュータなどのハードウェアと、そのハードウェア上で動作するソフトウェアプログラムによって実現される。
　以下、本実施例の車両制御システムの各部の構成を概説した後、画像処理装置１００の詳細を説明する。
　露光制御装置２００は、撮像装置３００による撮像画像中から各画素の赤、緑、青（ＲＧＢ）の色情報や輝度情報を求め、鮮明な画像を取得できるカメラパラメータ（シャッタースピード、ゲインなど）を計算し、そのカメラパラメータを撮像装置３００に設定する。従って、周辺環境が大きく変化し、撮像画像中の色情報や輝度情報が大きく変化する場合、具体的には、自車両が日向から日陰に進入した場合やその逆の場合、或いは、自車両がトンネル外からトンネル内に進入した場合やその逆の場合などには、露光制御装置２００の計算結果であるカメラパラメータが大きく変化することになる。
　撮像装置３００は、自車内に設置された自車周囲を撮像する車載カメラであり、例えば、レンズ、シャッター、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device Image Sensor）などの撮像素子を備え、構成されている。なお、撮像装置３００は、左右カメラを備えたステレオカメラ装置であってもよいし、単眼カメラを備えた単眼カメラ装置であってもよい。
　車両情報取得装置４００は、自車内に設置された各種車載センサから、自車挙動を推定可能な車両パラメータを取得する装置である。ここで取得される車両パラメータは、例えば、ヨーレートセンサが計測したヨーレート、舵角センサが計測した操舵角、車速センサが計測した車速などである。
　画像処理装置１００は、露光制御装置２００と車両情報取得装置４００から取得した情報（カメラパラメータ、車両パラメータ）に基づいて、追跡対象の特徴量を再計算するか否かを判断する特徴量再計算判定部１と、追跡対象の特徴量を再計算すると判断したときの露光制御装置２００と車両情報取得装置４００から取得した情報と追跡対象の特徴量などを記憶する記憶部２と、追跡対象の立体物を決定する追跡対象決定部３と、追跡対象の特徴量を計算する追跡対象特徴量計算部４と、画像中の探索処理領域を決定する探索領域決定部５と、追跡対象の特徴量をもとに立体物を追跡する立体物追跡部６と、追跡対象の立体物の移動軌跡を計算する移動追跡計算部７と、立体物を追跡継続すべきかを判断する追跡継続判断部８と、追跡処理の信頼度を判定する追跡信頼度判定部９と、車両制御に関わる立体物を決定する制御対象決定部１０を備える。
　車両制御装置５００は、画像処理装置１００から通知される情報をもとに自車両を制御する装置である。例えば、衝突可能性がある立体物が存在した場合に、画像処理装置１００から通知される立体物の現在位置や速度、ＴＴＣ(Time To Collision)に応じて、運転者（ユーザ）に危険を通知したり、衝突軽減ブレーキや衝突回避のために自車内に設置されたアクチュエータを制御したりしてもよい。
　＜画像処理装置１００の詳細＞
　以下、画像処理装置１００の各部について順次詳細に説明する。
　＜特徴量再計算判定部１＞
　特徴量再計算判定部１は、既に特徴量を算出した追跡対象に対し、特徴量を更新するか否かを判定する。図２は、特徴量再計算判定部１の処理を示すフローチャートである。図２のフローチャートに基づく動作は以下の通りである。
　ステップＳ１１：
　特徴量再計算判定部１は、記憶部２から、追跡対象の特徴量を過去に計算したときのカメラパラメータ（シャッタースピード、ゲインなど）を取得する。
　ステップＳ１２：
　特徴量再計算判定部１は、露光制御装置２００から、撮像装置３００に現在設定しているカメラパラメータ（シャッタースピード、ゲインなど）を取得する。
　ステップＳ１３：
　特徴量再計算判定部１は、ステップＳ１１で取得した過去のカメラパラメータと、ステップＳ１２で取得した現在のカメラパラメータが大きく異なるかを判定する。そして、両者のカメラパラメータが大きく異なる場合、すなわち、過去特徴量を計算したときの画像と今回撮像した画像で色情報や輝度情報が大きく変化しており、現在と過去で特徴量の乖離が大きくなっていると考えられる場合には、ステップＳ１７に進む。一方、両者のカメラパラメータが近しい場合、すなわち、過去特徴量を計算したときの画像と今回撮像した画像で色情報や輝度情報が大きく変化しておらず、現在と過去で特徴量の乖離が少ないと考えられる場合には、ステップＳ１４に進む。
　ここで、ステップＳ１３での判定を、過去と現在のシャッタースピードに基づいて行う状況を説明する。所定環境を撮像する場合、シャッタースピードが極めて速い場合（露光時間が極めて短い場合）は、シャッタースピードをより遅くすれば（露光時間をより長くすれば）撮像画像の輝度値が大きく上昇するが、シャッタースピードがある程度遅くなれば（露光時間がある程度長くなれば）、シャッタースピードを更に遅くしても（露光時間を更に長くしても）撮像画像の輝度値はあまり上昇しないという性質がある。このような性質を踏まえ、シャッタースピードを複数のカテゴリに分割し（例えば、表１に例示するカテゴリＣ１～Ｃ５参照）、過去と現在でシャッタースピードのカテゴリが異なればステップＳ１３の判定を「Ｙｅｓ」とし、過去と現在でシャッタースピードのカテゴリが同じであればステップＳ１３の判定を「Ｎｏ」とする。これにより、撮像画像の輝度値に大きな変化が生じたかを、各画像の輝度値を個々に演算することなく簡便に判定することができる。
Figure JPOXMLDOC01-appb-T000001
　ステップＳ１４：
　特徴量再計算判定部１は、記憶部２から、追跡対象の特徴量を過去に計算したときの車両パラメータ（ヨーレート、操舵角、車速など）を取得する。
　ステップＳ１５：
　特徴量再計算判定部１は、車両情報取得装置４００から、現在の車両パラメータ（ヨーレート、操舵角、車速など）を取得する。
　ステップＳ１６：
　特徴量再計算判定部１は、ステップＳ１４で取得した過去の車両パラメータと、ステップＳ１５で取得した現在の車両パラメータが大きく異なるかを判定する。そして、両者の車両パラメータが大きく異なる場合、すなわち、自車挙動の変化により過去特徴量を計算したときの画像と今回撮像した画像で追跡対象の見かけが変化し、現在と過去で特徴量の乖離が大きくなっていると考えられる場合には、ステップＳ１７に進む。一方、両者の車両パラメータが近しい場合、すなわち、過去特徴量を計算したときの画像と今回撮像した画像で見かけの変化が少なく特徴量の乖離が少ないと考えられる場合には、ステップＳ１９へ進む。
　ここで、ステップＳ１６での判定を、過去と現在のヨーレートに基づいて行う状況を説明する。例えば、ヨーレートを用いて自車挙動を直進、右旋回、左旋回の３ステータスに分類し、過去と現在のステータスが異なれば、ステップＳ１６の判定を「Ｙｅｓ」とし、過去と現在でステータスが同じであれば、ステップＳ１６の判定を「Ｎｏ」とする。これにより、追跡対象の見かけに大きな変化が生じたかを簡便に判定することができる。
　ステップＳ１７：
　特徴量再計算判定部１は、記憶部２から、既に作成済みの特徴量を使い立体物追跡部６にて追跡を実施した回数を示す特徴量使用頻度情報を取得する。
　ステップＳ１８：
　特徴量再計算判定部１は、ステップＳ１７で取得した特徴量使用頻度情報が閾値以上であるかを判定する。そして、閾値以上であればステップＳ１ａに進み、追跡対象の特徴量を再計算させる。一方、閾値未満であれば、ステップＳ１９に進み、追跡対象の特徴量を再計算させることなく、特徴量再計算判定処理を終了する。本ステップで特徴量使用頻度を用いた判断を実行することで、例えば、露光制御装置２００から取得したカメラパラメータが頻繁に変化する場合（例えば、街路樹の影の影響でシャッタースピードが周期的に変化する場合）や、運転者の蛇行運転などにより車両パラメータが頻繁に変化した場合に追跡対象特徴量計算のハンチングを防止することができる。
　ステップＳ１９：
　各ステップの処理結果によって、追跡対象の特徴量を再計算する必要がないと判断した場合には、特徴量再計算判定部１は、記憶部２に記録された特徴量使用頻度情報を更新し、図２の処理を終了する。
　ステップＳ１ａ：
　各ステップの処理結果によって、追跡対象の特徴量を再計算する必要があると判断した場合には、特徴量再計算判定部１は、特徴量再計算実施要求を追跡対象特徴量計算部４へ通知し、さらに記憶部２に記録された特徴量使用頻度情報を更新し、図２の処理を終了する。
　このように、撮像の度に追跡対象の特徴量を再計算するのではなく、過去特徴量計算時の撮像画像と今回の撮像画像の変化を上記条件によって判定することで、特徴量の再計算の回数が抑制され、計算コストを抑えつつ、追跡対象の特徴量と追跡対象探索時の特徴量の乖離を抑え、高精度な追跡を実現可能となる。
　＜記憶部２＞
　記憶部２は、例えば、ＲＡＭやＲＯＭ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）といった記憶装置で構成される記憶部である。記憶部２は、特徴量再計算判定部１が追跡対象の特徴量を再計算すると判断したときに、露光制御装置２００から取得したカメラパラメータ、車両情報取得装置４００から取得した車両パラメータ、特徴量使用頻度情報、および、追跡対象特徴量計算部４で計算した追跡対象の特徴量など、画像処理装置１００を実現する上で必要な各種情報を記憶する。
　＜追跡対象決定部３＞
　追跡対象決定部３は、撮像装置３００が撮像した画像中から立体物を検出し、複数検知した立体物の中から追跡対象を決定する。図３は、追跡対象決定部３の処理を示すフローチャートである。図３のフローチャートに基づく動作は以下の通りである。
　ステップＳ３１：
　追跡対象決定部３は、撮像装置３００が撮像した画像中から立体物を検知する。例えば、現在フレームＦ（ｔ）と過去フレームで撮像したフレームＦ（ｔ－１）のオプティカルフローを公知の手法で算出し、同一方向に同程度の移動量を持つフローの画像領域をグルーピングすることにより立体物を検知してもよい。
　ステップＳ３２：
　追跡対象決定部３は、ステップＳ３１で検知した立体物の種別を判定する。例えば、種別判定には、自動車、バイク、歩行者、自転車、背景（例えば、壁や木）などを、機械学習ＤＮＮ（Deep Neural Network）の一種であるＣＮＮ（Convolutional Neural Network）を利用し、複数種別に分類するマルチクラス分類器でもよい。自動車、バイク、歩行者、自転車は、移動体である可能性が高く、追跡処理によって速度算出や衝突可能性があるかを判断する必要があるが、一方、背景に分類した立体物は静止物である可能性が極めて高いため、追跡する必要がないと判断し、以降のステップには背景に分類した立体物は利用しない。特定の立体物に対し、追跡処理を実施することにより、限られた計算リソースでリアルタイム処理を実現可能となる。
　ステップＳ３３：
　追跡対象決定部３は、ステップＳ３２で自動車、バイク、歩行者、自転車に分類した立体物と、既に過去フレームで追跡中の立体物情報を自車との衝突可能性基準で優先度順にソートする。例えば、自車進行路付近の立体物かつ自車と立体物とのユークリッド距離が近く、種別確度が高い条件で優先度を決めてもよい。
　ステップＳ３４：
　追跡対象決定部３は、マイクロコンピュータなどのハードウェア性能でリアルタイム処理を実現可能な最大追跡処理数を閾値とし、ステップＳ３３で追跡処理優先度順にソートした立体物情報を順に参照し、追跡処理登録数が閾値以下の場合は後段のステップＳ３５の処理を実施し、条件を満たさない場合は追跡処理登録を行わず処理を終了する。
　ステップＳ３５：
　追跡対象決定部３は、ステップＳ３４の条件を満たす立体物を追跡対象に登録する。
　＜追跡対象特徴量計算部４＞
　追跡対象特徴量計算部４は、追跡対象決定部３で優先度順に登録した追跡対象の内、新規登録した立体物と特徴量再計算判定部１で特徴量の再計算が必要と判断した立体物の特徴量を算出する。例えば、上記したＣＮＮを利用する場合は、ＧＯＴＵＲＮ（Generic Object Tracking Using Regression Networks）やＳｉａｍＲＰＮ(Siam Region Proposal Network)などの追跡対象の特徴抽出処理にて追跡対象の特徴量を算出する。算出した特徴量は、記憶部２にて記憶する。
　＜探索領域決定部５＞
　探索領域決定部５は、車両情報取得装置４００が取得した車両パラメータ（例えば、ヨーレート、操舵角、車速）と、移動軌跡計算部７が算出した追跡対象の移動軌跡情報から、撮像装置３００が次に撮像する画像中のどの部分に追跡対象が出現するかを予測する。
その予測情報から画像中のどの範囲を処理すべきかを算出し、探索領域として決定する。
ただし、追跡対象決定部３にて新規に追跡対象として決定された立体物は、移動軌跡情報がないので、その場合は車両パラメータと立体物の種別情報から探索領域を決定する。
　＜立体物追跡部６＞
　立体物追跡部６は、記憶部２にて記録された追跡対象の特徴量と、探索領域決定部５で求めた探索領域と、撮像装置３００が撮像した画像を用いて立体物の追跡を行う。図４は、立体物追跡部６の処理を示すフローチャートである。図４のフローチャートに基づく動作は以下の通りである。
　ステップＳ６１：
　立体物追跡部６は、記憶部２から、追跡対象に該当する特徴量を取得する。
　ステップＳ６２：
　立体物追跡部６は、撮像装置３００が撮像した画像から、探索領域決定部５で求めた探索領域を切り出す。
　ステップＳ６３：
　立体物追跡部６は、ステップＳ６１で取得した追跡対象の特徴量と類似する位置をステップＳ６２で切り出した画像中から探索し、追跡対象の位置を特定する。例えば、追跡処理には、上記したＧＯＴＵＲＮやＳｉａｍＲＰＮなどの特徴抽出処理を用いてもよい。
　＜移動軌跡計算部７＞
　移動軌跡計算部７は、過去フレームで撮像したフレームＦ（ｔ-１）から現在フレームＦ（ｔ）において、追跡対象の立体物が移動した距離と、撮像装置３００の撮像間隔情報から追跡立体物の速度を算出し、また車両情報取得装置４００から取得した車両パラメータを用いて、自車挙動による移動量を差し引くことで追跡立体物の対地速度も算出する。
そして、求めた現在フレームでの追跡立体物の移動情報と、過去の移動情報をもとに複数フレームでフィルタした移動情報をそれぞれ算出する。例えば、複数フレームの移動情報を算出するには、カルマンフィルタなどの速度フィルタ処理を用いてもよい。
　＜追跡継続判断部８＞
　追跡継続判断部８は、立体物を追跡継続すべきか否かを判断する。図５は、追跡継続判断部８の処理を示すフローチャートである。図５のフローチャートに基づく動作は以下の通りである。
　ステップＳ８１：
　立体物追跡部６で追跡した立体物は、誤追跡により背景（例えば、壁や木）や他立体物などに乗り移る可能性があるので、追跡継続判断部８は、立体物の種別を再度判定する。
ここでの種別判定には、例えばＣＮＮを利用して、複数種別に分類するマルチクラス分類実施してもよい。
　ステップＳ８２：
　追跡継続判断部８は、ステップＳ８１で種別判定した結果が、過去の種別結果と一致しているか判定する。
　ステップＳ８３：
　追跡継続判断部８は、移動軌跡計算部７で求めた現在フレームでの追跡立体物の移動情報と過去の移動情報をもとに、複数フレームでフィルタした移動情報をそれぞれ取得する。
　ステップＳ８４：
　ステップＳ８２で現在フレームと過去フレームで種別が一致していた場合でも種別が同一の他立体物を追跡している可能性があるため、追跡継続判断部８は、ステップＳ８３で取得した現在フレームでの追跡立体物の移動情報と過去の移動情報をもとに複数フレームでフィルタした移動情報を比較し、移動情報の乖離が少ないかを判定する。さらに、追跡継続判断部８は、種別情報をもとに異常な速度が出ていないかも同時に判定する。例えば、種別が歩行者であるにも関わらず移動軌跡計算部７で求めた速度が時速６０ｋｍ/ｈである場合など、各種別に応じて異常速度を定義し、その定義にしたがって判定してもよい。
　ステップＳ８５：
　追跡継続判断部８は、現在フレームと過去フレームで種別、移動情報をもとに同一物体を追跡できていると判断した結果、次のフレームにおいても追跡を継続する。
　ステップＳ８６：
　追跡継続判断部８は、現在フレームと過去フレームで種別、移動情報のいずれかで同一物体を追跡できていないと判断した結果、次のフレームにおいては追跡を停止する。
　＜追跡信頼度判定部９＞
　追跡信頼度判定部９は、継続判断部８で追跡継続と判断した追跡立体物に対し、移動軌跡計算部７から移動情報を取得し、追跡信頼度を判定する。例えば、これまでの移動情報から速度の分散、または標準偏差を算出し、種別毎にあらかじめ定めた閾値と比較し、閾値からの差で信頼度を高、中、低の３段階に判定してもよい。
　＜制御対象決定部１０＞
　制御対象決定部１０は、追跡信頼度判定部９で判定した信頼度が閾値以上の立体物に対し、移動軌跡計算部７で算出した立体物の移動情報から自車との衝突可能性があるか判断し、自車と衝突可能性があると判断した場合には、車両制御装置５００に車両制御に必要な情報を算出し、通知する。例えば、通知する情報として、ＴＴＣや、現在の立体物位置、速度、種別などであってもよい。
　＜本実施例の効果＞
　以上で説明したように、本実施例の画像処理装置によれば、撮像条件（カメラパラメータ、または、車両パラメータ）が大きく変化した場合に、追跡対象の立体物の特徴量を再計算するので、車載カメラの撮像環境が大きく変化した場合であっても、再計算した特徴量を利用することで、同一物体を安定して追跡することが可能となる。
１００…画像処理装置、１…特徴量再計算判定部、２…記憶部、３…追跡対象決定部、４…追跡対象特徴量計算部、５…探索領域決定部、６…立体物追跡部、７…移動軌跡計算部、８…追跡継続判断部、９…追跡信頼度判定部、１０…制御対象決定部、２００…露光制御装置、３００…撮像装置、４００…車両情報取得装置、５００…車両制御装置

Claims (9)

  1. 　車載されたカメラで取得された画像から追跡対象とする立体物を検知する追跡対象検知部と、
    　前記追跡対象とする立体物の特徴量を求める追跡対象特徴量計算部と、
    　前記特徴量に基づき、時系列で取得される画像から前記追跡対象とする立体物を探索することで、前記追跡対象とする立体物を追跡する立体物追跡部と、
    　前記特徴量を求めたときの前記カメラの撮像条件であるカメラパラメータまたは自車挙動を記憶する記憶部と、を備え、
    　前記時系列で取得される画像を撮像したときのカメラパラメータまたは自車挙動を、前記特徴量を求めたときのカメラパラメータまたは自車挙動と比較し、当該比較の結果が所定の条件を満たさない場合には、前記追跡対象とする立体物の特徴量を再計算し、当該再計算後の特徴量を用いて前記追跡対象とする立体物の追跡を継続することを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記比較の結果が所定の条件を満たす場合には、時系列で取得される複数の画像にわたって、同じ特徴量に基づいて前記追跡対象とする立体物を探索することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記カメラパラメータは前記カメラの露光条件であって、
    　前記所定の条件は、前記時系列で取得される画像を撮像したときの露光条件と、前記特徴量を求めたときの露光条件とが、一定の範囲内にあることであることを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記露光条件は前記カメラのシャッタースピードであることであることを特徴とする画像処理装置。
  5. 　請求項３に記載の画像処理装置において、
    　前記露光条件は前記カメラのゲインであることを特徴とする画像処理装置。
  6. 　請求項１に記載の画像処理装置において、
    　前記所定の条件は、前記時系列で取得される画像を撮像したときの自車挙動と、前記特徴量を求めたときの自車挙動とが、一定の範囲内にあることであることを特徴とする画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記自車挙動は、ヨーレート、操舵角、車速から求められることを特徴とする画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記所定の条件を満たさない場合とは、前記ヨーレートから求めた車両挙動が、直進、右旋回、左旋回の何れかのステータスから、他のステータスに変化した場合であることを特徴とする画像処理装置。
  9. 　車載されたカメラで取得された画像から追跡対象とする立体物を検知する追跡対象検知ステップと、
    　前記追跡対象とする立体物の特徴量を求める追跡対象特徴量計算ステップと、
    　前記特徴量に基づき、時系列で取得される画像から前記追跡対象とする立体物を探索することで、前記追跡対象とする立体物を追跡する立体物追跡ステップと、
    　前記特徴量を求めたときの前記カメラの撮像条件であるカメラパラメータまたは自車挙動を記憶する記憶ステップと、を備え、
    　前記時系列で取得される画像を撮像したときのカメラパラメータまたは自車挙動を、前記特徴量を求めたときのカメラパラメータまたは自車挙動と比較し、当該比較の結果が所定の条件を満たさない場合には、前記追跡対象とする立体物の特徴量を再計算し、当該再計算後の特徴量を用いて前記追跡対象とする立体物の追跡を継続することを特徴とする画像処理方法。
PCT/JP2022/004764 2021-09-02 2022-02-07 画像処理装置 WO2023032255A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022002874.2T DE112022002874T5 (de) 2021-09-02 2022-02-07 Bildverarbeitungsvorrichtung
JP2023545015A JPWO2023032255A1 (ja) 2021-09-02 2022-02-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-143338 2021-09-02
JP2021143338 2021-09-02

Publications (1)

Publication Number Publication Date
WO2023032255A1 true WO2023032255A1 (ja) 2023-03-09

Family

ID=85411098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004764 WO2023032255A1 (ja) 2021-09-02 2022-02-07 画像処理装置

Country Status (3)

Country Link
JP (1) JPWO2023032255A1 (ja)
DE (1) DE112022002874T5 (ja)
WO (1) WO2023032255A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2020198074A (ja) * 2019-05-29 2020-12-10 株式会社デンソーテン 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
WO2021059765A1 (ja) * 2019-09-26 2021-04-01 ソニー株式会社 撮像装置、画像処理システム、画像処理方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300887B2 (en) 2007-05-10 2012-10-30 Honda Motor Co., Ltd. Object detection apparatus, object detection method and object detection program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2020198074A (ja) * 2019-05-29 2020-12-10 株式会社デンソーテン 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
WO2021059765A1 (ja) * 2019-09-26 2021-04-01 ソニー株式会社 撮像装置、画像処理システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2023032255A1 (ja) 2023-03-09
DE112022002874T5 (de) 2024-03-28

Similar Documents

Publication Publication Date Title
US20180150704A1 (en) Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
US8194998B2 (en) Preceding vehicle detection system
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN111033510A (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
WO2016189112A1 (en) Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
CN108162858B (zh) 车载监控装置及其方法
JP2015165381A (ja) 画像処理装置、機器制御システム、および画像処理プログラム
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
US9230179B2 (en) Driver assistance system, driver assistance method and information storage medium
JP6722084B2 (ja) 物体検出装置
JP6756908B2 (ja) 車両周囲の歩行者を検出する方法及び装置
US8160300B2 (en) Pedestrian detecting apparatus
JP2008117073A (ja) 割り込み車両検出装置
JP2010040015A (ja) 車両用道路形状検出装置
CN110944895B (zh) 用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方法和设备
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
Lim et al. Forward collision warning system for motorcyclist using smart phone sensors based on time-to-collision and trajectory prediction
WO2023032255A1 (ja) 画像処理装置
JP2007299045A (ja) 車線認識装置
EP4113377A1 (en) Use of dbscan for lane detection
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
US12024177B2 (en) Sensor abnormality estimation device
WO2022130709A1 (ja) 物体識別装置、および、物体識別方法
CN113673383B (zh) 一种面向复杂道路场景的时空域障碍物检测方法及系统
JP7231736B2 (ja) 物体識別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863845

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545015

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022002874

Country of ref document: DE