WO2013146737A1 - 運転行動診断装置、運転行動診断方法、及びそのプログラム - Google Patents

運転行動診断装置、運転行動診断方法、及びそのプログラム Download PDF

Info

Publication number
WO2013146737A1
WO2013146737A1 PCT/JP2013/058697 JP2013058697W WO2013146737A1 WO 2013146737 A1 WO2013146737 A1 WO 2013146737A1 JP 2013058697 W JP2013058697 W JP 2013058697W WO 2013146737 A1 WO2013146737 A1 WO 2013146737A1
Authority
WO
WIPO (PCT)
Prior art keywords
stop
driving behavior
vehicle
unit
stop line
Prior art date
Application number
PCT/JP2013/058697
Other languages
English (en)
French (fr)
Inventor
高橋　勝彦
淳 内村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013146737A1 publication Critical patent/WO2013146737A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the present invention analyzes video obtained from an in-vehicle camera and correctly pauses at a point where the driver is required to pause or stop (hereinafter referred to as “pause together”).
  • the present invention relates to a driving behavior diagnostic device for diagnosing whether or not there is.
  • the number of cases in which a camera is mounted inside a vehicle has been increasing for the purpose of constantly recording the situation ahead of the vehicle and assisting safe driving, and the driver is obliged to pause by analyzing the video obtained from this in-vehicle camera.
  • the point where the temporary stop is required refers to, for example, a temporary stop intersection, a red light intersection, a railroad crossing, and the like.
  • Patent Document 1 detects a stop line and a stop sign from an in-vehicle camera image from within the same video frame, and based on the relative relationship of the distance to them, they are really a stop sign.
  • a vehicle exterior recognition device that accurately determines whether a stop line is present is disclosed.
  • Patent Document 2 discloses a driving evaluation device capable of ranking and scoring that can enhance the motivation of a driver for safe driving.
  • Patent Document 3 discloses an image recognition apparatus that can extract and recognize only a stop line that is obligated to pause, and can increase the recognition accuracy.
  • Patent Document 3 discloses a technique relating to an image recognition apparatus that can extract and recognize only a stop line that is obligated to pause, and can improve the recognition accuracy.
  • the first problem is a sign such as a three-dimensional structure that indicates the presence of a point that requires the driver to stop, such as a stop sign or a red light, and on the road surface that indicates the point where the vehicle should stop. Since it is rare that the stop line can be extracted from the same video frame, it is difficult to detect the point to be paused.
  • FIGS. 15A is an example of an image in which the presence of the stop sign 201 can be confirmed.
  • a slight error in the depression angle of the in-vehicle camera causes a large error in estimating the distance to the stop line based on the triangulation principle. There is.
  • FIG. 15 (b) is a diagram showing an example of an image in which the presence of the stop line 202 at the temporary stop intersection can be clearly confirmed.
  • the stop sign is already outside the imaging range of the image and cannot be detected.
  • the second problem is that, in the technique described in Patent Document 1, the stop sign and stop line detection processing must be executed for each frame of the acquired video frame, and the amount of calculation is large. is there.
  • a conventional means in image recognition a means of performing image recognition every n (n ⁇ 1) frames can be considered.
  • the value of n is fixed to an appropriate value by the developer's intuition and processed. Normally, when there are a plurality of detection objects, they are not dynamically optimized in consideration of their characteristics.
  • Patent Document 2 is intended to raise safety awareness, and obtains a driving evaluation result of another vehicle in the same driving evaluation execution area by radio to obtain a driving evaluation result of the own vehicle. Is output in comparison with the obtained driving evaluation result of the other vehicle, and as in the case of Patent Document 1 described above, the driver correctly pauses at the point where the driver is required to pause. There is no particular disclosure regarding the diagnostic technique of whether or not it is performed.
  • Patent Document 3 is mainly focused on extracting and recognizing only a temporary stop line, and the object is limited to a combination of a stop line and a character string. Recognizes the characters “Torare” on the road in the order of “Re ⁇ ma ⁇ to” with the back camera, and “the most important issue is to distinguish between the stop line that is obligated to pause and the other stop lines. For this reason, as in the case of each of Patent Documents 1 and 2 described above, this Patent Document 3 also indicates whether or not the driver has correctly paused at the point where the driver is required to pause. There is no particular disclosure regarding the diagnostic technique.
  • the present invention improves the inconveniences of the related art, and in particular, a mark (three-dimensional structure) indicating the presence of a point requiring the driver to stop temporarily is combined with a stop line on the road surface on which the vehicle should stop.
  • the purpose of the present invention is to provide a driving behavior diagnosis device, a driving behavior diagnosis method, and a program thereof capable of diagnosing whether or not the temporary stop is correctly performed even in a case where the video frame cannot be extracted from the video frame. .
  • a driving behavior diagnosis apparatus includes an image input unit that sequentially inputs image data including a plurality of frames, and a position information output unit that outputs position information and speed information of the host vehicle. And a driving behavior diagnostic device comprising a diagnostic device body for diagnosing the driving behavior of the host vehicle based on output information from each of these components, The diagnostic apparatus main body detects a structure instructing a temporary stop or stop based on the image data and calculates a distance from the own vehicle, and a stop line based on the image data.
  • a stop line detection unit that detects and calculates a distance from the host vehicle, and whether the host vehicle temporarily stops when the host vehicle passes the stop line
  • a temporary stop determination processing unit and a main control unit that controls operations of these units are provided.
  • a driving behavior diagnosis method includes an image input unit that sequentially inputs image data including a plurality of frames, and a position information output unit that outputs position information of the host vehicle and vehicle speed information. Then, in a driving behavior diagnostic device comprising a diagnostic device main body for diagnosing the driving behavior of the host vehicle based on output information from each of these components, Based on the input image data, a structure that instructs a pause or stop is detected and a distance from the host vehicle is calculated (pause instruction structure detection step), Based on the image data, a stop line is detected and a distance from the vehicle is calculated (stop line detection step), It is determined based on the position information and the vehicle speed information of the own vehicle specified by the position information output unit whether the own vehicle is temporarily stopped when the own vehicle passes the stop line (temporary stop determination processing step) , The diagnostic apparatus main body executes the processing steps relating to the calculation of the distances and the determination of whether or not to pause.
  • a driving behavior diagnosis program includes an image input unit that sequentially inputs image data including a plurality of frames, and a position information output unit that outputs position information of the host vehicle and vehicle speed information. Then, in a driving behavior diagnostic device comprising a diagnostic device main body for diagnosing the driving behavior of the host vehicle based on the output information from each of these parts, A stop instruction structure detection processing function for detecting a structure instructing a pause or stop based on the input image data and calculating a distance from the own vehicle; A stop line detection processing function for detecting a stop line based on the image data and calculating a distance from the own vehicle; And a temporary stop determination processing function for determining whether the own vehicle has temporarily stopped when the own vehicle passes the stop line based on the position information and the vehicle speed information of the own vehicle specified by the position information output unit. Prepared, These processing functions are realized by a computer provided in the diagnostic apparatus main body.
  • a mark (three-dimensional structure) indicating the presence of a point requiring the driver to stop, such as a stop sign or a red light, and a stop line on the road surface on which the vehicle should stop are provided.
  • stop line detection processing is executed for an image of a video frame after the frame in which the three-dimensional structure is detected after executing the processing for detecting the three-dimensional structure.
  • FIG. 1 (A) is a functional block diagram which shows the structure
  • FIG.1 (B) is the hardware constitutions which make the background of FIG. 1 (A).
  • FIG. 1 (B) is the hardware constitutions which make the background of FIG. 1 (A).
  • FIG. 3 is a chart showing an example of information stored in an information storage unit provided alongside the main control unit in FIG. 2.
  • FIG. 5A is a diagram showing a second embodiment of the driving behavior diagnosis apparatus according to the invention
  • FIG. 5A is a functional block diagram showing the configuration
  • FIG. 5B is an example of a hardware configuration that forms the background of FIG.
  • It is a block diagram which shows the example of the specific content of the main control part which shows the principal part of 2nd Embodiment disclosed in FIG.
  • It is a flowchart which shows an example of operation
  • It is a schematic diagram which shows the case where the vehicle-mounted camera with which 3rd Embodiment disclosed by FIG. 8 was equipped has caught the temporary stop instruction
  • 10 is a chart showing an example of the size (number of pixels) of a pause instruction structure in an image with respect to distance information between the in-vehicle camera and the pause instruction structure disclosed in FIG. 9. It is a schematic diagram which shows the example at the time of seeing the condition where the vehicle-mounted camera disclosed in FIG. 8 is catching the stop line from the side. 10 is a chart showing an example of the size (number of pixels of width) of a pause instruction structure in an image with respect to distance information between the in-vehicle camera and the pause instruction structure disclosed in FIG. 9. It is a flowchart which shows operation
  • FIG. 1A is a functional block diagram showing the configuration of the driving behavior diagnosis apparatus 10 according to the first embodiment
  • FIG. 1B is an example of the hardware configuration that forms the background of FIG. FIG.
  • a driving behavior diagnosis apparatus 10 includes an image input unit 11 that sequentially inputs image data including a plurality of frames, and a position information output unit 12 that outputs position information and vehicle speed information of the host vehicle.
  • the diagnostic apparatus main body 10A for diagnosing the driving behavior of the host vehicle based on the output information from each of these parts is provided.
  • the diagnostic apparatus main body 10A detects a structure instructing a pause or stop based on the image data and calculates a distance from the own vehicle, and a pause instruction structure detection unit 13 based on the image data.
  • 12 is provided with a suspension determination processing unit 15 that is determined based on information from 12 and a main control unit 16 that controls operations of these units.
  • the main control unit 16 determines the temporary stop instruction structure detection unit 13, the stop line based on the information on the object to be detected in the next frame obtained from the image data and the positional relationship between the host vehicle and the stop line.
  • a selective activation control function is provided for performing activation control on either the detection means 14 or the temporary stop determination unit 15.
  • the driving behavior diagnosis apparatus 10 includes the image input unit 11, the position information output unit 12, the pause instruction structure detection unit 13, the stop line detection unit 14, the pause determination unit 15, and the main control unit. 16, which is mounted on a vehicle and diagnoses the driving behavior of the vehicle in real time.
  • the image input part 11 is comprised by the vehicle-mounted camera in this 1st Embodiment, and is provided with the function to output the video data acquired every moment.
  • the position information output unit 12 has a function of measuring the accumulated distance traveled from the current position of the vehicle or a certain point and outputting it to the main control unit 16 described later.
  • the output information from the position information output unit 12 may be, for example, latitude / longitude information obtained by GPS when outputting as the current position.
  • the cumulative distance traveled from a certain point may be the cumulative travel distance from the nearest intersection or gasoline refueling point, or the cumulative travel distance since the vehicle was produced.
  • any two time points in the time interval in which the temporary stop instruction structure is determined from the time when the temporary stop instruction structure is detected outputs information that can determine the travel distance of the host vehicle. Also, the instantaneous speed can be obtained by dividing the travel distance by time. Conversely, the position information output unit 12 may be configured to output vehicle speed information. In that case, the cumulative distance traveled from a certain point can be obtained by integrating with time.
  • the temporary stop instruction structure detection unit 13 detects a structure instructing a temporary stop from an image using an image recognition technique, and outputs the presence / absence of the structure and the distance information to the structure when it exists. It has a function to do.
  • the structure instructing the temporary stop is, for example, a temporary stop sign, a red light, a railroad crossing, etc., and all form a pair with the stop line to be temporarily stopped. Detection of the temporary stop instruction structure can be performed based on a generalized Hough transform for detecting a red inverted triangle or a red high-luminance circular region, or a pattern matching method.
  • the distance to the stop instruction structure is calculated from the relationship between the camera internal parameters of the imaging means and the size of the object detected from the image, using the standardized shape and shape of the object. Is done.
  • the length of one side in the real world of the pause indication is 0.6 [m]
  • the number of pixels on one side of the pause indication in the image is 60 (pixels)
  • the inter-pixel pitch of the image sensor of the in-vehicle camera is
  • the focal length of the optical system of the in-vehicle camera is 0.01 [mm] and 0.005 [m]
  • the distance from the on-vehicle camera to the vehicle tip in advance can also be measured. If the structure instructing the temporary stop is a red signal or a crossing, it may be determined from the diameter of the circular lighting part, or the amount of change in the moving distance of the vehicle and the diameter of the circular lighting part in a certain time section It may be estimated from
  • the stop line detection unit 14 detects a stop line from the image by using an image recognition technique, and outputs information on the presence or absence of the stop line and distance information to the stop line.
  • the stop line can be detected by a technique based on an image recognition technique such as Hough transform.
  • an image recognition technique such as Hough transform.
  • the temporary stop determination unit 15 determines whether or not the host vehicle has appropriately paused based on the change speed of the position of the host vehicle before and after the frame where the tip of the host vehicle is considered to have reached the stop line.
  • the temporary stop determination unit 15 is based on vehicle position information held by a main control unit 16 (to be described later) or distance information traveled from a certain point. If is sufficiently small, it may be determined that the operation has been paused.
  • the main control unit 16 includes a next process determination / startup unit 16 ⁇ / b> A and a detection target update unit 16 ⁇ / b> B, and is provided with an information storage unit 17 at the same time.
  • predetermined information is input to the main control unit 16 from the image input unit 11 and the position information output unit 12.
  • the information storage unit 17 is controlled by the main control unit 16 to store the position information of the own vehicle input from the position information output unit 12 or the distance information from a certain point and the object to be detected.
  • the information to be shown and the detection result information by the stop instruction structure detector 13 or the stop line detector 14 are stored retroactively.
  • FIG. 3 is a chart showing an example of information stored when passing the temporary stop intersection.
  • the frame number 301 the cumulative travel distance [m] 302, the speed [m / s] 303, the detection target 304 in each frame, the detection presence / absence 305 regarding the stop sign, It includes a distance [m] 306 to the stop sign, a detection presence / absence 307 regarding the stop line, and a distance [m] 308 to the detected stop line.
  • the speed value is a value calculated from the accumulated distance value on the assumption that an image is obtained at 10 [frames / second] in this example. In this example, it is indicated that the stop sign is continuously detected from the frame 00100 to the frame 00103. Similarly, it is shown that a stop line is detected from the frames 00108 to 00109.
  • the reason why the distance 306 is stored from the frame 00104 to the frame 00108 in which the stop sign is not detected is that the next process determination / starting unit 16A described later is based on the previous detection result and the cumulative travel distance of the vehicle. This is because the estimated distance to the stop sign is estimated and stored.
  • the negative distance value indicates the distance that has passed through the estimated position.
  • the distance value may be estimated until the vehicle travels a certain distance after passing the stop sign. In the example disclosed in FIG. 3, the distance value is estimated until 3 [m] passes. The same applies to the stop line.
  • the initial value of the detection target 304 is a temporary stop sign.
  • next process determination / activation unit 16A activates any one of the pause instruction structure detection unit 13, the stop line detection unit 14, or the pause determination unit 15 based on the information stored in the information storage unit 17.
  • the temporary stop instruction structure detection unit 13 When the detection target 304 for the current frame stored in the information storage unit 17 is a temporary stop instruction structure, the temporary stop instruction structure detection unit 13 is started, and when the detection target 304 is a stop line, the stop line detection unit 14 is started. . Detection results by the temporary stop instruction structure detection unit 13 and the stop line detection unit 14 are controlled by the main control unit 16 and stored in the information storage unit 17. In addition, in the frame in which the detection target 304 is “none” and the presence / absence of pause is to be determined, the pause determination unit 15 is activated. If it is not a frame for determining whether or not there is a pause, the processing for this frame is terminated.
  • the frame for which the presence or absence of the pause should be determined can be determined as follows. First, assuming that the stop line detection unit 14 detects a stop line in front of the host vehicle D [m] at time ta, the time when the host vehicle has reached the stop line satisfies the following formula (1). Since it is time T (or time T-1), the pause determination unit 15 may be activated in the frame corresponding to this time.
  • the stop determination unit 15 may be activated, and if there is a frame having a sufficiently small di, it may be determined that the frame is temporarily stopped.
  • the function of the detection target update unit 16B provided in the main control unit 16 will be described. First, if the pause instruction structure that has been detected up to the previous frame is no longer detected, the detection target for the next frame is changed to a stop line. Similarly, in the case of a stop line, if the stop line that has been detected up to the previous frame is no longer detected, the detection target for the next frame is changed to “none”.
  • the detection target is reset to the temporary stop instruction structure.
  • the stop line is not detected even after passing through the temporary stop instruction structure for a certain distance, it is determined that the stop line is blurred and it is difficult to determine the stop. If the temporary stop determination means does not detect a stop before passing the stop line for a certain distance, it is determined that the temporary stop has not been made at this point.
  • a detection target is specified as a temporary stop instruction structure and initialized (FIG. 4: step S101).
  • the image input unit 11 captures one frame of the in-vehicle camera image and outputs it to the main control unit 16 (FIG. 4: step S102).
  • the position information output unit 12 acquires the position information of the host vehicle or the accumulated travel distance information and sends it to the main control unit 16 (FIG. 4: step S103).
  • the main control unit 16 stores the position information input from the position information output unit 12 in the information storage unit 17 (FIG. 4: step S104).
  • the temporary stop instruction structure detection unit 13 is operated (FIG. 4: steps S105, S105A / pause instruction structure detection process).
  • the stop line detection unit 14 (FIG. 4: steps S106, S106A / stop line detection step) is used.
  • the pause determination unit 15 (FIG. 4: steps S107, S107A / temporary). The stop determination step) is activated, and the detection result information is stored in the information storage unit 17 (FIG. 4: Step S108 / selection activation step).
  • step S109 it is verified whether or not the detection target is changed after the next frame. If a change is necessary, the detection target is changed to a new detection target (FIG. 4: step S110). Then, as long as the image input continues, the process returns to step S102 and the above process is repeated.
  • the above-described driving behavior diagnosis apparatus 10 includes an ECU (Electronic Control Unit) 10A, an in-vehicle camera (image input unit) 11, and a vehicle speed sensor (position information output unit) 12 as shown in FIG. It may be. Then, the module described above is mounted and operated in the apparatus having this configuration.
  • ECU Electronic Control Unit
  • in-vehicle camera image input unit
  • vehicle speed sensor position information output unit
  • the ECU 10A performs control and calculation of the entire apparatus, and includes, for example, a CPU (main control unit 16), an information storage unit 17 including a RAM and a ROM, a signal processing circuit 18, a power supply circuit 10P, and the like. .
  • the ECU 10A includes the temporary stop instruction structure detection unit 13, the stop line detection unit 14, the temporary stop determination unit 15, and the main control unit 16 described above.
  • the first embodiment it is possible to make a diagnosis by reducing the amount of calculation as to whether or not the driver correctly pauses at a point where the driver is required to pause. This is because only one means of the suspension instruction structure detection unit 13, the stop line detection unit 14, or the suspension determination unit 15 is executed for one frame at most. This is based on the physical property that in a vehicle-mounted camera image, a structure instructing a temporary stop can be detected first, and then a stop line drawn on the road surface can be detected.
  • the main control unit 16 detects the pause instruction structure detection unit 13 if the detection target in the current frame is a pause instruction structure, and detects the stop line if the detection target is a stop line.
  • the pause determination unit 15 is activated for each unit 14, but is estimated based on the position information input from the position information output unit 12. The above processing is activated only when the vehicle speed or the movement distance per unit time is within a predetermined value range, and when it is outside the predetermined value range, the above processing is not activated at all. You may comprise so that it may not perform.
  • the temporary stop instruction structure detection unit 13 that requires a relatively large amount of calculation in the entire apparatus.
  • the power consumption can be reduced by not executing the stop line detection unit 14.
  • the temporary stop instruction structure detection unit 13 or the stop line detection unit 14 is not executed. Electric power can be reduced.
  • the main control unit 16 changes the detection target to the stop line and starts the stop line detection unit 14 when the temporary stop instruction structure is once detected and is no longer detected.
  • the stop line detection unit 14 may not be activated until the estimated distance between the host vehicle and the temporary stop instruction structure is equal to or less than a certain value. This is because the stop line generally does not exist more than a certain distance before the stop instruction structure.
  • the functions of the temporary stop determination unit 15 and the main control unit 16 have been described using the concept of time, they may be replaced with frames. This is because it is easy to know the time length between arbitrary frames if the frame rate is known. Further, the above-described image input unit 11 may be configured by a video playback device that plays back in-vehicle camera video recorded in advance and performs offline processing outside the host vehicle.
  • the driving behavior diagnosis apparatus 20 includes an image input unit 21, a position information output unit 22, a pause instruction structure detection unit 13, as in the case of the first embodiment described above. It consists of the stop line detection part 14, the temporary stop determination part 15, and the main control part 26, and is installed outside the vehicle and diagnoses driving behavior offline.
  • Reference numeral 20A denotes a diagnostic apparatus body that functions in the same manner as the diagnostic apparatus body 10A in the first embodiment described above.
  • the temporary stop instruction structure detection unit 13, the stop line detection unit 14, and the temporary stop determination unit 15 are the same.
  • a position information output unit 22 is provided instead of the position information output unit 12, and there is a slight difference regarding the functions of the image input unit 21 and the main control unit 26.
  • the image input unit 21 is composed of a video playback device such as a DVD player or a PC that plays back video data obtained by recording in-vehicle camera video.
  • An image of a frame designated by the main control unit 26 described later is output.
  • the position information output unit 22 corresponds to the frame designated by the main control unit 26 from the vehicle position information recorded in advance in synchronization with the in-vehicle camera image or the accumulated distance information from a certain point.
  • the information to be read is read and output to the main control unit 26.
  • the main control unit 26 includes a next process determining / starting unit 16 ⁇ / b> A, a detection target update unit 16 ⁇ / b> B, and a next process frame designating unit 26 ⁇ / b> C, and is also provided with the information storage unit 17.
  • the next process determination / starting unit 16A, the detection target update unit 16B, and the information storage unit 17 are the same as those in the first embodiment described above.
  • the next processing frame designating unit 26C has a function of determining the number of the frame to be processed next and instructing the image input unit 21 and the position information output unit 22.
  • the main control unit 16 is synchronized by acquiring information from the image input unit 11 and the position information output unit 12 at the same timing.
  • the frame number to be processed next is notified in order to synchronize each part of the image input unit 11 and the position information output unit 12.
  • the frame to be processed next is basically the frame next to the frame processed last time.
  • Other configurations are the same as those of the first embodiment described above.
  • the detection target is set as a temporary stop instruction structure, and is initialized to this (FIG. 7: step S201).
  • the main control unit 26 determines a frame number to be processed next, and outputs it to the image input unit 21 and the position information output unit 22 (FIG. 7: step S202).
  • one frame of the video corresponding to the frame determined in step S202 is read from the in-vehicle camera video stored in advance by the image input unit 21 and output to the main control unit 26 (FIG. 7: step S203).
  • the position information output unit 22 reads the position information of the host vehicle or the accumulated travel distance information corresponding to the frame determined in step S202, and outputs it to the main control unit 26 (FIG. 7: step S204).
  • the main control unit 26 stores the position information input from the position information output unit 22 (FIG. 7: Step S205).
  • the pause instruction structure detection unit 13 When the detection target in the current frame is a pause instruction structure, the pause instruction structure detection unit 13 (FIG. 7: Steps S206 and S206A), and when the detection target is a stop line, the stop line detection unit 14 ( FIG. 7: Steps S207 and S207A), and if it is a frame for which the presence / absence of pause is to be determined, the pause determination unit 15 is activated (FIG. 7: Steps S208 and S208A), and the detection result information is stored (FIG. 7). : Step S209).
  • Step S210 it is verified whether or not the detection target is changed after the next frame. If a change is necessary, the detection target is changed to a new detection target (FIG. 7: Step S211). Then, the processes in steps S202 to S210 are repeated until the video is read.
  • the driving behavior diagnosis apparatus 20 described above is configured by a computer 20B, an in-vehicle camera (image input unit) 21, and a vehicle speed sensor (position information output unit) 22 as shown in FIG. Also good. Then, the module described above is mounted and operated in the apparatus having this configuration.
  • the computer 20B performs control and calculation of the entire apparatus, and includes, for example, a CPU (main control unit 26), an information storage unit 17 including a RAM and a ROM, a signal processing circuit 18, a power supply circuit 10P, and the like.
  • the computer 20B includes the temporary stop instruction structure detection unit 13, the stop line detection unit 14, the temporary stop determination unit 15, and the main control unit 26 described above.
  • the temporary stop instruction structure has the same effects as those of the first embodiment described above, and further requires, for example, a relatively large amount of calculation in the entire apparatus. If the object detection unit 13 or the stop line detection unit 14 is not executed, there is an advantage that the video processing time can be further greatly reduced.
  • the driving behavior diagnosis device 30 in the third embodiment is characterized in that, in addition to the case of the second embodiment in FIG. 5, the main control unit 36 is additionally equipped with a frame skip processing unit 36a.
  • Have Reference numeral 30A denotes a diagnostic apparatus body that functions in the same manner as the diagnostic apparatus body 20A in the second embodiment described above.
  • the frame skip processing unit 36a outputs a frame number to be read next to the main control unit 36 in accordance with the type of the next detection target and the previously processed frame number.
  • the frame skip processing unit 36a outputs a frame number to be read next to the main control unit 36 in accordance with the type of the next detection target and the previously processed frame number. For example, if the next detection target is a pause instruction structure, the frame number of the M ( ⁇ 1) frame from the previously processed frame is used, and if the next detection target is a stop line, the previous processing frame To N ( ⁇ 1) frame numbers are output.
  • M ⁇ N.
  • the pause instruction structure detection unit 13 can detect an object having a width of 60 [cm] having a size of 25 to 35 pixels on the image, the pause instruction structure from the table of FIG. The distance to the object can be detected in the range of about 26 [m] to 19 [m].
  • the number of imaging elements 21B of the in-vehicle camera 21 is 2028 pixels in length
  • the vertical angle of view T ⁇ is 32.7 degrees
  • the ground height H ⁇ of the in-vehicle camera 21 is 120 [cm]
  • the camera of the in-vehicle camera 21 Assuming that the optical axis is installed parallel to the road surface, the stop line LT having a width of 30 [cm] on the road surface is shown in FIG. 12 according to the distance Z [m] from the in-vehicle camera 21 to the stop line ( Pixel).
  • the detection target is a temporary stop instruction structure and is initialized (FIG. 13: step S601).
  • the main control unit 36 activates the frame skip processing unit 36a, determines the frame number to be processed next, and outputs it to the image input unit 21 and the position information output unit 22 (FIG. 13: step S602).
  • one frame corresponding to the frame determined in step S602 is read from the in-vehicle camera images stored in advance by the image input unit 21 and output to the main control unit 36 (FIG. 13: step S603).
  • the position information output unit 22 reads the position information of the host vehicle corresponding to the frame determined in step S602 or the accumulated travel distance information and outputs it to the main control unit 36 (FIG. 13: step S604).
  • the main control unit 36 stores the position information input from the position information output unit 22 (FIG. 13: Step S605).
  • the pause instruction structure detection unit 13 is used (FIG. 13: Steps S606 and S606A), and when the detection target is a stop line, the stop line detection unit 14 is used ( FIG. 13: Steps S607 and S607A), if it is a frame for which the presence / absence of pause is to be determined, the pause determination unit 15 is selected and activated (FIG. 13: Steps S608 and S608A), respectively, and the detection result information is stored ( FIG. 13: Step S609).
  • Step S610 it is verified whether or not the detection target is changed after the next frame. If the change is necessary, the detection target is changed to a new detection target (FIG. 13: Step S611). Then, the process from step S602 to step S610 is repeated until the video is read.
  • the processing time required for the driving behavior diagnosis can be reduced as compared with the case of the second embodiment described in FIG. This is because, depending on whether the detection target is detection of a pause instruction structure or a stop line, it is possible to perform processing by skipping an optimum number of frames, and perform detection processing on the skipped frames. It is not necessary.
  • the maximum speed of the vehicle is fixed to 50 [Km / h] and the number of frames M and N to be skipped is calculated.
  • the frame skip processing unit 36a has M and N values. May be set dynamically in accordance with the driving situation at that time. For example, in order to detect the temporary stop instruction structure from a position away from 19 [m] by 26 [m], at least 7 [m] of the vehicle since the previous temporary stop instruction structure detection unit 13 was executed. It can be seen that the next detection should be performed before progressing.
  • the frame skip processing unit 36a pre-reads the position information from the position information output unit 22, selects a frame in a range in which the moving distance from the previous detection does not exceed 7 [m], and outputs it to the main control unit 36. But you can.
  • the number of skipped frames for the stop line can be determined in the same manner.
  • the number of skipped frames can be increased, and the processing time required for driving behavior diagnosis can be further increased. Can be reduced.
  • the frame skip processing unit 36a dynamically determines a frame to be skipped as described above, when the image input unit 21 is configured by an in-vehicle camera and performs processing in real time in the in-vehicle environment, position information output is performed. The position information cannot be prefetched from the unit 22.
  • the frame skip processing unit 36a uses the maximum amount of movement from the previous detection corresponding to the next detection target as a reference and the position information corresponding to the previously detected frame and the latest own vehicle. Compared with the position information, information for instructing to perform the detection process in the frame immediately before exceeding the maximum movement amount is output to the main control unit 36. Information indicating that the detection process is not performed in a frame that is not so is output to the main control unit 36.
  • the detection target is initialized to a temporary stop instruction structure (FIG. 14: step S701).
  • the main control unit 26 outputs the image data and position information of the next frame to the image input unit 21 and the position information output unit 22 (FIG. 14: step S702).
  • the image input unit 21 captures one frame of the in-vehicle camera video and outputs it to the main control unit 36 (FIG. 14: step S703).
  • the position information output unit 22 takes in the position information of the host vehicle or the accumulated travel distance information and outputs it to the main control unit 36 (FIG. 14: step S704).
  • the main control unit 36 stores the position information input from the position information output unit 22 (FIG. 14: step S705).
  • step S706 the amount of movement from when the frame skip processing unit 36a performs the previous detection process to the present is compared with the maximum amount of movement from the previous detection corresponding to the detection target (FIG. 14: step S706), and the maximum movement is performed. If the amount is not exceeded, information indicating that the detection process is not performed is output to the main control unit 36, and the process returns to step S702.
  • the main control unit 36 when the detection target in the current frame is a pause instruction structure, is a pause instruction structure detection unit. 13 (FIG. 14: Step S707), if the detection target is a stop line, the stop line detection unit 14 (FIG. 14: Step S708), and if the frame to be determined whether there is a pause, the pause determination unit 15 (FIG. 14: Step S709) It starts and memorize
  • Step S711 it is verified whether or not the detection target is changed after the next frame. If the change is necessary, the detection target is changed to a new detection target (FIG. 14: Step S712). Then, the process from step S702 is repeated until the video is read.
  • the third embodiment is configured and functions as described above, according to this, in addition to having the same operational effects as the second embodiment described above, whether or not the vehicle is temporarily stopped correctly is determined. Further, diagnosis can be made quickly.
  • the reason for this is that among the image data sequentially specified by a plurality of frames, one of the above-described pause instruction structure detection unit 13, stop line detection unit 14, and pause determination unit 15 for one frame. This is because any one of the processing units corresponds, and the frame skip unit 36a described above functions effectively to further reduce the number of frames to be processed.
  • the frame skip processing unit 36a functions effectively to enable each of the temporary stop instruction structure detection unit 13 and the stop line detection unit 14 to perform each detection process more promptly.
  • the length of the frame that can be confirmed in the image on the stop sign installed in comparison with the length of the frame that the stop line drawn on the plane parallel to the camera optical axis direction can be confirmed in the image Based on its long nature, it is possible to set the number of skipped frames when detecting a stop sign to be larger than the number of skipped frames when detecting a stop line. It has become.
  • An image input unit 11 that sequentially inputs image data including a plurality of frames, and a position information output unit 12 that outputs position information and vehicle speed information of the host vehicle, and based on output information from these units,
  • a driving behavior diagnosing device including a diagnostic device main body 10A for diagnosing driving behavior,
  • the diagnostic device body is A stop instruction structure detecting unit 13 that detects a structure that instructs a pause or stop based on the image data and calculates a distance from the own vehicle; and a stop line that is detected from the own vehicle based on the image data
  • a stop line detection unit 14 that calculates the distance of the vehicle, and a pause determination that determines whether or not the host vehicle has paused when the host vehicle passes the stop line based on information from the position information output unit 12
  • a driving behavior diagnosis apparatus comprising a processing unit 15 and a main control unit 16 that selectively controls operations of the respective units.
  • the main controller 16 skips the frame specifying the number of frames to be processed to the optimum number of frames depending on whether the object to be detected in the next frame is the pause instruction structure or the stop line.
  • a driving behavior diagnosis apparatus characterized in that a processing unit 36a is additionally provided.
  • the frame skip processing unit 36a is configured to identify the number of skip frames based on the position information of the host vehicle input from the position information output unit 12.
  • the frame skip processing unit 36a via the main control unit 16, corresponds to the temporary stop instruction structure detection unit 13, the stop line detection unit 14, or the temporary stop determination unit 15 corresponding to the specified frame information.
  • a driving behavior diagnosis device comprising an execution command transmission function for transmitting the processing execution command.
  • a driving behavior diagnosis apparatus In the driving behavior diagnosis device according to any one of appendices 1 to 5, A driving behavior diagnosis apparatus, wherein the image input unit is configured by a video playback device that plays back a pre-recorded in-vehicle camera video and performs offline processing outside the host vehicle.
  • Appendix 8 (Invention of Method / Corresponding to Appendix 1) An image input unit 11 that sequentially inputs image data composed of a plurality of frames and a position information output unit 12 that outputs position information and vehicle speed information of the host vehicle are provided. Based on output information from these units 11 and 12.
  • the driving behavior diagnostic device provided with the diagnostic device main body 10A for diagnosing the driving behavior of the host vehicle, Based on the input image data, a structure for instructing a stop or stop is detected, and a distance from the host vehicle is calculated (temporary stop instruction structure detection step), and a stop line is detected on the basis of the image data.
  • a diagnostic method for driving behavior characterized in that the diagnostic apparatus body 10A executes each processing step related to the calculation of each distance and the determination of whether or not there is a pause.
  • Appendix 10 (Appendix 3) In the driving behavior diagnosis method according to appendix 8 or 9, When processing each frame of the input image, it is determined whether an object to be detected in the next frame is the temporary stop instruction structure or a stop line, and based on the determination result and the position information of the host vehicle. The frame skipping process corresponding to the determination result is executed to specify the optimum number of frame processes, A diagnostic method for driving behavior characterized in that the diagnostic apparatus main body 10A executes these in advance.
  • Appendix 11 (Program invention / Appendix 8) An image input unit 11 that sequentially inputs image data including a plurality of frames, and a position information output unit 12 that outputs position information and vehicle speed information of the host vehicle, and based on output information from these units,
  • a stop instruction structure detection processing function for detecting a structure instructing a pause or stop based on the input image data and calculating a distance from the own vehicle
  • a stop line detection processing function for detecting a stop line based on the image data and calculating a distance from the own vehicle
  • a temporary stop determination processing function for determining whether the own vehicle has temporarily stopped when the own vehicle passes the stop line based on the position information and the vehicle speed information of the own vehicle specified by the position information output unit.
  • a driving behavior diagnostic program characterized in that each of these processing functions is realized by a computer provided in the diagnostic apparatus main body 10A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】一時停止地点を示す立体構造物（標識や赤信号）と路上の停止線とを同一の映像フレームから抽出不能でも、一時停止を行ったか否かを診断できる装置を得ること。 【解決手段】複数フレームから成る画像データを順次取り込む画像入力部１１と自車両の位置情報及び車速情報を出力する位置情報出力部１２とを有し、この各部からの情報に基づいて自車両の運転行動を診断する診断装置本体１０Ａを備える。この診断装置本体が、前記画像データに基づいて一時停止若しくは停止を指示する構造物を検知し自車両からの距離を算出する一時停止指示構造物検知部１３と、前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知部１４と、停止線を自車両が通過する際に自車両が一時停止したか否かを位置情報出力部１２からの情報で判定する一時停止判定処理部１５と、これら各部の何れかを個別に選択制御する主制御部１６とを備えたこと。

Description

運転行動診断装置、運転行動診断方法、及びそのプログラム
　本発明は、車載カメラから得られる映像を分析して、運転者が一時停止もしくは停止（以下、両者を合わせて一時停止と呼ぶこととする）が義務づけられている地点において正しく一時停止を行っているか否かを診断する運転行動診断装置に関する。
　近年、車両前方状況の常時記録や安全運転支援を目的として、車両内部にカメラが搭載されるケースが増えており、この車載カメラから得られる映像を分析して、運転者が一時停止が義務づけられている地点において正しく一時停止を行っているか否かを診断したいというニーズがある。ここで、一時停止が義務づけられている地点とは、例えば一時停止交差点、赤信号の交差点、踏切などを指す。
　これに関連する既存の技術として、特許文献１には車載カメラ画像から停止線および一時停止標識を同一の映像フレーム内より検知し、それらまで距離の相対関係に基づき、それらが本当に一時停止標識と停止線であるかを高精度に判定する車外認識装置が開示されている。
　又、これの関連する他の公知技術として、下記特許文献２、３が知られている。
　この内、特許文献２には、運転者の安全運転への動機付けを強くすることができる順位化および得点化が可能な運転評価装置が開示されている。又、特許文献３には、一時停止義務のある停止線のみを抽出して認識することが可能で、かつ、その認識精度を高めることが可能な画像認識装置が開示されている。
　更に、上記特許文献３には、一時停止義務のある停止線のみを抽出して認識することが可能で且つその認識精度を高めることが可能な画像認識装置に関する技術が開示されている。
特開２００７－２５７３０５号公報 特開２００８－１８６０４５号公報 特開２００９－０９９１２５号公報
　しかしながら、上記特許文献１に記載の技術を利用して運転者が一時停止が義務づけられている地点において正しく一時停止を行っているか否かを診断しようとした場合、以下のような課題が存在する。
　第一の課題は、一時停止標識や赤信号のように運転者に一時停止を義務付けている地点の存在を示す立体構造物のような目印と、車両が一時停止すべき地点を示す路面上の停止線とを同一の映像フレームから抽出できることが少ないことから、一時停止すべき地点の検知自体が困難であるという点である。
　図１５（ａ）（ｂ）にその具体例を示す。
　この内、図１５（ａ）は一時停止標識２０１の存在が確認できる画像の例であるが、この映像から停止線２０２を検知するのは困難であり、又、仮に停止線２０２を検知できたとしても、車載カメラと停止線の位置関係の特性から、このような状況においては車載カメラの俯角のわずかな誤差が、三角測量の原理に基づく停止線までの距離推定に大きな誤差を及ぼすという課題がある。
　一方、図１５（ｂ）は一時停止交差点の停止線２０２の存在が明確に確認できる映像の一例を示す図である。このように、停止線と車両との距離が近い映像からは、車載カメラの俯角の誤差による影響が低減され、停止線までの距離を比較的高精度に推定することが可能である。しかしながら、この場合、一時停止標識はすでに画像の撮像範囲外にあり、検知不可能となっている。
　第二の課題は、上記特許文献１に記載の技術では基本的に一時停止標識および停止線の検知処理を取得した映像フレームのフレーム毎に実行しなければならず、計算量が多いという点である。画像認識における常套手段として、ｎ（ｎ≧１）フレームおきに画像認識を行うという手段も考え得るが、ｎの値は開発者の勘で適当な１つの値に固定されて処理されるのが常であり、検知対象物が複数存在するときにそれぞれの特性を勘案して動的に最適化されるようなことはされていない。
　又、上記特許文献２に開示された発明は、安全意識を高めことを意図したものであり、同一の運転評価実行エリアにおける他車両の運転評価結果を無線取得して、自車両の運転評価結果を、取得した他車両の運転評価結果と対比して出力することを、その内容としており、前述した特許文献１に場合と同様に、運転者が一時停止が義務づけられた地点で正しく一時停止を行っているか否かの診断技術に関しては、何ら特段の開示はない。
　更に、上記特許文献３に開示された発明は、一時停止線のみを抽出して認識することが主眼となっており、対象物が停止線と文字列の組み合わせに限定されており、具体的には、路上の「とまれ」の文字を、バックカメラで「れ→ま→と」の順に認識することで「一時停止義務のある停止線とそれ以外の停止線を識別することが最重要課題となっている。このため、前述した上記各特許文献１、２の場合と同様に、この特許文献３にも、運転者が一時停止が義務づけられた地点で正しく一時停止を行っているか否かの診断技術に関しては、何ら特段の開示はない。
（発明の目的）
　本発明は、上記関連技術の有する不都合を改善し、特に運転者に一時停止を義務付けている地点の存在を示す目印（立体構造物）と車両が一時停止すべき路面上の停止線とを一の映像フレームから抽出できないケースにおいても、正しく一時停止を行っているか否かを診断することを可能とした運転行動診断装置、運転行動診断方法、及びそのプログラムを提供することを、その目的とする。
　上記目的を達成するため、本発明にかかる運転行動診断装置は、複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これら各構成部分からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置であって、
　前記診断装置本体が、前記画像データに基づいて一時停止もしくは停止を指示する構造物を検知し自車両からの距離を算出する一時停止指示構造物検知部と、前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知部と、前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部からの情報に基づいて判定する一時停止判定処理部と、これら各部の動作を制御する主制御部とを備えていること特徴とする。
　上記目的を達成するため、本発明にかかる運転行動診断方法は、複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これら各構成部分からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置にあって、
　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出し（一時停止指示構造物検知工程）、
　前記画像データに基づいて停止線を検知し自車両からの距離を算出し（停止線検知工程）、
　前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定し（一時停止判定処理工程）、
　これら各距離算出および一時停止有無の判定に係る各処理工程を、前記診断装置本体が実行することを特徴とする。
　上記目的を達成するため、本発明にかかる運転行動診断プログラムは、複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置にあって、
　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出する一時停止指示構造物検知処理機能、
　前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知処理機能、
　および前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定する一時停止判定処理機能を備え、
　これら各処理機能を前記診断装置本体が備えているコンピュータに実現させるようにしたことを特徴とする。
　本発明によれば、一時停止標識や赤信号のように運転者に一時停止を義務付けている地点の存在を示す目印（立体構造物）と、車両が一時停止すべき路面上の停止線とを同一の映像フレームから抽出できないケースにおいても、前記立体構造物を検知する処理を実行した後に当該立体構造物を検知したフレームよりも後の映像フレームの画像に対して停止線検知処理を実行するようにしたので、これにより、正しく一時停止を行っているか否かを有効に診断することができるという優れた運転行動診断装置、運転行動診断方法、及びそのプログラムを提供することができる。
本発明に係る運転行動診断装置の第１実施形態を示す図で、図１（Ａ）はその構成を示す機能ブロック図、図１（Ｂ）は図１（Ａ）の背景をなすハード構成の例を示すブロック図である。 図１に開示した第１実施形態の要部を示す主制御部の具体的内容の例を示すブロック図である。 図２の主制御部に併設した情報記憶部に記憶される情報の一例を示す図表である。 図１に開示した第１実施形態の動作の一例を示すフローチャートである。 発明に係る運転行動診断装置の第２実施形態を示す図で、図５（Ａ）はその構成を示す機能ブロック図、図５（Ｂ）は図５（Ａ）の背景をなすハード構成の例を示すブロック図である。 図５に開示した第２実施形態の要部を示す主制御部の具体的内容の例を示すブロック図である。 図５に開示した第２実施形態の動作の一例を示すフローチャートである。 発明に係る運転行動診断装置の第３実施形態を示す機能ブロック図である。 図８に開示した第３実施形態に備えられた車載カメラが一時停止指示構造物を捕らえている状況を平面的に見た場合を示す模式図である。 図９に開示した車載カメラと一時停止指示構造物との間の距離情報に対する画像中の一時停止指示構造物の大きさ（画素数）の一例を示す図表である。 図８に開示した車載カメラが停止線を捕らえている状況を横から見た場合の例を示す模式図である。 図９に開示した車載カメラと一時停止指示構造物との間の距離情報に対する画像中の一時停止指示構造物の大きさ（幅の画素数）の一例を示す図表である。 図８に開示した第３実施形態の動作を示すフローチャートである。 図８に開示した第３実施形態の動作（特定のフレームに対する検知処理）を示すフローチャートである。 一時停止交差点において取得される車載カメラ画像の一例を示す説明図である。
〔第１の実施形態〕
　以下、本発明の第１実施形態を図１乃至図４に基づいて説明する。
（全体的構成）
　ここで、図１（Ａ）は本第１実施形態にかかる運転行動診断装置１０の構成を示す機能ブロック図であり、図１（Ｂ）は図１（Ａ）の背景をなすハード構成の一例を示すブロック図である。
　図１（Ａ）において、運転行動診断装置１０は、複数フレームから成る画像データを順次入力する画像入力部１１と、自車両の位置情報及び車速情報を出力する位置情報出力部１２とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体１０Ａを備えている。
　この内、診断装置本体１０Ａは、上記画像データに基づいて一時停止もしくは停止を指示する構造物を検知し自車両からの距離を算出する一時停止指示構造物検知部１３と、上記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知部１４と、この検知された停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部１２からの情報に基づいて判定する一時停止判定処理部１５と、これら各部の動作を制御する主制御部１６とを備えている。
　また、主制御部１６は、前記画像データから得られる次フレームで検知すべき対象物の情報および自車両と停止線の位置関係に基づいて、前記一時停止指示構造物検知部１３、前記停止線検知手段１４、又は前記一時停止判定部１５の何れか一つを起動制御する選択起動制御機能を備えている。
　以下これを更に詳述する。
　即ち、上記運転行動診断装置１０は、上述したように、画像入力部１１、位置情報出力部１２、一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５、主制御部１６を備え、車両に搭載されてリアルタイムにて当該車両の運転行動を診断するようになっている。
　この内、画像入力部１１は、本第１実施形態では車載カメラにより構成され、時々刻々取得される映像データを出力する機能を備えている。
　また、位置情報出力部１２は、車両の現在位置もしくはある地点から進んだ累積の距離を計測し、後述する主制御部１６へ出力する機能を備えている。
　この場合、位置情報出力部１２からの出力情報は、例えば、現在位置として出力する場合は、ＧＰＳにより得られる緯度・経度情報でもよい。また、ある地点から進んだ累積の距離としては、直近の交差点やガソリン給油地点からの累積の走行距離でもよいし、車両が生産されてからの累積の走行距離を用いるのでもよい。
　いずれにしても、位置情報出力部１２の出力する情報に基づき、一時停止指示構造物が検知された時刻から、該一時停止指示構造物に対する一時停止判定を行う時間区間の、任意の二時刻間における自車両の走行距離を判断できる情報を一時停止判定部１５は出力する。また、走行距離を時間で割れば瞬間的な速度を知ることもできる。
　尚、逆に、位置情報出力部１２は車速情報を出力するように構成してもよい。その場合は時間で積分することによってある地点から進んだ累積の距離を求めることができる。
　又、一時停止指示構造物検知部１３は、画像中から画像認識技術を用いて一時停止を指示する構造物を検知し、構造物の有無および存在する場合は該構造物までの距離情報を出力する機能を備えている。
　ここで、一時停止を指示する構造物とは、例えば一時停止標識、赤信号、踏切などであり、いずれも一時停止すべき停止線と組をなす。一時停止指示構造物の検知は、赤い逆三角形や赤い高光度の円形領域を検出する一般化ハフ変換や、パターンマッチング手法に基づいて行うことができる。
　また、一時停止指示構造物までの距離は、対象物の形・形状が規格化されていることを利用し、撮像手段のカメラ内部パラメータと画像中から検知した対象物のサイズとの関係から算定される。
　例えば、一時停止標示の実世界上における1辺の長さが０．６〔ｍ〕、画像中における一時停止標示の一辺の画素数が６０（画素）、車載カメラの撮像素子の画素間ピッチを０．０１〔ｍｍ〕、車載カメラの光学系の焦点距離を０．００５〔ｍ〕とすると、車載カメラから一時停止標示までの距離ｘは、
　(60×0.00001):0.6＝0.005:Ｘ
　　　　　　　　　　Ｘ＝5（ｍ）
と計算できる。
　また、車載カメラと車両先端部までの距離を予め計測しておくことにより、車両先端部から一時停止標識までの距離も計測可能である。一時停止を指示する構造物が赤信号や踏み切りである場合は、円形の点灯部の直径から判断してもよいし、ある時間区間における自車両の移動距離と円形の点灯部の直径の変化量から推定してもよい。
　停止線検知部１４は、画像中から画像認識技術を用いて停止線を検知し、停止線の有無および存在する場合は該停止線までの距離情報を出力する。
　停止線の検知はハフ変換などの画像認識手法に基づく手法により行うことができる。道路面に対するカメラの取り付け位置および角度などの外部パラメータおよびカメラ光学系に関する内部パラメータが事前に取得しておくことにより、三角測量の原理により車載カメラから停止線までの距離を計測することができる。
　一時停止判定部１５は、停止線上に自車両先端部が到達したと考えられるフレームの前後にて、自車両の位置の変化速度から自車両が適切に一時停止をしたか否かを判定する。　この一時停止判定部１５は、後述する主制御部１６が保持する車両の位置情報もしくはある地点から進んだ距離情報に基づき、時刻ｔｉ－１から時刻ｔｉまでの移動距離をｄｉとすれば、ｄｉが十分に小さければ一時停止したと判断してもよい。
　主制御部１６は、図２に示すように次処理判断・起動部１６Ａおよび検知対象更新部１６Ｂを備えて構成され、同時に情報記憶部１７を併設している。
　又、この主制御部１６には、前述したように、画像入力部１１および位置情報出力部１２から所定の情報が入力されるようになっている。
　この内、情報記憶部１７は、主制御部１６によって記憶動作が制御され、位置情報出力部１２から入力される自車両の位置情報若しくはある地点から進んだ距離情報、および検知すべき対象物を示す情報、更には一時停止指示構造物検知部１３若しくは停止線検知部１４による検知結果情報を、過去にさかのぼって記憶する。
　この記憶される情報の具体例について、図を参照しつつ説明する。
　図３は一時停止交差点を通過する際に記憶される情報の一例を示す図表である。この図３の例では、フレーム番号３０１、累積の走行距離〔ｍ〕３０２、速度〔ｍ／ｓ〕３０３、およびこの各フレームにおける検知対象物３０４、一時停止標識に関する検知有無３０５、検知した際の一時停止標識までの距離〔ｍ〕３０６、停止線に関する検知有無３０７、および検知した停止線までの距離〔ｍ〕３０８を含む。
　速度値は、この例では画像が１０〔フレーム／秒〕で得られているという仮定で、累積距離値から算出される値である。また、この例ではフレーム００１００からフレーム００１０３まで一時停止標識が連続して検知されたことを示している。同様に、フレーム００１０８から００１０９まで停止線が検知されたことを示している。
　また、一時停止標識が検知されていないフレーム００１０４からフレーム００１０８にかけて距離３０６が記憶されている理由は、後述する次処理判断・起動部１６Ａにて、それ以前の検知結果と車両の累積走行距離から推測される一時停止標識までの距離を推定し記憶しているためである。なお、負の距離値は推定した位置を通過した距離を示している。距離値の推定は一時停止標識通過後一定距離進むまで行えばよく、図３に開示した例では３〔ｍ〕通過するまで行っている。停止線についても同様である。また、図３の図表中、検知対象３０４の初期値は一時停止の標識である。
　次に、主制御部１６の次処理判断・起動部１６Ａの機能について説明する。
　この次処理判断・起動部１６Ａは、情報記憶部１７に記憶されている情報に基づき、一時停止指示構造物検知部１３もしくは停止線検知部１４もしくは一時停止判定部１５のいずれかを起動する。
　情報記憶部１７に記憶されている現フレームに対する検知対象304が、一時停止指示構造物の場合は一時停止指示構造物検知部１３を、停止線の場合は停止線検知部１４を、それぞれ起動する。一時停止指示構造物検知部１３および停止線検知部１４による検知結果は、主制御部１６に制御されて情報記憶部１７に記憶される。また、検知対象３０４が“なし”で、かつ一時停止の有無を判定すべきフレームにおいては、一時停止判定部１５を起動する。そして、もし、一時停止の有無を判定すべきフレームでなければこのフレームに対する処理を終了する。
　前記一時停止の有無を判定すべきフレームとは、以下のように定めることができる。
　まず、停止線上に自車両が到達したと考えられる時刻は、停止線検知部１４が時刻ｔａにて自車両の前方Ｄ〔ｍ〕に停止線を検知したとすると、次式（１）を満たす時刻Ｔ（もしくは時刻Ｔ－１）であるから、この時刻に対応するフレームにおいて一時停止判定部１５を起動すればよい。
Figure JPOXMLDOC01-appb-M000001
 　又、別のルールとして、停止位置が停止線までの推定距離Ｄ〔ｍ〕よりも前後に最大ε〔ｍ〕だけずれることも許容するならば、式（２）及び式（３）を満たす最大のｔｓ、および最小のｔｅで定義される時間区間ｔｓ～ｔｅにおいて停止判定部１５を起動し、ｄｉが十分に小さいフレームが存在すれば一時停止したと判定してもよい。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　次に、主制御部１６が備えている検知対象更新部１６Ｂの機能について説明する。
　まず、前フレームまで検知されていた一時停止指示構造物が検知されなくなったならば、次フレームに対する検知対象を停止線に変更する。停止線の場合も同様に、前フレームまで検知されていた停止線が検知されなくなったならば次フレームに対する検知対象を“なし”に変更する。
　一時停止指示構造物を一定距離通過しても停止線が検知されない場合、および停止線を一定距離通過した場合、および一時停止を検知した場合は、検知対象を一時停止指示構造物にリセットする。
　この場合、一時停止指示構造物を一定距離通過しても停止線が検知されない場合については、停止線がかすれていて一時停止判定が困難な箇所と判断する。停止線を一定距離通過するまでの間に一時停止判定手段が停止を検知しなかった場合は、この箇所において一時停止がされなかったものと判断する。
　（動作説明）
　次に、本第１実施形態の動作を、図４に基づいて説明する。
　これらの各動作は、前述した診断装置本体１０Ａが各構成部分を介して下記のように作動させて、その工程内容を順次実行するようになっている。
　まず、外部指令により、検知対象を一時停止指示構造物と特定し、初期化する（図４：ステップＳ１０１）。次に、画像入力部１１が車載カメラ画像を１フレーム取り込み、主制御部１６へ出力する（図４：ステップＳ１０２）。続いて、位置情報出力部１２が自車両の位置情報もしくは累積の移動距離情報を取得し、主制御部１６へ送り込む（図４：ステップＳ１０３）。主制御部１６は、位置情報出力部１２から入力された位置情報を情報記憶部１７に記憶する（図４：ステップＳ１０４）。
　そして、現フレームにおける検知対象が一時停止指示構造物の場合は一時停止指示構造物検知部１３を（図４：ステップＳ１０５、Ｓ１０５Ａ／一時停止指示構造物検知工程））、検知対象が停止線の場合は停止線検知部１４を（図４：ステップＳ１０６、Ｓ１０６Ａ／停止線検知工程）、一時停止の有無を判定すべきフレームであれば一時停止判定部１５（図４：ステップＳ１０７、Ｓ１０７Ａ／一時停止判定工程）をそれぞれ起動し、検知結果情報を情報記憶部１７に記憶する（図４：ステップＳ１０８／選択起動工程）。
　そして、次フレーム以降での検知対象の変更有無を検証し（図４：ステップＳ１０９）、変更必要であれば、検知対象を新しい検知対象に変更する（図４：ステップＳ１１０）。そして、画像入力が続く限りステップＳ１０２の処理に戻り、上記処理を繰り返す。
　ここで、上述した運転行動診断装置１０は、図１（Ｂ）のようなＥＣＵ（Electronic Control Unit）１０Ａ、車載カメラ（画像入力部）１１、車速センサ（位置情報出力部）１２とから構成されたものであってもよい。そして、この構成による装置において上記で説明したモジュールを搭載し動作させる。
　この場合、ＥＣＵ１０Ａは、装置全体の制御および演算を行うものであり、例えばＣＰＵ（主制御部１６）、ＲＡＭ及びＲＯＭを含む情報記憶部１７、信号処理回路１８、電源回路１０Ｐなどから構成される。上述した図１（Ａ）との関係では、前述した一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５、及び主制御部１６がＥＣＵ１０Ａに含まれる。
　これらの各構成部分の機能および上記したフローチャートの各動作については、判定ロジックを含む実現可能なコンピュータ・プログラムをＥＣＵ６０１（主制御部１６）に読み出して実行することにより実現するように構成してもよいし、各構成部分の機能をハードウェア化してマイコンを構成することも可能である。更には、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。
　以上にように、本第１実施形態によれば、前述した特許文献１乃至３に比べ、一時停止標識や赤信号のように運転者に一時停止（もしくは停止）を義務付けている地点の存在を示す立体構造物のような目印と、車両が一時停止すべき地点を示す路面上の停止線とを同一の映像フレームから抽出できないケースにおいても、前記立体構造物を検知する処理を実行した後に当該立体構造物を検知したフレームよりも後の映像フレームの画像に対して停止線検知処理を実行するようにしたので、これにより、正しく一時停止を行っているか否かを診断することができる。
　なぜならば、まず画像中から運転者に一時停止を義務付けている地点の存在を示す立体構造物を検知し、それ以降のフレームに対して該立体構造物に対応する停止線を検知するからである。
　また、本第１実施形態によれば、運転者が一時停止の義務づけられている地点において正しく一時停止を行っているか否かの計算量をより少なくして診断することができる。なぜならば、１フレームに対しては、多くとも一時停止指示構造物検知部１３もしくは停止線検知部１４もしくは一時停止判定部１５のいずれか１つの手段のみしか実行しないからである。
　これは、車載カメラ映像では、まず一時停止を指示する構造物が検知可能となり、その後路面に描かれた停止線が検知可能となる物理的性質に基づく。
　尚、上記第１実施形態において、主制御部１６は、現フレームにおける検知対象が一時停止指示構造物であれば一時停止指示構造物検知部１３を、検知対象が停止線であれば停止線検知部１４を、停止線検知後で一時停止の有無を判定すべきフレームにおいては一時停止判定部１５を、それぞれ起動するものとしたが、位置情報出力部１２から入力される位置情報に基づいて推定される車速もしくは単位時間あたりの移動距離が、予め定めた値の範囲内であるときのみ上記処理の起動を行うこととし、予め定めた値の範囲外である場合は、上記処理の起動を一切行わないように構成しても良い。
　そうすることにより、例えば一時停止標識が存在するような道路では走行困難な車速で走っているような場合、装置全体の中では比較的多くの演算量が必要な一時停止指示構造物検知部１３もしくは停止線検知部１４を実行しないことにより、消費電力を削減することができる。
　逆に、車速が低速で入力画像が前フレームとほとんど変化なく、検知結果の変化が期待できないような場合も、一時停止指示構造物検知部１３もしくは停止線検知部１４を実行しないことにより、消費電力を削減することができる。
　また、上記第１実施形態において、主制御部１６は一時停止指示構造物が一旦検知された後に検知されなくなったならば、検知対象を停止線に変更し停止線検知部１４を起動するとしたが、自車両と一時停止指示構造物までの推定距離が一定値以下となるまでは停止線検知部１４を起動しないようにしてもよい。なぜならば、一般的に一時停止指示構造物よりも停止線が一定の距離以上手前に存在することはないからである。
　更に、一時停止判定手段１５および主制御部１６の機能を時間の概念を用いて説明したが、フレームに置き換えて考えてもよい。フレームレートが既知であれば任意のフレーム間の時間長を知ることは容易だからである。
　又、前述した画像入力部１１については、予め録画された車載カメラ映像を再生する映像再生機器により構成し、自車両外にてオフライン処理を行う構成としてもよい。
〔第２の実施形態〕
　次に、本発明の第２実施形態を図５乃至図７に基づいて説明する。
〔第２の実施形態〕
　次に、本発明の第２実施形態を図５乃至図７に基づいて説明する。
　（全体的構成）
　図５において、本第２実施形態にかかる運転行動診断装置２０は、前述した第１実施形態の場合と同様に、画像入力部２１、位置情報出力部２２、一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５、および主制御部２６からなり、車両の外部に設置されてオフラインで運転行動を診断する。
　符号２０Ａは、前述した第１実施形態における診断装置本体１０Ａと同等に機能する診断装置本体を示す。
　ここで、前述した第１実施形態（図１）と比較すると、一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５については同一である。一方、位置情報出力部１２に代えて、位置情報出力部２２を備えており、画像入力部２１、主制御部２６の機能に関して若干差異がある。
　画像入力部２１は、この実施の形態では車載カメラ映像を録画した映像データを再生するＤＶＤプレーヤーやＰＣなどの映像再生装置から構成される。後述する主制御部２６から指定されたフレームの映像を出力する。
　又、位置情報出力部２２は、車載カメラ映像に同期して予め記録されている車両の位置情報もしくはある地点から進んだ累積の距離情報の中から、主制御部２６から指定されたフレームに対応する情報を読み取って主制御部２６へ出力する。
　主制御部２６は、図６に示すように次処理判断・起動部１６Ａ、検知対象更新部１６Ｂ、及び次処理フレーム指定手段２６Ｃを備えており、同時に情報記憶部１７を併設している。
　ここで、次処理判断・起動部１６Ａ、検知対象更新部１６Ｂ、および情報記憶部１７については、前述した第１実施形態のものと同一のものが使用されている。
　一方、次処理フレーム指定手段２６Ｃは、次に処理すべきフレームの番号を決定し、画像入力部２１および位置情報出力部２２へ指示する機能を備えている。
　図１に示した第１実施形態では、主制御部１６が画像入力部１１および位置情報出力部１２から同じタイミングで情報を取得することにより同期がとられていたが、本第２実施形態では、逆に画像入力部１１及び位置情報出力部１２の各部の同期をとるために次に処理するフレーム番号を通知する。尚、次に処理すべきフレームとは、基本的には前回処理したフレームの次のフレームとなる。
　その他の構成は前述した第１実施形態の場合と同一となっている。
　（動作説明）
　次に、本第２実施形態における運転行動診断装置２０の動作を、図７のフローチャートに基づいて説明する。
　まず、検知対象を一時停止指示構造物とし、これに初期化する（図７：ステップＳ２０１）。次に、主制御部２６が次に処理すべきフレーム番号を決定し、画像入力部２１および位置情報出力部２２へ出力する（図７：ステップＳ２０２）。そして、画像入力部２１が予め記憶している車載カメラ映像の中から、ステップＳ２０２で決定されたフレームに対応する映像を１フレーム読み込み、主制御部２６へ出力する（図７：ステップＳ２０３）。
　さらに位置情報出力部２２がステップＳ２０２で決定されたフレームに対応する自車両の位置情報もしくは累積の移動距離情報を読み込み、主制御部２６へ出力する（図７：ステップＳ２０４）。次に、主制御部２６は、位置情報出力部２２から入力された位置情報を記憶する（図７：ステップＳ２０５）。
　そして、現フレームにおける検知対象が一時停止指示構造物の場合は一時停止指示構造物検知部１３を（図７：ステップＳ２０６、Ｓ２０６Ａ）、検知対象が停止線の場合は停止線検知部１４を（図７：ステップＳ２０７、Ｓ２０７Ａ）、又一時停止の有無を判定すべきフレームであれば一時停止判定部１５を（図７：ステップＳ２０８、Ｓ２０８Ａ）それぞれ起動し、検知結果情報を記憶する（図７：ステップＳ２０９）。
　そして、次フレーム以降での検知対象の変更有無を検証し（図７：ステップＳ２１０）、変更必要であれば、検知対象を新しい検知対象に変更する（図７：ステップＳ２１１）。そして、映像を読み終わるまでステップＳ２０２～Ｓ２１０の処理を繰り返す。
　ここで、上述した運転行動診断装置２０は、図５（Ｂ）のようなコンピュータ２０Ｂ、車載カメラ（画像入力部）２１、車速センサ（位置情報出力部）２２とにより構成されたものであってもよい。そして、この構成による装置において上記で説明したモジュールを搭載し動作させる。
　この場合、コンピュータ２０Ｂは、装置全体の制御および演算を行うものであり、例えばＣＰＵ（主制御部２６）、ＲＡＭ及びＲＯＭを含む情報記憶部１７、信号処理回路１８、電源回路１０Ｐなどから構成される。上述した図５（Ａ）との関係では、前述した一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５、及び主制御部２６が、コンピュータ２０Ｂに含まれる。
　これらの各構成部分の機能および上記したフローチャートの各動作については、判定ロジックを含む実現可能なプログラムを主制御部２６に読み出して実行することにより実現するように構成してもよいし、各構成部分の機能をハードウェア化してマイコンを構成することも可能である。更には、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。
　このように、上記第２実施形態によると、前述した第１実施形態の場合と同等の作用効果を有すると共に、更に、装置全体の中で例えば比較的多くの演算量が必要な一時停止指示構造物検知部１３もしくは停止線検知部１４を実行しないようにすると、映像処理時間を更に大幅に短縮することも可能となるという利点が有る。
〔第３の実施形態〕
　次に、第３実施形態を図８乃至図１４に基づいて説明する。
（全体的構成）
　図８に示すように、本第３実施形態における運転行動診断装置３０は、図５における第２実施形態の場合に加えて、主制御部３６にフレーム飛ばし処理部３６ａを併設装備した点に特徴を有する。符号３０Ａは、前述した第２実施形態における診断装置本体２０Ａと同等に機能する診断装置本体を示す。
　その他の構成、即ち、画像入力部（車載カメラ）２１、位置情報出力部２２、一時停止指示構造物検知部１３、停止線検知部１４、および一時停止判定部１５の各機能は、前述した図５（Ａ）に示す第２実施形態の場合と同一である。
　このフレーム飛ばし処理部３６ａは、次の検知対象の種類および前回処理したフレーム番号に応じて、次に読み取るべきフレーム番号を主制御部３６に出力する。
　上記フレーム飛ばし処理手段３６ａは、次の検知対象の種類および前回処理したフレーム番号に応じて、次に読み取るべきフレーム番号を主制御部３６に出力する。
　例えば、次の検知対象物が一時停止指示構造物である場合は前回処理したフレームからＭ（≧１）フレーム目のフレーム番号を、次の検知対象物が停止線である場合は前回処理したフレームからＮ（≧１）フレーム目のフレーム番号を、それぞれ出力する。ここで、本第３実施形態においては、Ｍ≧Ｎとする。
　この定数Ｍ、Ｎの具体的設定方法の一例を、図面を用いて説明する。
　まず、定数Ｍの決め方について説明する。
　いま仮に、図９に示すように車載カメラ２１の撮像素子１２Ａの素子数を横１２８０画素、水平画角Ｈθを６０度と仮定すると、カメラ光軸に垂直に設置された面上の長さ６０〔ｃｍ〕の物体Ａは車載カメラ２１から該面までの距離をＺ〔ｍ〕とすると、画像上では図に示すように次式４に相当する。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｚに適当な距離を当てはめると、Ｚと物体Ａの画像上での画素数との関係は図１０の図表のようになる。一時停止指示構造物検知部１３が、幅６０〔ｃｍ〕の対象物が画像上で２５画素から３５画素の大きさであるときに検知できるものと仮定すると、図１０の表から一時停止指示構造物までの距離がおよそ２６〔ｍ〕から１９〔ｍ〕の範囲で検知できることとなる。
　車両の最大速度を５０〔Km/h〕と仮定し、映像のフレームレートを３０〔フレーム／秒〕とすると、1フレームあたりの最大移動距離は４６．３〔ｃｍ〕であるから、１９〔ｍ〕から２６〔ｍ〕の範囲にいるときに、最低１度、一時停止指示構造物を検知できるようにするには、
　　　　(26-19)／0.463≒15.1
となり、１５フレームに１度検知を行えばよいからＭ＝１５とすればよい。もし、最低２度一時停止指示構造物を検知できるようにするならば、Ｍ＝７とすればよい。
　定数Ｎについても同様に考えることができる。図１１に示すように、車載カメラ２１の撮像素子２１Ｂの素子数を縦２０２８画素、垂直画角Ｔθを３２．７度、車載カメラ２１の地上高Ｈθを１２０〔ｃｍ〕、車載カメラ２１のカメラ光軸が路面に並行に設置されていると仮定すると、路面上で幅30〔ｃｍ〕の停止線ＬＴ　は車載カメラ２１から停止線までの距離Ｚ〔ｍ〕に応じて図１２に示す幅（画素）で観測される。
　ここで、停止線検知部１４が幅５画素から１７画素の停止線を検知できるものとし、上記と同じ最大速度およびフレームレートを仮定すると、１１〔ｍ〕から６〔ｍ〕の範囲にいるときに停止線を最低１度検知できるようにするには、
　　　　(11-6)／0.463　≒10.8
となり、１０フレームに１度検知を行えばよいからＮ＝１０とすればよい。もし、最低２度停止線を検知できるようにするならばＮ＝５とすればよい。
（動作説明）
　次に、本第３実施形態の動作を、図１３のフローチャートに基づいて説明する。
　まず、検知対象を一時停止指示構造物とし、初期化する（図１３：ステップＳ６０１）。次に、主制御部３６がフレーム飛ばし処理部３６ａを起動し、次に処理すべきフレーム番号を決定し、画像入力部２１および位置情報出力部２２へ出力する（図１３：ステップＳ６０２）。そして、画像入力部２１が予め記憶している車載カメラ映像の中から、ステップＳ６０２で決定されたフレームに対応する映像を１フレーム読み込み、主制御部３６へ出力する（図１３：ステップＳ６０３）。
　更に、位置情報出力部２２がステップＳ６０２で決定されたフレームに対応する自車両の位置情報もしくは累積の移動距離情報を読み込み、主制御部３６へ出力する（図１３：ステップＳ６０４）。次に、主制御部３６は、位置情報出力部２２から入力された位置情報を記憶する（図１３：ステップＳ６０５）。
　そして、現フレームにおける検知対象が一時停止指示構造物の場合は一時停止指示構造物検知部１３を（図１３：ステップＳ６０６、Ｓ６０６Ａ）、検知対象が停止線の場合は停止線検知部１４を（図１３：ステップＳ６０７、Ｓ６０７Ａ）、一時停止の有無を判定すべきフレームであれば一時停止判定部１５を（図１３：ステップＳ６０８、Ｓ６０８Ａ）それぞれ選択して起動し、検知結果情報を記憶する（図１３：ステップＳ６０９）。
　そして、次フレーム以降での検知対象の変更有無を検証し（図１３：ステップＳ６１０）、変更必要であれば、検知対象を新しい検知対象に変更する（図１３：ステップＳ６１１）。そして、映像を読み終わるまでステップＳ６０２の処理からステップＳ６１０迄の処理を繰り返す。
　本第３実施形態によれば、前述した図５（Ａ）に記載の第２実施形態の場合に比べ、運転行動診断に要する処理時間を削減することができる。
　なぜならば、検知対象が一時停止指示構造物検知であるか停止線であるかに応じて、最適なフレーム数だけフレームを飛ばして処理を行うことができ、飛ばしたフレームに対して検知処理を行わなくてよいからである。
　又、本第３実施形態では車両の最大速度を５０〔Ｋｍ／ｈ〕と固定して、飛ばすフレーム数Ｍ、Ｎを算出する例を示したが、フレーム飛ばし処理部３６ａはＭ、Ｎの値をそのときの走行状況に合わせて動的に設定するようにしてもよい。
　例えば、一時停止指示構造物を１９〔ｍ〕から２６〔ｍ〕だけ離れた位置から検知するためには、前回一時停止指示構造物検知部１３を実行したときから、少なくとも車両が７〔ｍ〕進まないうちに次の検知を行うべきであることがわかる。
　そこで、フレーム飛ばし処理部３６ａが位置情報出力部２２から位置情報を先読みし、前回検知してからの移動距離が７〔ｍ〕を超えない範囲のフレームを選択し主制御部３６に出力するのでもよい。停止線に対するフレーム飛ばし数も全く同様の方法で決定することができる。
　このようにすれば、たとえば想定される最大速度よりもはるかに遅い速度で車両が移動している映像に対して、フレーム飛ばし数をより大きくすることができ、運転行動診断に要する処理時間を一層削減することができる。
　また、上記のようにフレーム飛ばし処理部３６ａが動的に読み飛ばすフレームを決める場合、画像入力部２１が車載カメラで構成され、車載環境でリアルタイムに処理を行っている場合には、位置情報出力部２２から位置情報を先読みするわけにはいかない。
　そこで、そのような場合にはフレーム飛ばし処理部３６ａは、次の検知対象に対応する前回検知時からの最大移動量を基準に、前回検知処理したフレームに対応する位置情報と最新の自車両の位置情報とを比較して、最大移動量を超える直前のフレームにおいて検知処理を行うよう指示する情報を主制御部３６へ出力する。そうでないフレームにおいては検知処理を行わないよう指示する情報を主制御部３６へ出力する。
　この場合（動的処理）における本第３実施形態の動作を、図１４を参照して詳細に説明する。
　まず、検知対象を一時停止指示構造物に初期化する（図１４：ステップＳ７０１）。次に、主制御部２６が次フレームの画像データおよび位置情報を取り込むよう画像入力部２１および位置情報出力部２２へ出力する（図１４：ステップＳ７０２）。画像入力部２１が車載カメラ映像を１フレーム取り込み、主制御部３６へ出力する（図１４：ステップＳ７０３）。位置情報出力部２２が自車両の位置情報もしくは累積の移動距離情報を取り込み、主制御部３６へ出力する（図１４：ステップＳ７０４）。主制御部３６は位置情報出力部２２から入力された位置情報を記憶する（図１４：ステップＳ７０５）。
　次に、フレーム飛ばし処理部３６ａが前回検知処理をしたときから現在までの移動量と、検知対象に対応する前回検知時からの最大移動量とを比較（図１４：ステップＳ７０６）し、最大移動量を超えていなければ検知処理を行わない旨の情報を主制御部３６へ出力し、ステップＳ７０２へ戻る。
　最大移動量を超えていれば検知処理を行う旨の情報を主制御部３６へ出力し、主制御部３６は現フレームにおける検知対象が一時停止指示構造物の場合は一時停止指示構造物検知部１３を（図１４：ステップＳ７０７）、検知対象が停止線の場合は停止線検知部１４を（図１４：ステップＳ７０８）、一時停止の有無を判定すべきフレームであれば一時停止判定部１５を（図１４：ステップＳ７０９）起動し、検知結果情報を記憶する（図１４：ステップＳ７１０）。
　そして、次フレーム以降での検知対象の変更有無を検証し（図１４：ステップＳ７１１）、変更必要であれば、検知対象を新しい検知対象に変更する（図１４：ステップＳ７１２）。そして、映像を読み終わるまでステップＳ７０２の処理から繰り返す。
　本第３実施形態は、上記のように構成され機能するので、これによると、前述した第２実施形態の場合と同様の作用効果を有するほか、車両の一時停車を正しく行っているかどうかを、更に迅速に診断することが出来る。
　その理由は、複数のフレームにより順次特定される画像データに対して、一のフレームに対しては前述した一時停止指示構造物検知部１３、停止線検知部１４、及び一時停止判定部１５の内の何れか一つの処理部が対応すると共に、前述したフレーム飛ばし部３６ａが有効に機能して、処理対象のフレーム数を更に大幅に少なくするように構成したためである。
　即ち、一時停止指示構造物と停止線との関係では、まず、車載カメラ映像では、まず一時停止を指示する構造物が検知可能となり、その後に路面に描かれた停止線が検知可能となるという物理的な検知時間のずれがあって、一時停止指示構造物検知部１３、停止線検知部１４、一時停止判定部１５の同時機能はないことから、個々の迅速な処理が可能となっている。
　又、前述したようにフレーム飛ばし処理部３６ａが有効に機能して一時停止指示構造物検知部１３及び停止線検知部１４のより一層迅速な各検知処理が可能となり、更に、車載カメラに正対して設置されている一時停止標識に画像中に確認できるフレームの長さは、カメラ光軸方向に平行な平面上に描かれている停止線が画像中に確認できるフレームの長さに比較して長いという性質に基づき、一時停止標識検知時のフレーム飛ばし数を、停止線検知時のフレーム飛ばし数よりも大きく設定することも可能となっており、かかる点においても検知処理の迅速化が可能となっている。
　ここで、下記に、上述した実施形態１乃至３についての新規な技術的内容の要点をまとめたものを付記として記載するが、本発明は必ずしもこれに限定されるものではない。
〔付記１〕
　複数フレームから成る画像データを順次入力する画像入力部１１と、自車両の位置情報及び車速情報を出力する位置情報出力部１２とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体１０Ａを備えた運転行動診断装置であって、
　前記診断装置本体が、
　前記画像データに基づいて一時停止もしくは停止を指示する構造物を検知し自車両からの距離を算出する一時停止指示構造物検知部１３と、前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知部１４と、前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部１２からの情報に基づいて判定する一時停止判定処理部１５と、これら各部の動作を個別に選択制御する主制御部１６とを備えていること特徴とする運転行動診断装置。
〔付記２〕
　付記１に記載の運転行動診断装置において、
　前記主制御部１６が、前記画像データから得られる次フレームで検知すべき対象物の情報および自車両と停止線の位置関係に基づいて、前記一時停止指示構造物検知部１３、前記停止線検知手段１４、又は前記一時停止判定部１５の何れか一つを起動制御する選択起動制御機能を備えていることを特徴とする運転行動診断装置。
〔付記３〕（第３実施形態）
　付記２に記載の運転行動診断装置において、
　前記主制御部１６に、前記次フレームで検知すべき対象物が前記一時停止指示構造物であるか停止線であるかの種類によって処理対象のフレーム数を最適なフレーム処理数に特定するフレーム飛ばし処理部３６ａを併設したことを特徴とする運転行動診断装置。
〔付記４〕（第３実施形態）
　付記３に記載の運転行動診断装置において、
　前記フレーム飛ばし処理部３６ａは、前記位置情報出力部１２から入力される自車両の位置情報に基づいて前記読み飛ばしフレーム数を特定する構成としたことを特徴とする運転行動診断装置。
〔付記５〕（第３実施形態）
　付記４に記載の運転行動診断装置において、
　前記フレーム飛ばし処理部３６ａは、前記主制御部１６を介して、当該特定されたフレーム情報を対応する前記一時停止指示構造物検知部１３、前記停止線検知手段１４、又は前記一時停止判定部１５へ、その処理実行指令として発信する実行指令発信機能を備えていることを特徴とした運転行動診断装置。
〔付記６〕
　付記１乃至５の何れか一つに記載の運転行動診断装置において、
　前記画像入力部を、予め録画された車載カメラ映像を再生する映像再生機器により構成し、前記自車両外にてオフライン処理を行う構成としたことを特徴とする運転行動診断装置。
〔付記７〕
　付記１乃至５の何れか一つに記載の運転行動診断装置において、
　前記一時停止もしくは停止を指示する構造物は、一時停止標識もしくは赤信号もしくは踏切のいずれかであることを特徴とする運転行動診断装置。
〔付記８〕（方法の発明／付記１対応）
　複数フレームから成る画像データを順次入力する画像入力部１１と、自車両の位置情報及び車速情報を出力する位置情報出力部１２とを有し、これらの各部１１、１２からの出力情報に基づいて自車両の運転行動を診断する診断装置本体１０Ａを備えた運転行動診断装置にあって、
　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出し（一時停止指示構造物検知工程）、前記画像データに基づいて停止線を検知し自車両からの距離を算出し（停止線検知工程）、前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定し（一時停止判定処理工程）、
　これら各距離算出および一時停止有無の判定に係る各処理工程を、前記診断装置本体１０Ａが実行することを特徴とした運転行動診断方法。
〔付記９〕（付記２対応）
　付記８に記載の運転行動診断方法において、
　前記次フレームで検知すべき対象物の情報及び前記自車両と停止線との位置関係に係る情報に基づいて、前記一時停止を指示する構造物の検知に係る工程、停止線の検知に係る工程、又は一時停止の判定に係る工程の内の何れか一つを選択し、これを起動制御するようにし、
　この選択および起動制御の動作を前記診断装置本体１０Ａが実行するようにしたことを特徴とする運転行動診断方法。
〔付記１０〕（付記３対応）
　付記８又は９に記載の運転行動診断方法において、
　前記入力画像の各フレームの処理に際しては、次フレームで検知すべき対象物が前記一時停止指示構造物であるか停止線であるかを判定し、その判定結果及び前記自車両の位置情報に基づいて前記判定結果に対応したフレーム飛ばし処理を実行し最適なフレーム処理数を特定するようにし、
　これらを前記診断装置本体１０Ａが予め実行するようにしたことを特徴とする運転行動診断方法。
〔付記１１〕（プログラム発明／付記８対応）
　複数フレームから成る画像データを順次入力する画像入力部１１と、自車両の位置情報及び車速情報を出力する位置情報出力部１２とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体１０Ａを備えた運転行動診断装置にあって、
　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出する一時停止指示構造物検知処理機能、
　前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知処理機能、
　および前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定する一時停止判定処理機能を備え、
　これら各処理機能を前記診断装置本体１０Ａが備えているコンピュータに実現させるようにしたことを特徴とする運転行動診断プログラム。
〔付記１２〕（付記９対応）
　付記１１に記載の運転行動診断プログラムにおいて、
　前記次フレームで検知すべき対象物の情報及び前記自車両と停止線の位置関係に基づいて、前記一時停止を指示する構造物の検知処理機能、停止線の検知処理機能、又は一時停止の判定処理機能の何れか一つを選択して起動制御する選択起動制御機能を設け、
　これを前記診断装置本体１０Ａが備えているコンピュータに実現させるようにしたことを特徴とする運転行動診断プログラム。
〔付記１３〕（付記１０対応）
　付記１１又は１２に記載の運転行動診断プログラムにおいて、
　前記各処理機能における前記入力画像の各フレームの処理に際しては、予め、次フレームで検知すべき対象物が前記一時停止指示構造物であるか停止線であるかを判定する判定処理機能と、当該判定結果及び前記自車両の位置情報に基づいて前記判定結果に対応した最適なフレーム処理数を特定するフレーム飛ばし処理機能とを設け、
　これらを前記診断装置本体１０Ａが備えているコンピュータが実現するようにしたことを特徴とする運転行動診断プログラム。
　この出願は２０１２年３月３１日に出願された日本出願特願２０１２－０８３３６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　通常の路面上はもとより、自動車教習場での実務教育にも有効に利用され得る。又、海外での必要性も多大なものがあり、その用途は安全性確保の面からも多用される内容を備えている。
　　１０、２０、３０　運転行動診断装置
　　１０Ａ、２０Ａ、３０Ａ　診断装置本体
　　１０Ｂ　ＥＣＵ
　　１０Ｐ　電源回路
　　１１、２１　画像入力部（車載カメラ）
　　１２、２２　位置情報出力部
　　１３　一時停止指示構造物検知部
　　１４　停止線検知部
　　１５　一時停止判定部
　　１６、２６　主制御部
　　１６Ａ　次処理判断・起動部
　　１６Ｂ　検知対象更新部
　　１７、２７　情報記憶部
　　２０Ｂ　コンピュータ
　　２１Ａ、２１Ｂ　撮像素子
　　２６Ｃ　次フレーム指定処理部
　　２６Ｍ　外部記憶装置
　　３０ａ　フレーム飛ばし処理部
　　２０１　　一時停止指示構造物である一時停止標識
　　２０２　　停止線
　　Ｈθ　画角
　　Ａ　物体
　　Ｔθ　画角
　　ＨＢ　車載カメラと地面との距離
　　ＬＴ　停止線

Claims (10)

  1. 　複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置であって、
    　前記診断装置本体が、
    　前記画像データに基づいて一時停止もしくは停止を指示する構造物を検知し自車両からの距離を算出する一時停止指示構造物検知部と、前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知部と、前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部からの情報に基づいて判定する一時停止判定処理部と、これら各部の動作を制御する主制御部とを備えていること特徴とする運転行動診断装置。
  2. 　請求項１に記載の運転行動診断装置において、
    　前記主制御部が、
    　前記画像データから得られる次フレームで検知すべき対象物の情報および自車両と停止線の位置関係に基づいて、前記一時停止指示構造物検知部、前記停止線検知手段、又は前記一時停止判定部の何れか一つを起動制御する選択起動制御機能を備えていることを特徴とする運転行動診断装置。
  3. 　請求項２に記載の運転行動診断装置において、
    　前記主制御部に、前記次フレームで検知すべき対象物が前記一時停止指示構造物であるか停止線であるかの種類によって処理対象のフレーム数を最適なフレーム処理数に特定するフレーム飛ばし処理部を併設したことを特徴とする運転行動診断装置。
  4. 　請求項３に記載の運転行動診断装置において、
    　前記フレーム飛ばし処理部は、前記位置情報出力部から入力される自車両の位置情報に基づいて前記読み飛ばしフレーム数を特定する構成としたことを特徴とする運転行動診断装置。
  5. 　請求項４に記載の運転行動診断装置において、
    　前記フレーム飛ばし処理部は、前記主制御部を介して、当該特定されたフレーム情報を対応する前記一時停止指示構造物検知部、前記停止線検知手段、又は前記一時停止判定部へ、その処理実行指令として発信する実行指令発信機能を備えていることを特徴とした運転行動診断装置。
  6. 　請求項１乃至５の何れか一つに記載の運転行動診断装置において、
    　前記画像入力部を、予め録画された車載カメラ映像を再生する映像再生機器により構成し、前記自車両外にてオフライン処理を行う構成としたことを特徴とする運転行動診断装置。
  7. 　請求項１乃至５の何れか一つに記載の運転行動診断装置において、
    　前記一時停止もしくは停止を指示する構造物は、一時停止標識もしくは赤信号もしくは踏切のいずれかであることを特徴とする運転行動診断装置。
  8. 　複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置にあって、
    　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出し、
    　前記画像データに基づいて停止線を検知し自車両からの距離を算出し、
    　前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定し、
    　これら各距離算出および一時停止有無の判定に係る各処理工程を、前記診断装置本体が実行することを特徴とした運転行動診断方法。
  9. 　請求項８に記載の運転行動診断方法において、
    　前記次フレームで検知すべき対象物の情報及び前記自車両と停止線との位置関係に係る情報に基づいて、前記一時停止を指示する構造物の検知に係る工程、停止線の検知に係る工程、又は一時停止の判定に係る工程の内の何れか一つを選択し、これを起動制御するようにし、
    　この選択および起動制御の動作を前記診断装置本体が実行するようにしたことを特徴とする運転行動診断方法。
  10. 　複数フレームから成る画像データを順次入力する画像入力部と、自車両の位置情報及び車速情報を出力する位置情報出力部とを有し、これらの各部からの出力情報に基づいて自車両の運転行動を診断する診断装置本体を備えた運転行動診断装置にあって、
    　前記入力された画像データに基づいて一時停止もしくは停止を指示する構造物を検知すると共に自車両からの距離を算出する一時停止指示構造物検知処理機能、
    　前記画像データに基づいて停止線を検知し自車両からの距離を算出する停止線検知処理機能、
    　および前記停止線を自車両が通過する際に自車両が一時停止したか否かを前記位置情報出力部で特定された自車両の位置情報及び車速情報に基づいて判定する一時停止判定処理機能を備え、
    　これら各処理機能を前記診断装置本体が備えているコンピュータに実現させるようにしたことを特徴とする運転行動診断プログラム。
PCT/JP2013/058697 2012-03-31 2013-03-26 運転行動診断装置、運転行動診断方法、及びそのプログラム WO2013146737A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-083365 2012-03-31
JP2012083365 2012-03-31

Publications (1)

Publication Number Publication Date
WO2013146737A1 true WO2013146737A1 (ja) 2013-10-03

Family

ID=49259988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058697 WO2013146737A1 (ja) 2012-03-31 2013-03-26 運転行動診断装置、運転行動診断方法、及びそのプログラム

Country Status (1)

Country Link
WO (1) WO2013146737A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019082916A (ja) * 2017-10-31 2019-05-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定装置、判定方法および判定プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257305A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2008108245A (ja) * 2006-09-29 2008-05-08 Fujitsu Ten Ltd 情報収集システム、運転情報記録装置および情報管理設備
JP2008186045A (ja) * 2007-01-26 2008-08-14 Denso Corp 運転評価装置
JP2008262481A (ja) * 2007-04-13 2008-10-30 Denso Corp 車両制御装置
JP2009217615A (ja) * 2008-03-11 2009-09-24 Toyota Motor Corp 運転評価装置
JP2010224926A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 停止線検出装置
JP2011145892A (ja) * 2010-01-14 2011-07-28 Fuji Heavy Ind Ltd 運転支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257305A (ja) * 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2008108245A (ja) * 2006-09-29 2008-05-08 Fujitsu Ten Ltd 情報収集システム、運転情報記録装置および情報管理設備
JP2008186045A (ja) * 2007-01-26 2008-08-14 Denso Corp 運転評価装置
JP2008262481A (ja) * 2007-04-13 2008-10-30 Denso Corp 車両制御装置
JP2009217615A (ja) * 2008-03-11 2009-09-24 Toyota Motor Corp 運転評価装置
JP2010224926A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 停止線検出装置
JP2011145892A (ja) * 2010-01-14 2011-07-28 Fuji Heavy Ind Ltd 運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019082916A (ja) * 2017-10-31 2019-05-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定装置、判定方法および判定プログラム

Similar Documents

Publication Publication Date Title
JP6313646B2 (ja) 外界認識装置
US10127460B2 (en) Lane boundary line information acquiring device
JP6109593B2 (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
WO2018042921A1 (ja) ドライブレコーダ
WO2018042922A1 (ja) 運転状況記録装置
JP2008051642A (ja) 車載用の警告システム
KR20130109097A (ko) 차량에 장착된 차선 인식 시스템과 교통 표지 인식 시스템의 융합 방법
JP2009009209A (ja) 画像認識装置および画像認識処理方法
JP4899647B2 (ja) 距離測定プログラム、距離測定装置、距離測定方法
CN104427255A (zh) 车载相机的图像处理方法和使用该方法的图像处理设备
JP2017073072A (ja) 情報処理装置
EP3211368A1 (en) Stereo camera apparatus and vehicle provided with stereo camera apparatus
JP2020095565A (ja) 情報処理システム、プログラム、及び情報処理方法
JP2018073275A (ja) 画像認識装置
KR20150018990A (ko) 운전 주의 정보 안내 장치 및 방법
EP1897751A2 (en) Driving assist system for a vehicle
WO2013146737A1 (ja) 運転行動診断装置、運転行動診断方法、及びそのプログラム
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
KR101836246B1 (ko) 현재 차선 추정 방법
KR102616971B1 (ko) 자율 주행 장치 및 방법
CN112669335A (zh) 车辆感知方法、装置、电子设备以及机器可读存储介质
JP2013148948A (ja) 車線検出装置
JP2012181691A (ja) 路面上パターン認識方法および車両用情報記録装置
JP2020053083A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
JP2020077103A (ja) 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13770313

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13770313

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP