WO2016157698A1 - 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム - Google Patents

車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム Download PDF

Info

Publication number
WO2016157698A1
WO2016157698A1 PCT/JP2016/000910 JP2016000910W WO2016157698A1 WO 2016157698 A1 WO2016157698 A1 WO 2016157698A1 JP 2016000910 W JP2016000910 W JP 2016000910W WO 2016157698 A1 WO2016157698 A1 WO 2016157698A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
tire
tires
image
detected
Prior art date
Application number
PCT/JP2016/000910
Other languages
English (en)
French (fr)
Inventor
ウィドド アリ
勝之 福田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2016157698A1 publication Critical patent/WO2016157698A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a vehicle detection system that detects other vehicles running in parallel, a vehicle detection device (apparatus), a vehicle detection method, and a vehicle detection program.
  • FIG. 8 is a schematic diagram illustrating an imaging range of the side view camera with respect to the vehicle.
  • the side view cameras 501 are installed, for example, on left and right door mirrors of the vehicle V, respectively, and shoot a range on the left and right rear sides of the vehicle V.
  • side view image an image captured by the side view camera
  • the driver can visually recognize the situation of the blind spot in the door mirror.
  • the host vehicle which is a vehicle equipped with a camera
  • the vehicle In order to detect danger based on the side view image, it is desired that the vehicle is accurately detected from the side view image.
  • the side view image there are various aspects of the vehicle shown in the side view image.
  • FIG. 9A only a part of the rear side of another vehicle running side by side may be captured in the side view image.
  • the other vehicle that travels includes a two-wheeled vehicle. Then, the technique which detects another vehicle by detecting a tire from a side view image is proposed (for example, patent documents 1).
  • the method of detecting the presence of the vehicle from the tire it can be detected that the vehicle is present within the shooting range, but it cannot be recognized even by the position in the traveling direction of the vehicle or the size of the vehicle.
  • these tires are the tires T1, T2 before and after the vehicle V1 that is long in the front-rear direction as shown in FIG.
  • This disclosure aims to acquire more information about other vehicles in a vehicle detection system that detects other vehicles running in parallel.
  • One aspect of the present disclosure is a vehicle detection system, the vehicle detection system being mounted on a vehicle, imaging an image of a side of the vehicle to generate imaging data, and an image indicated by the imaging data from a tire
  • the tire detection unit for detecting the tire, the motion calculation unit for calculating the motion information for the detected tire, and the motion information for the plurality of tires detected from the image are compared to determine whether the tire is the tire of the same other vehicle. It is provided as what has a structure provided with the vehicle recognition part which judges whether or not.
  • the motion information about the plurality of tires detected from the image is compared to determine whether or not they are the tires of the same other vehicle.
  • more information can be obtained about other vehicles running in parallel. Similar effects can also be obtained from the following other aspects of the present disclosure.
  • the vehicle detection device includes a tire detection unit, a motion calculation unit, and a vehicle recognition unit in the vehicle detection system described above. Offered as.
  • Still another aspect of the present disclosure is a vehicle detection method, which includes an imaging step in which an imaging device mounted on the vehicle captures an image of a side of the vehicle to generate imaging data, and the imaging data By comparing the tire detection step for detecting tires, the motion calculation step for calculating motion information for the detected tires, and the motion information for a plurality of tires detected from the images, from the image shown in FIG. And a vehicle recognition step for determining whether the tire is a tire.
  • Still another aspect of the present disclosure is a vehicle detection program, and the vehicle detection program is executed by a computer so that the computer functions as the vehicle detection device.
  • this program can be stored and provided in a non-transitional computer-readable medium.
  • Block diagram of a vehicle detection system Diagram showing examples of target areas
  • the figure which shows the structure of a tire detection part The figure which shows the example of a setting of a motion calculation area Diagram showing an example of optical flow calculation
  • the figure which shows the example of a process of a vehicle recognition part The flowchart figure which shows the process of a vehicle detection system
  • Schematic diagram showing the imaging range of the side view camera for the vehicle The figure which shows the example of the side view image in which only the part of the back of the parallel running vehicle is reflected
  • the figure which shows the example of the side view picture where the two-wheeled vehicle which is running in parallel is reflected
  • Schematic showing the situation where the tires before and after one long vehicle are shown in the side view image
  • FIG. 1 is a block diagram of a vehicle detection system according to an embodiment of the present disclosure.
  • the vehicle detection system 100 is mounted on a vehicle. This mounted vehicle is also referred to as a host vehicle.
  • the vehicle detection system 100 includes an imager 11 that captures an image of the side of the host vehicle and generates imaging data indicating a side view image, a target area setting unit 12 that sets a target area for image analysis of the side view image, and the like.
  • a tire detection unit 13 that analyzes the side view image and detects a tire; a motion calculation unit 14 that calculates motion information in a region in the side view image that includes the tire detected by the tire detection unit 13; A vehicle recognition unit 15 that determines whether or not the plurality of tires are tires of the same vehicle by comparing movement information of the plurality of tires detected from the view image.
  • the detected tire is mainly a tire of a vehicle running in parallel with the own vehicle, and the vehicle is also referred to as a surrounding vehicle or a different vehicle.
  • the tire detection unit 13, the motion calculation unit 14, and the vehicle recognition unit 15 constitute a vehicle detection device 16. That is, the vehicle detection system according to the present embodiment includes the image pickup device 11 and the vehicle detection device 16.
  • the vehicle detection device 16 functions as an electronic control circuit or an electronic control unit.
  • the vehicle detection device 16 is realized by a computer executing the vehicle detection program of the present embodiment. That is, the vehicle detection device 16 including the tire detection unit 13, the motion calculation unit 14, and the vehicle recognition unit 15 is configured by a computer that executes a vehicle detection program.
  • the computer hardware is provided in the vehicle.
  • the vehicle detection program may be installed when the vehicle is shipped, or may be installed by an owner or a dealer after the vehicle is purchased.
  • the vehicle detection device 16 does not necessarily have to be mounted on the vehicle, and may be mounted on another computer that can communicate with the vehicle. Further, each of the tire detection unit 13, the motion calculation unit 14, and the vehicle recognition unit 15 of the vehicle detection device 16 may be configured as a hardware device without using a program.
  • the imager 11 is provided on each of the left and right door mirrors in an attitude that images the range including the side and rear of the host vehicle.
  • the installation location of the image pickup device 11 is not limited to this, and may be provided on the vehicle body near the base of the door mirror, or may be provided at other locations, but is provided so that the side of a vehicle running in parallel can be photographed. It is done.
  • the imager 11 is a small digital camera including an optical system and an image sensor, and outputs image data continuously at a frame rate of 30 fps, for example.
  • the imaging data of each frame is data indicating a side view image.
  • image in the present application refers to an abstract image represented by imaging data regardless of whether it has an image file format and whether it is expressed on some medium.
  • the tire detection unit 13 detects a tire from a side view image, but the side view image at this time may not be expressed on some medium.
  • the imaging data is generated by the imaging device 11, and this imaging data may be subjected to some processing in the vehicle detection device 16, and the data processed in this way is also referred to as imaging data.
  • the imaging data generated by the imaging device 11 is output to the vehicle detection device 16 and used there, but in addition to this, it may be output to other devices such as a monitor provided in the vehicle.
  • the vehicle recognition result in the vehicle recognition unit 15 may be output in the form of visual information from a monitor provided in the vehicle, or may be output in the form of audio information from a speaker in the vehicle.
  • the imaging data may be stored in a predetermined storage medium in a moving image file format or a continuous still image file format.
  • the target area setting unit 12 acquires imaging data from the imager 11, and sets a region of interest (Region Of Interest: ROI), which is a partial area of the side view image, as a target area.
  • ROI region of interest
  • This region of interest is based on the premise that the road on which the vehicle travels is a flat surface, and excludes the region where the tire of a vehicle running side by side in the side view image cannot be detected in consideration of the nature of the vehicle tire.
  • ROI Region of interest
  • FIG. 2 is a diagram illustrating an example of the target area.
  • the example of FIG. 2 shows a side view image obtained by the image pickup device 11 on the left side of the host vehicle.
  • the target area 22 is set at the lower right of the side view image 21.
  • the target area is set at the lower left of the side view image.
  • the target area 22 may be fixed or variable. If the target area 22 is variable, the user may be able to set it himself. When the target area 22 is variable, the target area 22 is automatically set by performing calibration based on the installation angle of the image pickup device 11 and the maximum distance of the tire to be detected. Also good. When the target region 22 is fixed, the fixed value may be set while viewing the side view image 21, the installation angle of the image pickup device 11, the maximum distance of the tire to be detected, and the like. It may be set automatically by performing calibration based on the above.
  • the target area 22 when the target area 22 is variable, the target area 22 may not be changed unless a specific target area changing operation is performed (variable setting of the static target area). It may be set based on the result of white line detection or motion information (dynamic target area variable setting).
  • the following processing is performed using the target area 22 set as described above as a processing target.
  • Information is used not only as countable nouns but also as countable nouns.
  • the plurality of information is equivalent to the plurality of information items.
  • FIG. 3 is a diagram illustrating a configuration of the tire detection unit 13.
  • the tire detection unit 13 detects a tire from the target region 22 of the side view image.
  • the tire detection unit 13 of the present embodiment employs a pattern matching method.
  • the tire detection unit 13 includes a detection window setting unit 131, a feature amount extraction unit 132, a dictionary storage unit 133, and a detection determination unit 134.
  • the detection window setting unit 131, the feature amount extraction unit 132, the dictionary storage unit 133, and the detection determination unit 134 are also functions realized by executing the detection program of the present embodiment by a computer.
  • the detection window setting unit 131 sets a detection window (frame) 31 in the region of interest.
  • the processing in the feature amount extraction unit 132 and the detection determination unit 134 is performed each time a new detection window 31 is set by changing the position or size of the detection window 31 set by the detection window setting unit 131 in the target region 22. Repeatedly.
  • the feature amount extraction unit 132 extracts feature points in the detection window 31 and calculates a feature amount x of the extracted feature points (hereinafter, referred to as “feature point x”).
  • feature point x The feature point extraction and the feature amount calculation are collectively referred to as “feature amount extraction”.
  • the dictionary storage unit 133 stores a dictionary W obtained by learning many examples of tires shown in the side view image.
  • the tire image used for learning is an image including only the tire in the vehicle and its periphery.
  • the tire image used for learning is an image when the tire is viewed from the side or oblique side.
  • a learning tire image is prepared so that a region other than a tire (a vehicle body or a road) is small so that the matching probability does not decrease due to a difference in vehicles to which the tire is attached.
  • b is a threshold value for determining that it is a tire.
  • a detection window recognized as a tire image is detected as a tire image region (hereinafter referred to as “tire region”) 32 in the side view image indicated by the input imaging data.
  • tire region a tire image region
  • all of the plurality of tire regions 32 are detected.
  • the tire detection unit 13 When a plurality of tire regions are detected from the side view image, the tire detection unit 13 inputs the detection result (the position of the tire region in the side view image) to the motion calculation unit 14. Further, when one tire region is detected from the side view image, the tire detection unit 13 outputs that fact to the vehicle recognition unit 15.
  • the motion calculation unit 14 sets a larger motion calculation region 41 for each tire region 32 and extracts feature points in the motion calculation region 41. Then, the motion information of the feature points is calculated.
  • the feature point motion information is generated by connecting feature points corresponding to each other in the motion calculation regions 41 corresponding to each other in the side view images 21 of a plurality of frames in the side view image 21.
  • the motion information includes information on the moving amount and moving direction of the feature point.
  • the intervals between the plurality of frames used to calculate the motion information are known. Means the speed of a point.
  • FIG. 4 is a diagram illustrating a setting example of the motion calculation area 41.
  • the motion calculation unit 14 of the present embodiment includes tire regions 32a and 32b, respectively, and each of the motion calculation regions 41a is obtained by expanding the tire regions 32a and 32b by a predetermined ratio or a predetermined amount in the left and right directions and the upward direction. , 41b.
  • the reason why the motion calculation area 41 larger than the tire area 32 is set is as follows. That is, the purpose of the motion calculation unit 14 is to obtain vehicle motion information (speed and direction) as motion information, but the point on the tire moves in the traveling direction of the vehicle and the rotation direction of the tire. Therefore, when feature points are extracted particularly in the wheel portion of the tire, the movement direction includes not only the movement direction of the vehicle but also the rotation direction. Therefore, if the motion information of the part having such a motion in the rotational direction is calculated, the information on the motion in the traveling direction of the vehicle cannot be obtained correctly.
  • the tire image used for learning the dictionary of the dictionary storage unit 133 of the tire detection unit 13 is an image including no part other than the tire as much as possible, and thus is extracted from the side view image.
  • the tire region 32 does not include many portions other than the tire. Therefore, the motion calculation unit 14 according to the present embodiment calculates motion information using the motion calculation region 41 as a range slightly wider than the tire region 32 determined as a tire by pattern matching.
  • the motion calculation unit 14 has two side view images at a predetermined frame interval (for example, 3 frame intervals (0.1 seconds in the case of 30 fps)). For each of these, feature points are extracted from the motion calculation area 41. Then, the feature points of each frame are associated with each other and are connected to generate an optical flow of each feature point. This optical flow becomes the motion information.
  • a predetermined frame interval for example, 3 frame intervals (0.1 seconds in the case of 30 fps)
  • FIG. 5 is a diagram showing a calculation example of the optical flow.
  • Feature points a to e are extracted from the motion calculation area 41L on the left side of the side view image 21, and optical flows va to ve are calculated.
  • feature points f to k are extracted from the motion calculation area 41R on the right side of the side view image 21, and optical flows vf to vk are calculated.
  • the motion calculation unit 14 obtains motion information of each of the motion calculation area 41L and the motion calculation area 41R, except for such feature points whose optical flow is greatly different from many other feature points. Specifically, the motion calculation unit 14 averages a plurality of optical flows (excluding those greatly deviating from others) in each of the motion calculation regions 41L and 41R to obtain motion information of each region.
  • the vehicle recognition unit 15 recognizes the vehicle using the motion calculation unit 14 when the motion calculation unit 14 obtains the motion information of the motion calculation region 41L and the motion calculation region 41R.
  • the vehicle recognition unit 15 recognizes both areas as the motion calculation area of the same vehicle. .
  • the vehicle recognizing unit 15 determines that both areas are the same when the difference in magnitude (speed) and direction between the motion information in the motion calculation area 41L and the motion information in the motion calculation area 41R is smaller than a predetermined threshold. It is recognized as a vehicle motion calculation region (that is, both tires are tires of the same vehicle).
  • the vehicle recognition unit 15 When the vehicle recognition unit 15 recognizes that the plurality of motion calculation areas are movement calculation areas of the same vehicle, the vehicle recognition unit 15 estimates the position of the vehicle based on the position of the forward motion calculation area. Specifically, the vehicle recognizing unit 15 determines a position further ahead by a predetermined distance from the position of the foremost motion calculation area among the plurality of movement calculation areas recognized as the movement calculation area of the same vehicle. It is recognized as the tip position of the vehicle (another vehicle running in parallel).
  • FIG. 6 is a diagram illustrating an example of processing of the vehicle recognition unit 15. Specifically, the length of the line segment 61 connecting the centers of the lower sides of the rectangular motion calculation area is obtained. The length of this line segment 61 represents the distance between the tires and represents the size of the vehicle. When it is determined that three or more motion calculation areas are motion calculation areas of the same vehicle, a distance between the two most distant motion calculation areas is obtained.
  • the vehicle recognition unit 15 further determines the vehicle type of the other vehicle running in parallel based on the distance between the tires of the same vehicle. Specifically, the vehicle recognition unit 15 determines that the vehicle is a two-wheeled vehicle when the distance between the tires is relatively short, and determines that the vehicle is a normal vehicle when the distance between the tires is medium. When the distance is relatively long, it is determined that the vehicle is a large vehicle such as a truck or a bus. The above determination can be made by comparing the distance between the tires with a predetermined threshold value. Further, when it is recognized that three or more motion calculation areas belong to the same vehicle, it may be determined that the vehicle is a large vehicle.
  • the vehicle recognition unit 15 performs conversion according to the position of the line segment 61 to obtain the distance between tires.
  • the vehicle recognition unit 15 converts the length of the line segment 61 according to the distance from the vanishing point 62. The closer to the vanishing point 62, the longer the actual distance with respect to the length of the line segment 61.
  • the position of the vanishing point 62 in the side view image 21 is geometrically determined by using information on the arrangement (imaging direction) of the known image pickup device 11 and assuming that the host vehicle is traveling straight ahead. Is calculated.
  • the vehicle recognition unit 15 may calculate the vanishing point from the optical flow of the background portion in the side view image. Further, when a plurality of white lines extending in the traveling direction of the vehicle are detected from the side view image, such as white lines 63a and 63b shown in FIG. 6, their intersections may be used as vanishing points.
  • the vehicle recognition unit 15 The condition that the line connecting the centers of the lower sides of the motion calculation area is (1) heading to the vanishing point and / or (2) the angle between the detected white line is within a predetermined range. In addition, a determination may be made.
  • the motion calculation area 41 includes the detection window 31 that is determined to be a tire by pattern matching, and is set as an area that is enlarged in the horizontal direction and the upward direction of the detection window 31.
  • the motion calculation unit 14 may generate an optical flow using a cocoon-shaped region obtained by removing the detection window 31 from the motion calculation region 41 in FIG. 4 as a motion calculation region.
  • the vehicle recognition unit 15 relates to the other vehicle such as the size of the vehicle, the vehicle type based on the size, the position of the vehicle, and the like.
  • the relative speed of the other vehicle relative to the host vehicle is determined from the length of the optical flow, and / or the relative speed of the other vehicle relative to the host vehicle is determined from the direction of the optical flow. A specific moving direction may be obtained. Such information can also be effectively used for control such as warning and vehicle control.
  • the direct flow obtained from the optical flow is the relative speed and the relative moving direction of the other vehicle with respect to the own vehicle as described above, but the other is obtained by subtracting the moving speed and the moving direction of the own vehicle from these. You may obtain
  • the vehicle type can be determined based on it. That is, the upper limit speed (for example, 30 km / h) of a vehicle that does not have a driving source such as an engine or a motor is set as a threshold, and the motion calculation area whose moving speed is lower than the threshold does not have a driving source such as a bicycle. It can be recognized as a vehicle.
  • This determination is particularly effective when there are no plurality of motion calculation areas belonging to the same other vehicle. That is, even when there are no multiple motion calculation areas belonging to the same other vehicle, the vehicle is a bicycle or has some drive source (ordinary vehicle, motorcycle, moped, large vehicle, etc.) based on the speed of the motion calculation area Can be determined.
  • the vehicle recognition unit 15 may further determine the size of the vehicle or the vehicle type based on the size based on the size of the tire. For example, with T1, T2, and T3 as threshold values (where T1 ⁇ T2 ⁇ T3), depending on the tire size S, moped is attached when S ⁇ T1, and a light vehicle when T1 ⁇ S ⁇ T2, T2 ⁇ A distinction can be made between ordinary cars when S ⁇ T3 and large vehicles when T3 ⁇ S. Note that, as described above, even objects of the same size in the image appear smaller as the object is farther, so the tire size in the image is calculated in consideration of being smaller. Therefore, the size of the motion calculation area in the image is not immediately set as the tire size, but the tire size in the real space is calculated from the size of the motion calculation area according to the position of the motion calculation area.
  • the determination of the vehicle type based on the size of the motion calculation area is particularly effective when there are no plurality of motion calculation areas belonging to the same other vehicle.
  • the size of the motion calculation area makes it a bicycle or a vehicle having some drive source (ordinary vehicle, motorcycle, moped, large vehicle, etc. ) Is possible.
  • the vehicle (own vehicle) on which the vehicle detection system 100 is mounted is the result of recognition in the vehicle recognition unit 15, that is, the size of another vehicle, or the vehicle type (ordinary vehicle, two-wheeled vehicle, large vehicle, etc.) based on the size, Control is performed based on the position of the other vehicle (particularly the position of the tip), the relative speed with respect to the host vehicle, the relative movement direction, and the like. Examples of this control include display using a monitor, monitor, lamp, warning using a warning sound, and steering operation restriction.
  • FIG. 7 is a flowchart showing a vehicle detection process (method) of the vehicle detection system 100.
  • the flowchart includes a plurality of sections (or referred to as steps), and each section is expressed as, for example, S71. Further, each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • Each section can be referred to as a device, module, or unique name, for example, a sensing section can be referred to as a detection device, detection module, detector.
  • sections are not only (i) sections of software combined with hardware units (eg, computers), but (ii) hardware (eg, integrated circuits, wiring logic circuits). This section can be implemented with or without the associated device functions.
  • the hardware section can be included inside the microcomputer.
  • the target area setting unit 12 sets a target area for the side view image indicated by the imaging data (S72).
  • the tire detection unit 13 detects a tire from the target region (SS73). Specifically, as described above, the tire detection unit 13 performs pattern matching with the dictionary while sliding the detection window within the target region.
  • the vehicle recognition unit 15 compares the motion information among the detected plurality of tires (S77), and if they are the same, those tires are those of the same vehicle. It is determined that there is (S78: YES). In this case, on the basis of the distance between the tires, the position of the tire, etc., information on the other vehicle such as the size of the other vehicle or the vehicle type and position based on the size is obtained (S79).
  • the own vehicle controls display, warning, vehicle control, and the like based on the information of other vehicles acquired by the vehicle recognition unit 15 (S80). Further, when one tire is detected ((S75: NO)), and when a plurality of tires are detected but they are determined not to be the same other vehicle (S78: NO), the vehicle recognition unit 15 outputs a recognition result indicating that there is a vehicle indicating the existence of another vehicle, and the own vehicle receives this recognition result and provides information that there is another vehicle running in parallel (however, the position, size, etc. are unknown). Control based on this is performed (S81).
  • the vehicle detection system 100 repeats the above processing every time the image pickup device 11 inputs image pickup data at a predetermined frame interval. Note that the above processing is not necessarily performed for all frames input from the image pickup device 11. For example, when the image pickup device 11 is imaging at 30 fps, the above processing may be performed once every three frames (0.1 second interval).
  • the present disclosure compares the movement information of a plurality of tires detected from the image to determine whether the tire is the same vehicle, it can simply detect the tire and recognize that another vehicle exists. In addition, it has an effect that more information can be obtained about other vehicles running in parallel, and is useful as a vehicle detection system for detecting other vehicles running in parallel.
  • a vehicle detection system includes: That is, an imager that is mounted on a vehicle and that captures an image of the side of the vehicle to generate image data, a tire detection unit that detects a tire from an image indicated by the image data, and motion information about the detected tire are calculated.
  • a motion calculating unit and a vehicle recognizing unit that determines whether or not the tire is for a single other vehicle by comparing motion information about a plurality of tires detected from the image.
  • the motion information about the plurality of tires detected from the image is compared to determine whether or not they are the tires of the same other vehicle. In addition to recognizing that the vehicle is running, more information can be obtained about other vehicles running in parallel.
  • the motion calculation unit may calculate motion information by generating an optical flow in a motion calculation region including the periphery of the detected tire.
  • an optical flow is generated in a motion calculation area including the periphery of the tire, and motion information is calculated. Since the motion calculation area for calculating the optical flow is an area including the periphery of the tire, it is possible to generate an optical flow that does not include the tire rotation component and includes only the tire translational component.
  • the motion information may include speed and direction information
  • the vehicle recognition unit may determine that a plurality of tires having the same speed and direction are tires of the same vehicle.
  • the speed and direction at this time may be a relative speed and direction with respect to the host vehicle.
  • the vehicle recognition unit obtains the size of the other vehicle or responds to the size.
  • the vehicle type of the other vehicle may be determined.
  • the vehicle recognition unit may detect the position of the other vehicle based on the position of the detected tire in the image when there are a plurality of tires that are determined to be tires of the same other vehicle in the image. You may ask for.
  • the vehicle recognition unit when the tire is detected from the image, the vehicle recognition unit includes another vehicle when there are no plurality of tires that are determined to be tires of the same other vehicle in the image. Alternatively, it may be recognized that there is at least one other vehicle.
  • the vehicle recognition unit obtains the size of the other vehicle including the tire based on the size of the tire detected from the image, or the vehicle of the other vehicle corresponding to the size.
  • the type may be determined.
  • the size of the other vehicle and the vehicle type can be determined from the size of the tire.
  • the size and vehicle type of the other vehicle can be determined.
  • the vehicle recognition unit obtains the size of the vehicle including the tire based on the speed of the tire detected from the image, or determines the vehicle type of the other vehicle corresponding to the size. It may be determined.
  • the size and vehicle type of the other vehicle can be determined from the tire speed. For example, when the speed is lower than a predetermined threshold, it can be determined that the bicycle is not driven by the driving device.
  • the tire detection unit may detect a tire in a target area that is a partial area in the image.
  • This configuration can reduce erroneous detection of tires.
  • the region of interest may be set according to the installation angle of the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　車両検出システム（１００）は、車両に搭載され、車両の側方を撮像して画像を示す撮像データを生成する撮像器（１１）と、車両検出装置(apparatus)（１６）を備える。車両検出装置は、撮像データが示すサイドビュー画像から、タイヤを検出するタイヤ検出部（１３）と、検出されたタイヤを含むサイドビュー画像内の領域において動き情報を算出する動き算出部（１４）と、サイドビュー画像から検出された複数のタイヤの動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部（１５）とを備えている。

Description

車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム 関連出願の相互参照
　本出願は、２０１５年３月３１日に出願された日本出願番号２０１５－７３１０７号に基づくもので、ここにその記載内容を援用する。
　本開示は、並走する他車両を検出する車両検出システム、車両検出装置（apparatus）、車両検出方法、及び車両検出プログラムに関するものである。
　従来、サイドミラーで視認できる範囲と同様の車両の側方から後方にかけての範囲を撮像するサイドビューカメラが車両に搭載されている。図８は、車両に対するサイドビューカメラの撮像範囲を示す模式図である。サイドビューカメラ５０１は、例えば車両Ｖの左右のドアミラーにそれぞれ設置され、車両Ｖの左右の後ろ側の範囲を撮影する。
　サイドビューカメラで撮像された画像（以下、「サイドビュー画像」という。）を車内のモニタに表示することで、ドライバは、ドアミラーでは死角になる領域の状況を視認することができる。また、サイドビュー画像に対して画像解析を行い、カメラを搭載する車両である自車両（host vehicle）の側方で並走する車両を検出することで、危険を察知して、警告を発したり、ステアリングの負荷を増大させて衝突の危険がある車線変更を制限したりすることができる。
　サイドビュー画像に基づいて危険を察知するためには、サイドビュー画像から正確に車両が検出されることが望まれる。しかしながら、サイドビュー画像に映る車両の態様は様々であり、例えば、図９Ａに示すように、サイドビュー画像に、並走する他車両の後方の一部分しか撮影されていないことがある。また、図９Ｂに示すように、走行する他車両には二輪車も含まれる。そこで、サイドビュー画像からタイヤを検出することで、他車両を検出する技術が提案されている（例えば、特許文献１）。
ＪＰ　２００８－１３４８７７　Ａ
　しかしながら、タイヤから車両の存在を検出する方法では、撮影範囲内に車両が存在していることは検知できるが、車両の進行方向の位置や車両の大きさまでも認識することはできない。例えば、一つのサイドビュー画像から前後に並ぶ２つのタイヤが検出された場合には、それらのタイヤが、図１０に示すように１台の前後方向に長い車両Ｖ１の前後のタイヤＴ１、Ｔ２である場合と、図１１に示すように前方の車両Ｖ２の後タイヤＴＲ２と後方の車両Ｖ３の前タイヤＴＦ３である場合とがある。単にタイヤから他車両を検出するのみでは、他車両の存在は認識できるものの、図１０の状況であるか図１１の状況であるかの判断ができない。
　また、トラックやトレーラやバス等の大型車両の場合には、タイヤが前後方向に３つ以上並んで設けられることもあるが、このことも上記の判断を困難にしている。さらに、単にタイヤから他車両を検出するのみでは、その車両が普通車両であるのか、二輪車であるのか、大型車両であるのかの判断、すなわち車両タイプの判断もできない。
　本開示は、並走する他の車両を検出する車両検出システムにおいて、他の車両についてより多くの情報を取得することを目的とする。
　本開示の一態様は、車両検出システムであって、この車両検出システムは、車両に搭載され、車両の側方を撮像して撮像データを生成する撮像器と、撮像データが示す画像から、タイヤを検出するタイヤ検出部と、検出されたタイヤについて動き情報を算出する動き算出部と、画像から検出された複数のタイヤについての動き情報を比較することで、同一の他車両のタイヤであるか否かを判断する車両認識部とを備えた構成を有するものとして提供される。
　この構成によれば、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一の他車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。また、同様な効果は、つぎの本開示の他の態様からも得られるものである。
　本開示の別の態様は、車両検出装置であって、この車両検出装置は、上記の車両検出システムのうち、タイヤ検出部と、動き算出部と、車両認識部とを備えた構成を有するものとして提供される。
　本開示のさらに別の態様は、車両検出方法であって、この車両検出方法は、車両に搭載された撮像装置により、車両の側方を撮像して撮像データを生成する撮像ステップと、撮像データが示す画像から、タイヤを検出するタイヤ検出ステップと、検出されたタイヤについて動き情報を算出する動き算出ステップと、画像から検出された複数のタイヤについての動き情報を比較することで、同一車両のタイヤであるか否かを判断する車両認識ステップとを含む構成を有している。
　本開示のさらに別の態様は、車両検出プログラムであって、この車両検出プログラムは、コンピュータにて実行されることにより、コンピュータを、上記の車両検出装置として機能させるものとして提供される。尚、このプログラムは、非遷移のコンピュータ読取可能な媒体に保管されて提供されることもできる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本開示の実施形態に係る車両検出システムのブロック図 対象領域の例を示す図 タイヤ検出部の構成を示す図 動き算出領域の設定例を示す図 オプティカルフローの算出例を示す図 車両認識部の処理の例を示す図 車両検出システムの処理を示すフローチャート図 車両に対するサイドビューカメラの撮像範囲を示す模式図 並走する車両の後方の一部分しか映っていないサイドビュー画像の例を示す図 並走する二輪車が映っているサイドビュー画像の例を示す図 サイドビュー画像に１台の長い車両の前後のタイヤが映る状況を示す模式図 サイドビュー画像に前方の車両の後タイヤと後方の車両の前タイヤが映る状況を示す模式図
　以下、本開示の実施形態の車両検出システムについて、図面を参照しながら説明する。
　図１は、本開示の実施の形態に係る車両検出システムのブロック図である。車両検出システム１００は、車両に搭載される。この搭載する車両は、自車両(host vehicle)とも言及される。車両検出システム１００は、自車両の側方を撮像してサイドビュー画像を示す撮像データを生成する撮像器１１と、サイドビュー画像の画像解析の対象とする領域を設定する対象領域設定部１２と、サイドビュー画像を解析して、タイヤを検出するタイヤ検出部１３と、タイヤ検出部１３にて検出されたタイヤを含むサイドビュー画像内の領域において動き情報を算出する動き算出部１４と、サイドビュー画像から検出された複数のタイヤの動き情報を比較することで、それらの複数のタイヤが同一車両のタイヤであるか否かを判断する車両認識部１５とを備えている。検出されるタイヤは、主に、自車と並走する車両のタイヤであり、当該車両は、周辺車両あるいは他車両(different　vehicle)とも言及される。
　タイヤ検出部１３、動き算出部１４、及び車両認識部１５は、車両検出装置１６を構成する。すなわち、本実施の形態の車両検出システムは、撮像器１１と車両検出装置１６とからなる。車両検出装置１６は、電子制御回路あるいは電子制御ユニットとして機能し、本実施形態では、一例として、コンピュータが本実施の形態の車両検出プログラムを実行することで実現される。即ち、タイヤ検出部１３、動き算出部１４、及び車両認識部１５からなる車両検出装置１６は、車両検出プログラムを実行するコンピュータによって構成される。このコンピュータのハードウェアは車両に備えられる。車両検出プログラムは、車両の出荷時にインストールされていてもよいし、車両の購入後に所有者ないしはディーラによってインストールされてもよい。なお、車両検出装置１６は、必ずしも車両に搭載されていなくてもよく、車両と通信可能な他のコンピュータに実装されてもよい。更に、車両検出装置１６の、タイヤ検出部１３、動き算出部１４、及び車両認識部１５の各々は、一部あるいは全てを、プログラムを使用せず、ハードウェア機器として構成されていてもよい。
　撮像器１１は、左右のドアミラーの各々に、自車両の側方及び後方を含む範囲を撮像する姿勢で設けられる。なお、撮像器１１の設置個所はこれに限られず、ドアミラーの付け根付近の車体に設けられてもよく、その他の場所に設けられてもよいが、並走する車両の側面を撮影できるように設けられる。
　撮像器１１は、光学系及び撮像素子を含む小型のデジタルカメラであり、例えば３０ｆｐｓのフレームレートで連続的に撮像データを出力する。各フレームの撮像データは、サイドビュー画像を示すデータである。なお、本願で「画像」というときは、画像ファイルの形式を有しているか否か、及び何らかの媒体に表現されているか否かを問わずに、撮像データによって示される抽象的なイメージをいう。例えば、タイヤ検出部１３は、サイドビュー画像からタイヤを検出するが、このときのサイドビュー画像は、何らかの媒体に表現されているものでなくてよい。また、撮像データは、撮像器１１によって生成されるが、この撮像データは、車両検出装置１６において何らかの加工を施されてもよく、そのように加工されたデータも撮像データというものとする。
　撮像器１１で生成された撮像データは、車両検出装置１６に出力されてそこで用いられるが、これに加えて、車内に備えられたモニタ等の他の機器に出力されてもよい。また、車両認識部１５における車両の認識結果は、車内に備えられたモニタから視覚情報の形式で出力されてよく、車内のスピーカから音声情報の形式で出力されてもよい。また、撮像データは、動画像ファイルの形式又は連続する静止画ファイルの形式で所定の記憶媒体に記憶されてもよい。
　対象領域設定部１２は、撮像器１１から撮像データを取得して、サイドビュー画像のうちの一部領域である関心領域（Region Of Interest：ＲＯＩ）を対象領域として設定する。この関心領域は、自車両が走行する道路が平面であることを前提として、車両のタイヤという性質を考慮して、サイドビュー画像内において並走する車両のタイヤが検出され得ない領域を除いた領域として設定される。図２は対象領域の例を示す図である。図２の例は、自車両の左側の撮像器１１によって得られたサイドビュー画像を示しており、この場合には、サイドビュー画像２１の右下に対象領域２２が設定されている。なお、右側の撮像器１１によって得られたサイドビュー画像の場合には、サイドビュー画像の左下に対象領域が設定される。
　対象領域２２は、固定であっても可変であってもよい。対象領域２２が可変である場合には、ユーザが自ら設定可能であってよい。また、対象領域２２が可変である場合には、撮像器１１の設置角度や検出の対象とするタイヤの最大距離などに基づいて、キャリブレーションを行うことで自動的に対象領域２２が設定されてもよい。また、対象領域２２が固定である場合には、その固定値を、サイドビュー画像２１を目視しながら設定してもよいし、撮像器１１の設置角度や検出の対象とするタイヤの最大距離などに基づいて、キャリブレーションを行うことで自動的に設定してもよい。
　さらに、対象領域２２が可変である場合には、特定の対象領域変更操作を行わない限り対象領域２２を変更しないようにしてもよいし（静的な対象領域の可変設定）、走行中に、白線検知の結果や動き情報に基づいて設定してもよい（動的な対象領域の可変設定）。以下の処理は、以上のようにして設定された対象領域２２を処理対象として行われる。尚、情報は、不可算名詞のみならず、可算名詞としても使用される。複数の情報は、複数の情報項目と同等である。
　図３は、タイヤ検出部１３の構成を示す図である。タイヤ検出部１３は、サイドビュー画像の対象領域２２からタイヤを検出する。タイヤ検出には、種々の画像解析方法を採用できるが、本実施の形態のタイヤ検出部１３は、パターンマッチングの手法を採用している。図３に示すように、タイヤ検出部１３は、検出窓設定部１３１と、特徴量抽出部１３２と、辞書記憶部１３３と、検出判定部１３４とを備えている。これらの検出窓設定部１３１と、特徴量抽出部１３２と、辞書記憶部１３３と、検出判定部１３４も、本実施の形態の検出プログラムがコンピュータによって実行されることで実現される機能である。
　検出窓設定部１３１は、関心領域内に検出窓（枠）３１を設定する。特徴量抽出部１３２、検出判定部１３４における処理は、検出窓設定部１３１が設定する検出窓３１の対象領域２２内での位置又は大きさを変更して新たな検出窓３１を設定するごとに繰り返し行われる。特徴量抽出部１３２は、検出窓設定部１３１が検出窓３１を設定するごとに、その検出窓３１内の特徴点を抽出して、抽出された特徴点の特徴量ｘを算出する（以下、特徴点の抽出及び特徴量の算出をまとめて、「特徴量の抽出」という。）。
　辞書記憶部１３３は、サイドビュー画像内に映るタイヤの多数の例を学習して得られた辞書Ｗが記憶されている。学習に用いるタイヤの画像は、車両中のタイヤ及びその周辺のみを含む画像である。また、学習に用いるタイヤの画像は、タイヤを側方ないし斜め側方から見たときの画像である。パターンマッチングの際に、タイヤが取り付けられる車両の違いによってマッチングの確率が低下しないように、学習用のタイヤ画像はタイヤ以外（車体や道路）の領域が小さくなるように用意される。
　検出判定部１３４は、辞書Ｗと検出窓３１の特徴量ｘとを用いて、ｆ（ｘ）＝ＷTｘ＋ｂが正であるときは、その検出窓３１の画像をタイヤの画像であると判定し、ｆ（ｘ）＝ＷTｘ＋ｂが負であるときは、その検出窓３１の画像をタイヤ以外即ち背景の画像であると判定する。ここで、ｂはタイヤであると判定するための閾値である。
　検出窓設定部１３１にて検出窓を対象領域内で移動させながら、また、検出窓の大きさを変えながら、上記の認識処理を繰り返し行う。これによって、入力された撮像データが示すサイドビュー画像において、タイヤの画像であると認識された検出窓がタイヤ画像の領域（以下、「タイヤ領域」という。）３２として検出される。サイドビュー画像に複数のタイヤ領域３２がある場合には、それらの複数のタイヤ領域３２がすべて検出される。
　タイヤ検出部１３は、サイドビュー画像から複数のタイヤ領域が検出されると、その検出結果（サイドビュー画像におけるタイヤ領域の位置）を動き算出部１４に入力する。また、タイヤ検出部１３は、サイドビュー画像から１つのタイヤ領域が検出された場合には、その旨を車両認識部１５に出力する。
　サイドビュー画像２１から複数のタイヤ領域３２が検出されると、動き算出部１４は、各タイヤ領域３２について、それより大きい動き算出領域４１を設定し、その動き算出領域４１内で特徴点を抽出し、特徴点の動き情報を算出する。特徴点の動き情報は、複数のフレームのサイドビュー画像２１において互いに対応する動き算出領域４１内の互いに対応する特徴点どうしを、サイドビュー画像２１内で結ぶことで生成される。このように、動き情報は特徴点の移動量及び移動方向の情報を含み、ここで、動き情報を算出するのに用いる複数のフレームの間隔は既知であるので、特徴点の移動量は即ち特徴点の速度を意味する。
　図４は、動き算出領域４１の設定例を示す図である。図４の例では、２つのタイヤ領域３２ａ、３２ｂが検出されている。本実施の形態の動き算出部１４は、タイヤ領域３２ａ、３２ｂをそれぞれ含み、タイヤ領域３２ａ、３２ｂを左右方向及び上方向に所定の割合ないし所定の量だけ広げた領域を、それぞれ動き算出領域４１ａ、４１ｂとして設定する。
　このように、タイヤ領域３２より大きい動き算出領域４１を設定するのは以下の理由による。即ち、動き算出部１４の目的は、動き情報として、車両の動き情報（速度及び方向）を求めることであるが、タイヤ上の点は車両の進行方向に移動しているとともに、タイヤの回転方向にも移動しているので、特にタイヤのホイール部分で特徴点が抽出されると、その動き方向は車両の移動方向のみならず、回転方向も含むことになる。従って、そのような回転方向の動きを有する部分の動き情報が算出されると、その車両の進行方向の動きの情報が正しく得られないことになる。
　一方、上述のように、タイヤ検出部１３の辞書記憶部１３３の辞書の学習に用いられるタイヤ画像としては、極力タイヤ以外の部分を含まない画像が用いられているので、サイドビュー画像から抽出されたタイヤ領域３２にもタイヤ以外の部分が多くは含まれないことになる。そこで、本実施の形態の動き算出部１４は、パターンマッチングによってタイヤと判定されたタイヤ領域３２よりも若干広い範囲を動き算出領域４１として、動き情報を算出する。
　具体的には、動き算出部１４は、複数のタイヤが検出された場合に、所定のフレーム間隔（例えば、３０ｆｐｓの場合には３フレーム間隔（０．１秒））にある２つのサイドビュー画像のそれぞれについて、動き算出領域４１から特徴点を抽出する。そして、各フレームの特徴点どうしを対応付けて、その間を結ぶことで、各特徴点のオプティカルフローを生成する。このオプティカルフローが動き情報となる。
　図５は、オプティカルフローの算出例を示す図である。サイドビュー画像２１の左側の動き算出領域４１Ｌからは、特徴点ａ～ｅが抽出されて、オプティカルフローｖａ～ｖｅが算出される。また、サイドビュー画像２１の右側の動き算出領域４１Ｒからは、特徴点ｆ～ｋが抽出されて、オプティカルフローｖｆ～ｖｋが算出される。
　図５に示すように、多くの特徴点は、ほぼ同じ方向に動いているが、特徴点ｅ、ｉ、ｋは、タイヤのホイール部分から抽出されており、タイヤの回転による動き成分を含んでいるため、他とは異なる方向を向いている。動き算出部１４は、このようなオプティカルフローが多くの他の特徴点と大きくずれている特徴点を除いて、動き算出領域４１Ｌと動き算出領域４１Ｒのそれぞれの動き情報を求める。具体的には、動き算出部１４は、各動き算出領域４１Ｌ、４１Ｒの各領域において複数のオプティカルフロー（他と大きくずれているものを除く）を平均して各領域の動き情報とする。
　車両認識部１５は、動き算出領域４１Ｌと動き算出領域４１Ｒの動き情報が動き算出部１４にて得られると、これを用いて車両を認識する。車両認識部１５は、動き算出領域４１Ｌの動き情報と動き算出領域４１Ｒの動き情報の大きさ（速度）及び方向が同じである場合に、両領域を同一車両の動き算出領域であると認識する。具体的には、車両認識部１５は、動き算出領域４１Ｌの動き情報と動き算出領域４１Ｒの動き情報の大きさ（速度）及び方向の差分が所定の閾値よりも小さい場合に、両領域が同一車両の動き算出領域である（すなわち両タイヤが同一車両のタイヤである）と認識する。
　車両認識部１５は、複数の動き算出領域が同一車両の動き算出領域であると認識した場合には、その前方の動き算出領域の位置に基づいて、当該車両の位置を推定する。具体的には、車両認識部１５は、同一車両の動き算出領域であると認識された複数の動き算出領域の内の最も前方にある動き算出領域の位置からさらに所定の距離だけ前方の位置を当該車両（並走する他車両）の先端位置であると認識する。
　また、車両認識部１５は、複数の動き算出領域を同一車両の動き算出領域であると認識した場合に、その間の距離を求める。図６は、車両認識部１５の処理の例を示す図である。具体的には、矩形の動き算出領域の下辺の中央を結ぶ線分６１の長さを求める。この線分６１の長さはタイヤ間の距離を表しており、車両の大きさを表している。３以上の動き算出領域が同一車両の動き算出領域であると判断される場合には、最も遠い２つの動き算出領域の間の距離を求める。
　車両認識部１５は、さらに、同一車両のタイヤ間の距離に基づいて、並走する他車両の車両タイプを判別する。具体的には、車両認識部１５は、タイヤ間の距離が比較的短いときは二輪車であると判断し、タイヤ間の距離が中程度であるときは普通車であると判断し、タイヤ間の距離が比較的長いときはトラックやバス等の大型車両であると判断する。それぞれタイヤ間の距離を所定の閾値と比較することにより、上記の判別を行うことができる。また、３以上の動き算出領域が同一車両のものであると認識された場合に、大型車両であると判断してもよい。
　但し、他車両が自車両から遠くにある場合には、他車両が自車両の近くにある場合と比較して、実際の長さに対して線分６１は短くなっているので、タイヤ間の距離を求めるのに、サイドビュー画像上での線分６１の長さをそのまま用いることはできない。そこで、車両認識部１５は、線分６１の位置に応じて換算をしてタイヤ間の距離を求める。
　具体的には、車両認識部１５は、消失点６２からの距離に応じて、線分６１の長さを換算する。消失点６２に近いほど実際の距離は線分６１の長さに対して長くなる。消失点６２のサイドビュー画像２１内での位置は、既知の撮像器１１の配置（撮像方向）の情報を用い、かつ、自車両が前方に直進していると仮定することで、幾何学的に算出される。なお、車両認識部１５は、サイドビュー画像内の背景部分のオプティカルフローから消失点を算出してもよい。また、図６に示す白線６３ａ、６３ｂのように、サイドビュー画像から車両の進行方向に延びる複数の白線を検知した場合には、それらの交点を消失点として代用してもよい。
　なお、車両認識部１５は、複数の動き算出領域４１が同一車両のものであるか否かの判定条件として、動き情報の大きさ及び方向が同じであるという上記の条件に加えて、二つの動き算出領域の下辺の中心を結ぶ線分が、（１）消失点に向かうこと、及び／又は、（２）検知された白線との間の角度が所定の範囲内にあること、という条件を付加して、判断をするようにしてもよい。
　また、上記の実施の形態では、動き算出領域４１は、パターンマッチングによってタイヤであると判断された検出窓３１を含み、検出窓３１の左右方向及び上方向に拡大された領域として設定されたが（図４参照）、動き算出部１４は、図４における動き算出領域４１から検出窓３１を除いたΠ形状の領域を動き算出領域としてオプティカルフローを生成してもよい。
　また、車両認識部１５は、複数の動き算出領域が同一の他車両のものであると判断された場合に、車両の大きさ、ないし大きさに基づく車両タイプ、車両の位置等の他車両に関する情報を求めるが、これらに加えて、又は、これらに代えて、オプティカルフローの長さから他車両の自車両に対する相対速度を求め、及び／又は、オプティカルフローの方向から他車両の自車両に対する相対的な移動方向を求めてもよい。このような情報も、警告や車両制御等の制御に有効に活用できる。
　なお、オプティカルフローから直接得られるのは、上述のように自車両に対する他車両の相対速度及び相対的な移動方向であれるが、これらから自車両の移動速度及び移動方向を減算して、他車両の地面に対する移動速度及び移動方向を求めてもよい。
　さらに、他車両の移動速度が求められると、それに基づいて車両タイプを判断することもできる。即ち、エンジンやモータ等の駆動源を持たない車両の上限の速度（例えば３０ｋｍ／ｈ）を閾値として設定し、移動速度が当該閾値より低い動き算出領域は、例えば自転車等の駆動源を持たない車両であると認識することができる。この判断は、同一の他車両に属する複数の動き算出領域がない場合に特に有効である。即ち、同一の他車両に属する複数の動き算出領域がない場合であっても、動き算出領域の速度から、自転車であるか何らかの駆動源を有する車両（普通車、バイク、原付、大型車両等）であるかの判断が可能である。
　車両認識部１５は、さらに、タイヤの大きさに基づいて、車両の大きさ、ないし大きさに基づく車両タイプを求めてもよい。例えば、Ｔ１、Ｔ２、Ｔ３を閾値として（但し、Ｔ１＜Ｔ２＜Ｔ３）、タイヤの大きさＳに応じて、Ｓ＜Ｔ１のときは原付、Ｔ１≦Ｓ＜Ｔ２のときは軽自動車、Ｔ２≦Ｓ＜Ｔ３のときは普通乗用車、Ｔ３≦Ｓのときは大型車両というように区別をすることができる。なお、上述のように、画像内の同じ大きさの物体であっても、遠い物体ほど小さく映るので、画像中のタイヤの大きさは小さくなる考慮して算出される。よって、画像における動き算出領域の大きさを直ちにタイヤの大きさとするのではなく、動き算出領域の位置に従って、動き算出領域の大きさから実空間でのタイヤの大きさを算出する。
　動き算出領域の大きさに基づく車両タイプの判断は、同一の他車両に属する複数の動き算出領域がない場合に特に有効である。即ち、同一の他車両に属する複数の動き算出領域がない場合であっても、動き算出領域の大きさから、自転車であるか何らかの駆動源を有する車両（普通車、バイク、原付、大型車両等）であるかの判断が可能である。
　車両検出システム１００が実装された車両（自車両）は、車両認識部１５における認識の結果、すなわち、他車両の大きさ、ないし大きさに基づく車両タイプ（普通車、二輪車、大型車両等）、他車両の位置（特に先端部の位置）、自車両に対する相対的速度や相対的移動方向等に基づいて、制御を行う。この制御としては、モニタを用いた表示、モニタ、ランプ、警告音を用いた警告、ステアリングの操作制限等の制御がある。
　図７は、車両検出システム１００の車両検出の処理（方法）を示すフローチャート図である。フローチャートは、複数のセクション（あるいはステップと言及される）を含み、各セクションは、たとえば、Ｓ７１と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。各セクションは、デバイス、モジュール、あるいは、固有名として、例えば、検知セクションは、検出デバイス、検出モジュール、ディテクタとして、言及されることができる。また、既に、説明したように、セクションは、(i)ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア（例えば、集積回路、配線論理回路）のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に含まれることもできる。
　撮像器１１が撮像をしてサイドビュー画像を示す撮像データを生成すると（Ｓ７１）、対象領域設定部１２が、撮像データが示すサイドビュー画像について対象領域を設定する（Ｓ７２）。次に、タイヤ検出部１３が、対象領域からタイヤを検出する（ＳＳ７３）。具体的には上述した通りであり、タイヤ検出部１３は、検出窓を対象領域内でスライドさせながら辞書とのパターンマッチングを行う。
　タイヤ検出の結果、タイヤが検出されなかった場合は（Ｓ７４：ＮＯ）、Ｓ７１に戻って上記の処理を繰り返す。タイヤ検出の結果、タイヤが検出された場合において（Ｓ７４：ＹＥＳ）、１つのサイドビュー画像から複数のタイヤが検出されたときは（Ｓ７５：ＹＥＳ）、動き算出部１４は、検出された各タイヤの周囲にそれぞれ動き算出領域を設定して、動き情報を算出する（Ｓ７６）。
　動き情報が算出されると、車両認識部１５は、検出された複数のタイヤの間で動き情報を比較し（Ｓ７７）、それらが同一である場合にはそれらのタイヤが同一の車両のものであると判断する（Ｓ７８：ＹＥＳ）。この場合には、タイヤ間の距離、タイヤの位置等に基づいて、他車両の大きさ、ないし、大きさに基づく車両タイプ、位置等の他車両に関する情報を求める（Ｓ７９）。
　そして、自車両は、車両認識部１５にて取得した他車両の情報に基づいて、表示、警告、車両制御等の制御を行う（Ｓ８０）。また、１つのタイヤが検出された場合（（Ｓ７５：ＮＯ）、及び複数のタイヤが検出されたがそれらが同一の他車両の物でないと判断された場合（Ｓ７８：ＮＯ）は、車両認識部１５は、他車両の存在を示す車両有という認識結果を出力し、自車両はこの認識結果を受けて、並走する他車両が存在するという情報（但し、位置や大きさ等は不明）に基づく制御を行う（Ｓ８１）。
　車両検出システム１００は、撮像器１１が所定のフレーム間隔で撮像データを入力するごとに上記の処理を繰り返す。なお、上記の処理は、必ずしも撮像器１１から入力されるすべてのフレームについて行う必要はない。例えば撮像器１１が３０ｆｐｓで撮像をしている場合において、上記の処理を毎３フレームにつき１回の間隔（０．１秒間隔）で行ってもよい。
　本開示は、画像から検出された複数のタイヤの動き情報を比較して同一車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報が得られるという効果を有し、並走する他車両を検出する車両検出システム等として有用である。
　本開示の観点を以下に、記載する。
　一観点として、車両検出システムが次を備えるように提供される。即ち、車両に搭載され、車両の側方を撮像して撮像データを生成する撮像器と、撮像データが示す画像から、タイヤを検出するタイヤ検出部と、検出されたタイヤについて動き情報を算出する動き算出部と、画像から検出された複数のタイヤについての動き情報を比較することで、ただ一つの同一の他車両のタイヤであるか否かを判断する車両認識部とを備える。
　この構成によれば、画像から検出された複数のタイヤについての動き情報を比較してそれらが同一の他車両のタイヤであるか否かを判断するので、単にタイヤを検出して他車両が存在していることを認識できるだけでなく、並走する他車両についてより多くの情報を得ることができる。
　上記の車両検出システムにおいて、動き算出部は、検出されたタイヤの周囲を含む動き算出領域でオプティカルフローを生成することで、動き情報を算出してよい。
　この構成によれば、タイヤの周囲を含む動き算出領域でオプティカルフローが生成されて、動き情報が算出される。オプティカルフローを算出する動き算出領域がタイヤの周囲を含む領域であるので、タイヤの回転成分を含まず、タイヤの並進移動成分のみを含むオプティカルフローを生成できる。
　上記の車両検出システムにおいて、動き情報は、速度及び方向の情報を含んでいてよく、車両認識部は、速度及び方向が同じである複数のタイヤを同一車両のタイヤであると判断してよい。
　この構成によれば、同一車両の複数のタイヤは速度と方向が同じであることを利用して、検出された複数のタイヤが同一車両のものであるか否かを判断できる。なお、この時の速度及び方向は、自車両に対する相対的な速度及び方向であってよい。
　上記の車両検出システムにおいて、車両認識部は、画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、当該他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。
　この構成によれば、他車両のタイヤ間の距離から他車両の大きさないし車両タイプが判別できるので、この情報を各種の制御に有効に活用できる。
　上記の車両検出システムにおいて、車両認識部は、画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、画像における検出されたタイヤの位置に基づいて、他車両の位置を求めてよい。
　この構成によれば、同一の他車両の複数のタイヤが認識されると、そのうちのいずれが前方のタイヤでありいずれが後方のタイヤであるかを判断できるので、特に、前方のタイヤの位置に基づいて、他車両の先端の位置を推定でき、この情報を各種の制御に有効に活用できる。
　上記の車両検出システムにおいて、車両認識部は、画像からタイヤが検出された場合において、画像において同一の他車両のタイヤであると判断される複数のタイヤがないときは、他車両が存在する、或は、少なくとも一つの他車が存在する、と認識してよい。
　この構成によれば、検出されたタイヤが同一の他車両であると判断されなかった場合には、車両が存在していることが認識される。なお、「同一の他車両のタイヤであると判断される複数のタイヤがないとき」には、及び画像から複数のタイヤが検出されたがそれらが同一の他車両のものであると判断されなかった場合、及び画像から１つのタイヤしか検出されなかった場合が含まれる。
　上記の車両検出システムにおいて、車両認識部は、画像から検出されたタイヤの大きさに基づいて、当該タイヤを備えた他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。
　この構成によれば、タイヤの大きさから他車両の大きさや車両タイプを判断できる。特に、仮に同一車両のタイヤであると認定される複数のタイヤがない場合にも、他車両の大きさや車両タイプを判断できる。
　上記の車両検出システムにおいて、車両認識部は、画像から検出されたタイヤの速度に基づいて、当該タイヤを備えた車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別してよい。
　この構成によれば、タイヤの速度から他車両の大きさや車両タイプを判断できる。例えば、速度が所定の閾値よりも低い場合には、駆動装置によって駆動されていない自転車等であると判断できる。
　上記の車両検出システムにおいて、タイヤ検出部は、画像内の一部領域である対象領域にてタイヤを検出してよい。
　この構成によれば、タイヤの誤検出を軽減できる。なお、関心領域は、カメラの設置角度に応じて設定されてよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

 

Claims (12)

  1. 　車両に搭載され、前記車両の側方を撮像して撮像データを生成する撮像器（１１）と、
    　前記撮像データが示す画像から、タイヤを検出するタイヤ検出部（１３）と、
    　検出されたタイヤについて動き情報を算出する動き算出部（１４）と、
    　前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部（１５）と、
    　を備えた
    　車両検出システム。
  2. 　前記動き算出部は、検出されたタイヤの周囲を含む動き算出領域でオプティカルフローを生成することで、当該タイヤについての前記動き情報を算出する
    　請求項１に記載の車両検出システム。
  3. 　前記動き情報は、速度及び方向の情報を含み、
    　前記車両認識部は、速度及び方向が同じである複数のタイヤを同一車両のタイヤであると判断する
    　請求項１又は２に記載の車両検出システム。
  4. 　前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、当該他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別する
    　請求項１ないし３のいずれか一項に記載の車両検出システム。
  5. 　前記車両認識部は、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがある場合に、前記画像における検出されたタイヤの位置に基づいて、前記他車両の位置を求める
    　請求項１ないし４のいずれか一項に記載の車両検出システム。
  6. 　前記車両認識部は、前記画像からタイヤが検出された場合において、前記画像において同一の他車両のタイヤであると判断される複数のタイヤがないときは、他車両が存在すると認識する
    　請求項１ないし５のいずれか一項に記載の車両検出システム。
  7. 　前記車両認識部は、前記画像から検出されたタイヤの大きさに基づいて、当該タイヤを備えた他車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別する
    　請求項１ないし６のいずれか一項に記載の車両検出システム。
  8. 　前記動き情報は、速度の情報を含み、
    　前記車両認識部は、前記画像から検出されたタイヤの速度に基づいて、当該タイヤを備えた車両の大きさを求め、または、大きさに応じた当該他車両の車両タイプを判別する
    　請求項１ないし７のいずれか一項に記載の車両検出システム。
  9. 　前記タイヤ検出部は、前記画像内の一部領域である対象領域にてタイヤを検出する
    　請求項１ないし８のいずれか一項に記載の車両検出システム。
  10. 　車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像からタイヤを検出するタイヤ検出部（１３）と、
    　検出されたタイヤについて動き情報を算出する動き算出部（１４）と、
    　前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部（１５）と、
    　を備えた
    　車両検出装置。
  11. 　車両に搭載された撮像装置により、前記車両の側方を撮像して撮像データを生成する撮像ステップ（Ｓ７１）と、
    　前記撮像データが示す画像から、タイヤを検出するタイヤ検出ステップ（Ｓ７３）と、
    　検出されたタイヤについて動き情報を算出する動き算出ステップ（Ｓ７６）と、
    　前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一車両のタイヤであるか否かを判断する車両認識ステップ（Ｓ７７）と、
    　を含む
    　車両検出方法。
  12. 　コンピュータにて実行されることにより、前記コンピュータを、
    　車両の側方を撮像して生成された撮像データを取得し、前記撮像データが示す画像から、タイヤを検出するタイヤ検出部（１３）と、
    　検出されたタイヤについて動き情報を算出する動き算出部（１４）と、
    　前記画像から検出された複数のタイヤについての動き情報を比較することで、前記複数のタイヤが同一の他車両のタイヤであるか否かを判断する車両認識部（１５）と、
    　を備えた車両検出装置として機能させる
    　車両検出プログラム。
PCT/JP2016/000910 2015-03-31 2016-02-22 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム WO2016157698A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015073107A JP2016192177A (ja) 2015-03-31 2015-03-31 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
JP2015-073107 2015-03-31

Publications (1)

Publication Number Publication Date
WO2016157698A1 true WO2016157698A1 (ja) 2016-10-06

Family

ID=57005506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000910 WO2016157698A1 (ja) 2015-03-31 2016-02-22 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム

Country Status (2)

Country Link
JP (1) JP2016192177A (ja)
WO (1) WO2016157698A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3520727B1 (en) 2016-09-29 2022-03-30 National University Corporation Shiga University OF Medical Science Tissue joiner
JP6906320B2 (ja) * 2017-02-13 2021-07-21 株式会社Ｓｏｋｅｎ 駐車支援装置および駐車支援制御装置
JP6841725B2 (ja) * 2017-06-07 2021-03-10 アルパイン株式会社 他車監視システム
JP7182195B2 (ja) * 2017-10-31 2022-12-02 パナソニックＩｐマネジメント株式会社 ダブルタイヤ判定装置、及びダブルタイヤ判定方法
JP2020021188A (ja) * 2018-07-31 2020-02-06 田中　成典 自動車の姿勢推定装置
JP7380824B2 (ja) * 2020-02-20 2023-11-15 日本電信電話株式会社 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
WO2023007684A1 (ja) * 2021-07-29 2023-02-02 日本電信電話株式会社 寸法推定装置、寸法推定方法、及び寸法推定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06247246A (ja) * 1993-02-26 1994-09-06 Mitsubishi Electric Corp 接近車監視装置
JP2002197588A (ja) * 2000-12-26 2002-07-12 Fujitsu Ltd 走行車両のタイヤ種別判別方法，車種判別方法及び車種判別装置
JP2013537630A (ja) * 2010-08-04 2013-10-03 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両の車輪運動および車体運動の決定方法および決定装置
JP2014209387A (ja) * 2010-03-17 2014-11-06 本田技研工業株式会社 車両周辺監視装置
JP2015055993A (ja) * 2013-09-11 2015-03-23 アルパイン株式会社 後側方車両検出装置および後側方車両検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06247246A (ja) * 1993-02-26 1994-09-06 Mitsubishi Electric Corp 接近車監視装置
JP2002197588A (ja) * 2000-12-26 2002-07-12 Fujitsu Ltd 走行車両のタイヤ種別判別方法，車種判別方法及び車種判別装置
JP2014209387A (ja) * 2010-03-17 2014-11-06 本田技研工業株式会社 車両周辺監視装置
JP2013537630A (ja) * 2010-08-04 2013-10-03 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両の車輪運動および車体運動の決定方法および決定装置
JP2015055993A (ja) * 2013-09-11 2015-03-23 アルパイン株式会社 後側方車両検出装置および後側方車両検出方法

Also Published As

Publication number Publication date
JP2016192177A (ja) 2016-11-10

Similar Documents

Publication Publication Date Title
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
US10255813B2 (en) Moving object collision warning system and method for large vehicle
KR101641490B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US7518490B2 (en) Method and system of monitoring around a vehicle
US20150049195A1 (en) Image processing unit, object detection method, object detection program, and vehicle control system
US11288833B2 (en) Distance estimation apparatus and operating method thereof
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US9516274B2 (en) Sensing system and method for detecting moving objects
JP2013084242A (ja) 映像に基づく車両用警報システム
US10192444B2 (en) Forward collision warning system and method
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
WO2011086807A1 (ja) 車両周辺監視装置
US20160314363A1 (en) Obstacle detection apparatus and method
US8160300B2 (en) Pedestrian detecting apparatus
US20180162274A1 (en) Vehicle side-rear warning device and method using the same
JP2014146267A (ja) 歩行者検出装置、運転支援装置
JP7468207B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
JP4601376B2 (ja) 画像異常判定装置
JP2023039777A (ja) 障害物検出装置、障害物検出方法および障害物検出プログラム
KR20150092505A (ko) 차간 거리 경고 방법 및 전방 충돌 감지 장치
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
KR102296213B1 (ko) 영상 기록 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16771593

Country of ref document: EP

Kind code of ref document: A1