WO2017158983A1 - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents

物体認識装置、物体認識方法及び物体認識プログラム Download PDF

Info

Publication number
WO2017158983A1
WO2017158983A1 PCT/JP2016/087942 JP2016087942W WO2017158983A1 WO 2017158983 A1 WO2017158983 A1 WO 2017158983A1 JP 2016087942 W JP2016087942 W JP 2016087942W WO 2017158983 A1 WO2017158983 A1 WO 2017158983A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
wheel
detected
image
vehicle
Prior art date
Application number
PCT/JP2016/087942
Other languages
English (en)
French (fr)
Inventor
卓也 小倉
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201680049292.5A priority Critical patent/CN107924465B/zh
Priority to JP2018505263A priority patent/JP6635188B2/ja
Publication of WO2017158983A1 publication Critical patent/WO2017158983A1/ja
Priority to US16/134,769 priority patent/US10796171B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Definitions

  • the present invention relates to an object recognition device, an object recognition method, and an object recognition program.
  • Safety support devices that recognize the situation around a vehicle based on the image of a camera mounted on the vehicle and notify a driver of a warning have become widespread.
  • Such a safety support apparatus uses a plurality of recognition dictionaries with respect to an image captured by a camera to recognize vehicles, pedestrians, and the like around the host vehicle.
  • Patent Document 1 describes that in an image recognition device, a recognition dictionary is set according to the moving speed of an object obtained from a plurality of images, and a bicycle, a two-wheeled vehicle, its occupant, and a pedestrian are identified. Has been.
  • Patent Document 2 in the image recognition apparatus, a plurality of candidate object patterns excluding a ground contact portion with a road surface are stored, a pattern that obtains a predetermined correlation with the candidate object in the image is extracted, and the candidate object is extracted. Is estimated to calculate the distance from the actual candidate object.
  • Patent Document 1 sets a correct recognition dictionary in such a case, It becomes difficult to identify. Further, when a bicycle or the like is photographed from the diagonally forward direction or the diagonally backward direction, it may not be recognized as a bicycle or may be erroneously recognized as a person.
  • Example in case patent object 2 is a candidate object is a pedestrian
  • this invention can be considered that a candidate object may be a vehicle etc.
  • the detected position may deviate from the actual vehicle image. And if the distance from the said vehicle is calculated based on the detection position which shifted
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide an object recognition device, an object recognition method, and an object recognition program capable of more accurately detecting an object from an image. To do.
  • the present embodiment includes an image acquisition unit that acquires an image obtained by photographing a subject, and a recognition processing unit that recognizes the subject using a recognition dictionary with respect to the acquired image.
  • An object is detected for an image using an object recognition dictionary, a wheel is detected using a wheel recognition dictionary for the lower part of the detected object, and the detection result of the wheel is reflected in the detection result of the object
  • An object recognition apparatus is provided.
  • the present embodiment includes an image acquisition step for acquiring an image obtained by photographing a subject, and a recognition processing step for recognizing the subject using a recognition dictionary for the acquired image.
  • the object is detected using the object recognition dictionary for the captured image, the wheel is detected using the wheel recognition dictionary for the lower part of the detected object, and the detection result of the wheel is reflected in the detection result of the object.
  • An object recognition method is provided.
  • This embodiment can provide an object recognition device, an object recognition method, and an object recognition program that more accurately detect an object from an image.
  • FIG. 1 is a block diagram showing a schematic configuration of an object recognition system 1 according to Embodiment 1.
  • FIG. 4 is a flowchart illustrating a processing procedure of the object recognition method according to the first embodiment.
  • 6 is a diagram illustrating an example of a recognition target image according to Embodiment 1.
  • FIG. It is a figure which shows the detection result of the person which concerns on Embodiment 1.
  • FIG. It is a figure which shows the recognition range of the wheel which concerns on Embodiment 1.
  • FIG. It is a figure which shows the detection result of the wheel which concerns on Embodiment 1.
  • FIG. It is a figure which shows the detection result of the bicycle which concerns on Embodiment 1.
  • FIG. 6 is a flowchart illustrating a processing procedure of an object recognition method according to the second embodiment.
  • FIG. 10 is a diagram illustrating a display example of detection rectangles and distances according to Embodiment 2.
  • FIG. 10 is a flowchart illustrating a processing procedure of an object recognition method according to Embodiment 3.
  • 14 is a flowchart illustrating a processing procedure of an object recognition method according to the fourth embodiment.
  • the “image” in this specification includes a still image and a moving image.
  • the “vehicle” in this specification includes an automobile (including a motorcycle), a motorbike, a light vehicle (including a bicycle), a wheelchair, and personal mobility.
  • the “occupant” in the present specification includes a person (driver) driving on a vehicle or the like, a person (other than the driver) riding on a vehicle, or the like.
  • a person is detected using a person recognition dictionary with respect to an image obtained by photographing a person, and wheels are detected using the wheel recognition dictionary for the detected person. It is detected and it is determined whether the detected person is a vehicle occupant or a pedestrian.
  • FIG. 1 is a block diagram showing a schematic configuration of an object recognition system 1 according to the first embodiment.
  • the object recognition system 1 is a system mainly used in a vehicle, and includes a front camera 10, an object recognition device 20, a dictionary data storage device 30, a display device 40, and the like.
  • the front camera 10 captures an image of the traveling direction of the host vehicle and inputs the image to the object recognition device 20.
  • the front camera 10 is a camera that captures an image of visible light, but may be a camera that can also detect infrared light, a camera that captures an image of visible light, and a camera that detects infrared light. May be combined.
  • the object recognition device 20 recognizes a pedestrian, a bicycle, and the like using an image captured by the front camera 10, and outputs a warning signal to the display device 40 or the like as necessary.
  • the object recognition apparatus 20 recognizes a pedestrian, a bicycle, etc. for every frame or every several frames of the video imaged by the front camera 10, for example.
  • the object recognition device 20 specifies the recognized grounding position of the pedestrian, bicycle, etc. in the image, and calculates the distance between the own vehicle and the pedestrian, bicycle, etc.
  • the object recognition device 20 includes an image acquisition unit 21, a recognition processing unit 22, a display control unit 23, and the like.
  • the image acquisition unit 21 inputs an image captured by the front camera 10 and outputs the image to the recognition processing unit 22.
  • the recognition processing unit 22 recognizes and requires pedestrians, bicycles, wheels (tires), and the like using images such as a person recognition dictionary, a bicycle recognition dictionary, and a wheel recognition dictionary stored in the dictionary data storage device 30.
  • a signal is output to the display control unit 23 so as to warn the driver accordingly.
  • the display control unit 23 performs control for displaying a warning image or outputting a warning sound on the display device 40.
  • the display control unit 23 also performs control for causing the display device 40 to display distance information calculated from the position in the image of the grounding position of the recognized pedestrian, bicycle, or the like.
  • the dictionary data storage device 30 stores a person recognition dictionary, a bicycle recognition dictionary, a wheel recognition dictionary, and the like.
  • the person recognition dictionary, the bicycle recognition dictionary, and the wheel recognition dictionary are created by machine learning of images obtained by photographing persons, bicycles, and wheels from various angles, or clipped images thereof.
  • the object recognition system 1 may not include the dictionary data storage device 30.
  • the dictionary data storage device 30 should just be an external server connected using the communication interface which the object recognition system 1 can utilize.
  • the dictionary data storage device 30 may be configured as a dictionary data reference device.
  • the display device 40 notifies an occupant of the own vehicle such as a driver of a warning that a pedestrian, a bicycle, or the like exists in the traveling direction of the own vehicle with an image or a sound.
  • the display apparatus 40 notifies the distance to the pedestrian and bicycle which were recognized with respect to the passenger
  • achieves is realizable by running a program by control of the arithmetic unit (not shown) with which the object recognition apparatus 20 which is a computer is provided, for example.
  • the object recognition device 20 is realized by loading a program stored in a storage unit (not shown) into a main storage device (not shown) and executing the program under the control of the arithmetic device.
  • each component is not limited to being realized by software by a program, but may be realized by any combination of hardware, firmware, and software.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • non-transitory computer-readable media examples include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may be supplied to the object recognition device 20 by various types of temporary computer readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the object recognition apparatus 20 via a wired communication path such as an electric wire and an optical fiber or a wireless communication path.
  • FIG. 2 is a flowchart showing a processing procedure of the object recognition method according to the first embodiment.
  • the front camera 10 captures an image in the traveling direction of the host vehicle, and the image acquisition unit 21 acquires the image as a recognition target image (step S10).
  • FIG. 3 is a diagram illustrating an example of a recognition target image according to the first embodiment.
  • the image shows a person A who has started walking across the pedestrian crossing in front of his vehicle, a person B who is crossing the pedestrian crossing on a bicycle, and a road on a bicycle that is further beyond the pedestrian crossing.
  • a person C crossing diagonally is shown.
  • the recognition processing unit 22 recognizes a person with respect to the recognition target image using the person recognition dictionary stored in the dictionary data storage device 30 (step S20). At this time, the recognition processing unit 22 may recognize the person in the entire area of the recognition target image, or may recognize the person only in the central area excluding the upper and lower areas of the recognition target image. Thereby, the recognition processing unit 22 recognizes and detects the persons A to C in the image shown in FIG.
  • FIG. 4 is a diagram showing a person detection result according to the first embodiment. Detection rectangles A to C showing the result of detection of the person by the recognition processing unit 22 appropriately surround the persons A to C, respectively, indicating that the recognition processing unit 22 can detect the person appropriately. However, the detected person A is in a walking state, the persons B and C are in a state of riding a bicycle, and based on the shape of the person detected by the recognition processing unit 22 or the like, If the distance between the front camera 10) and the persons A to C is calculated as it is, the distance between the persons B and C may be mistaken. This mistake becomes particularly noticeable when the distance to the person is calculated based on the lower end position (grounding position) of the person in the image. Moreover, since the moving speeds of pedestrians and bicycles are different, it is necessary to correctly identify pedestrians and bicycles and warn the driver of collision prevention at an appropriate timing.
  • the recognition processing unit 22 next determines whether a person has been detected in step S20 (step S30).
  • the recognition processing unit 22 detects a person (Yes in step S30)
  • the recognition processing unit 22 sets a recognition range for recognizing a wheel below the detection range of the person detected in step S20 (step S40).
  • the lower part of the person detection range in which the recognition range is set refers to a necessary and sufficient range for recognizing the wheel of the bicycle when the person is on the bicycle.
  • the lower 50% of the detection range in the vertical direction is set as the recognition range for recognizing the wheel.
  • a range including the lower body is set as a recognition range for recognizing the wheel.
  • the recognition range for recognizing the wheel only needs to include the lower side of the range where the person is detected, and may include the lower side of the lower end of the range where the person is detected. For example, when the vertical length of the range in which the person is detected is 100%, the recognition range for recognizing the wheel may include 20% to 30% below the lower end of the range in which the person is detected. good.
  • the recognition range for recognizing the wheel may be set wider than the width of the range in which the person is detected.
  • the range in which the person is detected may be set in the range of 200 to 300%.
  • FIG. 5 is a diagram showing a wheel recognition range according to the first embodiment.
  • the recognition processing unit 22 sets recognition ranges A to C with the lower side as the center for the detected persons A to C, respectively.
  • the range for recognizing the wheel is the lower side of the range where the person is detected, and further includes the range below the lower end of the range where the person is detected, and the range in the horizontal direction from the left and right ends of the range where the person is detected It is appropriate to include.
  • the recognition processing unit 22 recognizes the bicycle wheel with respect to the recognition ranges A to C using the wheel recognition dictionary stored in the dictionary data storage device 30 (step S50).
  • FIG. 6 is a diagram showing a detection result of the wheels according to the first embodiment.
  • the detection rectangles B and C indicating the result of detection of the wheels by the recognition processing unit 22 appropriately surround two wheels of the bicycle B and one wheel of the bicycle C, and the recognition processing unit 22 can appropriately detect the wheels. It shows that. In general, bicycle wheels rarely enter the blind spots of occupants (persons B and C), and the recognition processing unit 22 can detect the wheels in many cases.
  • FIG. 7 is a diagram showing a detection result of the bicycle according to the first embodiment.
  • the bicycle B is photographed from the lateral direction and the shape of the bicycle is clear, and the recognition processing unit 22 can detect the bicycle B correctly.
  • the bicycle C is photographed obliquely from the front, and the characteristics of the occupant (person C) and the bicycle are similar, or the frame part of the bicycle C is attached to the handle or enters the blind spot of the occupant.
  • the recognition processing unit 22 cannot correctly detect the bicycle C.
  • the recognition process part 22 determines whether the wheel was detected by step S50 (step S70).
  • the recognition processing unit 22 determines whether a bicycle is detected in step S60 (step S80).
  • the recognition processing unit 22 detects the bicycle (and its occupant). A final decision is made (step S90).
  • the recognition processing unit 22 can detect the bicycle C shown in FIG. 6 even in a situation (image) in which the bicycle cannot be detected by the bicycle recognition dictionary, such as the bicycle C shown in FIG. Like a wheel, the bicycle can be detected by a wheel recognition dictionary.
  • the recognition processing unit 22 may determine that the person detected in step S20 is a bicycle occupant when the wheel is detected in step S50 (Yes in step S70). And the recognition process part 22 makes the lower end of the detected wheel or the detected lower end of the wheel of the bicycle the ground contact position of the bicycle, and the vehicle (or the front camera 10) and the bicycle (and its occupant) The distance is calculated (step S100).
  • the recognition processing unit 22 holds in advance a distance table in which the number of pixels from the lower end of the image to the target pixel in the image is associated with the actual distance from the host vehicle to the subject at the target pixel.
  • This distance table can be prepared by performing calibration based on, for example, the mounting position and angle of the camera.
  • the recognition process part 22 calculates the distance from the own vehicle at the time of the said image capture to the said bicycle from the position on the image of the lower end (grounding position) of a wheel, and a distance table.
  • the recognition processing unit 22 determines that the person detected in step S20 is a pedestrian (step S110). And the recognition process part 22 calculates the distance of the own vehicle (or front camera 10) and a pedestrian by making the bottom end of the detected person, for example, the bottom of a shoe, or the part of a heel into a pedestrian's grounding position ( Step S120).
  • the recognition processing unit 22 causes the display control unit 23 to display the display device.
  • the driver is warned through 40 that the bicycle or pedestrian is approaching (step S130).
  • the object recognition device 20 determines whether or not to end the object recognition method (step S140). When it is determined to end (Yes in step S140), the process ends.
  • the recognition processing unit 22 does not detect a person (No in step S30), does not detect a bicycle (No in step S80), or determines that the object recognition device 20 does not end the object recognition method. When it does (No of step S140), it returns to step S10 (or step S20, S60, etc.).
  • the recognition processing unit 22 finally determines that a bicycle is detected when the bicycle is detected in step S60 (Yes in step S80) (step S90). You may make it recognize a wheel using a wheel recognition dictionary. That is, when step S80 is “Yes”, the process of step S50 may be performed without performing the process of step S90.
  • the position of the detection rectangle of the bicycle detected in step S60 is further corrected based on the wheel detected in step S50, the measurement accuracy of the distance between the host vehicle and the bicycle can be improved. it can.
  • whether or not to detect further wheels may be determined based on the speed of the host vehicle.
  • the position of the detection rectangle of the bicycle detected in step S60 is corrected based on the wheel detected in step S50, instead of calculating the distance from the bicycle using the detected lower end (ground contact position) of the wheel.
  • the distance to the bicycle may be calculated based on the corrected size of the detected rectangle of the bicycle, that is, based on the detected lower end of the wheel (grounding position).
  • a pedestrian and a bicycle are identified using three dictionaries, a person recognition dictionary, a wheel recognition dictionary, and a bicycle recognition dictionary.
  • a pedestrian and a bicycle may be identified using two dictionaries, a person recognition dictionary and a wheel recognition dictionary. That is, in the flowchart of the processing procedure shown in FIG. 2, the processing related to step S60 and step S80 may be omitted.
  • a pedestrian and a bicycle are identified, but a pedestrian and a motorcycle, personal mobility, a wheelchair, and the like are identified. May be.
  • the front camera 10 is visible.
  • a camera capable of imaging infrared light in addition to light may be used.
  • the image acquisition unit 21 performs filtering by calculation on the acquired image, and extracts a visible light image and an infrared image.
  • the recognition processing unit 22 recognizes a person with respect to the extracted infrared image using a person recognition dictionary for infrared images, and when a person is detected, for the visible light image extracted from the same image, Wheels are recognized using a wheel recognition dictionary for visible light images.
  • the image acquisition unit 21 acquires a visible light image and an infrared image.
  • the recognition processing unit 22 recognizes a person using an infrared image person recognition dictionary for an infrared image, and detects a person when a person is detected. To recognize the wheel.
  • the object recognition apparatus 20 recognizes a subject using the recognition dictionary for the acquired image and the image acquisition unit 21 that acquires an image obtained by photographing the subject.
  • the recognition processing unit 22 detects the target object using the target object recognition dictionary for the acquired image, and uses the wheel recognition dictionary for the lower part of the detected target object. It detects and reflects the detection result of a wheel in the detection result of a target object. With such a configuration, the object can be detected more accurately from the image.
  • the recognition processing unit 22 detects a person using a person recognition dictionary that is an object recognition dictionary, and uses a wheel recognition dictionary for the lower part of the detected person.
  • the detected person is a vehicle occupant, and when the wheel is not detected, the detected person can be determined to be a pedestrian. With such a configuration, it is possible to accurately identify a pedestrian and a bicycle (or the passenger) from the image.
  • the object recognition device 20 may calculate the distance between the lower end of the wheel detected by the recognition processing unit 22 or the lower end of the person determined to be a pedestrian and the imaging unit that captured the image. Is possible. With such a configuration, it is possible to accurately calculate the distance between the detected device such as a pedestrian or bicycle.
  • the image acquisition unit 21 acquires an infrared light image and a visible light image as images
  • the recognition processing unit 22 is a person recognition dictionary that is an object recognition dictionary. It is also possible to detect a person from an infrared light image using and to detect a wheel from a visible light image using a wheel recognition dictionary for the lower part of the detected person. With such a configuration, a pedestrian and a bicycle (or an occupant) can be more accurately identified from the image.
  • the object recognition method includes an image acquisition step S10 for acquiring an image obtained by photographing a subject, and recognition processing steps S20 to S90 for recognizing the subject using a recognition dictionary for the acquired image. , S110, and the recognition processing step detects the object using the object recognition dictionary for the acquired image, and detects the wheel using the wheel recognition dictionary for the lower part of the detected object. The detection result of the wheel is reflected in the detection result of the object.
  • the object recognition program recognizes a subject using an image acquisition procedure (step S10) for acquiring an image obtained by photographing the subject on a computer and a recognition dictionary for the acquired image.
  • a program for executing a recognition processing procedure (steps S20 to S90, S110), and the recognition processing procedure (steps S20 to S90, S110) uses a target recognition dictionary for the acquired image. Is detected using a wheel recognition dictionary for the lower part of the detected object, and the detection result of the wheel is reflected in the detection result of the object.
  • a person is detected using a person recognition dictionary for an image obtained by photographing a person, and a wheel is detected using the wheel recognition dictionary for the detected person.
  • the object recognition system and the object recognition method according to the second embodiment detect an image of another vehicle.
  • the object recognition system and the object recognition method according to the second embodiment detect the detected person and determine whether the detected person is an occupant or a pedestrian.
  • another vehicle is detected using a vehicle recognition dictionary, the wheel is detected using a wheel recognition dictionary for the detected other vehicle, and the distance from the other vehicle is calculated quickly and accurately.
  • a part of the configuration of the object recognition system according to the second embodiment may be the same as that according to the first embodiment, and the illustration of the object recognition system and the description of the same configuration are omitted here.
  • the object recognition device 20 recognizes another vehicle and its wheels using the image captured by the front camera 10, and outputs a warning signal to the display device 40 or the like as necessary.
  • the object recognition device 20 specifies the recognized ground contact position of the other vehicle in the image, and calculates the distance between the host vehicle and the other vehicle. For example, the object recognition device 20 recognizes the other vehicle and its wheels for each frame or every several frames of the video captured by the front camera 10.
  • the recognition processing unit 22 recognizes other vehicles and wheels (tires) using the vehicle recognition dictionary and wheel recognition dictionary stored in the dictionary data storage device 30 for the image, and warns the driver as necessary. As described above, a signal is output to the display control unit 23.
  • the display control unit 23 performs control for displaying a warning image or outputting a warning sound on the display device 40.
  • the display control unit 23 also performs control for causing the display device 40 to display distance information calculated from the position in the image of the recognized ground contact position of the other vehicle.
  • the dictionary data storage device 30 stores a vehicle recognition dictionary, a wheel recognition dictionary, and the like.
  • the vehicle recognition dictionary and the wheel recognition dictionary are created by machine learning of images obtained by shooting the vehicle and wheels from various angles, or cut-out images thereof.
  • the display device 40 notifies an occupant of the own vehicle such as a driver of a warning that the vehicle is present in the traveling direction of the own vehicle with an image or sound. Moreover, the display apparatus 40 notifies the distance to the recognized other vehicle with respect to the passenger
  • FIG. 8 is a flowchart showing a processing procedure of the recognition method according to the second embodiment.
  • the front camera 10 captures an image in the traveling direction of the host vehicle, and the image acquisition unit 21 acquires the image as a recognition target image (step S210).
  • the recognition processing unit 22 recognizes another vehicle on the recognition target image using the vehicle recognition dictionary stored in the dictionary data storage device 30 (step S220). At this time, the recognition processing unit 22 may recognize other vehicles in the entire area of the recognition target image, or may recognize other vehicles only in the central area excluding the upper and lower areas of the recognition target image.
  • FIG. 9 is a diagram illustrating an example of a recognition target image and a vehicle recognition result according to the second embodiment.
  • the recognition target image shows another vehicle entering the intersection in order to make a right turn from the left road.
  • the detection rectangle which shows the result by which the recognition process part 22 detected the said other vehicle has enclosed the said other vehicle except for a part of wheel.
  • the recognition processing unit 22 that recognizes another vehicle by detecting an edge or referring to a dictionary can easily detect a body (vehicle body) part with a clear edge as a vehicle.
  • the cause is that it is difficult to detect a wheel part that is shaded and the edge becomes unclear and the boundary with the road surface is also unclear as a vehicle.
  • Such a detection rectangle shift caused by a detection leak is likely to occur particularly in an image taken in a tunnel or at night.
  • the recognition processing unit 22 calculates the ground contact position of the other vehicle detected based on the misaligned detection rectangle as illustrated in FIG. 9, the recognition processing unit 22 calculates the other vehicle to exist farther than the actual vehicle. End up. Therefore, the recognition processing unit 22 next determines whether another vehicle is detected in step S220 (step S230).
  • the recognition process part 22 will set the recognition range when recognizing a wheel to the lower part of the detection range of the other vehicle detected by step S220, when another vehicle is detected (Yes of step S230) (step S240).
  • the lower part of the detection range of the vehicle in which the recognition range is set refers to a range having a necessary and sufficient size for recognizing the wheels of the vehicle.
  • FIG. 10 is a diagram showing a wheel recognition range according to the second embodiment. A recognition range is set near the lower part of the detected other vehicle.
  • the recognition process part 22 recognizes the wheel of another vehicle using the wheel recognition dictionary memorize
  • FIG. 11 is a diagram showing a wheel recognition result according to the second embodiment. The detection rectangle indicating the result of the recognition processing unit 22 detecting the wheel appropriately surrounds the two wheels.
  • the recognition process part 22 determines whether the wheel was detected by step S250 (step S260).
  • the recognition processing unit 22 detects a wheel in step S250 (Yes in step S260)
  • the lower end of the detected wheel is set as the grounding position of the other vehicle, and the vehicle (or the front camera 10) and the other vehicle
  • the distance is calculated (step S270).
  • the recognition processing unit 22 determines the distance between the host vehicle and the other vehicle when the recognition target image is captured from the position of the lower end of the detected wheel (grounding position) in the recognition target image and the distance table described above. Is calculated.
  • the recognition processing unit 22 may calculate the distance from the other vehicle based on the ground contact position of the wheel having the largest detection rectangle.
  • the display control unit 23 displays the recognition target image acquired in step S210 on the display device 40, and displays a detection rectangle that surrounds the detected wheel with respect to the detected other vehicle. And the distance from the other vehicle are displayed (step S280).
  • the display control unit 23 may notify the driver that the other vehicle has approached by the display device 40. .
  • a warning is displayed on the display device 40, a sound may be generated at the same time.
  • FIG. 12 is a diagram showing a display example of detection rectangles and distances according to the second embodiment. In this example, the detected ground contact positions (two locations) of the wheels are also displayed.
  • the display control unit 23 causes the display device 40 to display the vehicle detected in step S220 and its detection rectangle (Ste S290). For example, an image as shown in FIG. 9 may be displayed.
  • the distance from the vehicle detected by the recognition processing unit 22 may be calculated, and the display control unit 23 may display the distance on the display device 40 or display a warning.
  • the object recognition device 20 determines whether or not to end the object recognition method (step S300), and when it determines to end (Yes in step S300), the process ends. Moreover, when the recognition process part 22 does not detect a vehicle (No of step S230), or when it determines with the object recognition apparatus 20 not complete
  • the recognition processing unit 22 detects the vehicle using the vehicle recognition dictionary that is the object recognition dictionary, and detects the lower part of the detected vehicle.
  • the wheel is detected using a wheel recognition dictionary, and the detected distance to the vehicle is calculated based on the detected lower end position of the wheel.
  • the object recognition device 20 further includes a display control unit 23 that displays the acquired image on the display device 40, and the display control unit 23 detects that the detected vehicle is surrounded by the display device 40. It is also possible to display so as to include the wheel in which the rectangle is detected. With such a configuration, the detected position of the vehicle can be accurately shown to the driver or the like.
  • the display control unit 23 can also display the calculated distance on the display device 40. With such a configuration, the detected distance to the vehicle can be shown to the driver or the like.
  • FIG. 13 is a flowchart showing the processing procedure of the object recognition method according to the third embodiment.
  • the processing related to steps S310 to S330 may be the same as the processing related to steps S210 to S230 of the second embodiment, and the description thereof is omitted here.
  • the display control unit 23 causes the display device 40 to display the recognition target image acquired in step S310 and also detects in step S320.
  • a detection rectangle surrounding the other vehicle is displayed (step S340).
  • an image as shown in FIG. 9 is displayed.
  • sound may also be output. Thereby, other vehicle information can be quickly transmitted to the driver.
  • the recognition process part 22 sets the recognition range when recognizing a wheel in the lower part vicinity of the detected other vehicle (step S350), and recognizes a wheel (step S360). Next, the recognition process part 22 determines whether the wheel was detected by step S360 (step S370).
  • step S360 When the recognition processing unit 22 detects a wheel in step S360 (Yes in step S370), the vehicle (or the front camera 10) and the other vehicle are used as the ground contact position of the other vehicle that has detected the lower end of the detected wheel. Is calculated (step S380). Note that the processes according to steps S350, S360, and S380 described above may be the same as the processes according to steps S240, S250, and S270 of the second embodiment.
  • the display control unit 23 corrects the image displayed on the display device 40 in step S340 so that the detection rectangle also surrounds the wheel detected in step S360. Further, distance information is also displayed (step S390). As a result, an accurate distance can be calculated even if some time is required.
  • step S400 determines whether or not to end the object recognition method.
  • the process ends.
  • the recognition process part 22 does not detect a wheel by step S360 (No of step S370), it progresses to step S400.
  • step S320 When no vehicle is detected in step S320 (No in step S330), or when it is determined that the object recognition device 20 does not end the object recognition method (No in step S400), step S310 (or step Return to S320).
  • the distance to the other vehicle is calculated using the detected lower end (ground contact position) of the wheel.
  • the distance may be calculated based on the size of the detection rectangle.
  • the detection rectangle of the other vehicle can be set more accurately than the conventional one based on the lower end position of the wheel, Using the size of the detection rectangle, the distance from other vehicles can be calculated more accurately than in the past.
  • the front camera 10 may be a camera capable of capturing infrared light in addition to visible light.
  • an infrared image recognition dictionary may be used, or a visible light recognition dictionary and an infrared image recognition dictionary may be used in combination.
  • the recognition processing unit 22 detects the other vehicle using the infrared image vehicle recognition dictionary for the infrared image, and detects the other vehicle using the infrared image wheel recognition dictionary when the other vehicle is detected. recognize. Thereby, even when the amount of visible light is small, such as at night, the object recognition system 1 according to Embodiments 2 and 3 can be applied to obtain the same effect as when the amount of visible light is large. . In addition, by using the infrared image, it is possible to detect mainly other vehicles that are running, for example, it is possible to accurately calculate the distance of other vehicles that enter the intersection from various directions.
  • the detection rectangle when the display control unit 23 displays the detection rectangle, when the recognition processing unit 22 detects the vehicle, the detection that surrounds the vehicle is performed.
  • the detection rectangle can be corrected and displayed so as to include the wheel.
  • the detected vehicle position can be shown to the driver or the like earlier, and the detected vehicle position can be accurately calculated.
  • Embodiment 4 The object recognition system and the object recognition method according to Embodiments 1 to 3 use an object recognition dictionary such as a person recognition dictionary or a vehicle recognition dictionary for an image obtained by capturing an object such as a person or another vehicle. An object is detected and a wheel is detected using a wheel recognition dictionary for the lower part of the detected object. However, the object recognition system and the object recognition method according to the fourth embodiment detect the detected object. The wheel recognition dictionary corresponding to the direction of the identified object is selected, and the wheel is detected with higher accuracy while reducing the load of the recognition process.
  • an object recognition dictionary such as a person recognition dictionary or a vehicle recognition dictionary for an image obtained by capturing an object such as a person or another vehicle. An object is detected and a wheel is detected using a wheel recognition dictionary for the lower part of the detected object.
  • the object recognition system and the object recognition method according to the fourth embodiment detect the detected object.
  • the wheel recognition dictionary corresponding to the direction of the identified object is selected, and the wheel is detected with higher accuracy while reducing the load of
  • the direction of the target is identified by, for example, estimating the traveling direction of the target by tracking (tracking) the detected target using a plurality of images in which the target is detected. Specify the direction of.
  • a part of the configuration of the object recognition system according to the fourth embodiment may be the same as that according to the first to third embodiments, and the illustration of the object recognition system and the description of the same configuration are omitted here. To do.
  • the recognition processing unit 22 uses an object recognition dictionary such as a person recognition dictionary or a vehicle recognition dictionary stored in the dictionary data storage device 30 to detect an object such as a person or another vehicle for an image captured by the front camera 10. recognize. If the recognition processing unit 22 can specify the direction from the shape of the recognized object, the recognition processing unit 22 specifies the direction of the object. Moreover, the recognition process part 22 tracks the target detected using the several image as another method of specifying the direction of a target, estimates the advancing direction of the said target, and sets it to the estimated advancing direction. The direction of the object may be specified based on the result. Then, the recognition processing unit 22 selects a wheel recognition dictionary corresponding to the specified direction, recognizes the lower wheel of the object, and sends a signal to the display control unit 23 so as to warn the driver if necessary. Output.
  • an object recognition dictionary such as a person recognition dictionary or a vehicle recognition dictionary stored in the dictionary data storage device 30 to detect an object such as a person or another vehicle for an image captured by the front camera 10. recognize.
  • the dictionary data storage device 30 stores an object recognition dictionary, a wheel recognition dictionary, and the like.
  • the object recognition dictionary and the wheel recognition dictionary are created by machine learning of images obtained by photographing the object and wheels from various angles or their cut-out images.
  • the dictionary data storage device 30 stores a wheel recognition dictionary for each wheel direction.
  • the dictionary data storage device 30 may store the wheel recognition dictionary for each wheel direction associated with the traveling direction of the object. That is, the wheel recognition dictionary according to the fourth embodiment is created by machine learning of wheel images or their cut-out images taken when the object is in various directions for each direction.
  • the image of the wheel in which the object is facing forward or rearward with respect to the front camera 10, or frontward or rearward is a rectangular shape that is long in the vertical direction or an elliptical shape that is elongated in the vertical direction.
  • the images of the wheel whose object is sideways with respect to the front camera 10, that is, the leftward and rightward, have a substantially circular shape, and these images are machine-learned to create a wheel recognition dictionary.
  • FIG. 14 is a flowchart showing a processing procedure of the object recognition method according to the fourth embodiment.
  • the front camera 10 captures an image in the traveling direction of the host vehicle, and the image acquisition unit 21 acquires the image as a recognition target image (step S410).
  • the recognition processing unit 22 recognizes the object with respect to the recognition target image using the object recognition dictionary stored in the dictionary data storage device 30 (step S420). And the recognition process part 22 determines whether the target object was detected by step S420 (step S430).
  • step S430 When the recognition processing unit 22 detects an object (Yes in step S430), the recognition processing unit 22 tracks (tracks) the object detected in step S420 using a plurality of images (step S440). Conventional techniques can be used for tracking an object. Further, when the recognition processing unit 22 does not detect the object (No in step S430), for example, the process returns to step S410.
  • the recognition processing unit 22 estimates the traveling direction of the target object using the tracking result of step S440 and identifies the direction of the target object (step S450).
  • Conventional techniques can also be used for estimating the direction of travel of an object and specifying the direction based on the direction of travel.
  • the traveling direction of the object is estimated from the movement history of the object in the plurality of images, the traveling direction of the host vehicle, and the traveling speed. Since the estimated traveling direction of the object is a traveling direction based on the own vehicle, the direction of the object viewed from the own vehicle can be specified.
  • the recognition process part 22 selects the wheel recognition dictionary corresponding to the direction of the target object specified by step S450 from the dictionary data storage device 30 (step S460), and recognizes the wheel of a target object (step S470).
  • the recognition process part 22 determines whether the wheel was detected by step S470 (step S480), and when a wheel is detected (Yes of step S480), a bicycle detection determination, distance calculation, etc. are performed, for example (step S490). ). In addition, when the recognition processing unit 22 does not detect the wheel (No in Step S480), for example, the pedestrian detection determination is performed (Step S500). The contents of the processing performed in steps S490 and S500 can be determined in advance according to the object to be detected.
  • step S510 the object recognition device 20 determines whether or not to end the object recognition method.
  • the process is ended, and when it is determined that it is not ended (No in step S510). ) Returns to step S410, for example.
  • the object recognition apparatus 20 acquires an image when the wheel is detected using the wheel recognition dictionary for the lower part of the object detected by the recognition processing unit 22. It is also possible to detect the direction of the object using, select a wheel recognition dictionary corresponding to the detected direction, and detect the wheel using the selected wheel recognition dictionary. With such a configuration, the wheel can be detected with higher accuracy while reducing the load of the recognition process.
  • the object recognition apparatus 20 when the recognition processing unit 22 detects the orientation of an object using the acquired image, the object recognition apparatus 20 tracks the object using a plurality of acquired images. It is also possible to estimate the traveling direction of the object and detect the direction of the object from the estimated traveling direction.
  • image recognition is performed using a dictionary created by machine learning of images of people, bicycles, vehicles, wheels, etc.
  • image recognition such as pattern matching using a template such as a person, a bicycle, a vehicle, or a wheel car may be performed.
  • the configuration of the object recognition system 1 according to the first to fourth embodiments is not limited to the above, and a plurality of devices, for example, the object recognition device 20 and the dictionary data storage device 30 are integrated to store dictionary data. It is good also as an object recognition device provided with a section. Further, all the components of the object recognition system 1 may be integrated to form an object recognition device including a front camera, a dictionary data storage unit, and a display unit. Of course, the object recognition system 1 may be configured as a person recognition device, a vehicle recognition device, a wheel recognition device, a distance calculation device, or the like.
  • the object recognition system 1 according to Embodiments 1 to 4 has been described as being used in a vehicle, for use in a vehicle, a form in which a part or all of the system is mounted on the vehicle, There may be a form mounted on the vehicle so that it can be carried or retrofitted. Further, there may be a form such as a head-mounted display (HMD, Head Mounted Display) that a person wears.
  • HMD Head Mounted Display
  • the object recognition system 1 or the object recognition method according to the first to fourth embodiments is, for example, mounted on a vehicle and more accurately detects an object such as a person or other vehicle from a captured image. Has availability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

物体認識装置（２０）は、被写体を撮影した画像を取得する画像取得部（２１）と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理部（２２）とを備え、認識処理部（２２）は、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を前記対象物の検出結果に反映させるもので、人物、他車両などの対象物をより正確に検出することができる。

Description

物体認識装置、物体認識方法及び物体認識プログラム
　本発明は物体認識装置、物体認識方法及び物体認識プログラムに関する。
　車両に搭載したカメラの画像に基づき車両周辺の状況を認識し、運転者に警告を通知する安全支援装置が普及している。そのような安全支援装置は、カメラが撮像した画像に対して複数の認識辞書を用い、自車両周辺の車両や歩行者などを認識するようにしている。
　例えば、特許文献１には、画像認識装置において、複数の画像から求めた対象物の移動速度に応じて認識辞書を設定し、自転車、二輪車及びその乗員と、歩行者とを識別することが記載されている。
　また、特許文献２には、画像認識装置において、路面との接地部分を除いた候補物体のパターンを複数記憶し、画像内の候補物体と所定の相関関係が得られるパターンを抽出し、候補物体の接地位置を推定し、実際の候補物体との距離を算出することが記載されている。
特開２００７－２４９８４１号公報 特開２００７－１８８４１７号公報
　しかしながら、一般に、歩行者と自転車などとが同じような速度で移動している場合も多く、特許文献１に係る画像認識装置では、このような場合に正しい認識辞書を設定して、対象物を識別することが困難になる。また、自転車などをその斜め前方向又は斜め後ろ方向から撮影したときに、自転車であると認識できない、又は、人物であると誤認識してしまうことがある。
　また、特許文献２には候補物体が歩行者である場合の実施例が記載されているが、この発明は、候補物体が車両などであっても良いように考えることができる。
　しかしながら、実際に、路面との接地部分を除いた車両のパターン、又は、路面との接地部分を含む車両全体のパターンを機械学習させた辞書を用いて、画像内の車両を認識しようとすると、その検出位置が実際の車両画像からずれてしまうことがある。そして、ずれた検出位置、すなわち、ずれた接地位置に基づいて、当該車両との距離を算出すると、運転者に適切なタイミングで警告を通知することができない。
　本発明は、このような問題を解決するためになされたものであり、画像から対象物をより正確に検出することができる物体認識装置、物体認識方法及び物体認識プログラムを提供することを目的とする。
　そこで、本実施形態は、被写体を撮影した画像を取得する画像取得部と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理部とを備え、認識処理部は、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させる、物体認識装置を提供する。
　また、本実施形態は、被写体を撮影した画像を取得する画像取得ステップと、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理ステップとを有し、認識処理ステップは、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させる、物体認識方法を提供する。
　本実施形態により、画像から対象物をより正確に検出する物体認識装置、物体認識方法及び物体認識プログラムを提供することができる。
実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。 実施の形態１に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態１に係る認識対象画像の例を示す図である。 実施の形態１に係る人物の検出結果を示す図である。 実施の形態１に係る車輪の認識範囲を示す図である。 実施の形態１に係る車輪の検出結果を示す図である。 実施の形態１に係る自転車の検出結果を示す図である。 実施の形態２に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態２に係る認識対象画像及び車両認識結果を示す図である。 実施の形態２に係る車輪の認識範囲を示す図である。 実施の形態２に係る車輪認識結果を示す図である。 実施の形態２に係る検出矩形及び距離の表示例を示す図である。 実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。 実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
　以下、図面を参照して各実施の形態に係る物体認識システム及び物体認識方法について説明する。
　なお、本明細書の「画像」には、静止画像及び動画像が含まれる。
　また、本明細書の「車両」には、自動車（自動二輪を含む）、原動機付自転車、軽車両（自転車を含む）、車いす、パーソナルモビリティなどが含まれる。
　また、本明細書の「乗員」には、車両などに乗って運転している者（運転者）、車両などに乗っている者（運転者以外）などが含まれる。
（実施の形態１）
　本実施の形態１に係る物体認識システム及び物体認識方法は、人物を撮影した画像に対して、人物認識辞書を用いて人物を検出し、検出した人物に対して車輪認識辞書を用いて車輪を検出し、検出した人物が車両の乗員であるか、歩行者であるかを判断するものである。
　まず、本実施の形態１に係る物体認識システムの構成について説明する。
　図１は、本実施の形態１に係る物体認識システム１の概略構成を示すブロック図である。
　物体認識システム１は、主に車両において利用されるシステムであり、前方カメラ１０、物体認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。
　前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を物体認識装置２０に入力する。前方カメラ１０は、可視光の画像を撮像するカメラであるが、赤外光も検出可能なカメラであっても良いし、可視光の画像を撮像するカメラと、赤外光を検出するカメラとを組み合わせたものであっても良い。
　物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、歩行者、自転車などを認識し、必要に応じて、警告信号を表示装置４０などに出力する。物体認識装置２０は、例えば、前方カメラ１０が撮影した映像のフレーム毎又は数フレーム毎に歩行者、自転車などを認識する。また、物体認識装置２０は、画像において、認識した歩行者、自転車などの接地位置を特定し、自車両と、歩行者、自転車などとの距離を算出する。このために、物体認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。
　画像取得部２１は、前方カメラ１０が撮像した画像を入力し、認識処理部２２に出力する。
　認識処理部２２は、画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書、自転車認識辞書、車輪認識辞書などを用いて、歩行者、自転車、車輪（タイヤ）などを認識、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
　表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。また、表示制御部２３は、認識した歩行者、自転車などの接地位置の、画像における位置から算出した距離情報を、表示装置４０に表示させる制御も行う。
　辞書データ記憶装置３０は、人物認識辞書、自転車認識辞書、車輪認識辞書などを記憶する。なお、人物認識辞書、自転車認識辞書、車輪認識辞書は、人物、自転車、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。
　なお、物体認識システム１は、辞書データ記憶装置３０を備えていなくても良い。このとき、辞書データ記憶装置３０は、物体認識システム１が利用可能な通信インターフェースを用いて接続される外部サーバであれば良い。また、辞書データ記憶装置３０を、辞書データ参照装置として構成しても良い。
　表示装置４０は、運転者などの自車両の乗員に対して、自車両の進行方向に歩行者、自転車などが存在する旨の警告を画像又は音声で通知する。また、表示装置４０は、自車両の乗員に対して、認識した歩行者、自転車までの距離を通知する。
　なお、物体認識装置２０が実現する各構成要素は、例えば、コンピュータである物体認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、物体認識装置２０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
　また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
　上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、物体認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
　非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって物体認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路又は無線通信路を介して、プログラムを物体認識装置２０に供給できる。
　次に、本実施の形態１に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
　図２は、本実施の形態１に係る物体認識方法の処理手順を示すフローチャートである。
　物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ１０）。
　図３は、本実施の形態１に係る認識対象画像の例を示す図である。
　画像には、自車両前方の横断歩道を歩いて横断し始めた人物Ａと、横断歩道を自転車に乗って横断中の人物Ｂと、横断歩道よりも更に向こうの方で自転車に乗って道路を斜めに横断している人物Ｃとが写っている。
　次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書を用いて、人物の認識を行う（ステップＳ２０）。このとき、認識処理部２２は、認識対象画像の全域において人物を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて人物を認識しても良い。これにより、認識処理部２２は、図３に示した画像では、人物Ａ～Ｃを認識して検出する。
　図４は、本実施の形態１に係る人物の検出結果を示す図である。
　認識処理部２２が人物を検出した結果を示す検出矩形Ａ～Ｃは、それぞれ人物Ａ～Ｃを適切に囲んでおり、認識処理部２２が人物を適切に検出できていることを示している。
　しかしながら、検出した人物Ａは歩行している状態であり、人物Ｂ、Ｃは自転車に乗車している状態であって、認識処理部２２が検出した人物の形状などに基づいて、自車両（又は、前方カメラ１０）と人物Ａ～Ｃとの距離をこのまま算出すると、人物Ｂ、Ｃとの距離を間違える可能性がある。この間違いは、特に、画像中の人物の下端位置（接地位置）に基づいて、人物との距離を算出するような場合に顕著になる。また、歩行者と、自転車とでは移動速度が異なるので、歩行者と自転車などとを正しく識別して、運転者に適切なタイミングで衝突防止などの警告をする必要がある。
　そこで、認識処理部２２は、次に、ステップＳ２０で人物を検出したかを判定する（ステップＳ３０）。
　認識処理部２２は、人物を検出したとき（ステップＳ３０のＹｅｓ）は、ステップＳ２０で検出した人物の検出範囲の下部に、車輪を認識するときの認識範囲を設定する（ステップＳ４０）。ここで、認識範囲を設定する、人物の検出範囲の下部とは、当該人物が自転車などに乗車しているときに、当該自転車などの車輪を認識するための必要十分な範囲を指す。
　例えば、図４に示した人物を検出した検出範囲（検出矩形）に対して、検出範囲の縦方向に対して下側５０％の範囲を、車輪を認識する認識範囲とする。また、検出した人物の形状から下半身に該当すると認識された場合は、下半身を含む範囲を、車輪を認識する認識範囲とする。車輪を認識する認識範囲は、人物を検出した範囲の下側を含んでいればよく、人物を検出した範囲の下端よりも更に下方を含んでいても良い。例えば、人物を検出した範囲の縦方向の長さを１００％とした場合に、車輪を認識する認識範囲は、人物を検出した範囲の下端よりも更に２０％から３０％下方を含んでいても良い。
　また、車輪を認識する認識範囲は、人物を検出した範囲の幅よりも広い幅を設定しても良い。例えば、人物を検出した範囲の横方向の幅を１００％とした場合に、人物を検出した範囲を中心に２００～３００％の範囲としても良い。
　図５は、本実施の形態１に係る車輪の認識範囲を示す図である。
　認識処理部２２は、検出した人物Ａ～Ｃに対して、その下側を中心として、それぞれ、認識範囲Ａ～Ｃを設定している。車輪を認識する範囲を、人物を検出した範囲の下側であり、更に、人物を検出した範囲の下端よりも下方の範囲を含み、人物を検出した範囲の左右端よりも横方向の範囲も含むことが適切である。
　次に、認識処理部２２は、辞書データ記憶装置３０に記憶した車輪認識辞書を用いて、認識範囲Ａ～Ｃに対して、自転車の車輪を認識する（ステップＳ５０）。
　図６は、本実施の形態１に係る車輪の検出結果を示す図である。
　認識処理部２２が車輪を検出した結果を示す検出矩形Ｂ、Ｃは、自転車Ｂの車輪２つと、自転車Ｃの車輪１つとを適切に囲んでおり、認識処理部２２が車輪を適切に検出できていることを示している。一般に、自転車の車輪は乗員（人物Ｂ、Ｃ）の死角に入ることが少なく、認識処理部２２は、多くの場合で車輪を検出することができる。
　一方、認識処理部２２は、ステップＳ２０～Ｓ５０の処理と並行して、辞書データ記憶装置３０に記憶した自転車認識辞書を用いて、自転車を認識する（ステップＳ６０）。
　図７は、本実施の形態１に係る自転車の検出結果を示す図である。
　自転車Ｂは横方向から撮影されて自転車としての形状が明確であり、認識処理部２２は自転車Ｂを正しく検出できている。一方、自転車Ｃは斜め前方向から撮影されて、乗員（人物Ｃ）と自転車との特徴が似てしまったり、自転車Ｃのフレーム部分がハンドルに取り付けたかごや乗員の死角に入ったりなどして、認識処理部２２は自転車Ｃを正しく検出できていない。
　次に、認識処理部２２は、ステップＳ５０で車輪を検出したか判定する（ステップＳ７０）。また、認識処理部２２は、ステップＳ６０で自転車を検出したか判定する（ステップＳ８０）。
　ステップＳ５０で車輪を検出したとき（ステップＳ７０のＹｅｓ）、又は、ステップＳ６０で自転車を検出したとき（ステップＳ８０のＹｅｓ）は、認識処理部２２は、自転車（及び、その乗員）を検出したと最終的に決定する（ステップＳ９０）。
　これにより、認識処理部２２は、例えば、図７に示した自転車Ｃのように、自転車認識辞書では当該自転車を検出できないような状況（画像）であっても、図６に示した自転車Ｃの車輪のように、車輪認識辞書により当該自転車を検出することができるようになる。
　また、認識処理部２２は、ステップＳ５０で車輪を検出したとき（ステップＳ７０のＹｅｓ）に、ステップＳ２０で検出した人物は、自転車の乗員であると決定しても良い。
　そして、認識処理部２２は、検出した車輪の下端、又は、検出した自転車の車輪の下端を自転車の接地位置として、自車両（又は、前方カメラ１０）と当該自転車（及び、その乗員）との距離を算出する（ステップＳ１００）。
　ここで、距離の算出方法を簡単に説明する。
　認識処理部２２は、画像下端から画像中の注目画素までの画素数と、自車両から注目画素における被写体までの実際の距離とを対応付けた距離テーブルをあらかじめ保持している。この距離テーブルは、例えば、カメラの取り付け位置や角度などによりキャリブレーションを行って用意することができる。
　そして、認識処理部２２は、車輪の下端（接地位置）の画像上の位置と、距離テーブルとから、当該画像撮像時の自車両から当該自転車までの距離を算出する。
　また、ステップＳ５０で車輪を検出しなかったとき（ステップＳ７０のＮｏ）、認識処理部２２は、ステップＳ２０で検出した人物は、歩行者であると決定する（ステップＳ１１０）。
　そして、認識処理部２２は、検出した人物の下端、例えば、靴の底又は踵の部分を歩行者の接地位置として、自車両（又は、前方カメラ１０）と歩行者との距離を算出する（ステップＳ１２０）。
　次に、認識処理部２２は、自車両と、自転車又は歩行者との距離が所定値よりも小さく、自車両と自転車などとが衝突する可能性があるときに、表示制御部２３が表示装置４０を介して、自転車又は歩行者を接近していることを運転者に警告する（ステップＳ１３０）。
　そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ１４０）、終了すると判定したとき（ステップＳ１４０のＹｅｓ）は、処理を終了する。
　また、認識処理部２２が人物を検出しなかったとき（ステップＳ３０のＮｏ）、自転車を検出しなかったとき（ステップＳ８０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ１４０のＮｏ）は、ステップＳ１０（又は、ステップＳ２０、Ｓ６０など）に戻る。
　なお、本実施の形態１に係る物体認識システム１又は物体認識方法については、いろいろな修正や変更が可能である。
　例えば、認識処理部２２は、ステップＳ６０で自転車を検出したとき（ステップＳ８０のＹｅｓ）に自転車を検出したと最終的に決定する（ステップＳ９０）ようにしたが、検出した自転車に対して、改めて車輪認識辞書を用いて車輪を認識するようにしても良い。すなわち、ステップＳ８０が「Ｙｅｓ」のときに、ステップＳ９０の処理を行わずにステップＳ５０の処理を行うようにしても良い。
　このときは、更に、ステップＳ５０で検出した車輪に基づいて、ステップＳ６０で検出した自転車の検出矩形の位置を修正するようにすれば、自車両と自転車との距離の測定精度を向上させることができる。また、このように、自転車を検出した後に、更に車輪を検出するかどうかを自車両の速度などに基づいて決定するようにしても良い。
　また、ステップＳ５０で検出した車輪に基づいて、ステップＳ６０で検出した自転車の検出矩形の位置を修正したときに、検出した車輪の下端（接地位置）を用いて自転車との距離を算出する代わりに、修正した自転車の検出矩形の大きさに基づいて、すなわち、検出した車輪の下端（接地位置）に基づいて、当該自転車との距離を算出するようにしても良い。車輪を検出することにより、自転車の検出矩形を従来よりも正確に設定することができ、当該検出矩形を用いて、他車両との距離も従来よりも正確に算出することができる。
　また、本実施の形態１に係る物体認識システム１又は物体認識方法では、人物認識辞書、車輪認識辞書、自転車認識辞書の３つの辞書を用いて、歩行者と自転車とを識別するようにしたが、人物認識辞書、車輪認識辞書の２つの辞書を用いて、歩行者と自転車とを識別するようにしても良い。つまり、図２に示した処理手順のフローチャートにおいて、ステップＳ６０及びステップＳ８０に係る処理を省略するようにしても良い。
　また、本実施の形態１に係る物体認識システム１又は物体認識方法では、歩行者と自転車とを識別するようにしたが、歩行者と、自動二輪、パーソナルモビリティ、車いすなどとを識別するようにしても良い。
　また、本実施の形態１においては、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０が、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、画像取得部２１は、取得した画像に対して演算によるフィルタリングを行い、可視光画像及び赤外画像を抽出する。
　認識処理部２２は、抽出した赤外画像に対して赤外画像用の人物認識辞書を用いて人物を認識し、人物を検出したときに、同一の画像から抽出した可視光画像に対して、可視光画像用の車輪認識辞書を用いて車輪を認識する。
　また、前方カメラ１０を、可視光カメラと赤外カメラとで構成しても良い。この場合に、画像取得部２１は、可視光画像及び赤外画像を取得する。
　認識処理部２２は、赤外画像に対して赤外画像用の人物認識辞書を用いて人物を認識し、人物を検出したときに、可視光画像に対して、可視光画像用の車輪認識辞書を用いて車輪を認識する。
　一般に、歩行者からは放熱があるために、赤外映像を用いることで、より適切に歩行者を認識することができる。例えば、画像中に人物に類似する又は人物を模した他の物体がある場合でも、当該他の物体と歩行者とを区別することができる。
　以上、説明したように、本実施の形態１に係る物体認識装置２０は、被写体を撮影した画像を取得する画像取得部２１と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理部２２とを備え、認識処理部２２は、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。
　このような構成により、画像から対象物をより正確に検出することができる。
　また、本実施の形態１に係る物体認識装置２０は、認識処理部２２が対象物認識辞書である人物認識辞書を用いて人物を検出し、検出した人物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪を検出したときは検出した人物は車両の乗員であり、車輪を検出しなかったときは検出した人物は歩行者であると判断することも可能である。
　このような構成により、画像から歩行者と自転車（又は、その乗員）などとを正確に識別することができる。
　また、本実施の形態１に係る物体認識装置２０は、認識処理部２２が検出した車輪の下端又は歩行者と判断した人物の下端と、画像を撮像した撮像部との距離を算出することも可能である。
　このような構成により、検出した歩行者、自転車などと自装置などとの距離を正確に算出することができる。
　また、本実施の形態１に係る物体認識装置２０は、画像取得部２１が、画像として赤外光画像及び可視光画像を取得し、認識処理部２２が、対象物認識辞書である人物認識辞書を用いて赤外光画像から人物を検出し、検出した人物の下部に対して車輪認識辞書を用いて可視光画像から車輪を検出することも可能である。
　このような構成により、画像から歩行者と自転車（又は、その乗員）などとをより正確に識別することができる。
　また、本実施の形態１に係る物体認識方法は、被写体を撮影した画像を取得する画像取得ステップＳ１０と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理ステップＳ２０～Ｓ９０、Ｓ１１０とを有し、認識処理ステップは、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。
　また、本実施の形態１に係る物体認識プログラムは、コンピュータに、被写体を撮影した画像を取得する画像取得手順（ステップＳ１０）と、取得した画像に対して、認識辞書を用いて被写体を認識する認識処理手順（ステップＳ２０～Ｓ９０、Ｓ１１０）とを実行させるためのプログラムであって、認識処理手順（ステップＳ２０～Ｓ９０、Ｓ１１０）では、取得した画像に対して対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、車輪の検出結果を対象物の検出結果に反映させるものである。
（実施の形態２）
　実施の形態１に係る物体認識システム１及び物体認識方法は、人物を撮影した画像に対して、人物認識辞書を用いて人物を検出し、検出した人物に対して車輪認識辞書を用いて車輪を検出し、検出した人物が車両の乗員であるか、歩行者であるかを判断するものであったが、本実施の形態２に係る物体認識システム及び物体認識方法は、他車両を撮影した画像に対して車両認識辞書を用いて他車両を検出し、検出した他車両に対して車輪認識辞書を用いてその車輪を検出し、当該他車両との距離を早く正確に算出するものである。
　なお、本実施の形態２に係る物体認識システムの構成の一部は、実施の形態１に係るものと同様で良く、ここでは、物体認識システムの図示及び同様の構成についての説明を省略する。
　物体認識装置２０は、前方カメラ１０が撮像した画像を用いて、他車両及びその車輪を認識し、必要に応じて、警告信号を表示装置４０などに出力する。また、物体認識装置２０は、画像において、認識した他車両の接地位置を特定し、自車両と他車両との距離を算出する。物体認識装置２０は、例えば、前方カメラ１０が撮影した映像のフレーム毎又は数フレーム毎に他車両及びその車輪を認識する。
　認識処理部２２は、画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書、車輪認識辞書を用いて、他車両、車輪（タイヤ）を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
　表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。また、表示制御部２３は、認識した他車両の接地位置の、画像における位置から算出した距離情報を、表示装置４０に表示させる制御も行う。
　辞書データ記憶装置３０は、車両認識辞書、車輪認識辞書などを記憶する。なお、車両認識辞書、車輪認識辞書は、車両、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。
　表示装置４０は、運転者などの自車両の乗員に対して、自車両の進行方向に車両が存在する旨の警告を画像又は音声で通知する。また、表示装置４０は、自車両の乗員に対して、認識した他車両までの距離を通知する。
　次に、本実施の形態２に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
　図８は、本実施の形態２に係る認識方法の処理手順を示すフローチャートである。
　物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ２１０）。
　次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した車両認識辞書を用いて、他車両の認識を行う（ステップＳ２２０）。このとき、認識処理部２２は、認識対象画像の全域において他車両を認識しても良いし、認識対象画像の上下の領域を除いた中央の領域のみにおいて他車両を認識しても良い。
　図９は、本実施の形態２に係る認識対象画像及び車両認識結果の例を示す図である。
　認識対象画像には、左の道路から右折しようとして交差点に侵入している他車両が写っている。そして、認識処理部２２が当該他車両を検出した結果を示す検出矩形は、車輪の一部分を除いて当該他車両を囲んでいる。
　これは、エッジの検出や辞書の参照などにより他車両を認識する認識処理部２２は、エッジが明瞭なボディ（車体）部分を車両として容易に検出することができるが、光の当たり方次第では陰となってエッジが不明瞭となり、また、路面との境界も不明瞭となる車輪部分を車両として検出し難いことに原因がある。このような検出もれにより生じる検出矩形のずれは、特にトンネルの中や夜間に撮影した画像で発生しやすい。
　そして、認識処理部２２は、図９に示したような位置ずれした検出矩形に基づいて検出した他車両の接地位置を算出すると、当該他車両を実際よりも遠くに存在するように算出してしまう。
　そこで、認識処理部２２は、次に、ステップＳ２２０で他車両を検出したか判定する（ステップＳ２３０）。
　認識処理部２２は、他車両を検出したとき（ステップＳ２３０のＹｅｓ）は、ステップＳ２２０で検出した他車両の検出範囲の下部に車輪を認識するときの認識範囲を設定する（ステップＳ２４０）。ここで、認識範囲を設定する、車両の検出範囲の下部とは、当該車両の車輪を認識するための必要十分な大きさの範囲を指す。
　例えば、図９に示した他車両を検出した検出範囲（検出矩形）に対して、検出範囲の下側５０％を含み、検出範囲の下端から更に下方を含む範囲を、車輪を認識する認識範囲とする。このように認識範囲を設定することで、他車両を検出した検出範囲に車輪が含まれている場合でも、車輪の一部又は全部が含まれていない場合でも、車輪の認識を適切に行うことができる。
　図１０は、本実施の形態２に係る車輪の認識範囲を示す図である。検出した他車両の下部近傍に認識範囲を設定している。
　次に、認識処理部２２は、設定した認識範囲に対して、辞書データ記憶装置３０に記憶した車輪認識辞書を用いて、他車両の車輪を認識する（ステップＳ２５０）。これにより、認識処理部２２は、画像全体に対して車輪を認識するときに比べて、早く正確に車輪を検出することができる。
　図１１は、本実施の形態２に係る車輪認識結果を示す図である。
　認識処理部２２が車輪を検出した結果を示す検出矩形は、車輪２つを適切に囲んでいる。
　次に、認識処理部２２は、ステップＳ２５０で車輪を検出したか判定する（ステップＳ２６０）。
　認識処理部２２は、ステップＳ２５０で車輪を検出したとき（ステップＳ２６０のＹｅｓ）は、検出した車輪の下端を他車両の接地位置として、自車両（又は、前方カメラ１０）と当該他車両との距離を算出する（ステップＳ２７０）。
　このとき、認識処理部２２は、認識対象画像における検出した車輪の下端の位置（接地位置）と、上述した距離テーブルとから、認識対象画像を撮像したときの自車両と当該他車両との距離を算出する。
　なお、ステップＳ２５０で車輪を検出したときに、その検出矩形が一番大きくなった車輪は、自車両に一番近い車輪である可能性が大きい。そこで、認識処理部２２は、検出矩形が一番大きくなった車輪の接地位置に基づいて他車両との距離を算出するようにしても良い。
　次に、表示制御部２３が表示装置４０にステップＳ２１０で取得した認識対象画像を表示させるとともに、検出した他車両に対して、検出した車輪も囲むような検出矩形を表示させ、また、自車両と当該他車両との距離を表示させる（ステップＳ２８０）。他車両との距離が所定値よりも小さく、当該他車両と衝突する可能性があるときには、表示制御部２３が表示装置４０により他車両が接近したことを運転者に通知するようにしても良い。表示装置４０に警告を表示させるときに、同時に音声を発生させるようにしても良い。
　図１２は、本実施の形態２に係る検出矩形及び距離の表示例を示す図である。この例では、検出した車輪の接地位置（２箇所）も表示している。
　一方、認識処理部２２がステップＳ２５０で車輪を検出しなかったとき（ステップＳ２６０のＮｏ）は、表示制御部２３が表示装置４０に、ステップＳ２２０で検出した車両とその検出矩形とを表示させる（ステップＳ２９０）。これは、例えば、図９に示したような画像を表示させれば良い。もちろん、認識処理部２２が検出した車両との距離を算出し、表示制御部２３が表示装置４０に当該距離を表示させたり、警告表示をさせたりしても良い。
　そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ３００）、終了すると判定したとき（ステップＳ３００のＹｅｓ）は、処理を終了する。
　また、認識処理部２２が車両を検出しなかったとき（ステップＳ２３０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ３００のＮｏ）は、ステップＳ２１０（又は、ステップＳ２２０）に戻る。
　以上、説明したように、本実施の形態２に係る物体認識装置２０は、認識処理部２２が、対象物認識辞書である車両認識辞書を用いて車両を検出し、検出した車両の下部に対して車輪認識辞書を用いて車輪を検出し、検出した車輪の下端位置に基づき、検出した車両までの距離を算出するものである。
　このような構成により、画像から他車両との距離を早く正確に算出することができる。
　また、本実施の形態２に係る物体認識装置２０は、取得した画像を表示装置４０に表示させる表示制御部２３を更に備え、表示制御部２３は、表示装置４０に、検出した車両を囲む検出矩形を検出した車輪も含めるように表示させることも可能である。
　このような構成により、検出した車両の位置を運転者などに正確に示すことができる。
　また、本実施の形態２に係る物体認識装置２０は、表示制御部２３が、表示装置４０に、算出した距離も表示させることも可能である。
　このような構成により、検出した車両までの距離を運転者などに示すことができる。
（実施の形態３）
　実施の形態２に係る物体認識システム又は物体認識方法では、他車両の車輪を検出したときに、運転者に対して表示又は音声で警告をしたが、より早く運転者に対して警告をした方が良いことから、本実施の形態３に係る物体認識システム又は物体認識方法では、他車両を検出したときに警告をするものである。
　なお、本実施の形態３に係る物体認識システムは、実施の形態２に係るものと同様で良く、ここでは、その図示及び説明を省略する。
　本実施の形態３に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
　図１３は、本実施の形態３に係る物体認識方法の処理手順を示すフローチャートである。
　ステップＳ３１０～Ｓ３３０に係る処理は実施の形態２のステップＳ２１０～Ｓ２３０に係る処理と同様で良く、ここでは、その説明を省略する。
　認識処理部２２は、ステップＳ３２０で他車両を検出したとき（ステップＳ３３０のＹｅｓ）に、表示制御部２３が表示装置４０にステップＳ３１０で取得した認識対象画像を表示させるとともに、ステップＳ３２０で検出した他車両を囲む検出矩形を表示させる（ステップＳ３４０）。ここでは、例えば、図９に示したような画像を表示させる。もちろん、音声も出力するようにしても良い。これにより、運転者に他車両情報をいち早く伝えることができる。
　次に、認識処理部２２は、検出した他車両の下部近傍に車輪を認識するときの認識範囲を設定し（ステップＳ３５０）、車輪を認識する（ステップＳ３６０）。
　次に、認識処理部２２は、ステップＳ３６０で車輪を検出したか判定する（ステップＳ３７０）。
　認識処理部２２は、ステップＳ３６０で車輪を検出したとき（ステップＳ３７０のＹｅｓ）は、検出した車輪の下端を検出した他車両の接地位置として、自車両（又は、前方カメラ１０）と当該他車両との距離を算出する（ステップＳ３８０）。
　なお、上記したステップＳ３５０、Ｓ３６０、Ｓ３８０に係る処理も実施の形態２のステップＳ２４０、Ｓ２５０、Ｓ２７０に係る処理と同様のもので良い。
　次に、表示制御部２３が表示装置４０にステップＳ３４０で表示させた画像について、検出矩形がステップＳ３６０で検出した車輪も囲むように修正する。また、距離情報も表示する（ステップＳ３９０）。これにより、時間を多少要しても、正確な距離を算出することができる。
　そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ４００）、終了すると判定したとき（ステップＳ４００のＹｅｓ）は、処理を終了する。
　なお、認識処理部２２は、ステップＳ３６０で車輪を検出しなかったとき（ステップＳ３７０のＮｏ）は、ステップＳ４００に進む。
　また、ステップＳ３２０で車両を検出しなかったとき（ステップＳ３３０のＮｏ）、又は、物体認識装置２０が物体認識方法を終了しないと判定したとき（ステップＳ４００のＮｏ）は、ステップＳ３１０（又は、ステップＳ３２０）に戻る。
　なお、実施の形態２、３に係る物体認識システム１又は物体認識方法では、検出した車輪の下端（接地位置）を用いて他車両との距離を算出するようにしたが、距離の算出方法はこれに限るものではなく、例えば、検出矩形の大きさに基づいて、距離を算出するようにしても良い。実施の形態２、３に係る物体認識システム１又は物体認識方法では、車輪を検出することにより、車輪の下端位置に基づいて、他車両の検出矩形を従来よりも正確に設定することができ、当該検出矩形の大きさを用いて、他車両との距離も従来よりも正確に算出することができる。
　また、実施の形態２、３に係る物体認識システム１などにおいては、前方カメラ１０が可視光カメラであり、画像取得部２１は認識対象画像として可視光画像を取得することを前提に説明してきたが、前方カメラ１０が、可視光に加えて赤外光も撮像可能なカメラであっても良い。この場合に、車両認識辞書及び車輪認識辞書として、赤外画像用の認識辞書を用いたり、可視光用の認識辞書と赤外画像用の認識辞書とを併用したりしても良い。
　認識処理部２２は、赤外画像に対して赤外画像用の車両認識辞書を用いて他車両を検出し、他車両を検出したときに、赤外画像用の車輪認識辞書を用いて車輪を認識する。
　これにより、夜間などの可視光の光量が少ない場合にも、実施の形態２、３に係る物体認識システム１などを適用して、可視光の光量が多い場合と同様の効果を得ることができる。また、赤外画像を用いることで、主に走行中の他車両を検出することができ、例えば、交差点にいろいろな方向から侵入してくる他車両の距離を正確に算出することもできる。
　以上、説明したように、本実施の形態３に係る物体認識装置２０は、表示制御部２３が、検出矩形を表示させるときに、認識処理部２２が車両を検出したときに、車両を囲む検出矩形を表示させ、認識処理部２２が車輪を検出したときに、車輪も含めるように検出矩形を修正して表示させることも可能である。
　このような構成により、検出した車両の位置をより早く運転者などに示すことができ、また、検出した車両の位置を正確に算出することができる。
（実施の形態４）
　実施の形態１～３に係る物体認識システム及び物体認識方法は、人物、他車両などの対象物を撮影した画像に対して、人物認識辞書、車両認識辞書などの対象物認識辞書を用いて対象物を検出し、検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出するものであったが、本実施の形態４に係る物体認識システム及び物体認識方法は、検出した対象物の向きを特定し、特定した対象物の向きに対応する車輪認識辞書を選択して、認識処理の負荷を軽減しつつ、車輪をより精度良く検出するようにするものである。
　対象物の向き特定は、例えば、対象物を検出した複数の画像を用い、検出した対象物の追跡（トラッキング）を行うことで、対象物の進行方向を推定し、推定した進行方向から対象物の向きを特定する。
　なお、本実施の形態４に係る物体認識システムの構成の一部は、実施の形態１～３に係るものと同様で良く、ここでは、物体認識システムの図示及び同様の構成についての説明を省略する。
　認識処理部２２は、前方カメラ１０が撮像した画像に対して、辞書データ記憶装置３０に記憶した人物認識辞書、車両認識辞書などの対象物認識辞書を用いて人物、他車両などの対象物を認識する。認識処理部２２は、認識した対象物の形状などからその向きを特定することができるのであれば、当該対象物の向きを特定する。また、認識処理部２２は、対象物の向きを特定する他の手法として、複数の画像を用いて検出した対象物のトラッキングを行い、当該対象物の進行方向を推定し、推定した進行方向に基づいて対象物の向きを特定しても良い。
　そして、認識処理部２２は、特定した向きに対応する車輪認識辞書を選択して対象物の下部の車輪を認識し、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。
　辞書データ記憶装置３０は、対象物認識辞書、車輪認識辞書などを記憶する。対象物認識辞書、車輪認識辞書は、対象物、車輪をいろいろな角度から撮影した画像又はそれらの切り抜き画像を機械学習して作成したものである。
　特に、本実施の形態４に係る辞書データ記憶装置３０は、車輪認識辞書を車輪の向き毎に記憶する。辞書データ記憶装置３０は、車輪認識辞書を対象物の進行方向と対応付けた車輪の向き毎に記憶しても良い。つまり、本実施の形態４に係る車輪認識辞書は、対象物が様々な向きであるときに撮影した車輪の画像若しくはそれらの切り抜き画像を、その向き毎に機械学習して作成したものである。
　より具体的には、対象物が前方カメラ１０に対して前向き若しくは後向き、又は、正面向き若しくは背面向きの車輪の画像は、縦方向に長い矩形状か、縦方向に細長い楕円形状になっており、対象物が前方カメラ１０に対して、横向き、つまり、左向き、右向きの車輪の画像は、略円形状になっており、これらの画像を機械学習して、車輪認識辞書を作成している。
　次に、本実施の形態４に係る物体認識システム１の動作、すなわち、物体認識方法について説明する。
　図１４は、本実施の形態４に係る物体認識方法の処理手順を示すフローチャートである。
　物体認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮像し、画像取得部２１が当該画像を認識対象画像として取得する（ステップＳ４１０）。
　次に、認識処理部２２が認識対象画像に対して、辞書データ記憶装置３０に記憶した対象物認識辞書を用いて、対象物の認識を行う（ステップＳ４２０）
　そして、認識処理部２２は、ステップＳ４２０で対象物を検出したか判定する（ステップＳ４３０）。
　認識処理部２２は、対象物を検出したとき（ステップＳ４３０のＹｅｓ）は、複数の画像を用いて、ステップＳ４２０で検出した対象物の追跡（トラッキング）を行う（ステップＳ４４０）。対象物のトラッキングには、従来技術を用いることができる。
　また、認識処理部２２は、対象物を検出しなかったとき（ステップＳ４３０のＮｏ）は、例えば、ステップＳ４１０に戻る。
　次に、認識処理部２２は、ステップＳ４４０のトラッキングの結果を用いて、対象物の進行方向を推定し、対象物の向きを特定する（ステップＳ４５０）。対象物の進行方向推定及び進行方向に基づく向き特定も、従来技術を用いることができる。対象物の進行方向は、自車両に対する対象物の相対的な進行方向を、複数の画像における対象物の移動履歴と、自車両の進行方向及び走行速度とから推定する。推定した対象物の進行方向は自車両を基準とした進行方向であるため、自車両から見た対象物の向きを特定することができる。
　そして、認識処理部２２は、ステップＳ４５０で特定した対象物の向きに対応する車輪認識辞書を辞書データ記憶装置３０から選択し（ステップＳ４６０）、対象物の車輪を認識する（ステップＳ４７０）。
　そして、認識処理部２２は、ステップＳ４７０で車輪を検出したか判定し（ステップＳ４８０）、車輪を検出したとき（ステップＳ４８０のＹｅｓ）は、例えば、自転車検出決定、距離算出などを行う（ステップＳ４９０）。また、認識処理部２２は、車輪を検出しなかったとき（ステップＳ４８０のＮｏ）は、例えば、歩行者検出決定などを行う（ステップＳ５００）。ステップＳ４９０、Ｓ５００で行う処理の内容は、検出する対象物に応じて、予め定めることができる。
　そして、物体認識装置２０は、物体認識方法を終了するか判定し（ステップＳ５１０）、終了すると判定したとき（ステップＳ５１０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ５１０のＮｏ）は、例えば、ステップＳ４１０に戻る。
　以上、説明したように、本実施の形態４に係る物体認識装置２０は、認識処理部２２が検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出するときに、取得した画像を用いて、対象物の向きを検出し、検出した向きに対応する車輪認識辞書を選択し、選択した車輪認識辞書を用いて車輪を検出することも可能である。
　このような構成により、認識処理の負荷を軽減しつつ、車輪をより精度良く検出することができる。
　また、本実施の形態４に係る物体認識装置２０は、認識処理部２２が、取得した画像を用いて、対象物の向きを検出するときに、複数の取得した画像を用いて対象物を追跡して対象物の進行方向を推定し、推定した進行方向から対象物の向きを検出することも可能である。
　なお、実施の形態１～４に係る物体認識システム１又は物体認識方法では、人物、自転車、車両、車輪などの画像を機械学習して作成した辞書を用いた画像認識を行うようにしたが、例えば、人物、自転車、車両、車輪車などのテンプレートを用いたパターンマッチングなどの画像認識を行うようにしても良い。
　また、実施の形態１～４に係る物体認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、物体認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた物体認識装置としても良い。また、物体認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた物体認識装置としても良い。もちろん、物体認識システム１を、人物認識装置、車両認識装置、車輪認識装置、距離算出装置などとして構成しても良い。
　また、実施の形態１～４に係る物体認識システム１は、車両で利用するものとして説明してきたが、車両での利用には、車両にシステムの一部又は全部が搭載されている形態や、可搬可能又は後付け可能に車両に搭載されている形態があっても良い。また、ヘッドマウントディスプレイ（ＨＭＤ、Head Mounted Display）などのように、人物が装着するような形態があっても良い。
　この出願は、２０１６年３月１８日に出願された日本出願特願２０１６－０５４６９１及び日本出願特願２０１６－０５４６９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　実施の形態１～４に係る物体認識システム１又は物体認識方法は、例えば、車両に搭載されて、撮影した画像から人物、他車両などの対象物をより正確に検出するもので、産業上の利用可能性を有する。
１　　物体認識システム
１０　　前方カメラ
２０　　物体認識装置
２１　　画像取得部
２２　　認識処理部
２３　　表示制御部
３０　　辞書データ記憶装置
４０　　表示装置

Claims (12)

  1. 　被写体を撮影した画像を取得する画像取得部と、
    　前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理部とを備え、
    　前記認識処理部は、
    　　前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
    　　前記検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、
    　　前記車輪の検出結果を前記対象物の検出結果に反映させる、
    　物体認識装置。
  2. 　前記認識処理部は、
    　　前記対象物認識辞書である人物認識辞書を用いて人物を検出し、
    　　前記検出した人物の下部に対して前記車輪認識辞書を用いて車輪を検出し、
    　　車輪を検出したときは前記検出した人物は車両の乗員であり、車輪を検出しなかったときは前記検出した人物は歩行者であると判断する、
    　請求項１に記載の物体認識装置。
  3. 　前記認識処理部は、前記検出した車輪の下端又は前記歩行者と判断した人物の下端と、前記画像を撮像した撮像部との距離を算出する、
    　請求項２に記載の物体認識装置。
  4. 　前記画像取得部は、前記画像として赤外光画像及び可視光画像を取得し、
    　前記認識処理部は、
    　　前記対象物認識辞書である人物認識辞書を用いて前記赤外光画像から人物を検出し、
    　　前記検出した人物の下部に対して前記車輪認識辞書を用いて前記可視光画像から車輪を検出する、
    　請求項１乃至請求項３のいずれか１項に記載の物体認識装置。
  5. 　前記認識処理部は、
    　　前記対象物認識辞書である車両認識辞書を用いて車両を検出し、
    　　前記検出した車両の下部に対して前記車輪認識辞書を用いて車輪を検出し、
    　　前記検出した車輪の下端位置に基づき、前記検出した車両までの距離を算出する、
    　請求項１に記載の物体認識装置。
  6. 　前記取得した画像を表示部に表示させる表示制御部を更に備え、
    　前記表示制御部は、前記表示部に、前記検出した車両を囲む検出矩形を前記検出した車輪も含めるように表示させる、
    　請求項５記載の物体認識装置。
  7. 　前記表示制御部は、前記検出矩形を表示させるときに、
    　　前記認識処理部が前記車両を検出したときに、前記車両を囲む検出矩形を表示させ、
    　　前記認識処理部が前記車輪を検出したときに、前記車輪も含めるように検出矩形を修正して表示させる
    　請求項６記載の物体認識装置。
  8. 　前記表示制御部は、前記表示部に、前記算出した距離も表示させる
    　請求項６又は請求項７記載の物体認識装置。
  9. 　前記認識処理部は、前記検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出するときに、
    　前記取得した画像を用いて、前記対象物の向きを検出し、
    　前記検出した向きに対応する車輪認識辞書を選択し、
    　前記選択した車輪認識辞書を用いて前記車輪を検出する
    　請求項１乃至請求項８のいずれか１項に記載の物体認識装置。
  10. 　前記認識処理部は、前記取得した画像を用いて、前記対象物の向きを検出するときに、
    　複数の前記取得した画像を用いて前記対象物を追跡して前記対象物の進行方向を推定し、
    　前記推定した進行方向から前記対象物の向きを検出する
    　請求項９記載の物体認識装置。
  11. 　被写体を撮影した画像を取得する画像取得ステップと、
    　前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理ステップとを有し、
    　前記認識処理ステップは、
    　　前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
    　　前記検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、
    　　前記車輪の検出結果を前記対象物の検出結果に反映させる、
    　物体認識方法。
  12. 　コンピュータに、
    　被写体を撮影した画像を取得する画像取得手順と、
    　前記取得した画像に対して、認識辞書を用いて前記被写体を認識する認識処理手順とを実行させるためのプログラムであって、
    　前記認識処理手順では、
    　　前記取得した画像に対して対象物認識辞書を用いて対象物を検出し、
    　　前記検出した対象物の下部に対して車輪認識辞書を用いて車輪を検出し、
    　　前記車輪の検出結果を前記対象物の検出結果に反映させる、
    　物体認識プログラム。
PCT/JP2016/087942 2016-03-18 2016-12-20 物体認識装置、物体認識方法及び物体認識プログラム WO2017158983A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680049292.5A CN107924465B (zh) 2016-03-18 2016-12-20 物体识别装置、物体识别方法以及存储介质
JP2018505263A JP6635188B2 (ja) 2016-03-18 2016-12-20 物体認識装置、物体認識方法及び物体認識プログラム
US16/134,769 US10796171B2 (en) 2016-03-18 2018-09-18 Object recognition apparatus, object recognition method, and object recognition program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-054692 2016-03-18
JP2016054692 2016-03-18
JP2016054691 2016-03-18
JP2016-054691 2016-03-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/134,769 Continuation US10796171B2 (en) 2016-03-18 2018-09-18 Object recognition apparatus, object recognition method, and object recognition program

Publications (1)

Publication Number Publication Date
WO2017158983A1 true WO2017158983A1 (ja) 2017-09-21

Family

ID=59850236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087942 WO2017158983A1 (ja) 2016-03-18 2016-12-20 物体認識装置、物体認識方法及び物体認識プログラム

Country Status (4)

Country Link
US (1) US10796171B2 (ja)
JP (1) JP6635188B2 (ja)
CN (1) CN107924465B (ja)
WO (1) WO2017158983A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190362A1 (ja) * 2017-04-12 2018-10-18 日立オートモティブシステムズ株式会社 車両周囲の歩行者を検出する方法及び装置
JP2019109645A (ja) * 2017-12-18 2019-07-04 スズキ株式会社 運転支援装置
JP2019140518A (ja) * 2018-02-09 2019-08-22 株式会社デンソー 画像生成装置
JP2019185080A (ja) * 2018-03-31 2019-10-24 株式会社ウォンツ 車両画像生成装置および車両画像生成プログラム
JP2020027380A (ja) * 2018-08-10 2020-02-20 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
CN111186373A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 报告装置
WO2020246391A1 (en) * 2019-06-04 2020-12-10 Hitachi Automotive Systems, Ltd. Vehicle travelling control apparatus, Vehicle travelling control method and Computer program product
JP2020201686A (ja) * 2019-06-10 2020-12-17 ダイハツ工業株式会社 衝突回避支援装置
JP2021086597A (ja) * 2020-03-09 2021-06-03 ニューラルポケット株式会社 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
WO2021161712A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム
JPWO2021166169A1 (ja) * 2020-02-20 2021-08-26
US20210303911A1 (en) * 2019-03-04 2021-09-30 Southeast University Method of segmenting pedestrians in roadside image by using convolutional network fusing features at different scales
JP2023500993A (ja) * 2020-01-03 2023-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション
JP7387241B2 (ja) 2021-06-18 2023-11-28 ダイハツ工業株式会社 車両用制御装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JP6514736B2 (ja) * 2017-05-17 2019-05-15 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
CN108805014A (zh) * 2018-04-26 2018-11-13 内蒙古河山新能源技术推广服务有限公司 移动充电桩的定位方法、装置及计算机可读存储介质
CN108831150A (zh) * 2018-06-20 2018-11-16 安徽金赛弗信息技术有限公司 基于深度学习的机动车未按规定保持安全距离智能识别方法
US10885334B2 (en) * 2018-11-30 2021-01-05 Hua-Chuang Automobile Information Technical Center Co., Ltd. Method and system for detecting object(s) adjacent to vehicle
CN111251994B (zh) * 2018-11-30 2021-08-24 华创车电技术中心股份有限公司 车辆周边物件检测方法及车辆周边物件检测系统
US10817728B2 (en) * 2019-01-23 2020-10-27 GM Global Technology Operations LLC Automated data collection for continued refinement in the detection of objects-of-interest
US11851060B2 (en) 2020-03-15 2023-12-26 Ron Zass Controlling vehicles in response to windows
KR20220031224A (ko) * 2020-09-04 2022-03-11 현대자동차주식회사 차량 및 그 제어방법
KR102360491B1 (ko) * 2021-09-28 2022-02-09 라이트브라더스 주식회사 저감된 탄소 배출량 계산 기반의 자전거 응용 서비스 플랫폼 서버, 방법, 및 컴퓨터 판독 가능한 기록 매체
CN116092039B (zh) * 2023-04-10 2023-06-16 智道网联科技(北京)有限公司 自动驾驶仿真系统的显示控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144031A (ja) * 1997-11-06 1999-05-28 Fuji Xerox Co Ltd 画像読取装置
JP2009074888A (ja) * 2007-09-20 2009-04-09 Alpine Electronics Inc 車間距離計測装置
JP2010211427A (ja) * 2009-03-10 2010-09-24 Omron Corp 安全運転監視装置
JP2013232080A (ja) * 2012-04-27 2013-11-14 Denso Corp 対象物識別装置
JP2014167677A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車間距離算出装置およびその動作制御方法
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583372B2 (en) * 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
JP2007188417A (ja) 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP4692344B2 (ja) 2006-03-17 2011-06-01 トヨタ自動車株式会社 画像認識装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
CN105373792A (zh) * 2007-05-21 2016-03-02 实耐宝公司 车轮定位的方法和设备
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4410292B1 (ja) * 2008-10-20 2010-02-03 本田技研工業株式会社 車両の周辺監視装置
WO2011089872A1 (ja) * 2010-01-22 2011-07-28 パナソニック株式会社 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
EP2894599B1 (en) * 2012-09-06 2023-08-16 Sony Group Corporation Information processing device, information processing method, and program
CN104599287B (zh) * 2013-11-01 2018-01-16 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
JP6253467B2 (ja) * 2014-03-24 2017-12-27 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置および画像処理プログラム
CN104596770B (zh) * 2015-01-20 2017-03-15 天津大学 一种车用动力总成综合性能测试系统
CN104598928A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于类字典稀疏识别的车辆分类方法
CN104916165B (zh) * 2015-06-26 2018-03-06 长安大学 一种前车驾驶员不安全驾驶行为检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144031A (ja) * 1997-11-06 1999-05-28 Fuji Xerox Co Ltd 画像読取装置
JP2009074888A (ja) * 2007-09-20 2009-04-09 Alpine Electronics Inc 車間距離計測装置
JP2010211427A (ja) * 2009-03-10 2010-09-24 Omron Corp 安全運転監視装置
JP2013232080A (ja) * 2012-04-27 2013-11-14 Denso Corp 対象物識別装置
JP2014167677A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車間距離算出装置およびその動作制御方法
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190362A1 (ja) * 2017-04-12 2018-10-18 日立オートモティブシステムズ株式会社 車両周囲の歩行者を検出する方法及び装置
JPWO2018190362A1 (ja) * 2017-04-12 2020-01-16 日立オートモティブシステムズ株式会社 車両周囲の歩行者を検出する方法及び装置
JP2019109645A (ja) * 2017-12-18 2019-07-04 スズキ株式会社 運転支援装置
JP7062940B2 (ja) 2017-12-18 2022-05-09 スズキ株式会社 運転支援装置
JP2019140518A (ja) * 2018-02-09 2019-08-22 株式会社デンソー 画像生成装置
JP2019185080A (ja) * 2018-03-31 2019-10-24 株式会社ウォンツ 車両画像生成装置および車両画像生成プログラム
JP7093962B2 (ja) 2018-03-31 2022-07-01 株式会社ウォンツ 車両画像生成装置および車両画像生成プログラム
JP2020027380A (ja) * 2018-08-10 2020-02-20 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
JP7056458B2 (ja) 2018-08-10 2022-04-19 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
CN111186373A (zh) * 2018-11-14 2020-05-22 丰田自动车株式会社 报告装置
CN111186373B (zh) * 2018-11-14 2023-03-10 丰田自动车株式会社 报告装置
US20210303911A1 (en) * 2019-03-04 2021-09-30 Southeast University Method of segmenting pedestrians in roadside image by using convolutional network fusing features at different scales
US11783594B2 (en) * 2019-03-04 2023-10-10 Southeast University Method of segmenting pedestrians in roadside image by using convolutional network fusing features at different scales
JP2022534517A (ja) * 2019-06-04 2022-08-01 日立Astemo株式会社 車両走行制御装置、車両走行制御方法およびコンピュータプログラム製品
WO2020246391A1 (en) * 2019-06-04 2020-12-10 Hitachi Automotive Systems, Ltd. Vehicle travelling control apparatus, Vehicle travelling control method and Computer program product
JP7237428B2 (ja) 2019-06-10 2023-03-13 ダイハツ工業株式会社 衝突回避支援装置
JP2020201686A (ja) * 2019-06-10 2020-12-17 ダイハツ工業株式会社 衝突回避支援装置
US11680801B2 (en) 2020-01-03 2023-06-20 Mobileye Vision Technologies Ltd. Navigation based on partially occluded pedestrians
JP2023500993A (ja) * 2020-01-03 2023-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション
JP7505844B2 (ja) 2020-01-03 2024-06-25 モービルアイ ビジョン テクノロジーズ リミテッド 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション
WO2021161712A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム
JPWO2021166169A1 (ja) * 2020-02-20 2021-08-26
JP7380824B2 (ja) 2020-02-20 2023-11-15 日本電信電話株式会社 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
JP2021086597A (ja) * 2020-03-09 2021-06-03 ニューラルポケット株式会社 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
JP6997471B2 (ja) 2020-03-09 2022-01-17 ニューラルポケット株式会社 情報処理システム、情報処理装置、端末装置、サーバ装置、プログラム、又は方法
JP7387241B2 (ja) 2021-06-18 2023-11-28 ダイハツ工業株式会社 車両用制御装置

Also Published As

Publication number Publication date
US10796171B2 (en) 2020-10-06
JPWO2017158983A1 (ja) 2019-01-24
CN107924465A (zh) 2018-04-17
JP6635188B2 (ja) 2020-01-22
US20190019045A1 (en) 2019-01-17
CN107924465B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
WO2017158983A1 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP4733756B2 (ja) 車両周辺監視装置
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
US20150049195A1 (en) Image processing unit, object detection method, object detection program, and vehicle control system
JP4815488B2 (ja) 車両周辺監視装置
JP5480925B2 (ja) 車両周辺監視装置
EP2639742A2 (en) Vehicle periphery monitoring apparatus
JP4528283B2 (ja) 車両周辺監視装置
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP6805716B2 (ja) 表示装置、表示方法、プログラム
JP4644273B2 (ja) 車両周辺監視装置
JP2016192177A (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
WO2018020715A1 (ja) 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
JP6483360B2 (ja) 対象物認識装置
JP4887537B2 (ja) 車両周辺監視装置
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2015185135A (ja) 停車認識装置、停車認識方法及びプログラム
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP5172482B2 (ja) 車両周辺監視装置
JP2019028528A (ja) 車外環境認識装置
JP2014203196A (ja) 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置
KR102239734B1 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP6495742B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
JP4995778B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018505263

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16894600

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16894600

Country of ref document: EP

Kind code of ref document: A1