WO2024202033A1 - 運転支援装置、運転支援方法、記憶媒体及びプログラム - Google Patents

運転支援装置、運転支援方法、記憶媒体及びプログラム Download PDF

Info

Publication number
WO2024202033A1
WO2024202033A1 PCT/JP2023/013625 JP2023013625W WO2024202033A1 WO 2024202033 A1 WO2024202033 A1 WO 2024202033A1 JP 2023013625 W JP2023013625 W JP 2023013625W WO 2024202033 A1 WO2024202033 A1 WO 2024202033A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
driving assistance
image
assistance device
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/013625
Other languages
English (en)
French (fr)
Inventor
スリニヴァサ ディヴァカル バット
プラティック ガルグ
輝 金原
成光 土屋
龍司 岩下
ムディット ソニ
タルン サティシュ
スルビ アガルバル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to CN202380095666.7A priority Critical patent/CN120836050A/zh
Priority to JP2025509615A priority patent/JPWO2024202033A1/ja
Priority to PCT/JP2023/013625 priority patent/WO2024202033A1/ja
Publication of WO2024202033A1 publication Critical patent/WO2024202033A1/ja
Priority to US19/340,789 priority patent/US20260024353A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to a driving assistance device, a driving assistance method, a storage medium, and a program.
  • a driving support technology that analyzes video of the surroundings of a vehicle (also called a moving object) captured by a camera installed inside the vehicle, and if it is determined that an object in the video is an object requiring caution, displays a warning image on a display device at the predicted location of the object requiring caution (Patent Document 1). If the driving support technology can promptly notify the driver of warnings regarding objects requiring caution, the driver can pay attention to objects that pose a high risk and appropriately avoid danger.
  • the present invention was made in consideration of the above problems, and its purpose is to realize a technology that can accurately detect passersby outside a vehicle when using captured images that include both the interior of the vehicle and the exterior of the vehicle.
  • a driving assistance device attached to a moving body, an imaging means for capturing an image including an interior of the moving body and a subject outside the moving body; A recognition means for recognizing a person in a captured image using the captured image; an estimation means for estimating one or more characteristics of a person in a recognized image; a detection means for detecting a person in the image, the person having one or more estimated characteristics each satisfying a predetermined criterion, as a passerby; an output control means for causing an output device to output a warning regarding the presence of the detected pedestrian;
  • a driving assistance device is provided, characterized in that the one or more characteristics include at least one of the distance of the person from the driving assistance device, the relative moving speed of the person with respect to the moving object, and the height of the person.
  • the present invention makes it possible to accurately detect passersby outside the vehicle when using captured images that include both the interior of the vehicle and the exterior of the vehicle.
  • FIG. 2 is a diagram illustrating a configuration example of a moving body (vehicle) according to an embodiment
  • FIG. 2 is a diagram illustrating an example of the external configuration of a drive recorder as an example of a driving assistance device according to an embodiment
  • FIG. 2 is a diagram showing an external configuration of an output device according to an embodiment
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a drive recorder according to an embodiment
  • FIG. 1 is a block diagram showing an example of a functional configuration of a drive recorder according to an embodiment
  • FIG. 1 is a diagram for explaining characteristics (relative moving speed) of a person according to an embodiment
  • FIG. 1 is a diagram for explaining characteristics of a person (distance from a drive recorder) according to an embodiment
  • the driving assistance device is a drive recorder that is attached inside a vehicle, captures images of the front, sides, and rear of the vehicle, and records the state of the vehicle while it is traveling on a recording medium.
  • the driving assistance device may be a device other than a drive recorder as long as it is attached to a vehicle and can capture images of the outside world of the vehicle.
  • the moving object is, for example, a vehicle.
  • the vehicle is typically a four-wheeled vehicle, but this embodiment may be applied to other types of vehicles.
  • a drive recorder 101 is mounted on a vehicle 100.
  • the drive recorder 101 is mounted near the rearview mirror or on the rearview mirror of the vehicle 100 at a position on the windshield of the vehicle 100 that does not obstruct the driver's field of vision.
  • the mounting position of the drive recorder 101 is not limited to this, and may be any position that can capture an image of the outside world of the vehicle 100.
  • the drive recorder 101 can, for example, wirelessly or wiredly transmit information that needs to be output to the driver to the external output device 102, and cause the transmitted warning to be output from the output device 102.
  • the output device 102 is an external device to the drive recorder 101.
  • the drive recorder 101 may also be equipped with an output device (i.e., a display for display or a speaker for audio output).
  • the drive recorder 101 includes an imaging device 202 on a front surface 201, and captures an image of the forward direction (movement direction) of the vehicle 100.
  • the imaging device 202 is, for example, an imaging device equipped with a wide-angle lens.
  • the drive recorder 101 also includes an imaging device 211 on a rear surface 210, and captures images of the sides and rear of the vehicle 100.
  • the imaging device 211 is, for example, an imaging device equipped with a fisheye lens.
  • the image captured by the imaging device 211 includes the driver of the vehicle 100.
  • 203 constitutes the upper surface of the drive recorder 101.
  • the output device 102 is a device for outputting information to an occupant of the vehicle 100.
  • the output device 102 includes a display device (e.g., a display or a light-emitting element) that provides visual information, and an audio device (e.g., a speaker) that provides auditory information.
  • the output device 102 communicates with the drive recorder 101 wirelessly or via a wire, thereby displaying information on the display device.
  • the output device 102 is provided with a display device on the upper surface 220.
  • the output device 102 can color a partial area (e.g., 222) within a circle 221 representing the periphery of the vehicle 100 in response to an instruction from the drive recorder 101.
  • the colored area 222 serves as a warning to the driver or the like that a risk exists in the corresponding direction.
  • the output device 102 is installed, for example, on the dashboard near the driver's seat of the vehicle 100.
  • the output device 102 may further include a half mirror to reflect the light output from the upper surface 220 in the direction of the driver.
  • the drive recorder 101 includes, for example, a control unit 301, a storage device 302, an imaging device 303, an input device 304, and a communication device 305.
  • the control unit 301 includes a processor such as a CPU (Central Processing Unit) and controls the operation of the entire drive recorder 101.
  • the control unit 301 may be realized, for example, by the CPU expanding and executing a program stored in the storage device 302.
  • the control unit 301 may further include a GPU (Graphics Processing Unit) and dedicated circuits for image processing, machine learning, etc.
  • GPU Graphics Processing Unit
  • the storage device 302 is a device that stores data and programs related to the operation of the drive recorder 101.
  • the storage device 302 may store a program that defines the operation of the drive recorder 101, temporary data when this program is executed, images captured by the imaging device 303, environmental sounds picked up by a microphone, etc.
  • the storage device 302 may be realized by a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage device 302 may include an auxiliary storage device such as an SSD (Solid State Drive).
  • the imaging device 303 includes a camera for capturing images of the outside world in front of the vehicle 100.
  • the imaging device 303 may be, for example, a wide-angle camera. This camera is the imaging device 202 described above, which is located in front of the drive recorder 101 (the front side of the vehicle 100).
  • the imaging device 303 also includes a camera capable of capturing images of the rear and the left and right sides of the vehicle 100, that is, the imaging device 211 described above.
  • This camera may be a camera equipped with a fisheye lens.
  • the camera capturing images of the rear is disposed behind the drive recorder (the rear side of the vehicle). In this embodiment, an example will be described in which the same camera captures images of the rear and sides of the vehicle. However, the camera capturing images of the rear and the sides may be separate cameras.
  • the camera capturing images of the sides may be disposed on the side of the drive recorder. Some of the cameras capturing images in multiple directions may be separate from the drive recorder.
  • the input device 304 is a device for inputting instructions from the occupants of the vehicle 100.
  • the input device 304 includes, for example, a button or a touch panel.
  • the input device 304 may also include a microphone for inputting the voice of the occupants and sounds from the outside world.
  • the communication device 305 is a device for the drive recorder 101 to communicate with the output device 102 in a wired or wireless manner.
  • the communication device 305 transmits warning information generated by the driving assistance process in the control unit 301 to the output device 102.
  • the communication device 305 may communicate with other devices in a wired manner or may communicate with other devices wirelessly.
  • the wireless communication may be communication conforming to a protocol such as short-range communication (e.g., Bluetooth (registered trademark)).
  • the communication device 305 may be configured to be able to communicate with the control ECU of the vehicle 100 in a wired or wireless manner.
  • the communication device 305 may be optional.
  • ⁇ Example of functional configuration of a drive recorder> An example of a functional configuration realized by the control unit 301 of the drive recorder 101 will be described with reference to Fig. 4. Each unit shown in Fig. 4 is realized, for example, by the CPU of the control unit 301 executing a computer program.
  • the image acquisition unit 401 acquires a forward captured image from the imaging device 202 that captures an image in front of the drive recorder 101.
  • the image acquisition unit 401 also acquires a rear captured image from the imaging device 211 that captures an image behind the drive recorder 101.
  • the rear captured image includes a subject outside the vehicle and the interior of the vehicle. For example, the rear captured image includes a passerby walking outside the vehicle 100 and an occupant present inside the vehicle.
  • the person recognition unit 402 recognizes people included in the image (rear captured image) acquired by the image acquisition unit 401.
  • the person recognition unit 402 may use a neural network that inputs the rear captured image and outputs person recognition results. When at least a part of a person's body is included in the image, the person recognition unit 402 may be able to recognize that part as a person.
  • the characteristic estimation unit 403 estimates one or more characteristics of the person in the image recognized by the person recognition unit 402.
  • the one or more characteristics include, for example, at least one of the person's distance from the drive recorder 101, the person's moving speed relative to the vehicle 100, and the person's height. The person's characteristics will be described later.
  • the passerby detection unit 404 determines whether one or more characteristics of a person estimated by the characteristic estimation unit 403 satisfy predetermined criteria, and detects a person who satisfies all of the criteria as a passerby.
  • the criteria that the characteristics must satisfy will be described later.
  • the output control unit 405 causes the output device 102 to output a warning when the detected pedestrian approaches a position within a predetermined range from the travel path of the vehicle 100.
  • the control unit 301 estimates a predicted path for the detected pedestrian, and when a warning is necessary, causes the output device 102 to output a warning indicating the direction in which the pedestrian is located.
  • Figure 5 shows a specific example in which the person characteristic is the person's relative moving speed with respect to the vehicle 100.
  • the characteristic estimation unit 403 can estimate the predicted trajectory and moving speed of the vehicle according to changes in the (time-series) front captured images or the (time-series) rear captured images.
  • the characteristic estimation unit 403 can also estimate the moving speeds of persons 501, 502, and 503 using the (time-series) rear captured images. For example, the characteristic estimation unit 403 estimates the absolute value of the relative moving speeds of these persons with respect to the vehicle 100 based on changes in the areas of persons 501 and 502, or the predicted trajectories of the persons.
  • the characteristic estimation unit 403 also estimates the absolute value of the relative moving speed of person 503 with respect to the vehicle 100 based on changes in the area of person 503 or the predicted trajectory of person 503.
  • the moving speed of a person may be estimated by any known method other than the above-mentioned method, for example, by inputting a rear-view image into a neural network.
  • the passerby detection unit 404 determines that the person in the image meets the criteria for the relative moving speed of the person with respect to the vehicle 100.
  • the absolute values of the relative moving speeds of the people 501 and 502 with respect to the vehicle 100 are generally small (i.e., smaller than the threshold). In this case, for example, the passerby detection unit 404 determines that the people 501 and 502 do not meet the criteria for the relative moving speed, and does not detect the people 501 and 502 as passersby.
  • the passerby detection unit 404 determines that the person 503 meets the criteria for the relative moving speed, and detects the person as a passerby. In this way, by taking into account the relative moving speed of the person, it is possible to exclude people having a moving speed that is not appropriate for a passerby from the processing target, and it becomes possible to accurately detect passersby outside the vehicle.
  • FIG. 6 shows a specific example in which the characteristic of a person is the distance of the person from the drive recorder 101.
  • the characteristic of a person is the distance of the person from the drive recorder 101.
  • persons 501 and 502 are riding in the vehicle 100, and person 503 is passing outside the vehicle.
  • the characteristic estimation unit 403 uses the (time-series) rear-view captured images to estimate the distance from the drive recorder 101 to the person 501, person 502, and person 503.
  • the distance from the drive recorder 101 to the person may be estimated by a known method, for example, by inputting the rear-view captured images into a neural network.
  • the passerby detection unit 404 determines that the persons 501 and 502 do not meet the distance criteria. Therefore, the persons 501 and 502 are not detected as passersby.
  • passerby detection unit 404 determines that person 503 meets the criteria for the person's distance from the drive recorder. Therefore, person 503 is detected as a passerby. In this way, taking into account the distance from drive recorder 100, it is possible to exclude from processing persons located at a distance that is inappropriate for a passerby, and it becomes possible to accurately detect passersby outside the vehicle.
  • the characteristic of a person may be the person's height.
  • the size of a person's face varies little from person to person, and is therefore a useful parameter when detecting a person from an image.
  • the size of the face in the image becomes very small.
  • the height of a person is used as a characteristic of a person in order to perform an effective evaluation using image information even if the person is far away from the imaging device.
  • the size of the person's face may also be used as a characteristic of a person.
  • the characteristic estimation unit 403 estimates the height of the person based on the size of the person area in the image.
  • the height of the person may be estimated by a known method, for example, by inputting a rear-view image into a neural network.
  • the passerby detection unit 404 determines that a person meets the height criteria if the person's height falls within a range determined according to the person's distance from the drive recorder 101.
  • an allowable error range for the estimated height is determined in advance for each distance from the drive recorder 101. In this way, in this embodiment, if the estimated height exceeds the allowable error range, the person is not detected as a passerby. In this way, taking into account the person's height, people with heights that are inappropriate for a passerby can be excluded from the processing target, making it possible to accurately detect passersby outside the vehicle.
  • a process for detecting passersby taking as an example a case where people in an image who meet predetermined criteria are detected as passersby.
  • the process for detecting passersby may include any other detection process.
  • this embodiment by preventing people in an image whose characteristics do not meet predetermined criteria from being detected as passersby, it is possible to reduce false detections of passersby, and as a result, it is possible to accurately detect passersby outside the vehicle.
  • the image acquisition unit 401 acquires a rear captured image of the area behind the drive recorder 101.
  • the rear captured image includes subjects outside the vehicle and the interior of the vehicle.
  • the person recognition unit 402 recognizes a person in the image.
  • the characteristic estimation unit 403 estimates one or more characteristics of the person in the image.
  • the person's characteristics include at least one of the person's distance from the drive recorder 101, the person's relative moving speed with respect to the vehicle 100, and the person's height.
  • the passerby detection unit 404 determines whether the estimated characteristics satisfy predetermined criteria. Specifically, as described with reference to Figures 4, 5, and 6, it determines whether the estimated characteristics, such as the person's height, satisfy each predetermined criterion. If the passerby detection unit 404 determines that the characteristics of the passerby satisfy the predetermined criteria (if multiple characteristics are handled, all criteria are satisfied), the process proceeds to S705; otherwise, this series of processes ends. In S705, the passerby detection unit 404 detects the person being processed as a passerby. For example, in the examples of Figures 5 and 6 above, person 503 is detected as a passerby.
  • the output control unit 405 determines whether it is necessary to output a warning to the driver regarding the detected pedestrian. For example, the output control unit 405 determines that it is necessary to output a warning when the detected pedestrian approaches a position within a predetermined range from the traveling trajectory of the vehicle 100. If the output control unit 405 determines that it is necessary to output a warning, the process proceeds to S707; otherwise, this series of processes ends.
  • the output control unit 405 causes the output device 102 to output a warning indicating the direction in which a passerby is present (e.g., area 222 in FIG. 2B).
  • the output control unit 405 causes the output device 102 to output a warning indicating the direction in which a passerby is present, based on, for example, a trajectory that has already been obtained for the detected passerby.
  • the control unit 302 may perform a process of excluding registered occupants from the processing target before the characteristic estimation unit 403 performs a process of estimating the characteristics of the person. For example, the control unit 302 may register the faces of the occupants in advance in the drive recorder 101 (by a user operation, etc.). Then, the control unit 302 may identify, for example, a person in a recognized image who has facial characteristics that match the facial characteristics registered in advance. The characteristic estimation unit 403 may estimate one or more characteristics of a person other than the identified person. In this way, unnecessary estimation processes for the occupants can be omitted, and processing speed can be increased and power consumption can be reduced.
  • the warning is output from the output device 102, but the warning may be output from at least one of a smartphone, a tablet device, a head-mounted display, and a wearable device. These devices communicate with the drive recorder 101 wirelessly or via a wired connection to display the warning on a display device.
  • the driving assistance device (for example, 101) of the above embodiment includes: A driving assistance device attached to a moving body (e.g., 100), An imaging means (e.g., 401) for capturing an image including an interior of the moving body and a subject outside the moving body; A recognition means (e.g., 402) for recognizing a person in a captured image using the captured image; - an estimation means (e.g., 403) for estimating one or more characteristics of a person in a recognized image; a detection means (e.g., 404) for detecting, as passers-by, persons in the image whose estimated one or more characteristics respectively satisfy a predetermined criterion; and an output control means (e.g., 405) for causing an output device to output a warning regarding the presence of the detected pedestrian;
  • the one or more characteristics include at least one of a distance of the person from the driving assistance device, a moving speed of the person relative to the moving object, and a height of the person.
  • the detection means determines that the person in the image meets the distance criterion for the person from the driving assistance device if the distance of the person in the image from the driving assistance device is greater than a threshold corresponding to the interior of the moving body and is less than or equal to a threshold defining the far distance.
  • the detection means determines that the person in the image satisfies a criterion for the relative moving speed of the person with respect to the moving body.
  • the detection means determines that the person in the image meets a standard for person height when the height of the person falls within a range determined according to a distance of the person from the driving assistance device.
  • the height of a person is taken into consideration and people whose height falls within an inappropriate range for a pedestrian can be excluded from the processing target, making it possible to accurately detect pedestrians outside the vehicle.
  • the estimation means estimates one or more characteristics of people in the recognized image other than people having facial features matching pre-registered facial features.
  • unnecessary estimation processing for occupants can be omitted, which can speed up processing and reduce power consumption.
  • the output control means causes the output device to output a warning indicating the direction in which the detected pedestrian is present.
  • the driver can quickly and easily determine where the warning target is located around the vehicle.
  • the output device is included in the driving assistance device.
  • driving assistance can be provided by a single driving assistance device with an easy-to-install configuration.
  • the output device communicates with the driving assistance device wirelessly or via a wired connection to cause the warning to be displayed on a display device of the output device.
  • This embodiment makes it possible to place the output device in a position that is easily perceptible by the driver.
  • the output device is at least one of a smartphone, a tablet terminal, a head-mounted display, and a wearable terminal.
  • a separately used device can be used as an output device, making it possible to reduce the manufacturing costs of the driving assistance device.
  • the driving assistance method in the above embodiment is A driving assistance method executed by a driving assistance device (e.g., 101) attached to a moving body (e.g., 100), comprising: Capturing an image including an interior of the moving body and a subject outside the moving body (e.g., S701); Recognizing a person in the captured image using the captured image (e.g., S702); Estimating one or more characteristics of a person in a recognized image (e.g., S703); Detecting people in the image as passersby, where the one or more estimated characteristics each satisfy a predetermined criterion (e.g., S704); and outputting a warning regarding the presence of the detected passerby from an output device (e.g., S705).
  • the one or more characteristics include at least one of a distance of the person from the driving assistance device, a moving speed of the person relative to the moving object, and a height of the person.
  • the program in the above embodiment is A program for causing a computer to function as each means of a driving assistance device (e.g., 101) attached to a moving body (e.g., 100), the driving assistance device comprising: An imaging means (e.g., 401) for capturing an image including an interior of the moving body and a subject outside the moving body; A recognition means (e.g., 402) for recognizing a person in a captured image using the captured image; - an estimation means (e.g., 403) for estimating one or more characteristics of a person in a recognized image; a detection means (e.g., 404) for detecting, as passers-by, persons in the image whose estimated one or more characteristics respectively satisfy a predetermined criterion; and an output control means (e.g., 405) for causing an output device to output a warning regarding the presence of the detected pedestrian;
  • the one or more characteristics include at least one of a distance of the person from the driving assistance device, a moving speed of the person relative to the
  • the storage medium in the above embodiment is A storage medium (e.g., 302) for storing a program for causing a computer to function as each means of a driving assistance device (e.g., 101) attached to a moving body (e.g., 100), the driving assistance device comprising: An imaging means (e.g., 401) for capturing an image including an interior of the moving body and a subject outside the moving body; A recognition means (e.g., 402) for recognizing a person in a captured image using the captured image; - an estimation means (e.g., 403) for estimating one or more characteristics of a person in a recognized image; a detection means (e.g., 404) for detecting, as passers-by, persons in the image whose estimated one or more characteristics respectively satisfy a predetermined criterion; and an output control means (e.g., 405) for causing an output device to output a warning regarding the presence of the detected pedestrian;
  • the one or more characteristics include at least one of a distance of the person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示に係る運転装置支援装置は、移動体に取り付けられる運転支援装置であって、移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段と、撮像された画像を用いて画像内の人物を認識する認識手段と、認識された画像内の人物の１つ以上の特性を推定する推定手段と、推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段と、検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段と、を備え、前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む。

Description

運転支援装置、運転支援方法、記憶媒体及びプログラム
　本発明は、運転支援装置、運転支援方法、記憶媒体及びプログラムに関する。
　近年、車両（移動体ともいう）の内部に設置したカメラで撮影した自車両の周囲の映像を解析し、映像中の物体が要注意物になると判定した場合に、表示装置における要注意物の予測位置に注意喚起画像を表示する運転支援技術が提案されている（特許文献１）。運転支援技術によって注意対象に関する警告が随時運転者に通知されれば、運転者は危険性の高い対象に注意を払うことができ、適切に危険を回避することができる。
国際公開公報２０１９／１５９３４４号
　ところで、車両の内部に設置されたドライブレコーダによって自車両の側方や後方を通行する通行人に対する注意喚起を運転者に提供したい場合がある。多くの場合、車室内を撮影範囲に含むように配置されたカメラの画像を用いて車両の周囲の通行人を検出する必要がある。このような場合、車室内の人物を通行人として検出する等の誤検出を低減し、撮影された画像から車両の外部の通行人を精度よく検出する必要がある。
　本発明は、上記課題に鑑みてなされ、その目的は、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能な技術を実現することである。
　本発明によれば、
　移動体に取り付けられる運転支援装置であって、
　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段と、
　撮像された画像を用いて画像内の人物を認識する認識手段と、
　認識された画像内の人物の１つ以上の特性を推定する推定手段と、
　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段と、
　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段と、を備え、
　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む、ことを特徴とする運転支援装置が提供される。
　本発明によれば、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能になる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態に係る移動体（車両）の構成例を模式的に示す図 実施形態に係る運転支援装置の一例としてのドライブレコーダの外観構成例を模式的に示す図 実施形態に係る出力装置の外観構成を模式的に示す図 実施形態に係るドライブレコーダのハードウェア構成例を示すブロック図 実施形態に係るドライブレコーダの機能構成例を示すブロック図 実施形態に係る人物の特性（相対的な移動速度）を説明する図 実施形態に係る人物の特性（ドライブレコーダからの距離）を説明する図 実施形態に係る運転支援処理の一連の動作を示すフローチャート
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
　本実施形態では、運転支援装置が、車両の内部に取り付けられ、車両の前方、側方及び後方を撮像し、車両の走行中の様子を記録媒体に記録するドライブレコーダである場合を例に説明する。しかし、運転支援装置は、車両に取り付けられ、車両の外界を撮像可能な装置であればドライブレコーダ以外の装置であってもよい。また、以下の実施形態では、移動体が例えば車両である場合を例に説明する。車両は典型的には四輪車であるが、本実施形態は、他のタイプの車両に適用されてもよい。
　図１を参照して、ドライブレコーダの取り付け位置の例について説明する。車両１００に、ドライブレコーダ１０１が取り付けられている。ドライブレコーダ１０１は、車両１００のフロントガラスの運転者の視界を妨げない位置であってルームミラーの近傍、或いは車両１００のルームミラーに取り付けられる。ドライブレコーダ１０１の取り付け位置はこれに限られず、車両１００の外界を撮像可能な任意の位置であってもよい。
　ドライブレコーダ１０１は、例えば、運転者に対して出力する必要のある情報を外部の出力装置１０２に無線又は有線で送信し、送信した警告を出力装置１０２から出力させることができる。なお、本実施形態の説明では、出力装置１０２がドライブレコーダ１０１の外部装置である場合を例に説明する。しかし、ドライブレコーダ１０１が出力装置（すなわち表示用のディスプレイや音声出力用のスピーカ）を備えてもよい。
　＜ドライブレコーダの外観構成例＞
　図２Ａを参照して、ドライブレコーダ１０１の外観構成例について説明する。ドライブレコーダ１０１は、前面２０１に撮像装置２０２を備え、車両１００の前方方向（移動方向）を撮像する。撮像装置２０２は、例えば広角なレンズを備える撮像装置である。また、ドライブレコーダ１０１は背面２１０に撮像装置２１１を備え、車両１００の側方及び後方を撮像する。撮像装置２１１は、例えば魚眼レンズを備える撮像装置である。撮像装置２１１によって撮像された画像には、車両１００の運転者が含まれる。２０３は、ドライブレコーダ１０１の上面を構成する。
　＜出力装置の外観構成例＞
　図２Ｂを参照して、出力装置１０２の外観構成例について説明する。出力装置１０２は、車両１００の乗員に向けて情報を出力するための装置である。出力装置１０２は、視覚情報を提供する表示装置（例えばディスプレイ或いは発光素子）と、聴覚情報を提供する音響装置（例えば、スピーカ）とを含む。出力装置１０２は、ドライブレコーダ１０１と無線又は有線で通信することにより、情報を表示装置に表示させる。
　出力装置１０２は、上面２２０に表示装置を備える。出力装置１０２は、車両１００の周囲を表す円２２１内の部分領域（例えば、２２２）を、ドライブレコーダ１０１からの指示に応じて着色表示することができる。着色表示された領域２２２は、対応する方向にリスクが存在することを運転者等に出力する警告となる。出力装置１０２は、例えば、車両１００の運転席近傍のダッシュボード上に設置される。出力装置１０２は、更にハーフミラーを備えて、上面２２０から出力される光を運転者の方向に反射するようにしてもよい。
　＜ドライブレコーダのハードウェア構成例＞
　図３を参照して、ドライブレコーダ１０１のハードウェア構成例について説明する。ドライブレコーダ１０１は、例えば、制御部３０１と、記憶装置３０２と、撮像装置３０３と、入力装置３０４と、通信装置３０５とを備える。
　制御部３０１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサを含み、ドライブレコーダ１０１全体の動作を制御する。制御部３０１は、例えばＣＰＵが記憶装置３０２に格納されたプログラムを展開、実行することによって実現されてもよい。制御部３０１は、ＣＰＵのほか、ＧＰＵ（Graphics Processing Unit）や、画像処理や機械学習などのための専用回路を更に含んでもよい。
　記憶装置３０２は、ドライブレコーダ１０１の動作に関連するデータやプログラムを記憶する装置である。例えば、記憶装置３０２は、ドライブレコーダ１０１の動作を規定したプログラム、このプログラムの実行時の一時データ、撮像装置３０３で撮像された画像、マイクで収音された環境音などを記憶してもよい。記憶装置３０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリによって実現されてもよい。さらに、記憶装置３０２は、ＳＳＤ（Solid State Drive）などの補助記憶装置を含んでもよい。
　撮像装置３０３は、車両１００の前方の外界を撮像するためのカメラを含む。撮像装置３０３は、例えば広角カメラであってもよい。このカメラは、ドライブレコーダ１０１の前側（車両１００前方側）に位置する、上述の撮像装置２０２である。また、撮像装置３０３は、車両１００の後方、左右の側方を撮像可能なカメラ、すなわち上述の撮像装置２１１を含む。このカメラは魚眼レンズを備えるカメラであってもよい。後方を撮像するカメラは、ドライブレコーダの後ろ側（車両の後方側）に配置される。本実施形態では、同一のカメラで車両の後方と側方を撮像する場合を例に説明する。しかし、後方を撮影するカメラと側方を撮像するカメラが別個のカメラであってもよい。側方を撮像するカメラはドライブレコーダの側面に配置されてもよい。複数の方向を撮像するカメラの一部は、ドライブレコーダと別体であってもよい。
　入力装置３０４は、車両１００の乗員からの指示を入力するための装置である。入力装置３０４は、例えばボタンやタッチパネルを含む。また、入力装置３０４は、乗員の音声や外界の音を入力するマイクを含んでよい。
　通信装置３０５は、ドライブレコーダ１０１が出力装置１０２と有線又は無線により通信するための装置である。通信装置３０５は、制御部３０１における運転支援処理によって生成される警告情報を出力装置１０２に送信する。通信装置３０５は、他の装置と有線で通信してもよいし、他の装置と無線で通信してもよい。無線通信は、短距離通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などのプロトコルに準拠した通信であってもよい。通信装置３０５は、車両１００の制御ＥＣＵと有線又は無線で通信可能に構成されてもよい。通信装置３０５は省略可能であってもよい。
　＜ドライブレコーダの機能構成例＞
　図４を参照して、ドライブレコーダ１０１の制御部３０１によって実現される機能構成例について説明する。図４に示す各部は、例えば、制御部３０１のＣＰＵがコンピュータプログラムを実行することにより実現される。
　画像取得部４０１は、ドライブレコーダ１０１の前方を撮像する撮像装置２０２から前方撮像画像を取得する。また、画像取得部４０１は、ドライブレコーダ１０１の後方側を撮像する撮像装置２１１から後方撮像画像を取得する。後方撮像画像には、画像内に車両の外部の被写体と、車両の室内とが含まれる。例えば、後方撮像画像には、車両１００の外部を歩行する通行人と、車両の室内に存在する乗員とが含まれる。
　人物認識部４０２は、画像取得部４０１によって取得された画像（後方撮像画像）に含まれる人物を認識する。人物認識部４０２は、後方撮像画像を入力して、人物の認識結果を出力するニューラルネットワークを用いてもよい。人物認識部４０２は、人物の体の少なくとも一部が画像に含まれる場合に、当該一部を人物として認識可能であってもよい。
　特性推定部４０３は、人物認識部４０２によって認識された画像内の人物の１つ以上の特性を推定する。１つ以上の特性は、例えば、人物のドライブレコーダ１０１からの距離、人物の車両１００に対する相対的な移動速度、及び人物の身長の少なくともいずれかを含む。人物の特性については後述する。
　通行人検出部４０４は、特性推定部４０３によって推定された、人物の１つ以上の特性がそれぞれ予め定めた基準を満たすかを判定し、当該基準を全て満たす人物を通行人として検出する。特性が満たすべき基準については後述する。
　出力制御部４０５は、検出された通行人が、車両１００の走行軌道から所定の範囲の位置まで近づく場合、出力装置１０２に警告を出力させる。例えば、制御部３０１は検出された通行人について予測される軌道を推定し、警告が必要である場合には、通行人の存在する方向を示す警告を出力装置１０２に出力させる。
　次に、図５及び図６を参照して、本実施形態に係る人物の特性、及び特性の満たすべき基準について説明する。
　図５は、人物の特性が、人物の車両１００に対する相対的な移動速度である場合の具体例を示している。例えば、車両１００には、人物５０１及び５０２が乗車しており、人物５０３が車両の外部を通行しているものとする。特性推定部４０３は、（時系列の）前方撮像画像或いは（時系列の）後方撮像画像の変化に従って車両の予測軌道及び移動速度を推定することができる。また、特性推定部４０３は、（時系列の）後方撮像画像を用いて、人物５０１、人物５０２及び人物５０３のそれぞれの移動速度を推定することができる。例えば、特性推定部４０３は、人物５０１及び人物５０２の領域の変化、或いは人物の予測軌道に基づいて、これらの人物の車両１００に対する相対的な移動速度の絶対値を推定する。また、特性推定部４０３は、人物５０３の領域の変化或いは人物５０３の予測軌道に基づいて、人物５０３の車両１００に対する相対的な移動速度の絶対値を推定する。なお、人物の移動速度は、上述の方法に限らず既知の方法で推定してよく、例えばニューラルネットワークに後方撮像画像を入力することにより推定してもよい。
　通行人検出部４０４は、人物の車両１００に対する相対的な移動速度の絶対値が、予め定めた閾値より大きい場合、画像内の人物が、人物の車両１００に対する相対的な移動速度の基準を満たすと判定する。例えば、人物５０１及び人物５０２の車両１００に対する相対的な移動速度の絶対値は一般に小さい（すなわち閾値より小さい）。この場合、例えば、通行人検出部４０４は、人物５０１及び人物５０２は、相対的な移動速度の基準を満たさないと判定し、人物５０１及び人物５０２を通行人として検出しない。一方、通行人検出部４０４は、人物５０３の車両１００に対する相対的な移動速度の絶対値が閾値を超えている場合、人物５０３が相対的な移動速度の基準を満たすと判定して、通行人として検出する。このように、人物の相対的な移動速度を考慮して、通行人として適当でない移動速度を有する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　図６は、人物の特性が、人物のドライブレコーダ１０１からの距離である場合の具体例を示している。図５の場合と同様に、例えば、車両１００には、人物５０１及び５０２が乗車しており、人物５０３が車両の外部を通行しているものとする。
　特性推定部４０３は、（時系列の）後方撮像画像を用いて、ドライブレコーダ１０１から人物５０１、人物５０２及び人物５０３までの距離を推定する。ドライブレコーダ１０１から人物までの距離は、既知の方法で推定してよく、例えばニューラルネットワークに後方撮像画像を入力することにより推定してもよい。
　通行人検出部４０４は、人物５０１及び５０２におけるドライブレコーダ１０１からの距離が、車両１００の室内に相当する閾値（例えば、６０１の範囲を示す閾値）以下である場合、人物５０１及び５０２は距離の基準を満たさないと判定する。従って、人物５０１及び５０２は通行人として検出されない。
　一方、通行人検出部４０４は、人物５０３のドライブレコーダ１０１からの距離が、車両１００の室内に相当する閾値より大きく且つ遠方を規定する閾値（例えば、６０２の範囲を示す閾値）以下である場合、人物５０３が、人物のドライブレコーダからの距離の基準を満たすと判定する。従って、人物５０３は、通行人として検出される。このように、ドライブレコーダ１００からの距離を考慮して、通行人として適当でない距離に位置する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　人物の特性は、人物の身長であってもよい。一般に、人物の顔の大きさは個人差が少ないため、画像から人物を検出する際には有用なパラメータである。しかし、人物が撮像装置から大きく離れている場合には画像内における顔の大きさが非常に小さくなる。このため、本実施形態では、人物が撮像装置から大きく離れている場合であっても画像情報を用いて有効な評価を行うために人物の身長を人物の特性として用いる。但し、人物の顔の大きさを更に人物の特性として用いてもよい。
　特性推定部４０３は、画像内の人物領域の大きさに基づいて人物の身長を推定する。人物の身長は、既知の方法で推定してよく、例えばニューラルネットワークに後方撮像画像を入力することにより推定してもよい。
　通行人検出部４０４は、人物の身長が、ドライブレコーダ１０１からの人物の距離に応じて定められる範囲に含まれる場合、人物が身長の基準を満たすと判定する。なお、撮像された画像から身長などの人物の特性を推定する場合、人物の距離が遠くなるほど推定誤差が大きくなり易い。そこで、本実施形態では、ドライブレコーダ１０１からの距離ごとに、許容される推定身長の誤差の範囲を予め定めておく。このようにすることで、本実施形態では、推定された身長が許容される誤差の範囲を超えている場合には、人物を通行人として検出しないようにする。このように、人物の身長を考慮して、通行人として適当でない範囲の身長を有する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　＜ドライブレコーダにおける運転支援処理の一連の動作＞
　次に、図７を参照して、ドライブレコーダ１０１において実行される運転支援処理の一連の動作について説明する。なお、本処理は、制御部３０１のＣＰＵが記憶装置３０２に記憶されたコンピュータプログラムを実行することにより実現される。
　なお、以下の説明では、通行人を検出するための処理として、予め定めた基準を満たす画像内の人物を通行人として検出する場合を例に説明している。しかし、通行人を検出する処理には他の任意の検出処理を含んでよい。本実施形態では、画像内の人物のうち、特性が予め定めた基準を満たさない人物を通行人として検出しないようにすることで、通行人の誤検出を低下させることができ、結果として車両の外部の通行人を精度よく検出することができる。
　Ｓ７０１において、画像取得部４０１は、ドライブレコーダ１０１の後方を撮像した後方撮像画像を取得する。後方撮像画像には、画像内に車両の外部の被写体と、車両の室内とが含まれる。Ｓ７０２において、人物認識部４０２が画像内の人物を認識する。Ｓ７０３において、特性推定部４０３が画像内の人物の１つ以上の特性を推定する。人物の特性は、上述したように、例えば、人物のドライブレコーダ１０１からの距離、人物の車両１００に対する相対的な移動速度、及び人物の身長の少なくともいずれかを含む。
　Ｓ７０４において、通行人検出部４０４は、推定された特性が所定の基準を満たすかを判定する。具体的には、図４、図５及び図６を参照して説明したように、人物の身長等の推定された特性がそれぞれの予め定めた基準を満たすかを判定する。通行人検出部４０４は、通行人の特性が所定の基準を満たす（複数の特性を扱う場合には全ての基準を満たす）と判定した場合、処理をＳ７０５に進め、そうでない場合には、本一連の処理を終了する。Ｓ７０５において、通行人検出部４０４は、処理対象の人物を通行人として検出する。例えば、上述の図５及び図６の例では人物５０３が通行人として検出される。
　Ｓ７０６において、出力制御部４０５は、検出された通行人について運転者に警告を出力する必要があるかを判定する。例えば、出力制御部４０５は、検出された通行人が、車両１００の走行軌道から所定の範囲の位置まで近づく場合、警告を出力する必要があると判定する。出力制御部４０５は、警告を出力する必要があると判定した場合、処理をＳ７０７に進め、そうでない場合、本一連の処理を終了する。
　Ｓ７０７において、出力制御部４０５は、通行人の存在する方向を示す警告（例えば図２Ｂの領域２２２）を出力装置１０２に出力させる。出力制御部４０５は、例えば、検出された通行人について既に得られている軌道に基づいて、通行人の存在する方向を示す警告を出力装置１０２に出力させる。
　なお、上述の実施形態では、車両の周囲に存在する通行人を検出するために、人物の特性が基準を満たすかを判定するようにした。制御部３０２は、特性推定部４０３による人物の特性を推定する処理を行う前に、登録した乗員を処理対象から除外する処理を行ってもよい。例えば、制御部３０２は、（ユーザ操作等により）予め乗員の顔をドライブレコーダ１０１に登録する。そして、制御部３０２は、例えば、認識された画像内の人物のうち、予め登録された顔の特徴と一致する顔の特徴を有する人物を特定してもよい。特性推定部４０３は、特定された人物以外の人物の１つ以上の特性を推定すればよい。このようにすれば、乗員に対する不要な推定処理を省略することができ、処理の高速化や省電力化を図ることができる。
　また、上述の実施形態では、警告が出力装置１０２において出力される場合を例に説明したが、警告は、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、及びウェアラブル端末の少なくともいずれかによって出力されてもよい。これらの装置は、ドライブレコーダ１０１と無線又は有線で通信して表示装置に警告を表示させる。
　＜実施形態のまとめ＞
　１．上記実施形態の運転支援装置（例えば、１０１）は、
　移動体（例えば、１００）に取り付けられる運転支援装置であって、
　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段（例えば、４０１）と、
　撮像された画像を用いて画像内の人物を認識する認識手段（例えば、４０２）と、
　認識された画像内の人物の１つ以上の特性を推定する推定手段（例えば、４０３）と、
　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段（例えば、４０４）と、
　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段（例えば、４０５）と、を備え、
　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む。
　この実施形態によれば、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能になる。
　２．上記実施形態における運転支援装置では、
　前記検出手段は、前記画像内の人物の前記運転支援装置からの距離が、前記移動体の室内に相当する閾値より大きく且つ遠方を規定する閾値以下である場合、前記画像内の人物が、前記人物の前記運転支援装置からの距離の基準を満たすと判定する。
　この実施形態によれば、ドライブレコーダ１００からの距離を考慮して、通行人として適当でない距離に位置する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　３．上記実施形態における運転支援装置では、
　前記検出手段は、前記人物の前記移動体に対する相対的な移動速度の絶対値が、予め定めた閾値より大きい場合、前記画像内の人物が、前記人物の前記移動体に対する相対的な移動速度の基準を満たすと判定する。
　この実施形態によれば、人物の相対的な移動速度を考慮して、通行人として適当でない移動速度を有する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　４．上記実施形態における運転支援装置では、
　前記検出手段は、前記人物の身長が、前記運転支援装置からの前記人物の距離に応じて定められる範囲に含まれる場合、前記画像内の人物が、人物の身長の基準を満たすと判定する。
　この実施形態によれば、人物の身長を考慮して、通行人として適当でない範囲の身長を有する人物を処理対象から外すことができ、車両の外部の通行人を精度よく検出することができるようになる。
　５．上記実施形態における運転支援装置では、
　前記推定手段は、認識された画像内の人物のうち、予め登録された顔の特徴と一致する顔の特徴を有する人物以外の人物の１つ以上の特性を推定する。
　この実施形態によれば、乗員に対する不要な推定処理を省略することができ、処理の高速化や省電力化を図ることができる。
　６．上記実施形態における運転支援装置では、
　前記出力制御手段は、検出された前記通行人の存在する方向を示す警告を、前記出力装置から出力させる。
　この実施形態によれば、運転者は警告の対象が周囲のどこにあるのかを素早く容易に把握することができる。
　７．上記実施形態における運転支援装置では、
　前記出力装置は、前記運転支援装置に含まれる。
　この実施形態によれば、単体の運転支援装置によって設置が容易な構成で運転支援を行うことが可能になる。
　８．上記実施形態における運転支援装置では、
　前記出力装置は、前記運転支援装置と無線又は有線で通信することにより、前記警告を前記出力装置の表示装置に表示させる。
　この実施形態によれば、運転者が知覚し易い位置に出力装置を配置することが可能になる。
　９．上記実施形態における運転支援装置では、
　前記出力装置は、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、及びウェアラブル端末の少なくともいずれかである。
　この実施形態によれば、別途使用されるデバイスを出力装置とすることができ、運転支援装置の製造コストを低減することが可能になる。
　１０．上記実施形態における運転支援方法は、
　移動体（例えば、１００）に取り付けられる運転支援装置（例えば、１０１）によって実行される運転支援方法であって、
　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像すること（例えば、Ｓ７０１）と、
　撮像された画像を用いて画像内の人物を認識すること（例えば、Ｓ７０２）と、
　認識された画像内の人物の１つ以上の特性を推定すること（例えば、Ｓ７０３）と、
　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出すること（例えば、Ｓ７０４）と、
　検出された前記通行人の存在に関する警告を、出力装置から出力させること（例えば、Ｓ７０５）と、を備え、
　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む。
　この実施形態によれば、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能になる。
　１１．上記実施形態におけるプログラムは、
　コンピュータを、移動体（例えば、１００）に取り付けられる運転支援装置（例えば、１０１）の各手段として機能させるためのプログラムであって、前記運転支援装置は、
　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段（例えば、４０１）と、
　撮像された画像を用いて画像内の人物を認識する認識手段（例えば、４０２）と、
　認識された画像内の人物の１つ以上の特性を推定する推定手段（例えば、４０３）と、
　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段（例えば、４０４）と、
　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段（例えば、４０５）と、を備え、
　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む。
　この実施形態によれば、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能になる。
　１２．上記実施形態における記憶媒体は、
　コンピュータを、移動体（例えば、１００）に取り付けられる運転支援装置（例えば、１０１）の各手段として機能させるためのプログラムを格納する記憶媒体（例えば、３０２）であって、前記運転支援装置は、
　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段（例えば、４０１）と、
　撮像された画像を用いて画像内の人物を認識する認識手段（例えば、４０２）と、
　認識された画像内の人物の１つ以上の特性を推定する推定手段（例えば、４０３）と、
　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段（例えば、４０４）と、
　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段（例えば、４０５）と、を備え、
　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む。
　この実施形態によれば、車室内と車両の外部とを含んだ撮像画像を用いる場合に、車両の外部の通行人を精度よく検出することが可能になる。
　発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
１００…車両、１０１…ドライブレコーダ、２０１…制御部、２０２…記憶装置、２０３…撮像装置、２０５…出力装置

Claims (12)

  1. 　移動体に取り付けられる運転支援装置であって、
    　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段と、
    　撮像された画像を用いて画像内の人物を認識する認識手段と、
    　認識された画像内の人物の１つ以上の特性を推定する推定手段と、
    　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段と、
    　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段と、を備え、
    　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む、ことを特徴とする運転支援装置。
  2. 　前記検出手段は、前記画像内の人物の前記運転支援装置からの距離が、前記移動体の室内に相当する閾値より大きく且つ遠方を規定する閾値以下である場合、前記画像内の人物が、前記人物の前記運転支援装置からの距離の基準を満たすと判定する、ことを特徴とする請求項１に記載の運転支援装置。
  3. 　前記検出手段は、前記人物の前記移動体に対する相対的な移動速度の絶対値が、予め定めた閾値より大きい場合、前記画像内の人物が、前記人物の前記移動体に対する相対的な移動速度の基準を満たすと判定する、ことを特徴とする請求項１に記載の運転支援装置。
  4. 　前記検出手段は、前記人物の身長が、前記運転支援装置からの前記人物の距離に応じて定められる範囲に含まれる場合、前記画像内の人物が、人物の身長の基準を満たすと判定する、ことを特徴とする請求項１に記載の運転支援装置。
  5. 　前記推定手段は、認識された画像内の人物のうち、予め登録された顔の特徴と一致する顔の特徴を有する人物以外の人物の１つ以上の特性を推定する、ことを特徴とする請求項１に記載の運転支援装置。
  6. 　前記出力制御手段は、検出された前記通行人の存在する方向を示す警告を、前記出力装置から出力させる、ことを特徴とする請求項１に記載の運転支援装置。
  7. 　前記出力装置は、前記運転支援装置に含まれる、ことを特徴とする請求項１に記載の運転支援装置。
  8. 　前記出力装置は、前記運転支援装置と無線又は有線で通信することにより、前記警告を前記出力装置の表示装置に表示させる、ことを特徴とする請求項１に記載の運転支援装置。
  9. 　前記出力装置は、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、及びウェアラブル端末の少なくともいずれかである、ことを特徴とする請求項８に記載の運転支援装置。
  10. 　移動体に取り付けられる運転支援装置によって実行される運転支援方法であって、
    　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像することと、
    　撮像された画像を用いて画像内の人物を認識することと、
    　認識された画像内の人物の１つ以上の特性を推定することと、
    　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出することと、
    　検出された前記通行人の存在に関する警告を、出力装置から出力させることと、を備え、
    　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む、ことを特徴とする運転支援方法。
  11. 　コンピュータを、移動体に取り付けられる運転支援装置の各手段として機能させるためのプログラムであって、前記運転支援装置は、
    　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段と、
    　撮像された画像を用いて画像内の人物を認識する認識手段と、
    　認識された画像内の人物の１つ以上の特性を推定する推定手段と、
    　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段と、
    　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段と、を備え、
    　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む、ことを特徴とするプログラム。
  12. 　コンピュータを、移動体に取り付けられる運転支援装置の各手段として機能させるためのプログラムを格納する記憶媒体であって、前記運転支援装置は、
    　前記移動体の室内と前記移動体の外部の被写体とを含む画像を撮像する撮像手段と、
    　撮像された画像を用いて画像内の人物を認識する認識手段と、
    　認識された画像内の人物の１つ以上の特性を推定する推定手段と、
    　推定された前記１つ以上の特性がそれぞれ予め定めた基準を満たす前記画像内の人物を、通行人として検出する検出手段と、
    　検出された前記通行人の存在に関する警告を、出力装置から出力させる出力制御手段と、を備え、
    　前記１つ以上の特性は、前記人物の前記運転支援装置からの距離、前記人物の前記移動体に対する相対的な移動速度、及び前記人物の身長の少なくともいずれかを含む、ことを特徴とする記憶媒体。
PCT/JP2023/013625 2023-03-31 2023-03-31 運転支援装置、運転支援方法、記憶媒体及びプログラム Ceased WO2024202033A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380095666.7A CN120836050A (zh) 2023-03-31 2023-03-31 驾驶辅助装置、驾驶辅助方法、存储介质以及程序
JP2025509615A JPWO2024202033A1 (ja) 2023-03-31 2023-03-31
PCT/JP2023/013625 WO2024202033A1 (ja) 2023-03-31 2023-03-31 運転支援装置、運転支援方法、記憶媒体及びプログラム
US19/340,789 US20260024353A1 (en) 2023-03-31 2025-09-25 Driver-assistance apparatus, driver-assistance method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/013625 WO2024202033A1 (ja) 2023-03-31 2023-03-31 運転支援装置、運転支援方法、記憶媒体及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/340,789 Continuation US20260024353A1 (en) 2023-03-31 2025-09-25 Driver-assistance apparatus, driver-assistance method, and storage medium

Publications (1)

Publication Number Publication Date
WO2024202033A1 true WO2024202033A1 (ja) 2024-10-03

Family

ID=92904524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013625 Ceased WO2024202033A1 (ja) 2023-03-31 2023-03-31 運転支援装置、運転支援方法、記憶媒体及びプログラム

Country Status (4)

Country Link
US (1) US20260024353A1 (ja)
JP (1) JPWO2024202033A1 (ja)
CN (1) CN120836050A (ja)
WO (1) WO2024202033A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008328A (ja) * 2011-06-27 2013-01-10 Clarion Co Ltd 車両周囲監視装置
JP2020166485A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 運転支援装置
JP2021051604A (ja) * 2019-09-25 2021-04-01 株式会社Ｊｖｃケンウッド ドライブレコーダ、データ記録方法およびプログラム
JP2021517313A (ja) * 2017-08-10 2021-07-15 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体
JP2022140026A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008328A (ja) * 2011-06-27 2013-01-10 Clarion Co Ltd 車両周囲監視装置
JP2021517313A (ja) * 2017-08-10 2021-07-15 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体
JP2020166485A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 運転支援装置
JP2021051604A (ja) * 2019-09-25 2021-04-01 株式会社Ｊｖｃケンウッド ドライブレコーダ、データ記録方法およびプログラム
JP2022140026A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2024202033A1 (ja) 2024-10-03
US20260024353A1 (en) 2026-01-22
CN120836050A (zh) 2025-10-24

Similar Documents

Publication Publication Date Title
US11606516B2 (en) Image processing device, image processing method, and image processing system
US11427195B1 (en) Automatic collision detection, warning, avoidance and prevention in parked cars
US10322696B2 (en) Vehicle environment imaging systems and methods
US9736364B2 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US9352689B2 (en) Driver assistance apparatus capable of diagnosing vehicle parts and vehicle including the same
US10007854B2 (en) Computer vision based driver assistance devices, systems, methods and associated computer executable code
KR102309316B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
KR101565006B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6888950B2 (ja) 画像処理装置、外界認識装置
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
KR20160147559A (ko) 차량 운전 보조 장치 및 차량
US20180162274A1 (en) Vehicle side-rear warning device and method using the same
US20160193921A1 (en) Vehicular display device
WO2024202033A1 (ja) 運転支援装置、運転支援方法、記憶媒体及びプログラム
KR20160064762A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
JP2015219721A (ja) 動作支援システム及び物体認識装置
US20260018053A1 (en) Driver-assistance apparatus, driver-assistance method, and storage medium
EP4603351A1 (en) Control device for vehicle, control method for vehicle, and computer program
US12570305B2 (en) Driving information display apparatus and method
KR102536826B1 (ko) 차량의 주행 정보 표시 장치 및 방법과, 이 방법을 구현하는 기록매체에 저장되는 프로그램
KR102745993B1 (ko) 블랙박스 영상을 통한 사람과 사물감지 시스템
US12409792B2 (en) Vehicle and method of controlling the same
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR102296213B1 (ko) 영상 기록 장치 및 그 동작 방법
JP2007249324A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺システムの構成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930667

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380095666.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2025509615

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509615

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 202380095666.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930667

Country of ref document: EP

Kind code of ref document: A1