WO2022044396A1 - オブジェクト認識制御装置、およびオブジェクト認識方法 - Google Patents

オブジェクト認識制御装置、およびオブジェクト認識方法 Download PDF

Info

Publication number
WO2022044396A1
WO2022044396A1 PCT/JP2021/010241 JP2021010241W WO2022044396A1 WO 2022044396 A1 WO2022044396 A1 WO 2022044396A1 JP 2021010241 W JP2021010241 W JP 2021010241W WO 2022044396 A1 WO2022044396 A1 WO 2022044396A1
Authority
WO
WIPO (PCT)
Prior art keywords
visibility
vehicle
acquisition unit
driver
video data
Prior art date
Application number
PCT/JP2021/010241
Other languages
English (en)
French (fr)
Inventor
康利 酒井
啓太 林
紘史 谷山
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022044396A1 publication Critical patent/WO2022044396A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to an object recognition control device and an object recognition method.
  • the person recognition in the captured image is determined to be a person when the score indicating humanity is equal to or higher than a predetermined threshold value as a result of the recognition process using the person recognition process.
  • Patent Document 1 discloses a technique for determining that an object is a pedestrian by using a recognition dictionary for a photographed image and having a high score indicating pedestrian-likeness.
  • the recognition rate of a person or the like may decrease.
  • the object recognition control device includes a video data acquisition unit that acquires video data taken by a camera that shoots the surroundings of the vehicle, and visibility of the driver of the vehicle to the outside of the vehicle around the vehicle.
  • a visibility information acquisition unit that acquires information about a specific object
  • a recognition processing unit that recognizes the video data acquired by the video data acquisition unit as a specific object when the score indicating the specific object is equal to or higher than a predetermined threshold.
  • the recognition processing unit includes a presentation processing unit that presents the information of the specific object recognized by the recognition processing unit to the driver of the vehicle, and the recognition processing unit is the driver of the vehicle acquired by the visibility information acquisition unit.
  • the predetermined threshold value is changed based on the information regarding the visibility of the vehicle to the outside of the vehicle.
  • the object recognition method executed by the object recognition control device includes a video data acquisition step of acquiring video data taken by a camera that shoots the periphery of the vehicle, and a driver of the vehicle around the vehicle.
  • the score indicating the specific object-likeness is equal to or higher than the predetermined threshold value for the video data acquired in the visibility information acquisition step for acquiring the information regarding the visibility to the outside of the vehicle and the video data acquisition step
  • the specific object is used.
  • the recognition processing step includes a recognition processing step and a presentation processing step of presenting the information of the specific object recognized in the recognition processing step to the driver of the vehicle.
  • the visibility information acquisition step The predetermined threshold value is changed based on the acquired information on the visibility of the driver of the vehicle to the outside of the vehicle.
  • FIG. 1 is a block diagram showing a configuration example of the object recognition device according to the first embodiment.
  • FIG. 2 is a flowchart showing an example of the flow of the object recognition process according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration example of the object recognition device according to the second embodiment.
  • FIG. 4 is a flowchart showing an example of the flow of the object recognition process according to the second embodiment.
  • FIG. 5 is a flowchart showing an example of the flow of the object recognition process according to the third embodiment.
  • FIG. 6 is a block diagram showing a configuration example of the object recognition device according to the fourth embodiment.
  • FIG. 7 is a flowchart showing an example of the flow of the object recognition process according to the fourth embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the object recognition device according to the first embodiment.
  • the object recognition device 1 includes an image pickup unit 11, a dictionary data storage unit 12, a display unit 13, and a control unit (object recognition control device) 20.
  • the object recognition device 1 may be a portable device that can be used in the vehicle, in addition to the device mounted on the vehicle. Further, the object recognition device 1 may be implemented as a function of a device having a safe driving support function, a navigation device, a drive recorder, etc., which are installed in advance in the vehicle.
  • the image pickup unit 11 is mounted on the vehicle and is arranged so as to photograph the front direction of the vehicle.
  • the image pickup unit 11 is composed of, for example, a visible light camera or a far infrared camera.
  • the image pickup unit 11 may be composed of, for example, a combination of a visible light camera and a far infrared camera.
  • the imaging unit 11 outputs the captured video data to the video data acquisition unit 21.
  • the dictionary data storage unit 12 stores dictionary data for recognizing various objects from video data.
  • the dictionary data storage unit 12 stores, for example, recognition dictionary data capable of machine learning various images taken by a person and collating that the object included in the image data is a person.
  • the dictionary data storage unit 12 machine-learns various images of a bicycle on which a person is riding, and recognizes that the object included in the image data is a bicycle on which the person is riding.
  • the dictionary data storage unit 12 machine-learns various images taken by, for example, automobiles and motorcycles, and stores recognition dictionary data capable of collating that the objects included in the image data are automobiles and motorcycles. You may be doing it.
  • the dictionary data storage unit 12 is realized by, for example, a storage device such as a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory).
  • the display unit 13 displays various information. When the specific object is recognized, the display unit 13 notifies the driver of the vehicle or the like by displaying the information of the specific object.
  • the display unit 13 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the control unit 20 controls the operation of each unit of the object recognition device 1.
  • the control unit 20 is realized by, for example, using a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like to execute a program stored in a storage unit (not shown) using a RAM or the like as a work area. Therefore, the control unit 20 causes the object recognition device 10 to execute the object recognition method. Further, the control unit 20 is a computer that operates the program according to the present disclosure.
  • the control unit 20 may be realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 20 may be realized by a combination of hardware and software.
  • the control unit 20 includes a video data acquisition unit 21, a recognition processing unit 22, a presentation processing unit 23, and a visibility information acquisition unit 24.
  • the video data acquisition unit 21, the recognition processing unit 22, the presentation processing unit 23, and the visibility information acquisition unit 24 are shown to be connected via a bus BS.
  • the video data acquisition unit 21 acquires the video data taken by the imaging unit 11.
  • the video data acquisition unit 21 acquires, for example, the video data output by the imaging unit 11 that captures the front of the vehicle.
  • the recognition processing unit 22 performs object recognition processing on the video data acquired by the video data acquisition unit 21.
  • the recognition processing unit 22 performs various object recognition processes using the dictionary data stored in the dictionary data storage unit 12, for example, and recognizes the objects included in the video data.
  • the recognition processing unit 22 performs person recognition processing on the video data using the dictionary data for detecting the person, and recognizes the person included in the video data.
  • the recognition processing unit 22 recognizes the bicycle on which the person included in the video data is riding, using the dictionary data for detecting the bicycle on which the person is riding.
  • the recognition processing unit 22 recognizes the person included in the video data and the bicycle on which the person is riding as a specific object.
  • the recognition processing unit 22 is, for example, an object included in the video data when the score indicating the specific object-likeness is equal to or higher than a predetermined threshold as a result of performing object recognition processing on the video data acquired by the video data acquisition unit 21. Is recognized as a specific object.
  • the recognition processing unit 22 calculates a score indicating a person's character by a person recognition process, and recognizes a person based on the calculated score.
  • the maximum value of the score indicating the personality is, for example, 1.0. For example, when the score is 0.9 or more, the recognition processing unit 22 normally determines that the recognized object is a person who is a specific object.
  • the recognition processing unit 22 changes the threshold value of the score for determining that the recognized object is a person according to the information regarding the visibility of the driver of the vehicle.
  • the recognition processing unit 22 lowers the threshold value of the score for determining that the person is a person, for example, when the visibility of the driver of the vehicle is not good.
  • the recognition processing unit 22 determines that the recognized object is a person when the score is 0.7 or more.
  • the video data having low brightness as a whole is, for example, video data acquired at night or in a tunnel.
  • the recognition processing unit 22 determines that the recognized object is a person when the score is 0.7 or more.
  • the video data having low contrast is, for example, video data acquired at the time of rain, snowfall, or fog.
  • the recognition processing unit 22 may gradually change the threshold value of the score for determining that the recognized object is a person, depending on the degree of poor visibility.
  • the recognition processing unit 22 may change the score step by step, for example, depending on the brightness and contrast values of the video data, such as 0.7, 0.6, and 0.5.
  • the recognition processing unit 22 may linearly change the threshold value of the score for determining that the recognized object is a person, depending on the degree of poor visibility.
  • the recognition processing unit 22 may, for example, change the score to 0.7 and then linearly change the score according to changes in the brightness and contrast of the video data.
  • the value of the score that the recognition processing unit 22 determines to be a specific object is an example, and is not limited to this.
  • the value of the score determined by the recognition processing unit 22 to be a specific object can be arbitrarily changed according to the design.
  • the recognition processing unit 22 recognizes a person and a bicycle on which the person is riding as a specific object, but the specific object recognized by the recognition processing unit 22 is not limited to these.
  • the recognition processing unit 22 may detect, for example, an automobile and a motorcycle included in the video data as specific objects.
  • the presentation processing unit 23 presents the information of the specific object specified by the recognition processing unit 22 to the driver or the like.
  • the presentation processing unit 23 presents the information of the specific object to the driver by using the display by the display unit 13 or the voice output from the voice output unit (not shown). Therefore, the presentation processing unit 23 functions as a display control unit when the information of the specific object is presented to the driver by the display by the display unit 13.
  • the presentation processing unit 23 displays the information of the specific object on the display unit 13
  • the video data acquired by the video data acquisition unit 21 is displayed on the display unit 13, and when the specific object is recognized, the recognized specific object is displayed.
  • the driver is made aware of the specific object.
  • the visibility information acquisition unit 24 acquires information on the visibility of the driver of the vehicle.
  • the visibility of the driver of the vehicle is the degree to which the driver of the vehicle can appropriately visually confirm the external condition of the vehicle, and the visibility is reduced by the amount of light outside the vehicle, rainfall, snowfall, fog, etc. ..
  • the visibility information acquisition unit 24 acquires, for example, information on the visibility of the driver of the vehicle around the vehicle to the outside of the vehicle.
  • the visibility information acquisition unit 24 determines, for example, information on the visibility of the driver of the vehicle based on the video data acquired by the video data acquisition unit 21.
  • the visibility information acquisition unit 24 analyzes, for example, a histogram of the video data acquired by the video data acquisition unit 21, and determines that the driver's visibility is not good when the overall brightness is equal to or less than a predetermined value. ..
  • the visibility information acquisition unit 24 analyzes, for example, a histogram of the video data acquired by the video data acquisition unit 21, and determines that the driver's visibility is not good when the contrast is generally equal to or less than a predetermined value. ..
  • HDR High-dynamic-range rendering
  • the visibility information acquisition unit 24 has good visibility for the driver when the spatial frequency obtained by Fourier transforming the video data acquired by the video data acquisition unit 21 due to rainfall or snowfall contains a large amount of high frequency components as a whole. It may be determined that there is no such thing.
  • FIG. 2 is a flowchart showing an example of the flow of the recognition process of the specific object according to the first embodiment.
  • the control unit 20 starts shooting and person processing recognition (step S11). Specifically, the control unit 20 starts shooting by the imaging unit 11, the video data acquisition unit 21 acquires the video data captured by the imaging unit 11, and the video data acquired by the video data acquisition unit 21. , The recognition processing unit 22 starts the recognition process. Then, the process proceeds to step S12.
  • the start of the process of FIG. 2 is started under arbitrary conditions. For example, when the vehicle becomes available, such as when the engine of the vehicle equipped with the object recognition device 1 starts, or when the operation of the object recognition device 1 is started by the user's operation. Further, the process of step S11 may be executed on condition that the vehicle is traveling. In the following description, an example of recognizing a person among specific objects will be described, but recognition of other specific objects such as a bicycle on which the person is riding is also performed at the same time.
  • step S11 The process in step S11 is started, and the control unit 20 determines whether or not the visibility of the driver of the vehicle is poor (step S12). Specifically, the visibility information acquisition unit 24 determines whether or not the visibility of the driver of the vehicle is poor based on the video data acquired by the video data acquisition unit 21. If it is determined that the visibility of the driver is not bad (step S12; No), the process proceeds to step S13. If it is determined that the visibility of the driver is poor (step S12; Yes), the process proceeds to step S14.
  • step S12 determines the person with the threshold value of the score for determining the person as the first threshold value (step S13).
  • the recognition processing unit 22 determines that the object is a person when the score indicating the person-likeness is 0.9 or more. Then, the process proceeds to step S15.
  • step S14 the control unit 20 determines the person with the threshold value of the score for determining the person as the second threshold value smaller than the first threshold value (step S14).
  • the recognition processing unit 22 determines that the object is a person when the score indicating the person-likeness is 0.7 or more.
  • the control unit 20 sets the threshold value of the score for determining that the person is a person when the state of poor visibility continues for a predetermined time or longer (for example, 60 seconds or longer) after the determination as Yes in step S12.
  • a person may be judged as a second threshold value smaller than the threshold value.
  • the control unit 20 may determine the person by using the threshold value of the score for determining the person as the first threshold value when the state of poor visibility does not continue for a predetermined time or more. Then, the process proceeds to step S15.
  • the control unit 20 determines whether or not a person has been detected (step S15). Specifically, the recognition processing unit 22 determines whether or not the person is recognized by the score in step S13 or step S14. If it is determined that a person has been detected (step S15; Yes), the process proceeds to step S16. If it is determined that the person is not detected (step S15; No), the process proceeds to step S17.
  • step S15 the control unit 20 displays a frame line around the detected person (step S16). Specifically, the presentation processing unit 23 displays a frame line around the detected person so that the driver or the like can grasp the detected person. Then, the process proceeds to step S17.
  • the control unit 20 determines whether or not to end the specific object recognition process (step S17).
  • the control unit 20 determines that the specific object recognition process is terminated when, for example, an operation for terminating the specific object recognition process is accepted or an operation for turning off the power of the object recognition device 1 is accepted.
  • step S17; Yes the process of FIG. 2 is terminated. If it is determined that the specific object recognition process is not completed (step S17; No), the process proceeds to step S11.
  • the first embodiment when the visibility of the driver of the vehicle is poor, the person or person included in the video data gets on board by changing the specified value of the score indicating the bicycle-likeness on which the person or person is riding. Detect your bicycle. Thereby, the first embodiment can appropriately detect a person included in the video data in a situation where the visibility of the driver of the vehicle is poor.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that the recognition process is performed like a specific object whose part is hidden behind the object. Even if it is not recognized as a specific object in a normal score, it is recognized as a specific object. Therefore, the driver of the vehicle can more appropriately know the existence of the specific object.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that an erroneous recognition of determining an object that is not a specific object as a specific object occurs.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that an erroneous recognition of determining an object that is not a specific object as a specific object occurs.
  • it is presented as a specific object including an object that is not recognized as a specific object in a normal score, so that the driver of the vehicle can be made to drive with more emphasis on safety.
  • FIG. 3 is a block diagram showing a configuration example of the object recognition device according to the second embodiment.
  • the object recognition device 1A is different from the object recognition device 1 shown in FIG. 1 in that the object recognition device 1A includes a GNSS (Global Navigation Satellite System) receiving unit 14 and a communication unit 15. Further, the object recognition device 1A is different from the object recognition device 1 shown in FIG. 1 in that the control unit 20A includes a position information acquisition unit 25 and an environment information acquisition unit 26.
  • GNSS Global Navigation Satellite System
  • the GNSS receiving unit 14 receives a GNSS signal from a GNSS satellite (not shown).
  • the GNSS receiving unit 14 is realized by a GNSS receiving circuit, a GNSS receiving device, and the like.
  • the GNSS receiving unit 14 outputs the received GNSS signal to the position information acquisition unit 25.
  • the communication unit 15 transmits / receives information between the object recognition device 1A and an external device such as an external server.
  • the communication unit 15 is realized by, for example, a communication module such as Wi-Fi (registered trademark).
  • the position information acquisition unit 25 acquires a GNSS signal from the GNSS reception unit 14.
  • the position information acquisition unit 25 calculates the current position information of the vehicle by a well-known method based on, for example, the GNSS signal acquired from the GNSS reception unit 14.
  • the environmental information acquisition unit 26 acquires the environmental information of the current position of the vehicle.
  • the environmental information includes, for example, sunset time information indicating the sunset time at the current position, rainfall information indicating the amount of rainfall, information on the amount of snowfall indicating the amount of snowfall, information on the generation of fog indicating the amount of fog generated, and the like.
  • the environmental information acquisition unit 26 acquires environmental information corresponding to the current position of the vehicle from an external server or the like via, for example, the communication unit 15.
  • the environmental information acquisition unit 26 may acquire environmental information of the current position of the vehicle from, for example, a sensor provided in the vehicle.
  • the environmental information acquisition unit 26 may acquire illuminance information from, for example, an illuminance sensor that measures the illuminance outside the vehicle.
  • the environment information acquisition unit 26 may acquire vehicle information via CAN (Controller Area Network), for example.
  • the environment information acquisition unit 26 may acquire the operation information of the wiper via, for example, the CAN.
  • the recognition processing unit 22A changes the threshold value of the score for determining that the recognized object is a person according to the environmental information of the current position of the vehicle.
  • the recognition processing unit 22A lowers the threshold value of the score for determining that the person is a person, for example, when the environmental information acquired by the environmental information acquisition unit 26 indicates that the visibility of the driver is poor. For example, when the visibility of the driver is worse than a predetermined value, the recognition processing unit 22A determines that the recognized object is a person when the score is 0.7 or more.
  • the visibility information acquisition unit 24A determines, for example, information on the visibility of the driver of the vehicle based on the environmental information of the current position of the vehicle acquired by the environmental information acquisition unit 26.
  • the visibility information acquisition unit 24A determines that the visibility of the driver of the vehicle is poor, for example, when the amount of rainfall, the amount of snowfall, and the amount of fog generated at the current position of the vehicle are equal to or higher than a predetermined amount.
  • the visibility information acquisition unit 24A determines, for example, information on the visibility of the driver of the vehicle based on the vehicle information acquired by the environment information acquisition unit 26.
  • the visibility information acquisition unit 24A determines, for example, that the driver's visibility is poor when the operation information of the wiper acquired by the environment information acquisition unit 26 is in the Hi mode.
  • FIG. 4 is a flowchart showing an example of the flow of the recognition process of the specific object according to the second embodiment.
  • step S21 and steps S24 to S28 are the same as the processes of steps S11 and S13 to S17 shown in FIG. 2, respectively, the description thereof will be omitted.
  • step S21 The process in step S21 is started, and the control unit 20A acquires the environmental information (step S22). Specifically, the environmental information acquisition unit 26 acquires the environmental information of the current position of the vehicle from an external server or the like. Then, the process proceeds to step S23.
  • the control unit 20A determines whether or not the environmental information of the current position of the vehicle indicates that the visibility of the driver is poor (step S23). Specifically, the visibility information acquisition unit 24A determines that the visibility of the driver is poor when the amount of rainfall at the current position of the vehicle is equal to or higher than a predetermined value. If it is determined that the visibility of the driver is not bad (step S23; No), the process proceeds to step S24. If it is determined that the visibility of the driver is poor (step S23; Yes), the process proceeds to step S25.
  • the control unit 20A sets the threshold value of the score for determining that the person is a person when the state of poor visibility continues for a predetermined time or longer (for example, 60 seconds or longer) after the determination as Yes in step S23.
  • a person may be judged as a second threshold value smaller than the threshold value.
  • the control unit 20A may determine the person by using the threshold value of the score for determining the person as the first threshold value when the state of poor visibility does not continue for a predetermined time or more.
  • the specified value of the score indicating the personality is changed to detect the person included in the video data.
  • the person included in the video data can be appropriately detected even in a situation where the visibility of the driver of the vehicle indicated by the environmental information is poor.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that a part of the object is hidden behind the object. Even if it is not recognized as a specific object by a normal score like an object, it is recognized as a specific object. Therefore, the driver of the vehicle can more appropriately know the existence of the specific object.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that an object that is not a specific object is determined as a specific object. False recognition increases. However, even if it is a misrecognition, it is presented as a specific object including an object that is not recognized as a specific object in a normal score, so that the driver of the vehicle can be made to drive with more emphasis on safety.
  • FIG. 5 is a flowchart showing an example of the flow of the recognition process of the specific object according to the third embodiment.
  • the process shown in FIG. 5 is a process that starts in a state where the driver has high visibility to the outside of the vehicle.
  • the processing executed by the object recognition device 1 will be described.
  • step S31 Since the process of step S31 is the same as the process of step S11 shown in FIG. 2, the description thereof will be omitted.
  • step S32 the control unit 20 determines whether or not the visibility of the driver of the vehicle suddenly deteriorates. Specifically, the visibility information acquisition unit 24 determines whether or not the visibility of the driver of the vehicle suddenly deteriorates based on the video data acquired by the video data acquisition unit 21. Conditions such as entering a tunnel, being surrounded by fog, and being hit by a guerrilla rainstorm are exemplified as conditions for sudden deterioration of visibility, but the conditions are not limited to these. When the object recognition device 1A shown in FIG. 3 executes the process, the visibility information acquisition unit 24A suddenly changes the visibility of the driver of the vehicle based on the environment information acquired by the environment information acquisition unit 26. It may be determined whether or not it has become worse.
  • the visibility information acquisition unit 24A is a vehicle driver when the illuminance outside the vehicle continues to be 1000 lux or more and becomes less than 100 lux in about 5 seconds (for example, when entering a tunnel). It is determined that the visibility of the tunnel suddenly deteriorates. If it is not determined that the driver's visibility has suddenly deteriorated (step S32; No), the process proceeds to step S33. When it is determined that the visibility of the driver suddenly deteriorates (step S32; Yes), the process proceeds to step S37.
  • steps S33 to S36 are the same as the processes of steps S13 and S15 to S17 shown in FIG. 2, the description thereof will be omitted.
  • steps S37 to S39 are the same as the processes of steps S14 to S16 shown in FIG. 2, the description thereof will be omitted.
  • step S40 determines whether or not the driver's visibility has returned. Specifically, the visibility information acquisition unit 24 determines whether or not the state in which the visibility suddenly deteriorates has returned to the original visibility state. If it is determined that the legibility has returned (step S40; Yes), the process proceeds to step S33. If it is not determined that the legibility has returned (step S40; No), the process proceeds to step S41.
  • the control unit 20 determines whether or not to end the specific object recognition process (step S41).
  • the control unit 20 determines that the specific object recognition process is terminated when, for example, an operation for terminating the specific object recognition process is accepted or an operation for turning off the power of the object recognition device 1 is accepted.
  • step S41; Yes the process of FIG. 5 is terminated. If it is determined that the specific object recognition process is not completed (step S41; No), the process proceeds to step S38.
  • the third embodiment when the visibility of the driver of the vehicle suddenly deteriorates, the person or person included in the video data is included in the video data by lowering the specified value of the score indicating the bicycle-likeness on which the person or person is riding. Detects the bicycle you are riding.
  • the third embodiment presents the vehicle driver as a recognition result, including an object that is not recognized as a specific object by a normal score, in a situation where the visibility of the vehicle driver suddenly deteriorates. It is possible to drive with more emphasis on safety.
  • FIG. 6 is a block diagram showing a configuration example of the object recognition device according to the fourth embodiment.
  • the object recognition device 1B is different from the object recognition device 1 shown in FIG. 1 in that the control unit 20B includes the travel route information acquisition unit 27.
  • the travel route information acquisition unit 27 acquires travel route information regarding the route on which the vehicle is currently traveling.
  • the travel route information acquisition unit 27 acquires, for example, information indicating the shape of the travel route in which the vehicle is traveling from the navigation device 16.
  • the navigation device 16 may be, for example, a device provided in a vehicle or a smartphone application.
  • the travel route information acquisition unit 27 may acquire travel route information using, for example, a navigation information service via a network.
  • the recognition processing unit 22B changes the threshold value of the score for determining that the recognized object is a person according to the travel route information regarding the route on which the vehicle is currently traveling.
  • the recognition processing unit 22B lowers the threshold value of the score for determining that the person is a person, for example, when the travel route information acquired by the travel route information acquisition unit 27 indicates that the driver's visibility is poor. For example, when the visibility of the driver is worse than a predetermined value, the recognition processing unit 22B determines that the recognized object is a person when the score is 0.7 or more.
  • the visibility information acquisition unit 24B determines, for example, information on the visibility of the driver of the vehicle based on the travel route information regarding the route on which the vehicle is currently traveling acquired by the travel route information acquisition unit 27. Specifically, the visibility information acquisition unit 24B acquires information on visibility based on the form of the road on which the vehicle is currently traveling. The visibility information acquisition unit 24B determines that the driver's visibility is poor, for example, when there is a curved road having a curvature less than a predetermined curvature (for example, 50R) in front of the road on which the vehicle is currently traveling. The visibility information acquisition unit 24B determines that the driver's visibility is poor, for example, when there are continuously curved roads having a curvature less than a predetermined curvature in front of the road on which the vehicle is currently traveling.
  • a predetermined curvature for example, 50R
  • the bend road that the visibility information acquisition unit 24B determines that the visibility of the driver of the vehicle is poor is a bend road in which the visibility in the traveling direction is obstructed by the bending of the road in front of the vehicle in the traveling direction. Is. In particular, it is preferable to determine that the driver's visibility is poor when the bent roads as described above are continuously present.
  • FIG. 7 is a flowchart showing an example of the flow of the recognition process of the specific object according to the fourth embodiment.
  • step S51 and steps S54 to S58 shown in FIG. 7 are the same as the processes of steps S11 and S13 to S17 shown in FIG. 2, the description thereof will be omitted.
  • step S51 The process in step S51 is started, and the control unit 20B acquires the travel route information (step S52). Specifically, the travel route information acquisition unit 27 acquires travel route information regarding the route on which the vehicle is currently traveling from the navigation device 16. Then, the process proceeds to step S53.
  • the control unit 20B determines whether or not the travel route information regarding the travel route on which the vehicle is currently traveling indicates that the driver's visibility is poor (step S53). Specifically, the visibility information acquisition unit 24B determines that the driver's visibility is poor, for example, when there is a curved road having a curvature less than a predetermined curvature in front of the currently traveling road. If it is determined that the visibility of the driver is not bad (step S53; No), the process proceeds to step S34. If it is determined that the visibility of the driver is poor (step S53; Yes), the process proceeds to step S35.
  • the control unit 20B sets the threshold value of the score for determining that the person is a person when the state of poor visibility continues for a predetermined time or longer (for example, 60 seconds or longer) after the determination as Yes in step S53.
  • a person may be judged as a second threshold value smaller than the threshold value.
  • the visibility information acquisition unit 24B acquires information on visibility based on the form of the road on which the vehicle is traveling, and recognizes when the state of poor visibility based on the form of the road continues for a predetermined distance or longer.
  • the processing unit 22B may determine the person by setting the threshold value of the score for determining the person as the second threshold value smaller than the first threshold value. In this case, the control unit 20B may determine the person by using the threshold value of the score for determining the person as the first threshold value when the state of poor visibility does not continue for a predetermined time or more.
  • the specified value of the score indicating the personality is changed to detect the person included in the video data.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that a part of the object is hidden behind the object. Even if it is not recognized as a specific object by a normal score like a specific object, it is recognized as a specific object. Therefore, the driver of the vehicle can more appropriately know the existence of the specific object.
  • the recognition process is performed by lowering the score indicating the specific object-likeness, so that an object that is not a specific object is used as a specific object. Misrecognition of judgment increases. However, even if it is a misrecognition, it is presented as a specific object including an object that is not recognized as a specific object in a normal score, so that the driver of the vehicle can be made to drive with more emphasis on safety.
  • the present disclosure is not limited by the contents of these embodiments.
  • the example of recognizing a person or a bicycle on which a person is riding has been described, but the object to be recognized is not limited to the content of the embodiment, and can be applied to the recognition of various objects.
  • the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those in a so-called equal range.
  • the components described above can be combined as appropriate. Further, various omissions, replacements or changes of the components can be made without departing from the gist of the above-described embodiment.
  • the object recognition control device and the object recognition method of the present embodiment can be used for, for example, a drape coder.
  • 1,1A, 1B Object recognition device 11 Imaging unit 12 Dictionary data storage unit 13 Display unit 14 GNSS reception unit 15 Communication unit 16 Navigation device 20, 20A, 20B Control unit 21 Video data acquisition unit 22, 22A, 22B Recognition processing unit 23 Presentation processing unit 24, 24A, 24B Visibility information acquisition unit 25 Location information acquisition unit 26 Environmental information acquisition unit 27 Travel route information acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

オブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部（２１）と、車両の周囲における車両の運転者の視認性に関する情報を取得する視認性情報取得部（２４）と、映像データ取得部（２１）が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理部（２２）と、認識処理部（２２）が認識した特定オブジェクトの情報を車両の運転者に提示する提示処理部（２３）と、を備える。認識処理部（２３）は、視認性情報取得部（２４）が取得した車両の運転者の視認性に関する情報に基づき、所定閾値を変化させる。

Description

オブジェクト認識制御装置、およびオブジェクト認識方法
　本開示は、オブジェクト認識制御装置、およびオブジェクト認識方法に関する。
　撮影画像における人物認識は、人物認識処理を用いた認識処理の結果、人間らしさを示すスコアが所定の閾値以上である場合に、人物であると判定している。
　例えば、特許文献１には、撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が開示されている。
特開２０１６－１５０２９号公報
　ユーザの視界が良好である場合、認識率が低くても、ユーザの目視で対応可能であるため、安全は確保される。これに対して、ユーザの視界が良好ではない場合、ユーザの目視での対応が困難であるため、例えば人物等を認識できなかった場合、危険につながる可能性がある。また、ユーザの視界が良好ではない場合は、人物等の認識率も低下する可能性もある。
　本開示は、特定オブジェクトを適切に認識することができるオブジェクト認識制御装置、およびオブジェクト認識方法を提供することを目的とする。
　本開示の一態様に係るオブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、前記車両の周囲における前記車両の運転者の車両外に対する視認性に関する情報を取得する視認性情報取得部と、前記映像データ取得部が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記視認性情報取得部が取得した前記車両の運転者の車両外に対する視認性に関する情報に基づき、前記所定閾値を変化させる。
　本開示の一態様に係るオブジェクト認識制御装置が実行するオブジェクト認識方法は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、前記車両の周囲における前記車両の運転者の車両外に対する視認性に関する情報を取得する視認性情報取得ステップと、前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、を備え、前記認識処理ステップにおいては、前記視認性情報取得ステップで取得した前記車両の運転者の車両外に対する視認性に関する情報に基づき、前記所定閾値を変化させる。
　本開示によれば、特定オブジェクトを適切に認識することができる。
図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図２は、第一実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図３は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図４は、第二実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図５は、第三実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。 図６は、第四実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図７は、第四実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。
　以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　［第一実施形態］
　図１を用いて、第一実施形態に係るオブジェクト認識装置について説明する。図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。
　図１に示すように、オブジェクト認識装置１は、撮像部１１と、辞書データ記憶部１２と、表示部１３と、制御部（オブジェクト認識制御装置）２０と、を備える。オブジェクト認識装置１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、オブジェクト認識装置１は、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダ等の機能として実装されてもよい。
　撮像部１１は、車両に搭載され、車両の前方方向を撮影するように配置されている。撮像部１１は、例えば、可視光カメラまたは遠赤外線カメラで構成される。撮像部１１は、例えば、可視光カメラおよび遠赤外線カメラの組み合わせで構成されてもよい。撮像部１１は、撮影した映像データを映像データ取得部２１に出力する。
　辞書データ記憶部１２は、映像データから各種のオブジェクトを認識するための辞書データを記憶している。辞書データ記憶部１２は、例えば、人物が撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが人物であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、人物が乗車している自転車が撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが人物が乗車している自転車であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、自動車および自動二輪車などが撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが自動車および自動二輪車などであることを照合可能な認識辞書データを記憶していてもよい。辞書データ記憶部１２は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子等の記憶装置によって実現される。
　表示部１３は、各種の情報を表示する。表示部１３は、特定オブジェクトが認識された場合に、特定オブジェクトの情報を表示することで、車両の運転者などに通知する。表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。
　制御部２０は、オブジェクト認識装置１の各部の動作を制御する。制御部２０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。このため、制御部２０は、オブジェクト認識装置１０によるオブジェクト認識方法を実行させる。また、制御部２０は、本開示にかかるプログラムを動作させるコンピュータである。制御部２０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。制御部２０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
　制御部２０は、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、視認性情報取得部２４と、を備える。図１では、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、視認性情報取得部２４とは、バスＢＳを介して接続しているように示している。
　映像データ取得部２１は、撮像部１１が撮影した映像データを取得する。映像データ取得部２１は、例えば、撮像部１１が出力した、車両の前方を撮影した映像データを取得する。
　認識処理部２２は、映像データ取得部２１が取得した映像データに対して物体認識処理を行う。認識処理部２２は、例えば、辞書データ記憶部１２に記憶された辞書データを用いて、各種の物体認識処理を行い、映像データに含まれるオブジェクトを認識する。
　認識処理部２２は、人物を検出するための辞書データを用いて、映像データに対して人物認識処理を行って、映像データに含まれる人物を認識する。認識処理部２２は、人物が乗車している自転車を検出するための辞書データを用いて、映像データに含まれる人物が乗車している自転車を認識する。本実施形態では、認識処理部２２は、映像データに含まれる人物および人物が乗車している自転車を、特定オブジェクトとして認識する。
　認識処理部２２は、例えば、映像データ取得部２１が取得した映像データに対して物体認識処理を行った結果、特定オブジェクトらしさを示すスコアが所定閾値以上である場合に、映像データに含まれるオブジェクトを特定オブジェクトとして認識する。
　認識処理部２２は、人物認識処理により人物らしさを示すスコアを算出し、算出したスコアに値に基づいて、人物を認識する。人物らしさを示すスコアの最大値は、例えば、１．０である。認識処理部２２は、例えば、通常時には、スコアが０．９以上である場合に、認識したオブジェクトを特定オブジェクトである人物であると判断する。
　認識処理部２２は、車両の運転者の視認性に関する情報に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変更する。認識処理部２２は、例えば、車両の運転者の視認性がよくない場合に、人物であると判定するスコアの閾値を下げる。認識処理部２２は、例えば、映像データ取得部２１が取得した映像データの輝度が全体的に低いときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。輝度が全体的に低い映像データとは、例えば、夜間およびトンネル内などで取得された映像データである。認識処理部２２は、例えば、映像データのコントラストが低いときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。コントラストが低い映像データとは、例えば、降雨時、降雪時、霧の発生時に取得された映像データである。
　認識処理部２２は、視認性の悪さの度合いに応じて、認識したオブジェクトが人物であると判定するスコアの閾値を段階的に変更してもよい。認識処理部２２は、例えば、映像データの輝度およびコントラストの値に応じて、スコアを０．７、０．６、および０．５などのように段階的に変更してもよい。
　認識処理部２２は、視認性の悪さの度合いに応じて、認識したオブジェクトが人物であると判定するスコアの閾値を線形的に変更してもよい。認識処理部２２は、例えば、スコアを０．７に変更した後、映像データの輝度およびコントラストの変化に応じて、スコアを線形的に変更してもよい。
　本実施形態において、認識処理部２２が特定オブジェクトであると判断するスコアの値は、例示であり、これに限定されるものではない。認識処理部２２が特定オブジェクトであると判断するスコアの値は、設計に応じて任意に変更し得る。
　本実施形態では、認識処理部２２は、特定オブジェクトとして人物および人物が乗車している自転車を認識するが、認識処理部２２が認識する特定オブジェクトは、これらに限られない。認識処理部２２は、例えば、映像データに含まれる自動車および自動二輪車などを特定オブジェクトとして検出してもよい。
　提示処理部２３は、認識処理部２２により特定された特定オブジェクトの情報を運転者などに提示する。提示処理部２３は、表示部１３による表示または図示しない音声出力部から出力される音声を用いて、特定オブジェクトの情報を運転者に提示する。このため、提示処理部２３は、表示部１３による表示で特定オブジェクトの情報を運転者に提示する場合は、表示制御部として機能する。提示処理部２３は、特定オブジェクトの情報を表示部１３に表示させる場合、映像データ取得部２１が取得した映像データを表示部１３に表示させ、特定オブジェクトを認識した場合、認識された特定オブジェクトを囲むような枠線を表示することで、特定オブジェクトを運転者に認識させる。
　視認性情報取得部２４は、車両の運転者の視認性に関する情報を取得する。車両の運転者の視認性とは、車両の運転者が、車両の外部の状態を目視によって適切に確認できる度合いであり、車両外部の光量や、降雨、降雪、霧などによって視認性は低下する。視認性情報取得部２４は、例えば、車両の周囲における車両の運転者の車両外に対する視認性に関する情報を取得する。視認性情報取得部２４は、例えば、映像データ取得部２１が取得した映像データに基づいて、車両の運転者の視認性に関する情報を判定する。視認性情報取得部２４は、例えば、映像データ取得部２１が取得した映像データのヒストグラムを解析し、輝度が全体的に所定値以下である場合に、運転者の視認性がよくないと判定する。視認性情報取得部２４は、例えば、映像データ取得部２１が取得した映像データのヒストグラムを解析し、コントラストが全体的に所定値以下である場合に、運転者の視認性がよくないと判定する。または、視認性情報取得部２４が、映像データ取得部２１が取得した映像データのヒストグラムを解析し、映像データに対してＨＤＲ（High-dynamic-range　rendering）補正を要すると判断したことに基づき、運転者の視認性がよくないと判定してもよい。また、視認性情報取得部２４は、降雨や降雪によって、映像データ取得部２１が取得した映像データをフーリエ変換した空間周波数が全体的に高周波成分を多く含む場合に、運転者の視認性がよくないと判定してもよい。
［特定オブジェクト認識処理］
　図２を用いて、第一実施形態に係る特定オブジェクトの認識処理について説明する。図２は、第一実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。
　図２の処理の開始に伴い、制御部２０は、撮影、人物処理認識を開始する（ステップＳ１１）。具体的には、制御部２０は、撮像部１１による撮影を開始させ、撮像部１１が撮影した映像データを映像データ取得部２１が取得し、映像データ取得部２１が取得した映像データに対して、認識処理部２２が認識処理を開始する。そして、ステップＳ１２に進む。図２の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置１を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置１の動作が開始されたときなどである。また、ステップＳ１１の処理は、車両が走行していることを条件として実行されてもよい。以下の説明においては、特定オブジェクトのうち、人物を認識する例について説明するが、人物が乗車した自転車など、他の特定オブジェクトの認識も同時に行われる。
　ステップＳ１１による処理が開始されるとともに、制御部２０は、車両の運転者の視認性が悪いか否かを判定する（ステップＳ１２）。具体的には、視認性情報取得部２４は、映像データ取得部２１が取得した映像データに基づいて、車両の運転者の視認性が悪いか否かを判定する。運転者の視認性は悪くないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１３に進む。運転者の視認性が悪いと判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４に進む。
　ステップＳ１２でＮｏと判定された場合、制御部２０は、人物であると判断するスコアの閾値を第一閾値として人物を判断する（ステップＳ１３）。具体例としては、認識処理部２２は、人物らしさを示すスコアが０．９以上である場合に、物体が人物であると判断する。そして、ステップＳ１５に進む。
　ステップＳ１２でＹｅｓと判定された場合、制御部２０は、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断する（ステップＳ１４）。具体例としては、認識処理部２２は、人物らしさを示すスコアが０．７以上である場合に、物体が人物であると判断する。なお、制御部２０は、ステップＳ１２でＹｅｓと判定された後、視認性が悪い状態が所定時間以上（例えば、６０秒以上）継続した場合に、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断してもよい。この場合、制御部２０は、視認性が悪い状態が所定時間以上継続しなかった場合には、人物であると判断するスコアの閾値を第一閾値として人物を判断するようしてもよい。そして、ステップＳ１５に進む。
　制御部２０は、人物を検出したか否かを判定する（ステップＳ１５）。具体的には、認識処理部２２は、ステップＳ１３またはステップＳ１４のスコアで人物が認識されたか否かを判定する。人物が検出されたと判定された場合（ステップＳ１５；Ｙｅｓ）、ステップＳ１６に進む。人物が検出されないと判定された場合（ステップＳ１５；Ｎｏ）、ステップＳ１７に進む。
　ステップＳ１５でＹｅｓと判定された場合、制御部２０は、検出された人物の周囲に枠線を表示する（ステップＳ１６）。具体的には、提示処理部２３は、運転者などが検出された人物を把握できるように、検出された人物の周囲に枠線を表示する。そして、ステップＳ１７に進む。
　制御部２０は、特定オブジェクト認識処理を終了するか否かを判定する（ステップＳ１７）。制御部２０は、例えば、特定オブジェクト認識処理を終了する操作を受け付けたり、オブジェクト認識装置１の電源をオフにする操作を受け付けたりした場合に、特定オブジェクト認識処理を終了すると判定する。特定オブジェクト認識処理を終了すると判定された場合（ステップＳ１７；Ｙｅｓ）、図２の処理を終了する。特定オブジェクト認識処理を終了しないと判定された場合（ステップＳ１７；Ｎｏ）、ステップＳ１１に進む。
　第一実施形態は、車両の運転者の視認性の悪い場合に、人物または人物が乗車している自転車らしさを示すスコアの規定値を変更して映像データに含まれる人物または人物が乗車している自転車を検出する。これにより、第一実施形態は、車両の運転者の視認性が悪い状況において、映像データに含まれる人物を適切に検出することができる。
　また、第一実施形態は、車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、物体の陰に一部が隠れた特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。
　さらに、第一実施形態は、車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、通常のスコアでは特定オブジェクトとして認識されない物体も含めて特定オブジェクトとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　［第二実施形態］
　図３を用いて、第二実施形態に係るオブジェクト認識装置について説明する。図３は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。
　図３に示すように、オブジェクト認識装置１Ａは、ＧＮＳＳ（Global　Navigation　Satellite　System）受信部１４と、通信部１５とを備える点で、図１に示すオブジェクト認識装置１と異なる。また、オブジェクト認識装置１Ａは、制御部２０Ａが位置情報取得部２５と、環境情報取得部２６とを備える点で、図１に示すオブジェクト認識装置１と異なる。
　ＧＮＳＳ受信部１４は、図示しないＧＮＳＳ衛星からＧＮＳＳ信号を受信する。ＧＮＳＳ受信部１４は、ＧＮＳＳ受信回路およびＧＮＳＳ受信装置などで実現される。ＧＮＳＳ受信部１４は、受信したＧＮＳＳ信号を位置情報取得部２５に出力する。
　通信部１５は、オブジェクト認識装置１Ａと、外部サーバなどの外部装置との間で情報の送受信を行う。通信部１５は、例えば、Ｗｉ－Ｆｉ（登録商標）などの通信モジュールで実現される。
　位置情報取得部２５は、ＧＮＳＳ受信部１４からＧＮＳＳ信号を取得する。位置情報取得部２５は、例えば、ＧＮＳＳ受信部１４から取得したＧＮＳＳ信号に基づいて、車両の現在位置情報を周知の方法で算出する。
　環境情報取得部２６は、車両の現在位置の環境情報を取得する。環境情報には、例えば、現在位置の日没時刻を示す日没時刻情報、降雨量を示す降雨量情報、降雪量を示す降雪量情報、霧の発生量を示す霧発生情報などを含む。環境情報取得部２６は、例えば、通信部１５を介して、外部サーバなどから車両の現在位置に対応する環境情報を取得する。
　環境情報取得部２６は、例えば、車両の設けられたセンサから、車両の現在位置の環境情報を取得してもよい。環境情報取得部２６は、例えば、車両の車外の照度を測定する照度センサから、照度情報を取得してもよい。環境情報取得部２６は、例えば、ＣＡＮ（Controller　Area　Network）を介して車両情報を取得してもよい。環境情報取得部２６は、例えば、ＣＡＮを介してワイパーの動作情報を取得してもよい。
　認識処理部２２Ａは、車両の現在位置の環境情報に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変更する。認識処理部２２Ａは、例えば、環境情報取得部２６が取得した環境情報が運転者の視認性が悪いことを示す場合に、人物であると判定するスコアの閾値を下げる。認識処理部２２Ａは、例えば、運転者の視認性が所定よりも悪いときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。
　視認性情報取得部２４Ａは、例えば、環境情報取得部２６が取得した車両の現在位置の環境情報に基づき、車両の運転者の視認性に関する情報を判定する。視認性情報取得部２４Ａは、例えば、車両の現在位置の降雨量、降雪量、霧の発生量が所定以上である場合に、車両の運転者の視認性が悪いと判定する。
　視認性情報取得部２４Ａは、例えば、環境情報取得部２６が取得した車両情報に基づいて、車両の運転者の視認性に関する情報を判定する。視認性情報取得部２４Ａは、例えば、環境情報取得部２６が取得したワイパーの動作情報がＨｉモードの場合に、運転者の視認性が悪いと判定する。
［特定オブジェクト認識処理］
　図４を用いて、第二実施形態に係る特定オブジェクトの認識処理について説明する。図４は、第二実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。
　ステップＳ２１、およびステップＳ２４からステップＳ２８の処理は、それぞれ、図２に示すステップＳ１１、およびステップＳ１３からステップＳ１７の処理と同一なので、説明を省略する。
　ステップＳ２１による処理が開始されるとともに、制御部２０Ａは、環境情報を取得する（ステップＳ２２）。具体的には、環境情報取得部２６は、車両の現在位置の環境情報を外部サーバなどから取得する。そして、ステップＳ２３に進む。
　制御部２０Ａは、車両の現在位置の環境情報が運転者の視認性が悪いことを示すか否かを判定する（ステップＳ２３）。具体的には、視認性情報取得部２４Ａは、車両の現在位置の降雨量が所定以上である場合などに、運転者の視認性が悪いと判定する。運転者の視認性が悪くないと判定された場合（ステップＳ２３；Ｎｏ）、ステップＳ２４に進む。運転者の視認性が悪いと判定された場合（ステップＳ２３；Ｙｅｓ）、ステップＳ２５に進む。
　なお、制御部２０Ａは、ステップＳ２３でＹｅｓと判定された後、視認性が悪い状態が所定時間以上（例えば、６０秒以上）継続した場合に、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断してもよい。この場合、制御部２０Ａは、視認性が悪い状態が所定時間以上継続しなかった場合には、人物であると判断するスコアの閾値を第一閾値として人物を判断するようしてもよい。
　第二実施形態は、環境情報が示す車両の運転者の視認性の悪い場合に、人物らしさを示すスコアの規定値を変更して映像データに含まれる人物を検出する。これにより、第二実施形態は、環境情報が示す車両の運転者の視認性が悪い状況においても、映像データに含まれる人物を適切に検出することができる。
　また、第二実施形態は、環境情報が示す車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、物体の陰に一部が隠れた特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。
　さらに、第二実施形態は、環境情報が示す車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、通常のスコアでは特定オブジェクトとして認識されない物体も含めて特定オブジェクトとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　[第三実施形態]
　次に、第三実施形態について説明する。第三実施形態に係るオブジェクト認識装置の構成は、図１に示すオブジェクト認識装置１または図３に示すオブジェクト認識装置１Ａの構成と同一なので、説明を省略する。
［特定オブジェクト認識処理］
　図５を用いて、第三実施形態に係る特定オブジェクトの認識処理について説明する。図５は、第三実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。図５に示す処理は、運転者の車両外に対する視認性が高い状態で開始する処理である。以下では、オブジェクト認識装置１が実行する処理として説明する。
　ステップＳ３１の処理は、図２に示すステップＳ１１の処理と同一なので、説明を省略する。
　ステップＳ３１による処理が開始されるとともに、制御部２０は、車両の運転者の視認性が突然悪くなったか否かを判定する（ステップＳ３２）。具体的には、視認性情報取得部２４は、映像データ取得部２１が取得した映像データに基づいて、車両の運転者の視認性が突然悪くなったか否かを判定する。視認性が突然悪くなる条件とは、例えば、トンネルに入る、霧に包まれる、ゲリラ豪雨にあうなどの条件が例示されるが、これらに限定されない。なお、図３に示すオブジェクト認識装置１Ａが処理を実行する場合には、視認性情報取得部２４Ａは、環境情報取得部２６が取得した環境情報に基づいて、車両の運転者の視認性が突然悪くなったか否かを判定してもよい。例えば、視認性情報取得部２４Ａは、車外照度が、１０００ルクス以上の状態が継続した状態から、５秒間程度で１００ルクス未満となった場合（例えば、トンネルに入った場合）に車両の運転者の視認性が突然悪くなったと判定する。運転者の視認性が突然悪くなったと判定されなかった場合（ステップＳ３２；Ｎｏ）、ステップＳ３３に進む。運転者の視認性が突然悪くなったと判定された場合（ステップＳ３２；Ｙｅｓ）、ステップＳ３７に進む。
　ステップＳ３３からステップＳ３６の処理は、それぞれ、図２に示すステップＳ１３、およびステップＳ１５からステップＳ１７の処理と同一なので、説明を省略する。
　ステップＳ３７からステップＳ３９の処理は、それぞれ、図２に示すステップＳ１４からステップＳ１６の処理と同一なので、説明を省略する。
　ステップＳ３８でＮｏと判定された場合またはステップＳ３９の後、制御部２０は、運転者の視認性が戻ったか否かを判定する（ステップＳ４０）。具体的には、視認性情報取得部２４は、視認性が突然悪くなった状態から、元の視認性の状態に戻ったか否かを判定する。視認性が戻ったと判定された場合（ステップＳ４０；Ｙｅｓ）、ステップＳ３３に進む。視認性が戻ったと判定されなかった場合（ステップＳ４０；Ｎｏ）、ステップＳ４１に進む。
　制御部２０は、特定オブジェクト認識処理を終了するか否かを判定する（ステップＳ４１）。制御部２０は、例えば、特定オブジェクト認識処理を終了する操作を受け付けたり、オブジェクト認識装置１の電源をオフにする操作を受け付けたりした場合に、特定オブジェクト認識処理を終了すると判定する。特定オブジェクト認識処理を終了すると判定された場合（ステップＳ４１；Ｙｅｓ）、図５の処理を終了する。特定オブジェクト認識処理を終了しないと判定された場合（ステップＳ４１；Ｎｏ）、ステップＳ３８に進む。
　第三実施形態は、車両の運転者の視認性が突然悪くなった場合に、人物または人物が乗車している自転車らしさを示すスコアの規定値を低くして映像データに含まれる人物または人物が乗車している自転車を検出する。これにより、第三実施形態は、車両の運転者の視認性が突然悪くなった状況に、通常のスコアでは特定オブジェクトとして認識されない物体も含めて、認識結果として提示し、車両の運転者に、より安全性を重んじた運転を行わせることができる。
［第四実施形態］
　図６を用いて、第四実施形態に係るオブジェクト認識装置について説明する。図６は、第四実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。
　図６に示すように、オブジェクト認識装置１Ｂは、制御部２０Ｂが走行経路情報取得部２７を備える点で、図１に示すオブジェクト認識装置１と異なる。
　走行経路情報取得部２７は、車両が現在走行している経路に関する走行経路情報を取得する。走行経路情報取得部２７は、例えば、車両の走行中の走行路の形状を示す情報をナビゲーション装置１６から取得する。ナビゲーション装置１６は、例えば、車両に備えられている装置であってもよいし、スマートフォンアプリであってもよい。走行経路情報取得部２７は、例えば、ネットワークを介したナビゲーション情報サービスを用いて、走行経路情報を取得してもよい。
　認識処理部２２Ｂは、車両が現在走行している経路に関する走行経路情報に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変更する。認識処理部２２Ｂは、例えば、走行経路情報取得部２７が取得した走行経路情報が運転者の視認性が悪いことを示す場合に、人物であると判定するスコアの閾値を下げる。認識処理部２２Ｂは、例えば、運転者の視認性が所定よりも悪いときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。
　視認性情報取得部２４Ｂは、例えば、走行経路情報取得部２７が取得した車両が現在走行している経路に関する走行経路情報に基づいて、車両の運転者の視認性に関する情報を判定する。具体的には、視認性情報取得部２４Ｂは、車両が現在走行している道路の形態に基づく視認性に関する情報を取得する。視認性情報取得部２４Ｂは、例えば、車両が現在走行中の道路の前方に所定曲率（例えば、５０Ｒ）未満の屈曲路が存在する場合に、運転者の視認性が悪いと判定する。視認性情報取得部２４Ｂは、例えば、車両が現在走行中の道路の前方に所定曲率未満の屈曲路が連続的に存在する場合に、運転者の視認性が悪いと判定する。
　視認性情報取得部２４Ｂが、車両の運転者の視認性が悪いと判断する屈曲路とは、車両の進行方向である前方における道路の屈曲によって、進行方向の視界が阻害されるような屈曲路である。特に、上述したような屈曲路が連続的に存在する場合に、運転者の視認性が悪いと判定することが好ましい。
［特定オブジェクト認識処理］
　図７を用いて、第四実施形態に係る特定オブジェクトの認識処理について説明する。図７は、第四実施形態に係る特定オブジェクトの認識処理の流れの一例を示すフローチャートである。
　図７に示すステップＳ５１、およびステップＳ５４からステップＳ５８の処理は、それぞれ、図２に示すステップＳ１１、およびステップＳ１３からステップＳ１７の処理と同一なので、説明を省略する。
　ステップＳ５１による処理が開始されるとともに、制御部２０Ｂは、走行経路情報を取得する（ステップＳ５２）。具体的には、走行経路情報取得部２７は、車両が現在走行している経路に関する走行経路情報をナビゲーション装置１６から取得する。そして、ステップＳ５３に進む。
　制御部２０Ｂは、車両が現在走行している走行経路に関する走行経路情報が運転者の視認性が悪いことを示すか否かを判定する（ステップＳ５３）。具体的には、視認性情報取得部２４Ｂは、例えば、現在走行中の道路の前方に所定曲率未満の屈曲路が存在する場合などに、運転者の視認性が悪いと判定する。運転者の視認性が悪くないと判定された場合（ステップＳ５３；Ｎｏ）、ステップＳ３４に進む。運転者の視認性が悪いと判定された場合（ステップＳ５３；Ｙｅｓ）、ステップＳ３５に進む。
　なお、制御部２０Ｂは、ステップＳ５３でＹｅｓと判定された後、視認性が悪い状態が所定時間以上（例えば、６０秒以上）継続した場合に、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断してもよい。例えば、視認性情報取得部２４Ｂが、車両が走行している道路の形態に基づく視認性に関する情報を取得し、道路の形態に基づく視認性がよくない状態が所定距離以上継続する場合に、認識処理部２２Ｂは、人物であると判断するスコアの閾値を第一閾値よりも小さい第二閾値として人物を判断してもよい。この場合、制御部２０Ｂは、視認性が悪い状態が所定時間以上継続しなかった場合には、人物であると判断するスコアの閾値を第一閾値として人物を判断するようしてもよい。
　第四実施形態は、走行経路情報が示す車両の運転者の視認性の悪い場合に、人物らしさを示すスコアの規定値を変更して映像データに含まれる人物を検出する。これにより、第四実施形態は、走行経路情報が示す車両の運転者の視認性が悪い状況であっても、映像データに含まれる人物を適切に検出することができる。
　また、第四実施形態は、走行経路情報が示す車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、物体の陰に一部が隠れた特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。
　さらに、第四実施形態は、走行経路情報が示す車両の運転者の視認性が悪い場合に、特定オブジェクトらしさを示すスコアを低くして認識処理を行うため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、通常のスコアでは特定オブジェクトとして認識されない物体も含めて特定オブジェクトとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。
　以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。実施形態においては、人物または人物が乗車している自転車を認識する例として説明したが、認識する対象は実施形態の内容に限定されず、様々な対象物の認識に適用可能である。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態のオブジェクト認識制御装置、およびオブジェクト認識方法は、例えば、ドレイブレコーダなどに利用することができる。
　１，１Ａ，１Ｂ　オブジェクト認識装置
　１１　撮像部
　１２　辞書データ記憶部
　１３　表示部
　１４　ＧＮＳＳ受信部
　１５　通信部
　１６　ナビゲーション装置
　２０，２０Ａ，２０Ｂ　制御部
　２１　映像データ取得部
　２２，２２Ａ，２２Ｂ　認識処理部
　２３　提示処理部
　２４，２４Ａ，２４Ｂ　視認性情報取得部
　２５　位置情報取得部
　２６　環境情報取得部
　２７　走行経路情報取得部

Claims (8)

  1. 　車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、
    　前記車両の周囲における前記車両の運転者の車両外に対する視認性に関する情報を取得する視認性情報取得部と、
    　前記映像データ取得部が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、
    　前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、
    　を備え、
    　前記認識処理部は、前記視認性情報取得部が取得した前記車両の運転者の車両外に対する視認性に関する情報に基づき、前記所定閾値を変化させる、
    　オブジェクト認識制御装置。
  2. 　前記視認性情報取得部は、前記映像データ取得部が取得した映像データに基づき、前記車両の運転者の車両外に対する視認性に関する情報を取得し、
    　前記認識処理部は、前記視認性情報取得部が取得した前記車両の運転者の車両外に対する視認性に関する情報が、視認性がよくないことを示している場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  3. 　前記視認性情報取得部は、前記車両の環境情報に基づき、前記車両の運転者の車両外に対する視認性に関する情報を取得し、
    　前記認識処理部は、前記視認性情報取得部が取得した前記車両の運転者の車両外に対する視認性に関する情報が、視認性がよくないことを示している場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  4. 　前記認識処理部は、前記視認性情報取得部が取得した前記車両の車両外に対する視認性に関する情報に基づき、視認性がよくないことが所定時間以上継続している場合、前記所定閾値を低くする、
    　請求項２または３に記載のオブジェクト認識制御装置。
  5. 　前記認識処理部は、前記視認性情報取得部が取得した前記車両の車両外に対する視認性に関する情報に基づき、視認性がよい状態から急によくない状態となった場合、前記所定閾値を低くする、
    　請求項２または３に記載のオブジェクト認識制御装置。
  6. 　前記視認性情報取得部は、前記車両が走行している道路の形態に基づく視認性に関する情報を取得し、
    　前記認識処理部は、前記視認性情報取得部が取得した道路の形態に基づく視認性がよくないことを示している場合、前記所定閾値を低くする、
    　請求項１に記載のオブジェクト認識制御装置。
  7. 　前記認識処理部は、前記視認性情報取得部が取得した道路の形態に基づく視認性がよくない状態が所定距離以上継続する場合、前記所定閾値を低くする、
    　請求項５に記載のオブジェクト認識制御装置。
  8. 　車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、
    　前記車両の周囲における前記車両の運転者の車両外に対する視認性に関する情報を取得する視認性情報取得ステップと、
    　前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、
    　前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、
    　を備え、
    　前記認識処理ステップにおいては、前記視認性情報取得ステップで取得した前記車両の運転者の車両外に対する視認性に関する情報に基づき、前記所定閾値を変化させる、
    　オブジェクト認識制御装置が実行するオブジェクト認識方法。
PCT/JP2021/010241 2020-08-28 2021-03-12 オブジェクト認識制御装置、およびオブジェクト認識方法 WO2022044396A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-144881 2020-08-28
JP2020144881 2020-08-28

Publications (1)

Publication Number Publication Date
WO2022044396A1 true WO2022044396A1 (ja) 2022-03-03

Family

ID=80355041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010241 WO2022044396A1 (ja) 2020-08-28 2021-03-12 オブジェクト認識制御装置、およびオブジェクト認識方法

Country Status (1)

Country Link
WO (1) WO2022044396A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064274A (ja) * 2007-09-06 2009-03-26 Fujitsu Ten Ltd 歩行者認識装置
JP2009248721A (ja) * 2008-04-04 2009-10-29 Calsonic Kansei Corp 車両用情報表示装置
JP2012053663A (ja) * 2010-09-01 2012-03-15 Honda Motor Co Ltd 物体種別判定装置
JP2021033510A (ja) * 2019-08-21 2021-03-01 いすゞ自動車株式会社 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064274A (ja) * 2007-09-06 2009-03-26 Fujitsu Ten Ltd 歩行者認識装置
JP2009248721A (ja) * 2008-04-04 2009-10-29 Calsonic Kansei Corp 車両用情報表示装置
JP2012053663A (ja) * 2010-09-01 2012-03-15 Honda Motor Co Ltd 物体種別判定装置
JP2021033510A (ja) * 2019-08-21 2021-03-01 いすゞ自動車株式会社 運転支援装置

Similar Documents

Publication Publication Date Title
US11052823B2 (en) Vehicle rear monitoring system
CN107209856B (zh) 环境场景状况检测
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US10528825B2 (en) Information processing device, approaching object notification method, and program
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US20050134479A1 (en) Vehicle display system
US10875452B2 (en) Driving assistance device and driving assistance method
JP5421999B2 (ja) 車両用周囲監視装置
JP6209825B2 (ja) 視差検出装置、視差検出方法
WO2012140976A1 (ja) 走行支援装置及びその雨滴検出方法
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
JP5948170B2 (ja) 情報表示装置、情報表示方法およびプログラム
JP5991648B2 (ja) 車両用表示制御装置
US20220194434A1 (en) Apparatus for controlling autonomous, system having the same, and method thereof
US11295704B2 (en) Display control device, display control method, and storage medium capable of performing appropriate luminance adjustment in case where abnormality of illuminance sensor is detected
GB2550472A (en) Adaptive display for low visibility
US10516848B2 (en) Image processing device
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
WO2022044396A1 (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
US20220408062A1 (en) Display control apparatus, display control method, and program
US20160332566A1 (en) Regulation speed display apparatus of vehicle
US11345364B2 (en) Attention calling device and attention calling method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21860828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21860828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP