WO2024252647A1 - 画像認識モデル管理装置、および、画像認識モデル管理システム - Google Patents

画像認識モデル管理装置、および、画像認識モデル管理システム Download PDF

Info

Publication number
WO2024252647A1
WO2024252647A1 PCT/JP2023/021444 JP2023021444W WO2024252647A1 WO 2024252647 A1 WO2024252647 A1 WO 2024252647A1 JP 2023021444 W JP2023021444 W JP 2023021444W WO 2024252647 A1 WO2024252647 A1 WO 2024252647A1
Authority
WO
WIPO (PCT)
Prior art keywords
image recognition
recognition model
model
external environment
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021444
Other languages
English (en)
French (fr)
Inventor
悠助 野間
竜彦 門司
誠 保坂
三上　光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2025525892A priority Critical patent/JP7887575B2/ja
Priority to PCT/JP2023/021444 priority patent/WO2024252647A1/ja
Priority to DE112023005281.6T priority patent/DE112023005281T5/de
Publication of WO2024252647A1 publication Critical patent/WO2024252647A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to an image recognition model management device and an image recognition model management system.
  • Patent Document 1 describes a technology that addresses this issue.
  • Paragraph 0011 of Patent Document 1 states, "Server 200 is a cloud server for providing cloud services to terminals, and in this embodiment, a recognition model suitable for recognizing the surrounding environment of mobile body Ve is selected from multiple recognition models stored in cloud 201 and supplied to mobile body Ve. Mobile body Ve uses the recognition model supplied from server 200 to recognize objects in the surrounding environment and perform ADAS and AD.”
  • the present invention aims to provide an image recognition model management device and an image recognition model management system that can select an image recognition model from multiple image recognition models according to the external environment, which is the vehicle's surroundings, and transfer it to an external environment recognition device, even when communication with a management server is not possible.
  • the image recognition model management device of the present invention is, for example, an image recognition model management device that transfers an image recognition model transmitted from a management server to an external environment recognition device, and includes a storage unit that stores a preset first image recognition model and a second image recognition model transmitted from the management server at a predetermined frequency or more, and a model processing unit that selects the first image recognition model or the second image recognition model and transfers it to the external environment recognition device, and the model processing unit switches the image recognition model to be transferred to the external environment recognition device based on external environment recognition data that represents the results of image recognition by the external environment recognition device.
  • the image recognition model management system of the present invention is, for example, an image recognition model management system including a management server that transmits an image recognition model corresponding to the external environment of the vehicle, and an image recognition model management device that transfers the image recognition model transmitted from the management server to an external environment recognition device, and the management server includes a model database in which an image recognition model for each piece of external environment information of the vehicle is stored, an external environment analysis unit that generates external environment information of the vehicle based on current position information of the vehicle, and an image recognition model corresponding to the external environment information generated from the current position information, which is stored in the model database.
  • the image recognition model management device includes a model extraction unit that extracts from a base, and a transmission unit that transmits the extracted image recognition model to the image recognition model management device.
  • the image recognition model management device includes a storage unit that stores a preset first image recognition model and a second image recognition model transmitted from the management server at a predetermined frequency or more, and a model processing unit that selects the first image recognition model or the second image recognition model and transfers it to the external environment recognition device.
  • the model processing unit switches the image recognition model to be transferred to the external environment recognition device based on external environment recognition data that represents the result of image recognition by the external environment recognition device.
  • the present invention provides an image recognition model management device and an image recognition model management system that can select an image recognition model from a plurality of image recognition models according to the vehicle's external environment and transfer it to an external environment recognition device even when communication with a management server is not possible.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an image recognition model management system according to a first embodiment.
  • 1 shows an example of a flowchart of a process performed by an image recognition model management system.
  • FIG. 13 is a diagram illustrating an example of a flowchart of a selection process of an image recognition model.
  • FIG. 13 is a diagram for explaining extraction of a frequent model.
  • FIG. 13 is a diagram illustrating an example of a flowchart of an evaluation process for an image recognition model used.
  • 1A and 1B are diagrams illustrating examples of external environment situations with a good recognition rate.
  • 1A and 1B are diagrams illustrating examples of external environment situations with poor recognition rates.
  • 1 is a table showing an example of weather classification.
  • FIG. 11 is a table showing an example of classification of travel time periods. 1 is a table showing an example of classification of road shapes. External environment situation pattern examples FIG. 13 is a diagram illustrating an example of the overall configuration of an image recognition model management system according to a second embodiment. 11 is a table showing an example of evaluation data.
  • FIG. 1 is a diagram showing an example of the overall configuration of an image recognition model management system according to a first embodiment.
  • the image recognition model management system includes a vehicle 1 and a management server 100.
  • the management server 100 is a device that determines whether or not it is necessary to switch the image recognition model used by the external environment recognition device 10 that performs image recognition based on the current position information of the vehicle 1, and transmits the image recognition model to the vehicle when it is determined that it is necessary to switch to the image recognition model held by the management server 100. That is, the management server 100 is a device that transmits an image recognition model corresponding to the external environment of the vehicle to the image recognition model management device.
  • the management server 100 includes an external environment analysis unit 110, a model extraction unit 120, a model database 121, a management server side receiving unit 130, and a management server side transmitting unit 131.
  • the management server side receiving unit 130 acquires the current location information of the vehicle that transmits the image recognition model.
  • the current location information includes the current location of the vehicle 1 as well as the current time.
  • the external environment analysis unit 110 collects weather information using a public communication network such as the Internet, and generates weather information 111 (sunny, cloudy, rain, snow, thunderstorm, etc.) for the current position of the vehicle 1.
  • the environment analysis unit 110 may include, as a means for collecting the weather information 111, a wide area network (WAN), a wireless communication network such as a telephone communication network, or other communication networks.
  • WAN wide area network
  • wireless communication network such as a telephone communication network
  • the external environment analysis unit 110 generates the driving time period that includes the current time from among multiple preset driving time periods as driving time period information 112.
  • the external environment analysis unit 110 generates road shape information 113 around the current location of the vehicle 1 based on map information and the current location notified by the vehicle.
  • the map information may be stored in advance in a non-volatile storage area by the management server 100, or may be obtained from a public communication network such as the Internet.
  • the external environment analysis unit 110 transmits the generated weather information 111, driving time zone information 112, and road shape information 113 to the model extraction unit 120.
  • the weather information 111, driving time zone information 112, and road shape information 113 are examples of external environment information of the vehicle 1, and are not limited to these.
  • the model extraction unit 120 extracts an image recognition model suitable for the external environment of the current position of the vehicle 1 from the model database 121 based on the weather information 111, driving time zone information 112, and road shape information 113 transmitted by the external environment analysis unit 110.
  • Model database 121 A plurality of image recognition models for recognizing the surrounding environment of the current position are stored in the model database 121.
  • the stored image recognition models are a group of image recognition models trained according to the weather, the driving time zone, and the road shape.
  • the management server-side transmission unit 131 transmits the image recognition model extracted by the model extraction unit 120 to the vehicle 1.
  • the weather information 111, the driving time zone information 112, and the road shape information 113 used in extracting the image recognition model are linked to the image recognition model and transmitted.
  • the management server 100 transmits an image recognition model according to external environment information such as weather information 111, driving time zone information 112, and road shape information 113, so that the external environment recognition device 10 can perform image recognition using an image recognition model suitable for the weather, the day and night environment around the vehicle, the driving environment, etc.
  • external environment information such as weather information 111, driving time zone information 112, and road shape information 113
  • the vehicle 1 includes an external environment recognition device 10, a Global Navigation Satellite System (GNSS) receiver 20, a vehicle position receiving unit 21, a vehicle side transmitting unit 22, a vehicle side receiving unit 23, and an image recognition model management device 30.
  • GNSS Global Navigation Satellite System
  • the external environment recognition device 10 performs image recognition using an image recognition model on the observation results of the external environment by a camera sensor using an image pickup element mounted on the vehicle 1, and detects moving objects (pedestrians) existing around the vehicle 1. , bicycles, motorcycles, four-wheeled vehicles, buses, trucks, etc.), road structures (pylons, construction signs, road signs, road markings, traffic lights, etc.), road conditions (road width, road surface condition, etc.)
  • the external environment recognition device 10 generates recognition data. Then, the external environment recognition device 10 transmits the external environment recognition data to the model processing unit 32 of the image recognition model management device 30.
  • the GNSS receiver 20 receives navigation signals transmitted from positioning satellites that constitute the GNSS.
  • the GNSS receiver 20 generates observation data based on the navigation signals and carrier waves of the navigation signals.
  • the GNSS receiver 20 sequentially outputs the observation data to the vehicle position receiving unit 21.
  • the vehicle position receiving unit 21 generates current position information including the current position and current time based on the observation data output from the GNSS receiver 20, and sequentially outputs the current position information of the vehicle 1 to the management server 100 via the vehicle-side transmitting unit 22. Since the output of the current position information of the vehicle 1 to the management server 100 is related to the transmission timing of the image recognition model, the cycle of outputting the current position information may be shortened to increase the update frequency of the image recognition model, or the cycle may be lengthened to decrease the update frequency of the image recognition model.
  • the image recognition model management device 30 includes a microcomputer.
  • the microcomputer is a processor (e.g., a CPU) that executes a program stored in a storage device.
  • the microcomputer executes a predetermined program to operate as a functional unit that provides various functions.
  • the storage device includes a non-volatile storage area and a volatile storage area.
  • the non-volatile storage area includes a program area that stores a program executed by the microcomputer, and a data area that temporarily stores data used by the microcomputer when the program is executed.
  • the volatile storage area stores data used by the microcomputer when the program is executed.
  • the communication interface connects to other electronic control devices via a network such as CAN or Ethernet.
  • the image recognition model management device 30 of this embodiment includes a storage unit 31 (e.g., the storage device described above) and a model processing unit 32 (e.g., the processor described above).
  • the storage unit 31 stores a default model m1 (first image recognition model), a frequent model m2 (second image recognition model), and a received model m3 (third image recognition model).
  • the default model m1 is an image recognition model that is set in advance in the storage unit 31, and is stored in a non-volatile storage area as the basic image recognition model used by the external environment recognition device 10. This image recognition model is used immediately after the ignition switch is turned on.
  • the reception model m3 is an image recognition model received by the vehicle-side receiving unit 23 from the management server 100.
  • the vehicle-side receiving unit 23 stores the received image recognition model as the reception model m3 in the storage unit 31.
  • the weather information 111, driving time zone information 112, and road shape information 113 linked to the reception model m3 are also stored in the storage unit 31.
  • the reception model m3 is an image recognition model that does not conform to the current external environment. Taking this into consideration, the reception model m3, as well as the weather information 111, driving time zone information 112, and road shape information 113 linked to the reception model m3 are stored in a volatile storage area.
  • the frequent model m2 is a received model m3 for a driving time period or road shape for which an image recognition model is frequently transmitted from the management server 100, and is stored in a non-volatile storage area. Details of determining the frequency will be described later.
  • the frequent model m2 stored in the non-volatile storage area can be erased by the user. It may also be saved as a preset memory and selected by the user.
  • the default model m1, the frequent model m2, and the reception model m3 are stored one by one in the storage unit 31, but this is not limiting.
  • any of the default model m1, the frequent model m2, and the reception model m3 may be stored multiple times.
  • the reception model m3 is not stored in the storage unit 31.
  • the model processing unit 32 selects an image recognition model to be transferred to the external environment recognition device 10 from the image recognition models stored in the storage unit 31, and transfers it to the external environment recognition device 10.
  • the model processing unit 32 stores a received model m3 for a driving time zone or road shape in which an image recognition model is frequently transmitted from the management server 100 as a frequent model m2 in the storage unit 31. Furthermore, the model processing unit 32 evaluates the image recognition model used by the external environment recognition device 10 based on the external environment recognition data from the external environment recognition device 10. Specific processing performed by the model processing unit 32 will be described later with reference to FIGS. 3 to 5.
  • ⁇ Flowchart> 2 shows an example of a flowchart of the process executed by the image recognition model management system. When the ignition switch is turned on, the process proceeds to step S100.
  • step S100 the vehicle position receiving unit 21 of the vehicle 1 generates current position information based on the observation data of the GNSS receiver 20.
  • step S101 the vehicle 1 determines whether wireless communication has been established with the management server 100.
  • the establishment of wireless communication is determined, for example, by sending a communication request from the vehicle 1 to the management server 100 and checking a response from the management server 100. If wireless communication has been established, the process proceeds to step S102. If wireless communication has not been established, the process proceeds to step S108.
  • step S102 the vehicle 1 transmits the current location information generated by the vehicle location receiving unit 21 to the management server 100.
  • step S103 the external environment analysis unit 110 of the management server 100 generates weather information 111, driving time zone information 112, and road shape information 113 based on the current location information received from the vehicle 1.
  • step S104 the model extraction unit 120 of the management server 100 determines whether or not it is necessary to switch the image recognition model. If it is determined that it is necessary to switch the image recognition model, the process proceeds to step S105, and if it is determined that it is not necessary to switch the image recognition model, the process proceeds to step S108.
  • step S105 the model extraction unit 120 of the management server 100 extracts an image recognition model to be sent to the vehicle 1 from the model database 121 based on the weather information 111, the driving time zone information 112, and the road shape information 113.
  • step S106 the management server side transmission unit 131 of the management server 100 transmits the image recognition model extracted in step S105 to the vehicle 1.
  • step S107 vehicle 1 receives the image recognition model sent from management server 100.
  • step S108 the model processing unit 32 of the vehicle 1 selects an image recognition model to be transferred to the external environment recognition device 10 from the image recognition models stored in the memory unit 31.
  • the model processing unit 32 also stores in the memory unit 31 a received model m3 for a driving time period or road shape for which image recognition models are frequently transmitted from the management server 100 as a frequent model m2.
  • the model processing unit 32 also evaluates the image recognition model used by the external environment recognition device 10 based on the external environment recognition data from the external environment recognition device 10.
  • step S109 the model processing unit 32 of the vehicle 1 transfers the image recognition model extracted in step S108 to the external environment recognition device 10.
  • step S110 the external environment recognition device 10 of the vehicle 1 applies the image recognition model transferred in step S109.
  • Fig. 3 is a diagram showing an example of a flowchart of the image recognition model selection process.
  • step S200 the vehicle 1 determines whether wireless communication has been established with the management server 100. The determination of whether wireless communication has been established is the same as in step S101 in FIG. 2. If wireless communication has been established, the process proceeds to step S201, and if wireless communication has not been established, the process proceeds to step S203.
  • step S201 the model processing unit 32 checks whether an image recognition model has been transmitted from the management server 100 to the vehicle 1. Specifically, the model processing unit 32 checks whether a reception model m3 is stored in the memory unit 31. If the reception model m3 is stored in the memory unit 31, it means that an image recognition model suitable for the external environment is stored, and the process proceeds to step S202. If the reception model m3 is not stored in the memory unit 31, it means that an image recognition model suitable for the external environment is not stored, and the process proceeds to step S203.
  • step S202 the model processing unit 32 selects the receiving model m3 as the image recognition model to be transferred to the external environment recognition device 10. If the receiving model m3 has already been selected, the receiving model m3 continues to be selected. In this case, the image recognition model is not switched.
  • step S203 the model processing unit 32 checks whether the frequent model m2 is stored in the storage unit 31. If the frequent model m2 is stored, the process proceeds to step S204, and if the frequent model m2 is not stored, the process transitions to step S205.
  • step S204 the model processing unit 32 selects the frequent model m2 as the image recognition model to be transferred to the external environment recognition device 10. If the frequent model m2 has already been selected, the frequent model m2 continues to be selected. In this case, the image recognition model is not switched.
  • step S205 the model processing unit 32 selects the default model m1 as the image recognition model to be transferred to the external environment recognition device 10. If the default model m1 has already been selected, the default model m1 continues to be selected. In this case, the image recognition model is not switched.
  • FIG. 4 shows an example of a case where a frequent model m2 is extracted by focusing on a driving time zone.
  • the horizontal axis indicates the driving time zone (from 0:00 to 23:59), and the vertical axis indicates the number of transmissions of the driving time zone that is transmitted from the management server 100 in association with the image recognition model.
  • the width of the driving time zone is set to 1 hour. In the example of FIG. 4, the number of transmissions of the driving time zone from 20:00 to 21:00 is large, exceeding the threshold value of the number of transmissions (for example, 10 times).
  • the number of transmissions of the image recognition model associated with the driving time zone from 20:00 to 21:00 is large, exceeding the threshold value of the number of transmissions (for example, 10 times). Therefore, the receiving model m3 associated with the driving time zone from 20:00 to 21:00 is stored in the storage unit 31 as the frequent model m2.
  • the multiple image recognition models may be stored in the storage unit 31 as the frequent model m2.
  • only the reception model m3 associated with the driving time period with the highest number of transmissions may be stored as the frequent model m2 in the storage unit 31. The same applies to the road shape instead of the driving time period.
  • the example in FIG. 4 focuses on the number of transmissions, it is also possible to focus on the transmission ratio (the number of transmissions relative to the total number of transmissions, the threshold in this case is, for example, 50%).
  • FIG. 5 is a diagram showing an example of a flowchart of an evaluation process of an image recognition model used by the external environment recognition device 10.
  • the image recognition model used by the external environment recognition device 10 is the one transferred to the external environment recognition device 10 by the model processing unit 32.
  • the flowchart shown in FIG. 5 is described as being performed in step S108 in FIG. 2, but is not limited thereto. For example, as a step separate from step S108, a step of evaluating the image recognition model being used and instructing switching of the image recognition model based on the evaluation result may be provided.
  • the model processing unit 32 acquires external world recognition data from the external world recognition device 10.
  • the external world recognition data is the result of image recognition by the external world recognition device 10, and includes object detection/non-detection information, object type information for detected objects, object recognition rate, etc.
  • the model processing unit 32 acquires the external world recognition data in real time, but may also acquire external world recognition data for a predetermined period at a certain cycle. Note that if external world recognition data cannot be acquired from the external world recognition device 10 at the time of implementing the flowchart shown in FIG. 5 because the external world recognition device 10 is not performing external world recognition, etc., the flowchart shown in FIG. 5 is not implemented.
  • step S301 if the image recognition model used by the external environment recognition device 10 is the default model m1, the model processing unit 32 ends the flowchart in FIG. 5 without evaluating the image recognition model. If the image recognition model used by the external environment recognition device 10 is the frequent model m2 or the received model m3, the process proceeds to step S302.
  • step S302 the model processing unit 32 evaluates the image recognition model used by the external recognition device 10 based on the external recognition data, and determines whether or not to switch the image recognition model used by the external recognition device 10 to the default model m1 based on the evaluation result. Specifically, if the number of times that an object is repeatedly detected and not detected is equal to or exceeds a predetermined value (e.g., 5 times) based on the external recognition data, or if the number of times that the recognition result of the object type for the same object changes, such as an object recognized as a regular car changing to a motorcycle, bus, truck, etc., is equal to or exceeds a predetermined value (e.g., 5 times), the process proceeds to step S303; otherwise, the process proceeds to step S304.
  • a predetermined value e.g., 5 times
  • step S303 since it is determined that the accuracy of the frequent model m2 or the received model m3 is poor, the image recognition model being used is switched to the default model m1.
  • step S304 it is determined that there is no problem with the accuracy of the frequent model m2 or the received model m3, so the image recognition model being used continues to be used.
  • ⁇ Specific Situation> 6 shows an example of a situation with a good recognition rate.
  • the weather is fine
  • the driving time is daytime (8:00 to 16:00)
  • the road shape is a general road (urban street) with few obstacles
  • a pedestrian attempting to cross a crosswalk is detected in such an external environment. Since the situation shown in the example is not an external environment that is difficult to recognize, highly accurate recognition can be performed using the basic recognition model, and there is no need to transmit an image recognition model from the management server 100.
  • Figure 7 shows an example of a situation with a poor recognition rate.
  • the weather is rainy
  • the driving time is at night (7:00 p.m. to 8:00 a.m.)
  • the road shape is a general road (residential road) with puddles, and there is a pedestrian trying to cross the crosswalk in such an external environment.
  • the road is narrow and it is raining, and there is a concern that the recognition accuracy of the basic recognition model will decrease for pedestrians holding umbrellas.
  • the basic recognition model is additionally trained for this situation, there is a concern that it will affect situations with a good recognition rate. Therefore, by applying the image recognition model transmitted from the management server 100, the deterioration of recognition accuracy can be reduced.
  • the management server 100 analyzes the external environment of the vehicle 1 and transmits an appropriate image recognition model, it is possible to achieve a uniform effect for all vehicles without variation in the effects of the invention.
  • the evaluation may differ for each vehicle, and it is conceivable that the recognition accuracy of some vehicles may improve while that of others may deteriorate.
  • the management server analyze the external environment, a certain effect can be achieved for all vehicles, and it is also possible to easily change the method of analyzing the external environment.
  • FIG. 8A is a table showing an example of weather classification.
  • FIG. 8B is a table showing an example of driving time zone classification.
  • FIG. 8C is a table showing an example of road shape classification.
  • the model extraction unit 120 of the management server 100 determines the image recognition model to be sent to the vehicle 1 mainly based on a combination of weather, driving time zone, and road shape.
  • FIGS. 8A to 8C are just examples, and the number of combination elements may be increased, or the weather and driving time zone may be set in more detail. These classifications change depending on the granularity of the image recognition model to be sent.
  • FIG. 9 is a diagram for explaining the determination of whether or not to switch the image recognition model to be transmitted.
  • each row shows a combination of weather information 111, driving time zone information 112, and road shape information 113 output by the external environment analysis unit 110 of the management server 100.
  • the fourth column from the left indicates whether or not to switch the image recognition model to be transmitted to the vehicle 1. Since the weather and driving time zone have a significant effect on the image recognition model, these two elements are often the factors that determine the image recognition model. In addition, changes in the external environment due to puddles after rain and snow accumulation, and mountain roads with many steep gradients also affect the decision on the image recognition model.
  • the model extraction unit 120 of the management server 100 determines that it is necessary to switch the image recognition model when the driving time period is from 7 PM to 8 AM. Furthermore, when the driving time period is from 4 PM to 7 PM, the model extraction unit 120 determines that it is not necessary to switch the image recognition model to be transmitted if the weather is sunny, and determines that it is necessary to switch the image recognition model to be transmitted if the weather is cloudy. Furthermore, the model extraction unit 120 determines that it is necessary to switch the image recognition model to be transmitted if the weather is rainy or snowy. Furthermore, the model extraction unit 120 also determines that it is necessary to switch the image recognition model to be transmitted if the road shape is covered with snow. However, the method of determining whether to switch the image recognition model to be transmitted is not limited to these. For example, the determination method may change depending on the season, the area in which the vehicle is traveling, etc.
  • the present invention provides an image recognition model management device and an image recognition model management system that can select an image recognition model from a plurality of image recognition models according to the vehicle's external environment and transfer it to an external environment recognition device even when communication with the management server is not possible.
  • FIG. 10 is a diagram showing an example of the overall configuration of an image recognition model management system in Example 2. This system differs from Example 1 in that the image recognition model management device 30 includes a feedback unit 33. The following mainly describes the differences from Example 1.
  • the feedback unit 33 generates evaluation data 114 based on the evaluation results of the model processing unit 32 so that it can be analyzed by the external environment analysis unit 110 of the management server 100.
  • Figure 11 is a table showing an example of evaluation data.
  • the vehicle ID is unique for each vehicle and will not be duplicated.
  • the latitude, longitude, and direction are stored as information acquired from the GNSS receiver 20 of the vehicle 1.
  • the weather, driving time period, and road shape are based on information sent from the management server 100.
  • the object type and object recognition rate are stored as the evaluation results of the model processing unit 32.
  • the vehicle 1 transmits the information of the feedback unit 33 to the management server 100 via the vehicle-side transmission unit 22.
  • the management server side receiving unit 130 of the management server 100 receives the evaluation data 114 transmitted from the vehicle.
  • the external environment analysis unit 110 transmits the evaluation data 114 received by the management server side receiving unit 130 to the model extraction unit 120.
  • the model processing unit 32 selects the image recognition model (received model m3) transmitted by the management server 100, and the external environment recognition device 10 uses the received model m3. Therefore, when communication between the management server 100 and the vehicle 1 is established and the management server 100 transmits an image recognition model, the evaluation data 114 represents an evaluation of the image recognition model transmitted by the management server 100.
  • the model extraction unit 120 switches the image recognition model to be transmitted to another image recognition model and transmits it. Furthermore, the model extraction unit 120 links the evaluation data 114 to the corresponding image recognition model and stores it in the model database 121. For example, if image recognition model A and image recognition model B stored in the model database 121 are both suitable for similar weather information 111, driving time zone information 112, and road shape information 113, the evaluation data 114 can be used to select the one with the better object recognition rate, etc., and transmit it to the vehicle 1.
  • the management server 100 can transmit an image recognition model that is more suitable for the external environment of the vehicle. This can improve the accuracy of image recognition by the external environment recognition device 10.
  • the present invention is not limited to the above-described embodiments, and includes various modified examples.
  • the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described.
  • the above-described configurations, functions, processing units, processing means, etc. may be realized in hardware, in part or in whole, by designing, for example, an integrated circuit.
  • the above-described configurations, functions, etc. may be realized in software by a processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, files, etc. that realize each function can be stored in a memory, a recording medium such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

管理サーバと通信できない場合であっても、車両の周辺環境である外界環境に応じて複数の画像認識モデルから画像認識モデルを選択して外界認識装置に転送することができる画像認識モデル管理装置、および、画像認識モデル管理システム提供することを目的とする。上記目的を達成するために、本発明は、例えば、管理サーバから送信される画像認識モデルを外界認識装置に転送する画像認識モデル管理装置であって、予め設定された第１画像認識モデルと、前記管理サーバから所定の頻度以上送信された第２画像認識モデルと、を記憶している記憶部と、前記第１画像認識モデル、又は前記第２画像認識モデルを選択して前記外界認識装置に転送するモデル処理部と、を備え、前記モデル処理部は、前記外界認識装置による画像認識の結果を表す外界認識データに基づき、前記外界認識装置に転送する画像認識モデルを切り替える。

Description

画像認識モデル管理装置、および、画像認識モデル管理システム
　本発明は、画像認識モデル管理装置、および、画像認識モデル管理システムに関する。
　自動車の運転支援システムや自動運転システムを実現するために技術開発が進められており、車両などの移動体に搭載される外界認識装置は、自車周辺に存在する静止物体、移動物体、道路標識、白線などを認識するが、外界の環境によって認識精度の低下を招くことが知られている。
　この問題に対して、例えば特許文献１に記載の技術がある。特許文献１には、段落００１１に「サーバ２００は、端末にクラウドサービスを提供するためのクラウドサーバであり、本実施例では、クラウド２０１に格納された複数の認識モデルの中から移動体Ｖｅの周辺環境を認識するのに適した認識モデルを選定して移動体Ｖｅに供給する。移動体Ｖｅは、サーバ２００から供給された認識モデルを用いて周辺環境の物体認識を行い、ＡＤＡＳやＡＤを行う」ことが記載されている。
特開２０２２－１７６８１６号公報
　しかしながら、特許文献１に記載された運転支援システムでは、サーバ２００から認識モデルを供給された後に、移動体Ｖｅがサーバ２００と通信できなくなった場合、移動体Ｖｅの周辺環境が変化したとしても、サーバ２００から新たな認識モデルが供給されない。そのため、この場合、移動体Ｖｅは周辺環境に適していない認識モデルを使用することになるという課題があった。
　そこで、本発明は、上記課題を解決するために、管理サーバと通信できない場合であっても、車両の周辺環境である外界環境に応じて複数の画像認識モデルから画像認識モデルを選択して外界認識装置に転送することができる画像認識モデル管理装置、および、画像認識モデル管理システム提供することを目的とする。
　上記目的を達成するために、本発明の画像認識モデル管理装置は、例えば、管理サーバから送信される画像認識モデルを外界認識装置に転送する画像認識モデル管理装置であって、予め設定された第１画像認識モデルと、前記管理サーバから所定の頻度以上送信された第２画像認識モデルと、を記憶している記憶部と、前記第１画像認識モデル、又は前記第２画像認識モデルを選択して前記外界認識装置に転送するモデル処理部と、を備え、前記モデル処理部は、前記外界認識装置による画像認識の結果を表す外界認識データに基づき、前記外界認識装置に転送する画像認識モデルを切り替える。
　また、本発明の画像認識モデル管理システムは、例えば、車両の外界環境に応じた画像認識モデルを送信する管理サーバと、前記管理サーバから送信された前記画像認識モデルを外界認識装置に転送する画像認識モデル管理装置と、を備える画像認識モデル管理システムであって、前記管理サーバは、前記車両の外界環境情報毎の画像認識モデルが格納されているモデルデータベースと、前記車両の現在位置情報に基づいて、前記車両の外界環境情報を生成する外界環境解析部と、前記現在位置情報から生成した前記外界環境情報に応じた画像認識モデルを前記モデルデータベースから抽出するモデル抽出部と、抽出した前記画像認識モデルを前記画像認識モデル管理装置に送信する送信部と、を備え、前記画像認識モデル管理装置は、予め設定された第１画像認識モデルと、前記管理サーバから所定の頻度以上送信された第２画像認識モデルと、を記憶している記憶部と、前記第１画像認識モデル、又は前記第２画像認識モデルを選択して前記外界認識装置に転送するモデル処理部と、を備え、前記モデル処理部は、前記外界認識装置による画像認識の結果を表す外界認識データに基づき、前記外界認識装置に転送する画像認識モデルを切り替える。
　本発明によれば、管理サーバと通信できない場合であっても、車両の外界環境に応じて複数の画像認識モデルから画像認識モデルを選択して外界認識装置に転送することができる画像認識モデル管理装置、および、画像認識モデル管理システム提供することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１の画像認識モデル管理システムの全体構成の一例を示す図である。 画像認識モデル管理システムが実施する処理のフローチャートの一例を示す。 画像認識モデルの選択処理のフローチャートの一例を示す図である。 頻出モデルの抽出を説明する図である。 使用画像認識モデルの評価処理のフローチャートの一例を示す図である。 認識率の良い外界環境シチュエーション例を示す図である。 認識率の悪い外界環境シチュエーション例を示す図である。 天候の分類の一例を示す表である。 走行時間帯の分類の一例を示す表である。 道路形状の分類の一例を示す表である。 外界環境シチュエーションパターン例 実施例２の画像認識モデル管理システムの全体構成の一例を示す図である。 評価データの一例を示す表である。
　以下、本発明を実施するための形態について図面を参照して説明する。
　図１は、実施例１の画像認識モデル管理システムの全体構成の一例を示す図である。画像認識モデル管理システムは、車両１と、管理サーバ１００とを備える。
　＜管理サーバ１００＞
　管理サーバ１００は、画像認識を行う外界認識装置１０が使用する画像認識モデルの切り替え要否を車両１の現在位置情報に基づいて判断し、管理サーバ１００が保持している画像認識モデルへの切り替えが必要だと判断した場合に、車両に対して画像認識モデルを送信する装置である。すなわち、管理サーバ１００は、車両の外界環境に応じた画像認識モデルを画像認識モデル管理装置に送信する装置である。具体的には、管理サーバ１００は、外界環境解析部１１０と、モデル抽出部１２０と、モデルデータベース１２１と、管理サーバ側受信部１３０と、管理サーバ側送信部１３１と、を備える。
　＜＜管理サーバ側受信部１３０＞＞
　管理サーバ側受信部１３０は、画像認識モデルを送信する車両の現在位置情報を取得する。現在位置情報には、車両１の現在位置の他に現在時刻も含まれる。
　＜＜外界環境解析部１１０＞＞
　外界環境解析部１１０は、例えばインターネット等の公衆通信網を用いて天候の情報を収集し、車両１の現在位置の天候情報１１１（晴れ、曇り、雨、雪、雷雨など）を生成する。外界環境解析部１１０は、天候情報１１１を収集する手段として、ＷＡＮ（Wide Area Network）、電話通信網等の無線通信網のその他の通信網を含んでもよい。
　外界環境解析部１１０は、予め設定された複数の走行時間帯のうち、現在時刻が含まれる走行時間帯を走行時間帯情報１１２として生成する。
　外界環境解析部１１０は、地図情報等と、車両から通知される現在位置とに基づき、車両１の現在位置周辺の道路形状情報１１３を生成する。地図情報は管理サーバ１００が不揮発性記憶領域に予め保持していてもよいし、あるいは、インターネット等の公衆通信網から取得してもよい。
　そして、外界環境解析部１１０は、生成した天候情報１１１、走行時間帯情報１１２、および道路形状情報１１３をモデル抽出部１２０に送信する。なお、天候情報１１１、走行時間帯情報１１２、および道路形状情報１１３は、車両１の外界環境情報の一例であり、これに限定されない。
　＜＜モデル抽出部１２０＞＞
　モデル抽出部１２０は、外界環境解析部１１０が送信した天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３に基づいて、車両１の現在位置の外界環境に適した画像認識モデルをモデルデータベース１２１から抽出する。
　＜＜モデルデータベース１２１＞＞
　モデルデータベース１２１は、現在位置の周辺環境を認識するための複数の画像認識モデルが格納されている。格納されている画像認識モデルは天候や走行時間帯、道路形状にあわせて学習した画像認識モデル群である。
　＜＜管理サーバ側送信部１３１＞＞
　管理サーバ側送信部１３１は、モデル抽出部１２０が抽出した画像認識モデルを車両１に送信する。この際、画像認識モデルの抽出に用いた天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３を画像認識モデルに紐づけて送信する。
　管理サーバ１００が天候情報１１１、走行時間帯情報１１２、道路形状情報１１３等の外界環境情報に応じた画像認識モデルを送信することで、外界認識装置１０は、天候、車両周辺の昼夜の環境、走行環境等に適した画像認識モデルを用いて画像認識を行うことができる。
　＜車両１＞
　車両１は、外界認識装置１０と、ＧＮＳＳ（Global Navigation Satellite System）受信機２０と、自車位置受信部２１と、車両側送信部２２と、車両側受信部２３と、画像認識モデル管理装置３０と、を備える。
　＜＜外界認識装置１０＞＞
　外界認識装置１０は、車両１に搭載された撮像素子を用いたカメラセンサによる外界の観測結果に対して画像認識モデルを用いて画像認識を行い、車両１の周囲に存在する移動物体（歩行者、自転車、自動二輪車、自動四輪車、バス、トラックなど）や道路構造物（パイロン、工事用看板、道路標識、路面標識、信号機など）、道路状況（道路幅、路面状態など）等の外界認識データを生成する。そして、外界認識装置１０は、外界認識データを画像認識モデル管理装置３０のモデル処理部３２に送信する。
　＜＜ＧＮＳＳ受信機２０＞＞
　ＧＮＳＳ受信機２０は、ＧＮＳＳを構成する測位衛星から送信される航法信号を受信する。ＧＮＳＳ受信機２０は、航法信号及び当該信号の搬送波に基づき観測データを生成する。ＧＮＳＳ受信機２０は、観測データを自車位置受信部２１に逐次出力する。
　＜＜自車位置受信部２１、車両側送信部２２＞＞
　自車位置受信部２１は、ＧＮＳＳ受信機２０から出力された観測データに基づいて現在位置や現在時刻を含む現在位置情報を生成し、車両側送信部２２を介して管理サーバ１００に車両１の現在位置情報を逐次出力する。管理サーバ１００に対する車両１の現在位置情報の出力は、画像認識モデルの送信タイミングに関するため、現在位置情報の出力の周期を短くして画像認識モデルの更新頻度を増やす、または周期を長くすることで画像認識モデルの更新頻度を減らすなどをしてもよい。
　＜＜画像認識モデル管理装置３０＞＞
　画像認識モデル管理装置３０は、マイコンを備える。マイコンは、記憶装置に格納されたプログラムを実行するプロセッサ（例えばＣＰＵ）である。マイコンが所定のプログラムを実行することによって、各種機能を提供する機能部として動作する。記憶装置は不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、マイコンが実行するプログラムを格納するプログラム領域と、マイコンがプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、マイコンがプログラム実行時に使用するデータを格納する。通信インターフェースは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。本実施例の画像認識モデル管理装置３０は、記憶部３１（例えば、前述の記憶装置）と、モデル処理部３２（例えば、前述のプロセッサ）とを備える。
　＜＜記憶部３１＞＞
　記憶部３１は、デフォルトモデルｍ１（第１画像認識モデル）と、頻出モデルｍ２（第２画像認識モデル）と、受信モデルｍ３（第３画像認識モデル）と、を記憶する。
　デフォルトモデルｍ１は、予め記憶部３１に設定された画像認識モデルであり、外界認識装置１０が用いる基本的な画像認識モデルとして不揮発性記憶領域に格納される。イグニッションスイッチがオンされた直後はこの画像認識モデルが使用される。
　受信モデルｍ３は、管理サーバ１００から車両側受信部２３が受信する画像認識モデルである。車両側受信部２３は、受信した画像認識モデルを受信モデルｍ３として記憶部３１に格納する。この際、受信モデルｍ３に紐づく天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３も併せて記憶部３１に格納する。なお、管理サーバ１００からの送信は無線通信が確立しているときに行われるため、無線通信が確立できない状況では受信モデルｍ３が現在の外界環境に則していない画像認識モデルである可能性があることを考慮し、受信モデルｍ３、並びに、受信モデルｍ３に紐づく天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３は揮発性記憶領域に格納される。
　頻出モデルｍ２は、管理サーバ１００から画像認識モデルが送信される頻度の多い走行時間帯又は道路形状における受信モデルｍ３であり、不揮発性記憶領域に格納される。頻度の多さの判断の詳細については後述する。なお、不揮発性記憶領域に記憶された頻出モデルｍ２はユーザー側から消去することができる。また、プリセットメモリとして保存しておき、ユーザー側から選択させてもよい。
　なお、本実施例では、図１に示すように、デフォルトモデルｍ１、頻出モデルｍ２、及び受信モデルｍ３のそれぞれが１つずつ記憶部３１に格納される例について説明するが、これに限定されない。例えば、デフォルトモデルｍ１、頻出モデルｍ２および受信モデルｍ３のいずれかが複数格納されてもよい。また、画像認識モデルが管理サーバ１００から送信されていない場合は、記憶部３１は受信モデルｍ３が格納されない。
＜＜モデル処理部３２＞＞
　モデル処理部３２は、記憶部３１に格納されている画像認識モデルから外界認識装置１０に転送する画像認識モデルを選択し、外界認識装置１０に転送する。また、管理サーバ１００から画像認識モデルが送信される頻度の多い走行時間帯又は道路形状における受信モデルｍ３を頻出モデルｍ２として記憶部３１に格納する。さらに、外界認識装置１０からの外界認識データに基づき、外界認識装置１０が使用する画像認識モデルの評価を行う。モデル処理部３２が行う具体的な処理については図３～図５を用いて後述する。
　＜フローチャート＞
　図２は、画像認識モデル管理システムが実施する処理のフローチャートの一例を示す。イグニッションスイッチがオンになったら、ステップＳ１００に進む。
　ステップＳ１００では、車両１の自車位置受信部２１は、ＧＮＳＳ受信機２０の観測データに基づき現在位置情報を生成する。
　ステップＳ１０１では、車両１は、管理サーバ１００と無線通信が確立できているかを判定する。なお、無線通信の確立の判定は、例えば、車両１から管理サーバ１００に対して通信要求を送信し、管理サーバ１００からの応答を確認することにより行う。無線通信が確立できている場合には、ステップＳ１０２に進む。無線通信が確立できていない場合には、ステップＳ１０８に進む。
　ステップＳ１０２では、車両１は、自車位置受信部２１で生成した現在位置情報を管理サーバ１００に送信する。
　ステップＳ１０３では、管理サーバ１００の外界環境解析部１１０は、車両１から受信した現在位置情報に基づいて、天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３を生成する。
　ステップＳ１０４では、管理サーバ１００のモデル抽出部１２０は、画像認識モデルの切り替えの要否を判断する。画像認識モデルの切り替えが必要と判断した場合は、ステップＳ１０５に進み、画像認識モデルの切り替えが不要と判断した場合は、ステップＳ１０８に進む。
　ステップＳ１０５では、管理サーバ１００のモデル抽出部１２０は、天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３に基づき、車両１に送信する画像認識モデルをモデルデータベース１２１より抽出する。
　ステップＳ１０６では、管理サーバ１００の管理サーバ側送信部１３１は、ステップＳ１０５で抽出した画像認識モデルを車両１に送信する。
　ステップＳ１０７では、車両１は、管理サーバ１００から送信された画像認識モデルを受信する。
　ステップＳ１０８では、車両１のモデル処理部３２は、記憶部３１に格納されている画像認識モデルから外界認識装置１０に転送する画像認識モデルを選択する。また、モデル処理部３２は、管理サーバ１００から画像認識モデルが送信される頻度の多い走行時間帯又は道路形状における受信モデルｍ３を頻出モデルｍ２として記憶部３１に格納する。また、モデル処理部３２は、外界認識装置１０からの外界認識データに基づき、外界認識装置１０が使用している画像認識モデルの評価を行う。
　ステップＳ１０９では、車両１のモデル処理部３２は、ステップＳ１０８で抽出した画像認識モデルを外界認識装置１０に転送する。
　ステップＳ１１０では、車両１の外界認識装置１０は、ステップＳ１０９で転送された画像認識モデルを適用する。
　＜＜転送する画像認識モデルの選択＞＞
　ここで、ステップＳ１０８における画像認識モデルの選択について図３を用いて説明する。図３は、画像認識モデルの選択処理のフローチャートの一例を示す図である。
　ステップＳ２００では、車両１は、管理サーバ１００と無線通信が確立できているかを判定する。無線通信の確立の判定は、図２のステップＳ１０１と同様である。無線通信が確立できている場合には、ステップＳ２０１に進み、無線通信が確立できていない場合には、ステップＳ２０３に進む。
　ステップＳ２０１では、モデル処理部３２は、管理サーバ１００から車両１へ画像認識モデルが送信されているかを確認する。具体的には、モデル処理部３２は、記憶部３１に受信モデルｍ３が格納されているかを確認する。記憶部３１に受信モデルｍ３が格納されている場合は、外界環境に適した画像認識モデルが格納されていることになるので、ステップＳ２０２に進む。記憶部３１に受信モデルｍ３が格納されていない場合は、外界環境に適した画像認識モデルが格納されていないことになるので、ステップＳ２０３に進む。
　ステップＳ２０２では、モデル処理部３２は、外界認識装置１０に転送する画像認識モデルとして受信モデルｍ３を選択する。既に受信モデルｍ３を選択している場合、継続して受信モデルｍ３を選択する。この場合、画像認識モデルの切り替えは行われない。
　ステップＳ２０３では、モデル処理部３２は、記憶部３１に頻出モデルｍ２が格納されているかを確認する。頻出モデルｍ２が格納されている場合、ステップＳ２０４に進み、頻出モデルｍ２が格納されていない場合、ステップＳ２０５に遷移する。
　ステップＳ２０４では、モデル処理部３２は、外界認識装置１０に転送する画像認識モデルとして、頻出モデルｍ２を選択する。既に頻出モデルｍ２を選択している場合、継続して頻出モデルｍ２を選択する。この場合、画像認識モデルの切り替えは行われない。
　ステップＳ２０５では、モデル処理部３２は、外界認識装置１０に転送する画像認識モデルとして、デフォルトモデルｍ１を選択する。既にデフォルトモデルｍ１を選択している場合、継続してデフォルトモデルｍ１を選択する。この場合、画像認識モデルの切り替えは行われない。
　＜＜頻出モデルの抽出＞＞
　モデル処理部３２が行う頻出モデルの抽出について図４を用いて説明する。図４は、走行時間帯に着目し、頻出モデルｍ２を抽出する場合についての例を示している。図４では、横軸が走行時間帯（０時から２３時５９分）を示し、縦軸は管理サーバ１００から画像認識モデルに紐づけて送信される走行時間帯の送信回数を示している。なお、図４においては、走行時間帯の幅を１時間としている。図４の例では、２０時から２１時の走行時間帯の送信回数が多く、送信回数の閾値（例えば１０回）を超えている。すなわち、２０時から２１時の走行時間帯に紐づく画像認識モデルの送信回数が多く、送信回数の閾値（例えば１０回）を超えている。そのため、２０時から２１時の走行時間帯に紐づく受信モデルｍ３を頻出モデルｍ２として記憶部３１に格納する。閾値を超える走行時間帯が複数あり、画像認識モデルも複数となった場合、複数の画像認識モデルを頻出モデルｍ２として記憶部３１に格納してもよい。あるいは、最も送信回数の多い走行時間帯に紐づく受信モデルｍ３のみを頻出モデルｍ２として記憶部３１に格納してもよい。走行時間帯の代わりに道路形状に関しても同様である。また、図４の例では送信回数に着目しているが、送信割合（全送信回数に対する送信回数、この場合の閾値は例えば５０％）に着目してもよい。
　＜＜外界認識装置１０が使用している画像認識モデルの評価＞＞
　モデル処理部３２は、外界認識装置１０からの外界認識データに基づき、外界認識装置１０が使用している画像認識モデルの評価を行う。図５は、外界認識装置１０が使用している画像認識モデルの評価処理のフローチャートの一例を示す図である。なお、外界認識装置１０使用している画像認識モデルとは、モデル処理部３２が外界認識装置１０に転送したものである。なお、図５に示すフローチャートは、図２のステップＳ１０８の中で行われるものとして説明するが、これに限定されない。例えば、ステップＳ１０８とは別のステップとして、使用している画像認識モデルを評価し、評価結果に基づき、画像認識モデルの切り替えを指示するステップを備えてもよい。
　ステップＳ３００では、モデル処理部３２は、外界認識装置１０から外界認識データを取得する。外界認識データとは、外界認識装置１０による画像認識の結果であり、物体の検知不検知情報や、検知した物体に対する物体種別情報、物体認識率等が含まれる。モデル処理部３２は、外界認識データをリアルタイムに取得することとするが、ある周期毎に所定期間の外界認識データをまとめて取得してもよい。なお、図５に示すフローチャートを実施する時点において、外界認識装置１０が外界認識を行っていない等の理由により外界認識装置１０から外界認識データを取得できない場合は、図５に示すフローチャートを行わない。
　ステップＳ３０１では、モデル処理部３２は、外界認識装置１０が使用している画像認識モデルがデフォルトモデルｍ１であれば、画像認識モデルの評価を行わずに図５のフローチャートを終了する。外界認識装置１０が使用している画像認識モデルが頻出モデルｍ２、または受信モデルｍ３の場合、ステップＳ３０２に進む。
　ステップＳ３０２では、モデル処理部３２は、外界認識データに基づき、外界認識装置１０が使用している画像認識モデルを評価し、評価結果に基づき、外界認識装置１０が使用している画像認識モデルをデフォルトモデルｍ１に切り替えるか否かを判断する。具体的には、外界認識データに基づき、物体に対する検知と不検知の繰り返し回数が所定値（例えば５回）以上である場合、あるいは普通車として認識していた物体が自動二輪車やバス、トラックなどに変化する等の同一物体に対する物体種別の認識結果の変化の回数が所定値（例えば５回）以上である場合に、ステップＳ３０３に進み、そうでない場合にはステップＳ３０４に進む。
　ステップＳ３０３では、頻出モデルｍ２、または受信モデルｍ３の精度が悪いと判断したことになるので、使用している画像認識モデルをデフォルトモデルｍ１に切り替える。
　ステップＳ３０４では、頻出モデルｍ２、または受信モデルｍ３の精度に問題なしと判断したことになるので、使用している画像認識モデルを継続使用する。
　＜具体的なシチュエーション＞
　図６は、認識率の良いシチュエーションの例を示している。天候は晴れ、走行時間帯は昼（８時～１６時）であるとし、道路形状は障害物が少ない一般道（市街路）であり、このような外界環境において横断歩道を横断しようとしている歩行者を検知している状況である。例に示した状況は、認識困難な外界環境ではないため、基本となる認識モデルで高精度な認識を行うことができ、管理サーバ１００から画像認識モデルの送信を行う必要はない。
　図７は、認識率の悪いシチュエーションの例を示している。天候は雨、走行時間帯は夜（１９時～８時）、道路形状は水溜まりのある一般道（生活道路）をであり、このような外界環境において横断歩道を横断しようとしている歩行者がいる状況である。道も狭く雨が降っている環境下であり、傘をさしている歩行者に対して、基本となる認識モデルでは認識精度の低下が懸念される。また、基本となる認識モデルにこのシチュエーションを追加学習させようとすると、認識率の良いシチュエーションに影響することが懸念される。そのため、管理サーバ１００から送信される画像認識モデルを適用することで、認識精度の悪化を低減することができる。また、車両１に全ての画像認識モデルを対応することは記憶容量面、コスト面や処理負荷を増大させる要因になるため、最低限の画像認識モデルを使用しつつ、認識精度の悪化を低減する効果が得られる。ただし、急な雷雨や豪雨、倒木や落下物、事故が目の前で起きるといった突発的な事故に対しては、管理サーバ１００からの画像認識モデルの送信が間に合わないことがある。そのため、使用している画像認識モデルの評価を行うことで、可能な限り物体認識精度の悪化を低減する。本発明は管理サーバ１００で車両１の外界環境を解析し、適切な画像認識モデルの送信を行うことの効果として、発明効果のばらつきがなく、全ての車両に対して同様の効果をもたらすことが可能になる。車両１が外界環境を解析した場合、車両毎に評価が異なることもあり、ある車両では認識精度が向上することもあれば、ある車両では悪化することが考えられる。その点、管理サーバが外界環境を解析することで全ての車両において一定の効果を得ることができること、さらに外界環境解析の手法を変更することも容易に可能となる。
　図８Ａは、天候の分類の一例を示す表である。図８Ｂは、走行時間帯の分類の一例を示す表である。図８Ｃは、道路形状の分類の一例を示す表である。管理サーバ１００のモデル抽出部１２０は、主に天候、走行時間帯、道路形状の組み合わせに基づき、車両１に送信する画像認識モデルを決定する。図８Ａ～図８Ｃは一例であり、組み合わせの要素を増やしてもよいし、天候や走行時間帯を細かく設定してもよい。送信する画像認識モデルの粒度によってこれらの分類は変わる。
　図９は、送信する画像認識モデルの切り替え要否判断を説明する図である。図９では、管理サーバ１００の外界環境解析部１１０が出力する天候情報１１１、走行時間帯情報１１２、および、道路形状情報１１３の組み合わせを各行に示している。そして、左から４列目に、車両１に送信する画像認識モデルの切り替えの要否を記載している。画像認識モデルにとって、天候と走行時間帯は大きく影響されるため、この二つの要素で画像認識モデルを決定することが多くなる。また、雨上がりによる水溜まりや積雪による外界環境の変化、急勾配の多い山岳路も画像認識モデルの決定に関わる。
　例えば、管理サーバ１００のモデル抽出部１２０は、走行時間帯が１９時から８時である場合は、画像認識モデルの切り替えが必要と判断する。また、モデル抽出部１２０は、走行時間帯が１６時から１９時である場合は、天候が晴れであるときは、送信する画像認識モデルの切り替えが必要ないと判断し、天候が曇りであるときは、送信する画像認識モデルの切り替えが必要と判断する。また、モデル抽出部１２０は、天候が雨または雪である場合は、送信する画像認識モデルの切り替えが必要と判断する。また、モデル抽出部１２０は、道路形状が積雪である場合も、送信する画像認識モデルの切り替えが必要と判断する。ただし、送信する画像認識モデルの切り替え判断の方法は、これらに限定されない。例えば、季節や走行する地域等によって判断方法が変わってもよい。
　本発明によれば、管理サーバと通信できない場合であっても、車両の外界環境に応じて複数の画像認識モデルから画像認識モデルを選択して外界認識装置に転送することができる画像認識モデル管理装置、および、画像認識モデル管理システム提供することができる。
　また、管理サーバ側で外界環境の解析及び認識モデルを提供することによって、車両毎の評価で発生するばらつきを軽減することが可能となる。
　図１０は、実施例２における画像認識モデル管理システムの全体構成の一例を示す図である。画像認識モデル管理装置３０がフィードバック部３３を備える点が実施例１と異なる。以下では、主に実施例１と異なる点について説明する。
　実施例１は、管理サーバ１００から送信される画像認識モデルの適用及び評価を行うことを想定したものであった。これに対し、本実施例では、管理サーバ１００から車両１に送信された画像認識モデルの評価結果を管理サーバ１００にフィードバックすることを想定している。そのため、本実施例では、管理サーバ１００と車両１の間の無線通信は確率されていることを前提とする。
　フィードバック部３３は、モデル処理部３２の評価結果に基づいて、管理サーバ１００の外界環境解析部１１０で解析できるように評価データ１１４を生成する。
　図１１は、評価データの一例を示す表である。車両ＩＤは車両毎にユニークであり、重複することはない。緯度、経度、方位は車両１のＧＮＳＳ受信機２０から取得した情報を格納する。天候、走行時間帯、道路形状は管理サーバ１００から送信される情報に基づいている。物体種別と物体認識率はモデル処理部３２の評価結果を格納する。車両１は、フィードバック部３３の情報について、車両側送信部２２を介して管理サーバ１００に送信する。
　管理サーバ１００の管理サーバ側受信部１３０は、車両から送信された評価データ１１４を受信する。外界環境解析部１１０は、管理サーバ側受信部１３０が受信した評価データ１１４をモデル抽出部１２０に送信する。なお、管理サーバ１００と車両１の通信が確立しており、管理サーバ１００が画像認識モデルを送信している場合、図３のフローチャートに示すように、モデル処理部３２は管理サーバ１００が送信した画像認識モデル（受信モデルｍ３）を選択するため、外界認識装置１０は、受信モデルｍ３を使用することになる。そのため、管理サーバ１００と車両１の通信が確立しており、管理サーバ１００が画像認識モデルを送信している場合における評価データ１１４は、管理サーバ１００が送信する画像認識モデルに対する評価を表すことになる。
　モデル抽出部１２０は、例えば、評価データ１１４に含まれる物体認識率が所定値以下の場合に、送信する画像認識モデルを他の画像認識モデルに切り替えて送信する。また、モデル抽出部１２０は、評価データ１１４を、これに対応する画像認識モデルと紐づけてモデルデータベース１２１に記憶させる。例えば、モデルデータベース１２１が記憶する画像認識モデルＡと、画像認識モデルＢとのいずれもが同じような天候情報１１１、走行時間帯情報１１２、道路形状情報１１３に適している場合には、評価データ１１４を用いることで物体認識率等が良いものを選択して車両１に送信することができる。
　したがって、本実施例によれば、管理サーバ１００は、車両の外界環境により適した画像認識モデルを送信することができる。そして、外界認識装置１０による画像認識の精度を向上させることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定するものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録媒体、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１…車両、１０…外界認識装置、２０…ＧＮＳＳ受信機、２１…自車位置受信部、２２…車両側送信部、２３…車両側受信部、３０…画像認識モデル管理装置、３１…記憶部、３２…モデル処理部、３３…フィードバック部、ｍ１…デフォルトモデル、ｍ２…頻出モデル、ｍ３…受信モデル、１００…管理サーバ、１１０…外界環境解析部、１１１…天候情報、１１２…走行時間帯情報、１１３…道路形状情報、１１４…評価データ、１２０…モデル抽出部、１２１…モデルデータベース、１３０…管理サーバ側受信部、１３１…管理サーバ側送信部

Claims (7)

  1. 　管理サーバから送信される画像認識モデルを外界認識装置に転送する画像認識モデル管理装置であって、
    　予め設定された第１画像認識モデルと、前記管理サーバから所定の頻度以上送信された第２画像認識モデルと、を記憶している記憶部と、
    　前記第１画像認識モデル、又は前記第２画像認識モデルを選択して前記外界認識装置に転送するモデル処理部と、を備え、
    　前記モデル処理部は、前記外界認識装置による画像認識の結果を表す外界認識データに基づき、前記外界認識装置に転送する画像認識モデルを切り替える
    　ことを特徴とする画像認識モデル管理装置。
  2. 　請求項１に記載の画像認識モデル管理装置であって、
    　前記モデル処理部は、前記第２画像認識モデルを使用している前記外界認識装置から前記外界認識データを取得し、前記外界認識データに基づき、前記第２画像認識モデルを評価し、評価結果に基づき、前記外界認識装置に転送する画像認識モデルを前記第１画像認識モデルに切り替える
    ことを特徴とする画像認識モデル管理装置。
  3. 　請求項２に記載の画像認識モデル管理装置であって、
    　前記モデル処理部は、前記外界認識データに基づき、物体に対する検知と不検知の繰り返し回数が所定値以上であると判断した場合に、あるいは、同一の物体に対する物体種別の認識結果の変更回数が所定値以上であると判断した場合に、前記外界認識装置に転送する画像認識モデルを前記第１画像認識モデルに切り替える
    ことを特徴とする画像認識モデル管理装置。
  4. 　請求項１に記載の画像認識モデル管理装置であって、
    　車両の現在位置における道路形状情報と、前記車両の走行時間帯情報と、前記道路形状情報及び前記走行時間帯情報に適した画像認識モデルと、を前記管理サーバから受信する車両側受信部を備え、
    　前記モデル処理部は、前記道路形状情報毎に、又は前記走行時間帯情報毎に前記管理サーバから送信される回数を計測し、送信回数が多い道路形状情報又は走行時間帯情報に適した画像認識モデルを前記第２画像認識モデルとして前記記憶部に格納する
    　ことを特徴とする画像認識モデル管理装置。
  5. 　請求項１に記載の画像認識モデル管理装置であって、
    　前記記憶部は、前記管理サーバから送信される画像認識モデルを第３画像認識モデルとして記憶し、
    　前記モデル処理部は、前記第３画像認識モデルが前記記憶部に記憶されている場合は、前記第３画像認識モデルを選択して前記外界認識装置に転送する
    ことを特徴とする画像認識モデル管理装置。
  6. 　請求項５に記載の画像認識モデル管理装置であって、
    　前記モデル処理部は、前記第２画像認識モデル又は前記第３画像認識モデルを使用している前記外界認識装置から外界認識データを取得し、前記外界認識データに基づき、前記外界認識装置が使用している画像認識モデルを評価し、評価結果に基づき、前記外界認識装置に転送する画像認識モデルを前記第１画像認識モデルに切り替える
    ことを特徴とする画像認識モデル管理装置。
  7. 　車両の外界環境に応じた画像認識モデルを送信する管理サーバと、前記管理サーバから送信された前記画像認識モデルを外界認識装置に転送する画像認識モデル管理装置と、を備える画像認識モデル管理システムであって、
    　前記管理サーバは、
    　　前記車両の外界環境情報毎の画像認識モデルが格納されているモデルデータベースと、
    　　前記車両の現在位置情報に基づいて、前記車両の外界環境情報を生成する外界環境解析部と、
    　　前記現在位置情報から生成した前記外界環境情報に応じた画像認識モデルを前記モデルデータベースから抽出するモデル抽出部と、
    　　抽出した前記画像認識モデルを前記画像認識モデル管理装置に送信する送信部と、を備え、
    　前記画像認識モデル管理装置は、
    　　予め設定された第１画像認識モデルと、前記管理サーバから所定の頻度以上送信された第２画像認識モデルと、を記憶している記憶部と、
    　　前記第１画像認識モデル、又は前記第２画像認識モデルを選択して前記外界認識装置に転送するモデル処理部と、を備え、
    　　前記モデル処理部は、前記外界認識装置による画像認識の結果を表す外界認識データに基づき、前記外界認識装置に転送する画像認識モデルを切り替える
    ことを特徴とする画像認識モデル管理システム。
PCT/JP2023/021444 2023-06-09 2023-06-09 画像認識モデル管理装置、および、画像認識モデル管理システム Ceased WO2024252647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2025525892A JP7887575B2 (ja) 2023-06-09 2023-06-09 画像認識モデル管理装置、および、画像認識モデル管理システム
PCT/JP2023/021444 WO2024252647A1 (ja) 2023-06-09 2023-06-09 画像認識モデル管理装置、および、画像認識モデル管理システム
DE112023005281.6T DE112023005281T5 (de) 2023-06-09 2023-06-09 Bilderkennungsmodell-Verwaltungsvorrichtung und Bilderkennungsmodell-Verwaltungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021444 WO2024252647A1 (ja) 2023-06-09 2023-06-09 画像認識モデル管理装置、および、画像認識モデル管理システム

Publications (1)

Publication Number Publication Date
WO2024252647A1 true WO2024252647A1 (ja) 2024-12-12

Family

ID=93795511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021444 Ceased WO2024252647A1 (ja) 2023-06-09 2023-06-09 画像認識モデル管理装置、および、画像認識モデル管理システム

Country Status (3)

Country Link
JP (1) JP7887575B2 (ja)
DE (1) DE112023005281T5 (ja)
WO (1) WO2024252647A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
JP2017168093A (ja) * 2016-02-29 2017-09-21 株式会社リコー 物理的シーンモデルの構築方法及び装置、運転支援方法及び装置
JP2019154027A (ja) * 2018-03-02 2019-09-12 富士通株式会社 ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
WO2020090251A1 (ja) * 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP2020126535A (ja) * 2019-02-06 2020-08-20 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2021033048A (ja) * 2019-08-23 2021-03-01 サウンドハウンド，インコーポレイテッド 車載装置、発声を処理する方法およびプログラム
JP2023043957A (ja) * 2021-09-17 2023-03-30 株式会社デンソーテン 車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
JP2017168093A (ja) * 2016-02-29 2017-09-21 株式会社リコー 物理的シーンモデルの構築方法及び装置、運転支援方法及び装置
JP2019154027A (ja) * 2018-03-02 2019-09-12 富士通株式会社 ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
WO2020090251A1 (ja) * 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP2020126535A (ja) * 2019-02-06 2020-08-20 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2021033048A (ja) * 2019-08-23 2021-03-01 サウンドハウンド，インコーポレイテッド 車載装置、発声を処理する方法およびプログラム
JP2023043957A (ja) * 2021-09-17 2023-03-30 株式会社デンソーテン 車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法

Also Published As

Publication number Publication date
DE112023005281T5 (de) 2025-11-20
JP7887575B2 (ja) 2026-07-09
JPWO2024252647A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
US11537133B2 (en) Dynamic routing for autonomous vehicles
US11257377B1 (en) System for identifying high risk parking lots
US11435751B2 (en) Vehicle-based road obstacle identification system
US11373524B2 (en) On-board vehicle stop cause determination system
US10990105B2 (en) Vehicle-based virtual stop and yield line detection
JP6872959B2 (ja) 通信システム、車両搭載器及びプログラム
US20200211370A1 (en) Map editing using vehicle-provided data
US9404763B2 (en) Departure/destination location extraction apparatus and departure/destination location extraction method
JP2023153776A (ja) 事故判定装置
RU2707153C1 (ru) Серверное устройство и автомобильное устройство
JP6428687B2 (ja) 通信制御装置
KR20150013775A (ko) 현재 상황 묘사를 생성하는 방법 및 시스템
CN106056944B (zh) 行驶环境评价系统及行驶环境评价方法
WO2011121791A1 (ja) 警告音出力装置、警告音出力方法、警告音出力プログラムおよび記録媒体
JP7755422B2 (ja) 車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法
CN112887913B (zh) 一种基于车联网的动态信息发送方法及设备
US20200208991A1 (en) Vehicle-provided virtual stop and yield line clustering
CN119907902A (zh) 用于自动驾驶的车辆的路线规划的方法和系统
CN116985840A (zh) 车辆控制方法、装置、设备及存储介质
EP4367478A1 (en) Electronic horizon for adas function
US11180090B2 (en) Apparatus and method for camera view selection/suggestion
US20110032359A1 (en) Server device, mobile terminal, road junction guidance system, and road junction guidance method
KR102895483B1 (ko) 교통정보 제공 시스템 및 방법
WO2019142697A1 (ja) 情報収集システム、制御装置およびプログラム
KR20260029525A (ko) 자율 주행 서비스 제공 방법 및 그를 위한 장치 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940745

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525892

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025525892

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112023005281

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 112023005281

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23940745

Country of ref document: EP

Kind code of ref document: A1