WO2024013919A1 - 物体認識システム、物体認識方法及び記録媒体 - Google Patents

物体認識システム、物体認識方法及び記録媒体 Download PDF

Info

Publication number
WO2024013919A1
WO2024013919A1 PCT/JP2022/027662 JP2022027662W WO2024013919A1 WO 2024013919 A1 WO2024013919 A1 WO 2024013919A1 JP 2022027662 W JP2022027662 W JP 2022027662W WO 2024013919 A1 WO2024013919 A1 WO 2024013919A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
object recognition
index value
dictionary
recognition dictionary
Prior art date
Application number
PCT/JP2022/027662
Other languages
English (en)
French (fr)
Inventor
廣 吉田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/027662 priority Critical patent/WO2024013919A1/ja
Publication of WO2024013919A1 publication Critical patent/WO2024013919A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Definitions

  • the present invention relates to an object recognition system, an object recognition method, and a recording medium.
  • Patent Document 1 discloses an image processing device that can recognize images with high reliability even if the recognition environment that affects the recognition accuracy of images captured by an imaging device changes.
  • this video processing device includes a recognition environment acquisition unit that acquires recognition environment factors at the time of imaging that affect the recognition accuracy of the video imaged by the imaging device, and a correspondence between the recognition accuracy of the video and the recognition environment factors.
  • a recognition accuracy calculation unit that calculates recognition accuracy using the recognition environment factors acquired by the recognition environment acquisition unit with reference to recognition environment factors that store recognition environment conditions, and recognition reliability based on the calculated recognition accuracy.
  • a recognition reliability calculation unit that calculates the recognition reliability.
  • the same document states that if the results of the alarm for the same recognition target differ between other video processing devices and the video processing device itself, the video processing device determines that there is an abnormality in its own recognition results, and changes the algorithm. It is described that an improvement plan for the function that outputs recognition results is presented (paragraph 0057, etc.).
  • Patent Document 1 states that if it is determined that there is an abnormality in the recognition result, it will present an improvement plan for the function that outputs the recognition result, such as changing the algorithm. It is difficult to make improvements.
  • An object of the present invention is to provide an object recognition system, an object recognition method, and a recording medium that can suppress deterioration of recognition performance due to environmental changes such as time of day and night and weather.
  • an object recognition means for performing object recognition on a moving object captured by a camera using a recognition dictionary, and a first index value indicating the reliability of the object recognition result of the moving object are acquired.
  • a first acquisition means for acquiring a second index value representing a photographing environment of the camera; and a second acquisition means for acquiring a second index value representing a photographing environment of the camera;
  • An object recognition system is provided, including a control means for determining necessity. When determining that the recognition dictionary is to be changed, the control means of the object recognition system selects a recognition dictionary to be used for the object recognition from among the plurality of recognition dictionaries based on the second index value.
  • object recognition is performed on the moving object captured by the camera using a recognition dictionary, a first index value indicating the reliability of the object recognition result of the moving object is obtained, and the first index value is obtained. Based on the first index value, it is determined whether or not the recognition dictionary used for object recognition needs to be changed, and if it is determined that the recognition dictionary is to be changed, a second index value representing the shooting environment of the camera is obtained.
  • a recognition dictionary to be used for object recognition is selected from among a plurality of recognition dictionaries based on the second index value.
  • a process of performing object recognition on a moving object captured by a camera using a recognition dictionary and a process of obtaining a first index value indicating the reliability of the object recognition result of the moving object. and a process of determining, based on the first index value, whether or not it is necessary to change the recognition dictionary used for object recognition; a recording medium having recorded thereon a program for causing a computer to execute a process of acquiring a second index value and selecting a recognition dictionary to be used for object recognition from among a plurality of recognition dictionaries based on the second index value; provided.
  • an object recognition system an object recognition method, and a recording medium that can suppress deterioration of recognition performance due to environmental changes such as time of day and night and weather.
  • FIG. 1 is a diagram showing the configuration of an embodiment of the present invention.
  • 3 is a flowchart showing the operation of an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining the operation of an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an object recognition system according to a first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a recognition dictionary set held in a recognition dictionary storage means of the object recognition system according to the first embodiment of the present invention.
  • 1 is a flowchart showing the operation of the object recognition system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
  • FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
  • FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
  • FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an object recognition system according to a second embodiment of the present invention. It is a figure for explaining operation of an object recognition system of a 2nd embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of an object recognition system according to a third embodiment of the present invention. It is a flow chart showing operation of an object recognition system of a 3rd embodiment of the present invention.
  • 1 is a diagram showing the configuration of a computer that can function as an object recognition system of the present invention.
  • connection lines between blocks in the drawings and the like referred to in the following description include both bidirectional and unidirectional connections.
  • the unidirectional arrows schematically indicate the main signal (data) flow, and do not exclude bidirectionality.
  • the program is executed via a computer device, and the computer device includes, for example, a processor, a storage device, an input device, a communication interface, and, if necessary, a display device.
  • this computer device is configured to be able to communicate with equipment (including a computer) inside or outside the device via a communication interface, regardless of whether it is wired or wireless. Furthermore, although there are ports or interfaces at the input/output connection points of each block in the figure, illustration thereof is omitted.
  • an object recognition system 10 includes an object recognition means 11, a first acquisition means 12, a second acquisition means 13, and a control means 14. This can be achieved by
  • the object recognition means 11 performs object recognition on the moving object captured by the camera 20 using the recognition dictionaries 15-1 to 15-2.
  • the recognition dictionaries 15-1 to 15-2 are a collection of data necessary for recognition applied to the classifier used by the object recognition means 11 for object recognition, and are switched by the control means 14.
  • a plurality of types of recognition dictionaries 15-1 to 15-2 are created depending on the shooting environment of the camera, such as daytime, nighttime, clear weather, and rainy weather, for example. Note that such a recognition dictionary can be created by preparing images obtained under different shooting environments as training data and using techniques such as machine learning and deep learning.
  • the classifier receives an input value and outputs a recognition result for the input value, and is sometimes called a learning model or an AI (Artificial Intelligence) model.
  • AI Artificial Intelligence
  • the first acquisition means 12 acquires a first index value indicating the reliability of the object recognition result of the moving body.
  • a first index value indicating the reliability of the object recognition result of the moving body.
  • mAP mean average precision
  • IoU intersection over union
  • a value indicating the reliability of the object recognition results of other moving bodies may be calculated as the first index value.
  • the second acquisition means 13 acquires a second index value representing the photographing environment of the camera 20. For example, if the recognition dictionary is created for day and night divisions, the second acquisition means 13 can obtain the second index value by acquiring time information. Furthermore, if the recognition dictionary is created based on weather categories, the second acquisition means 13 may acquire weather information from an external network, sensor, or the like. For example, the second acquisition means 13 can also acquire the second index value by estimating day/night classification and weather from an image taken with a camera.
  • the control means 14 determines whether or not it is necessary to change the recognition dictionary used for object recognition based on the first index value. As a result of the determination, if it is determined that the recognition dictionary is to be changed, the control means 14 selects a recognition dictionary to be used for the object recognition from among the plurality of recognition dictionaries based on the second index value, The object recognition means 11 is instructed to switch the recognition dictionary.
  • FIG. 2 shows an object recognition method used in the object recognition system 10 according to this embodiment.
  • the object recognition system 10 configured as described above first performs object recognition for a moving object captured by a camera using a recognition dictionary (step S001).
  • the object recognition system 10 acquires a first index value indicating the reliability of the object recognition result of the moving body (step S002).
  • the object recognition system 10 determines whether or not it is necessary to change the recognition dictionary used for object recognition based on the first index value (step S003).
  • the object recognition system 10 acquires a second index value representing the photographing environment of the camera (step S004), and Based on the second index value, a recognition dictionary to be used for object recognition is selected from a plurality of recognition dictionaries and switched (step S005). Note that when it is determined in step S003 that the recognition dictionary is not changed (No in step S003), the object recognition system 10 omits acquiring the second index value and changing the recognition dictionary.
  • FIG. 3 is a diagram for explaining the operation of one embodiment of the present invention.
  • the object recognition system 10 performs object recognition using the recognition dictionary 15-1 and detects people P1 and P2.
  • CV in FIG. 3 and the following is an abbreviation for Confidence Value, and the upper limit is 100, and the higher the value, the higher the reliability.
  • the object recognition system 10 determines whether or not it is necessary to change the recognition dictionary based on these first index values. For example, when the image from the camera 20 becomes darker as the sun approaches sunset, the CV decreases.
  • the object recognition system 10 determines to change the recognition dictionary when the average CV is equal to or less than a predetermined value. Then, the object recognition system 10 acquires time information as the second index value, and switches to the nighttime recognition dictionary. This improves the accuracy of subsequent object recognition.
  • the necessity of changing the recognition dictionary based on the first index value CV described above can be determined using various criteria. An example is shown below. - If the average CV is less than a predetermined threshold value A, change the recognition dictionary. - If the CV of one or more moving objects is less than or equal to a predetermined threshold B, change the recognition dictionary. - If the CVs of two or more moving objects are below a predetermined threshold C, change the recognition dictionary. - If the CV of a moving object with a specific attribute is less than or equal to a predetermined threshold D, the recognition dictionary is changed.
  • the object recognition system 10 that operates as described above, it is possible to detect a decline in the recognition performance of the object recognition means 11 at an early stage, change the recognition dictionary, and restore the recognition performance.
  • FIG. 4 is a diagram showing the configuration of the object recognition system 100 according to the first embodiment of the present invention.
  • an object recognition system 100 is shown that includes an object recognition means 101, a first acquisition means 102, a second acquisition means 103, a control means 104, and a recognition dictionary storage means 105. .
  • the object recognition means 101 performs object recognition on the moving object captured by the camera 20 using a classifier to which a recognition dictionary is applied. This embodiment will be described on the assumption that the object recognition unit 101 recognizes a person or vehicle captured by a camera and outputs the recognition to a predetermined output destination.
  • the first acquisition means 102 acquires a first index value indicating the reliability of the object recognition result of the moving object, and sends it to the control means 104.
  • this first index value will be referred to as "CV".
  • the first acquisition means 102 will be described as one that acquires mAP and IoU calculated in the process of object recognition from the object recognition means 101 and calculates the CV.
  • the upper limit of "CV" is 100, and the larger the value, the higher the reliability of the object recognition result.
  • the first index value may be any value that allows the control means 104 to determine whether or not the recognition dictionary needs to be changed, and does not need to be a systematic value such as "CV" in this embodiment.
  • the second acquisition means 103 acquires a second index value representing the photographing environment of the camera 20.
  • the second acquisition means 103 will be described as one that determines the day/night distinction and the weather from the image of the camera 20 in response to a request from the control means 104, and returns the information to the control means 104.
  • the control means 104 determines whether or not it is necessary to change the recognition dictionary used by the object recognition means 101. As a result of the determination, if it is determined that the recognition dictionary is to be changed, the control means 104 selects a recognition dictionary from the recognition dictionary storage means 105 based on the second index value, and changes the recognition dictionary to the object recognition means 101. send.
  • the recognition dictionary storage means 105 stores a recognition dictionary used by the object recognition means 101 for object recognition.
  • FIG. 5 shows a set of recognition dictionaries stored in the recognition dictionary storage means 105.
  • the recognition dictionary storage means 105 includes a recognition dictionary 1051 for daytime and sunny weather, a recognition dictionary 1052 for daytime and rainy weather, a recognition dictionary 105m for nighttime and sunny weather, and a recognition dictionary 105n for nighttime and rainy weather.
  • a recognition dictionary that can be selected based on combinations of day and night weather will be explained.
  • weather-specific recognition dictionaries for clear weather and rainy weather are provided, but other recognition dictionaries for fog, snow, etc. may also be provided.
  • recognition dictionaries may be prepared for time zones of arbitrary length, such as morning, evening, morning, afternoon, etc. Even under the same clear sky, the position of the sun and the way shadows cast differ in the morning, evening, morning, and afternoon, so recognition accuracy may be improved by using separate recognition dictionaries. Therefore, recognition dictionaries may be prepared that correspond to combinations of time zones and weather, such as clear skies - morning, clear skies - morning, clear skies - afternoon, clear skies - evening, and clear skies - night.
  • the recognition dictionary storage means 105 may store recognition dictionaries used in situations other than those described above or further segmented recognition dictionaries.
  • FIG. 6 is a flow chart showing the operation of the object recognition system according to the first embodiment of the present invention.
  • the object recognition system 100 performs object recognition on a moving object captured by the camera (step S101).
  • the object recognition system 100 acquires the CV of the moving object detected by object recognition (step S102).
  • FIG. 7 shows an example of a moving object detected by the object recognition system 100 and its CV.
  • the object recognition system 100 determines whether or not it is necessary to change the recognition dictionary applied to the object recognition means 101 based on the CV of the moving object (step S103).
  • the control means 104 of the object recognition system 100 selects one or more moving objects located within a predetermined distance range from the camera 20, and uses the CV thereof to determine whether or not the recognition dictionary needs to be changed.
  • the control means 104 of the object recognition system 100 selects the moving objects MO2 to MO4 located within a predetermined distance range from the camera 20, and uses their CVs to determine whether or not the recognition dictionary needs to be changed.
  • 80, 60, and 70 are obtained as the CV of the mobile object MO2 (person), the CV of the mobile object MO3 (person), and the CV of the mobile object MO4 (car).
  • the control means 104 of the object recognition system 100 determines whether or not it is necessary to change the recognition dictionary by calculating, for example, the average CV from these CVs and comparing it with a predetermined threshold. For example, when the predetermined threshold is 60, in the example of FIG. 7, the control means 104 of the object recognition system 100 determines that the recognition dictionary does not need to be changed.
  • FIG. 8 is a diagram showing CV in a state where recognition performance has deteriorated.
  • 80, 40, and 30 are obtained as the CV of the mobile object MO2 (person), the CV of the mobile object MO3 (person), and the CV of the mobile object MO4 (car).
  • the control means 104 of the object recognition system 100 determines that the recognition dictionary needs to be changed.
  • the object recognition system 100 acquires a second index value representing the photographing environment of the camera (step S104), and Based on the second index value, a recognition dictionary to be used for object recognition is selected from among the plurality of recognition dictionaries and switched (step S105). For example, if the current situation in which the camera is placed is nighttime and rainy weather, the recognition dictionary for nighttime and rainy weather is selected and the recognition dictionary is switched. As a result, the performance of object recognition processing from the next time onwards can be restored.
  • the object recognition system 100 of this embodiment selects the moving objects MO2 to MO4 located within a predetermined distance range from the camera 20, and uses their CVs to Determine whether it is necessary to change the recognition dictionary. Therefore, the CV of the mobile object MO4 that is far from the camera 20 is not used to determine whether or not it is necessary to change the recognition dictionary.
  • deterioration in recognition performance that may affect the performance of the system can be grasped at an early stage, and countermeasures can be taken.
  • the determination is made by comparing the average CV with a threshold value, but the method for determining whether or not the recognition dictionary needs to be changed is not limited to this.
  • the determination may be made using the maximum CV, minimum CV, median CV, or other statistical values.
  • FIG. 11 is a block diagram showing the configuration of an object recognition system 100a according to the second embodiment of the present invention.
  • the difference from the first embodiment shown in FIG. 3 is the operation of the control means 104a to determine whether or not the recognition dictionary needs to be changed.
  • the other configurations and operations are the same as those in the first embodiment, so their explanations will be omitted.
  • FIG. 12 is a diagram for explaining the operation of the object recognition system 100a of the second embodiment.
  • This embodiment is similar to the first embodiment in that among the detected moving objects MO1 to MO4, moving objects MO2 to MO4 are selected and their CVs are used to determine whether or not the recognition dictionary needs to be changed.
  • the control means 104a of the object recognition system 100a determines whether or not the recognition dictionary needs to be changed based on the values obtained by weighting each type of moving object.
  • the control means 104a of the object recognition system 100a determines that there is no need to change the recognition dictionary.
  • Table 1 shows the CV values of vehicles (MO4) and pedestrians (MO2, MO3).
  • the control means 104a of the object recognition system 100a of this embodiment determines that the recognition dictionary needs to be changed. As a result, the performance of object recognition processing from the next time onwards can be restored.
  • weighting example shown in FIG. 12 is just an example.
  • Various changes can be made. For example, if early detection of a pedestrian is required for the purpose of the object recognition system 100a, a smaller value may be set as the weighting coefficient multiplied by the CV of the pedestrian. As a result, the average CV after weighting correction decreases, and it becomes possible to prompt switching of recognition dictionaries at an early stage.
  • the description has been made assuming that there are two types of moving objects, pedestrians and vehicles, but the types of moving objects are not limited to this.
  • the moving object (pedestrian) MO2 in Figure 12 and the moving object (pedestrian) MO3 using a cane multiply each by a weighting coefficient, and then calculate the average CV after weighting correction. It may also be calculated.
  • the moving object (four-wheeled vehicle) MO1 and the moving object (two-wheeled vehicle) MO4 in FIG. 12 are treated as different types, each is multiplied by a weighting coefficient, and then the average CV after weighting correction is calculated. Good too.
  • the method of determining whether or not it is necessary to change the recognition dictionary is not limited to this.
  • the necessity of changing the recognition dictionary may be determined using a plurality of weighted modified maximum CVs, minimum CVs, intermediate CVs, or other statistical values.
  • a method other than weighting may be used to determine whether or not the recognition dictionary needs to be changed.
  • the control means 104a determines whether or not the recognition dictionary needs to be changed based on the first index value and a criterion such as a threshold value determined for each type of moving object. You may. For example, by setting different thresholds for the moving object (pedestrian) MO2 in FIG. 12 and the moving object (pedestrian) MO3 using a cane and comparing them, the same result as in the above example can be achieved. Judgment results can be obtained.
  • FIG. 13 is a block diagram showing the configuration of an object recognition system 100b according to the third embodiment of the present invention.
  • the difference from the first embodiment shown in FIG. 3 is the operation of the control means 104b to determine whether or not the recognition dictionary needs to be changed.
  • the other configurations are the same as those in the first embodiment, so the explanation will be omitted.
  • control means 104b of the object recognition system 100b of the present embodiment causes the object recognition means 101 to perform object recognition using the recognition dictionary of the switching candidate, so that the first evaluation value is After confirming that it increases, switch the recognition dictionary.
  • FIG. 14 is a flowchart showing the operation of the object recognition system according to the third embodiment of the present invention.
  • the operations of steps S101 to S104 and S105 in FIG. 14 are the same as those in the first embodiment, so the differences will be mainly described below.
  • the control means 104b of the object recognition system 100b After determining that the recognition dictionary is to be changed and acquiring a second index value representing the photographing environment of the camera, the control means 104b of the object recognition system 100b performs multiple recognition processes based on the second index value.
  • a recognition dictionary switching candidate used for the object recognition is selected from among the dictionaries.
  • the control unit 104b requests the object recognition unit 101 to perform object recognition processing using the recognition dictionary of the switching candidate (step S205).
  • the control means 104b of the object recognition system 100b requests the first acquisition means 102 to acquire the CV of the moving body detected by object recognition, and acquires it (step S206). Then, the control means 104b determines whether or not the CV acquired in step S206 has improved (step S207). It is conceivable to determine whether or not this CV has improved by comparing it with the CV acquired in step S102. Furthermore, as another modification, a determination similar to the determination process in step S103 may be performed to determine again whether or not it is necessary to switch the recognition dictionary. As a result of object recognition using recognition dictionary candidates, if it is determined that switching the recognition dictionary is unnecessary, that recognition dictionary candidate is selected. If it is determined that switching the recognition dictionary is necessary as a result of object recognition using the candidate recognition dictionary, it is determined that switching to the candidate recognition dictionary is unnecessary.
  • step S207 if it is determined that the CV has improved, the control means 104b of the object recognition system 100b switches to the recognition dictionary of the switching candidate (step S105). On the other hand, if it is determined that the CV has not improved as a result of the determination in step S207, the control means 104b of the object recognition system 100b continues to use the previous recognition dictionary (No in step S207).
  • the improvement of the CV indicating the reliability of the object recognition result is confirmed. Therefore, in comparison with the first embodiment, it is possible to prevent a situation in which object recognition accuracy deteriorates after switching the recognition dictionary.
  • the control means 104b of the object recognition system 100b determines whether or not it is necessary to change the recognition dictionary by placing emphasis on the CV of a specific type of moving object among the detected moving objects, and also determines whether or not it is necessary to change the recognition dictionary. Improvement can also be carried out by checking whether the CV of a specific type of moving body has improved.
  • FIG. 15 is a block diagram showing the configuration of an object recognition system 100c according to the fourth embodiment of the present invention. The difference from the first embodiment shown in FIG. 3 is that a performance index output means 106 is added. The other configurations are the same as those in the first embodiment, so the explanation will be omitted.
  • the performance index output means 106 acquires the CV for each type of moving body at a predetermined period, and performs an operation of outputting the CV to a predetermined output destination as a performance index of the object recognition system 100c.
  • FIG. 16 is a flowchart showing operations added to the object recognition system according to the fourth embodiment of the present invention.
  • the object recognition system 100c performs object recognition processing on a moving object captured by the camera (step S401).
  • This object recognition process may also serve as the normal object recognition process performed in step S101, but may also be performed to output a performance index of the object recognition system 100c.
  • the object recognition system 100c acquires the CV of the moving object detected by object recognition (step S402).
  • the object recognition system 100c creates a screen or a form showing the acquired CV of the moving object by moving object type and distance, and outputs it to a predetermined output destination.
  • FIG. 17 is an example of a screen created by the object recognition system 100c.
  • the CV of the moving object is displayed by moving object type and distance.
  • the user of the object recognition system 100c can check whether the accuracy of the object recognition system 100c is maintained regarding the type and distance of the moving object, or conversely whether the accuracy is deteriorating. This makes it possible to easily confirm this visually.
  • the CVs of elderly people P3 and P4 are 30 and 40, respectively, indicating that they are deteriorating.
  • the user of such an object recognition system 100c can understand that it is necessary to improve the CVs of the elderly people P3 and P4 who are in the first distance range.
  • the user of the object recognition system 100c implements improvement measures such as applying an existing recognition dictionary that can improve the CV of elderly people P3 and P4 in the first distance range, or creating a new recognition dictionary. This will improve the recognition accuracy of the object recognition system 100c for elderly people from now on.
  • the distance range is divided into two categories, the first distance range and the second distance range, but the distance range may be further divided into smaller sections.
  • the main purpose of the object recognition system 100c is to watch over elderly people crossing a crosswalk 15 to 20 meters ahead of the camera 20, it may be divided into that section and the sections before and after it, each representing a CV. .
  • the types of moving objects are divided into two categories, elderly and non-elderly, but the types of moving objects may be further subdivided. This makes it easy to understand the types of moving objects that the currently applied recognition dictionary is good at or bad at.
  • FIG. 17 has been described as presenting a screen that shows both the mobile object type and the distance range, it is not necessary to use both the mobile object type and the distance range.
  • these may be easily switched using a drop-down list provided on the screen or a hardware key.
  • each component of each device represents a functional unit block.
  • a part or all of each component of each device is realized by an arbitrary combination of an information processing device 900 and a program as shown in FIG. 18, for example.
  • FIG. 18 is a block diagram illustrating an example of the hardware configuration of the information processing device 900 that implements each component of each device.
  • the information processing device 900 includes the following configuration, for example.
  • Each component of each device in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions. That is, the CPU 901 in FIG. 18 executes a program that detects an object and obtains its CV (first index value), and a program that determines whether or not the recognition dictionary needs to be changed based on the CV. It is only necessary to update each calculation parameter held in 905 or the like.
  • a program 904 that implements the functions of each component of each device is stored, for example, in advance in a storage device 905 or ROM 902, and is read out by the CPU 901 as needed. Note that the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • this program 904 can display the processing results, including intermediate states, step by step via a display device, if necessary, or can communicate with the outside via a communication interface. Further, this program 904 can be recorded on a computer readable (non-transitory) storage medium.
  • each device may be realized by any combination of separate information processing device 900 and program for each component.
  • a plurality of components included in each device may be realized by an arbitrary combination of one information processing device 900 and a program. That is, it can be realized by a computer program that causes the processors installed in these devices shown in the first to fourth embodiments described above to execute the above-mentioned processes using the hardware.
  • each device is realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or multiple chips connected via a bus.
  • each component of each device may be realized by a combination of the circuits and the like described above and a program.
  • each device When some or all of the components of each device are realized by multiple information processing devices, circuits, etc., the multiple information processing devices, circuits, etc. may be centrally located or distributed. Good too.
  • information processing devices, circuits, etc. may be implemented as a client and server system, a cloud computing system, or the like, in which each is connected via a communication network.
  • each of the above embodiments has been described as changing the recognition dictionary, it is also possible to adopt a form in which the discriminator is changed from among a plurality of discriminators.
  • the control means 104, 104a may use the second index value in addition to the first index value to determine whether or not it is necessary to change the recognition dictionary.
  • the control means 104, 104a determines that the recognition dictionary should be changed when the CV is below the threshold and the second index value indicates that the area around the camera 20 is dark. Good too.
  • this second index value in addition to illuminance, information on the aperture opening of the camera 20, shutter speed, ISO value, etc. can also be simply used.
  • Object recognition means for performing object recognition on a moving object captured by a camera using a recognition dictionary; a first acquisition means for acquiring a first index value indicating the reliability of the object recognition result of the moving object; a second acquisition means for acquiring a second index value representing a shooting environment of the camera; A control means for determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value, When the control means determines that the recognition dictionary is to be changed, the control means selects a recognition dictionary to be used for the object recognition from a plurality of recognition dictionaries based on the second index value.
  • Object recognition system for performing object recognition on a moving object captured by a camera using a recognition dictionary; a first acquisition means for acquiring a first index value indicating the reliability of the object recognition result of the moving object; a second acquisition means for acquiring a second index value representing a shooting environment of the camera; A control means for determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value
  • the control means of the object recognition system described above performs object recognition based on the first index value of one or more moving objects located within a predetermined distance range from the camera among the moving objects captured by the camera. A configuration may be adopted in which it is determined whether or not the recognition dictionary to be used needs to be changed.
  • the control means of the object recognition system described above is configured to determine whether or not to change the recognition dictionary based on a value obtained by weighting the first index value according to the type of the moving object. can be taken.
  • the control means of the object recognition system described above is configured to determine whether or not the recognition dictionary needs to be changed based on the first index value and a criterion determined for each type of moving object. I can do it.
  • the control means of the object recognition system described above checks whether or not the first index value improves when switching to the recognition dictionary selected based on the second index value, and A configuration may be adopted in which the recognition dictionary is changed when the index value improves.
  • the second index value acquired by the object recognition system described above includes at least weather information and information indicating a time zone, The control means may be configured to select the recognition dictionary corresponding to the combination of the weather and the time zone from among the plurality of recognition dictionaries.
  • the object recognition system described above further includes:
  • the first index value may be acquired for each type of moving body, and a configuration may be adopted that includes performance index output means for outputting the first index value to a predetermined output destination as a performance index of the object recognition system.
  • [Additional note 8] Performs object recognition on moving objects captured by the camera using a recognition dictionary, obtaining a first index value indicating the reliability of the object recognition result of the moving body; Based on the first index value, determine whether it is necessary to change the recognition dictionary used for the object recognition, If it is determined that the recognition dictionary is to be changed, a second index value representing a photographing environment of the camera is obtained, and based on the second index value, one of the plurality of recognition dictionaries is used for the object recognition.
  • a process of performing object recognition on a moving object captured by a camera using a recognition dictionary A process of acquiring a first index value indicating the reliability of the object recognition result of the moving body; A process of determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value; If it is determined that the recognition dictionary is to be changed, a second index value representing a shooting environment of the camera is obtained, and based on the second index value, one of the plurality of recognition dictionaries is used for the object recognition.
  • the process of selecting a recognition dictionary A recording medium that records a program that causes a computer to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

［課題］昼夜等の時間帯や天候といった環境の変化による物体認識システムの認識性能の劣化を抑止する。 ［解決手段］物体認識システムは、認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する第１の取得手段と、前記カメラの撮影環境を表す第２の指標値を取得する第２の取得手段と、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備える。物体認識システムの前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する。

Description

物体認識システム、物体認識方法及び記録媒体
　本発明は、物体認識システム、物体認識方法及び記録媒体に関する。
　特許文献１に、撮像装置が撮像した映像の認識精度に影響を与える認識環境が変化しても信頼性が高い映像の認識できるという映像処理装置が開示されている。同文献によると、この映像処理装置は、撮像装置が撮像した映像の認識精度に影響を与える撮像時における認識環境要因を取得する認識環境取得部と、映像の認識精度と認識環境要因との対応である認識環境条件を記憶している認識環境要因を参照して、認識環境取得部が取得した認識環境要因での認識精度を算出する認識精度算出部と、算出された認識精度から認識信頼度を算出する認識信頼度算出部とを備える。さらに、同文献には、同じ認識対象についての他の映像処理装置と自身との発報の結果が異なる場合、この映像処理装置は、自身の認識結果に異常があると判断し、アルゴリズムの変更など認識結果を出力する機能の改善案を提示することが記載されている（段落００５７等）。
特開２０２１－３９６８７号公報
　屋外に設置された物体認識システムに共通の問題点として、天候や昼夜や天候によって、認識精度が変化してしまうという問題点がある。この点、特許文献１の映像処理装置では、認識結果に異常があると判断した場合、アルゴリズムの変更などの認識結果を出力する機能の改善案を提示するとの記載があるが、自動で機能の改善を行うことは困難である。
　本発明は、昼夜等の時間帯や天候といった環境の変化による認識性能の劣化を抑止可能な物体認識システム、物体認識方法及び記録媒体を提供することを目的とする。
　第１の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する第１の取得手段と、前記カメラの撮影環境を表す第２の指標値を取得する第２の取得手段と、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備える物体認識システムが提供される。この物体認識システムの制御手段は、前記認識辞書の変更を行うと判定した場合、前記第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する。
　第２の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行し、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得し、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、物体認識方法が提供される。
　第３の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する処理と、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、をコンピュータに実行させるプログラムを記録した記録媒体が提供される。
　本発明によれば、昼夜等の時間帯や天候といった環境の変化による認識性能の劣化を抑止可能な物体認識システム、物体認識方法及び記録媒体が提供される。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を表した流れ図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第１の実施形態の物体認識システムの構成を表したブロック図である。 本発明の第１の実施形態の物体認識システムの認識辞書記憶手段に保持される認識辞書セットの一例を示す図である。 本発明の第１の実施形態の物体認識システムの動作を表した流れ図である。 本発明の第１の実施形態の物体認識システムの動作を説明するための図である。 本発明の第１の実施形態の物体認識システムの動作を説明するための別の図である。 本発明の第１の実施形態の物体認識システムの動作を説明するための別の図である。 本発明の第１の実施形態の物体認識システムの動作を説明するための別の図である。 本発明の第２の実施形態の物体認識システムの構成を表したブロック図である。 本発明の第２の実施形態の物体認識システムの動作を説明するための図である。 本発明の第３の実施形態の物体認識システムの構成を表したブロック図である。 本発明の第３の実施形態の物体認識システムの動作を表した流れ図である。 本発明の第４の実施形態の物体認識システムの構成を表したブロック図である。 本発明の第４の実施形態の物体認識システムの動作を表した流れ図である。 本発明の第４の実施形態の物体認識システムの動作を説明するための図である。 本発明の物体認識システムとして機能可能なコンピュータの構成を示す図である。
　はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。
　本発明は、その一実施形態において、図１に示すように、物体認識手段１１と、第１の取得手段１２と、第２の取得手段１３と、制御手段１４と、を備える物体認識システム１０にて実現できる。
　物体認識手段１１は、認識辞書１５－１～１５－２を用いてカメラ２０に映った移動体について物体認識を実行する。認識辞書１５－１～１５－２は、物体認識手段１１が物体認識に用いる識別器に適用する認識に必要なデータの集合であり、制御手段１４によって切り替えられる。認識辞書１５－１～１５－２は、例えば、昼間用、夜間用、晴天用、雨天用といったカメラの撮影環境に応じて複数種作成される。なお、このような認識辞書は、異なる撮影環境下で得られた画像を教師データとして用意し、機械学習や深層学習等の手法を用いて作成することができる。識別器は、入力値を受け取り、それに対する認識結果を出力するものであり、学習モデル、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルと呼ばれる場合もある。
　第１の取得手段１２は、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する。この第１の指標値としては、移動体の物体認識の過程で得られるｍＡＰ（ｍｅａｎ　Ａｖｅｒａｇｅ　Ｐｒｅｃｉｓｉｏｎ）やＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）等を用いることができる。もちろん、第１の指標値として、その他の移動体の物体認識の結果の信頼度を示す値を計算してもよい。
　第２の取得手段１３は、前記カメラ２０の撮影環境を表す第２の指標値を取得する。例えば、認識辞書が昼夜の区分で作成されている場合、第２の取得手段１３は、時刻情報を取得することで第２の指標値を得ることができる。また、認識辞書が天候の区分で作成されている場合、第２の取得手段１３は、外部のネットワークやセンサ等から天候情報を取得してもよい。例えば、第２の取得手段１３は、カメラで撮影された画像から、昼夜の区分や天候を推定することで第２の指標値を取得することもできる。
　制御手段１４は、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する。前記判定の結果、前記認識辞書の変更を行うと判定した場合、制御手段１４は、前記第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、物体認識手段１１に認識辞書の切替を指示する。
　図２は、本実施形態にかかる物体認識システム１０に用いられる物体認識方法を示す。上記のように構成する物体認識システム１０は、図２に示すように、まず、認識辞書を用いてカメラに映った移動体について物体認識を実行する（ステップＳ００１）。次に、物体認識システム１０は、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する（ステップＳ００２）。次に、物体認識システム１０は、前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する（ステップＳ００３）。
　前記判定の結果、前記認識辞書の変更を行うと判定した場合（ステップＳ００３のＹｅｓ）、物体認識システム１０は、前記カメラの撮影環境を表す第２の指標値を取得し（ステップＳ００４）、この第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、切り替える（ステップＳ００５）。なお、ステップＳ００３にて、前記認識辞書の変更を行わないと判定した場合（ステップＳ００３のＮｏ）、物体認識システム１０は、第２の指標値の取得や認識辞書の変更を省略する。
　図３は、本発明の一実施形態の動作を説明するための図である。物体認識システム１０は、例えば、認識辞書１５－１を用いて物体認識を行って、人Ｐ１、Ｐ２を検出したものとする。このときの人Ｐ１の第１の指標値として、ＣＶ＝８０、人Ｐ２の第１の指標値としてＣＶ＝６０がそれぞれ得られたものとする。なお、図３以下のＣＶは、Ｃｏｎｆｉｄｅｎｃｅ　Ｖａｌｕｅの略であり、１００を上限として、値が高いほど、信頼性が高いものとする。物体認識システム１０は、これらの第１の指標値に基づいて、認識辞書の変更の要否を判定する。例えば、日没に近づき、カメラ２０の画像が暗くなってきた場合、ＣＶは低下する。物体認識システム１０は、平均ＣＶが所定値以下となった場合に、認識辞書の変更を行うと判定する。そして、物体認識システム１０は、第２の指標値として、時刻情報を取得し、夜間用の認識辞書に切り替える。これにより、以降の物体認識の精度が向上することになる。
　なお、上記した第１の指標値ＣＶによる認識辞書の変更の要否は種々の基準を用いて決定することができる。その一例を下記に示す。
・平均ＣＶが所定のしきい値Ａ以下の場合、認識辞書を変更する。
・1つ以上の移動体のＣＶが所定のしきい値Ｂ以下の場合、認識辞書を変更する。
・２以上の移動体のＣＶが所定のしきい値Ｃ以下の場合、認識辞書を変更する。
・特定の属性の移動体のＣＶが所定のしきい値Ｄ以下の場合、認識辞書を変更する。
　以上のように動作する物体認識システム１０によれば、物体認識手段１１の認識性能の低下を早期に検知して、認識辞書の変更を行って、認識性能を回復させることが可能となる。
［第１の実施形態］
　続いて、所定の位置範囲に位置する移動体の検出機能を維持することにフォーカスした第１の実施形態について図面を参照して詳細に説明する。図４は、本発明の第１の実施形態の物体認識システム１００の構成を示す図である。図４を参照すると、物体認識手段１０１と、第１の取得手段１０２と、第２の取得手段１０３と、制御手段１０４と、認識辞書記憶手段１０５とを備える物体認識システム１００が示されている。
　物体認識手段１０１は、認識辞書を適用した識別器を用いてカメラ２０に映った移動体について物体認識を実行する。本実施形態は、物体認識手段１０１は、カメラに映った人や車両を認識し、所定の出力先に出力するものとして説明する。
　第１の取得手段１０２は、前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得し、制御手段１０４に送る。以下の説明では、この第１の指標値を「ＣＶ」と記す。以下、第１の取得手段１０２は、物体認識手段１０１から物体認識の過程で計算したｍＡＰやＩｏＵを取得してＣＶを計算するものとして説明する。また、本実施形態では、「ＣＶ」は１００を上限とし、値が大きいほど、物体認識の結果の信頼度が高い値であるものとして説明する。もちろん、第１の指標値は、制御手段１０４が認識辞書の変更の要否を判定できるものであればよく、本実施形態の「ＣＶ」のような体系の値を採る必要はない。
　第２の取得手段１０３は、前記カメラ２０の撮影環境を表す第２の指標値を取得する。本実施形態では、第２の取得手段１０３は、制御手段１０４からの要求に応じて、前記カメラ２０の画像から、昼夜の区別と天気を判別して制御手段１０４に返すものとして説明する。
　制御手段１０４は、第１の取得手段１０２から受け取ったＣＶに基づいて、物体認識手段１０１が使用している認識辞書の変更の要否を判定する。前記判定の結果、前記認識辞書の変更を行うと判定した場合、制御手段１０４は、前記第２の指標値に基づいて、認識辞書記憶手段１０５から、認識辞書を選択し、物体認識手段１０１に送る。
　認識辞書記憶手段１０５は、物体認識手段１０１が物体認識に用いる認識辞書を記憶する。図５は、認識辞書記憶手段１０５が記憶する認識辞書のセットを示す。本実施形態は、認識辞書記憶手段１０５は、昼間かつ晴天用の認識辞書１０５１、昼間かつ雨天用の認識辞書１０５２、夜間かつ晴天用の認識辞書１０５ｍ、夜間かつ雨天用の認識辞書１０５ｎというように、昼夜の区別の天気の組み合わせで選択可能な認識辞書を保持しているものとして説明する。なお、図５の例では、天気別の認識辞書として晴天と雨天のものを用意しているが、その他、霧、雪等の認識辞書を用意してもよい。また、時間については、昼間と夜間の２つの区分けではなく、朝、夕、午前、午後等の他、任意の長さの時間帯の認識辞書を用意してもよい。同じ晴天であっても、朝、夕、午前、午後で太陽の位置や影のつき方が異なるため、認識辞書を分けた方が、認識精度が向上する場合がある。したがって、晴天－朝、晴天－午前、晴天－午後、晴天－夕方、晴天－夜というように、時間帯と天候の組み合わせに対応する認識辞書を用意してもよい。もちろん、認識辞書記憶手段１０５は、上記以外のシチュエーションで使用する認識辞書やさらに細分化された認識辞書を保持していてもよいことはもちろんである。
　続いて、本実施形態の物体認識システム１００の動作について、図面を参照して詳細に説明する。図６は、本発明の第１の実施形態の物体認識システムの動作を表した流れ図である。まず、物体認識システム１００は、カメラに映った移動体について物体認識を実行する（ステップＳ１０１）。
　次に、物体認識システム１００は、物体認識で検出した移動体のＣＶを取得する（ステップＳ１０２）。図７は、物体認識システム１００が検出した移動体と、そのＣＶの例を示す。
　次に、物体認識システム１００は、移動体のＣＶに基づいて、物体認識手段１０１に適用されている認識辞書の変更の要否を判定する（ステップＳ１０３）。このとき、物体認識システム１００の制御手段１０４は、前記カメラ２０から所定の距離範囲に位置する１以上の移動体を選択し、そのＣＶを用いて認識辞書の変更の要否を判定する。
　例えば、図７に示すように、移動体ＭＯ１～ＭＯ４が検出されているものとする。この場合において、物体認識システム１００の制御手段１０４は、前記カメラ２０から所定の距離範囲に位置する移動体ＭＯ２～ＭＯ４を選択し、そのＣＶを用いて、認識辞書の変更の要否を判定する。図７の例では、移動体ＭＯ２（人）のＣＶ、移動体ＭＯ３（人）のＣＶ及び移動体ＭＯ４（車）のＣＶとして、８０、６０、７０が得られる。物体認識システム１００の制御手段１０４は、これらのＣＶから、例えば、その平均ＣＶを計算し、所定のしきい値と比較することで、認識辞書の変更の要否を判定する。例えば、所定のしきい値が６０である場合、図７の例では、物体認識システム１００の制御手段１０４は、認識辞書の変更は不要であると判定する。
　一方、日が暮れてきたり、天気が変わったりする等して、物体認識システム１００の認識性能が劣化する場合がある。図８は、認識性能が劣化した状態のＣＶを表した図である。図８の例では、移動体ＭＯ２（人）のＣＶ、移動体ＭＯ３（人）のＣＶ及び移動体ＭＯ４（車）のＣＶとして、８０、４０、３０が得られる。このとき平均ＣＶは５０であり、所定のしきい値が６０である場合、物体認識システム１００の制御手段１０４は、認識辞書の変更要と判定する。
　このようにして、前記認識辞書の変更を行うと判定した場合（ステップＳ１０３のＹｅｓ）、物体認識システム１００は、前記カメラの撮影環境を表す第２の指標値を取得し（ステップＳ１０４）、この第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、切り替える（ステップＳ１０５）。例えば、カメラが置かれた現在の状況が夜間の雨天である場合、夜間－雨天用の認識辞書が選択され、認識辞書の切り替えが行われる。これにより、次回以降の物体認識処理の性能の回復が図られることになる。
　さらに、上記した図７、図８で説明したように、本実施形態の物体認識システム１００は、カメラ２０から所定の距離範囲に位置する移動体ＭＯ２～ＭＯ４を選択し、そのＣＶを用いて、認識辞書の変更の要否を判定する。このため、カメラ２０から離れた移動体ＭＯ４のＣＶは、認識辞書の変更の要否の判定に使われない。本実施形態では、このような移動体の選択を行うようにしたため、システムの性能に影響を及ぼし得る認識性能の劣化を早期に把握し、対策を採ることが可能となっている。
　またこのような移動体の選択を行うことで、例えば、図９に示すように、所定距離外に多数の移動体が存在し、そのＣＶが低い場合であっても認識辞書の変更は不要と正しく判定することが可能となる。また逆に、図１０に示すように全体のＣＶが高めに出ている場合であっても、所定距離内の移動体のＣＶが低い場合には、早期に、認識辞書の変更要と判定することが可能となる。
　なお、上記した説明では、平均ＣＶとしきい値との比較により判定するものとして説明したが、認識辞書の変更の要否の判定方法は、これに限られない。例えば、最大ＣＶ、最小ＣＶ、中間値ＣＶ又はその他の統計値を用いて判定してもよい。
［第２の実施形態］
　続いて、物体認識システムが、移動体の重要性を加味し、認識辞書の変更の要否を判定するようにした第２の実施形態について説明する。図１１は、本発明の第２の実施形態の物体認識システム１００ａの構成を表したブロック図である。図３に示した第１の実施形態との相違点は、制御手段１０４ａの認識辞書の変更の要否の判定動作である。その他の構成及び動作は第１の実施形態と同様であるため、説明を省略する。
　図１２は、第２の実施形態の物体認識システム１００ａの動作を説明するための図である。検出した移動体ＭＯ１～ＭＯ４のうち、移動体ＭＯ２～ＭＯ４を選択し、そのＣＶを用いて、認識辞書の変更の要否を判定する点は第１の実施形態と同様である。本実施形態では、物体認識システム１００ａの制御手段１０４ａが、移動体の種別毎に重み付けを行って得られた値に基づいて認識辞書の変更の要否を判定する。
　図１２の移動体ＭＯ２～ＭＯ４のＣＶの平均値は、（６０＋８０＋７１）／３＝約７０．３となる。所定のしきい値が６５である場合、物体認識システム１００ａの制御手段１０４ａは、認識辞書の変更は不要と判定する。しかしながら、車両と歩行者のＣＶに対し、それぞれ異なる係数を乗じてから移動体ＭＯ２～ＭＯ４のＣＶの平均値を求めることもできる。
　表１は、車両（ＭＯ４）と歩行者（ＭＯ２、ＭＯ３）のＣＶ値を示す。
Figure JPOXMLDOC01-appb-T000001
　例えば、歩行者のＣＶに乗じる係数を０．８とし、車両のＣＶに乗じる係数を１．０とし、平均ＣＶを求めた場合、その修正後の平均ＣＶは、（（１４０×０．８）＋（７１×１．０））／３＝６１となる。同じく所定のしきい値が６５である場合、本実施形態の物体認識システム１００ａの制御手段１０４ａは、認識辞書の変更要と判定することになる。これにより、次回以降の物体認識処理の性能の回復が図られることになる。
　なお、図１２に示した重み付けの例はあくまで一例である。種々の変更を加えることができる。例えば、物体認識システム１００ａの用途上、歩行者の早期検出が要請されるのであれば、歩行者のＣＶに乗ずる重み付け係数としてより小さい値を設定すればよい。これにより、重み付け修正後の平均ＣＶが下がり、早期に、認識辞書の切替を促すことが可能となる。また、上記した実施形態では、移動体の種別が歩行者と車輛の２つであるものとして説明したが、移動体の種別はこれに限定されない。例えば、図１２の移動体（歩行者）ＭＯ２と、杖を突いている移動体（歩行者）ＭＯ３とをそれぞれ別の種別とし、それぞれに重み付け係数を乗じてから、重み付け修正後の平均ＣＶを計算するようにしてもよい。例えば、図１２の移動体（４輪車両）ＭＯ１と、移動体（二輪車）ＭＯ４とをそれぞれ別の種別とし、それぞれに重み付け係数を乗じてから、重み付け修正後の平均ＣＶを計算するようにしてもよい。
　以上説明したとおり、本実施形態によれば、検出した移動体のうち特定の種別の移動体について、その認識性能の劣化の発生を早期に把握し、認識辞書の変更を促すことが可能となる。
　なお、上記した説明では、重み付け修正後の平均ＣＶとしきい値との比較により判定する場合を説明したが、認識辞書の変更の要否の判定方法は、これに限られない。例えば、複数の重み付け修正後の最大ＣＶ、最小ＣＶ、中間値ＣＶ又はその他の統計値等を用いて認識辞書の変更の要否を判定してもよい。
　また、認識辞書の変更の要否にあたり、重み付け以外の方法を用いて認識辞書の変更の要否を判定してもよい。具体的には、前記制御手段１０４ａは、前記第1の指標値と、前記移動体の種別毎に定められたしきい値等の基準とに基づいて、前記認識辞書の変更の要否を判定してもよい。例えば、図１２の移動体（歩行者）ＭＯ２と、杖を突いている移動体（歩行者）ＭＯ３とに、それぞれ異なるしきい値を設定し、比較を行うことでも、上記の例と同様の判定結果を得ることができる。
［第３の実施形態］
　続いて、物体認識システムが、認識辞書の切替の前に認識性能の向上を確認するようにした第３の実施形態について説明する。図１３は、本発明の第３の実施形態の物体認識システム１００ｂの構成を表したブロック図である。図３に示した第１の実施形態との相違点は、制御手段１０４ｂの認識辞書の変更の要否の判定動作である。その他の構成は第１の実施形態と同様であるため、説明を省略する。
　本実施形態の物体認識システム１００ｂの制御手段１０４ｂは、前記認識辞書の変更を行うと判定した場合に、物体認識手段１０１に切替候補の認識辞書による物体認識を実行させ、第1の評価値が上がることを確認してから認識辞書の切替を行う。
　図１４は、本発明の第３の実施形態の物体認識システムの動作を表した流れ図である。図１４のステップＳ１０１～Ｓ１０４、Ｓ１０５の動作は第１の実施形態と同様であるため以下、その相違点を中心に説明する。認識辞書の変更を行うと判定し、前記カメラの撮影環境を表す第２の指標値を取得した後、物体認識システム１００ｂの制御手段１０４ｂは、この第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書の切替候補を選択する。そして、制御手段１０４ｂは、物体認識手段１０１、切替候補の認識辞書による物体認識処理を依頼する（ステップＳ２０５）。
　次に、物体認識システム１００ｂの制御手段１０４ｂは、第１の取得手段１０２に対し、物体認識で検出した移動体のＣＶの取得を依頼し、取得する（ステップＳ２０６）。そして、制御手段１０４ｂは、ステップＳ２０６で取得したＣＶが改善したか否かを判定する（ステップＳ２０７）。このＣＶが改善したか否かの判定は、ステップＳ１０２で取得したＣＶとの比較で行うことが考えられる。また、別の変形形態として、ステップＳ１０３の判定処理と同等の判定を行って、認識辞書の切替が必要か否かを再度判定するものであってもよい。認識辞書の候補による物体認識の結果、認識辞書の切替が不要と判断されれば、その認識辞書の候補を採択することになる。認識辞書の候補による物体認識の結果、認識辞書の切替が必要と判断された場合、その認識辞書の候補への切替は不要と判断される。
　ステップＳ２０７の判定の結果、ＣＶが改善したと判定された場合、物体認識システム１００ｂの制御手段１０４ｂは、切替候補の認識辞書への切替を実施する（ステップＳ１０５）。一方、ステップＳ２０７の判定の結果、ＣＶが改善していないと判定された場合、物体認識システム１００ｂの制御手段１０４ｂは、従前の認識辞書の使用を継続する（ステップＳ２０７のＮｏ）。
　以上説明したとおり、本実施形態によれば、認識辞書の切替を行う前に、物体認識の結果の信頼度を示すＣＶの改善の確認が行われる。このため、第１の実施形態との比較において、認識辞書の切替後に物体認識の精度が劣化するといった事態を防ぐことが可能となる。
　また、上記した説明では、認識辞書の切替の前にＣＶが改善されることを確認するものとしたが、一旦、認識辞書の切替を行ってから、ＣＶを算出し、ＣＶが低ければ元の認識辞書に戻す方法も採用することができる。
　なお、上記した第３の実施形態の説明では、第１の実施形態と同様の方式を用いて、認識辞書の変更の要否を確認するものとして説明したが、第２の実施形態と第３の実施形態を組み合わせることも可能である。この場合、物体認識システム１００ｂの制御手段１０４ｂは、検出した移動体のうち特定の種別の移動体のＣＶを重視して、認識辞書の変更の要否を判定し、また、ステップＳ２０７のＣＶの改善においても特定の種別の移動体のＣＶが改善したか否かを確認する形態を採ることができる。
［第４の実施形態］
　続いて、物体認識システムに、その認識性能を表す指標値の出力機能を追加した第４の実施形態について説明する。図１５は、本発明の第４の実施形態の物体認識システム１００ｃの構成を表したブロック図である。図３に示した第１の実施形態との相違点は、性能指標出力手段１０６が追加されている点である。その他の構成は第１の実施形態と同様であるため、説明を省略する。
　性能指標出力手段１０６は、所定の周期で、前記移動体の種別毎に、ＣＶを取得し、物体認識システム１００ｃの性能指標として所定の出力先に出力する動作を行う。
　図１６は、本発明の第４の実施形態の物体認識システムに追加される動作を表した流れ図である。図１６を参照すると、まず、物体認識システム１００ｃは、カメラに映った移動体について物体認識処理を実行する（ステップＳ４０１）。この物体認識処理は、ステップＳ１０１で行われる通常の物体認識処理を兼ねていてもよいが、物体認識システム１００ｃの性能指標の出力のために行うものであってもよい。
　次に、物体認識システム１００ｃは、物体認識で検出した移動体のＣＶを取得する（ステップＳ４０２）。
　次に、物体認識システム１００ｃは、前記取得した移動体のＣＶを、移動体種別、距離別に表した画面や、帳票を作成し、所定の出力先に出力する。図１７は、物体認識システム１００ｃによって作成された画面の例である。この例では、移動体種別、距離別に移動体のＣＶが表されている。このような画面を参照することで、物体認識システム１００ｃのユーザは、物体認識システム１００ｃがどのような種別や距離にある移動体について精度が保たれていることや逆に精度が劣化していることを視覚的に容易に確認することが可能となる。
　例えば、図１７の例では、移動体（歩行者）のうち、高齢者Ｐ３、Ｐ４のＣＶがそれぞれ３０、４０であり、劣化していることがわかる。このような物体認識システム１００ｃのユーザは、第１の距離範囲にある高齢者Ｐ３、Ｐ４のＣＶを改善させる必要があることを把握することができる。例えば、物体認識システム１００ｃのユーザは、第１の距離範囲にある高齢者Ｐ３、Ｐ４のＣＶを改善できる既存の認識辞書を適用する、新規の認識辞書を作成するといった改善策を実施する。これにより、以降、物体認識システム１００ｃの高齢者の認識精度が向上することになる。
　なお、図１７の例では、距離範囲を第１の距離範囲と、第２の距離範囲との２区分としているが、距離範囲を、より細かく細分化してもよい。例えば、物体認識システム１００ｃの主用途がカメラ２０から１５ｍ～２０ｍ先の横断歩道を渡る高齢者の見守りにある場合、その区間とその前後の区間に分けて、それぞれＣＶを表すようにしてもよい。また、図１７の例では、移動体種別を高齢者と、非高齢者との２区分としているが、移動体種別を、より細かく細分化してもよい。これにより、現在適用されている認識辞書が得意又は不得意としている移動体種別を把握することが容易化される。
　なお、図１７の例では、移動体種別と距離範囲の両方を表した画面を提示するものとして説明したが、必ずしも移動体種別と距離範囲の両方を用いなくてもよい。例えば、ユーザが選択した移動体種別のＣＶを出力する形態や、ユーザが選択した距離範囲毎のＣＶを出力する形態も採用できる。もちろん、これらの切替を画面上に設けたドロップダウンリストや、ハードウェアキーで、簡易に切り替えられるようにしてもよい。
（ハードウェア構成について）
　本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１８に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１８は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インターフェース９０８
・データの入出力を行う入出力インターフェース９１０
・各構成要素を接続するバス９１１
　各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。すなわち、図１８のＣＰＵ９０１にて、物体を検出しそのＣＶ（第１の指標値）を取得するプログラムや、そのＣＶにより認識辞書の変更の要否を判定するプログラムを実行し、ＲＡＭ９０３や記憶装置９０５等に保持された各計算パラメーターの更新処理を実施させればよい。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　また、このプログラム９０４は、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と通信することができる。また、このプログラム９０４は、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。
　各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。即ち、上記した第１～第４の実施形態に示した、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
　また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではない。即ち、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　例えば、上記した各実施形態では認識辞書を変更するものとして説明したが、複数の識別器の中から識別器を変更する形態も採用できる。
　例えば、上記した各実施形態では、第１の指標値に基づいて認識辞書の変更の要否を判定するものとして説明したが、制御手段１０４、１０４ａが、第１の指標値に加えて、その他の情報を参照して、認識辞書の変更の要否を判定してもよい。例えば、制御手段１０４、１０４ａが、認識辞書の変更の要否の判定に、第１の指標値に加えて第２の指標値を用いてもよい。この場合、制御手段１０４、１０４ａは、ＣＶがしきい値以下、かつ、第２の指標値がカメラ２０の周辺が暗くなっていることを示す場合に、認識辞書の変更を行うと判定してもよい。この第２の指標値としては、照度のほか、カメラ２０の絞りの開度情報や、シャッタースピード、ＩＳＯ値などを簡易的に用いることもできる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
　認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、
　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する第１の取得手段と、
　前記カメラの撮影環境を表す第２の指標値を取得する第２の取得手段と、
　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備え、
　前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
　物体認識システム。
［付記２］
　上記した物体認識システムの前記制御手段は、前記カメラに映った移動体のうち前記カメラから所定の距離範囲に位置する１以上の移動体の前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する構成を採ることができる。
［付記３］
　上記した物体認識システムの前記制御手段は、前記移動体の種別に応じて前記第１の指標値に重み付けをして得られた値に基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
［付記４］
　上記した物体認識システムの前記制御手段は、前記第１の指標値と、前記移動体の種別毎に定められた基準とに基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
［付記５］
　上記した物体認識システムの前記制御手段は、前記第２の指標値に基づいて選択した認識辞書に切り替えた場合に、前記第１の指標値が改善するか否かを確認し、前記第１の指標値が改善する場合に、前記認識辞書の変更を実施する構成を採ることができる。
［付記６］
　上記した物体認識システムが取得する前記第２の指標値は、少なくとも天候の情報と、時間帯を示す情報とを含み、
　前記制御手段は、複数の前記認識辞書の中から、前記天候と前記時間帯との組み合わせに対応する前記認識辞書を選択する構成を採ることができる。
［付記７］
　上記した物体認識システムは、さらに、
　前記移動体の種別毎に、前記第１の指標値を取得し、前記物体認識システムの性能指標として所定の出力先に出力する性能指標出力手段を備える構成を採ることができる。
［付記８］
　認識辞書を用いてカメラに映った移動体について物体認識を実行し、
　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得し、
　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、
　前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
　物体認識方法。
［付記９］
　認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、
　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する処理と、
　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、
　前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、
　をコンピュータに実行させるプログラムを記録した記録媒体。
　なお、上記付記８～付記９の形態は、付記１と同様に、付記２～付記７の形態に展開することが可能である。
　なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
　１０、１００、１００ａ、１００ｂ、１００ｃ　物体認識システム
　１１、１０１　物体認識手段
　１２、１０２　第１の取得手段
　１３、１０３　第２の取得手段
　１４、１０４、１０４ｂ　制御手段
　１５－１～１５－２　認識辞書
　２０　カメラ
　１０５　認識辞書記憶手段
　１０６　性能指標出力手段
　１０５１、１０５２、１０５ｍ、１０５ｎ　認識辞書
　Ｐ１、Ｐ２　人
　Ｐ３、Ｐ４　人（高齢者）
　ＭＯ１～ＭＯ４　移動体
　９００　情報処理装置
　９０１　ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
　９０２　ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）
　９０３　ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
　９０４　プログラム
　９０５　記憶装置
　９０６　記録媒体
　９０７　ドライブ装置
　９０８　通信インターフェース
　９０９　通信ネットワーク
　９１０　入出力インターフェース
　９１１　バス

Claims (9)

  1. 　認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、
    　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する第１の取得手段と、
    　前記カメラの撮影環境を表す第２の指標値を取得する第２の取得手段と、
    　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備え、
    　前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
    　物体認識システム。
  2. 　前記制御手段は、前記カメラに映った移動体のうち前記カメラから所定の距離範囲に位置する１以上の移動体の前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する請求項１の物体認識システム。
  3. 　前記制御手段は、前記移動体の種別に応じて前記第１の指標値に重み付けをして得られた値に基づいて、前記認識辞書の変更の要否を判定する、
    　請求項１の物体認識システム。
  4. 　前記制御手段は、前記第１の指標値と、前記移動体の種別毎に定められた基準とに基づいて、前記認識辞書の変更の要否を判定する、
    　請求項１の物体認識システム。
  5. 　前記制御手段は、前記第２の指標値に基づいて選択した認識辞書に切り替えた場合に、前記第１の指標値が改善するか否かを確認し、前記第１の指標値が改善する場合に、前記認識辞書の変更を実施する請求項１の物体認識システム。
  6. 　前記第２の指標値は、少なくとも天候の情報と、時間帯を示す情報とを含み、
    　前記制御手段は、複数の前記認識辞書の中から、前記天候と前記時間帯との組み合わせに対応する前記認識辞書を選択する請求項４の物体認識システム。
  7. 　さらに、前記移動体の種別毎に、前記第１の指標値を取得し、前記取得した前記第１の指標値を、前記物体認識システムの性能指標として所定の出力先に出力する性能指標出力手段を備える、請求項１から５いずれか一の物体認識システム。
  8. 　認識辞書を用いてカメラに映った移動体について物体認識を実行し、
    　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得し、
    　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、
    　前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
    　物体認識方法。
  9. 　認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、
    　前記移動体の物体認識の結果の信頼度を示す第１の指標値を取得する処理と、
    　前記第１の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、
    　前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第２の指標値を取得し、該第２の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、
    　をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/027662 2022-07-14 2022-07-14 物体認識システム、物体認識方法及び記録媒体 WO2024013919A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/027662 WO2024013919A1 (ja) 2022-07-14 2022-07-14 物体認識システム、物体認識方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/027662 WO2024013919A1 (ja) 2022-07-14 2022-07-14 物体認識システム、物体認識方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2024013919A1 true WO2024013919A1 (ja) 2024-01-18

Family

ID=89536226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027662 WO2024013919A1 (ja) 2022-07-14 2022-07-14 物体認識システム、物体認識方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2024013919A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083297A (ja) * 2000-06-28 2002-03-22 Matsushita Electric Ind Co Ltd 物体認識方法および物体認識装置
JP2009295112A (ja) * 2008-06-09 2009-12-17 Nippon Soken Inc 物体認識装置
JP2016031564A (ja) * 2014-07-25 2016-03-07 株式会社デンソー 歩行者検出装置および歩行者検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083297A (ja) * 2000-06-28 2002-03-22 Matsushita Electric Ind Co Ltd 物体認識方法および物体認識装置
JP2009295112A (ja) * 2008-06-09 2009-12-17 Nippon Soken Inc 物体認識装置
JP2016031564A (ja) * 2014-07-25 2016-03-07 株式会社デンソー 歩行者検出装置および歩行者検出方法

Similar Documents

Publication Publication Date Title
CN109087510B (zh) 交通监测方法及装置
CN110659658B (zh) 一种目标检测方法及其装置
JP7222209B2 (ja) イベント検出に用いられる深層学習ネットワーク、該ネットワークの訓練装置及び訓練方法
EP3197147A1 (en) Event signal processing method and apparatus
JP2019145174A (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
CN112149476A (zh) 目标检测方法、装置、设备和存储介质
CN115345905A (zh) 目标对象跟踪方法、装置、终端及存储介质
CN110363731B (zh) 一种图像融合方法、装置及电子设备
CN116107591A (zh) 基于corner cases的部署模型构建方法
CN111222522A (zh) 神经网络训练、路面检测、智能驾驶控制方法和装置
JP7071316B2 (ja) 車両用情報処理装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
WO2024013919A1 (ja) 物体認識システム、物体認識方法及び記録媒体
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112001301B (zh) 基于全局交叉熵加权的楼宇监控方法、装置和电子设备
CN111726592B (zh) 获取图像信号处理器的架构的方法和装置
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN110880003B (zh) 一种图像匹配方法、装置、存储介质及汽车
JP7384158B2 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
CN112001300A (zh) 基于按位置交叉熵的楼宇监控方法、装置和电子设备
CN112597995A (zh) 车牌检测模型训练方法、装置、设备及介质
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN109993777B (zh) 一种基于双模板自适应阈值的目标跟踪方法及系统
KR20210087494A (ko) 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
JP7523312B2 (ja) 物体認識装置、物体認識システム、物体認識装置の学習方法、物体認識装置の物体認識方法、物体認識装置の学習プログラム及び物体認識装置の物体認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22951133

Country of ref document: EP

Kind code of ref document: A1