WO2024013919A1 - 物体認識システム、物体認識方法及び記録媒体 - Google Patents
物体認識システム、物体認識方法及び記録媒体 Download PDFInfo
- Publication number
- WO2024013919A1 WO2024013919A1 PCT/JP2022/027662 JP2022027662W WO2024013919A1 WO 2024013919 A1 WO2024013919 A1 WO 2024013919A1 JP 2022027662 W JP2022027662 W JP 2022027662W WO 2024013919 A1 WO2024013919 A1 WO 2024013919A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- recognition
- object recognition
- index value
- dictionary
- recognition dictionary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000008859 change Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Definitions
- the present invention relates to an object recognition system, an object recognition method, and a recording medium.
- Patent Document 1 discloses an image processing device that can recognize images with high reliability even if the recognition environment that affects the recognition accuracy of images captured by an imaging device changes.
- this video processing device includes a recognition environment acquisition unit that acquires recognition environment factors at the time of imaging that affect the recognition accuracy of the video imaged by the imaging device, and a correspondence between the recognition accuracy of the video and the recognition environment factors.
- a recognition accuracy calculation unit that calculates recognition accuracy using the recognition environment factors acquired by the recognition environment acquisition unit with reference to recognition environment factors that store recognition environment conditions, and recognition reliability based on the calculated recognition accuracy.
- a recognition reliability calculation unit that calculates the recognition reliability.
- the same document states that if the results of the alarm for the same recognition target differ between other video processing devices and the video processing device itself, the video processing device determines that there is an abnormality in its own recognition results, and changes the algorithm. It is described that an improvement plan for the function that outputs recognition results is presented (paragraph 0057, etc.).
- Patent Document 1 states that if it is determined that there is an abnormality in the recognition result, it will present an improvement plan for the function that outputs the recognition result, such as changing the algorithm. It is difficult to make improvements.
- An object of the present invention is to provide an object recognition system, an object recognition method, and a recording medium that can suppress deterioration of recognition performance due to environmental changes such as time of day and night and weather.
- an object recognition means for performing object recognition on a moving object captured by a camera using a recognition dictionary, and a first index value indicating the reliability of the object recognition result of the moving object are acquired.
- a first acquisition means for acquiring a second index value representing a photographing environment of the camera; and a second acquisition means for acquiring a second index value representing a photographing environment of the camera;
- An object recognition system is provided, including a control means for determining necessity. When determining that the recognition dictionary is to be changed, the control means of the object recognition system selects a recognition dictionary to be used for the object recognition from among the plurality of recognition dictionaries based on the second index value.
- object recognition is performed on the moving object captured by the camera using a recognition dictionary, a first index value indicating the reliability of the object recognition result of the moving object is obtained, and the first index value is obtained. Based on the first index value, it is determined whether or not the recognition dictionary used for object recognition needs to be changed, and if it is determined that the recognition dictionary is to be changed, a second index value representing the shooting environment of the camera is obtained.
- a recognition dictionary to be used for object recognition is selected from among a plurality of recognition dictionaries based on the second index value.
- a process of performing object recognition on a moving object captured by a camera using a recognition dictionary and a process of obtaining a first index value indicating the reliability of the object recognition result of the moving object. and a process of determining, based on the first index value, whether or not it is necessary to change the recognition dictionary used for object recognition; a recording medium having recorded thereon a program for causing a computer to execute a process of acquiring a second index value and selecting a recognition dictionary to be used for object recognition from among a plurality of recognition dictionaries based on the second index value; provided.
- an object recognition system an object recognition method, and a recording medium that can suppress deterioration of recognition performance due to environmental changes such as time of day and night and weather.
- FIG. 1 is a diagram showing the configuration of an embodiment of the present invention.
- 3 is a flowchart showing the operation of an embodiment of the present invention.
- FIG. 3 is a diagram for explaining the operation of an embodiment of the present invention.
- FIG. 1 is a block diagram showing the configuration of an object recognition system according to a first embodiment of the present invention.
- FIG. 3 is a diagram showing an example of a recognition dictionary set held in a recognition dictionary storage means of the object recognition system according to the first embodiment of the present invention.
- 1 is a flowchart showing the operation of the object recognition system according to the first embodiment of the present invention.
- FIG. 2 is a diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
- FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
- FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
- FIG. 3 is another diagram for explaining the operation of the object recognition system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing the configuration of an object recognition system according to a second embodiment of the present invention. It is a figure for explaining operation of an object recognition system of a 2nd embodiment of the present invention.
- FIG. 3 is a block diagram showing the configuration of an object recognition system according to a third embodiment of the present invention. It is a flow chart showing operation of an object recognition system of a 3rd embodiment of the present invention.
- 1 is a diagram showing the configuration of a computer that can function as an object recognition system of the present invention.
- connection lines between blocks in the drawings and the like referred to in the following description include both bidirectional and unidirectional connections.
- the unidirectional arrows schematically indicate the main signal (data) flow, and do not exclude bidirectionality.
- the program is executed via a computer device, and the computer device includes, for example, a processor, a storage device, an input device, a communication interface, and, if necessary, a display device.
- this computer device is configured to be able to communicate with equipment (including a computer) inside or outside the device via a communication interface, regardless of whether it is wired or wireless. Furthermore, although there are ports or interfaces at the input/output connection points of each block in the figure, illustration thereof is omitted.
- an object recognition system 10 includes an object recognition means 11, a first acquisition means 12, a second acquisition means 13, and a control means 14. This can be achieved by
- the object recognition means 11 performs object recognition on the moving object captured by the camera 20 using the recognition dictionaries 15-1 to 15-2.
- the recognition dictionaries 15-1 to 15-2 are a collection of data necessary for recognition applied to the classifier used by the object recognition means 11 for object recognition, and are switched by the control means 14.
- a plurality of types of recognition dictionaries 15-1 to 15-2 are created depending on the shooting environment of the camera, such as daytime, nighttime, clear weather, and rainy weather, for example. Note that such a recognition dictionary can be created by preparing images obtained under different shooting environments as training data and using techniques such as machine learning and deep learning.
- the classifier receives an input value and outputs a recognition result for the input value, and is sometimes called a learning model or an AI (Artificial Intelligence) model.
- AI Artificial Intelligence
- the first acquisition means 12 acquires a first index value indicating the reliability of the object recognition result of the moving body.
- a first index value indicating the reliability of the object recognition result of the moving body.
- mAP mean average precision
- IoU intersection over union
- a value indicating the reliability of the object recognition results of other moving bodies may be calculated as the first index value.
- the second acquisition means 13 acquires a second index value representing the photographing environment of the camera 20. For example, if the recognition dictionary is created for day and night divisions, the second acquisition means 13 can obtain the second index value by acquiring time information. Furthermore, if the recognition dictionary is created based on weather categories, the second acquisition means 13 may acquire weather information from an external network, sensor, or the like. For example, the second acquisition means 13 can also acquire the second index value by estimating day/night classification and weather from an image taken with a camera.
- the control means 14 determines whether or not it is necessary to change the recognition dictionary used for object recognition based on the first index value. As a result of the determination, if it is determined that the recognition dictionary is to be changed, the control means 14 selects a recognition dictionary to be used for the object recognition from among the plurality of recognition dictionaries based on the second index value, The object recognition means 11 is instructed to switch the recognition dictionary.
- FIG. 2 shows an object recognition method used in the object recognition system 10 according to this embodiment.
- the object recognition system 10 configured as described above first performs object recognition for a moving object captured by a camera using a recognition dictionary (step S001).
- the object recognition system 10 acquires a first index value indicating the reliability of the object recognition result of the moving body (step S002).
- the object recognition system 10 determines whether or not it is necessary to change the recognition dictionary used for object recognition based on the first index value (step S003).
- the object recognition system 10 acquires a second index value representing the photographing environment of the camera (step S004), and Based on the second index value, a recognition dictionary to be used for object recognition is selected from a plurality of recognition dictionaries and switched (step S005). Note that when it is determined in step S003 that the recognition dictionary is not changed (No in step S003), the object recognition system 10 omits acquiring the second index value and changing the recognition dictionary.
- FIG. 3 is a diagram for explaining the operation of one embodiment of the present invention.
- the object recognition system 10 performs object recognition using the recognition dictionary 15-1 and detects people P1 and P2.
- CV in FIG. 3 and the following is an abbreviation for Confidence Value, and the upper limit is 100, and the higher the value, the higher the reliability.
- the object recognition system 10 determines whether or not it is necessary to change the recognition dictionary based on these first index values. For example, when the image from the camera 20 becomes darker as the sun approaches sunset, the CV decreases.
- the object recognition system 10 determines to change the recognition dictionary when the average CV is equal to or less than a predetermined value. Then, the object recognition system 10 acquires time information as the second index value, and switches to the nighttime recognition dictionary. This improves the accuracy of subsequent object recognition.
- the necessity of changing the recognition dictionary based on the first index value CV described above can be determined using various criteria. An example is shown below. - If the average CV is less than a predetermined threshold value A, change the recognition dictionary. - If the CV of one or more moving objects is less than or equal to a predetermined threshold B, change the recognition dictionary. - If the CVs of two or more moving objects are below a predetermined threshold C, change the recognition dictionary. - If the CV of a moving object with a specific attribute is less than or equal to a predetermined threshold D, the recognition dictionary is changed.
- the object recognition system 10 that operates as described above, it is possible to detect a decline in the recognition performance of the object recognition means 11 at an early stage, change the recognition dictionary, and restore the recognition performance.
- FIG. 4 is a diagram showing the configuration of the object recognition system 100 according to the first embodiment of the present invention.
- an object recognition system 100 is shown that includes an object recognition means 101, a first acquisition means 102, a second acquisition means 103, a control means 104, and a recognition dictionary storage means 105. .
- the object recognition means 101 performs object recognition on the moving object captured by the camera 20 using a classifier to which a recognition dictionary is applied. This embodiment will be described on the assumption that the object recognition unit 101 recognizes a person or vehicle captured by a camera and outputs the recognition to a predetermined output destination.
- the first acquisition means 102 acquires a first index value indicating the reliability of the object recognition result of the moving object, and sends it to the control means 104.
- this first index value will be referred to as "CV".
- the first acquisition means 102 will be described as one that acquires mAP and IoU calculated in the process of object recognition from the object recognition means 101 and calculates the CV.
- the upper limit of "CV" is 100, and the larger the value, the higher the reliability of the object recognition result.
- the first index value may be any value that allows the control means 104 to determine whether or not the recognition dictionary needs to be changed, and does not need to be a systematic value such as "CV" in this embodiment.
- the second acquisition means 103 acquires a second index value representing the photographing environment of the camera 20.
- the second acquisition means 103 will be described as one that determines the day/night distinction and the weather from the image of the camera 20 in response to a request from the control means 104, and returns the information to the control means 104.
- the control means 104 determines whether or not it is necessary to change the recognition dictionary used by the object recognition means 101. As a result of the determination, if it is determined that the recognition dictionary is to be changed, the control means 104 selects a recognition dictionary from the recognition dictionary storage means 105 based on the second index value, and changes the recognition dictionary to the object recognition means 101. send.
- the recognition dictionary storage means 105 stores a recognition dictionary used by the object recognition means 101 for object recognition.
- FIG. 5 shows a set of recognition dictionaries stored in the recognition dictionary storage means 105.
- the recognition dictionary storage means 105 includes a recognition dictionary 1051 for daytime and sunny weather, a recognition dictionary 1052 for daytime and rainy weather, a recognition dictionary 105m for nighttime and sunny weather, and a recognition dictionary 105n for nighttime and rainy weather.
- a recognition dictionary that can be selected based on combinations of day and night weather will be explained.
- weather-specific recognition dictionaries for clear weather and rainy weather are provided, but other recognition dictionaries for fog, snow, etc. may also be provided.
- recognition dictionaries may be prepared for time zones of arbitrary length, such as morning, evening, morning, afternoon, etc. Even under the same clear sky, the position of the sun and the way shadows cast differ in the morning, evening, morning, and afternoon, so recognition accuracy may be improved by using separate recognition dictionaries. Therefore, recognition dictionaries may be prepared that correspond to combinations of time zones and weather, such as clear skies - morning, clear skies - morning, clear skies - afternoon, clear skies - evening, and clear skies - night.
- the recognition dictionary storage means 105 may store recognition dictionaries used in situations other than those described above or further segmented recognition dictionaries.
- FIG. 6 is a flow chart showing the operation of the object recognition system according to the first embodiment of the present invention.
- the object recognition system 100 performs object recognition on a moving object captured by the camera (step S101).
- the object recognition system 100 acquires the CV of the moving object detected by object recognition (step S102).
- FIG. 7 shows an example of a moving object detected by the object recognition system 100 and its CV.
- the object recognition system 100 determines whether or not it is necessary to change the recognition dictionary applied to the object recognition means 101 based on the CV of the moving object (step S103).
- the control means 104 of the object recognition system 100 selects one or more moving objects located within a predetermined distance range from the camera 20, and uses the CV thereof to determine whether or not the recognition dictionary needs to be changed.
- the control means 104 of the object recognition system 100 selects the moving objects MO2 to MO4 located within a predetermined distance range from the camera 20, and uses their CVs to determine whether or not the recognition dictionary needs to be changed.
- 80, 60, and 70 are obtained as the CV of the mobile object MO2 (person), the CV of the mobile object MO3 (person), and the CV of the mobile object MO4 (car).
- the control means 104 of the object recognition system 100 determines whether or not it is necessary to change the recognition dictionary by calculating, for example, the average CV from these CVs and comparing it with a predetermined threshold. For example, when the predetermined threshold is 60, in the example of FIG. 7, the control means 104 of the object recognition system 100 determines that the recognition dictionary does not need to be changed.
- FIG. 8 is a diagram showing CV in a state where recognition performance has deteriorated.
- 80, 40, and 30 are obtained as the CV of the mobile object MO2 (person), the CV of the mobile object MO3 (person), and the CV of the mobile object MO4 (car).
- the control means 104 of the object recognition system 100 determines that the recognition dictionary needs to be changed.
- the object recognition system 100 acquires a second index value representing the photographing environment of the camera (step S104), and Based on the second index value, a recognition dictionary to be used for object recognition is selected from among the plurality of recognition dictionaries and switched (step S105). For example, if the current situation in which the camera is placed is nighttime and rainy weather, the recognition dictionary for nighttime and rainy weather is selected and the recognition dictionary is switched. As a result, the performance of object recognition processing from the next time onwards can be restored.
- the object recognition system 100 of this embodiment selects the moving objects MO2 to MO4 located within a predetermined distance range from the camera 20, and uses their CVs to Determine whether it is necessary to change the recognition dictionary. Therefore, the CV of the mobile object MO4 that is far from the camera 20 is not used to determine whether or not it is necessary to change the recognition dictionary.
- deterioration in recognition performance that may affect the performance of the system can be grasped at an early stage, and countermeasures can be taken.
- the determination is made by comparing the average CV with a threshold value, but the method for determining whether or not the recognition dictionary needs to be changed is not limited to this.
- the determination may be made using the maximum CV, minimum CV, median CV, or other statistical values.
- FIG. 11 is a block diagram showing the configuration of an object recognition system 100a according to the second embodiment of the present invention.
- the difference from the first embodiment shown in FIG. 3 is the operation of the control means 104a to determine whether or not the recognition dictionary needs to be changed.
- the other configurations and operations are the same as those in the first embodiment, so their explanations will be omitted.
- FIG. 12 is a diagram for explaining the operation of the object recognition system 100a of the second embodiment.
- This embodiment is similar to the first embodiment in that among the detected moving objects MO1 to MO4, moving objects MO2 to MO4 are selected and their CVs are used to determine whether or not the recognition dictionary needs to be changed.
- the control means 104a of the object recognition system 100a determines whether or not the recognition dictionary needs to be changed based on the values obtained by weighting each type of moving object.
- the control means 104a of the object recognition system 100a determines that there is no need to change the recognition dictionary.
- Table 1 shows the CV values of vehicles (MO4) and pedestrians (MO2, MO3).
- the control means 104a of the object recognition system 100a of this embodiment determines that the recognition dictionary needs to be changed. As a result, the performance of object recognition processing from the next time onwards can be restored.
- weighting example shown in FIG. 12 is just an example.
- Various changes can be made. For example, if early detection of a pedestrian is required for the purpose of the object recognition system 100a, a smaller value may be set as the weighting coefficient multiplied by the CV of the pedestrian. As a result, the average CV after weighting correction decreases, and it becomes possible to prompt switching of recognition dictionaries at an early stage.
- the description has been made assuming that there are two types of moving objects, pedestrians and vehicles, but the types of moving objects are not limited to this.
- the moving object (pedestrian) MO2 in Figure 12 and the moving object (pedestrian) MO3 using a cane multiply each by a weighting coefficient, and then calculate the average CV after weighting correction. It may also be calculated.
- the moving object (four-wheeled vehicle) MO1 and the moving object (two-wheeled vehicle) MO4 in FIG. 12 are treated as different types, each is multiplied by a weighting coefficient, and then the average CV after weighting correction is calculated. Good too.
- the method of determining whether or not it is necessary to change the recognition dictionary is not limited to this.
- the necessity of changing the recognition dictionary may be determined using a plurality of weighted modified maximum CVs, minimum CVs, intermediate CVs, or other statistical values.
- a method other than weighting may be used to determine whether or not the recognition dictionary needs to be changed.
- the control means 104a determines whether or not the recognition dictionary needs to be changed based on the first index value and a criterion such as a threshold value determined for each type of moving object. You may. For example, by setting different thresholds for the moving object (pedestrian) MO2 in FIG. 12 and the moving object (pedestrian) MO3 using a cane and comparing them, the same result as in the above example can be achieved. Judgment results can be obtained.
- FIG. 13 is a block diagram showing the configuration of an object recognition system 100b according to the third embodiment of the present invention.
- the difference from the first embodiment shown in FIG. 3 is the operation of the control means 104b to determine whether or not the recognition dictionary needs to be changed.
- the other configurations are the same as those in the first embodiment, so the explanation will be omitted.
- control means 104b of the object recognition system 100b of the present embodiment causes the object recognition means 101 to perform object recognition using the recognition dictionary of the switching candidate, so that the first evaluation value is After confirming that it increases, switch the recognition dictionary.
- FIG. 14 is a flowchart showing the operation of the object recognition system according to the third embodiment of the present invention.
- the operations of steps S101 to S104 and S105 in FIG. 14 are the same as those in the first embodiment, so the differences will be mainly described below.
- the control means 104b of the object recognition system 100b After determining that the recognition dictionary is to be changed and acquiring a second index value representing the photographing environment of the camera, the control means 104b of the object recognition system 100b performs multiple recognition processes based on the second index value.
- a recognition dictionary switching candidate used for the object recognition is selected from among the dictionaries.
- the control unit 104b requests the object recognition unit 101 to perform object recognition processing using the recognition dictionary of the switching candidate (step S205).
- the control means 104b of the object recognition system 100b requests the first acquisition means 102 to acquire the CV of the moving body detected by object recognition, and acquires it (step S206). Then, the control means 104b determines whether or not the CV acquired in step S206 has improved (step S207). It is conceivable to determine whether or not this CV has improved by comparing it with the CV acquired in step S102. Furthermore, as another modification, a determination similar to the determination process in step S103 may be performed to determine again whether or not it is necessary to switch the recognition dictionary. As a result of object recognition using recognition dictionary candidates, if it is determined that switching the recognition dictionary is unnecessary, that recognition dictionary candidate is selected. If it is determined that switching the recognition dictionary is necessary as a result of object recognition using the candidate recognition dictionary, it is determined that switching to the candidate recognition dictionary is unnecessary.
- step S207 if it is determined that the CV has improved, the control means 104b of the object recognition system 100b switches to the recognition dictionary of the switching candidate (step S105). On the other hand, if it is determined that the CV has not improved as a result of the determination in step S207, the control means 104b of the object recognition system 100b continues to use the previous recognition dictionary (No in step S207).
- the improvement of the CV indicating the reliability of the object recognition result is confirmed. Therefore, in comparison with the first embodiment, it is possible to prevent a situation in which object recognition accuracy deteriorates after switching the recognition dictionary.
- the control means 104b of the object recognition system 100b determines whether or not it is necessary to change the recognition dictionary by placing emphasis on the CV of a specific type of moving object among the detected moving objects, and also determines whether or not it is necessary to change the recognition dictionary. Improvement can also be carried out by checking whether the CV of a specific type of moving body has improved.
- FIG. 15 is a block diagram showing the configuration of an object recognition system 100c according to the fourth embodiment of the present invention. The difference from the first embodiment shown in FIG. 3 is that a performance index output means 106 is added. The other configurations are the same as those in the first embodiment, so the explanation will be omitted.
- the performance index output means 106 acquires the CV for each type of moving body at a predetermined period, and performs an operation of outputting the CV to a predetermined output destination as a performance index of the object recognition system 100c.
- FIG. 16 is a flowchart showing operations added to the object recognition system according to the fourth embodiment of the present invention.
- the object recognition system 100c performs object recognition processing on a moving object captured by the camera (step S401).
- This object recognition process may also serve as the normal object recognition process performed in step S101, but may also be performed to output a performance index of the object recognition system 100c.
- the object recognition system 100c acquires the CV of the moving object detected by object recognition (step S402).
- the object recognition system 100c creates a screen or a form showing the acquired CV of the moving object by moving object type and distance, and outputs it to a predetermined output destination.
- FIG. 17 is an example of a screen created by the object recognition system 100c.
- the CV of the moving object is displayed by moving object type and distance.
- the user of the object recognition system 100c can check whether the accuracy of the object recognition system 100c is maintained regarding the type and distance of the moving object, or conversely whether the accuracy is deteriorating. This makes it possible to easily confirm this visually.
- the CVs of elderly people P3 and P4 are 30 and 40, respectively, indicating that they are deteriorating.
- the user of such an object recognition system 100c can understand that it is necessary to improve the CVs of the elderly people P3 and P4 who are in the first distance range.
- the user of the object recognition system 100c implements improvement measures such as applying an existing recognition dictionary that can improve the CV of elderly people P3 and P4 in the first distance range, or creating a new recognition dictionary. This will improve the recognition accuracy of the object recognition system 100c for elderly people from now on.
- the distance range is divided into two categories, the first distance range and the second distance range, but the distance range may be further divided into smaller sections.
- the main purpose of the object recognition system 100c is to watch over elderly people crossing a crosswalk 15 to 20 meters ahead of the camera 20, it may be divided into that section and the sections before and after it, each representing a CV. .
- the types of moving objects are divided into two categories, elderly and non-elderly, but the types of moving objects may be further subdivided. This makes it easy to understand the types of moving objects that the currently applied recognition dictionary is good at or bad at.
- FIG. 17 has been described as presenting a screen that shows both the mobile object type and the distance range, it is not necessary to use both the mobile object type and the distance range.
- these may be easily switched using a drop-down list provided on the screen or a hardware key.
- each component of each device represents a functional unit block.
- a part or all of each component of each device is realized by an arbitrary combination of an information processing device 900 and a program as shown in FIG. 18, for example.
- FIG. 18 is a block diagram illustrating an example of the hardware configuration of the information processing device 900 that implements each component of each device.
- the information processing device 900 includes the following configuration, for example.
- Each component of each device in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions. That is, the CPU 901 in FIG. 18 executes a program that detects an object and obtains its CV (first index value), and a program that determines whether or not the recognition dictionary needs to be changed based on the CV. It is only necessary to update each calculation parameter held in 905 or the like.
- a program 904 that implements the functions of each component of each device is stored, for example, in advance in a storage device 905 or ROM 902, and is read out by the CPU 901 as needed. Note that the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
- this program 904 can display the processing results, including intermediate states, step by step via a display device, if necessary, or can communicate with the outside via a communication interface. Further, this program 904 can be recorded on a computer readable (non-transitory) storage medium.
- each device may be realized by any combination of separate information processing device 900 and program for each component.
- a plurality of components included in each device may be realized by an arbitrary combination of one information processing device 900 and a program. That is, it can be realized by a computer program that causes the processors installed in these devices shown in the first to fourth embodiments described above to execute the above-mentioned processes using the hardware.
- each device is realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or multiple chips connected via a bus.
- each component of each device may be realized by a combination of the circuits and the like described above and a program.
- each device When some or all of the components of each device are realized by multiple information processing devices, circuits, etc., the multiple information processing devices, circuits, etc. may be centrally located or distributed. Good too.
- information processing devices, circuits, etc. may be implemented as a client and server system, a cloud computing system, or the like, in which each is connected via a communication network.
- each of the above embodiments has been described as changing the recognition dictionary, it is also possible to adopt a form in which the discriminator is changed from among a plurality of discriminators.
- the control means 104, 104a may use the second index value in addition to the first index value to determine whether or not it is necessary to change the recognition dictionary.
- the control means 104, 104a determines that the recognition dictionary should be changed when the CV is below the threshold and the second index value indicates that the area around the camera 20 is dark. Good too.
- this second index value in addition to illuminance, information on the aperture opening of the camera 20, shutter speed, ISO value, etc. can also be simply used.
- Object recognition means for performing object recognition on a moving object captured by a camera using a recognition dictionary; a first acquisition means for acquiring a first index value indicating the reliability of the object recognition result of the moving object; a second acquisition means for acquiring a second index value representing a shooting environment of the camera; A control means for determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value, When the control means determines that the recognition dictionary is to be changed, the control means selects a recognition dictionary to be used for the object recognition from a plurality of recognition dictionaries based on the second index value.
- Object recognition system for performing object recognition on a moving object captured by a camera using a recognition dictionary; a first acquisition means for acquiring a first index value indicating the reliability of the object recognition result of the moving object; a second acquisition means for acquiring a second index value representing a shooting environment of the camera; A control means for determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value
- the control means of the object recognition system described above performs object recognition based on the first index value of one or more moving objects located within a predetermined distance range from the camera among the moving objects captured by the camera. A configuration may be adopted in which it is determined whether or not the recognition dictionary to be used needs to be changed.
- the control means of the object recognition system described above is configured to determine whether or not to change the recognition dictionary based on a value obtained by weighting the first index value according to the type of the moving object. can be taken.
- the control means of the object recognition system described above is configured to determine whether or not the recognition dictionary needs to be changed based on the first index value and a criterion determined for each type of moving object. I can do it.
- the control means of the object recognition system described above checks whether or not the first index value improves when switching to the recognition dictionary selected based on the second index value, and A configuration may be adopted in which the recognition dictionary is changed when the index value improves.
- the second index value acquired by the object recognition system described above includes at least weather information and information indicating a time zone, The control means may be configured to select the recognition dictionary corresponding to the combination of the weather and the time zone from among the plurality of recognition dictionaries.
- the object recognition system described above further includes:
- the first index value may be acquired for each type of moving body, and a configuration may be adopted that includes performance index output means for outputting the first index value to a predetermined output destination as a performance index of the object recognition system.
- [Additional note 8] Performs object recognition on moving objects captured by the camera using a recognition dictionary, obtaining a first index value indicating the reliability of the object recognition result of the moving body; Based on the first index value, determine whether it is necessary to change the recognition dictionary used for the object recognition, If it is determined that the recognition dictionary is to be changed, a second index value representing a photographing environment of the camera is obtained, and based on the second index value, one of the plurality of recognition dictionaries is used for the object recognition.
- a process of performing object recognition on a moving object captured by a camera using a recognition dictionary A process of acquiring a first index value indicating the reliability of the object recognition result of the moving body; A process of determining whether or not a recognition dictionary used for object recognition needs to be changed based on the first index value; If it is determined that the recognition dictionary is to be changed, a second index value representing a shooting environment of the camera is obtained, and based on the second index value, one of the plurality of recognition dictionaries is used for the object recognition.
- the process of selecting a recognition dictionary A recording medium that records a program that causes a computer to execute.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
[課題]昼夜等の時間帯や天候といった環境の変化による物体認識システムの認識性能の劣化を抑止する。 [解決手段]物体認識システムは、認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する第1の取得手段と、前記カメラの撮影環境を表す第2の指標値を取得する第2の取得手段と、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備える。物体認識システムの前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する。
Description
本発明は、物体認識システム、物体認識方法及び記録媒体に関する。
特許文献1に、撮像装置が撮像した映像の認識精度に影響を与える認識環境が変化しても信頼性が高い映像の認識できるという映像処理装置が開示されている。同文献によると、この映像処理装置は、撮像装置が撮像した映像の認識精度に影響を与える撮像時における認識環境要因を取得する認識環境取得部と、映像の認識精度と認識環境要因との対応である認識環境条件を記憶している認識環境要因を参照して、認識環境取得部が取得した認識環境要因での認識精度を算出する認識精度算出部と、算出された認識精度から認識信頼度を算出する認識信頼度算出部とを備える。さらに、同文献には、同じ認識対象についての他の映像処理装置と自身との発報の結果が異なる場合、この映像処理装置は、自身の認識結果に異常があると判断し、アルゴリズムの変更など認識結果を出力する機能の改善案を提示することが記載されている(段落0057等)。
屋外に設置された物体認識システムに共通の問題点として、天候や昼夜や天候によって、認識精度が変化してしまうという問題点がある。この点、特許文献1の映像処理装置では、認識結果に異常があると判断した場合、アルゴリズムの変更などの認識結果を出力する機能の改善案を提示するとの記載があるが、自動で機能の改善を行うことは困難である。
本発明は、昼夜等の時間帯や天候といった環境の変化による認識性能の劣化を抑止可能な物体認識システム、物体認識方法及び記録媒体を提供することを目的とする。
第1の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する第1の取得手段と、前記カメラの撮影環境を表す第2の指標値を取得する第2の取得手段と、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備える物体認識システムが提供される。この物体認識システムの制御手段は、前記認識辞書の変更を行うと判定した場合、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する。
第2の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行し、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得し、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、物体認識方法が提供される。
第3の視点によれば、認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する処理と、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、をコンピュータに実行させるプログラムを記録した記録媒体が提供される。
本発明によれば、昼夜等の時間帯や天候といった環境の変化による認識性能の劣化を抑止可能な物体認識システム、物体認識方法及び記録媒体が提供される。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。
本発明は、その一実施形態において、図1に示すように、物体認識手段11と、第1の取得手段12と、第2の取得手段13と、制御手段14と、を備える物体認識システム10にて実現できる。
物体認識手段11は、認識辞書15-1~15-2を用いてカメラ20に映った移動体について物体認識を実行する。認識辞書15-1~15-2は、物体認識手段11が物体認識に用いる識別器に適用する認識に必要なデータの集合であり、制御手段14によって切り替えられる。認識辞書15-1~15-2は、例えば、昼間用、夜間用、晴天用、雨天用といったカメラの撮影環境に応じて複数種作成される。なお、このような認識辞書は、異なる撮影環境下で得られた画像を教師データとして用意し、機械学習や深層学習等の手法を用いて作成することができる。識別器は、入力値を受け取り、それに対する認識結果を出力するものであり、学習モデル、AI(Artificial Intelligence)モデルと呼ばれる場合もある。
第1の取得手段12は、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する。この第1の指標値としては、移動体の物体認識の過程で得られるmAP(mean Average Precision)やIoU(Intersection over Union)等を用いることができる。もちろん、第1の指標値として、その他の移動体の物体認識の結果の信頼度を示す値を計算してもよい。
第2の取得手段13は、前記カメラ20の撮影環境を表す第2の指標値を取得する。例えば、認識辞書が昼夜の区分で作成されている場合、第2の取得手段13は、時刻情報を取得することで第2の指標値を得ることができる。また、認識辞書が天候の区分で作成されている場合、第2の取得手段13は、外部のネットワークやセンサ等から天候情報を取得してもよい。例えば、第2の取得手段13は、カメラで撮影された画像から、昼夜の区分や天候を推定することで第2の指標値を取得することもできる。
制御手段14は、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する。前記判定の結果、前記認識辞書の変更を行うと判定した場合、制御手段14は、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、物体認識手段11に認識辞書の切替を指示する。
図2は、本実施形態にかかる物体認識システム10に用いられる物体認識方法を示す。上記のように構成する物体認識システム10は、図2に示すように、まず、認識辞書を用いてカメラに映った移動体について物体認識を実行する(ステップS001)。次に、物体認識システム10は、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する(ステップS002)。次に、物体認識システム10は、前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する(ステップS003)。
前記判定の結果、前記認識辞書の変更を行うと判定した場合(ステップS003のYes)、物体認識システム10は、前記カメラの撮影環境を表す第2の指標値を取得し(ステップS004)、この第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、切り替える(ステップS005)。なお、ステップS003にて、前記認識辞書の変更を行わないと判定した場合(ステップS003のNo)、物体認識システム10は、第2の指標値の取得や認識辞書の変更を省略する。
図3は、本発明の一実施形態の動作を説明するための図である。物体認識システム10は、例えば、認識辞書15-1を用いて物体認識を行って、人P1、P2を検出したものとする。このときの人P1の第1の指標値として、CV=80、人P2の第1の指標値としてCV=60がそれぞれ得られたものとする。なお、図3以下のCVは、Confidence Valueの略であり、100を上限として、値が高いほど、信頼性が高いものとする。物体認識システム10は、これらの第1の指標値に基づいて、認識辞書の変更の要否を判定する。例えば、日没に近づき、カメラ20の画像が暗くなってきた場合、CVは低下する。物体認識システム10は、平均CVが所定値以下となった場合に、認識辞書の変更を行うと判定する。そして、物体認識システム10は、第2の指標値として、時刻情報を取得し、夜間用の認識辞書に切り替える。これにより、以降の物体認識の精度が向上することになる。
なお、上記した第1の指標値CVによる認識辞書の変更の要否は種々の基準を用いて決定することができる。その一例を下記に示す。
・平均CVが所定のしきい値A以下の場合、認識辞書を変更する。
・1つ以上の移動体のCVが所定のしきい値B以下の場合、認識辞書を変更する。
・2以上の移動体のCVが所定のしきい値C以下の場合、認識辞書を変更する。
・特定の属性の移動体のCVが所定のしきい値D以下の場合、認識辞書を変更する。
・平均CVが所定のしきい値A以下の場合、認識辞書を変更する。
・1つ以上の移動体のCVが所定のしきい値B以下の場合、認識辞書を変更する。
・2以上の移動体のCVが所定のしきい値C以下の場合、認識辞書を変更する。
・特定の属性の移動体のCVが所定のしきい値D以下の場合、認識辞書を変更する。
以上のように動作する物体認識システム10によれば、物体認識手段11の認識性能の低下を早期に検知して、認識辞書の変更を行って、認識性能を回復させることが可能となる。
[第1の実施形態]
続いて、所定の位置範囲に位置する移動体の検出機能を維持することにフォーカスした第1の実施形態について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態の物体認識システム100の構成を示す図である。図4を参照すると、物体認識手段101と、第1の取得手段102と、第2の取得手段103と、制御手段104と、認識辞書記憶手段105とを備える物体認識システム100が示されている。
続いて、所定の位置範囲に位置する移動体の検出機能を維持することにフォーカスした第1の実施形態について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態の物体認識システム100の構成を示す図である。図4を参照すると、物体認識手段101と、第1の取得手段102と、第2の取得手段103と、制御手段104と、認識辞書記憶手段105とを備える物体認識システム100が示されている。
物体認識手段101は、認識辞書を適用した識別器を用いてカメラ20に映った移動体について物体認識を実行する。本実施形態は、物体認識手段101は、カメラに映った人や車両を認識し、所定の出力先に出力するものとして説明する。
第1の取得手段102は、前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得し、制御手段104に送る。以下の説明では、この第1の指標値を「CV」と記す。以下、第1の取得手段102は、物体認識手段101から物体認識の過程で計算したmAPやIoUを取得してCVを計算するものとして説明する。また、本実施形態では、「CV」は100を上限とし、値が大きいほど、物体認識の結果の信頼度が高い値であるものとして説明する。もちろん、第1の指標値は、制御手段104が認識辞書の変更の要否を判定できるものであればよく、本実施形態の「CV」のような体系の値を採る必要はない。
第2の取得手段103は、前記カメラ20の撮影環境を表す第2の指標値を取得する。本実施形態では、第2の取得手段103は、制御手段104からの要求に応じて、前記カメラ20の画像から、昼夜の区別と天気を判別して制御手段104に返すものとして説明する。
制御手段104は、第1の取得手段102から受け取ったCVに基づいて、物体認識手段101が使用している認識辞書の変更の要否を判定する。前記判定の結果、前記認識辞書の変更を行うと判定した場合、制御手段104は、前記第2の指標値に基づいて、認識辞書記憶手段105から、認識辞書を選択し、物体認識手段101に送る。
認識辞書記憶手段105は、物体認識手段101が物体認識に用いる認識辞書を記憶する。図5は、認識辞書記憶手段105が記憶する認識辞書のセットを示す。本実施形態は、認識辞書記憶手段105は、昼間かつ晴天用の認識辞書1051、昼間かつ雨天用の認識辞書1052、夜間かつ晴天用の認識辞書105m、夜間かつ雨天用の認識辞書105nというように、昼夜の区別の天気の組み合わせで選択可能な認識辞書を保持しているものとして説明する。なお、図5の例では、天気別の認識辞書として晴天と雨天のものを用意しているが、その他、霧、雪等の認識辞書を用意してもよい。また、時間については、昼間と夜間の2つの区分けではなく、朝、夕、午前、午後等の他、任意の長さの時間帯の認識辞書を用意してもよい。同じ晴天であっても、朝、夕、午前、午後で太陽の位置や影のつき方が異なるため、認識辞書を分けた方が、認識精度が向上する場合がある。したがって、晴天-朝、晴天-午前、晴天-午後、晴天-夕方、晴天-夜というように、時間帯と天候の組み合わせに対応する認識辞書を用意してもよい。もちろん、認識辞書記憶手段105は、上記以外のシチュエーションで使用する認識辞書やさらに細分化された認識辞書を保持していてもよいことはもちろんである。
続いて、本実施形態の物体認識システム100の動作について、図面を参照して詳細に説明する。図6は、本発明の第1の実施形態の物体認識システムの動作を表した流れ図である。まず、物体認識システム100は、カメラに映った移動体について物体認識を実行する(ステップS101)。
次に、物体認識システム100は、物体認識で検出した移動体のCVを取得する(ステップS102)。図7は、物体認識システム100が検出した移動体と、そのCVの例を示す。
次に、物体認識システム100は、移動体のCVに基づいて、物体認識手段101に適用されている認識辞書の変更の要否を判定する(ステップS103)。このとき、物体認識システム100の制御手段104は、前記カメラ20から所定の距離範囲に位置する1以上の移動体を選択し、そのCVを用いて認識辞書の変更の要否を判定する。
例えば、図7に示すように、移動体MO1~MO4が検出されているものとする。この場合において、物体認識システム100の制御手段104は、前記カメラ20から所定の距離範囲に位置する移動体MO2~MO4を選択し、そのCVを用いて、認識辞書の変更の要否を判定する。図7の例では、移動体MO2(人)のCV、移動体MO3(人)のCV及び移動体MO4(車)のCVとして、80、60、70が得られる。物体認識システム100の制御手段104は、これらのCVから、例えば、その平均CVを計算し、所定のしきい値と比較することで、認識辞書の変更の要否を判定する。例えば、所定のしきい値が60である場合、図7の例では、物体認識システム100の制御手段104は、認識辞書の変更は不要であると判定する。
一方、日が暮れてきたり、天気が変わったりする等して、物体認識システム100の認識性能が劣化する場合がある。図8は、認識性能が劣化した状態のCVを表した図である。図8の例では、移動体MO2(人)のCV、移動体MO3(人)のCV及び移動体MO4(車)のCVとして、80、40、30が得られる。このとき平均CVは50であり、所定のしきい値が60である場合、物体認識システム100の制御手段104は、認識辞書の変更要と判定する。
このようにして、前記認識辞書の変更を行うと判定した場合(ステップS103のYes)、物体認識システム100は、前記カメラの撮影環境を表す第2の指標値を取得し(ステップS104)、この第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択し、切り替える(ステップS105)。例えば、カメラが置かれた現在の状況が夜間の雨天である場合、夜間-雨天用の認識辞書が選択され、認識辞書の切り替えが行われる。これにより、次回以降の物体認識処理の性能の回復が図られることになる。
さらに、上記した図7、図8で説明したように、本実施形態の物体認識システム100は、カメラ20から所定の距離範囲に位置する移動体MO2~MO4を選択し、そのCVを用いて、認識辞書の変更の要否を判定する。このため、カメラ20から離れた移動体MO4のCVは、認識辞書の変更の要否の判定に使われない。本実施形態では、このような移動体の選択を行うようにしたため、システムの性能に影響を及ぼし得る認識性能の劣化を早期に把握し、対策を採ることが可能となっている。
またこのような移動体の選択を行うことで、例えば、図9に示すように、所定距離外に多数の移動体が存在し、そのCVが低い場合であっても認識辞書の変更は不要と正しく判定することが可能となる。また逆に、図10に示すように全体のCVが高めに出ている場合であっても、所定距離内の移動体のCVが低い場合には、早期に、認識辞書の変更要と判定することが可能となる。
なお、上記した説明では、平均CVとしきい値との比較により判定するものとして説明したが、認識辞書の変更の要否の判定方法は、これに限られない。例えば、最大CV、最小CV、中間値CV又はその他の統計値を用いて判定してもよい。
[第2の実施形態]
続いて、物体認識システムが、移動体の重要性を加味し、認識辞書の変更の要否を判定するようにした第2の実施形態について説明する。図11は、本発明の第2の実施形態の物体認識システム100aの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、制御手段104aの認識辞書の変更の要否の判定動作である。その他の構成及び動作は第1の実施形態と同様であるため、説明を省略する。
続いて、物体認識システムが、移動体の重要性を加味し、認識辞書の変更の要否を判定するようにした第2の実施形態について説明する。図11は、本発明の第2の実施形態の物体認識システム100aの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、制御手段104aの認識辞書の変更の要否の判定動作である。その他の構成及び動作は第1の実施形態と同様であるため、説明を省略する。
図12は、第2の実施形態の物体認識システム100aの動作を説明するための図である。検出した移動体MO1~MO4のうち、移動体MO2~MO4を選択し、そのCVを用いて、認識辞書の変更の要否を判定する点は第1の実施形態と同様である。本実施形態では、物体認識システム100aの制御手段104aが、移動体の種別毎に重み付けを行って得られた値に基づいて認識辞書の変更の要否を判定する。
図12の移動体MO2~MO4のCVの平均値は、(60+80+71)/3=約70.3となる。所定のしきい値が65である場合、物体認識システム100aの制御手段104aは、認識辞書の変更は不要と判定する。しかしながら、車両と歩行者のCVに対し、それぞれ異なる係数を乗じてから移動体MO2~MO4のCVの平均値を求めることもできる。
表1は、車両(MO4)と歩行者(MO2、MO3)のCV値を示す。
例えば、歩行者のCVに乗じる係数を0.8とし、車両のCVに乗じる係数を1.0とし、平均CVを求めた場合、その修正後の平均CVは、((140×0.8)+(71×1.0))/3=61となる。同じく所定のしきい値が65である場合、本実施形態の物体認識システム100aの制御手段104aは、認識辞書の変更要と判定することになる。これにより、次回以降の物体認識処理の性能の回復が図られることになる。
なお、図12に示した重み付けの例はあくまで一例である。種々の変更を加えることができる。例えば、物体認識システム100aの用途上、歩行者の早期検出が要請されるのであれば、歩行者のCVに乗ずる重み付け係数としてより小さい値を設定すればよい。これにより、重み付け修正後の平均CVが下がり、早期に、認識辞書の切替を促すことが可能となる。また、上記した実施形態では、移動体の種別が歩行者と車輛の2つであるものとして説明したが、移動体の種別はこれに限定されない。例えば、図12の移動体(歩行者)MO2と、杖を突いている移動体(歩行者)MO3とをそれぞれ別の種別とし、それぞれに重み付け係数を乗じてから、重み付け修正後の平均CVを計算するようにしてもよい。例えば、図12の移動体(4輪車両)MO1と、移動体(二輪車)MO4とをそれぞれ別の種別とし、それぞれに重み付け係数を乗じてから、重み付け修正後の平均CVを計算するようにしてもよい。
以上説明したとおり、本実施形態によれば、検出した移動体のうち特定の種別の移動体について、その認識性能の劣化の発生を早期に把握し、認識辞書の変更を促すことが可能となる。
なお、上記した説明では、重み付け修正後の平均CVとしきい値との比較により判定する場合を説明したが、認識辞書の変更の要否の判定方法は、これに限られない。例えば、複数の重み付け修正後の最大CV、最小CV、中間値CV又はその他の統計値等を用いて認識辞書の変更の要否を判定してもよい。
また、認識辞書の変更の要否にあたり、重み付け以外の方法を用いて認識辞書の変更の要否を判定してもよい。具体的には、前記制御手段104aは、前記第1の指標値と、前記移動体の種別毎に定められたしきい値等の基準とに基づいて、前記認識辞書の変更の要否を判定してもよい。例えば、図12の移動体(歩行者)MO2と、杖を突いている移動体(歩行者)MO3とに、それぞれ異なるしきい値を設定し、比較を行うことでも、上記の例と同様の判定結果を得ることができる。
[第3の実施形態]
続いて、物体認識システムが、認識辞書の切替の前に認識性能の向上を確認するようにした第3の実施形態について説明する。図13は、本発明の第3の実施形態の物体認識システム100bの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、制御手段104bの認識辞書の変更の要否の判定動作である。その他の構成は第1の実施形態と同様であるため、説明を省略する。
続いて、物体認識システムが、認識辞書の切替の前に認識性能の向上を確認するようにした第3の実施形態について説明する。図13は、本発明の第3の実施形態の物体認識システム100bの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、制御手段104bの認識辞書の変更の要否の判定動作である。その他の構成は第1の実施形態と同様であるため、説明を省略する。
本実施形態の物体認識システム100bの制御手段104bは、前記認識辞書の変更を行うと判定した場合に、物体認識手段101に切替候補の認識辞書による物体認識を実行させ、第1の評価値が上がることを確認してから認識辞書の切替を行う。
図14は、本発明の第3の実施形態の物体認識システムの動作を表した流れ図である。図14のステップS101~S104、S105の動作は第1の実施形態と同様であるため以下、その相違点を中心に説明する。認識辞書の変更を行うと判定し、前記カメラの撮影環境を表す第2の指標値を取得した後、物体認識システム100bの制御手段104bは、この第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書の切替候補を選択する。そして、制御手段104bは、物体認識手段101、切替候補の認識辞書による物体認識処理を依頼する(ステップS205)。
次に、物体認識システム100bの制御手段104bは、第1の取得手段102に対し、物体認識で検出した移動体のCVの取得を依頼し、取得する(ステップS206)。そして、制御手段104bは、ステップS206で取得したCVが改善したか否かを判定する(ステップS207)。このCVが改善したか否かの判定は、ステップS102で取得したCVとの比較で行うことが考えられる。また、別の変形形態として、ステップS103の判定処理と同等の判定を行って、認識辞書の切替が必要か否かを再度判定するものであってもよい。認識辞書の候補による物体認識の結果、認識辞書の切替が不要と判断されれば、その認識辞書の候補を採択することになる。認識辞書の候補による物体認識の結果、認識辞書の切替が必要と判断された場合、その認識辞書の候補への切替は不要と判断される。
ステップS207の判定の結果、CVが改善したと判定された場合、物体認識システム100bの制御手段104bは、切替候補の認識辞書への切替を実施する(ステップS105)。一方、ステップS207の判定の結果、CVが改善していないと判定された場合、物体認識システム100bの制御手段104bは、従前の認識辞書の使用を継続する(ステップS207のNo)。
以上説明したとおり、本実施形態によれば、認識辞書の切替を行う前に、物体認識の結果の信頼度を示すCVの改善の確認が行われる。このため、第1の実施形態との比較において、認識辞書の切替後に物体認識の精度が劣化するといった事態を防ぐことが可能となる。
また、上記した説明では、認識辞書の切替の前にCVが改善されることを確認するものとしたが、一旦、認識辞書の切替を行ってから、CVを算出し、CVが低ければ元の認識辞書に戻す方法も採用することができる。
なお、上記した第3の実施形態の説明では、第1の実施形態と同様の方式を用いて、認識辞書の変更の要否を確認するものとして説明したが、第2の実施形態と第3の実施形態を組み合わせることも可能である。この場合、物体認識システム100bの制御手段104bは、検出した移動体のうち特定の種別の移動体のCVを重視して、認識辞書の変更の要否を判定し、また、ステップS207のCVの改善においても特定の種別の移動体のCVが改善したか否かを確認する形態を採ることができる。
[第4の実施形態]
続いて、物体認識システムに、その認識性能を表す指標値の出力機能を追加した第4の実施形態について説明する。図15は、本発明の第4の実施形態の物体認識システム100cの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、性能指標出力手段106が追加されている点である。その他の構成は第1の実施形態と同様であるため、説明を省略する。
続いて、物体認識システムに、その認識性能を表す指標値の出力機能を追加した第4の実施形態について説明する。図15は、本発明の第4の実施形態の物体認識システム100cの構成を表したブロック図である。図3に示した第1の実施形態との相違点は、性能指標出力手段106が追加されている点である。その他の構成は第1の実施形態と同様であるため、説明を省略する。
性能指標出力手段106は、所定の周期で、前記移動体の種別毎に、CVを取得し、物体認識システム100cの性能指標として所定の出力先に出力する動作を行う。
図16は、本発明の第4の実施形態の物体認識システムに追加される動作を表した流れ図である。図16を参照すると、まず、物体認識システム100cは、カメラに映った移動体について物体認識処理を実行する(ステップS401)。この物体認識処理は、ステップS101で行われる通常の物体認識処理を兼ねていてもよいが、物体認識システム100cの性能指標の出力のために行うものであってもよい。
次に、物体認識システム100cは、物体認識で検出した移動体のCVを取得する(ステップS402)。
次に、物体認識システム100cは、前記取得した移動体のCVを、移動体種別、距離別に表した画面や、帳票を作成し、所定の出力先に出力する。図17は、物体認識システム100cによって作成された画面の例である。この例では、移動体種別、距離別に移動体のCVが表されている。このような画面を参照することで、物体認識システム100cのユーザは、物体認識システム100cがどのような種別や距離にある移動体について精度が保たれていることや逆に精度が劣化していることを視覚的に容易に確認することが可能となる。
例えば、図17の例では、移動体(歩行者)のうち、高齢者P3、P4のCVがそれぞれ30、40であり、劣化していることがわかる。このような物体認識システム100cのユーザは、第1の距離範囲にある高齢者P3、P4のCVを改善させる必要があることを把握することができる。例えば、物体認識システム100cのユーザは、第1の距離範囲にある高齢者P3、P4のCVを改善できる既存の認識辞書を適用する、新規の認識辞書を作成するといった改善策を実施する。これにより、以降、物体認識システム100cの高齢者の認識精度が向上することになる。
なお、図17の例では、距離範囲を第1の距離範囲と、第2の距離範囲との2区分としているが、距離範囲を、より細かく細分化してもよい。例えば、物体認識システム100cの主用途がカメラ20から15m~20m先の横断歩道を渡る高齢者の見守りにある場合、その区間とその前後の区間に分けて、それぞれCVを表すようにしてもよい。また、図17の例では、移動体種別を高齢者と、非高齢者との2区分としているが、移動体種別を、より細かく細分化してもよい。これにより、現在適用されている認識辞書が得意又は不得意としている移動体種別を把握することが容易化される。
なお、図17の例では、移動体種別と距離範囲の両方を表した画面を提示するものとして説明したが、必ずしも移動体種別と距離範囲の両方を用いなくてもよい。例えば、ユーザが選択した移動体種別のCVを出力する形態や、ユーザが選択した距離範囲毎のCVを出力する形態も採用できる。もちろん、これらの切替を画面上に設けたドロップダウンリストや、ハードウェアキーで、簡易に切り替えられるようにしてもよい。
(ハードウェア構成について)
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図18に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図18は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インターフェース908
・データの入出力を行う入出力インターフェース910
・各構成要素を接続するバス911
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図18に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図18は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インターフェース908
・データの入出力を行う入出力インターフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。すなわち、図18のCPU901にて、物体を検出しそのCV(第1の指標値)を取得するプログラムや、そのCVにより認識辞書の変更の要否を判定するプログラムを実行し、RAM903や記憶装置905等に保持された各計算パラメーターの更新処理を実施させればよい。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
また、このプログラム904は、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と通信することができる。また、このプログラム904は、コンピュータが読み取り可能な(非トランジトリーな)記憶媒体に記録することができる。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。即ち、上記した第1~第4の実施形態に示した、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではない。即ち、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
例えば、上記した各実施形態では認識辞書を変更するものとして説明したが、複数の識別器の中から識別器を変更する形態も採用できる。
例えば、上記した各実施形態では、第1の指標値に基づいて認識辞書の変更の要否を判定するものとして説明したが、制御手段104、104aが、第1の指標値に加えて、その他の情報を参照して、認識辞書の変更の要否を判定してもよい。例えば、制御手段104、104aが、認識辞書の変更の要否の判定に、第1の指標値に加えて第2の指標値を用いてもよい。この場合、制御手段104、104aは、CVがしきい値以下、かつ、第2の指標値がカメラ20の周辺が暗くなっていることを示す場合に、認識辞書の変更を行うと判定してもよい。この第2の指標値としては、照度のほか、カメラ20の絞りの開度情報や、シャッタースピード、ISO値などを簡易的に用いることもできる。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[付記1]
認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する第1の取得手段と、
前記カメラの撮影環境を表す第2の指標値を取得する第2の取得手段と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備え、
前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識システム。
[付記2]
上記した物体認識システムの前記制御手段は、前記カメラに映った移動体のうち前記カメラから所定の距離範囲に位置する1以上の移動体の前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する構成を採ることができる。
[付記3]
上記した物体認識システムの前記制御手段は、前記移動体の種別に応じて前記第1の指標値に重み付けをして得られた値に基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
[付記4]
上記した物体認識システムの前記制御手段は、前記第1の指標値と、前記移動体の種別毎に定められた基準とに基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
[付記5]
上記した物体認識システムの前記制御手段は、前記第2の指標値に基づいて選択した認識辞書に切り替えた場合に、前記第1の指標値が改善するか否かを確認し、前記第1の指標値が改善する場合に、前記認識辞書の変更を実施する構成を採ることができる。
[付記6]
上記した物体認識システムが取得する前記第2の指標値は、少なくとも天候の情報と、時間帯を示す情報とを含み、
前記制御手段は、複数の前記認識辞書の中から、前記天候と前記時間帯との組み合わせに対応する前記認識辞書を選択する構成を採ることができる。
[付記7]
上記した物体認識システムは、さらに、
前記移動体の種別毎に、前記第1の指標値を取得し、前記物体認識システムの性能指標として所定の出力先に出力する性能指標出力手段を備える構成を採ることができる。
[付記8]
認識辞書を用いてカメラに映った移動体について物体認識を実行し、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得し、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識方法。
[付記9]
認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する処理と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、
をコンピュータに実行させるプログラムを記録した記録媒体。
認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する第1の取得手段と、
前記カメラの撮影環境を表す第2の指標値を取得する第2の取得手段と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備え、
前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識システム。
[付記2]
上記した物体認識システムの前記制御手段は、前記カメラに映った移動体のうち前記カメラから所定の距離範囲に位置する1以上の移動体の前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する構成を採ることができる。
[付記3]
上記した物体認識システムの前記制御手段は、前記移動体の種別に応じて前記第1の指標値に重み付けをして得られた値に基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
[付記4]
上記した物体認識システムの前記制御手段は、前記第1の指標値と、前記移動体の種別毎に定められた基準とに基づいて、前記認識辞書の変更の要否を判定する構成を採ることができる。
[付記5]
上記した物体認識システムの前記制御手段は、前記第2の指標値に基づいて選択した認識辞書に切り替えた場合に、前記第1の指標値が改善するか否かを確認し、前記第1の指標値が改善する場合に、前記認識辞書の変更を実施する構成を採ることができる。
[付記6]
上記した物体認識システムが取得する前記第2の指標値は、少なくとも天候の情報と、時間帯を示す情報とを含み、
前記制御手段は、複数の前記認識辞書の中から、前記天候と前記時間帯との組み合わせに対応する前記認識辞書を選択する構成を採ることができる。
[付記7]
上記した物体認識システムは、さらに、
前記移動体の種別毎に、前記第1の指標値を取得し、前記物体認識システムの性能指標として所定の出力先に出力する性能指標出力手段を備える構成を採ることができる。
[付記8]
認識辞書を用いてカメラに映った移動体について物体認識を実行し、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得し、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識方法。
[付記9]
認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する処理と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、
をコンピュータに実行させるプログラムを記録した記録媒体。
なお、上記付記8~付記9の形態は、付記1と同様に、付記2~付記7の形態に展開することが可能である。
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
10、100、100a、100b、100c 物体認識システム
11、101 物体認識手段
12、102 第1の取得手段
13、103 第2の取得手段
14、104、104b 制御手段
15-1~15-2 認識辞書
20 カメラ
105 認識辞書記憶手段
106 性能指標出力手段
1051、1052、105m、105n 認識辞書
P1、P2 人
P3、P4 人(高齢者)
MO1~MO4 移動体
900 情報処理装置
901 CPU(Central Processing Unit)
902 ROM(Read Only Memory)
903 RAM(Random Access Memory)
904 プログラム
905 記憶装置
906 記録媒体
907 ドライブ装置
908 通信インターフェース
909 通信ネットワーク
910 入出力インターフェース
911 バス
11、101 物体認識手段
12、102 第1の取得手段
13、103 第2の取得手段
14、104、104b 制御手段
15-1~15-2 認識辞書
20 カメラ
105 認識辞書記憶手段
106 性能指標出力手段
1051、1052、105m、105n 認識辞書
P1、P2 人
P3、P4 人(高齢者)
MO1~MO4 移動体
900 情報処理装置
901 CPU(Central Processing Unit)
902 ROM(Read Only Memory)
903 RAM(Random Access Memory)
904 プログラム
905 記憶装置
906 記録媒体
907 ドライブ装置
908 通信インターフェース
909 通信ネットワーク
910 入出力インターフェース
911 バス
Claims (9)
- 認識辞書を用いてカメラに映った移動体について物体認識を実行する物体認識手段と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する第1の取得手段と、
前記カメラの撮影環境を表す第2の指標値を取得する第2の取得手段と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する制御手段と、を備え、
前記制御手段は、前記認識辞書の変更を行うと判定した場合、前記第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識システム。 - 前記制御手段は、前記カメラに映った移動体のうち前記カメラから所定の距離範囲に位置する1以上の移動体の前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する請求項1の物体認識システム。
- 前記制御手段は、前記移動体の種別に応じて前記第1の指標値に重み付けをして得られた値に基づいて、前記認識辞書の変更の要否を判定する、
請求項1の物体認識システム。 - 前記制御手段は、前記第1の指標値と、前記移動体の種別毎に定められた基準とに基づいて、前記認識辞書の変更の要否を判定する、
請求項1の物体認識システム。 - 前記制御手段は、前記第2の指標値に基づいて選択した認識辞書に切り替えた場合に、前記第1の指標値が改善するか否かを確認し、前記第1の指標値が改善する場合に、前記認識辞書の変更を実施する請求項1の物体認識システム。
- 前記第2の指標値は、少なくとも天候の情報と、時間帯を示す情報とを含み、
前記制御手段は、複数の前記認識辞書の中から、前記天候と前記時間帯との組み合わせに対応する前記認識辞書を選択する請求項4の物体認識システム。 - さらに、前記移動体の種別毎に、前記第1の指標値を取得し、前記取得した前記第1の指標値を、前記物体認識システムの性能指標として所定の出力先に出力する性能指標出力手段を備える、請求項1から5いずれか一の物体認識システム。
- 認識辞書を用いてカメラに映った移動体について物体認識を実行し、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得し、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定し、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する、
物体認識方法。 - 認識辞書を用いてカメラに映った移動体について物体認識を実行する処理と、
前記移動体の物体認識の結果の信頼度を示す第1の指標値を取得する処理と、
前記第1の指標値に基づいて、前記物体認識に用いる認識辞書の変更の要否を判定する処理と、
前記認識辞書の変更を行うと判定した場合、前記カメラの撮影環境を表す第2の指標値を取得し、該第2の指標値に基づいて、複数の認識辞書の中から前記物体認識に用いる認識辞書を選択する処理と、
をコンピュータに実行させるプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/027662 WO2024013919A1 (ja) | 2022-07-14 | 2022-07-14 | 物体認識システム、物体認識方法及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/027662 WO2024013919A1 (ja) | 2022-07-14 | 2022-07-14 | 物体認識システム、物体認識方法及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024013919A1 true WO2024013919A1 (ja) | 2024-01-18 |
Family
ID=89536226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/027662 WO2024013919A1 (ja) | 2022-07-14 | 2022-07-14 | 物体認識システム、物体認識方法及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024013919A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083297A (ja) * | 2000-06-28 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 物体認識方法および物体認識装置 |
JP2009295112A (ja) * | 2008-06-09 | 2009-12-17 | Nippon Soken Inc | 物体認識装置 |
JP2016031564A (ja) * | 2014-07-25 | 2016-03-07 | 株式会社デンソー | 歩行者検出装置および歩行者検出方法 |
-
2022
- 2022-07-14 WO PCT/JP2022/027662 patent/WO2024013919A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083297A (ja) * | 2000-06-28 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 物体認識方法および物体認識装置 |
JP2009295112A (ja) * | 2008-06-09 | 2009-12-17 | Nippon Soken Inc | 物体認識装置 |
JP2016031564A (ja) * | 2014-07-25 | 2016-03-07 | 株式会社デンソー | 歩行者検出装置および歩行者検出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087510B (zh) | 交通监测方法及装置 | |
CN110659658B (zh) | 一种目标检测方法及其装置 | |
JP7222209B2 (ja) | イベント検出に用いられる深層学習ネットワーク、該ネットワークの訓練装置及び訓練方法 | |
EP3197147A1 (en) | Event signal processing method and apparatus | |
JP2019145174A (ja) | 画像処理システム、画像処理方法及びプログラム記憶媒体 | |
CN112149476A (zh) | 目标检测方法、装置、设备和存储介质 | |
CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
CN110363731B (zh) | 一种图像融合方法、装置及电子设备 | |
CN116107591A (zh) | 基于corner cases的部署模型构建方法 | |
CN111222522A (zh) | 神经网络训练、路面检测、智能驾驶控制方法和装置 | |
JP7071316B2 (ja) | 車両用情報処理装置 | |
CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
WO2024013919A1 (ja) | 物体認識システム、物体認識方法及び記録媒体 | |
CN113160272B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112001301B (zh) | 基于全局交叉熵加权的楼宇监控方法、装置和电子设备 | |
CN111726592B (zh) | 获取图像信号处理器的架构的方法和装置 | |
CN113393385A (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
CN112001300A (zh) | 基于按位置交叉熵的楼宇监控方法、装置和电子设备 | |
CN112597995A (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN113721240B (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
CN109993777B (zh) | 一种基于双模板自适应阈值的目标跟踪方法及系统 | |
KR20210087494A (ko) | 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
JP7523312B2 (ja) | 物体認識装置、物体認識システム、物体認識装置の学習方法、物体認識装置の物体認識方法、物体認識装置の学習プログラム及び物体認識装置の物体認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22951133 Country of ref document: EP Kind code of ref document: A1 |