WO2022044297A1 - 情報処理方法、情報処理装置及び情報処理プログラム - Google Patents
情報処理方法、情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- WO2022044297A1 WO2022044297A1 PCT/JP2020/032772 JP2020032772W WO2022044297A1 WO 2022044297 A1 WO2022044297 A1 WO 2022044297A1 JP 2020032772 W JP2020032772 W JP 2020032772W WO 2022044297 A1 WO2022044297 A1 WO 2022044297A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image recognition
- image
- pickup device
- image pickup
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000009434 installation Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an information processing method, an information processing device, and an information processing program.
- the analysis accuracy may vary greatly depending on the distance between the subject and the camera captured in the image to be analyzed, the camera installation position, the direction in which the camera is facing, the angle of view, the lens, and the like. Are known.
- the present invention has been made in view of the above, and is an information processing method and information capable of easily acquiring each parameter for adjustment of an image recognition system including an equipment installation position while maintaining image recognition accuracy. It is an object of the present invention to provide a processing apparatus and an information processing program.
- the information processing method of the present invention is an information processing method executed by an information processing apparatus, and an image recognition target may exist and an image is taken.
- the process of constructing an environment in which the site area where the device can be installed is reproduced in a virtual three-dimensional space, the process of arranging the three-dimensional object for recognition of the image recognition target in the reproduced environment, and the process of arranging it.
- the reproduced environment as parameters used for image recognition, at least the installation position of the image pickup device, the shooting direction of the image pickup device, and the image recognition model used for image recognition are changed, and the image recognition for the three-dimensional object is performed. It includes a step of acquiring accuracy and a step of outputting the installation position of the image pickup device whose accuracy meets a predetermined condition, the shooting direction of the image pickup device, and the image recognition model as parameters used for image recognition. It is characterized by that.
- FIG. 1 is a diagram illustrating an example of a processing flow at the time of adjustment of the analysis system according to the embodiment.
- FIG. 2 is a diagram illustrating an example of a processing flow at the time of adjustment of the analysis system in the embodiment.
- FIG. 3 is a block diagram showing an example of the configuration of the adjusting device.
- FIG. 4 is a diagram showing an example of parameters output by the adjusting device.
- FIG. 5 is a diagram showing an example of elements of the field situation.
- FIG. 6 is a diagram showing an example of changing the arrangement state of the three-dimensional object.
- FIG. 7 is a flowchart illustrating a processing procedure of the adjustment processing according to the embodiment.
- FIG. 8 is a diagram showing an example of a digital twin environment constructed on a virtual space.
- FIG. 9 is a diagram showing the visualization result of the output of the object detection model.
- FIG. 10 is a diagram showing an example of a computer in which an adjusting device is realized by executing a program.
- the installation position of the image pickup device and the image pickup are performed according to the situation of the target area (site area) where the image pickup device for capturing an image is installed. It relates to an adjustment method (information processing method) for adjusting each parameter of the direction and the image recognition model to be used.
- the optimum value of each parameter is obtained by automatically searching each parameter in an environment (digital twin environment) in which the target area is reproduced in a virtual three-dimensional space. Therefore, according to the present embodiment, parameters for adjusting each device of the analysis system, for example, the installation position of the image pickup device, the image pickup direction, and the analysis system including the image recognition model, while maintaining a predetermined accuracy. Can be easily obtained without human labor.
- a method of adjusting parameters including the camera installation location will be described.
- various sensors are used instead of the camera installation location and the parameters of the image recognition model. You may try to adjust the placement location and model parameters of.
- a microphone and event detection The placement of the microphone is often based on the impulse response. However, like cameras, it is considered that they are often installed at night in commercial buildings and the like. During the daytime, the transmission characteristics between the microphone and the sound source related to the event may change due to the presence of obstacles such as humans and signboards.
- the assumed obstacle digital twin it is possible to determine the installation location and model parameters of the microphone that can detect the event with higher accuracy than the simulation of the installation space. ..
- FIG. 1 and 2 are diagrams illustrating an example of a processing flow at the time of adjustment of the analysis system according to the embodiment.
- the analysis device 20 of the analysis center 200 installs the analysis system 1 according to the embodiment in the target area 100 to be analyzed by using the model 21 for image recognition.
- the image information captured by the image pickup device 10 is analyzed ((6), (7) in FIG. 1).
- the analysis device 20 estimates the attribute to which the subject or the candidate of the subject belongs in the image, and collates the subject or the candidate of the subject with the detection target.
- the target area 100 is a field area where an image recognition target can exist and an image pickup device for capturing an image can be installed.
- the number of image pickup devices 10 is set to one in FIG. 1 for the sake of simplification of the description, a plurality of image pickup devices 10 may be used.
- each parameter of the image pickup device 10 that may affect the output image is adjusted by the adjusting device 30.
- the threshold value is a value for recognition of the image recognition target of the model.
- the model estimates an attribute that is equal to or higher than the threshold value as an attribute to which the subject candidate belongs. Further, in the example of person collation, the model determines that the person is the same person if the score is equal to or higher than the threshold value.
- the adjusting device 30 includes a large number of image information Ge (see FIG. 2) imaged by the image pickup device 10 in the target area 100, an installation position, an image pickup direction, and an image angle of the image pickup device 10 at the time of image information acquisition. It accepts the input of each parameter Ds of the image pickup apparatus 10 that may affect the output image including the exposure (see (1) and FIG. 2 in FIG. 1). For each parameter Ds, for example, exposure, white balance set value, angle of view, resolution, aperture, number of frame rates at the time of shooting, ISO sensitivity, shutter speed, gradation, and the like can be considered. Further, each parameter Ds is accepted as an initial value if it is an estimation target, and is accepted as a precondition if it is not an estimation target. Further, the image information Ge is not necessarily limited to that captured by the image pickup apparatus 10.
- the adjusting device 30 receives input of an end condition for searching a plurality of models (model group) as candidates for use and each parameter in the adjusting device 30 from an external device or the like (see (2) in FIG. 1).
- Each model of the model group is a model prepared according to the task performed by the analysis device 20, and is a trained model that has already been trained using the training data or the like.
- a reference for a site area (target area) where the image pickup device 10 can be installed is also input to the adjustment device 30.
- the standard is information for associating the digital twin environment with the real space.
- the reference is, for example, an object whose position in real space is known, such as a scale, and the position of the image pickup apparatus 10 can be set relative to this reference.
- this criterion may allow discrete values or continuous values.
- the adjusting device 30 constructs an environment (digital twin environment) T1 in which the target area 100, which is the site area, is reproduced in a virtual three-dimensional space ((3-1) in FIG. 2).
- an environment digital twin environment
- the adjusting device 30 arranges a three-dimensional object (for example, a human object) for recognition of the image recognition target in the digital twin environment.
- the three-dimensional object for recognition of the image recognition target may be placed in a fixed place, may operate in the same place, or may move to a different place (walking, etc.). Then, the adjustment device 30 is used for analysis of each parameter of the image pickup device 10 and the target area 100 which may affect the output image including the installation position, the shooting direction, the angle of view and the exposure of the image pickup device 10 in the digital twin environment.
- the model to be used and parameters such as the threshold value in this model are automatically searched ((3) in FIG. 1 and (3-2) in FIG. 2), and each parameter whose accuracy satisfies a predetermined condition is acquired.
- the adjusting device 30 outputs each parameter of the image pickup device 10 that can affect the output image including the installation position, the shooting direction, the angle of view, and the exposure of the image pickup device 10 acquired by the automatic search as parameters ((FIG. 1). 4-1), (4) in FIG. According to these parameters, the image pickup apparatus 10 is installed and set in the target area 100. Then, the adjusting device 30 outputs the model acquired by the automatic search and the threshold value in this model to the analysis device 20 as the search result Mr ((4-2) in FIG. 1 and (4) in FIG. 2). The analysis device 20 applies this model and the threshold value to analyze the image information captured by the image pickup device 10 installed in the target area 100 (FIGS. 1 (6) and 1 (7)).
- the adjustment device 30 automatically searches for each parameter in the digital twin environment and obtains the optimum value of each parameter, which requires manpower. Each parameter can be easily acquired without any problem.
- FIG. 3 is a block diagram showing an example of the configuration of the adjusting device 30.
- the adjusting device 30 includes a communication unit 31, an input / output unit 32, a storage unit 33, and a control unit 34.
- the communication unit 31 is a communication interface for transmitting and receiving various information to and from other devices connected via a network or the like.
- the communication unit 31 is realized by a NIC (Network Interface Card) or the like, and communicates between another device via a telecommunication line such as a LAN (Local Area Network) or the Internet and a control unit 34 (described later).
- a NIC Network Interface Card
- the communication unit 31 receives each parameter such as the image information of the target area 100 and the model group to be searched via the network, and outputs the parameters to the control unit 34.
- the communication unit 31 outputs each parameter acquired by the control unit 34 to an external device (for example, the analysis device 20) via the network.
- the input / output unit 32 accepts the input of information and outputs the information.
- the input / output unit 32 is a device device such as a mouse or a keyboard that accepts input of various instruction information to the adjusting device 30 in response to an input operation by the user. Further, the input / output unit 32 is realized by, for example, a liquid crystal display, and a screen whose display is controlled by the adjusting device 30 is displayed and output.
- the storage unit 33 is realized by semiconductor memory elements such as RAM (Random Access Memory) and flash memory (Flash Memory), and stores a processing program for operating the adjusting device 30, data used during execution of the processing program, and the like. Will be done.
- the storage unit 33 includes a model group 331 which is a plurality of models that are candidates for use, an end condition 332 for each parameter search by the search unit 344, an image information 333 of the target area 100, and an installation position of the image pickup device 10 when the image information is captured. Output including image pickup direction, angle of view, exposure, each parameter of the image pickup device 10 that may affect the image, parameter information 334 having parameters such as a threshold value in the model, and output including each parameter acquired by automatic search by the adjustment device 30. It has information 335.
- the end condition 332 is, for example, the minimum number of searches.
- the end condition is, for example, the accuracy required for image recognition in the analysis device 20.
- the control unit 34 controls the entire adjusting device 30.
- the control unit 34 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Further, the control unit 34 has an internal memory for storing programs and control data that specify various processing procedures, and executes each process using the internal memory. Further, the control unit 34 functions as various processing units by operating various programs.
- the control unit 34 has a reception unit 341, a digital twin environment construction unit 342 (construction unit), a three-dimensional object arrangement unit 343 (arrangement unit), a search unit 344, an end determination unit 345, and an output control unit 346 (output unit). ..
- the reception unit 341 receives the input of various information input via the communication unit 31 or the input / output unit 32.
- the reception unit 341 has a parameter of the image pickup device 10 that can affect the image information of the target area 100, the installation position of the image pickup device 10 at the time of image pickup, the image pickup direction, the image angle, and the exposure. It receives parameters such as thresholds in the model, a model group which is a plurality of models of candidates for use, and a reference input for the target area 100 in which the image pickup apparatus 10 can be installed, and stores the input in the storage unit 33.
- the digital twin environment construction unit 342 constructs a digital twin environment in which the target area 100 is reproduced in a virtual three-dimensional space.
- the digital twin environment construction unit 342 constructs a digital twin environment based on a plurality of image information obtained by capturing the target area 100 (Reference 1).
- the digital twin environment construction unit 342 includes 3D objects other than the image recognition target in the digital twin environment.
- the image recognition target is a person
- a three-dimensional object such as a shelf, a chair, a door, or a window other than the person is included in the digital twin environment.
- the digital twin environment construction unit 342 constructs a digital twin environment by using not only the image information of the target area 100 but also the point cloud of the target area 100 or the combination of the image information and the depth information in the target area 100. It can also be done (references 2 and 3).
- Reference 2 "3D Surface Reconstruction from Voxel-based Lidar Data", [online], [Search on August 13, 2nd year of Reiwa], Internet ⁇ URL: https://team.inria.fr/rits/files/ 2019/01/2019-ITSC-3D-reconstruction.pdf > Reference 3: “BundleFusion: Real-time Globally Consistent 3D Reconstructing using On-the-fly Surface Re-integration”, [online], [Search on August 13, 2nd year of Reiwa], Internet ⁇ URL: https: // arxiv .org / pdf / 1604.01093.pdf >
- the 3D object arrangement unit 343 arranges a 3D object for recognition of an image recognition target in a digital twin environment. For example, when the image recognition target belongs to a certain attribute (gender, age, clothes, etc.), a three-dimensional model of any person belonging to that attribute is placed in the digital twin environment.
- a certain attribute for example, when the image recognition target belongs to a certain attribute (gender, age, clothes, etc.), a three-dimensional model of any person belonging to that attribute is placed in the digital twin environment.
- the search unit 344 sets at least the installation position of the image pickup device 10 and the photographing of the image pickup device 10 as parameters used for image recognition in the digital twin environment.
- the accuracy of image recognition for a 3D object is acquired while changing the direction and the model used for image recognition.
- the search unit 344 includes the installation position of the image pickup device 10, the shooting direction of the image pickup device 10, and the model used for image recognition, as well as each parameter of the image pickup device 10 that can affect the output image.
- the accuracy of image recognition is acquired.
- each parameter of the image pickup apparatus 10 that may affect the output image includes, for example, exposure, white balance setting value, angle of view, resolution, aperture, number of frame rates at the time of shooting, ISO sensitivity, shutter speed, and the like. Gradation etc. can be considered.
- the search unit 344 describes the installation position of the image pickup device 10, the shooting direction, each parameter of the image pickup device 10 including the angle of view and the exposure, the model used for the analysis of the target area 100, and the recognition process of this model. Sometimes, the search for parameters such as the threshold used for determining the image recognition target is repeatedly executed until the end determination unit 345 (described later) determines the end of the search.
- the end determination unit 345 determines whether or not the search process by the search unit 344 can be completed based on the end condition 332. When the minimum number of searches is reached, the end determination unit 345 ends the search by the search unit 344, and stores the parameters when the search unit 344 obtains the highest accuracy among the searches as output information 335. .. Alternatively, if the accuracy required by the analysis device 20 is set, the end determination unit 345 terminates the search by the search unit 344 when the accuracy is reached, and when the accuracy is reached, the search unit 344 ends the search. The parameters are stored as output information 335.
- the output control unit 346 outputs each parameter searched by the search unit 344 to the analysis device 20 or the outside via the communication unit 31 or the like.
- FIG. 4 is a diagram showing an example of parameters output by the adjusting device 30. As shown in FIG. 4, the output control unit 346 analyzes the position and orientation of the image pickup device 10 (camera), and each parameter of the image pickup device 10 that may affect the output image including the angle of view and exposure. The model used by the device 20 and the threshold value of the model at the time of estimation are output.
- FIG. 5 is a diagram showing an example of the elements of the site situation. Factors that affect the accuracy of image recognition are considered to be the lighting state of the target area 100, the sunlight from the window, and the backlight (see FIG. 5).
- the digital twin environment construction unit 342 describes the lighting state (hue, brightness, etc.) by the light source installed in the target area 100, and the incident state of light from the outside (for example, the time of sunlight entering through the window) that fluctuates with time.
- a digital twin environment in which the target area 100 is reproduced on a virtual three-dimensional space may be constructed by changing the changing state in the above and the changing state in the time of backlight).
- the adjusting device 30 outputs a parameter when the accuracy of image recognition satisfies a predetermined condition in any lighting state and incident state of light.
- FIG. 6 is a diagram showing an example of changing the arrangement state of the three-dimensional object.
- the three-dimensional object arrangement unit 343 may arrange the three-dimensional object by changing the attributes of the three-dimensional object, the number of the three-dimensional objects, and the arrangement state of the three-dimensional objects.
- the adjusting device 30 outputs parameters when the accuracy of image recognition satisfies a predetermined condition regardless of the attributes of any three-dimensional object, the number of three-dimensional objects, and the arrangement state of the three-dimensional objects.
- FIG. 7 is a flowchart illustrating a processing procedure of the adjustment processing according to the embodiment.
- the reception unit 341 determines the image information by the image pickup device 10 in the target area 100 and each parameter related to the image pickup device 10 (the installation position, the image pickup direction, the image angle and the exposure of the image pickup device 10 at the time of image information acquisition).
- the input of each parameter of the image pickup apparatus 10 that may affect the output image including the image) is accepted (step S1). Further, the reception unit 341 receives input of a plurality of model groups as candidates for use, threshold values in the model, end conditions, and a reference for the target area 100 in which the image pickup device can be installed (step S2).
- the digital twin environment construction unit 342 constructs a digital twin environment in which the target area 100 is reproduced on a virtual three-dimensional space based on a plurality of image information obtained by capturing the target area 100 (step S3).
- the three-dimensional object arrangement unit 343 arranges a three-dimensional object for recognition of an image recognition target in a digital twin environment (step S4).
- the search unit 344 sets the installation position of the image pickup device 10, the shooting direction, the angle of view, the exposure, the model used for the analysis of the target area 100, and the threshold value in this model in the digital twin environment (step S5).
- the search unit 344 sets each parameter according to the initial conditions set in advance.
- the search unit 344 performs an estimation process for estimating the three-dimensional object on the digital twin environment in which these parameters are set by using the set model (step S6).
- the search unit 344 acquires the accuracy of image recognition based on the estimation result in the estimation process (step S7).
- the end determination unit 345 determines whether or not the end condition 332 is satisfied (step S8).
- the search unit 344 is used to analyze the installation position, shooting direction, angle of view, exposure, and target area 100 of the image pickup device 10.
- the model to be used, the threshold value in this model is changed and set (step S5), and steps S6 and S7 are executed.
- the search unit 344 adjusts the parameters in the order of model setting, installation position of the image pickup device 10, shooting direction of the image pickup device 10, angle of view, exposure, and threshold value of the model.
- the search unit 344 selects the models of the model group one by one, acquires the accuracy for all the models, and searches for the most accurate model. Further, the search unit 344 searches for the installation position of the image pickup apparatus 10 at a wide interval of about 1 m centering on the analysis target, obtains the most accurate installation position among them, and then determines the installation position. Search for a more detailed and accurate installation position at narrow intervals of several mm to several cm around the periphery. Further, the search unit 344 tilts the shooting direction of the image pickup apparatus 10 at intervals of about 10 °, searches for the angle with the best accuracy, and then tilts the angle around the angle at intervals of about several mm. Search for the angle at the time of the best accuracy.
- the search unit 344 since the search unit 344 depends on the equipment and the like, the search unit 344 searches for an accurate angle of view while changing the zoom according to the equipment. Further, since the search unit 344 depends on the equipment and the like for the exposure, the search unit 344 searches for a highly accurate exposure while changing the exposure according to the equipment.
- the search unit 344 changes the threshold value of the model by, for example, 1%, compares the recognition rates, and selects the one with the highest recognition rate.
- the search unit 344 searches by fixing the parameters other than the parameters to be searched to the initial setting values or the values in the case of the highest accuracy.
- step S8 Yes
- the search by the search unit 344 is terminated, and the output control unit 346 obtains the highest accuracy among the searches by the search unit 344.
- the acquired parameter or the parameter when the required accuracy is reached is output (step S9).
- the output control unit 346 outputs the installation position of the image pickup apparatus 10, the shooting direction, the angle of view, the exposure, the model used for analysis of the target area 100, and the threshold value in this model.
- the adjusting device 30 obtains the optimum value of each parameter by automatically searching each parameter in the digital twin environment in which the target area is reproduced on the virtual three-dimensional space. Therefore, according to the present embodiment, parameters for adjusting each device of the analysis system, for example, the installation position of the image pickup device, the image pickup direction, and the analysis system including the image recognition model, while maintaining a predetermined accuracy. Can be easily obtained without human labor.
- the model is selected while actually going to the target area 100 and performing the position adjustment, the angle adjustment, the angle of view adjustment, etc. of the image pickup apparatus 10 by a skilled person a plurality of times.
- each parameter is automatically searched in the digital twin environment, each parameter can be easily acquired regardless of the skill level.
- each digital twin environment is constructed by constructing a digital twin environment in which the lighting state by the light source installed in the target area 100 and the incident state of the light from the outside which fluctuates with time are changed.
- each parameter can be searched for in various lighting states or incident states of light without limiting the time zone in which the adjustment can be performed, so that a predetermined accuracy is sufficiently sufficient. Can be held in.
- the present embodiment since it is possible to arrange three-dimensional objects belonging to various attributes and search for parameters, it is possible to verify a large number of attributes and until a predetermined accuracy is obtained. It is possible to search for iterative parameters. Therefore, according to the embodiment, the work restriction when the adjustment work is performed by the expert and the work time that the expert has performed for a long time are eliminated, and the analysis accuracy can be maintained as desired. You can get each parameter that can be done.
- the image recognition result in the digital twin environment and the image recognition result in the real space were compared.
- the bag is photographed by aligning the internal parameters of the image pickup device 10, the installation position of the image pickup device 10, and the setting of the shooting method, and object detection is performed on the two types of shot images.
- the digital twin environment is constructed by using 301 images taken so that each image overlaps by about 60% in the room where the bag is installed.
- FIG. 8 is a diagram showing an example of a digital twin environment constructed on a virtual space.
- each parameter of the actual image pickup device and each parameter of the virtual image pickup device are aligned, and the object detection model YOLO v3 (Reference 4) is used for the image of the site and the image of the digital twin environment.
- Reference 4 Redmon, J., and Farhadi, A. (2016).
- YOLOv3 An Incremental Improvement. ArXiv, abs / 1804.02767.
- FIG. 9 is a diagram showing the visualization result of the output of the object detection model.
- the classification label was "handbag” and the class probability was 0.84.
- the classification labels were "handbag” and "suitcase”, and the class probabilities were 0.81 and 0.48.
- object detection using images taken in a digital twin environment can be classified, and the difference in class probability is extremely small at 0.03. It was a value. Therefore, it is possible to verify the accuracy of the model in a digital twin environment, and its output is considered to be close to the output in real space. Therefore, it can be said that parameter adjustment such as the model and the installation position of the image pickup apparatus 10 using the digital twin environment can sufficiently withstand actual practical use.
- Each component of the adjusting device 30 shown above is functionally conceptual and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of the distribution and integration of the functions of the adjusting device 30 is not limited to the one shown in the figure, and all or part of the adjusting device 30 may be functionally or physically in an arbitrary unit according to various loads and usage conditions. Can be distributed or integrated into the configuration.
- each process performed by the adjusting device 30 may be realized by a CPU and a program in which an arbitrary part is analyzed and executed by the CPU. Further, each process performed by the adjusting device 30 may be realized as hardware by wired logic.
- FIG. 10 is a diagram showing an example of a computer in which the adjusting device 30 is realized by executing a program.
- the computer 1000 has, for example, a memory 1010 and a CPU 1020.
- the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
- Memory 1010 includes ROM 1011 and RAM 1012.
- the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
- BIOS Basic Input Output System
- the hard disk drive interface 1030 is connected to the hard disk drive 1090.
- the disk drive interface 1040 is connected to the disk drive 1100.
- a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
- the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
- the video adapter 1060 is connected to, for example, the display 1130.
- the hard disk drive 1090 stores, for example, an OS (Operating System) 1091, an application program 1092, a program module 1093, and program data 1094. That is, the program that defines each process of the adjusting device 30 is implemented as a program module 1093 in which a code that can be executed by the computer 1000 is described.
- the program module 1093 is stored in, for example, the hard disk drive 1090.
- the program module 1093 for executing the same processing as the functional configuration in the adjusting device 30 is stored in the hard disk drive 1090.
- the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
- the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, a memory 1010 or a hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 into the RAM 1012 and executes them as needed.
- the program module 1093 and the program data 1094 are not limited to those stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Then, the program module 1093 and the program data 1094 may be read by the CPU 1020 from another computer via the network interface 1070.
- LAN Local Area Network
- WAN Wide Area Network
- Analysis system 10 Imaging device 20 Analysis device 21 Model 30 Adjustment device 31 Communication unit 32 Input / output unit 33 Storage unit 34 Control unit 100 Target area 200 Analysis center 331 Model group 332 End condition 333 Image information 334 Parameter information 335 Output information 341 Acceptance Part 342 Digital twin environment construction part 343 3D object placement part 344 Search part 345 End judgment part 346 Output control part
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
調整装置(30)は、画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域を、仮想の3次元空間上に再現した環境を構築するデジタルツイン環境構築部(342)と、再現した環境に、画像認識対象の認識用の3次元オブジェクトを配置する3次元オブジェクト配置部(343)と、再現した環境において、画像認識に使用するパラメータとして、少なくとも、撮像装置の設置位置、撮像装置の撮影方向、及び、画像認識に使用する画像認識モデルを変化させながら、3次元オブジェクトに対する画像認識の精度を取得する探索部(344)と、精度が所定条件を満たした撮像装置の設置位置、撮像装置の撮影方向、及び、画像認識モデルを、画像認識を行うために用いられるパラメータとして出力する出力制御部(346)と、を有する。
Description
本発明は、情報処理方法、情報処理装置及び情報処理プログラムに関する。
従来、画像解析において、解析対象の画像から、オブジェクト(例えば、人物)が写る部分を切り出し、切り出した部分(切出済画像)の特徴量を抽出し、抽出した特徴量に基づき、切り出した部分の解析を行う技術がある。また、ディープニューラルネットワークによって構成されるモデルを用いて画像解析を行うことが提案されている。このモデルの学習では、多数の画像を含む公開データセットを学習用データとして用いることが多い(先行技術文献1)。
比戸将平, 馬場雪乃他,"データサイエンティスト養成読本 機械学習入門編", 技術評論社, 2015年9月, 15頁
上記の学習用データを用いて学習されたモデルを用いて画像解析を行うことを考える。このとき、例えば、解析対象の画像に撮像されている被写体とカメラとの距離、カメラの設置位置、カメラが向いている方向、画角、レンズなどの違いにより解析精度が大きく変わってくることが知られている。
そこで、所望の解析精度を担保するために、実際の運用前に、カメラを設置する現場の状況に合わせて、カメラの設置位置等の調整を、熟練者が長時間にわたって行うといった、多くの人手が必要となる。また、カメラを設置する領域が繁華街や商業ビル等である場合、調整を行うことができる時間帯も深夜に限られてしまう場合が多いため、少ない回数しか試行できないことに加え、さらに、調整時(夜)と運用時(昼)の照明状況が異なること、エキストラの服装や性別、人数などの現場状況のバリエーションを運用時と同じにすることが難しいことなど、調整時と運用時の状況を同じにすることが難しいため、解析精度の低下を防ぐことが難しい場合がある。
本発明は、上記に鑑みてなされたものであって、画像認識精度を保持しながら、機材設置位置を含む画像認識システムの調整用の各パラメータを簡易に取得することができる情報処理方法、情報処理装置及び情報処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の情報処理方法は、情報処理装置が実行する情報処理方法であって、画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域を、仮想の3次元空間上に再現した環境を構築する工程と、再現した環境に、画像認識対象の認識用の3次元オブジェクトを配置する工程と、配置する工程後に、再現した環境において、画像認識に使用するパラメータとして、少なくとも、撮像装置の設置位置、撮像装置の撮影方向、及び、画像認識に使用する画像認識モデルを変化させながら、3次元オブジェクトに対する画像認識の精度を取得する工程と、精度が所定条件を満たした撮像装置の設置位置、撮像装置の撮影方向、及び、画像認識モデルを、画像認識を行うために用いられるパラメータとして出力する工程と、含んだことを特徴とする。
本発明によれば、画像認識精度を保持しながら、機材設置位置を含む画像認識システムの調整用の各パラメータを簡易に取得することができる。
以下に、本願に係る情報処理方法、情報処理装置及び情報処理プログラムの実施の形態を図面に基づいて詳細に説明する。また、本発明は、以下に説明する実施の形態により限定されるものではない。
[実施の形態]
まず、実施の形態について説明する。本実施の形態は、画像認識(画像解析)を行う解析システムの運用前に、画像を撮像する撮像装置が設置される対象エリア(現場領域)の状況に応じて、撮像装置の設置位置、撮像方向、使用する画像認識モデルの各パラメータを調整する調整方法(情報処理方法)に関する。
まず、実施の形態について説明する。本実施の形態は、画像認識(画像解析)を行う解析システムの運用前に、画像を撮像する撮像装置が設置される対象エリア(現場領域)の状況に応じて、撮像装置の設置位置、撮像方向、使用する画像認識モデルの各パラメータを調整する調整方法(情報処理方法)に関する。
本実施の形態では、対象エリアを仮想の3次元空間上に再現した環境(デジタルツイン環境)上で、各パラメータを自動探索することで各パラメータの最適値を求める。このため、本実施の形態によれば、所定の精度を保持しながら、解析システムの各機材、例えば、撮像装置の設置位置、撮像方向、及び、画像認識モデルを含む解析システムの調整用のパラメータを、人手を要することなく、簡易に取得することができる。
なお、本実施の形態においては、一例として、カメラの設置場所を含むパラメータの調整方法について記載するが、本実施の形態では、カメラの設置場所及び画像認識モデルのパラメータ等に代えて、各種センサの配置場所やモデルパラメータを調整するようにしてもよい。例えばマイクロホンとイベント検知について考える。マイクロホンの配置は、インパルス応答に基づき行われることが多い。しかしながら、カメラと同様に、商業ビルなどにおいては夜間設置する場合が多いと考えられる。日中は人間や看板などの阻害物の存在によりマイクロホンとイベントに係る音源間の伝達特性が変化してしまう場合がある。本実施の形態により、想定される阻害物のデジタルツインも考慮することで、設置する空間のシミュレーションよりも高精度にイベントを検知することができるマイクロホンの設置場所やモデルパラメータを決定することができる。
[解析システムの構成]
まず、本実施の形態における解析システムの調整時の流れについて説明する。図1及び図2は、実施の形態における解析システムの調整時の処理の流れの一例を説明する図である。
まず、本実施の形態における解析システムの調整時の流れについて説明する。図1及び図2は、実施の形態における解析システムの調整時の処理の流れの一例を説明する図である。
図1に示すように、実施の形態に係る解析システム1は、実際の運用時には、解析センタ200の解析装置20が、画像認識用のモデル21を用いて、解析対象となる対象エリア100に設置された撮像装置10が撮像した画像情報を解析する(図1の(6),(7))。例えば、解析装置20は、画像内の被写体または被写体の候補が属する属性の推定や、被写体または被写体の候補と検出対象との照合を行う。対象エリア100は、画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域である。なお、図1では説明の簡易化のために、撮像装置10の台数を1台としているが、複数台であってもよい。
ここで、解析システム1の運用前に、撮像装置10の設置位置、撮像方向、出力画像に影響を与えうる撮像装置10の各パラメータ、モデル、モデルの認識処理時に画像認識対象の判定に使用する閾値を含む各パラメータを、調整装置30において調整する。出力画像に影響を与えうる撮像装置10の各パラメータは、例えば、露出、ホワイトバランスの設定値、画角、解像度、絞り、撮影時のフレームレート数、ISO感度、シャッタースピード、階調等が考えられる。閾値は、モデルの画像認識対象の認識用の値であり、例えば、モデルは、閾値以上である属性を、被写体の候補が属する属性として推定する。また、モデルは、人物照合の例においてはスコアが閾値以上であれば同一人物であると判定する。
具体的には、調整装置30は、対象エリア100の撮像装置10が撮像した多数の画像情報Ge(図2参照)と、画像情報撮像時における撮像装置10の設置位置、撮像方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータDsの入力を受け付ける(図1の(1)及び図2参照)。なお、各パラメータDsは、例えば、露出、ホワイトバランスの設定値、画角、解像度、絞り、撮影時のフレームレート数、ISO感度、シャッタースピード、階調等が考えられる。また、各パラメータDsは、推定対象であれば初期値として受け付け、推定対象でなければ前提条件として受け付ける。また、画像情報Geは、必ずしも、撮像装置10が撮像したものに限らない。
また、調整装置30は、外部装置等から、使用候補となる複数のモデル(モデル群)及び調整装置30における各パラメータの探索に対する終了条件の入力を受け付ける(図1の(2)参照)。なお、モデル群の各モデルは、解析装置20が行うタスクに応じて用意されたモデルであり、学習データ等を用いて既に学習を行った学習済みのモデルである。また、調整装置30には、撮像装置10を設置しうる現場領域(対象エリア)に対する基準も入力される。基準は、デジタルツイン環境と実空間との対応付けを行うための情報である。基準は、例えば、スケールや実空間での位置が既知のオブジェクトであり、この基準に対して、相対的に、撮像装置10の位置を設定することができる。また、この基準は、離散値を取りうるようにしてもよいし、連続値を取りうるようにしてもよい。
そして、調整装置30は、現場領域である対象エリア100を、仮想の3次元空間上に再現した環境(デジタルツイン環境)T1を構築する(図2の(3-1))。なお、仮想の3次元空間上では、現場を再現した環境及び解析対象のオブジェクトだけではなく、障害物など、現場領域には存在しないが解析対象でもないオブジェクトも、配置する場合もある。続いて、調整装置30は、デジタルツイン環境に、画像認識対象の認識用の3次元オブジェクト(例えば、人のオブジェクト)を配置する。なお、画像認識対象の認識用の3次元オブジェクトは、固定場所に配置されるほか、同じ場所で動作する場合や、違う場所に移動する(歩行する等)場合も取り得る。そして、調整装置30は、デジタルツイン環境上で、撮像装置10の設置位置、撮影方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータ、対象エリア100の解析に使用するモデル、このモデルにおける閾値等のパラメータを自動探索し(図1の(3)、図2の(3-2))、精度が所定条件を満たす各パラメータを取得する。
調整装置30は、自動探索によって取得した撮像装置10の設置位置、撮影方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータを、パラメータとして出力する(図1の(4-1)、図2の(4))。これらのパラメータに従って、対象エリア100では、撮像装置10の設置や、設定が行われる。そして、調整装置30は、自動探索によって取得したモデル、このモデルにおける閾値を、探索結果Mrとして解析装置20に出力する(図1の(4-2)、図2の(4))。解析装置20は、このモデル及び閾値を適用して、対象エリア100に設置された撮像装置10が撮像した画像情報を解析する(図1の(6),(7))。
このように、実施の形態では、解析装置20における画像解析の運用前に、調整装置30が、デジタルツイン環境上で各パラメータを自動探索し、各パラメータの最適値を求めることで、人手を要することなく、各パラメータを簡易に取得することができる。
[調整装置]
次に、調整装置30の構成について説明する。図3は、調整装置30の構成の一例を示すブロック図である。図3に示すように、調整装置30は、通信部31、入出力部32、記憶部33及び制御部34を有する。
次に、調整装置30の構成について説明する。図3は、調整装置30の構成の一例を示すブロック図である。図3に示すように、調整装置30は、通信部31、入出力部32、記憶部33及び制御部34を有する。
通信部31は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部31は、NIC(Network Interface Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した他の装置と制御部34(後述)との間の通信を行う。例えば、通信部31は、ネットワークを介して、対象エリア100の画像情報や探索対象のモデル群等の各パラメータを受信し、制御部34に出力する。また、通信部31は、制御部34によって取得された各パラメータを、ネットワークを介して、外部の装置(例えば、解析装置20)へ出力する。
入出力部32は、情報の入力を受け付け、また、情報の出力を行う。入出力部32は、ユーザによる入力操作に対応して、調整装置30に対する各種指示情報の入力を受け付ける、マウスやキーボード等のデバイス装置である。また、入出力部32は、例えば、液晶ディスプレイなどによって実現され、調整装置30によって表示制御された画面が表示出力される。
記憶部33は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子によって実現され、調整装置30を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部33は、使用候補となる複数のモデルであるモデル群331、探索部344による各パラメータ探索の終了条件332、対象エリア100の画像情報333、画像情報撮像時における撮像装置10の設置位置、撮像方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータ、モデルにおける閾値等のパラメータを有するパラメータ情報334、調整装置30による自動探索によって取得された各パラメータを含む出力情報335を有する。なお、終了条件332は、例えば、最小の探索回数である。終了条件は、例えば、解析装置20における画像認識のために必要とされる精度である。
制御部34は、調整装置30全体を制御する。制御部34は、例えば、CPU(Central Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部34は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部34は、各種のプログラムが動作することにより各種の処理部として機能する。制御部34は、受付部341、デジタルツイン環境構築部342(構築部)、3次元オブジェクト配置部343(配置部)、探索部344、終了判定部345及び出力制御部346(出力部)を有する。
受付部341は、通信部31或いは入出力部32を介して入力された各種情報の入力を受け付ける。例えば、受付部341は、対象エリア100の画像情報や、画像情報撮像時における撮像装置10の設置位置、撮像方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータ、モデルにおける閾値等のパラメータ、及び、使用候補の複数のモデルであるモデル群、撮像装置10を設置しうる対象エリア100に対する基準の入力を受け付け、記憶部33に格納する。
デジタルツイン環境構築部342は、対象エリア100を仮想の3次元空間上に再現したデジタルツイン環境を構築する。デジタルツイン環境構築部342は、対象エリア100を撮像した複数の画像情報を基に、デジタルツイン環境を構築する(参考文献1)。
参考文献1:Photogrammetry,SLAM, [online],[令和2年8月13日検索]、インターネット<URL:https://oasiryo.rdh.ecl.ntt.co.jp/evportal/document/vfdocument.aspx?did=25377&state=0>
参考文献1:Photogrammetry,SLAM, [online],[令和2年8月13日検索]、インターネット<URL:https://oasiryo.rdh.ecl.ntt.co.jp/evportal/document/vfdocument.aspx?did=25377&state=0>
また、デジタルツイン環境構築部342は、画像認識対象以外の3次元オブジェクトを、デジタルツイン環境に含める。例えば、画像認識対象が人である場合には、人以外の、棚、椅子、扉、窓などの3次元オブジェクトをデジタルツイン環境に含める。
なお、デジタルツイン環境構築部342は、対象エリア100の画像情報に限らず、対象エリア100の点群、或いは、対象エリア100における画像情報と深度情報との組み合わせを用いて、デジタルツイン環境を構築することもできる(参考文献2,3)。
参考文献2:“3D Surface Reconstruction from Voxel-based Lidar Data”, [online],[令和2年8月13日検索]、インターネット<URL:https://team.inria.fr/rits/files/2019/05/2019-ITSC-3D-reconstruction.pdf>
参考文献3:“BundleFusion: Real-time Globally Consistent 3D Reconstructing usingOn-the-fly Surface Re-integration”, [online],[令和2年8月13日検索]、インターネット<URL:https://arxiv.org/pdf/1604.01093.pdf>
参考文献2:“3D Surface Reconstruction from Voxel-based Lidar Data”, [online],[令和2年8月13日検索]、インターネット<URL:https://team.inria.fr/rits/files/2019/05/2019-ITSC-3D-reconstruction.pdf>
参考文献3:“BundleFusion: Real-time Globally Consistent 3D Reconstructing usingOn-the-fly Surface Re-integration”, [online],[令和2年8月13日検索]、インターネット<URL:https://arxiv.org/pdf/1604.01093.pdf>
3次元オブジェクト配置部343は、デジタルツイン環境に、画像認識対象の認識用の3次元オブジェクトを配置する。例えば、画像認識対象がある属性(性別、年代、服装等)に属する人である場合には、その属性に属する任意の人の3次元モデルを、デジタルツイン環境に配置する。
探索部344は、3次元オブジェクト配置部343によるデジタルツイン環境への3次元モデル配置後に、デジタルツイン環境において、画像認識に使用するパラメータとして、少なくとも、撮像装置10の設置位置、撮像装置10の撮影方向、及び、画像認識に使用するモデルを変化させながら、3次元オブジェクトに対する画像認識の精度を取得する。探索部344は、デジタルツイン環境において、パラメータとして、撮像装置10の設置位置、撮像装置10の撮影方向、及び、画像認識に使用するモデルとともに、出力画像に影響を与えうる撮像装置10の各パラメータ、及び、モデルの認識処理時に画像認識対象の判定に使用する閾値を変化させながら、画像認識の精度を取得する。出力画像に影響を与えうる撮像装置10の各パラメータは、前述したように、例えば、露出、ホワイトバランスの設定値、画角、解像度、絞り、撮影時のフレームレート数、ISO感度、シャッタースピード、階調等が考えられる。
探索部344は、撮像装置10の設置位置、撮影方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータ、対象エリア100の解析に使用するモデル、このモデルの認識処理時に画像認識対象の判定に使用する閾値等のパラメータの探索を、終了判定部345(後述)によって探索の終了が判定されるまで、繰り返し実行する。
終了判定部345は、終了条件332を基に、探索部344による探索処理の終了の可否を判定する。終了判定部345は、最小の探索回数に達した場合には、探索部344による探索を終了させ、探索部344が探索した中で最も高い精度を取得した際のパラメータを出力情報335として格納する。或いは、終了判定部345は、解析装置20において必要とされる精度が設定されている場合には、この精度に達した時点で探索部344による探索を終了させて、この精度に達した際のパラメータを出力情報335として格納する。
出力制御部346は、通信部31等を介して、探索部344が探索した各パラメータを、解析装置20或いは外部に出力する。図4は、調整装置30が出力するパラメータの一例を示す図である。図4に示すように、出力制御部346は、撮像装置10(カメラ)の位置と、向きと、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータとに加え、解析装置20が使用するモデル、推定時におけるモデルの閾値を出力する。
図5は、現場状況の要素の一例を示す図である。画像認識の精度に影響を与える要因として、対象エリア100の照明状態や、窓からの日差し、逆光が考えられる(図5参照)。
そこで、デジタルツイン環境構築部342は、対象エリア100に設置された光源による照明状態(色相、明度など)、及び、時間で変動する外部からの光の入射状態(例えば、窓から入る日差しの時間での変化状態や逆光の時間での変化状態)を変えて、対象エリア100を仮想の3次元空間上に再現したデジタルツイン環境を構築してもよい。この場合、調整装置30は、いずれの照明状態及び光の入射状態においても、画像認識の精度が所定条件を満たした場合のパラメータを出力する。
また、図6は、3次元オブジェクトの配置状態の変更例を示す図である。図6に示すように、3次元オブジェクト配置部343は、3次元オブジェクトの属性と3次元オブジェクトの数と3次元オブジェクトの配置状態とを変更させて3次元オブジェクトを配置してもよい。この場合、調整装置30は、いずれの3次元オブジェクトの属性と3次元オブジェクトの数と3次元オブジェクトの配置状態とにおいても、画像認識の精度が所定条件を満たした場合のパラメータを出力する。
[調整処理の処理手順]
次に、調整装置30によるパラメータの調整処理(情報処理)の処理手順について説明する。図7は、実施の形態に係る調整処理の処理手順について説明するフローチャートである。
次に、調整装置30によるパラメータの調整処理(情報処理)の処理手順について説明する。図7は、実施の形態に係る調整処理の処理手順について説明するフローチャートである。
図7に示すように、受付部341は、対象エリア100の撮像装置10による画像情報、撮像装置10に関する各パラメータ(画像情報撮像時における撮像装置10の設置位置、撮像方向、画角や露出を含む出力画像に影響を与えうる撮像装置10の各パラメータ)の入力を受け付ける(ステップS1)。また、受付部341は、使用候補となる複数のモデル群、モデルにおける閾値、終了条件及び撮像装置を設置しうる対象エリア100に対する基準の入力を受け付ける(ステップS2)。
デジタルツイン環境構築部342は、対象エリア100を撮像した複数の画像情報を基に、対象エリア100を仮想の3次元空間上に再現したデジタルツイン環境を構築する(ステップS3)。3次元オブジェクト配置部343は、デジタルツイン環境に、画像認識対象の認識用の3次元オブジェクトを配置する(ステップS4)。
そして、探索部344は、デジタルツイン環境上で、撮像装置10の設置位置、撮影方向、画角、露出、対象エリア100の解析に使用するモデル、このモデルにおける閾値を設定する(ステップS5)。なお、探索部344は、最初の推定処理の場合、予め設定された初期条件にしたがって、各パラメータを設定する。そして、探索部344は、これらのパラメータが設定されたデジタルツイン環境上の3次元オブジェクトに対し、設定されたモデルを用いて推定を行う推定処理を行う(ステップS6)。続いて、探索部344は、推定処理における推定結果を基に、画像認識の精度を取得する(ステップS7)。
終了判定部345は、終了条件332を満たすか否かを判定する(ステップS8)。終了判定部345が終了条件332を満たしていないと判定した場合(ステップS8:No)、探索部344は、撮像装置10の設置位置、撮影方向、画角、露出、対象エリア100の解析に使用するモデル、このモデルにおける閾値を変えて設定し(ステップS5)、ステップS6,S7を実行する。
ここで、探索部344によるパラメータの変化例について説明する。例えば、探索部344は、モデルの設定、撮像装置10の設置位置、撮像装置10の撮影方向、画角、露出、モデルの閾値の順に、パラメータの調整を行う。
具体的には、探索部344は、モデル群のモデルを一つずつ順に選択し、全モデルに対して精度取得を行い、最も精度の良いモデルを探索する。また、探索部344は、撮像装置10の設置位置については、解析対象を中心に1mほどの広い間隔で設置位置を探索し、その中で最も精度の良い設置位置を取得後、この設置位置の周辺を数mm~数cm程度の狭い間隔でより詳細に精度が良い設置位置を探索する。また、探索部344は、撮像装置10の撮影方向については、10°程度の間隔で傾けながら、精度が最も良い角度を探索後、その角度周辺で数mm程度の間隔で角度を傾け、その中で最良となる精度の時の角度を探索する。
また、探索部344は、画角については、機材等に依存するため、機材に応じて、ズームを変えながら、精度が良い画角を探索する。また、探索部344は、露出については、機材等に依存するため、機材に応じて、露出を変えながら、精度が良い露出を探索する。探索部344は、モデルの閾値については、例えば、1%ずつ変化させ、認識率を比較して最も認識率の高いものを選択する。なお、探索部344は、探索するパラメータ以外のパラメータは、初期設定値或いは最も精度の高い場合の値に固定して探索を行う。
そして、終了判定部345が終了条件332を満たすと判定した場合(ステップS8:Yes)、探索部344による探索を終了させ、出力制御部346は、探索部344が探索した中で最も高い精度を取得した際のパラメータ、或いは、必要とされる精度に達した際のパラメータを出力する(ステップS9)。出力制御部346は、撮像装置10の設置位置、撮影方向、画角、露出、対象エリア100の解析に使用するモデル、このモデルにおける閾値を出力する。
[実施の形態の効果]
このように、実施の形態に係る調整装置30は、対象エリアを仮想の3次元空間上に再現したデジタルツイン環境上で、各パラメータを自動探索することで各パラメータの最適値を求める。このため、本実施の形態によれば、所定の精度を保持しながら、解析システムの各機材、例えば、撮像装置の設置位置、撮像方向、及び、画像認識モデルを含む解析システムの調整用のパラメータを、人手を要することなく、簡易に取得することができる。言い換えると、本実施の形態によれば、実際に対象エリア100に行って、熟練者による撮像装置10の位置調整、角度調整、画角調整等を複数回実行しながら、モデルの選定を行うという煩雑な処理は不要となり、実際に熟練者による調整処理を含めた場合と比しても、作業時間を格段に短縮できる。また、本実施の形態によれば、デジタルツイン環境上で各パラメータを自動探索するため、熟練度によらず、各パラメータを容易に取得することができる。
このように、実施の形態に係る調整装置30は、対象エリアを仮想の3次元空間上に再現したデジタルツイン環境上で、各パラメータを自動探索することで各パラメータの最適値を求める。このため、本実施の形態によれば、所定の精度を保持しながら、解析システムの各機材、例えば、撮像装置の設置位置、撮像方向、及び、画像認識モデルを含む解析システムの調整用のパラメータを、人手を要することなく、簡易に取得することができる。言い換えると、本実施の形態によれば、実際に対象エリア100に行って、熟練者による撮像装置10の位置調整、角度調整、画角調整等を複数回実行しながら、モデルの選定を行うという煩雑な処理は不要となり、実際に熟練者による調整処理を含めた場合と比しても、作業時間を格段に短縮できる。また、本実施の形態によれば、デジタルツイン環境上で各パラメータを自動探索するため、熟練度によらず、各パラメータを容易に取得することができる。
また、本実施の形態によれば、対象エリア100に設置された光源による照明状態、及び、時間で変動する外部からの光の入射状態を変えたデジタルツイン環境をそれぞれ構築し、各デジタルツイン環境において、所定の精度が出るまで繰り返しパラメータを探索することが可能である。このため、本実施の形態によれば、調整を行うことができる時間帯が限られることなく、様々な照明状態或いは光の入射状態で各パラメータを探索することができるため、所定の精度を十分に保持することができる。
また、本実施の形態によれば、様々な属性に属する3次元オブジェクトを配置してパラメータを探索することができるため、多数の属性に対して検証が可能であるとともに、所定の精度が出るまで繰り返しパラメータを探索することが可能である。このため、実施の形態によれば、熟練者によって調整作業を行っていた場合における作業制限や、熟練者が長時間にわたって行っていた作業時間もなくなり、解析精度も所望の精度を保持することができる各パラメータを取得することができる。
このように、本実施の形態によれば、画像認識精度を保持しながら、機材設置位置を含む画像認識システムの調整用の各パラメータを簡易に取得することができる。
実際に、デジタルツイン環境における画像認識結果と、実空間における画像認識結果とを比較した。例えば、実空間とデジタルツイン環境とにおいて、撮像装置10内部パラメータ、撮像装置10の設置位置、撮影方法の設定を揃えてカバンを撮影し、撮影した2種類の画像に対して、物体検出を行なうモデルを使用した際の出力を比較した。デジタルツイン環境は、カバンを設置した室内を、各画像が6割程度重なるように撮影した301枚の画像を用いて構築している。図8は、仮想空間上に構築したデジタルツイン環境の一例を示す図である。
そして、実際の撮像装置の各パラメータと、仮想の撮像装置の各パラメータを揃え、現場を撮影した画像とデジタルツイン環境を撮影した画像とに対し、物体検出モデルであるYOLO v3(参考文献4)を使用した分類ラベルとクラス確率の比較を行った。
参考文献4:Redmon, J., and Farhadi, A. (2018). YOLOv3: An Incremental Improvement. ArXiv, abs/1804.02767.
参考文献4:Redmon, J., and Farhadi, A. (2018). YOLOv3: An Incremental Improvement. ArXiv, abs/1804.02767.
図9は、物体検出モデルの出力の可視化結果を示す図である。現場を撮影した画像に対しては、分類ラベルが「handbag」、クラス確率は0.84であった。これに対し、デジタルツイン環境を撮影した画像に対しては、分類ラベルが「handbag」、「suitcase」であり、クラス確率は0.81、0.48であった。このように、実際の画像を用いた物体検出と同様に、デジタルツイン環境上にて撮影した画像を用いた物体検出においても、分類が可能であり、かつ、クラス確率の差も0.03と極めて小さい値であった。したがって、デジタルツイン環境上でのモデルの精度検証は可能であり、その出力は、実空間における出力と近似するものと考えられる。このため、デジタルツイン環境を用いた、モデル、撮像装置10の設置位置等のパラメータ調整は、実際の実用に十分耐えうるものといえる。
[実施の形態のシステム構成について]
上記で示した調整装置30の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、調整装置30の機能の分散および統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
上記で示した調整装置30の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、調整装置30の機能の分散および統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
また、調整装置30においておこなわれる各処理は、全部または任意の一部が、CPUおよびCPUにより解析実行されるプログラムにて実現されてもよい。また、調整装置30においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述および図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
[プログラム]
図10は、プログラムが実行されることにより、調整装置30が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
図10は、プログラムが実行されることにより、調整装置30が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS(Operating System)1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、調整装置30の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、調整装置30における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093およびプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093およびプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例および運用技術等は全て本発明の範疇に含まれる。
1 解析システム
10 撮像装置
20 解析装置
21 モデル
30 調整装置
31 通信部
32 入出力部
33 記憶部
34 制御部
100 対象エリア
200 解析センタ
331 モデル群
332 終了条件
333 画像情報
334 パラメータ情報
335 出力情報
341 受付部
342 デジタルツイン環境構築部
343 3次元オブジェクト配置部
344 探索部
345 終了判定部
346 出力制御部
10 撮像装置
20 解析装置
21 モデル
30 調整装置
31 通信部
32 入出力部
33 記憶部
34 制御部
100 対象エリア
200 解析センタ
331 モデル群
332 終了条件
333 画像情報
334 パラメータ情報
335 出力情報
341 受付部
342 デジタルツイン環境構築部
343 3次元オブジェクト配置部
344 探索部
345 終了判定部
346 出力制御部
Claims (8)
- 情報処理装置が実行する情報処理方法であって、
画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域を、仮想の3次元空間上に再現した環境を構築する工程と、
前記再現した環境に、前記画像認識対象の認識用の3次元オブジェクトを配置する工程と、
前記配置する工程後に、前記再現した環境において、画像認識に使用するパラメータとして、少なくとも、前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識に使用する画像認識モデルを変化させながら、前記3次元オブジェクトに対する画像認識の精度を取得する工程と、
前記精度が所定条件を満たした前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識モデルを、前記画像認識を行うために用いられるパラメータとして出力する工程と、
を含んだことを特徴とする情報処理方法。 - 前記取得する工程は、前記パラメータとして、前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識に使用するモデルとともに、前記撮像装置の出力画像に影響を与えうる前記撮像装置のパラメータ、及び、前記画像認識モデルの認識処理時に前記画像認識対象の判定に使用する閾値を変化させ、
前記出力する工程は、前記精度が所定条件を満たした前記撮像装置の設置位置、前記撮像装置の撮影方向、前記画像認識モデル、前記撮像装置の出力画像に影響を与えうる前記撮像装置のパラメータ、及び、前記画像認識モデルの認識処理時に前記画像認識対象の判定に使用する閾値を出力する
ことを特徴とする請求項1に記載の情報処理方法。 - 前記構築する工程は、前記現場領域に設置された光源による照明状態、及び、時間で変動する外部からの光の入射状態を変えて、前記現場領域を前記仮想の3次元空間上に再現した環境を構築し、
前記出力する工程は、いずれの前記照明状態及び前記光の入射状態においても、前記精度が所定条件を満たした前記画像認識を行うために用いられるパラメータを出力する
ことを特徴とする請求項1または2に記載の情報処理方法。 - 前記配置する工程は、前記3次元オブジェクトの属性と前記3次元オブジェクトの数と前記3次元オブジェクトの配置状態とを変更させて前記3次元オブジェクトを配置し、
前記出力する工程は、いずれの前記3次元オブジェクトの属性と前記3次元オブジェクトの数と前記3次元オブジェクトの配置状態とにおいても、前記精度が所定条件を満たした前記画像認識を行うために用いられるパラメータを出力する
ことを特徴とする請求項1~3のいずれか一つに記載の情報処理方法。 - 前記画像認識モデルは、予め学習用情報を用いることで画像認識処理を学習した学習済みのモデルであることを特徴とする請求項1~4のいずれか一つに記載の情報処理方法。
- 学習済みのモデル群、前記取得するステップに対する終了条件、及び、前記撮像装置を設置しうる現場領域に対する基準の入力を受け付ける工程
をさらに含んだことを特徴とする請求項1~5のいずれか一つに記載の情報処理方法。 - 画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域を、仮想の3次元空間上に再現した環境を構築する構築部と、
前記再現した環境に、前記画像認識対象の認識用の3次元オブジェクトを配置する配置部と、
前記再現した環境において、画像認識に使用するパラメータとして、少なくとも、前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識に使用する画像認識モデルを変化させながら、前記3次元オブジェクトに対する画像認識の精度を取得する探索部と、
前記精度が所定条件を満たした前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識モデルを、前記画像認識を行うために用いられるパラメータとして出力する出力部と、
を有することを特徴とする情報処理装置。 - 画像認識対象が存在しうる、かつ、画像を撮影する撮像装置を設置しうる現場領域を、仮想の3次元空間上に再現した環境を構築するステップと、
前記再現した環境に、前記画像認識対象の認識用の3次元オブジェクトを配置するステップと、
前記配置するステップ後に、前記再現した環境において、画像認識に使用するパラメータとして、少なくとも、前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識に使用する画像認識モデルを変化させながら、前記3次元オブジェクトに対する画像認識の精度を取得するステップと、
前記精度が所定条件を満たした前記撮像装置の設置位置、前記撮像装置の撮影方向、及び、画像認識モデルを、前記画像認識を行うために用いられるパラメータとして出力するステップと、
をコンピュータに実行させるための情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/032772 WO2022044297A1 (ja) | 2020-08-28 | 2020-08-28 | 情報処理方法、情報処理装置及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/032772 WO2022044297A1 (ja) | 2020-08-28 | 2020-08-28 | 情報処理方法、情報処理装置及び情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022044297A1 true WO2022044297A1 (ja) | 2022-03-03 |
Family
ID=80354966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/032772 WO2022044297A1 (ja) | 2020-08-28 | 2020-08-28 | 情報処理方法、情報処理装置及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2022044297A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782417A (zh) * | 2022-06-16 | 2022-07-22 | 浙江大学 | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 |
WO2024154468A1 (ja) * | 2023-01-16 | 2024-07-25 | 富士通株式会社 | デジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181148A (ja) * | 2015-03-24 | 2016-10-13 | 日本原子力防護システム株式会社 | 仮想監視画像作成システム、情報設定システム並びにシミュレーションシステム |
JP2020113106A (ja) * | 2019-01-15 | 2020-07-27 | 株式会社デンソー | 盗難車両追跡システム |
-
2020
- 2020-08-28 WO PCT/JP2020/032772 patent/WO2022044297A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181148A (ja) * | 2015-03-24 | 2016-10-13 | 日本原子力防護システム株式会社 | 仮想監視画像作成システム、情報設定システム並びにシミュレーションシステム |
JP2020113106A (ja) * | 2019-01-15 | 2020-07-27 | 株式会社デンソー | 盗難車両追跡システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782417A (zh) * | 2022-06-16 | 2022-07-22 | 浙江大学 | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 |
WO2024154468A1 (ja) * | 2023-01-16 | 2024-07-25 | 富士通株式会社 | デジタルツイン管理プログラム、デジタルツイン管理方法およびデジタルツイン管理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
RU2770752C1 (ru) | Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица | |
US11216690B2 (en) | System and method for performing image processing based on a damage assessment image judgement model | |
TWI766201B (zh) | 活體檢測方法、裝置以及儲存介質 | |
DE102020102230A1 (de) | Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen | |
JP2000306095A (ja) | 画像照合・検索システム | |
WO2022044297A1 (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
CN113177438B (zh) | 图像处理方法、设备及存储介质 | |
CN110516707B (zh) | 一种图像标注方法及其装置、存储介质 | |
CN109146906A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107145741A (zh) | 基于图像分析的耳诊数据采集方法及装置 | |
CN105574844B (zh) | 辐射响应函数估计方法和装置 | |
US11416715B2 (en) | Apparatus and method for recognizing a face based on artificial intelligence | |
EP4199498A1 (en) | Site model updating method and system | |
KR102365554B1 (ko) | 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법 및 장치 | |
US11012613B2 (en) | Flat surface detection in photographs | |
JP6784254B2 (ja) | 滞留物体検出システム、滞留物体検出方法およびプログラム | |
CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
US10728444B2 (en) | Automated image capture system with expert guidance | |
CN112634143A (zh) | 图像色彩校正模型训练方法、装置及电子设备 | |
Babu et al. | Development and performance evaluation of enhanced image dehazing method using deep learning networks | |
WO2022044368A1 (ja) | 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム | |
EP4365823A1 (en) | Generating a training dataset for training a machine-learning algorithm | |
US20220414935A1 (en) | Reinforcement-learning based system for camera parameter tuning to improve analytics | |
CN116091921A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20951547 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20951547 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |