WO2020188794A1 - 映像システム、撮像装置、および映像処理装置 - Google Patents

映像システム、撮像装置、および映像処理装置 Download PDF

Info

Publication number
WO2020188794A1
WO2020188794A1 PCT/JP2019/011736 JP2019011736W WO2020188794A1 WO 2020188794 A1 WO2020188794 A1 WO 2020188794A1 JP 2019011736 W JP2019011736 W JP 2019011736W WO 2020188794 A1 WO2020188794 A1 WO 2020188794A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
video
video processing
image pickup
node
Prior art date
Application number
PCT/JP2019/011736
Other languages
English (en)
French (fr)
Inventor
嵩臣 神田
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2021506093A priority Critical patent/JP7108780B2/ja
Priority to PCT/JP2019/011736 priority patent/WO2020188794A1/ja
Priority to US17/438,913 priority patent/US11881013B2/en
Publication of WO2020188794A1 publication Critical patent/WO2020188794A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a video system, an imaging device, and a video processing device.
  • the images output by the imaging device are externally connected to the camera, which is the image processing device "first layer machine learning / recognition device DNN1 and the first layer. It is disclosed that processing is performed by two DNNs called “two-layer machine learning / recognition device DNN2".
  • the image obtained from the "imaging device” is processed by two “first-layer machine learning / recognition device DNN1" and “second-layer machine learning / recognition device DNN2". Due to its nature, it is necessary to construct a DNN that can obtain a certain level of accuracy with only the "first layer machine learning / recognition device DNN1" on the terminal side, and the output of the intermediate layer is "second layer machine learning / recognition”.
  • the device DNN2 “must express information for deeper learning, and the configuration becomes complicated and large-scale accordingly.
  • the “second layer machine learning / recognition device DNN2” since the output of the intermediate layer arbitrarily determined by the "first layer machine learning / recognition device DNN1" is used as the input of the "second layer machine learning / recognition device DNN2", the “second layer machine learning / recognition device DNN2" is used. It is not easy to change the position of the intermediate layer after learning, and when it becomes necessary to change the configuration due to the surrounding environment or external factors, it is necessary to relearn the DNN.
  • an object of the present invention is to provide a system configuration more suitable for performing image recognition by machine learning in an image system including an imaging device and an image processing device.
  • one of the representative video systems of the present invention includes an imaging device and a video processing device.
  • the imaging device is a front side including an imaging unit that generates image information by imaging, an input layer of a multi-layer neural network that recognizes image information, and a predetermined hidden layer in the middle (hereinafter referred to as “intermediate hidden layer”). It includes an NN unit and an imaging side control unit that sends out the output of the intermediate hidden layer of the front NN unit (hereinafter referred to as "intermediate feature amount").
  • the image processing device includes an image processing side control unit that acquires an intermediate feature amount transmitted by the imaging side control unit, and an intermediate feature amount acquired by the image processing side control unit, including an intermediate hidden layer and the output layer of the neural network.
  • a rear NN unit that performs the remaining recognition processing is provided.
  • FIG. 1 is a block diagram illustrating a configuration of a video system according to the first embodiment.
  • FIG. 2 is a flow chart illustrating the operation of the image pickup apparatus 200 according to the first embodiment.
  • FIG. 3 is a flow chart illustrating the operation of the video processing device 300 in the first embodiment.
  • FIG. 4 is a block diagram illustrating the configuration of the video system of the second embodiment.
  • FIG. 5 is a diagram showing the entire NN model M in the second embodiment.
  • FIG. 6 is a flow chart illustrating the operation of the NN learning unit 311 in the second embodiment.
  • FIG. 7 is a flow chart illustrating the operation of the node allocation unit 314 in the second embodiment.
  • FIG. 8 is a diagram showing an inspection system (including a video system) according to the third embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a video system according to the first embodiment.
  • the video system 100 includes an imaging device 200 and a video processing device 300.
  • the image pickup device 200 performs video processing such as gamma correction, color correction, contour correction, and white scratch correction on the image sensor 210 for imaging an object to be inspected or monitored and the output of the image sensor 210 to obtain video information.
  • the image processing unit 211 that processes the video information
  • the front side NN unit 220 that processes the video information and outputs the intermediate feature amount
  • the image pickup side that processes the video information and the intermediate feature amount and generates the information to be transmitted to the image processing device 300. It includes a control unit 230.
  • the front side NN unit 220 includes an input layer L1 of a multi-layer neural network that recognizes video information, a hidden layer HA1 of the first layer, and a predetermined hidden layer in the middle (hereinafter referred to as "intermediate hidden layer HAx").
  • This intermediate hidden layer HAx outputs the values of a plurality of nodes as intermediate features as an output in the middle stage of the neural network.
  • the front NN unit 220 is composed of, for example, an FPGA (Field-Programmable Gate Array) or a PLD (Programmable Logic Device).
  • the imaging side control unit 230 selects a classifier 231 that outputs an abnormality degree according to the intermediate feature amount and data (video information, intermediate feature amount, abnormality degree, etc.) to be sent to the image processing device 300 according to the abnormality degree. It is provided with a transmission data selection unit 232 to be transmitted.
  • the classifier 23 As the classifier 231, a known discrimination method such as a method for detecting statistical outliers by Mahalanobis distance or a classifier using a support vector machine of 1 to a small number of classes is adopted. However, since the discriminant 231 is mounted on the image pickup device 200, it is preferable to use a discriminant (learning method) having a calculation amount commensurate with the processing capacity of the image pickup device 200. Fisher's discriminant analysis may be used.
  • the identification process capable of outputting the degree of abnormality for each feature amount of the hidden layer that may become the intermediate hidden layer HAx. It is preferable to prepare the condition parameters of the above so as to be replaceable.
  • the video processing device 300 includes a video processing side control unit 310 that acquires data transmitted from the image pickup device 200, a rear side NN unit 320 that processes intermediate feature quantities and outputs a recognition result, and a video processing device 300.
  • a recognition integrated processing unit 330 that integrates the results of internal recognition processing and outputs the results to the outside is provided.
  • the rear NN unit 320 processes one or more hidden layers HB1 to HBn that continuously recognize the intermediate feature amount after the intermediate hidden layer HAx of the multi-layer neural network that performs the recognition processing of the video information. It includes an output layer L2 that outputs the recognized recognition result.
  • Such a video processing device 300 is configured as a computer system equipped with a CPU (Central Processing Unit), memory, and the like as hardware. When this hardware executes a program, various functions of the video processing device 300 are realized. Part or all of this hardware may be replaced by a dedicated device, a general-purpose machine learning machine, a DSP (Digital Signal Processor), an FPGA, a GPU (Graphics Processing Unit), a PLD, or the like. In addition, a plurality of video systems may be jointly used via a network by centralizing or distributing a part or all of the hardware to servers on the network and arranging the cloud.
  • a CPU Central Processing Unit
  • memory and the like as hardware.
  • this hardware executes a program
  • various functions of the video processing device 300 are realized. Part or all of this hardware may be replaced by a dedicated device, a general-purpose machine learning machine, a DSP (Digital Signal Processor), an FPGA, a GPU (Graphics Processing Unit), a PLD, or the like.
  • FIG. 2 is a flow chart illustrating the operation of the image pickup apparatus 200 according to the first embodiment. Hereinafter, the description will be given according to the step numbers shown in FIG.
  • Step S101 The imaging device 200 communicates with the video processing device 300, and performs initial processing for setting communication cooperation, shooting operation, and other operations.
  • the video processing device 300 to the image pickup device 200 are initially set to be used for applications (constant monitoring) that constantly require video information and recognition results, such as a monitoring monitoring system.
  • Step S102 The image sensor 210 images the field of field at a predetermined frame rate.
  • the image processing unit 211 sequentially processes the image pickup output of the image pickup device 210, and outputs image information that may include the recognition target as an image.
  • Step S103 The video information output from the video processing unit 211 is sequentially input to the input layer L1 of the front NN unit 220.
  • Step S104 Inside the front NN portion 220, processing is performed by a neural network composed of the hidden layer HA1 to the intermediate hidden layer HAx.
  • the weighting coefficient sequence W and the bias b set by the learning process are set for each node of each layer.
  • the product-sum operation is performed on the node output of the previous layer.
  • the non-linear processing by the activation function for the product-sum operation value is sequentially performed.
  • an intermediate feature amount consisting of the values of a plurality of nodes is generated in the intermediate hidden layer HAx of the front NN portion 220 as a result of intermediate feature detection for the video information.
  • Step S105 The intermediate feature amount is input to the classifier 231 and normal / abnormal of the intermediate feature amount (and the original video information) is identified.
  • the classifier 231 outputs an abnormality degree (likelihood indicating the degree of abnormality) based on the identification result.
  • Step S106 The video information, the intermediate feature amount, and the degree of abnormality are input to the transmission data selection unit 232.
  • the transmission data selection unit 232 determines the above-mentioned constant monitoring setting (see step S101).
  • the constant monitoring is set to ON
  • the transmission data selection unit 232 shifts the operation to step S108 in order to constantly transmit the video information and the intermediate feature amount to the video processing device 300.
  • the constant monitoring is set to off
  • the transmission data selection unit 232 transmits the video information and the intermediate feature amount to the video processing device 300 only when an abnormality occurs, so that the operation shifts to step S107.
  • Step S107 The transmission data selection unit 232 determines whether or not there is an abnormality based on the degree of abnormality of the classifier 231. Here, if there is an abnormality in the intermediate feature amount, the transmission data selection unit 232 shifts the operation to step S108. On the other hand, if there is no abnormality in the intermediate feature amount, the transmission data selection unit 232 returns the operation to step S102, and the transmission data selection unit 232 does not output the intermediate feature amount and the video information to the video processing device 300.
  • Step S108 The transmission data selection unit 232 transmits the intermediate feature amount and the original video information to the video processing device 300.
  • the transmission data selection unit 232 may also transmit the degree of abnormality to the video processing device 300.
  • the image pickup apparatus 200 repeats a series of operations shown in steps S102 to S108.
  • FIG. 3 is a flow chart illustrating the operation of the video processing device 300 in the first embodiment. Hereinafter, the operation will be described according to the step numbers shown in FIG.
  • Step S201 As described above (see step S101 in FIG. 2), the video processing device 300 communicates with the imaging device 200, and performs initial processing for setting communication cooperation, shooting operation, and other operations.
  • Step S202 The video processing side control unit 310 of the video processing device 300 waits and acquires the intermediate feature amount transmitted by the image pickup device 200.
  • the video processing side control unit 310 may also acquire the degree of abnormality transmitted by the image pickup apparatus 200.
  • Step S203 The video processing side control unit 310 waits for and acquires the video information transmitted by the image pickup apparatus 200.
  • Step S204 The image processing side control unit 310 gives the acquired intermediate feature amount to the hidden layer HB1 of the first stage of the rear NN unit 320.
  • Step S205 Inside the posterior NN unit 320, processing is performed by a neural network composed of the hidden layer HB1 to the hidden layer HBn.
  • the weighting coefficient sequence W and the bias b set by the learning process are set for each node of each layer.
  • the product-sum operation is performed on the node output of the previous layer.
  • the non-linear processing by the activation function for the product-sum operation value is sequentially performed.
  • the recognition result about the video information is generated in the output layer L2 of the final stage of the posterior NN unit 320.
  • the recognition result here changes flexibly according to the structure of the neural network and its learning process. For example, if learning is performed by labeling the type of subject (whether it is a harmful intruder or a harmless small animal for surveillance purposes), the recognition result of subject discrimination showing the type of subject included in the video information by the likelihood can be obtained. can get. Further, for example, if learning is performed to extract and identify the subject area in the video information together with the type of the subject, a recognition result capable of easily presenting the subject area included in the video information can be obtained.
  • Step S206 The recognition integration processing unit 330 delays the video information by a time and performs frame alignment (synchronization) with the recognition result.
  • Step S207 The recognition integration processing unit 330 outputs the video information and the recognition result to the outside.
  • the recognition integration processing unit 330 may also output the degree of abnormality generated by the image pickup apparatus 200 to the outside.
  • Step S208 If the recognition result is an abnormal situation, the recognition integration processing unit 330 outputs a control signal or the like for dealing with the abnormal situation to the outside. After that, the video processing device 300 repeats a series of operations in steps S202 to S208.
  • Example 1 (Effect of Example 1) The above-mentioned Example 1 has the following effects.
  • the image pickup apparatus 200 includes the input layer L1 of the multi-layer neural network that performs the image information recognition process to the intermediate hidden layer HAx in the middle as the front NN portion 220. Therefore, the image pickup apparatus 200 can generate and output an intermediate feature amount which is an intermediate result, although it is not a recognition result of video information.
  • the video processing device 300 includes the remaining rear NN unit 320. Therefore, unlike the system configuration of Patent Document 1, it is possible to realize a large-scale DNN or CNN with a simple and small-scale system configuration by using the image pickup device 200 and at least one video processing device 300. Become.
  • the entire neural network that functions independently is distributed and arranged in the image pickup apparatus 200 and the image processing apparatus 300. Therefore, the processing load of the entire neural network can be shared between the image pickup apparatus 200 and the image processing apparatus 300. Therefore, in the image pickup apparatus 200 and the image processing apparatus 300, problems such as power consumption, heat generation, and processing time of the entire neural network can be shared in a well-balanced manner.
  • a classifier 231 that identifies an abnormality according to an intermediate feature amount is provided.
  • the intermediate feature quantity is an intermediate process of the recognition process. Therefore, the amount of information related to recognition is significantly narrowed down as compared with the video information containing a large amount of redundant information. Therefore, it is possible to more appropriately identify the abnormality by identifying the abnormality from the intermediate feature amount in which the amount of information related to recognition is narrowed down, rather than identifying the abnormality from the redundant video information.
  • the intermediate feature amount is sent to the video processing device 300, and when the classifier 231 identifies that there is no abnormality, the intermediate feature amount is not sent to the video processing device 300. (See step S107 in FIG. 2). Therefore, it is possible to suspend the rear NN unit 320 of the video processing device 300 in an unnecessary and urgent situation without any abnormality, and it is possible to further reduce the power consumption, heat generation, processing time, etc. of the entire neural network. Become.
  • the video information is sent to the video processing device 300, and when the classifier 231 identifies that there is no abnormality, the video information is not sent to the video processing device 300 (FIG. 1). See step S107 of step 2). Therefore, it is possible to suspend the recognition integrated processing unit 330 of the video processing device 300 in an unnecessary and urgent situation without any abnormality, and it is possible to further reduce the power consumption, heat generation, processing time, etc. of the entire video system 100. become.
  • a large number of image pickup devices 200 may be connected to one video processing device 300 at one time.
  • the video processing device 300 must process a large amount of video information sent from a large number of image pickup devices 200 at high speed, which increases the processing load.
  • FIG. 4 is a block diagram illustrating the configuration of the video system of the second embodiment. In the figure, the same configuration as that of the first embodiment (see FIG. 1) will not be duplicated here.
  • the video system 100A is configured by connecting the image pickup device 200A and the video processing device 300A by communication with a communication network C (dedicated cable, wireless, network, etc.).
  • the image pickup side control unit 230A of the image pickup apparatus 200A further includes a classifier learning unit 233, an image pickup side node update unit 234, and a monitoring unit 235.
  • the classifier learning unit 233 learns the classifier 231 based on the intermediate feature amount and the recognition result of the posterior NN unit 320.
  • the classifier learning unit 233 may be arranged on the image processing device 300A side.
  • the image pickup side node update unit 234 updates the node allocation and node setting parameters of the front side NN unit 220.
  • the monitoring unit 235 acquires image pickup device data from, for example, a current sensor 241 or a temperature sensor 242 as a sensor group of the image pickup device 200A, and outputs the image pickup device data to the transmission data selection unit 232.
  • the current sensor 241 monitors the amount of current in the image pickup apparatus 200A at a place where the amount of current increases or decreases according to a processing load and a place where the amount of current can be an upper limit.
  • the temperature sensor 242 monitors the temperature of a portion of the image pickup apparatus 200A where the temperature rises according to the processing load and a portion where the temperature can be the upper limit.
  • the video processing side control unit 310A of the video processing device 300A further includes an NN learning unit 311, a video processing side node update unit 312, a communication network traffic monitoring unit 313, a node distribution unit 314, and a data transmission / reception request unit 315.
  • the node distribution unit 314 may be provided in the image pickup side control unit 230A.
  • the NN learning unit 311 includes the entire NN model M.
  • the entire NN model M is a mathematical model on a program, and is composed of arithmetic modules such as array arithmetic.
  • the NN learning unit 311 performs learning processing (error backpropagation method, etc.) on the entire NN model M using training data consisting of a data set of video information and a teacher signal, and sets each node of the entire NN model M. Determine the parameters.
  • the NN learning unit 311 can also acquire the setting parameters of the externally learned node instead of performing the learning process of the entire NN model M.
  • the video processing side node update unit 312 updates the node allocation and node setting parameters of the rear side NN unit 320.
  • the communication network traffic monitoring unit 313 monitors the communication traffic between the image pickup device 200A and the video processing device 300A.
  • the node distribution unit 314 determines the number of nodes (or the number of layers) of the front NN unit 220 and the number of nodes (or the number of layers) of the rear NN unit 320 according to the load status of the image pickup device 200A and the image processing device 300A. Change the distribution of.
  • the data transmission / reception request unit 315 performs request processing and buffer processing related to various transmission / reception between the image pickup side control unit 230A and the video processing side control unit 310A.
  • information on reception availability, processing frequency, and data amount is input to the internal function of the video processing side control unit 310A.
  • FIG. 5 is a diagram showing an overall NN model M composed of DNN.
  • the node configuration of the entire NN model M is set to be the same as the node configuration of the entire neural network in which the front side NN unit 220 and the rear side NN unit 320 are integrated.
  • the DNN has a node group of the input layer, a node group of a plurality of hidden layers, and a node group of the output layer, and a weight coefficient sequence W and a bias b indicating the coupling load between the nodes are set respectively.
  • Pixel values of video information are input to the node group of the input layer.
  • the value of each node in the previous layer is calculated by multiplying and summing with the weight coefficient sequence W and the bias b, and the value processed by the activation function such as the sigmoid function or ReLU function is output as the node value.
  • the activation function such as the sigmoid function or ReLU function
  • the value (likelihood) of the recognition result is output by processing such as the softmax function.
  • FIG. 6 is a flow chart illustrating the operation of the NN learning unit 311. Hereinafter, description will be given according to the step numbers shown in the figure.
  • Step S401 The NN learning unit 311 automatically or manually collects a data set such as video information and a teacher signal as training data.
  • Step S402 The NN learning unit 311 learns the entire NN model M using the training data, and determines the node setting parameters (weight coefficient sequence W, bias b).
  • Step S403 The NN learning unit 311 distributes the node setting parameters to the image pickup device 200A and the video processing device 300A based on the node allocation of the node allocation unit 314.
  • Step S404 The NN learning unit 311 transmits the node setting parameters allocated to the image pickup device 200A to the image pickup side node update unit 234 in the image pickup device 200A via the data transmission / reception request unit.
  • the imaging side node update unit 234 updates the parameters of the front side NN unit 220 using the received setting parameters. As a result, the learning process of the front NN unit 220 is completed.
  • Step S405 The NN learning unit 311 transmits the node setting parameters distributed to the video processing device 300A to the video processing side node updating unit 312.
  • the video processing side node update unit 312 updates the parameters of the rear side NN unit 320 by using the received setting parameters. As a result, the learning process of the posterior NN unit 320 is completed.
  • Step S406 Since the parameters of the front NN section 220 have been updated, the intermediate feature amount output by the front NN section 220 is new. Therefore, the condition of the identification process of the classifier 231 is changed according to the new intermediate feature amount.
  • FIG. 7 is a flow chart illustrating the operation of the node distribution unit 314.
  • description will be given according to the step numbers shown in the figure.
  • Step S701 The node distribution unit 314 acquires information on the load status of the image pickup device 200A based on the image pickup device data (temperature, current consumption, etc.) output by the monitoring section 235, and the processing frame rate and delay of the front side NN section 220. To do.
  • Step S702 The node distribution unit 314 acquires information on the load status of the video processing device 300A based on the processing frequency and data amount of the video processing device 300A, the delay in video processing, the number of connected image pickup devices, and the like.
  • Step S703 The node distribution unit 314 obtains a load balance between the two based on the load status of the image pickup device 200A and the load status of the video processing device 300A.
  • Step S704 The node distribution unit 314 determines whether or not the current load balance is within an appropriate range. If it is within an appropriate range, the node distribution unit 314 shifts the operation to step S708. If it is not in the proper range, the node allocation unit 314 shifts the operation to step S705.
  • Step S705 The node distribution unit 314 determines which side has an excessive load status. If the load condition of the image pickup apparatus 200A is excessive, the node allocation unit 314 shifts the operation to step S706. On the contrary, if the load condition of the video processing device 300A is excessive, the node distribution unit 314 shifts the operation to step S707.
  • Step S706 The node allocation unit 314 allocates a predetermined number of nodes (number of layers) in the hidden layer of the front NN unit 220 to the number of nodes (number of layers) in the hidden layer of the rear NN unit 320. After this operation, the node distribution unit 314 shifts the operation to step S708.
  • Step S707 The node allocation unit 314 allocates a predetermined number of nodes (number of layers) in the hidden layer of the rear NN unit 320 to the number of nodes (number of layers) in the hidden layer of the front NN unit 220.
  • Step S708 The node distribution unit 314 acquires information on communication traffic between the image pickup device 200A and the video processing device 300A from the communication network traffic monitoring unit 313. This communication traffic changes depending on the number of connected image pickup devices, the amount and frequency of input information from the image pickup device, and the like.
  • Step S709 The node allocation unit 314 determines whether or not the communication traffic is excessive. When the communication traffic is excessive, the node distribution unit 314 shifts the operation to step S710. If there is a margin in communication traffic, the node distribution unit 314 shifts the operation to step S711.
  • Step S710 The amount of data of the intermediate feature amount output from the image pickup apparatus 200A to the image processing apparatus 300A changes depending on the number of nodes of the intermediate hidden layer HAx and its frequency. Therefore, the node allocation unit 314 moves the allocation position of the intermediate hidden layer in a direction in which the amount of data (for example, the number of nodes in the intermediate hidden layer ⁇ the transmission frequency) is reduced from the present.
  • Step S7111 The node allocation unit 314 determines in steps S706 to S710 whether or not the node allocation has been changed. When there is a change in the node allocation, the node allocation unit 314 shifts the operation to step S712. On the other hand, if there is no change in the node allocation, the operation of the node allocation is completed.
  • Step S712 The imaging side node update unit 234 rewrites the network configuration of the front side NN unit 220 according to the change in the node allocation. Further, the video processing side node update unit 312 rewrites the network configuration of the rear side NN unit 320 according to the change in the node allocation.
  • Step S713 The node setting parameters (W, b) are transferred between the front side NN unit 220 and the rear side NN unit 320 according to the change of the node allocation.
  • Step S714 Since the number of nodes of the front NN unit 220 increases or decreases and the position of the intermediate hidden layer HAx moves, the intermediate feature amount output by the front NN unit 220 changes. Therefore, the discriminator learning unit 233 changes the condition of the discriminating process of the discriminator 231 according to the new intermediate feature amount. Therefore, it is desirable that the classifier 231 learns the conditions (parameters) in advance for each of the intermediate feature quantities output by each hidden layer that can be the intermediate hidden layer.
  • the node allocation is flexibly changed between the front side NN unit 220 and the rear side NN unit 320 according to the load condition and the like.
  • the classifier learning unit that learns the classifier 231 (changes the conditions of the discrimination process, etc.) based on the intermediate feature amount of the front side NN unit 220 and the processing result of the rear side NN unit 320. 233 is provided. Therefore, when the node allocation or the setting parameter of the front NN unit 220 is changed, the discriminator 231 can be learned at any time in response to the change.
  • the NN learning unit 311 is provided. Therefore, in the video system 100A, it becomes possible to carry out the learning process for the front side NN unit 220 and the rear side NN unit 320.
  • the entire NN model M is provided. Therefore, it is not necessary to exchange a large amount of data for the learning process between the divided front NN unit 220 and the rear NN unit 320, and the time required for the learning process can be shortened.
  • the front side NN unit 220 and the rear side NN unit 320 exchange setting parameters of the nodes to be migrated according to the distribution of the number of nodes. Therefore, it is not necessary to restart the learning process for the front side NN unit 220 and the rear side NN unit 320 from 1, and it is possible to save a large amount of calculation load and calculation time related to the learning process.
  • the node distribution unit 314 acquires the load status of the image pickup device 200A or the video processing device 300A, and the number of nodes of the front side NN unit 220 and the number of nodes of the rear side NN unit 320 according to the load status. Change the distribution with. Therefore, the load of the image pickup apparatus 200A or the image processing apparatus 300A can be appropriately adjusted.
  • the node distribution unit 314 reduces the number of nodes in the front NN unit 220 in response to the temperature rise of the image pickup apparatus 200A. As a result, it becomes possible to suppress the power consumption of the front NN portion 220 and suppress the temperature rise.
  • the node distribution unit 314 reduces the number of nodes in the front NN unit 220 in response to an increase in the current consumption of the image pickup apparatus 200A. As a result, the current consumption of the front NN unit 220 can be suppressed and the energy saving of the image pickup apparatus 200A can be achieved.
  • the node distribution unit 314 reduces the number of nodes in the front NN unit 220 in accordance with the decrease in the processing frame rate of the image pickup apparatus 200A. As a result, the processing delay of the front NN unit 220 can be improved, and the operation of the image pickup apparatus 200A can be smoothed.
  • the node distribution unit 314 determines the number of nodes of the front NN unit 220 and the number of nodes of the rear NN unit 320 based on the relative load balance of the image pickup device 200A and the image processing device 300A. Change the distribution of. Therefore, it is unlikely that an unbalanced situation will occur, such as improving the load situation on one side but worsening the load situation on the other side.
  • the node distribution unit 314 moves the position of the intermediate hidden layer in the direction of reducing the product of the number of nodes in the intermediate hidden layer and the transmission frequency of the estimated intermediate feature amount, thereby moving the intermediate hidden layer.
  • the amount of communication information of the feature amount can be reduced.
  • FIG. 8 is a diagram showing an inspection system (including a video system) according to the third embodiment.
  • the imaging devices 1, 2, ... N are arranged on a plurality of inspection lines, respectively. These image pickup devices 1, 2 ... N are connected to the video processing device 300 and the storage 502 via the network hub 501. A line sorting operation signal is transmitted from the video processing device 300 to each inspection line.
  • Each imaging device calculates the degree of anomaly based on the intermediate feature amount each time a new inspection target passes in front of the imaging device. Since this degree of abnormality is calculated from statistical outliers, etc., most of the inspection targets are normal targets, and in other environments where the background is difficult to change, it is a discriminator using a relatively simple method. Is also easy to obtain accuracy.
  • the front NN section (not shown) in the imaging devices 1 and 2 ... N and the rear NN section (not shown) in the video processing device 300 are used for video information and teachers that match the actual environment before actual operation. It is assumed that a data set of signals is collected and the setting parameters learned by using them are applied.
  • the data is saved in a buffer such as a frame buffer and waits for transmission.
  • the recognition process in the image processing device 300 needs to be completed sufficiently faster than the next object passes in front of the imaging device. If the image processing device 300 has not performed the recognition process, a signal requesting data is returned to the image pickup device 1, so that the data is sent to the image processing device 300 after receiving the signal.
  • the video processing device 300 performs recognition processing based on the received data, and identifies the classes 1 to 3 described above. Then, if it is determined to be class 1 "normal”, it is sent to another normal product and normal product lane 513, and if it is class 2 "repairable scratches or defects", it is sent by the line sorting operation signal.
  • the line sorting rail 511 is put into operation, carried to the repair lane 512, and the appropriate repair work is carried out after that. Similarly, in the case of class 3 “irreparable scratches or defects”, the line separation operation signal is used to carry the product to the discarding lane 514 and discard it as it is.
  • the data received by the video processing device 300 is stored in the storage 502 and can be referred to as reference information at the time of repair if necessary, confirmed as data for confirming the identification accuracy, and also used as learning data. Can be done.
  • image pickup apparatus and image processing apparatus 300 it is possible to change the division position of the hidden layer depending on the network traffic, the temperature of the ambient environment, and the like, and when the recognition accuracy is improved. Although it is possible to update the parameters of the entire neural network, it is desirable to perform these during the pause of the line, or if there is a certain period between lots of the object.
  • the present invention is not limited to the individual examples described above, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • the video processing device 300A includes the NN learning unit 311 .
  • the present invention is not limited to this. Since it is assumed that the performance of the video processing device 300A is low, the NN learning unit 311 may be provided outside the video processing device 300A (another computer, server, or the like).
  • the DNN format is adopted for the front NN portion and the rear NN portion.
  • the present invention is not limited to the types of machine learning.
  • the CNN format may be adopted for the front NN portion and the rear NN portion.
  • a convolution layer, a pooling layer, or a combination thereof may be appropriately adopted for a part or all of the hidden layer.
  • supervised learning was described.
  • the present invention is not limited to this. For example, unsupervised learning may be adopted.
  • the recognition integration processing unit 330 integrates the video signal, the recognition result, and the like, but the present invention is not limited to this.
  • the following stepwise output processing may be performed. (1) First, the degree of abnormality is obtained on the imaging device side, and then (2) When the value is equal to or higher than the threshold value that needs to be recognized by the video processing device, only the intermediate feature amount is sent. (3) Using the intermediate feature amount as an input, the video processing device determines whether or not the video information is truly abnormal and what kind of abnormality it is. (4) If it is necessary to save or observe the video information or its anomaly, request the acquisition of the data saved in the buffer on the imaging device side. (5) The image pickup apparatus side sends data to the image processing apparatus according to the request.
  • HAx ... Intermediate hidden layer, L1 ... Input layer 100 ... Video system, 100A ... Video system, 200 ... Imaging device, 200A ... Imaging device, 210 ... Imaging element, 211 ... Video processing unit, 220 ... Front NN unit, 230 ... Imaging side control unit, 231 ... Discriminator, 232 ... Transmission data selection unit, 233 ... Discriminator learning unit, 234 ... Imaging side node update unit, 235 ... Monitoring unit, 241 ... Current sensor, 242 ... Temperature sensor, 300 ... Video Processing device, 300A ... Video processing device, 310 ... Video processing side control unit, 310A ... Video processing side control unit, 311 ... NN learning unit, 312 ...
  • Video processing side node update unit 313 ... Communication network traffic monitoring unit, 314 ... Node distribution unit, 315 ... data transmission / reception request unit, 320 ... rear NN unit, 330 ... recognition integration processing unit, 501 ... network hub, 502 ... storage, 511 ... line sorting rail, 512 ... repair lane, 513 ... normal product Lane for 514 ... Lane for discarding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのに適したシステム構成を提供する。　本発明の映像システムの一つは、撮像装置と映像処理装置とを備える。撮像装置は、撮像により映像情報を生成する撮像部と、映像情報の認識処理を行う複数層のニューラルネットワーク(Neural Networks)の入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、前側ＮＮ部の中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備える。映像処理装置は、撮像側制御部が送出する中間特徴量を取得する映像処理側制御部と、ニューラルネットワークの中間隠れ層以降から出力層までを備え、映像処理側制御部が取得した中間特徴量について、残りの認識処理を行う後側ＮＮ部とを備える。

Description

映像システム、撮像装置、および映像処理装置
　本発明は、映像システム、撮像装置、および映像処理装置に関する。
　従来、映像認識・識別の分野において、撮像装置が出力した映像情報を、コンピュータやクラウドにおいて処理する構成が知られている。
　また近年では、コンピュータやクラウドにおいてＤＮＮ（Deep Neural Networks）や、ＣＮＮ（Convolution Neural Networks）などの機械学習の技法を用いて、撮像装置が出力した映像情報に対して、映像認識・識別などを行うことが知られている。
　特許文献１の段落０１０４～段落０１０８および図１４には、撮像装置（カメラ）が出力した映像を、カメラに外部接続された映像処理装置である『第一階層機械学習・認識装置ＤＮＮ１、および第二階層機械学習・認識装置ＤＮＮ２』という２つのＤＮＮにより処理する旨が開示される。
国際公開第２０１７／１８７５１６号
　特許文献１の技術では、「撮像装置」から得られる映像を、２つの「第一階層機械学習・認識装置ＤＮＮ１」及び「第二階層機械学習・認識装置ＤＮＮ２」で処理する。その性質上、端末側の「第一階層機械学習・認識装置ＤＮＮ１」のみでも一定以上の精度が得られるＤＮＮを構築する必要があり、またその中間層の出力は「第二階層機械学習・認識装置ＤＮＮ２」でより深く学習するための情報を表現していなければならず、その分だけ構成が複雑かつ大規模になる。
　また、「第一階層機械学習・認識装置ＤＮＮ１」の任意に決定した中間層の出力を「第二階層機械学習・認識装置ＤＮＮ２」の入力とするため、「第二階層機械学習・認識装置ＤＮＮ２」の学習後にその中間層の位置を変更することは容易ではなく、周囲環境や外部要因により構成を変更する必要が生じた際にはＤＮＮの再学習が必要となる。
　そこで、本発明は、撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのにより適したシステム構成を提供することを目的とする。
　上記課題を解決するために、代表的な本発明の映像システムの一つは、撮像装置と映像処理装置とを備える。
　撮像装置は、撮像により映像情報を生成する撮像部と、映像情報の認識処理を行う複数層のニューラルネットワークの入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、前側ＮＮ部の中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備える。
　映像処理装置は、撮像側制御部が送出する中間特徴量を取得する映像処理側制御部と、ニューラルネットワークの中間隠れ層以降から出力層までを備え、映像処理側制御部が取得した中間特徴量について、残りの認識処理を行う後側ＮＮ部とを備える。
　本発明では、撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのに適したシステム構成が得られる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図１は、実施例１における映像システムの構成を説明するブロック図である。 図２は、実施例１における撮像装置２００の動作を説明する流れ図である。 図３は、実施例１における映像処理装置３００の動作を説明する流れ図である。 図４は、実施例２の映像システムの構成を説明するブロック図である。 図５は、実施例２における全体ＮＮモデルＭを示す図である。 図６は、実施例２におけるＮＮ学習部３１１の動作を説明する流れ図である。 図７は、実施例２におけるノード配分部３１４の動作を説明する流れ図である。 図８は、実施例３における検査システム（映像システムを含む）を示す図である。
　以下、図面に基づいて実施の形態を説明する。
（実施例１の構成）
　図１は、実施例１における映像システムの構成を説明するブロック図である。
　同図において、映像システム１００は、撮像装置２００、および映像処理装置３００を備える。
　撮像装置２００は、検査や監視の対象などを撮像するための撮像素子２１０と、撮像素子２１０の出力に対してガンマ補正、色補正、輪郭補正、白傷補正などの映像処理を施して映像情報を生成する映像処理部２１１と、映像情報を処理して中間特徴量を出力する前側ＮＮ部２２０と、映像情報および中間特徴量を処理して映像処理装置３００に送信する情報を生成する撮像側制御部２３０とを備える。
　前側ＮＮ部２２０は、映像情報の認識処理を行う複数層のニューラルネットワークの入力層Ｌ１、一層目の隠れ層ＨＡ１から途中の所定の隠れ層（以下「中間隠れ層ＨＡｘ」という）までを備える。この中間隠れ層ＨＡｘは、ニューラルネットワークの途中段階の出力として、複数ノードの値を中間特徴量として出力する。この前側ＮＮ部２２０は、例えばＦＰＧＡ（Field-Programmable Gate Array）やＰＬＤ(Programmable Logic Device）などにより構成される。
　撮像側制御部２３０は、中間特徴量に応じた異常度を出力する識別器２３１と、異常度に応じて映像処理装置３００に送出するデータ（映像情報、中間特徴量、異常度など）を選定する送出データ選定部２３２とを備える。
　識別器２３１には、例えばマハラノビス距離による統計的な異常値の検出手法や、１～少数クラスのサポートベクターマシンによる識別器など、公知な識別手法が採用される。
　ただし、識別器２３１は、撮像装置２００に搭載されるため、撮像装置２００の処理能力に見合った計算量の識別器（学習方式）とすることが好ましく、そのために次元圧縮手法として主成分分析やフィッシャーの判別分析などを用いてもよい。
　また、前側ＮＮ部２２０の層数が後述するノード配分により変更される場合を考慮して、中間隠れ層ＨＡｘとなる可能性がある隠れ層の特徴量ごとに、異常度を出力可能な識別処理の条件パラメータを差し替え可能に準備しておくことが好ましい。
　一方、映像処理装置３００は、撮像装置２００から送出されるデータを取得する映像処理側制御部３１０と、中間特徴量を処理して認識結果を出力する後側ＮＮ部３２０と、映像処理装置３００内での認識処理の結果を統合して外部に出力する認識統合処理部３３０とを備える。
　後側ＮＮ部３２０は、映像情報の認識処理を行う複数層のニューラルネットワークの中間隠れ層ＨＡｘの以降として、中間特徴量について続きの認識処理を行う１層以上の隠れ層ＨＢ１～ＨＢｎと、処理された認識結果を出力する出力層Ｌ２とを備える。
　このような映像処理装置３００は、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成される。このハードウェアがプログラムを実行することにより、映像処理装置３００の各種機能が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ、ＧＰＵ（Graphics Processing Unit）、ＰＬＤなどで代替してもよい。また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置することにより、複数の映像システムがネットワークを介して共同使用してもよい。
（実施例１における撮像装置２００の動作）
　図２は、実施例１における撮像装置２００の動作を説明する流れ図である。
　以下、図２に示すステップ番号に沿って説明する。
ステップＳ１０１：　撮像装置２００は、映像処理装置３００との間で通信を行い、通信連携の設定や撮影動作やその他の動作について初期処理を行う。例えば、映像処理装置３００から撮像装置２００に対しては、監視モニタリングシステムのように映像情報や認識結果を常時必要とする用途（常時モニタリング）か否かなどの初期設定が行われる。
ステップＳ１０２：　撮像素子２１０は、所定のフレームレートで被写界を撮像する。映像処理部２１１は、撮像素子２１０の撮像出力を逐次に映像処理し、認識対象を映像として含む可能性がある映像情報を出力する。
ステップＳ１０３：　映像処理部２１１から出力された映像情報は、前側ＮＮ部２２０の入力層L１に逐次入力される。
ステップＳ１０４：　前側ＮＮ部２２０の内部では、隠れ層ＨＡ１～中間隠れ層ＨＡxからなるニューラルネットワークによる処理が行われる。ここで、各層のノードごとには、学習処理（後述）により設定された重み係数列Ｗとバイアスbが設定される。これら設定を用いて前層のノード出力に対する積和演算を行う。そして、その積和演算値に対する活性化関数による非線形処理が順次に行われる。このニューラルネットワークによる処理の結果、前側ＮＮ部２２０の中間隠れ層ＨＡxには、映像情報について中間的な特徴検出の結果として、複数ノードの値からなる中間特徴量が生成される。
ステップＳ１０５：　中間特徴量は識別器２３１に入力され、中間特徴量（さらにその元である映像情報）の正常・異常が識別される。識別器２３１は、識別結果に基づく異常度（異常の度合を示す尤度）を出力する。
ステップＳ１０６：　送出データ選定部２３２には、映像情報、中間特徴量、および異常度が入力される。送出データ選定部２３２は、上述した常時モニタリングの設定（ステップＳ１０１参照）について判定する。ここで、常時モニタリングがオン設定の場合、送出データ選定部２３２は、映像情報および中間特徴量を映像処理装置３００に常時送出するため、ステップＳ１０８に動作を移行する。一方、常時モニタリングがオフ設定の場合、送出データ選定部２３２は、映像情報および中間特徴量を映像処理装置３００に異常時のみ送出するため、ステップＳ１０７に動作を移行する。
ステップＳ１０７：　送出データ選定部２３２は、識別器２３１の異常度に基づいて、異常ありか、異常なしかを判定する。ここで、中間特徴量に異常があれば、送出データ選定部２３２は、ステップＳ１０８に動作を移行する。一方、中間特徴量に異常がなければ、送出データ選定部２３２は、ステップＳ１０２に動作を戻し、送出データ選定部２３２は、中間特徴量と映像情報を映像処理装置３００に出力しない。
ステップＳ１０８：　送出データ選定部２３２は、中間特徴量、およびその元である映像情報を映像処理装置３００に送出する。なお、送出データ選定部２３２は異常度を併せて映像処理装置３００に送出してもよい。以降、撮像装置２００では、ステップＳ１０２～S１０８に示した一連の動作を繰り返す。
（実施例１における映像処理装置３００の動作）
　図３は、実施例１における映像処理装置３００の動作を説明する流れ図である。
　以下、図３に示すステップ番号に沿って動作を説明する。
ステップＳ２０１：　映像処理装置３００は、上述（図２のステップＳ１０１参照）したように、撮像装置２００との間で通信を行い、通信連携の設定や撮影動作やその他の動作について初期処理を行う。
ステップＳ２０２：　映像処理装置３００の映像処理側制御部３１０は、撮像装置２００が送出する中間特徴量を待機して取得する。なお、映像処理側制御部３１０は、撮像装置２００が送出する異常度を併せて取得してもよい。
ステップＳ２０３：　映像処理側制御部３１０は、撮像装置２００が送出する映像情報を待機して取得する。
ステップＳ２０４：　映像処理側制御部３１０は、取得した中間特徴量を後側ＮＮ部３２０の初段の隠れ層ＨＢ１に与える。
ステップＳ２０５：　後側ＮＮ部３２０の内部では、隠れ層ＨＢ１～隠れ層ＨＢｎからなるニューラルネットワークによる処理が行われる。ここで、各層のノードごとには、学習処理（後述）により設定された重み係数列Ｗとバイアスbが設定される。これら設定を用いて前層のノード出力に対する積和演算を行う。そして、その積和演算値に対する活性化関数による非線形処理が順次に行われる。このニューラルネットワークによる処理の結果、後側ＮＮ部３２０の最終段の出力層Ｌ２には、映像情報についての認識結果が生成される。
　ここでの認識結果は、ニューラルネットワークの構造とその学習処理に応じて柔軟に変化する。例えば、被写体の種別（監視用途であれば有害な侵入者か、無害な小動物かなど）をラベリングする学習を行えば、映像情報に含まる被写体の種別を尤度で示す被写体弁別の認識結果が得られる。また例えば、映像情報内の被写体領域を被写体の種別と併せて抽出・識別する学習を行えば、映像情報に含まれる被写体領域を容易に提示可能な認識結果が得られる。
ステップＳ２０６：　認識統合処理部３３０は、映像情報を時間遅延させて、認識結果とのフレーム合わせ（同期）を行う。
ステップＳ２０７：　認識統合処理部３３０は、映像情報と認識結果とを外部に出力する。なお、認識統合処理部３３０は、撮像装置２００で生成された異常度を併せて外部に出力してもよい。
ステップＳ２０８：　認識統合処理部３３０は、認識結果が異常な状況であれば、それに対処するコントロール信号などを外部に出力する。
　以降、映像処理装置３００は、ステップＳ２０２～Ｓ２０８の一連の動作を繰り返す。
（実施例１の効果）
　上述した実施例１は、次の効果を奏する。
（１）実施例１では、撮像装置２００は、映像情報の認識処理を行う複数層のニューラルネットワークの入力層Ｌ１から途中の中間隠れ層ＨＡｘまでを、前側ＮＮ部２２０として備える。そのため、撮像装置２００は、映像情報の認識結果とまではいかないものの、その途中結果である中間特徴量を生成し、出力することが可能になる。
（２）実施例１では、映像処理装置３００は、残りの後側ＮＮ部３２０を備える。そのため、特許文献１のシステム構成とは異なり、撮像装置２００と少なくとも１台の映像処理装置３００とを用いて大規模なＤＮＮ、あるいはＣＮＮを単純かつ小規模なシステム構成で実現することが可能になる。
（３）実施例１では、単体で機能するニューラルネットワーク全体を、撮像装置２００と映像処理装置３００とに分散して配置する。そのため、ニューラルネットワーク全体による処理負荷も撮像装置２００と映像処理装置３００とで分担することができる。したがって、撮像装置２００および映像処理装置３００において、ニューラルネットワーク全体の消費電力や発熱や処理時間などの問題をバランスよく分担することが可能になる。
（４）実施例１では、中間特徴量に応じて異常を識別する識別器２３１を備える。中間特徴量は認識処理の中間過程である。そのため、冗長な情報を多量に含む映像情報に比べて、認識に係る情報量が有意に絞り込まれている。そのため、冗長な映像情報から異常を識別するよりも、認識に係る情報量が絞り込まれている中間特徴量から異常を識別する方が、異常をより適切に識別することが可能になる。
（５）実施例１では、識別器２３１が異常と識別すると、中間特徴量を映像処理装置３００に送出し、識別器２３１が異常なしと識別すると、中間特徴量を映像処理装置３００に送出しない(図２のステップＳ１０７参照）。したがって、異常なしの不要不急の状況において映像処理装置３００の後側ＮＮ部３２０を休止させることが可能になり、ニューラルネットワーク全体の消費電力や発熱や処理時間などをさらに削減することが可能になる。
（６）実施例１では、識別器２３１が異常と識別すると、映像情報を映像処理装置３００に送出し、識別器２３１が異常なしと識別すると、映像情報を映像処理装置３００に送出しない(図２のステップＳ１０７参照）。したがって、異常なしの不要不急の状況において映像処理装置３００の認識統合処理部３３０を休止させることが可能になり、映像システム１００全体の消費電力や発熱や処理時間などをさらに削減することが可能になる。
（７）通常、検査や監視用の撮像装置は小型であるため、複雑かつ大規模なニューラルネットワーク全体を実装することは、回路規模、消費電力、および発熱などの点で困難である。しかしながら、実施例１は、撮像装置２００にはニューラルネットワークの一部（前側ＮＮ部２２０）を実装すれば済むため、回路規模、消費電力、および発熱などの制約を解決することが容易い。
（８）通常、１台の映像処理装置３００に対して、多数の撮像装置２００が一度に接続される場合もある。この場合、映像処理装置３００は、多数の撮像装置２００から送られる大量の映像情報を高速処理しなければならず、処理負荷が大きくなる。この状態において、映像処理装置３００に対して複雑かつ大規模なニューラルネットワーク全体を実装することは、処理速度、回路規模、消費電力、および発熱などの点で困難である。しかしながら、実施例１は、映像処理装置にニューラルネットワークの一部（後側ＮＮ部３２０）を実装すれば済み、また識別器２３１が異常なしと識別すると、中間特徴量を映像処理装置３００に送出しない(図２のステップＳ１０７参照）ため、処理速度、回路規模、消費電力、および発熱などの制約を解決することが容易い。
　続いて、学習機能と、ノード配分機能を追加した実施例２について説明する。
（実施例２の構成）
　図４は、実施例２の映像システムの構成を説明するブロック図である。
　なお、同図において、実施例１の構成（図１参照）と同じ構成については、ここでの重複説明を省略する。
　映像システム１００Ａは、撮像装置２００Ａ、および映像処理装置３００Ａを、通信網Ｃ（専用ケーブルや無線やネットワークなど）により通信接続して構成される。
　撮像装置２００Ａの撮像側制御部２３０Ａは、識別器学習部２３３、撮像側ノード更新部２３４、および監視部２３５を更に備える。
　識別器学習部２３３は、中間特徴量と、後側ＮＮ部３２０の認識結果とに基づいて、識別器２３１の学習を行う。なお、識別器学習部２３３は、映像処理装置３００Ａ側に配置してもよい。
　撮像側ノード更新部２３４は、前側ＮＮ部２２０のノード配分およびノードの設定パラメータを更新する。
　監視部２３５は、撮像装置２００Ａのセンサ群として、例えば、電流センサ２４１や温度センサ２４２などから撮像装置データを取得し、送出データ選定部２３２に出力する。電流センサ２４１は、撮像装置２００Ａにおいて処理負荷に応じて電流量が増減する箇所や、電流量が上限となり得る箇所の電流量を監視する。また、温度センサ２４２は、撮像装置２００Ａにおいて処理負荷に応じて温度が上昇する箇所や、温度が上限となり得る箇所の温度を監視する。
　一方、映像処理装置３００Ａの映像処理側制御部３１０Ａは、ＮＮ学習部３１１、映像処理側ノード更新部３１２、通信網トラフィック監視部３１３、ノード配分部３１４、およびデータ送受信リクエスト部３１５を更に備える。なお、ノード配分部３１４は撮像側制御部２３０Ａに備えてもよい。
　ＮＮ学習部３１１は、全体ＮＮモデルＭを備える。例えば、この全体ＮＮモデルＭは、プログラム上の数学モデルであって、配列演算などの演算モジュールなどから構成される。ＮＮ学習部３１１は、映像情報、教師信号のデータセットからなる訓練データを用いて、この全体ＮＮモデルＭに対する学習処理（誤差逆伝播法など）を実施し、全体ＮＮモデルＭの各ノードの設定パラメータを決定する。
　なお、ＮＮ学習部３１１は、全体ＮＮモデルＭの学習処理を行う代わりに、外部学習済みのノードの設定パラメータを取得することもできる。
　映像処理側ノード更新部３１２は、後側ＮＮ部３２０のノード配分およびノードの設定パラメータを更新する。
　通信網トラフィック監視部３１３は、撮像装置２００Ａと映像処理装置３００Ａとの間の通信トラフィックを監視する。
　ノード配分部３１４は、撮像装置２００Ａと映像処理装置３００Ａとの負荷状況に応じて、前側ＮＮ部２２０のノード数(または層数）と、後側ＮＮ部３２０のノード数（または層数）との配分を変更する。
　データ送受信リクエスト部３１５は、撮像側制御部２３０Ａと映像処理側制御部３１０Ａの相互間で各種の送受信に関するリクエスト処理やバッファ処理を行う。
　その他、認識統合処理部３３０から、映像処理側制御部３１０Ａの内部機能には、受信可否や、処理頻度や、データ量に関する情報が入力される。
（全体ＮＮモデルＭの構成）
　図５は、ＤＮＮで構成した全体ＮＮモデルＭを示す図である。
　全体ＮＮモデルＭのノード構成は、前側ＮＮ部２２０と後側ＮＮ部３２０とを統合したニューラルネットワーク全体のノード構成と同一に設定される。
　ＤＮＮは、入力層のノード群、複数の隠れ層のノード群、出力層のノード群を有し、ノード間の結合荷重を示す重み係数列Ｗとバイアスbがそれぞれ設定される。
　入力層のノード群には、映像情報の画素値が入力される。隠れ層や出力層のノードは、前層の各ノードの値を重み係数列Ｗとバイアスbで積和演算し、シグモイド関数やReLU関数などの活性化関数で処理した値をノード値として出力とする。
　最終段の出力層ではソフトマックス関数などの処理により、認識結果の値（尤度）を出力する。
（ＮＮ学習部３１１の動作）
　次に、前側ＮＮ部２２０および後側ＮＮ部３２０の学習について説明する。
　図６は、ＮＮ学習部３１１の動作を説明する流れ図である。
　以下、同図に示すステップ番号に沿って説明する。
ステップＳ４０１：　ＮＮ学習部３１１は、映像情報、教師信号などのデータセットを訓練データとして自動または手動により収集する。
ステップＳ４０２：　ＮＮ学習部３１１は、訓練データを用いて、全体ＮＮモデルＭの学習を行い、ノードの設定パラメータ（重み係数列Ｗ，バイアスｂ）を決定する。
ステップＳ４０３：　ＮＮ学習部３１１は、ノード配分部３１４のノード配分に基づいて、ノードの設定パラメータを撮像装置２００Ａと映像処理装置３００Ａとに振り分ける。
ステップＳ４０４：　ＮＮ学習部３１１は、撮像装置２００Ａに振り分けたノードの設定パラメータを、データ送受信リクエスト部を介して撮像装置２００Ａ内の撮像側ノード更新部２３４に伝達する。撮像側ノード更新部２３４は、受け取った設定パラメータを用いて、前側ＮＮ部２２０のパラメータを更新する。これによって、前側ＮＮ部２２０の学習処理が完了する。
ステップＳ４０５：　ＮＮ学習部３１１は、映像処理装置３００Ａに振り分けたノードの設定パラメータを、映像処理側ノード更新部３１２に伝達する。映像処理側ノード更新部３１２は、受け取った設定パラメータを用いて、後側ＮＮ部３２０のパラメータを更新する。これによって、後側ＮＮ部３２０の学習処理が完了する。
ステップＳ４０６：　前側ＮＮ部２２０のパラメータが更新されたため、前側ＮＮ部２２０が出力する中間特徴量は新しくなる。そこで、新しい中間特徴量に合わせて、識別器２３１の識別処理を条件変更する。
（ノード配分部３１４の動作）
　続いて、前側ＮＮ部２２０と後側ＮＮ部３２０との間でノード配分（中間隠れ層の位置）を変更する処理について説明する。
　図７は、ノード配分部３１４の動作を説明する流れ図である。
　以下、同図に示すステップ番号に沿って説明する。
ステップＳ７０１：　ノード配分部３１４は、監視部２３５が出力する撮像装置データ（温度・消費電流など）や、前側ＮＮ部２２０の処理フレームレートや遅滞に基づいて、撮像装置２００Ａの負荷状況を情報取得する。
ステップＳ７０２：　ノード配分部３１４は、映像処理装置３００Ａの処理頻度やデータ量や映像処理の遅滞や撮像装置の接続台数などに基づいて、映像処理装置３００Ａの負荷状況を情報取得する。
ステップＳ７０３：　ノード配分部３１４は、撮像装置２００Ａの負荷状況と、映像処理装置３００Ａの負荷状況に基づいて、両者の負荷バランスを求める。
ステップＳ７０４：　ノード配分部３１４は、現在の負荷バランスが適正範囲か否かを判定する。適正範囲であれば、ノード配分部３１４は、ステップＳ７０８に動作を移行する。適正範囲でない場合、ノード配分部３１４は、ステップＳ７０５に動作を移行する。
ステップＳ７０５：　ノード配分部３１４は、どちら側の負荷状況が過多であるかを判定する。撮像装置２００Ａの負荷状況が過多であれば、ノード配分部３１４はステップＳ７０６に動作を移行する。逆に映像処理装置３００Ａの負荷状況が過多であれば、ノード配分部３１４はステップＳ７０７に動作を移行する。
ステップＳ７０６：　ノード配分部３１４は、前側ＮＮ部２２０の隠れ層のノード数（層数）を、後側ＮＮ部３２０の隠れ層のノード数（層数）に所定数だけ配分する。この動作の後、ノード配分部３１４はステップＳ７０８に動作を移行する。
ステップＳ７０７：　ノード配分部３１４は、後側ＮＮ部３２０の隠れ層のノード数（層数）を、前側ＮＮ部２２０の隠れ層のノード数（層数）に所定数だけ配分する。
ステップＳ７０８：　ノード配分部３１４は、通信網トラフィック監視部３１３から撮像装置２００Ａと映像処理装置３００Ａとの間の通信トラフィックを情報取得する。この通信トラフィックは、撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などにより変化する。
ステップＳ７０９：　ノード配分部３１４は、通信トラフィックが過多か否かを判定する。通信トラフィックが過多の場合、ノード配分部３１４はステップＳ７１０に動作を移行する。
通信トラフィックに余裕がある場合、ノード配分部３１４はステップＳ７１１に動作を移行する。
ステップＳ７１０：　撮像装置２００Ａから映像処理装置３００Ａに出力される中間特徴量のデータ量は、中間隠れ層ＨＡｘのノードの数、およびその頻度により変化する。そこで、ノード配分部３１４は、そのデータ量（例えば、中間隠れ層のノード数×送出頻度）が現在よりも削減する方向に、中間隠れ層の配分位置を移動させる。
ステップＳ７１１：　ノード配分部３１４は、ステップＳ７０６～Ｓ７１０において、ノード配分が変更されたか否かを判定する。ノード配分に変更がある場合、ノード配分部３１４はステップＳ７１２に動作を移行する。一方、ノード配分に変更がない場合、ノード配分の動作を完了する。
ステップＳ７１２：　撮像側ノード更新部２３４は、ノード配分の変更に応じて、前側ＮＮ部２２０のネットワーク構成を書き換える。さらに、映像処理側ノード更新部３１２は、ノード配分の変更に応じて、後側ＮＮ部３２０のネットワーク構成を書き換える。
ステップＳ７１３：　ノード配分の変更に応じて、前側ＮＮ部２２０と後側ＮＮ部３２０との間では、ノードの設定パラメータ（Ｗ，ｂ）の移行が行われる。
ステップＳ７１４：　前側ＮＮ部２２０のノード数が増減し、中間隠れ層ＨＡｘの位置が移動するため、前側ＮＮ部２２０が出力する中間特徴量は変化する。そこで、新しい中間特徴量に合わせて、識別器学習部２３３は識別器２３１の識別処理を条件変更する。したがって、識別器２３１は中間隠れ層となり得る各隠れ層が出力する中間特徴量それぞれに対し、事前に条件（パラメータ）を学習しておくことが望ましい。
　上述した一連の処理により、負荷状況などに応じて、前側ＮＮ部２２０と後側ＮＮ部３２０との間で、ノード配分が柔軟に変更される。
（実施例２の効果）
　実施例２は、実施例１の効果に加えて、次の効果を更に奏する。
（１）実施例２では、前側ＮＮ部２２０の中間特徴量と、後側ＮＮ部３２０の処理結果とに基づいて、識別器２３１の学習（識別処理の条件変更など）を行う識別器学習部２３３を備える。そのため、前側ＮＮ部２２０のノード配分や設定パラメータが変更された場合、それに対応して識別器２３１の学習を随時に行うことが可能になる。
（２）実施例２では、ＮＮ学習部３１１を備える。そのため、映像システム１００Ａにおいて、前側ＮＮ部２２０及び後側ＮＮ部３２０のための学習処理を実施することが可能になる。
（３）実施例２では、全体ＮＮモデルＭを備える。そのため、分断された前側ＮＮ部２２０及び後側ＮＮ部３２０の間で学習処理のための大量データをやり取りする必要がなくなり、学習処理に係る時間を短縮することが可能になる。
（４）実施例２では、前側ＮＮ部２２０および後側ＮＮ部３２０は、ノード数の配分に応じて、移行するノードの設定パラメータをやり取りする。そのため、前側ＮＮ部２２０および後側ＮＮ部３２０のための学習処理を１からやり直す必要がなく、学習処理に係る多大な計算負荷と計算時間を省くことが可能になる。
（５）実施例２では、ノード配分部３１４が撮像装置２００Ａまたは映像処理装置３００Ａの負荷状況を取得し、負荷状況に応じて前側ＮＮ部２２０のノード数と、後側ＮＮ部３２０のノード数との配分を変更する。したがって、撮像装置２００Ａまたは映像処理装置３００Ａの負荷を適宜に調整することができる。
（６）実施例２では、ノード配分部３１４が、撮像装置２００Ａの温度上昇に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の電力消費を抑えて温度上昇を抑制することが可能になる。
（７）実施例２では、ノード配分部３１４が、撮像装置２００Ａの消費電流の上昇に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の電流消費を抑えて撮像装置２００Ａの省エネをはかることができる。
（８）実施例２では、ノード配分部３１４が、撮像装置２００Ａの処理フレームレートの低下に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の処理遅滞を改善し、撮像装置２００Ａの動作を円滑にすることができる。
（９）実施例２では、ノード配分部３１４が、撮像装置２００Ａおよび映像処理装置３００Ａの相対的な負荷バランスに基づいて、前側ＮＮ部２２０のノード数と、後側ＮＮ部３２０のノード数との配分を変更する。したがって、一方の負荷状況を改善したつもりが、他方の負荷状況を悪化させたなどのアンバランスな事態は起こりづらい。
（１０）実施例２では、ノード配分部３１４が、中間隠れ層のノード数と推定される中間特徴量の送出頻度の積を削減する方向に、中間隠れ層の位置を移動させることにより、中間特徴量の通信情報量を削減することができる。
（１１）実施例２では、撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などによる変化する通信トラフィックを情報取得し、通信トラフィックが大きい場合、中間隠れ層から出力される中間特徴量の通信情報量を削減する方向に、中間隠れ層の位置を移動させる。したがって、通信トラフックを軽減することが可能になる。
　次に、工場などの検査自動化を目的として、本発明の映像システムを採用する検査システムについて説明する。
　図８は、実施例３における検査システム（映像システムを含む）を示す図である。
　同図において、撮像装置１，２・・Ｎは、複数の検査ラインにそれぞれ配置される。これらの撮像装置１，２・・Ｎは、ネットワークハブ５０１を介して、映像処理装置３００およびストレージ５０２に接続される。映像処理装置３００からは、ライン分別操作信号が検査ラインそれぞれに送出される。
　撮像装置それぞれは、新しい検査対象がその撮像装置の前を通過するたびに、中間特徴量に基づいて異常度を計算する。この異常度は、統計的な外れ値などから計算されるため、検査対象の多くが正常な対象であり、その他背景などが変化し難い環境においては、比較的簡易な手法による識別器であっても精度を得やすい。
　なお、撮像装置１，２・・Ｎ内の前側ＮＮ部（不図示）と、映像処理装置３００内の後側ＮＮ部（不図示）は、実運用前に実環境に即した映像情報と教師信号のデータセットを収集し、それらを用いて学習済みとなった設定パラメータを適用しているものとする。
　ここで、簡易な一例として、その前側ＮＮ部および後側ＮＮ部からなるニューラルネットワークの識別クラスを3つとし、その内容としてはクラス１：「正常」、クラス２：「修復可能な傷、欠陥あり」、クラス３：「修復不可能な傷、欠陥あり」とする。
　そして、異常度を計算した結果、撮像装置1の前を通過した対象物に異常がある可能性が高いと判断すると、ネットワークハブ５０１を介して映像処理装置３００に対してデータを送信するためのリクエストを発報する。
　このとき、他方の検査ラインで同時期に異常があり、映像処理装置３００で認識処理中であった場合には、フレームバッファなどのバッファにデータを保存し、送出待機する。
　バッファサイズが1つの対象物のデータを格納することしかできない場合は、撮像装置の前を次の対象物が通過するよりも十分に早く、映像処理装置３００における認識処理が完了する必要がある。映像処理装置３００で認識処理が行われていない場合は、撮像装置1に対してデータ要求する信号が返ってくるため、その信号を受信したのちにデータを映像処理装置３００に送出する。映像処理装置３００では、その受信したデータをもとに認識処理を行い、前述のクラス1～3の識別を行う。そして、クラス1「正常」と判定された場合には、他の正常品と正常品用レーン５１３へと送り、クラス２「修復可能な傷、欠陥あり」の場合には、ライン分別操作信号によりライン分別レール５１１を稼働させ、修復用レーン５１２へと運び、その先でしかるべき修繕作業を施す。また同様にクラス３「修復不可能な傷、欠陥あり」の場合には、ライン分別操作信号により破棄用レーン５１４へと運び、そのまま破棄する。映像処理装置３００で受信したデータはストレージ５０２に保存され、必要があれば修繕時の参考情報として参照することや、また、識別精度を確認するデータとして確認され、また学習用データとしても用いることができる。
　また、これらの撮像装置と映像処理装置３００において、前述したようにネットワークのトラフィックや周囲環境の温度などによって隠れ層の分割位置を変化させることが可能であり、また、認識精度を向上させる場合にはニューラルネットワーク全体のパラメータ更新を行うことも可能であるが、これらはラインの休止中、あるいは対象物のあるロットとロット間に一定期間がある場合にはその期間内に実施することが望ましい。
（実施形態の補足事項）
　なお、本発明は上記した個々の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　なお、実施例２では、映像処理装置３００ＡがＮＮ学習部３１１を備える場合について説明した。しかしながら、本発明はこれに限定されない。映像処理装置３００Ａの性能が低いことが想定されるため、映像処理装置３００Ａの外部（別の計算機やサーバなど）にＮＮ学習部３１１を設けてもよい。
　また、実施例では、前側ＮＮ部と後側ＮＮ部にＤＮＮの形式を採用した。しかしながら、本発明は機械学習の種類には限定されない。例えば、前側ＮＮ部と後側ＮＮ部にＣＮＮの形式を採用してもよい。この場合、隠れ層の一部または全部に、畳み込み層やプーリング層やその組み合わせなどを適宜に採用すればよい。
　さらに、実施例では、教師あり学習について説明した。しかしながら、本発明はこれに限定されない。例えば、教師なし学習を採用してもよい。
　また、実施例では、認識統合処理部３３０において、映像信号、認識結果などを統合しているが、本発明はこれに限定されない。例えば、データ量を削減する場合には、次の段階的な出力処理を行ってよい。
（１）まず、撮像装置側で異常度を求め、
（２）それが映像処理装置側での認識が必要となる閾値以上の値である場合に中間特徴量のみ送出し、
（３）その中間特徴量を入力として映像処理装置で、その映像情報が真に異常か否か、どういった異常なのかを判定したうえで、
（４）映像情報、もしくはその異常度の保存や観測が必要な場合には撮像装置側のバッファに保存していたそのデータの取得を要求し、
（５）撮像装置側はその要求に従いデータを映像処理装置に送出する。
ＨＡｘ…中間隠れ層、Ｌ１…入力層、１００…映像システム、１００Ａ…映像システム、２００…撮像装置、２００Ａ…撮像装置、２１０…撮像素子、２１１…映像処理部、２２０…前側ＮＮ部、２３０…撮像側制御部、２３１…識別器、２３２…送出データ選定部、２３３…識別器学習部、２３４…撮像側ノード更新部、２３５…監視部、２４１…電流センサ、２４２…温度センサ、３００…映像処理装置、３００Ａ…映像処理装置、３１０…映像処理側制御部、３１０Ａ…映像処理側制御部、３１１…ＮＮ学習部、３１２…映像処理側ノード更新部、３１３…通信網トラフィック監視部、３１４…ノード配分部、３１５…データ送受信リクエスト部、３２０…後側ＮＮ部、３３０…認識統合処理部、５０１…ネットワークハブ、５０２…ストレージ、５１１…ライン分別レール、５１２…修復用レーン、５１３…正常品用レーン、５１４…破棄用レーン

Claims (13)

  1. 　撮像装置と映像処理装置とを備える映像システムであって、
    　前記撮像装置は、
    　　撮像により映像情報を生成する撮像部と、
    　　前記映像情報の認識処理を行う複数層のニューラルネットワークの入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、
    　　前記前側ＮＮ部の前記中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備え、
    　前記映像処理装置は、
    　　前記撮像側制御部が送出する前記中間特徴量を取得する映像処理側制御部と、
    　　前記ニューラルネットワークの前記中間隠れ層以降から出力層までを備え、前記映像処理側制御部が取得した前記中間特徴量について、残りの前記認識処理を行う後側ＮＮ部とを備える
    　ことを特徴とする映像システム。
  2. 　請求項１に記載の映像システムにおいて、
    　前記撮像装置の前記撮像側制御部は、
    　　前記中間特徴量に応じて異常を識別する識別器と、
    　　識別器が異常なしと識別すると、前記中間特徴量を前記映像処理装置に出力しない送出データ選定部とを備える
    　ことを特徴とする映像システム。
  3. 　請求項２に記載の映像システムにおいて、
    　前記送出データ選定部は、
    　　前記識別器が異常なしと識別すると、前記映像情報を前記映像処理装置に出力しない
    　ことを特徴とする映像システム。
  4. 　請求項２～３のいずれか1項に記載の映像システムにおいて、
    　前記撮像側制御部、および前記映像処理側制御部の少なくとも一方は、
    　　前記中間特徴量と、前記後側ＮＮ部の処理結果とに基づいて、前記識別器の学習を行う識別器学習部を備える
    　ことを特徴とする映像システム。
  5. 　請求項１～４のいずれか1項に記載の映像システムにおいて、
    　前記映像処理装置または外部に、
    　　前記ニューラルネットワークのノード全体を実装した全体ＮＮモデルと、
    　　前記全体ＮＮモデルに対して学習処理を実施して、前記全体ＮＮモデルの各ノードの設定パラメータを決定するＮＮ学習部を備え、
    　前記撮像側制御部は、
    　　前記前側ＮＮ部の各ノードに相当する設定パラメータを前記ＮＮ学習部から取得して、前記前側ＮＮ部の各ノードに設定し、
    　前記映像処理側制御部は、
    　　前記後側ＮＮ部の各ノードに相当する設定パラメータを前記ＮＮ学習部から取得して、前記後側ＮＮ部の各ノードに設定する
    　ことを特徴とする映像システム。
  6. 　請求項１～５のいずれか1項に記載の映像システムにおいて、
    　前記撮像側制御部および前記映像処理側制御部の少なくとも一方は、
    　　前記前側ＮＮ部のノード数と、前記後側ＮＮ部のノード数との配分を変更するノード配分部を備え、
    　　前記前側ＮＮ部および前記後側ＮＮ部は、前記ノード配分部により変更されたノード数の配分に応じて、移行するノードの設定パラメータをやり取りする
    　ことを特徴とする映像システム。
  7. 　請求項６に記載の映像システムにおいて、
    　前記ノード配分部は、
    　　前記撮像装置または前記映像処理装置の負荷状況を取得し、前記負荷状況に応じて前記前側ＮＮ部のノード数と、前記後側ＮＮ部のノード数との配分を変更する
    　ことを特徴とする映像システム。
  8. 　請求項７に記載の映像システムにおいて、
    　前記ノード配分部は、
    　　前記撮像装置の前記負荷状況を、温度検出、電流検出、映像処理の遅滞、および処理フレームレートの変化からなる群の少なくとも1つにより取得する
    　ことを特徴とする映像システム。
  9. 　請求項６～８のいずれか1項に記載の映像システムにおいて、
    　前記撮像装置および前記映像処理装置の相対的な負荷バランスを取得し、前記撮像装置の負荷が増えると、前記後側ＮＮ部にノード数を多く配分し、前記映像処理装置の負荷が増えると、前記前側ＮＮ部にノード数を多く配分する
    　ことを特徴とする映像システム。
  10. 　請求項６～９のいずれか1項に記載の映像システムにおいて、
    　前記ノード配分部は、
    　　前記中間隠れ層のノード数と前記中間特徴量の送出頻度の積を削減する方向に、前記中間隠れ層の位置を移動させることにより、前記中間特徴量の通信情報量を削減する
    　ことを特徴とする映像システム。
  11. 　請求項１０に記載の映像システムにおいて、
    　前記ノード配分部は、
    　　前記映像処理装置に対する前記撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などにより変化する通信トラフィックを情報取得し、
    　　前記通信トラフィックが大きい場合、前記中間隠れ層のノード数と前記中間特徴量の送出頻度の積を削減する方向に、前記中間隠れ層の位置を移動させて、前記中間特徴量の通信情報量を削減する
    　ことを特徴とする映像システム。
  12. 　請求項１～１１のいずれか1項の前記撮像部、前記前側ＮＮ部、および前記撮像側制御部とを備える
    　ことを特徴とする撮像装置。
  13. 　請求項１～１１のいずれか1項の前記映像処理側制御部、および前記後側ＮＮ部を備える
    　ことを特徴とする映像処理装置。
PCT/JP2019/011736 2019-03-20 2019-03-20 映像システム、撮像装置、および映像処理装置 WO2020188794A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021506093A JP7108780B2 (ja) 2019-03-20 2019-03-20 映像システム、撮像装置、および映像処理装置
PCT/JP2019/011736 WO2020188794A1 (ja) 2019-03-20 2019-03-20 映像システム、撮像装置、および映像処理装置
US17/438,913 US11881013B2 (en) 2019-03-20 2019-03-20 Video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011736 WO2020188794A1 (ja) 2019-03-20 2019-03-20 映像システム、撮像装置、および映像処理装置

Publications (1)

Publication Number Publication Date
WO2020188794A1 true WO2020188794A1 (ja) 2020-09-24

Family

ID=72520747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011736 WO2020188794A1 (ja) 2019-03-20 2019-03-20 映像システム、撮像装置、および映像処理装置

Country Status (3)

Country Link
US (1) US11881013B2 (ja)
JP (1) JP7108780B2 (ja)
WO (1) WO2020188794A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
JP7387118B1 (ja) 2023-03-03 2023-11-28 石川県 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044113A1 (en) * 2020-08-10 2022-02-10 Western Digital Technologies, Inc. Asynchronous Neural Network Systems
KR20230065519A (ko) * 2021-11-05 2023-05-12 고려대학교 산학협력단 스플릿 러닝을 이용한 영상처리 시스템 및 영상처리방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) * 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
WO2017187516A1 (ja) * 2016-04-26 2017-11-02 株式会社日立製作所 情報処理システムおよびその運用方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884296A (en) 1995-03-13 1999-03-16 Minolta Co., Ltd. Network and image area attribute discriminating device and method for use with said neural network
WO2015001544A2 (en) * 2013-07-01 2015-01-08 Agent Video Intelligence Ltd. System and method for abnormality detection
US20190050714A1 (en) * 2017-08-09 2019-02-14 Ants Technology (Hk) Limited Modular distributed artificial neural networks
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251404A (ja) * 1995-03-13 1996-09-27 Minolta Co Ltd 画像領域属性判別方法及び装置
WO2017187516A1 (ja) * 2016-04-26 2017-11-02 株式会社日立製作所 情報処理システムおよびその運用方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387118B1 (ja) 2023-03-03 2023-11-28 石川県 情報処理システム、情報処理装置、情報処理方法、及びプログラム
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Also Published As

Publication number Publication date
JPWO2020188794A1 (ja) 2021-12-09
US20220189152A1 (en) 2022-06-16
US11881013B2 (en) 2024-01-23
JP7108780B2 (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
WO2020188794A1 (ja) 映像システム、撮像装置、および映像処理装置
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
CN107977706B (zh) 模块化分布式人工神经网络
EP4006790A1 (en) Inference device, inference method, and inference program
US20180260687A1 (en) Information Processing System and Method for Operating Same
US10885620B2 (en) Neural network image processing system
CA3125794A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
US8165386B1 (en) Apparatus and method for measuring audience data from image stream using dynamically-configurable hardware architecture
CN116229036B (zh) 数据采集系统、方法、计算机设备及存储介质
CN113196303A (zh) 不适当神经网络输入检测和处理
CN114584571A (zh) 基于空间计算技术的电网场站数字孪生同步通信方法
CN110750351A (zh) 多核任务调度器、多核任务调度方法、装置及相关产品
WO2022267036A1 (zh) 神经网络模型训练方法和装置、数据处理方法和装置
CN112150750A (zh) 一种基于边缘计算的森林火警监测系统
WO2023143570A1 (zh) 一种连接关系预测方法及相关设备
JP7005463B2 (ja) 学習装置、学習方法及びプログラム
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN113139650A (zh) 深度学习模型的调优方法和计算装置
CN115329834A (zh) 电缆状态确定方法、装置及系统
CN115169561A (zh) 一种用于物联网的多分支网络协同推理方法及系统
US20220188615A1 (en) Neuromorphic processing system and method of operating the same
EP3640862A1 (en) Neural network evaluation tool and method
US20240020535A1 (en) Method for estimating model uncertainties with the aid of a neural network and an architecture of the neural network
CN114782445B (zh) 对象缺陷检测方法、装置、计算机设备和存储介质
CN117474128B (zh) 一种基于多云服务器的分布式在线机器学习模型构建方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920599

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506093

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920599

Country of ref document: EP

Kind code of ref document: A1