WO2020173163A1 - 图像分割方法及装置 - Google Patents
图像分割方法及装置 Download PDFInfo
- Publication number
- WO2020173163A1 WO2020173163A1 PCT/CN2019/123608 CN2019123608W WO2020173163A1 WO 2020173163 A1 WO2020173163 A1 WO 2020173163A1 CN 2019123608 W CN2019123608 W CN 2019123608W WO 2020173163 A1 WO2020173163 A1 WO 2020173163A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- main network
- state vector
- image
- neurons
- network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Definitions
- the present disclosure relates to the field of image processing technology, and in particular to an image segmentation method and device.
- the embodiments of the present disclosure provide an image segmentation method and device to solve the problem that the image segmentation technology in the related art cannot perform image segmentation well under the condition of low SNR.
- an image segmentation method including:
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges.
- the converged main network state vector corresponds to the image to be segmented.
- the final image segmentation result is the result of
- processing the image to be segmented by using the self-organizing neural network as the slave network to obtain the initialization state vector of the main network corresponding to the image to be segmented includes:
- the gray value of each pixel of the image to be segmented is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight
- the determining the connection weights from the input neurons of the network to the M output neurons includes:
- the target output neuron is the output neuron with the smallest distance from the input neuron.
- the adaptively updating the connection weights of all output neurons in the neighborhood of the input neuron to the target output neuron includes:
- ⁇ j (t+1) is the connection weight from input neuron to output neuron j at time t+1;
- ⁇ j (t) is the connection weight from input neuron to output neuron j at time t;
- ⁇ ( t) is the learning rate parameter that decreases as t increases, and 0 ⁇ (t) ⁇ 1;
- r(t) is the radius of the neighborhood at time t , Is a decreasing function, and 0 ⁇ r(t) ⁇ r(0);
- d j (t) [f(t)- ⁇ j (t)] 2 ;
- f(t) is the gray value of the pixel received from the input neuron of the network at time t;
- the initialization state vector of the main network corresponding to the image to be divided includes:
- the gray value of the first pixel of the image to be segmented is input to the input neuron of the slave network. If the response of the j-th output neuron out of the M output neurons of the slave network is the largest, then the The state of the jth neuron among the M neurons corresponding to the first pixel in the main network is set to a larger positive number less than 1, and the first pixel is divided among the M neurons corresponding to the main network The state of the other M-1 neurons except the jth neuron is set to a small positive number less than 1, and the sum of the states of the M neurons is equal to 1, and each of the states to be segmented is set Each pixel is assigned in sequence to obtain the initialization state vector of the main network corresponding to the image to be divided.
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges, and the converged main network state vector corresponds to the waiting state vector.
- the final image segmentation result of the segmented image including:
- the acquiring the change amount of the main network state vector at each moment includes:
- the obtaining the energy function of the main network includes:
- the energy function of the main network is determined.
- the determining the interconnection strength between neurons in the main network includes:
- the determining the energy function of the main network according to the interconnection strength between the neurons and the state of each neuron in the main network includes:
- T ijm; kln is the interconnection strength between the nth neuron corresponding to the pixel at position (k,l) and the mth neuron corresponding to the pixel at position (i,j)
- V ijm is the activation state of the mth neuron corresponding to the pixel at position (i,j);
- v kln is the activation state of the nth neuron corresponding to the pixel at position (k,l)
- Main network state vector; M is the total number of neurons corresponding to each pixel;
- L is the scale parameter of the image, which represents the number of pixels in the length direction or the width direction.
- the determining the gradient of the energy function to the main network state vector according to the energy function includes:
- the determining the change amount of the main network state vector according to the gradient of the energy function to the main network state vector includes:
- the gradient vector of the primary network status, the collection S c is updated based on the energy function, comprising:
- the determined vector include:
- Is a vector g i (t) is The i-th component of Is the gradient of the energy function to the state vector of the main network, The energy function of the main network; #S c is the number of elements in the set S c; M is the total number of each neuron corresponding to the pixel; L is the scale parameter of the image, which represents the number of pixels in the longitudinal direction or the width direction.
- the basis vector Determine the amount of change of the main network state vector including:
- the change amount of the main network state vector; Is a vector; t is a time index.
- the dynamic evolution of the main network state vector according to the change amount includes:
- the image segmentation result corresponding to the converged main network state vector is obtained, including:
- the image segmentation result corresponding to the converged main network state vector is obtained, including:
- the embodiment of the present disclosure provides an image segmentation device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor; wherein, when the processor executes the computer program, the following is achieved step:
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges.
- the converged main network state vector corresponds to the image to be segmented.
- the final image segmentation result is the result of
- the processor executes the computer program for processing the image to be segmented through the self-organizing neural network as a slave network, and obtains the initialization state vector of the main network corresponding to the image to be segmented, the following steps are implemented:
- the gray value of each pixel of the image to be segmented is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight
- the target output neuron is the output neuron with the smallest distance from the input neuron.
- ⁇ j (t+1) is the connection weight from input neuron to output neuron j at time t+1;
- ⁇ j (t) is the connection weight from input neuron to output neuron j at time t;
- ⁇ ( t) is the learning rate parameter that decreases as t increases, and 0 ⁇ (t) ⁇ 1;
- r(t) is the radius of the neighborhood at time t , Is a decreasing function, and 0 ⁇ r(t) ⁇ r(0);
- d j (t) [f(t)- ⁇ j (t)] 2 ;
- f(t) is the gray value of the pixel received from the input neuron of the network at time t;
- the processor executes the process of outputting the gray value of each pixel of the image to be segmented to the slave network whose connection weight has been determined, which is the value of the M neurons corresponding to each pixel in the main network.
- the gray value of the first pixel of the image to be segmented is input to the input neuron of the slave network. If the response of the j-th output neuron out of the M output neurons of the slave network is the largest, then the The state of the jth neuron among the M neurons corresponding to the first pixel in the main network is set to a larger positive number less than 1, and the first pixel is divided among the M neurons corresponding to the main network The state of the other M-1 neurons except the jth neuron is set to a small positive number less than 1, and the sum of the states of the M neurons is equal to 1, and each of the states to be segmented is set Each pixel is assigned in sequence to obtain the initialization state vector of the main network corresponding to the image to be divided.
- the processor executes the main network to start from the initial state vector, and dynamically evolve the network state vector according to the principle of minimizing its energy function locally until convergence, and the main network state vector after convergence is
- the computer program corresponding to the final image segmentation result of the image to be segmented implements the following steps:
- the processor implements the following steps when executing the computer program for obtaining the energy function of the main network:
- the energy function of the main network is determined.
- the processor executes the computer program for determining the energy function of the main network according to the interconnection strength between the neurons and the state of each neuron in the main network, the following steps are implemented:
- T ijm; kln is the interconnection strength between the nth neuron corresponding to the pixel at position (k,l) and the mth neuron corresponding to the pixel at position (i,j)
- V ijm is the activation state of the mth neuron corresponding to the pixel at position (i,j);
- v kln is the activation state of the nth neuron corresponding to the pixel at position (k,l)
- Main network state vector; M is the total number of neurons corresponding to each pixel;
- L is the scale parameter of the image, which represents the number of pixels in the length direction or the width direction.
- the processor executes the steps implemented according to energy function when the primary network status gradient vector, the collection S c computer program update:
- the computer program implements the following steps:
- Is a vector g i (t) is The i-th component of Is the gradient of the energy function to the state vector of the main network, The energy function of the main network; #S c is the number of elements in the set S c; M is the total number of each neuron corresponding to the pixel; L is the scale parameter of the image, which represents the number of pixels in the longitudinal direction or the width direction.
- the computer program for determining the amount of change in the main network state vector implements the following steps:
- the change amount of the main network state vector; Is a vector; t is a time index.
- the processor implements the following steps when executing the computer program for performing dynamic evolution of the main network state vector according to the change amount:
- the embodiments of the present disclosure also provide a computer-readable storage medium on which a computer program is stored, wherein the computer program is executed by a processor to implement the steps in the image segmentation method described above.
- the embodiment of the present disclosure also provides an image segmentation device, including:
- An obtaining module configured to process the image to be segmented by using the self-organizing neural network as a slave network, and obtain the initialization state vector of the main network corresponding to the image to be segmented;
- the processing module is used for the main network to start from the initial state vector and perform the dynamic evolution of the network state vector according to the principle of minimizing its energy function locally until it converges.
- the main network state vector after convergence corresponds to all The final image segmentation result of the image to be segmented.
- the initialization state vector of the master network corresponding to the image to be segmented is obtained, and then the master network starts from the initial state vector and minimizes its energy function locally.
- the principle of dynamic evolution of the network state vector until convergence, the main network state vector after convergence corresponds to the final image segmentation result of the image to be segmented, so that the image segmentation can be better completed under low SNR conditions, and improved The accuracy of image segmentation.
- Figure 1 shows a schematic diagram of the principle of image segmentation of the present disclosure
- Figure 2 shows a schematic diagram of the topological structure of the main network
- Figure 3 shows a schematic diagram of the structure of a Kohonen-type slave network
- FIG. 4 shows a schematic flowchart of an image segmentation method according to an embodiment of the present disclosure
- FIG. 5 shows a schematic diagram of modules of an image segmentation device according to an embodiment of the present disclosure
- FIG. 6 shows a schematic diagram of the structure of an image segmentation device of an embodiment of the disclosure.
- image segmentation As an important research field in the image analysis and understanding system, image segmentation has always been highly concerned by people and has achieved many gratifying results. Haralick and Shapiro made a more complete review of these research results. They pointed out that: image segmentation methods in related technologies have their own application limitations, that is, a segmentation method suitable for one type of image may not be suitable for another. Segmentation of similar images. Sahoo and Soltani et al. conducted detailed research and analysis on a class of commonly used threshold segmentation techniques in image segmentation, and studied the performance of several automatic threshold segmentation methods based on uniformity and shape measurement.
- ANN artificial neural network
- the system structure of the new image segmentation ANN model proposed in the present disclosure is shown in Figure 1. It is a two-layer ANN formed by cascading a master network and a slave network.
- the slave network performs initial segmentation on the image, and the result is used to initialize the master network
- the state of the neurons in the middle; and the main network starts from this initialization state, and dynamically evolves its state until it converges to a certain local attractor.
- the state of the main network at this time will correspond to the final segmentation result of the processed image .
- the network has a total of L 2 ⁇ M neurons, and its placement method is: place M neurons at each pixel of the image, and mark the position as (i, The m-th neuron of the pixel of j) is N ijm , and its activation state is v ijm , which represents the possibility that the pixel at position (i,j) belongs to the gray level of m, obviously there is 0 ⁇ v ijm ⁇ 1, and
- the set consisting of all the determined state vectors of the network is called the determined state space of the network, denoted as K c ; and the set consisting of the fuzzy state vectors of the entire network is called the fuzzy state space of the network, denoted as K F ; And K F is the convex hull of K c .
- K F is composed of L 2 (M-1) dimensional standard simplexes, and any one of the M vertices of each (M-1) dimensional standard simplex is composed of L 2 vertices. They constitute the entire K C, K F is a convex hull of K C, K C of each vertex of a vertex K F.
- formula 6 defines Actually K F is at the point The tangent vector at, it can be seen that The evolution is along the K F at the point In the direction of a tangent vector. And K F is at the point There are infinitely many tangent vectors at, forming a tangent vector set (referred to as a tangent set) If Is an interior point of K F , then Determined by the following formula:
- the main network evolves through its state dynamics and finally converges to a reasonable state point corresponding to the best segmentation of the processed image, but this result is affected by the initialization state of the main network.
- the initialization state of the main network seriously deviates from the local attraction domain of the local attractor corresponding to the best segmentation, the main network will not be able to perform the correct image segmentation task.
- the Kohonen neural network has good anti-noise and fault tolerance and self-organization and self-learning capabilities, and after the network learning converges, the point density function of the connection strength (also called weight) vector between the neurons will be close to the external stimulus vector And it is sorted according to the mutual similarity between it and the external stimulus vector, so the Kohonen neural network is used as the slave network to perform the initial segmentation of the characteristics.
- Step 2 Input the gray values of the image pixels in lexicographic order, and record the gray value of the pixels received from the network input neuron at time t as f(t);
- Step 3 Calculate the distance from the input f(t) to all output neurons j
- Step 4 Select the neuron j* with the smallest distance:
- Step 5 Update the connection weights between all output neurons and input neurons in the neighborhood NE j* [r(t)] of neuron j* according to the following formula
- 0 ⁇ (t) ⁇ 1 is a learning rate parameter that decreases as t increases
- I is a decreasing function
- Step 6 Check whether the slave network has converged? If it converges, go to step 8;
- an embodiment of the present disclosure provides an image segmentation method, including:
- Step 41 Use the self-organizing neural network as a slave network to process the image to be segmented, and obtain the initialization state vector of the master network corresponding to the image to be segmented;
- Step 42 Starting from the initial state vector, the main network dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges.
- the converged main network state vector corresponds to the waiting state vector.
- the final image segmentation result of the segmented image is the final image segmentation result of the segmented image.
- step 41 is:
- the gray value of each pixel of the image to be segmented is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight
- the determining the connection weights from the input neurons of the network to the M output neurons includes:
- the target output neuron is the output neuron with the smallest distance from the input neuron.
- the adaptively updating the connection weights of all output neurons in the neighborhood of the input neuron to the target output neuron includes:
- ⁇ j (t+1) is the connection weight from input neuron to output neuron j at time t+1;
- ⁇ j (t) is the connection weight from input neuron to output neuron j at time t;
- ⁇ ( t) is the learning rate parameter that decreases as t increases, and 0 ⁇ (t) ⁇ 1;
- r(t) is the radius of the neighborhood at time t , Is a decreasing function, and 0 ⁇ r(t) ⁇ r(0);
- d j (t) [f(t)- ⁇ j (t)] 2 ;
- f(t) is the gray value of the pixel received from the input neuron of the network at time t;
- connection weights from the input neurons of the network to the M output neurons can refer to the specific implementation process of the above-mentioned network weight learning algorithm.
- the initialization state vector of the main network corresponding to the image to be divided includes:
- the gray value of the first pixel of the image to be segmented is input to the input neuron of the slave network. If the response of the j-th output neuron out of the M output neurons of the slave network is the largest, then the The state of the jth neuron among the M neurons corresponding to the first pixel in the main network is set to a larger positive number less than 1, and the first pixel is divided among the M neurons corresponding to the main network The state of the other M-1 neurons except the jth neuron is set to a small positive number less than 1, and the sum of the states of the M neurons is equal to 1, and each of the states to be segmented is set Each pixel is assigned in sequence to obtain the initialization state vector of the main network corresponding to the image to be divided.
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges, and the converged main network state vector corresponds to the waiting state vector.
- the final image segmentation result of the segmented image including:
- the acquiring the change amount of the main network state vector at each moment includes:
- the obtaining the energy function of the main network includes:
- the energy function of the main network is determined.
- the division result of each pixel in the image is usually only related to the pixel division result of a certain neighboring domain. Therefore, it can be considered that the neurons corresponding to the pixels in the image are among the neighbors. There are connections between them, but there is no connection between neurons corresponding to pixels that are non-neighborhoods; on the other hand, the connections between neurons in the same area in the image should be excited, and the connections between neurons in different areas The connection between neurons should be inhibitory, and the greater the difference between the area numbers, the stronger the inhibition.
- the method of determining the interconnection strength between neurons in the main network in the embodiment of the present disclosure includes:
- the determining the energy function of the main network according to the interconnection strength between the neurons and the state of each neuron in the main network includes:
- T ijm; kln is the interconnection strength between the nth neuron corresponding to the pixel at position (k,l) and the mth neuron corresponding to the pixel at position (i,j)
- V ijm is the activation state of the mth neuron corresponding to the pixel at position (i,j);
- v kln is the activation state of the nth neuron corresponding to the pixel at position (k,l)
- Main network state vector; M is the total number of neurons corresponding to each pixel;
- L is the scale parameter of the image, which represents the number of pixels in the length direction or the width direction.
- the determining the gradient of the energy function to the main network state vector according to the energy function includes:
- the determining the amount of change of the main network state vector according to the gradient of the energy function to the main network state vector includes:
- the gradient vector of the primary network status, the collection S c is updated based on the energy function, comprising:
- the determined vector include:
- Is a vector g i (t) is The i-th component of Is the gradient of the energy function to the state vector of the main network, The energy function of the main network; #S c is the number of elements in the set S c; M is the total number of each neuron corresponding to the pixel; L is the scale parameter of the image, which represents the number of pixels in the longitudinal direction or the width direction.
- the basis vector Determine the amount of change of the main network state vector including:
- the change amount of the main network state vector; Is a vector; t is a time index.
- Step 3 Calculation Here #S c is the number of elements in the set S c ;
- Step 7 Calculate the best direction vector of the network state evolution
- the dynamic evolution of the main network state vector according to the change amount includes:
- the image segmentation result corresponding to the converged main network state vector is obtained, including:
- the position corresponding to the image to be segmented is (i, j) m neurons of the state of the primary network of the pixel in the (m neuron state were: v ij1, v ij2, ... , v ijM) , if the m-th state maximum value (i.e., v ijm maximum), Then, the pixel whose position is (i, j) of the image to be divided is divided into the m-th area, and each pixel of the image to be divided is sequentially divided into regions to obtain the final image segmentation result.
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges, and the converged main network state vector corresponds to the image to be segmented
- the specific algorithm flow of the final image segmentation result (that is, the dynamic process of the state evolution of the main network) is:
- Step 3 Call the specific algorithm flow to determine the change amount of the main network state vector according to the gradient of the energy function to the main network state vector
- Step 4 Then go to step 7;
- Step 5 Where 0 ⁇ (t) is such that The real coefficient of ⁇ (t) is a preset positive and small parameter that decreases with the increase of t;
- Step 7 Stop state evolution and output
- the final image segmentation result is determined according to the processing method for obtaining the image segmentation result corresponding to the converged main network state vector.
- the embodiment of the present disclosure uses the slave network to process the image to be segmented to obtain the initialization state vector of the master network corresponding to the image to be segmented, and then the master network starts from the initial state vector and presses its energy
- the principle of local minimization of functions carries out the dynamic evolution of the network state vector until convergence, and the main network state vector after convergence corresponds to the final image segmentation result of the image to be segmented, which can be better under low SNR conditions
- the image segmentation is completed, and the accuracy of image segmentation is improved; and the embodiments of the present disclosure have the advantage of high fault tolerance, and are particularly suitable for effective segmentation of image targets under low SNR conditions.
- an embodiment of the present disclosure further provides an image segmentation device 50, including:
- the obtaining module 51 is configured to process the image to be segmented by using the self-organizing neural network as a slave network to obtain the initialization state vector of the main network corresponding to the image to be segmented;
- the processing module 52 is used for the main network to start from the initial state vector and perform the dynamic evolution of the network state vector according to the principle of minimizing its energy function locally until it converges.
- the main network state vector after convergence corresponds to The final image segmentation result of the image to be segmented.
- the acquisition module 51 includes:
- the determining sub-module is used to determine the connection weights from the input neurons of the network to the M output neurons;
- the first acquisition sub-module is used to input the gray value of each pixel of the image to be segmented to the slave network whose connection weight has been determined, and perform processing for the state of the M neurons corresponding to each pixel in the main network Assignment to obtain the initialization state vector of the main network corresponding to the image to be divided.
- the determining sub-module includes:
- the first acquiring unit is used to acquire the neighborhood of the target output neuron
- the update unit is used to adaptively update the connection weights of all output neurons in the neighborhood of the input neuron to the target output neuron;
- the target output neuron is the output neuron with the smallest distance from the input neuron.
- update unit is used to:
- ⁇ j (t+1) is the connection weight from input neuron to output neuron j at time t+1;
- ⁇ j (t) is the connection weight from input neuron to output neuron j at time t;
- ⁇ ( t) is the learning rate parameter that decreases as t increases, and 0 ⁇ (t) ⁇ 1;
- r(t) is the radius of the neighborhood at time t , Is a decreasing function, and 0 ⁇ r(t) ⁇ r(0);
- d j (t) [f(t)- ⁇ j (t)] 2 ;
- f(t) is the gray value of the pixel received from the input neuron of the network at time t;
- the first obtaining submodule is used to:
- the gray value of the first pixel of the image to be segmented is input to the input neuron of the slave network. If the response of the j-th output neuron out of the M output neurons of the slave network is the largest, then the The state of the jth neuron among the M neurons corresponding to the first pixel in the main network is set to a larger positive number less than 1, and the first pixel is divided among the M neurons corresponding to the main network The state of the other M-1 neurons except the jth neuron is set to a small positive number less than 1, and the sum of the states of the M neurons is equal to 1, and each of the states to be segmented is set Each pixel is assigned in sequence to obtain the initialization state vector of the main network corresponding to the image to be divided.
- processing module 52 includes:
- the second acquisition submodule is used to acquire the change amount of the main network state vector at each moment
- the processing sub-module is used to dynamically evolve the main network state vector according to the change amount
- the third obtaining sub-module is used to obtain the image segmentation result corresponding to the converged main network state vector after the evolution of the main network state vector stops.
- the second acquisition submodule includes:
- the second obtaining unit is used to obtain the energy function of the main network
- the first determining unit is configured to determine the gradient of the energy function to the main network state vector according to the energy function
- the second determining unit is configured to determine the amount of change of the main network state vector according to the gradient of the energy function to the main network state vector.
- the second acquiring unit includes:
- the first determining subunit is used to determine the strength of interconnection between neurons in the main network
- the second determining subunit is used to determine the energy function of the main network according to the interconnection strength between the neurons and the state of each neuron in the main network.
- the first determining subunit is configured to:
- the second determining subunit is configured to:
- T ijm; kln is the interconnection strength between the nth neuron corresponding to the pixel at position (k,l) and the mth neuron corresponding to the pixel at position (i,j)
- V ijm is the activation state of the mth neuron corresponding to the pixel at position (i,j);
- v kln is the activation state of the nth neuron corresponding to the pixel at position (k,l)
- Main network state vector; M is the total number of neurons corresponding to each pixel;
- L is the scale parameter of the image, which represents the number of pixels in the length direction or the width direction.
- the first determining unit is configured to:
- the second determining unit includes:
- the update subunit is used for:
- the third determining subunit determines the vector The way is:
- Is a vector g i (t) is The i-th component of Is the gradient of the energy function to the state vector of the main network, The energy function of the main network; #S c is the number of elements in the set S c; M is the total number of each neuron corresponding to the pixel; L is the scale parameter of the image, which represents the number of pixels in the longitudinal direction or the width direction.
- the third determining subunit is based on the vector
- the way to determine the amount of change of the main network state vector is:
- the change amount of the main network state vector; Is a vector; t is a time index.
- processing sub-module is used for:
- the third obtaining submodule includes:
- the third determining unit is configured to determine to stop the dynamic evolution of the main network state vector when the change amount of the main network state vector is zero;
- the third acquisition unit is used to obtain the image segmentation result corresponding to the converged main network state vector after the dynamic evolution of the main network state vector stops.
- the third acquisition submodule is used to:
- the embodiment of the device corresponds to the above method embodiment one-to-one, and all the implementation manners in the above method embodiment are applicable to the embodiment of the device and can achieve the same technical effect.
- an embodiment of the present disclosure also provides an image segmentation device 60, which includes a processor 61, a memory 62, and a computer program stored on the memory 62 and running on the processor 61; wherein, The processor 61 is used to read the program in the memory and execute the following process:
- the main network starts from the initial state vector, and dynamically evolves the network state vector according to the principle of minimizing its energy function locally until it converges.
- the converged main network state vector corresponds to the image to be segmented.
- the final image segmentation result is the result of
- the bus architecture may include any number of interconnected buses and bridges. Specifically, one or more processors represented by the processor 61 and various circuits of the memory represented by the memory 62 are linked together.
- the bus architecture can also link various other circuits such as peripherals, voltage regulators, power management circuits, etc., which are all known in the art, and therefore, no further descriptions are provided herein.
- the bus interface provides the interface.
- the processor 61 is responsible for managing the bus architecture and general processing, and the memory 62 can store data used by the processor 61 when performing operations.
- the processor executes the computer program for processing the image to be segmented through the self-organizing neural network as a slave network, and obtains the initialization state vector of the main network corresponding to the image to be segmented, the following steps are implemented:
- the gray value of each pixel of the image to be segmented is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight, and the state of each pixel corresponding to the M neurons in the main network is assigned to obtain the image to be segmented
- the initialization state vector of the corresponding main network is input to the slave network that has determined the connection weight
- the target output neuron is the output neuron with the smallest distance from the input neuron.
- ⁇ j (t+1) is the connection weight from input neuron to output neuron j at time t+1;
- ⁇ j (t) is the connection weight from input neuron to output neuron j at time t;
- ⁇ ( t) is the learning rate parameter that decreases as t increases, and 0 ⁇ (t) ⁇ 1;
- r(t) is the radius of the neighborhood at time t , Is a decreasing function, and 0 ⁇ r(t) ⁇ r(0);
- d j (t) [f(t)- ⁇ j (t)] 2 ;
- f(t) is the gray value of the pixel received from the input neuron of the network at time t;
- the processor executes the process of outputting the gray value of each pixel of the image to be segmented to the slave network whose connection weight has been determined, which is the value of the M neurons corresponding to each pixel in the main network.
- the gray value of the first pixel of the image to be segmented is input to the input neuron of the slave network. If the response of the j-th output neuron out of the M output neurons of the slave network is the largest, then the The state of the jth neuron among the M neurons corresponding to the first pixel in the main network is set to a larger positive number less than 1, and the first pixel is divided among the M neurons corresponding to the main network The state of the other M-1 neurons except the jth neuron is set to a small positive number less than 1, and the sum of the states of the M neurons is equal to 1, and each of the states to be segmented is set Each pixel is assigned in sequence to obtain the initialization state vector of the main network corresponding to the image to be divided.
- the processor executes the main network to start from the initial state vector, and dynamically evolve the network state vector according to the principle of minimizing its energy function locally until convergence, the main network state vector after convergence Then the computer program corresponding to the final image segmentation result of the image to be segmented implements the following steps:
- the processor implements the following steps when executing the computer program for obtaining the energy function of the main network:
- the energy function of the main network is determined.
- the processor executes the computer program for determining the energy function of the main network according to the interconnection strength between the neurons and the state of each neuron in the main network, the following steps are implemented:
- T ijm; kln is the interconnection strength between the nth neuron corresponding to the pixel at position (k,l) and the mth neuron corresponding to the pixel at position (i,j)
- V ijm is the activation state of the mth neuron corresponding to the pixel at position (i,j);
- v kln is the activation state of the nth neuron corresponding to the pixel at position (k,l)
- Main network state vector; M is the total number of neurons corresponding to each pixel;
- L is the scale parameter of the image, which represents the number of pixels in the length direction or the width direction.
- the processor executes the computer program for determining the amount of change of the main network state vector according to the gradient of the energy function to the main network state vector, the following steps are implemented:
- the processor executes the steps implemented according to energy function when the primary network status gradient vector, the collection S c computer program update:
- the computer program implements the following steps:
- Is a vector g i (t) is The i-th component of Is the gradient of the energy function to the state vector of the main network, The energy function of the main network; #S c is the number of elements in the set S c; M is the total number of each neuron corresponding to the pixel; L is the scale parameter of the image, which represents the number of pixels in the longitudinal direction or the width direction.
- the computer program for determining the amount of change in the main network state vector implements the following steps:
- the change amount of the main network state vector; Is a vector; t is a time index.
- the processor implements the following steps when executing the computer program for dynamic evolution of the main network state vector according to the change amount:
- the embodiments of the present disclosure also provide a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the foregoing image segmentation method is implemented.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种图像分割方法及装置,涉及图像处理技术领域。该图像分割方法,包括:通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量(41);所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果(42)。
Description
相关申请的交叉引用
本申请主张在2019年2月26日在中国提交的中国专利申请号No.201910143381.1的优先权,其全部内容通过引用包含于此。
本公开涉及图像处理技术领域,特别涉及一种图像分割方法及装置。
图像分割作为图像分析与理解领域中一项重要技术,多年来一直受到工业界和学术界的普遍重视。
但是,相关技术中的图像分割技术尚不能较好地完成低信噪比(Signal-Noise Ratio,SNR)条件下图像分割任务。
发明内容
本公开实施例提供一种图像分割方法及装置,以解决相关技术中的图像分割技术不能在低SNR条件下较好的完成图像分割的问题。
为了解决上述技术问题,本公开实施例提供一种图像分割方法,包括:
通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
进一步地,所述通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量,包括:
确定从网络的输入神经元到M个输出神经元的联接权值;
将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割 图像对应的主网络的初始化状态矢量。
具体地,所述确定从网络的输入神经元到M个输出神经元的联接权值,包括:
获取目标输出神经元的邻域;
自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;
其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
具体地,所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权,包括:
其中,μ
j(t+1)为第t+1时刻输入神经元到输出神经元j的联接权;μ
j(t)为第t时刻输入神经元到输出神经元j的联接权;γ(t)为随着t增加而减小的学习率参数、且0<γ(t)≤1;NE
j*[r(t)]为在t时刻目标输出神经元j*的邻域,NE
j*[r(t)]={i:i=j
*-r(t),…,j
*+r(t),且1≤i≤M},r(t)为t时刻的邻域半径,
为减函数,且0≤r(t)≤r(0);
且d
j(t)=[f(t)-μ
j(t)]
2;f(t)为t时刻从网络的输入神经元接收到的像素的灰度值;j为输出神经元的索引;t为时间索引;M为从网络中输出神经元的总个数。
进一步地,所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量,包括:
将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述 第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
具体地,所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果,包括:
获取每个时刻的主网络状态矢量的改变量;
根据所述改变量,进行主网络状态矢量的动态演变;
当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
进一步地,所述获取每个时刻的主网络状态矢量的改变量,包括:
获取主网络的能量函数;
根据所述能量函数,确定能量函数对主网络状态矢量的梯度;
根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
进一步地,所述获取主网络的能量函数,包括:
确定主网络中神经元之间的互联强度;
根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
具体地,所述确定主网络中神经元之间的互联强度,包括:
其中,T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;M为每个像素对应的神经元的总个数;NE(i,j)是位置为(i,j)的像素的某一邻域,且NE(i,j)={(k,l):k=i-r,…,i+r;l=j-r,…,j+r},r为邻域大小的控制参数;i=1,2,…,L,j=1,2,…,L,L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数,包括:
其中,
为主网络的能量函数;T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;v
ijm是位置为(i,j)的像素对应的第m个神经元的激活状态的状态取值;v
kln是位置为(k,l)的像素对应的第n个神经元的激活状态的状态取值;
为主网络状态矢量;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述根据所述能量函数,确定能量函数对主网络状态矢量的梯度,包括:
进一步地,所述根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量,包括:
根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新;
判断是否存在S
c+1=S
c;
若不存在S
c+1=S
c,则继续进行集合S
c的更新;
具体地,所述根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新,包括:
根据公式:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M},对集合S
c进行更新;
其中,S
c+1为更新后的集合S
c的赋值;集合
任取i=1,2,…,L
2M};g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数,在c=1时,集合
M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
其中,
为矢量;
g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述根据所述改变量,进行主网络状态矢量的动态演变,包括:
其中,
为第t+1时刻的状态矢量;
为第t时刻的状态矢量;
为主网络状态矢量的改变量;β为使
的实系数,且0<β≤α(t),α(t)是预设的随t增加而减小的正小参数,K
F为主网络的模糊状态空间;t为时间索引。
进一步地,所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果,包括:
在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;
在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢 量相对应的图像分割结果。
进一步地,所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果,包括:
对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;
其中,M个神经元的状态为:v
ij1,v
ij2,…,v
ijM。
本公开实施例提供一种图像分割装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其中,所述处理器执行所述计算机程序时实现以下步骤:
通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
进一步地,所述处理器执行所述通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量的计算机程序时实现以下步骤:
确定从网络的输入神经元到M个输出神经元的联接权值;
将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
进一步地,所述处理器执行所述确定从网络的输入神经元到M个输出神经元的联接权值的计算机程序时实现以下步骤:
获取目标输出神经元的邻域;
自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;
其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神 经元。
具体地,所述处理器执行所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权的计算机程序时实现以下步骤:
其中,μ
j(t+1)为第t+1时刻输入神经元到输出神经元j的联接权;μ
j(t)为第t时刻输入神经元到输出神经元j的联接权;γ(t)为随着t增加而减小的学习率参数、且0<γ(t)≤1;NE
j*[r(t)]为在t时刻目标输出神经元j*的邻域,NE
j*[r(t)]={i:i=j
*-r(t),…,j
*+r(t),且1≤i≤M},r(t)为t时刻的邻域半径,
为减函数,且0≤r(t)≤r(0);
且d
j(t)=[f(t)-μ
j(t)]
2;f(t)为t时刻从网络的输入神经元接收到的像素的灰度值;j为输出神经元的索引;t为时间索引;M为从网络中输出神经元的总个数。
进一步地,所述处理器执行所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量的计算机程序时实现以下步骤:
将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
进一步地,所述处理器执行所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果的计 算机程序时实现以下步骤:
获取每个时刻的主网络状态矢量的改变量;
根据所述改变量,进行主网络状态矢量的动态演变;
当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
进一步地,所述处理器执行所述获取每个时刻的主网络状态矢量的改变量计算机程序时实现以下步骤:
获取主网络的能量函数;
根据所述能量函数,确定能量函数对主网络状态矢量的梯度;
根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
进一步地,所述处理器执行所述获取主网络的能量函数的计算机程序时实现以下步骤:
确定主网络中神经元之间的互联强度;
根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
具体地,所述处理器执行所述确定主网络中神经元之间的互联强度的计算机程序时实现以下步骤:
其中,T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;M为每个像素对应的神经元的总个数;NE(i,j)是位置为(i,j)的像素的某一邻域,且NE(i,j)={(k,l):k=i-r,…,i+r;l=j-r,…,j+r},r为邻域大小的控制参数;i=1,2,…,L,j=1,2,…,L,L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述处理器执行所述根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数的计算机程序时实现以下步骤:
其中,
为主网络的能量函数;T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;v
ijm是位置为(i,j)的像素对应的第m个神经元的激活状态的状态取值;v
kln是位置为(k,l)的像素对应的第n个神经元的激活状态的状态取值;
为主网络状态矢量;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述处理器执行所述根据所述能量函数,确定能量函数对主网络状态矢量的梯度的计算机程序时实现以下步骤:
进一步地,所述处理器执行所述根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量的计算机程序时实现以下步骤:
根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新;
判断是否存在S
c+1=S
c;
若不存在S
c+1=S
c,则继续进行集合S
c的更新;
具体地,所述处理器执行所述根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新的计算机程序时实现以下步骤:
根据公式:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M},对集合S
c进行更新;
其中,S
c+1为更新后的集合S
c的赋值;集合
任取i=1,2,…,L
2M};g
i(t)为
的第i个分量,
为能量函 数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数,在c=1时,集合
M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
其中,
为矢量;
g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述处理器执行所述根据所述改变量,进行主网络状态矢量的动态演变的计算机程序时实现以下步骤:
其中,
为第t+1时刻的状态矢量;
为第t时刻的状态矢量;
为主网络状态矢量的改变量;β为使
的实系数,且0<β≤α(t),α(t)是预设的随t增加而减小的正小参数,K
F为主网络的模糊状态空间;t为时间索引。
进一步地,所述处理器执行所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果的计算机程序时实现以下步骤:
在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;
在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
进一步地,所述处理器执行所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果的计算机程序时实现以下步骤:
对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;
其中,M个神经元的状态为:v
ij1,v
ij2,…,v
ijM。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述的图像分割方法中的步骤。
本公开实施例还提供一种图像分割装置,包括:
获取模块,用于通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
处理模块,用于所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
本公开的有益效果是:
上述方案,通过利用从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量,然后主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果,以此可以在低SNR条件下较好的完成图像分割,提高了图像分割的准确性。
图1表示本公开的图像分割的原理示意图;
图2表示主网络的拓扑结构示意图;
图3表示Kohonen型从网络的结构示意图;
图4表示本公开实施例的图像分割方法的流程示意图;
图5表示本公开实施例的图像分割装置的模块示意图;
图6表示本公开实施例的图像分割装置的结构示意图。
下为使本公开的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本公开进行详细描述。
在进行本公开实施例的说明时,首先对下面描述中所用到的一些概念进行解释说明。
图像分割作为图像分析与理解系统中一个重要的研究领域,一直受到人们的高度关注,并取得许多可喜的成果。Haralick和Shapiro对这些研究成果进行了较完整的评述,他们指出:相关技术中的图像分割方法均存在各自的应用局限性,即一种适合于某一类图像的分割方法可能不适合于另一类图像的分割。Sahoo和Soltani等针对图像分割中一类常用的门限分割技术进行了详细的研究与分析,并以均匀性和形状测度为准则研究了若干自动门限分割方法的性能。Chung和Park在Sahoo和Soltani的工作基础上研究了图像目标大小与信噪比(SNR)等参数变化时对门限分割方法性能的影响,他们得出了与Haralick和Shapiro相似的结论;同时指出:相关技术中的门限分割技术在低SNR的条件下其性能均严重恶化,因而不能较好地完成低SNR下的图像分割任务。Kartikeyan与Sarkar在Haralick与Huecke等人工作的基础上提出了一种称之为统一方法的图像分割技术,试图建立一种含噪图像分割的统一技术框架。尽管他们的工作取得了一定的成功,但这种图像分割的统一技术框架也尚不能较好地处理低SNR条件下图像目标的分割问题。
既然人工神经网络(ANN)对噪声干扰具有良好的容错能力,那么应用ANN技术来进行图像目标的有效分割,特别是低SNR下图像目标的有效分割,便是很自然的事。本公开首先提出了一种适合于图像分割的ANN模型,通过分析其动力学特性,构造了一种可实时实现的图像目标有效分割特别是 低SNR条件下图像目标有效分割的方式。以下就该方式的主要思想原理简介如下:
本公开提出的图像分割ANN新模型的系统结构如图1所示,它由主网络和从网络级联而成的双层ANN,其中从网络对图像进行初始分割,其结果用于初始化主网络中神经元的状态;而主网络自这个初始化状态开始,进行其状态的动态演变,直到收敛至其某一局部吸引子时为止,此时的主网络状态将对应于所处理图像的最终分割结果。
下面对主网络拓扑结构及其网络状态矢量同图像的分割的对应关系进行具体说明如下。
设有一幅L×L的灰度图像f(i,j),i,j=1,2,…,L,其中存在M个不同灰度区域,这些区域按其平均灰度电平值由低到高(或由高到低)的变化次序进行编号。构造一个神经网络,其结构如图2所示,该网络共有L
2·M个神经元,其安放方式为:图像的每个像素(pixel)处放置M个神经元,记位置为(i,j)的像素的第m个神经元为N
ijm,其激活状态为v
ijm,它表示位置为(i,j)的像素属于灰度电平为m的灰度区域的可能性,显然有0≤v
ijm≤1,且
记神经元N
kln到N
ijm的互联强度为T
ijm;kln,且假设T
ijm;kln=T
kln;ijm;网络中每个神经元都接收一个来自自身和其它神经元激活状态所引起的输入信号,显然它是网络状态矢量
的函数,记之为
即:
网络中各神经元的状态是同步更新的,并且朝着使网络能量函数达到局部最小的方向演变。显然,网络的每个状态矢量
均为L
2M维空间
中的一个点,即:
它对应图像f(i,j)(这里i,j=1,2,…,L)分割的一种解释;若任取i,j=1,2,…,L,m=1,2,…,M,必然存在v
ijm=0或1,且
则称
为网络的一个确定状态矢量,记为
它对应于图像的一种确定分割;若任取i,j=1,2,…,L,m=1,2,…,M,则必然存在0≤v
ijm≤1,且
则称
为网络的一个模糊状态矢量,记为
它对应于图像的一种模糊分割;可见确定状态矢量是模糊状态矢量的一种特例。由网络全体确定状态矢量组成的集合称为网络的确定状态空间,记为K
c;而由网络全体模糊状态矢量组成的集合称为网络的模糊状态空间,记为K
F;易知
且K
F是K
c的凸包。
设有网络的一个确定状态矢量
其中,
为第λ
ij个分量为1的M维单位矢量,那么记此时网络的支持函数矢量为
其中,
这里
中的m=1,2,…,M,由公式一确定。若
是对应于所处理图像的一个最佳确定的分割,则此时神经元
所接收到的支持应该是M个神经元N
ijm(m=1,2,…,M)接收到的支持中最大者,因而有下述关系:
对于任意的i,j=1,2,…,L,均有:
据此我们给出网络状态矢量的“合理性”定义为:设有网络的一个确定状态矢量为
其对应的支持矢量为
若任取i和j=1,2,…,L,恒有公式三成立,则称
在K
c中是合理的,它对应于所处理图像的一个最佳的确定分割。可以证明
在K
c中是合理的充要条件是:
对于网络的一个模糊状态矢量
这里
而言,其对应的支持矢量为
若任取
恒有
则称
在K
F中是 合理的,它对应于所处理图像的一种最佳的模糊分割。易知若
在K
c中是合理的,则它在K
F中也是合理的;反之不然。可以证明,
在K
F中是合理的充要条件是:任取
必存在下述公式五的关系:
一、主网络的动力学特性及其神经元互联强度的确定方式
既然网络中每个神经元的状态改变是同步的、并朝着网络能量函数减少的方向进行直到收敛到网络能量函数的某一局部极小点(即网络的一个合理状态点)为止,那么网络从任一不合理的初始状态点出发,最终将收敛到与其初始状态对应的一个合理的状态点,从而完成对图像初分割结果的修正提炼的任务。设有
为网络在t时刻的一个不合理状态点,那么
不是网络能量函数的局部极小点,因而
将进行演变以使网络能量函数降低。记t+Δt时刻网络的状态为
那么网络状态的改变量
与能量函数的改变量
在Δt→0
+的条件下分别为:
易知K
F是由L
2个(M-1)维的标准单纯形构成的,从每个(M-1)维标准单纯形的M个顶点中任取一个一个组成的L
2个顶点组的全体便构成了K
C,K
F是K
C的一个凸包,K
C中的每个顶点为K
F的一个顶点。根据K
F的这一几何结构,可以看出公式六定义的
实际上是K
F在点
处的切矢量,由此可见,
的演变是沿着K
F在点
处的一个切矢量方向进行的。而K
F在点
处的切矢量有无限多个,形成了切矢量集合(简称切集)
若
是K
F的一个内点,则
由下式确定:
显然,使公式七极小化的切矢量方向为
演变的最佳方向。考虑到公式七与
有关(这里||·||为欧氏范数),为此限定
若
为网络的一个合理状态,则
可见,网络状态演变的最佳方向是下述可行集T
s(t)中使(7)式极小化的
方向:
二、从网络的选择及其对图像进行初分割的方法
前述指出,主网络通过其状态动力学演变,最终收敛到对应于所处理图像最佳分割的合理状态点,但这一结果却受到主网络初始化状态的影响。当主网络初始化状态严重偏离对应于最佳分割的局部吸引子之局部吸引域时,主网络将不能实施正确的图像分割任务。考虑到Kohonen神经网络具有良好的抗噪容错与自组织自学习能力,并且在网络学习收敛后其神经元间的联接强度(亦称为权值)矢量的点密度函数将趋近于外部刺激矢量、并且依据它与外部刺激矢量的互相似度进行排序,故本公开应用Kohonen神经网络作为从网络来进行特性的初分割。
图3给出了作为从网络的Kohonen神经网络结构示意图,它有一个输入神经元和M个线状排列的输出神经元构成的,记每个输出神经元j与输入神经元之间的联接权为μ
j,j=1,2,…,M,所收到的外部刺激为图像中每个像素点的灰度值。
从网络权值学习算法的具体实现流程:
则此时j的邻域NE
j[r(0)]={i:i=j-r(0),…,j+r(0),且1≤i≤M},
置μ
j(0)为一小的随机数,j=1,2,…,M;
步骤2:按字典顺序输入图像像素点的灰度值,记t时刻从网络输入神经 元接收到的像素灰度值为f(t);
步骤5:根据下式来更新神经元j*的邻域NE
j*[r(t)]中所有输出神经元与输入神经元之间的联接权
步骤6:检查从网络是否收敛?若收敛,则转步骤8;
步骤7:t=t+1,转步骤2;
步骤8:存储{μ
j(t),j=1,2,…,M},并停止学习。
在网络收敛后,权值序列{μ
j,j=1,2,…,M}将变为一个单调序列,从而使从网络输出神经元的序号与待分割图像区域序号的邻近关系相同。将待分割图像每个像素(i,j)处的灰度值f(i,j)输给已训练完毕的从网络,若从网络输出神经元m的响应最大,则像素(i,j)属于区域m的置信度高,而属于其它区域的置信度低。我们可给神经元的状态v
ijm置一小于1的较大正数,而给v
ijn(这里n≠m)置一个小于1的较小的正数,并且
按此方法处理完待分割图像的所有像素点后,即得主网络的一个初始化状态矢量
下面对本公开实施例的具体实现过程说明如下。
如图4所示,本公开实施例提供一种图像分割方法,包括:
步骤41,通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
步骤42,所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
进一步地,所述步骤41的实现方式为:
确定从网络的输入神经元到M个输出神经元的联接权值;
将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
具体地,所述确定从网络的输入神经元到M个输出神经元的联接权值,包括:
获取目标输出神经元的邻域;
自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;
其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
具体地,所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权,包括:
其中,μ
j(t+1)为第t+1时刻输入神经元到输出神经元j的联接权;μ
j(t)为第t时刻输入神经元到输出神经元j的联接权;γ(t)为随着t增加而减小的学习率参数、且0<γ(t)≤1;NE
j*[r(t)]为在t时刻目标输出神经元j*的邻域,NE
j*[r(t)]={i:i=j
*-r(t),…,j
*+r(t),且1≤i≤M},r(t)为t时刻的邻域半径,
为减函数,且0≤r(t)≤r(0);
且d
j(t)=[f(t)-μ
j(t)]
2;f(t)为t时刻从网络的输入神经元接收到的像素的灰度值;j为输出神经元的索引;t为时间索引;M为从网络中输出神经元的总个数。
需要说明的是,确定从网络的输入神经元到M个输出神经元的联接权值的具体实现方式可参见上述的从网络权值学习算法的具体实现流程。
具体地,所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得 到所述待分割图像对应的主网络的初始化状态矢量,包括:
将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
进一步地,所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果,包括:
获取每个时刻的主网络状态矢量的改变量;
根据所述改变量,进行主网络状态矢量的动态演变;
当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
具体地,所述获取每个时刻的主网络状态矢量的改变量,包括:
获取主网络的能量函数;
根据所述能量函数,确定能量函数对主网络状态矢量的梯度;
根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
进一步地,所述获取主网络的能量函数,包括:
确定主网络中神经元之间的互联强度;
根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
需要说明的是,对图像分割而言,图像中每个像素的划分结果通常仅与其某一邻近域的像素划分结果有关,由此可以认为图像中互为邻域的像素所对应的神经元之间均存在联接,而互为非邻域的像素所对应的神经元之间无联接;另一方面,表示图像中相同区域的神经元之间的联接应为兴奋型的,而表示不同区域的神经元之间的联接应该是抑制型的,并且区域编号间的差 别越大,这种抑制亦越强。基于上述两方面的综合考虑,本公开实施例的确定主网络中神经元之间的互联强度的方式为,包括:
其中,T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;M为每个像素对应的神经元的总个数;NE(i,j)是位置为(i,j)的像素的某一邻域,且NE(i,j)的定义公式为:NE(i,j)={(k,l):k=i-r,…,i+r;l=j-r,…,j+r},r为邻域大小的控制参数;i=1,2,…,L,j=1,2,…,L,L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数,包括:
其中,
为主网络的能量函数;T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;v
ijm是位置为(i,j)的像素对应的第m个神经元的激活状态的状态取值;v
kln是位置为(k,l)的像素对应的第n个神经元的激活状态的状态取值;
为主网络状态矢量;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述根据所述能量函数,确定能量函数对主网络状态矢量的梯度,包括:
具体地,所述根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量,包括:
根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新;
判断是否存在S
c+1=S
c;
若不存在S
c+1=S
c,则继续进行集合S
c的更新;
进一步地,所述根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新,包括:
根据公式:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M},对集合S
c进行更新;
其中,S
c+1为更新后的集合S
c的赋值;集合
任取i=1,2,…,L
2M};g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数,在c=1时,集合
M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
其中,
为矢量;
g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
步骤4:更新集合S
c,即:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M};
步骤5:判断关系S
c+1=S
c是否成立?
若成立,则转步骤6;否则,置c=c+1,并转步骤3;
步骤7:计算网络状态演变的最佳方向矢量
具体地,所述根据所述改变量,进行主网络状态矢量的动态演变,包括:
其中,
为第t+1时刻的状态矢量;
为第t时刻的状态矢量;
为主网络状态矢量的改变量;β为使
的实系数,且0<β≤α(t),α(t)是预设的随t增加而减小的正小参数,K
F为主网络的模糊状态空间;t为时间索引。
具体地,所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果,包括:
在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动 态演变;
在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
需要说明的是,在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果的具体方式为:对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态(M个神经元的状态依次为:v
ij1,v
ij2,…,v
ijM)中,若第m个状态值最大(即v
ijm最大),则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果。
具体地,主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果的具体算法流程(即主网络的状态演变动力学过程)为:
步骤6:t=t+1,转步骤2;
需要说明的是,本公开实施例通过利用从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量,然后主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果,以此可以在低SNR条件下较好的完成图像分割,提高 了图像分割的准确性;且本公开实施例具有容错性高的优点,特别适合低SNR条件下图像目标的有效分割。
如图5所示,本公开实施例还提供一种图像分割装置50,包括:
获取模块51,用于通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
处理模块52,用于所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
进一步地,所述获取模块51,包括:
确定子模块,用于确定从网络的输入神经元到M个输出神经元的联接权值;
第一获取子模块,用于将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
具体地,所述确定子模块,包括:
第一获取单元,用于获取目标输出神经元的邻域;
更新单元,用于自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;
其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
进一步地,所述更新单元,用于:
其中,μ
j(t+1)为第t+1时刻输入神经元到输出神经元j的联接权;μ
j(t)为第t时刻输入神经元到输出神经元j的联接权;γ(t)为随着t增加而减小的学习率参数、且0<γ(t)≤1;NE
j*[r(t)]为在t时刻目标输出神经元j*的邻域,NE
j*[r(t)]={i:i=j
*-r(t),…,j
*+r(t),且1≤i≤M},r(t)为t时刻的 邻域半径,
为减函数,且0≤r(t)≤r(0);
且d
j(t)=[f(t)-μ
j(t)]
2;f(t)为t时刻从网络的输入神经元接收到的像素的灰度值;j为输出神经元的索引;t为时间索引;M为从网络中输出神经元的总个数。
进一步地,所述第一获取子模块,用于:
将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
进一步地,所述处理模块52,包括:
第二获取子模块,用于获取每个时刻的主网络状态矢量的改变量;
处理子模块,用于根据所述改变量,进行主网络状态矢量的动态演变;
第三获取子模块,用于当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
具体地,所述第二获取子模块,包括:
第二获取单元,用于获取主网络的能量函数;
第一确定单元,用于根据所述能量函数,确定能量函数对主网络状态矢量的梯度;
第二确定单元,用于根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
进一步地,所述第二获取单元,包括:
第一确定子单元,用于确定主网络中神经元之间的互联强度;
第二确定子单元,用于根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
具体地,所述第一确定子单元,用于:
其中,T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;M为每个像素对应的神经元的总个数;NE(i,j)是位置为(i,j)的像素的某一邻域,且NE(i,j)={(k,l):k=i-r,…,i+r;l=j-r,…,j+r},r为邻域大小的控制参数;i=1,2,…,L,j=1,2,…,L,L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述第二确定子单元,用于:
其中,
为主网络的能量函数;T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;v
ijm是位置为(i,j)的像素对应的第m个神经元的激活状态的状态取值;v
kln是位置为(k,l)的像素对应的第n个神经元的激活状态的状态取值;
为主网络状态矢量;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述第一确定单元,用于:
进一步地,所述第二确定单元,包括:
更新子单元,用于根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新;
判断子单元,用于判断是否存在S
c+1=S
c;
若不存在S
c+1=S
c,则所述更新子单元继续进行集合S
c的更新;
具体地,所述更新子单元,用于:
根据公式:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M},对集合S
c进行更新;
其中,S
c+1为更新后的集合S
c的赋值;集合
任取i=1,2,…,L
2M};g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数,在c=1时,集合
M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
其中,
为矢量;
g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
进一步地,所述处理子模块,用于:
其中,
为第t+1时刻的状态矢量;
为第t时刻的状态矢量;
为主网络状态矢量的改变量;β为使
的实系数,且0<β≤α(t),α(t)是预设的随t增加而减小的正小参数,K
F为主网络的模糊状态空间;t为时间索引。
进一步地,所述第三获取子模块,包括:
第三确定单元,用于在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;
第三获取单元,用于在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
具体地,所述第三获取子模块,用于:
对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;
其中,M个神经元的状态为:v
ij1,v
ij2,…,v
ijM。
需要说明的是,该装置的实施例是与上述方法实施例一一对应的装置,上述方法实施例中所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
如图6所示,本公开实施例还提供一种图像分割装置60,包括处理器61、存储器62及存储在所述存储器62上并可在所述处理器61上运行的计算机程序;其中,所述处理器61用于读取存储器中的程序,执行下列过程:
通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;
所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
需要说明的是,在图6中,总线架构可以包括任意数量的互联的总线和 桥,具体由处理器61代表的一个或多个处理器和存储器62代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。针对不同的装置,处理器61负责管理总线架构和通常的处理,存储器62可以存储处理器61在执行操作时所使用的数据。
可选地,所述处理器执行所述通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量的计算机程序时实现以下步骤:
确定从网络的输入神经元到M个输出神经元的联接权值;
将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
进一步地,所述处理器执行所述确定从网络的输入神经元到M个输出神经元的联接权值的计算机程序时实现以下步骤:
获取目标输出神经元的邻域;
自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;
其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
具体地,所述处理器执行所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权的计算机程序时实现以下步骤:
其中,μ
j(t+1)为第t+1时刻输入神经元到输出神经元j的联接权;μ
j(t)为第t时刻输入神经元到输出神经元j的联接权;γ(t)为随着t增加而减小的学习率参数、且0<γ(t)≤1;NE
j*[r(t)]为在t时刻目标输出神经元j*的邻 域,NE
j*[r(t)]={i:i=j
*-r(t),…,j
*+r(t),且1≤i≤M},r(t)为t时刻的邻域半径,
为减函数,且0≤r(t)≤r(0);
且d
j(t)=[f(t)-μ
j(t)]
2;f(t)为t时刻从网络的输入神经元接收到的像素的灰度值;j为输出神经元的索引;t为时间索引;M为从网络中输出神经元的总个数。
进一步地,所述处理器执行所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量的计算机程序时实现以下步骤:
将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
可选地,所述处理器执行所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果的计算机程序时实现以下步骤:
获取每个时刻的主网络状态矢量的改变量;
根据所述改变量,进行主网络状态矢量的动态演变;
当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
进一步地,所述处理器执行所述获取每个时刻的主网络状态矢量的改变量计算机程序时实现以下步骤:
获取主网络的能量函数;
根据所述能量函数,确定能量函数对主网络状态矢量的梯度;
根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
可选地,所述处理器执行所述获取主网络的能量函数的计算机程序时实现以下步骤:
确定主网络中神经元之间的互联强度;
根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
具体地,所述处理器执行所述确定主网络中神经元之间的互联强度的计算机程序时实现以下步骤:
其中,T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;M为每个像素对应的神经元的总个数;NE(i,j)是位置为(i,j)的像素的某一邻域,且NE(i,j)={(k,l):k=i-r,…,i+r;l=j-r,…,j+r},r为邻域大小的控制参数;i=1,2,…,L,j=1,2,…,L,L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述处理器执行所述根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数的计算机程序时实现以下步骤:
其中,
为主网络的能量函数;T
ijm;kln是位置为(k,l)的像素对应的第n个神经元与位置为(i,j)的像素对应的第m个神经元之间的互联强度;v
ijm是位置为(i,j)的像素对应的第m个神经元的激活状态的状态取值;v
kln是位置为(k,l)的像素对应的第n个神经元的激活状态的状态取值;
为主网络状态矢量;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
具体地,所述处理器执行所述根据所述能量函数,确定能量函数对主网络状态矢量的梯度的计算机程序时实现以下步骤:
可选地,所述处理器执行所述根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量的计算机程序时实现以下步骤:
根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新;
判断是否存在S
c+1=S
c;
若不存在S
c+1=S
c,则继续进行集合S
c的更新;
具体地,所述处理器执行所述根据所述能量函数对主网络状态矢量的梯度,对集合S
c进行更新的计算机程序时实现以下步骤:
根据公式:S
c+1={i∈D:g
i(t)>t
c,i=1,2,…,L
2M},对集合S
c进行更新;
其中,S
c+1为更新后的集合S
c的赋值;集合
任取i=1,2,…,L
2M};g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数,在c=1时,集合
M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
其中,
为矢量;
g
i(t)为
的第i个分量,
为能量函数对主网络状态矢量的梯度,
为主网络的能量函数;
#S
c为集合S
c中元素的个数;M为每个像素对应的神经元的总个数;L为图像的尺度参数,它表示长度方向上或宽度方向上的像素的个数。
可选地,所述处理器执行所述根据所述改变量,进行主网络状态矢量的动态演变的计算机程序时实现以下步骤:
其中,
为第t+1时刻的状态矢量;
为第t时刻的状态矢量;
为主网络状态矢量的改变量;β为使
的实系数,且0<β≤α(t),α(t)是预设的随t增加而减小的正小参数,K
F为主网络的模糊状态空间;t为时间索引。
可选地,所述处理器执行所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果的计算机程序时实现以下步骤:
在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;
在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
具体地,所述处理器执行所述当主网络状态矢量的演变停止后,便得到 与收敛的主网络状态矢量相对应的图像分割结果的计算机程序时实现以下步骤:
对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;
其中,M个神经元的状态为:v
ij1,v
ij2,…,v
ijM。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的图像分割方法。
以上所述的是本公开的可选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本公开所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本公开的保护范围内。
Claims (38)
- 一种图像分割方法,包括:通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
- 根据权利要求1所述的图像分割方法,其中,所述通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量,包括:确定从网络的输入神经元到M个输出神经元的联接权值;将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
- 根据权利要求2所述的图像分割方法,其中,所述确定从网络的输入神经元到M个输出神经元的联接权值,包括:获取目标输出神经元的邻域;自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
- 根据权利要求3所述的图像分割方法,其中,所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权,包括:
- 根据权利要求2所述的图像分割方法,其中,所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量,包括:将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
- 根据权利要求1所述的图像分割方法,其中,所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果,包括:获取每个时刻的主网络状态矢量的改变量;根据所述改变量,进行主网络状态矢量的动态演变;当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
- 根据权利要求6所述的图像分割方法,其中,所述获取每个时刻的主网络状态矢量的改变量,包括:获取主网络的能量函数;根据所述能量函数,确定能量函数对主网络状态矢量的梯度;根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
- 根据权利要求7所述的图像分割方法,其中,所述获取主网络的能量函数,包括:确定主网络中神经元之间的互联强度;根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
- 根据权利要求6所述的图像分割方法,其中,所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果,包括:在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
- 根据权利要求6所述的图像分割方法,其中,所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果,包括:对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的 状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;其中,M个神经元的状态为:v ij1,v ij2,…,v ijM。
- 一种图像分割装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现以下步骤:通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
- 根据权利要求19所述的图像分割装置,其中,所述处理器执行所述通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量的计算机程序时实现以下步骤:确定从网络的输入神经元到M个输出神经元的联接权值;将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量。
- 根据权利要求20所述的图像分割装置,其中,所述处理器执行所述确定从网络的输入神经元到M个输出神经元的联接权值的计算机程序时实现以下步骤:获取目标输出神经元的邻域;自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接权;其中,所述目标输出神经元为与所述输入神经元具有最小距离的输出神经元。
- 根据权利要求21所述的图像分割装置,其中,所述处理器执行所述自适应地更新输入神经元至目标输出神经元的邻域中所有输出神经元的联接 权的计算机程序时实现以下步骤:
- 根据权利要求20所述的图像分割装置,其中,所述处理器执行所述将待分割图像的每个像素的灰度值输给已确定联接权值的所述从网络,为每个像素在主网络中对应的M个神经元的状态进行赋值,得到所述待分割图像对应的主网络的初始化状态矢量的计算机程序时实现以下步骤:将待分割图像的第一像素的灰度值输入给所述从网络的输入神经元,若所述从网络的M个输出神经元中的第j个输出神经元的响应最大,则将所述第一像素在主网络中对应的M个神经元中第j个神经元的状态设置为一个小于1的较大正数,而将所述第一像素在主网络中对应的M个神经元中除所述第j个神经元外的其他M-1个神经元的状态设置为一个小于1的较小正数,且M个神经元的状态之和等于1;将所述待分割图像中的每个像素依次进行赋值处理,便得到所述待分割图像对应的主网络的初始化状态矢量。
- 根据权利要求19所述的图像分割装置,其中,所述处理器执行所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果的计算机程序时实现以下步骤:获取每个时刻的主网络状态矢量的改变量;根据所述改变量,进行主网络状态矢量的动态演变;当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果。
- 根据权利要求24所述的图像分割装置,其中,所述处理器执行所述获取每个时刻的主网络状态矢量的改变量计算机程序时实现以下步骤:获取主网络的能量函数;根据所述能量函数,确定能量函数对主网络状态矢量的梯度;根据所述能量函数对主网络状态矢量的梯度,确定主网络状态矢量的改变量。
- 根据权利要求25所述的图像分割装置,其中,所述处理器执行所述获取主网络的能量函数的计算机程序时实现以下步骤:确定主网络中神经元之间的互联强度;根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数。
- 根据权利要求26所述的图像分割装置,其中,所述处理器执行所述根据所述神经元之间的互联强度和主网络中每个神经元的状态,确定主网络的能量函数的计算机程序时实现以下步骤:
- 根据权利要求24所述的图像分割装置,其中,所述处理器执行所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的 图像分割结果的计算机程序时实现以下步骤:在所述主网络状态矢量的改变量为零时,确定停止主网络状态矢量的动态演变;在所述主网络状态矢量的动态演变停止后,得到与收敛的主网络状态矢量相对应的图像分割结果。
- 根据权利要求24所述的图像分割装置,其中,所述处理器执行所述当主网络状态矢量的演变停止后,便得到与收敛的主网络状态矢量相对应的图像分割结果的计算机程序时实现以下步骤:对应于待分割图像的位置为(i,j)的像素的主网络中的M个神经元的状态中,若第m个状态值最大,则将所述待分割图像的位置为(i,j)的像素分割到第m个区域,依次对待分割图像的每个像素进行区域分割,得到最终的图像分割结果;其中,M个神经元的状态为:v ij1,v ij2,…,v ijM。
- 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至18任一项所述的图像分割方法中的步骤。
- 一种图像分割装置,包括:获取模块,用于通过自组织神经网络作为从网络对待分割图像进行处理,获取对应于所述待分割图像的主网络的初始化状态矢量;处理模块,用于所述主网络从所述初始状态矢量出发,按使其能量函数局部极小化的原则进行网络状态矢量的动态演变直到收敛为止,收敛后的主网络状态矢量则对应于所述待分割图像的最终图像分割结果。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910143381.1 | 2019-02-26 | ||
CN201910143381.1A CN109872334A (zh) | 2019-02-26 | 2019-02-26 | 一种图像分割方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020173163A1 true WO2020173163A1 (zh) | 2020-09-03 |
Family
ID=66919369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2019/123608 WO2020173163A1 (zh) | 2019-02-26 | 2019-12-06 | 图像分割方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109872334A (zh) |
WO (1) | WO2020173163A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872334A (zh) * | 2019-02-26 | 2019-06-11 | 电信科学技术研究院有限公司 | 一种图像分割方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018026431A1 (en) * | 2016-08-01 | 2018-02-08 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
CN108416772A (zh) * | 2018-03-07 | 2018-08-17 | 汕头大学 | 一种基于级联卷积神经网络的斜眼检测方法 |
CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
CN109872334A (zh) * | 2019-02-26 | 2019-06-11 | 电信科学技术研究院有限公司 | 一种图像分割方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2313847A4 (en) * | 2008-08-19 | 2015-12-09 | Digimarc Corp | METHODS AND SYSTEMS FOR PROCESSING CONTENT |
WO2012037151A2 (en) * | 2010-09-13 | 2012-03-22 | University Of Southern California | Efficient mapping of tissue properties from unregistered data with low signal-to-noise ratio |
CN106411486B (zh) * | 2015-07-31 | 2020-01-24 | 电信科学技术研究院 | 一种上行解调导频的发送接收方法及装置 |
CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
-
2019
- 2019-02-26 CN CN201910143381.1A patent/CN109872334A/zh not_active Withdrawn
- 2019-12-06 WO PCT/CN2019/123608 patent/WO2020173163A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018026431A1 (en) * | 2016-08-01 | 2018-02-08 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
CN108416772A (zh) * | 2018-03-07 | 2018-08-17 | 汕头大学 | 一种基于级联卷积神经网络的斜眼检测方法 |
CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
CN109872334A (zh) * | 2019-02-26 | 2019-06-11 | 电信科学技术研究院有限公司 | 一种图像分割方法及装置 |
Non-Patent Citations (1)
Title |
---|
LIU, LANYUE: "A Cascaded Neural Network on Construction Labor Cost Forecasting", MASTER THESIS, no. 03, 15 March 2014 (2014-03-15), pages 1 - 78, XP009522857 * |
Also Published As
Publication number | Publication date |
---|---|
CN109872334A (zh) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019228317A1 (zh) | 人脸识别方法、装置及计算机可读介质 | |
WO2021052159A1 (zh) | 基于对抗迁移学习的人脸美丽预测方法及装置 | |
WO2019141040A1 (zh) | 一种短期电力负荷预测方法 | |
JP7310351B2 (ja) | 情報処理方法及び情報処理装置 | |
CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
CN111239137B (zh) | 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法 | |
TWI831016B (zh) | 機器學習方法、機器學習系統以及非暫態電腦可讀取媒體 | |
CN111598213A (zh) | 网络训练方法、数据识别方法、装置、设备和介质 | |
CN116089883B (zh) | 用于提高已有类别增量学习新旧类别区分度的训练方法 | |
CN114677339A (zh) | 一种引入注意力机制的输电线路螺栓脱销缺陷检测方法 | |
WO2020173163A1 (zh) | 图像分割方法及装置 | |
CN112146879A (zh) | 一种滚动轴承故障智能诊断方法及其系统 | |
CN116912576A (zh) | 基于脑网络高阶结构的自适应图卷积脑疾病分类方法 | |
JPH0991263A (ja) | ニューラルネットワーク構造最適化装置ならびに方法 | |
CN116485021A (zh) | 一种煤炭企业技术技能人才人岗匹配预测方法与系统 | |
CN116805162A (zh) | 基于自监督学习的Transformer模型训练方法 | |
CN110619288A (zh) | 一种手势识别方法、控制装置及可读存储介质 | |
JP3648728B2 (ja) | 自己組織化特徴マップを用いた鋼材表面の劣化度評価システム | |
CN115546556A (zh) | 用于图像分类的脉冲神经网络的训练方法 | |
CN111709275B (zh) | 一种用于Affordance推理的深度网络构建方法 | |
CN110739030B (zh) | 一种乙烯生产过程小样本的软测量方法 | |
CN113807005A (zh) | 基于改进fpa-dbn的轴承剩余寿命预测方法 | |
WO2021134519A1 (zh) | 在神经网络推理中实现数据同步的装置和方法 | |
CN111310907A (zh) | 一种微波组件故障诊断方法、装置及设备 | |
CN112668545B (zh) | 一种基于人体树状网络和不同激活域值的姿态估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19916909 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19916909 Country of ref document: EP Kind code of ref document: A1 |