WO2020173252A1 - 运用自锁机制保护深度神经网络的方法、系统及终端 - Google Patents

运用自锁机制保护深度神经网络的方法、系统及终端 Download PDF

Info

Publication number
WO2020173252A1
WO2020173252A1 PCT/CN2020/072807 CN2020072807W WO2020173252A1 WO 2020173252 A1 WO2020173252 A1 WO 2020173252A1 CN 2020072807 W CN2020072807 W CN 2020072807W WO 2020173252 A1 WO2020173252 A1 WO 2020173252A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
neural network
deep neural
digital key
self
Prior art date
Application number
PCT/CN2020/072807
Other languages
English (en)
French (fr)
Inventor
范力欣
范力颖
Original Assignee
笵成科技南京有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 笵成科技南京有限公司 filed Critical 笵成科技南京有限公司
Publication of WO2020173252A1 publication Critical patent/WO2020173252A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services

Definitions

  • the embodiments of the present disclosure relate to the field of artificial intelligence, and in particular, to a method, system, and terminal for using a self-locking mechanism to protect a deep neural network. Background technique
  • Deep neural network Also referred to as neural network or network, it refers to artificial intelligence technology that has made major breakthroughs in the early 21st century. Its basic feature is to learn the intelligent processing ability of the input signal through multi-level feature extraction from local to global.
  • the input signal may be a one-dimensional voice signal, or a high-dimensional image, video, and other multimedia digital signals.
  • the deep learning algorithm masters the required data processing capabilities by adjusting and optimizing the massive parameters of the deep neural network. Different digital samples and network structures determine the different types of data processing capabilities of neural networks. Different network parameter values determine the ability of the same type of processing capability.
  • neural networks In terms of network structure, deep neural networks have many different forms (such as convolutional neural network CNN, recurrent neural network RNN, generative confrontation network GAN, etc.). In terms of application functions, neural networks can be used for speech recognition, natural language processing NLP, computer vision CV, big data mining and so on. On computing carriers, neural networks can run on computer central processing units (CPU), graphics accelerators (GPU), tensor processors (TPU), dedicated artificial intelligence chips, cloud computing centers, mobile devices, wearable devices, smart videos Terminals, in-vehicle devices and other vehicles, IoT devices, etc. Digital convolution operation: It is the core operation of various deep neural networks.
  • Neural network learning and training algorithm For a given digital signal sample, the deep learning algorithm masters the required data processing capabilities by adjusting and optimizing the massive parameters of the neural network.
  • the specific learning and training algorithm is not only related to the network structure (such as generating a confrontation network GAN), but also related to the selected optimization objective function.
  • Neural network development costs usually include the following aspects. a) Hardware costs, including computers used for calculations, Central processing unit (CPU) or/and graphics processing unit (GPU), etc., where the graphics processor is used to accelerate the processing of digital convolution operations. b) Software cost, including the cost of installing related operating systems, supporting software, and deep learning algorithms.
  • the cost of learning and training including the cost of data collection, the cost of data labeling, the cost of development and debugging of learning and training algorithms, the energy consumption during operation, and the time spent.
  • the cost of using neural networks usually includes the following aspects. a) Hardware cost, including the cost of computing computer, central processing unit (CPU) or/and graphics processing unit (GPU), etc., where the graphics processor is used to accelerate the processing of digital convolution operations.
  • Software cost including the cost of installing related operating systems and supporting software.
  • Operating cost energy consumption during operation, time cost, etc.
  • the operating cost of only use is greatly reduced compared to the cost of the aforementioned neural network development: because this does not include the cost of data collection, the cost of data labeling, the development and debugging cost of learning and training algorithms, and the cost of running during use
  • the energy consumption is lower and it takes less time.
  • the running time when in use is only a few seconds or even milliseconds, and there is no need to run repeatedly. Since the use cost and time cost of the neural network are several orders of magnitude lower than the corresponding cost at the time of development, the temptation of infringements such as illegal copying and illegal use is huge, and infringers are rushing. Therefore, it is urgent to protect the intellectual property rights of deep neural networks.
  • Unprotected network The original network without any additional digital features can realize the given data processing function through learning, but cannot prove its ownership. In the face of illegal copying, illegal use and other infringements, there is no technical solution to protect its intellectual property.
  • Digital watermark It is a specific digital feature (or digital fingerprint) that can be attached to digital multimedia products, such as pictures and movies, through special algorithms. Using the corresponding algorithm again, the digital features that have been added can be extracted and identified from the media product, so as to prove the ownership of the product.
  • the ideal digital watermark should be robust. In other words, even if the digital product undergoes various data transformation processing (such as image cropping, video compression codec, etc.), the additional digital watermark can still be reliably extracted and identified.
  • the digital watermark can be secret or public. In form, the digital watermark can be invisible or visible.
  • Watermarking network Refers to a deep neural network that uses digital watermarking technology and adds a secret digital watermark. This kind of watermark network can prove its ownership, but cannot prevent the copying and illegal use of the network itself. The rights protection of the watermark network must take legal means through proof, which is inefficient and costly. Summary of the invention
  • At least some embodiments of the present disclosure provide a method and system for protecting a deep neural network using a self-locking mechanism And terminal.
  • the deep neural network targeted by the embodiments of the present disclosure includes all the various forms mentioned above, different input signals, different types, different network structures, different application functions, and deep neural networks on different computing carriers. Any neural network with the same principle, for example: Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Generative Adversarial Network (GAN), etc., regardless of its operating environment.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • a method for using a self-locking mechanism to protect a deep neural network including: cooperating with a predetermined digital key and learning and training data samples to self-lock the deep neural network to obtain a self-locking Deep neural network; if the self-locking deep neural network is used in conjunction with a predetermined digital key, first characteristic information that normally performs a predetermined function is obtained; if the self-locking depth is not used in conjunction with the predetermined digital key Neural network, the second characteristic information of lack of function or performance degradation is obtained; wherein, in the case that the self-locking deep neural network is illegally unlocked, the self-locking deep neural network is used in conjunction with the predetermined digital key
  • the network obtains third feature information, where the third feature information is a statistical feature that proves the ownership of the self-locking deep neural network.
  • self-locking the deep neural network includes: training and updating according to the learning training data sample with or without labeling information
  • the first part of the network parameters of the deep neural network wherein the first part of the network parameters participate in realizing the predetermined function of the deep neural network, and determine the value of the second part of the network parameter together with the predetermined digital key;
  • the predetermined digital key and the value of the first part of the network parameters are calculated and updated during the training process to obtain the predetermined function of the deep neural network, where the depth
  • the predetermined function of the neural network includes at least one of the following: image classification, natural language processing.
  • the deep neural network is trained in this way, and the first part of the network parameters have a strict correlation with the predetermined digital key, and the correlation is the key to providing intellectual property protection for the self-locking deep neural network.
  • using the self-locking deep neural network with the predetermined digital key includes: calculating and setting the second partial network parameter according to the first partial network parameter and the predetermined digital key Using the first part of the network parameters and the second part of the network parameters to control the self-locking deep neural network to perform data processing operations.
  • the first part of network parameters and the second part of network parameters are both indispensable and important components for realizing normal network functions.
  • using the self-locking deep neural network without cooperating with the predetermined digital key includes: obtaining the first part of the network parameters of the non-predetermined digital key and the illegal copy, and calculating the abnormal second part of the network parameters; Using the illegally copied first part of the network parameters and the abnormal second part of the network parameters to obtain the second characteristic information of lack of function or performance degradation.
  • the infringer cannot benefit from the infringement, and there is no motivation for infringement, thereby preventively protecting the intellectual property rights of the self-locking neural network.
  • the infringed deep neural network can perform normal functions.
  • using the self-locking deep neural network in cooperation with the predetermined digital key to obtain the third characteristic information includes: in the case that the self-locking deep neural network is illegally unlocked, removing the illegal unlocking result
  • the second part of the network parameters in the deep neural network uses the predetermined digital key to use and display the predetermined function of the deep neural network to obtain the first result, and to use and display the non-scheduled digital key
  • the deep neural network is unable to perform the predetermined function, or the performance of the predetermined function is reduced and the degree of decrease is consistent with the expected amplitude, and a second result is obtained; the predetermined number is determined by combining the first result and the second result
  • the key has an association with the first part of the network parameters, where the association is given when the deep neural network is generated.
  • the first partial network parameters and the second partial network parameters together constitute all parameters of the deep neural network.
  • the first part of the network parameters, the second part of the network parameters and the predetermined digital key together constitute all the prerequisite information required to use the deep neural network and act together on the input digital signal to be processed.
  • the above-mentioned first part of network parameters may be public or undisclosed;
  • the above-mentioned second part of network parameters are not public, but when using the deep neural network, according to The first part of the network parameters and the predetermined digital key are calculated.
  • the whole of the first part of network parameters is combined with the predetermined digital key to jointly determine the second part of network parameters.
  • a part of the first part of network parameters is combined with the predetermined digital key to jointly determine the second part of network parameters.
  • the above-mentioned data samples with or without annotated information used for learning and training may be public or unpublished.
  • the aforementioned digital key includes: any pre-selected non-public, one or more sets of digital information
  • the predetermined digital key is only distributed to legally authorized users of the deep neural network.
  • the predetermined digital key is selected by a user owner of the deep neural network.
  • the aforementioned digital key includes: any pre-selected undisclosed one or more sets of pictures; the predetermined digital key picture is only distributed to the legally authorized deep neural network users.
  • the above-mentioned digital key pictures include: passport photos, ID photos, signatures, fingerprint pictures, iris pictures of the deep neural network owner, and any pictures that can determine the identity of the deep neural network owner.
  • the aforementioned digital key picture includes: a legally authorized passport picture of the deep neural network user legal person, an ID picture, a signature, a fingerprint picture, an iris picture, or any picture that can determine the user's identity.
  • the above-mentioned digital key picture includes: any picture that can determine a legal person's identity (ID), such as a corporate logo with ownership of the deep neural network, a company logo (logo).
  • ID legal person's identity
  • the above-mentioned digital key picture includes: a legal person logo of the deep neural network user legally authorized, a company logo (logo), and any picture that can determine the legal person identity (ID) of the user.
  • the aforementioned digital key includes: any pre-selected undisclosed one or more sets of voice signals; the digital key voice signal is only distributed to the legally authorized deep neural network users.
  • the aforementioned digital key voice signal includes: any voice signal that can determine the identity of the owner of the deep neural network, such as a voiceprint recording of the owner of the deep neural network.
  • the aforementioned digital key voice signal includes: a legally authorized voiceprint recording of the legal person of the deep neural network user, and any voice signal that can determine the user's identity.
  • the aforementioned digital key includes: any pre-selected undisclosed one or more sets of digital passwords; the digital password is selected by a legally authorized user of the deep neural network.
  • the above-mentioned digital key includes: any pre-selected undisclosed one or more sets of digital passwords; the digital password is a legally authorized user of the deep neural network through a specific password generation tool produce.
  • the above-mentioned digital key includes: any pre-selected non-public, one or more sets of digital passwords; the digital password is selected by the legal person that owns the deep neural network.
  • the above-mentioned digital key includes: any pre-selected, undisclosed, one or more sets of digital passwords; the digital password is generated by the legal person that owns the deep neural network through a specific password generation tool.
  • a system that uses a self-locking mechanism to protect a deep neural network includes: cooperating with a predetermined digital key and learning and training data samples to self-lock the deep neural network to obtain a first module of the self-locking deep neural network; cooperating with the predetermined digital key to lock the self-locking The second module legally used by the deep neural network; when the predetermined digital key is not given, the third module that protects the self-locking deep neural network; in conjunction with the predetermined digital key, The deep neural network that is illegally unlocked determines the fourth module of ownership.
  • the second module, the third module, and the fourth module may physically have a common reusable sub-module, but they are implemented independently of each other in terms of functions.
  • the first module is further configured to perform the following steps: training and updating the first part of the network parameters of the deep neural network according to the learning and training data samples with or without annotated information, where the The first part of the network parameters participate in the realization of the predetermined function of the deep neural network, and determine the value of the second part of the network parameter together with the predetermined digital key; according to the predetermined digital key and the first part of the network parameter The value of the second part of the network parameters is calculated and updated during the training process to obtain the predetermined function of the deep neural network, where the predetermined function of the deep neural network includes at least one of the following: image classification, natural Language processing.
  • the second module is further configured to perform the following steps: calculate and set the value of the second part of the network parameter according to the first part of the network parameter and the predetermined digital key; A part of the network parameters and the second part of the network parameters control the self-locking deep neural network to perform data processing operations.
  • the third module is further configured to perform the following steps: obtain an unpredetermined digital key and the first part of the network parameters of the illegal copy, and calculate the abnormal second part of the network parameters; use the first part of the illegal copy
  • the network parameters and the abnormal second part of the network parameters obtain the second characteristic information of lack of function or performance degradation.
  • the fourth module is further configured to perform the following steps: in the case that the self-locking deep neural network is illegally unlocked, removing the second part of the network parameters in the deep neural network obtained by the illegal unlocking, Use the predetermined digital key to use and display the predetermined function of the deep neural network to obtain the first result, and use the non-predetermined digital key to use and display that the deep neural network cannot perform the predetermined function, or, The performance of the predetermined function declines and the degree of decline is consistent with the expected amplitude, and a second result is obtained; combining the first result and the second result to determine that the predetermined digital key is associated with the first part of network parameters, where , The correlation is given when the deep neural network is generated.
  • a terminal that uses a self-locking mechanism to protect a deep neural network including: Including: processor, memory, communication interface and communication bus.
  • the processor, the memory, and the communication interface communicate with each other through the communication bus;
  • the memory is configured to store at least one executable instruction, and the executable instruction causes the processor to execute the aforementioned depth
  • the memory is configured to store at least one executable instruction and the deep neural network, and the executable instruction causes the processor to execute the aforementioned deep neural network self-locking protection.
  • a computer-readable storage medium stores: digital information used to protect a deep neural network using the self-locking mechanism described above, including: A predetermined digital key for the locking mechanism; a learning and training data sample for using the self-locking mechanism; in conjunction with the predetermined digital key and the learning and training data sample, the arbitrary deep neural network is self-locking Executable instructions; in conjunction with the predetermined digital key, the executable instructions for the legal use of the self-locking deep neural network; when the predetermined digital key is not given, perform the self-locking deep neural network Protected executable instruction; in conjunction with the predetermined digital key, an executable instruction to prove the ownership of the illegally unlocked deep neural network.
  • FIG. 1 is a flow chart of the method of using a self-locking mechanism to protect a deep neural network according to an optional embodiment of the present disclosure.
  • Fig. 2 is a flow chart of the steps of a method for preparing and obtaining a deep neural network with a self-locking mechanism according to an alternative embodiment of the present disclosure.
  • FIG. 3 is a flow chart of the steps of a method for using a deep neural network with a self-locking mechanism according to an optional embodiment of the present disclosure.
  • FIG. 4 is a flow chart of the steps of a method for protecting a deep neural network with a self-locking mechanism according to an optional embodiment of the present disclosure.
  • Fig. 1 is a flow chart of the method of using a self-locking mechanism to protect a deep neural network according to an optional embodiment of the present disclosure.
  • Fig. 2 is a flow chart of the steps of a method for preparing and obtaining a deep neural network with a self-locking mechanism according to an alternative embodiment of the present disclosure
  • FIG. 5 is a flow chart of the steps of a method for determining the ownership of a deep neural network suspected of infringement according to an optional embodiment of the present disclosure.
  • Fig. 6 is a schematic diagram of a basic functional layer of a deep residual network implemented by a combination of a convolutional layer and a self-locking layer of the network according to one of the optional embodiments of the present disclosure.
  • Fig. 7 is a flow chart of the steps of a method for preparing a digital key according to an alternative embodiment of the present disclosure.
  • FIG. 8 is a flow of steps for preparing a specific digital key using a single picture according to an optional embodiment of the present disclosure Cheng Tu.
  • FIG. 8 is a flow of steps for preparing a specific digital key using a single picture according to an optional embodiment of the present disclosure Cheng Tu.
  • FIG. 9 is a flowchart of steps for preparing a specific digital key using several pictures according to an optional embodiment of the present disclosure.
  • Fig. 10 is a flowchart of steps for preparing a specific digital key using a number of digital information according to an optional embodiment of the present disclosure.
  • Fig. 11 is a histogram of statistical results during normal use and network protection according to one of the alternative embodiments of the present disclosure.
  • Fig. 12 is a diagram illustrating the extent of performance degradation of illegally unlocking a network according to an alternative embodiment of the present disclosure.
  • FIG. 13 is a block diagram of a system structure of an arbitrary deep neural network for intellectual property protection according to an optional embodiment of the present disclosure.
  • FIG. 14 is a schematic structural diagram of a first terminal according to an optional embodiment of the present disclosure.
  • FIG. 14 is a schematic structural diagram of a first terminal according to an optional embodiment of the present disclosure.
  • FIG. 15 is a schematic structural diagram of a second terminal according to an optional embodiment of the present disclosure.
  • FIG. 16 is a schematic structural diagram of a third terminal according to an optional embodiment of the present disclosure.
  • FIG. 17 is a schematic structural diagram of a fourth terminal according to an optional embodiment of the present disclosure. Concrete age
  • Embodiment 1 Referring to FIG. 1, there is shown a flow chart of the method for protecting a deep neural network using a self-locking mechanism according to Embodiment 1 of the present disclosure.
  • This embodiment provides a method for using a self-locking mechanism to protect a deep neural network, which includes the following steps. Step S100, according to the target network structure information to be locked and the self-locking performance requirements, prepare and obtain a specific digital key that meets the requirements. Step S102, according to the specific digital key, self-locking performance requirements, training data samples, and basic functions of the target network, a deep neural network with self-locking function that meets the basic function requirements is prepared and obtained.
  • Step S104 according to the provided correct digital key, open the basic functions of the network, process the input data, and obtain the normal data processing result.
  • Step S106 According to the provided incorrect digital key, block the basic functions of the network, process the input data, and obtain the result that the performance is seriously degraded or the basic functions of the network cannot be realized.
  • Step S108 according to the provided correct digital key, display and prove the ownership of the suspected infringing deep neural network.
  • steps S104, S106, and S108 do not need to follow a certain sequence or logical sequence, and do not need to be executed all.
  • Embodiment 2 shows a flowchart of the steps of a method for preparing and obtaining a deep neural network with a self-locking mechanism according to a second embodiment of the present disclosure and according to a specific digital key.
  • the method for preparing and obtaining a deep neural network with a self-locking mechanism according to a specific digital key includes the following steps.
  • Step S1020 Train and obtain the first part of the network parameters of the deep neural network according to the data samples with or without the label information.
  • Step S1022 According to the undisclosed digital key and the values of the first part of the network parameters, calculate and obtain the values of the second part of the network parameters during the training process.
  • Step S1024 according to the network performance, repeatedly train and update to obtain the first part of the deep neural network Part and the second part of the network parameters, until the network performance reaches the design requirements.
  • Embodiment 3 shows a flow chart of the steps of using a deep neural network method with a self-locking mechanism according to a correct digital key according to the third embodiment of the present disclosure.
  • the method of using a deep neural network with a self-locking mechanism according to a specific digital key includes the following steps.
  • Step S1040 Calculate and obtain the correct value of the second part of the network parameter according to the provided correct digital key and the value of the first part of the network parameter.
  • Step S1042 according to the first part of the deep neural network and the correct second part of the network parameter Numerical value, the basic function of the open network to process the input data, and get the normal data processing result.
  • Step S1060 According to the provided incorrect digital key and the value of the first part of the network parameter, calculate and obtain the incorrect value of the second part of the network parameter.
  • Step S1062 According to the first part of the network parameters of the deep neural network and the incorrect second part of the network parameter values, the basic functions of the network are locked to process the input data, and the result of severely degraded performance or failure to realize the basic functions of the network is obtained.
  • Embodiment 5 Referring to FIG. 5, there is shown a flow chart of the method for determining the ownership of a deep neural network suspected of infringement according to a specific digital key according to Embodiment 5 of the present disclosure.
  • the method for determining the ownership of the suspected infringing deep neural network according to a specific digital key includes the following steps. Step S1080, removing the second part of the network parameters for illegally unlocking the network, replacing it with a correct digital key, using and demonstrating that the network can perform its normal functions and obtain normal data processing results. Step S1082, remove the second part of the network parameters for illegally unlocking the network, and replace it with an incorrect digital key.
  • FIG. 12 shows the performance degradation rate of illegally unlocking the network when a specific incorrect digital key is used according to the implementation of the present disclosure.
  • the dark histogram on the right represents the image recognition accuracy distribution when the correct digital key is used
  • the other three histograms represent the image recognition accuracy distribution when the digital key with different degrees of error is used. Compare the histogram distribution obtained by illegally unlocking the network with the histogram distribution provided by the claimant to check whether they are consistent.
  • Step S 1084 combining the results of S 1080 and S 1082 above, shows that the first part of the network parameters for unlocking the network can only work with the correct digital key provided, which proves that the ownership of the network belongs to the right to provide the correct key Requesting party.
  • all or part of the first part of the network parameters is used as a convolution kernel applied to the predetermined digital key, and the digital convolution operation jointly determines the The second part of the network parameters.
  • the second part of the network parameters of the aforementioned neural network may be calculated according to the following formula:
  • all or part of the first part of the network parameters is used as a convolution kernel applied to the predetermined digital key, and the digital convolution operation
  • the further mathematical transformation of the result jointly determines the network parameters of the second part.
  • the mathematical transformation described above includes numerical average, maximum, minimum, median, etc., any The mathematical calculation of the determination result can be obtained.
  • the above-mentioned digital convolution operation may be implemented using a convolution layer of a neural network.
  • the second part of the network parameters of the above neural network can be used to realize the self-locking layer of the neural network.
  • the input and output signal processing method is calculated according to the following formula:
  • the convolutional layer and the self-locking layer of the network can be combined to implement more complex deep neural network functions.
  • the convolutional layer and the self-locking layer of the network can be combined to implement the basic functional layer of the deep residual network.
  • the first partial network level may be a convolutional layer or a fully connected layer.
  • the second portion of the network hierarchy may be normalized batch layer (batch normalization) o
  • the network structure in combination with one embodiment of the present disclosure provides The parameter of the second partial network layer may be a bias term of the batch normalization layer.
  • the parameter of the second partial network layer may be a scaling factor of the batch normalization layer.
  • the parameters of the second part of the network layer may be the bias term and the scale factor of the batch normalization layer ( scaling factor).
  • the second part of the network level may be an additional key conversion layer, or any network layer that implements scale conversion and bias functions.
  • the parameters of the second part of the network layer may be a bias term and a scaling factor of the key transformation layer.
  • the bias term and the scaling factor of the key transformation layer may be elementwise.
  • the bias term and the scaling factor of the key transformation layer may be channel-operated (channel- wise).
  • the bias term and the scaling factor of the key transformation layer may be a mixture of the element-wise operation and The operation is based on the channel (hybrid elementwise and channel-wise).
  • Embodiment 6 shows a flowchart of the steps of a method for preparing a digital key according to network structure information in Embodiment 6 of the present disclosure.
  • the method for preparing a digital key according to network structure information includes the following steps.
  • Step S1000 according to the structure information of the network, determine the structure size of the digital key of each level.
  • Step S1002 Prepare a specific digital key according to the structural size of the digital key. According to different key usage requirements, there are different preparation steps.
  • step S10020 shows a flow chart of steps for preparing a specific digital key using a single picture according to the structural size of the digital key according to the embodiment of the present disclosure.
  • Step S 100200 select a specific picture (including personal identification photos, company trademark pictures, logos, etc.).
  • Step S100202 using the deep neural network without lock protection, normally process the selected single picture.
  • Step S100204 Collect the output result of the intermediate layer when processing the picture.
  • step S100206 the selected picture and the collected intermediate layer output result are used as the finally obtained digital key.
  • step S10022 shows a flowchart of steps for preparing a specific digital key using several pictures according to the structural size of the digital key according to the embodiment of the present disclosure. Compared with the digital key prepared in step S 10020, the digital key prepared in step S 10022 can provide stronger protection performance.
  • Step S 100220 Select a number of specific pictures (including, for example, a number of personal identification photos, a number of company trademark pictures, logos, etc.).
  • Step S100222 using a deep neural network that is not protected by a lock to normally process several selected pictures.
  • Step S 100224 Collect the output results of the intermediate layer when processing several pictures, and each picture corresponds to a set of results.
  • step S10024 shows a flow chart of steps for preparing a specific digital key by using a number of digital information according to the structural size of the digital key according to the embodiment of the present disclosure.
  • Step S100240 Select a number of specific digital information (including, for example, a number of personal voice signals, digital passwords, etc.).
  • Step S 100242 using a deep neural network that is not protected by a lock to normally process a number of selected digital information.
  • Step S 100244 Collect the output results of the intermediate layer when processing a number of digital information, and each type of input corresponds to a set of results.
  • the digital key prepared according to step S 10024 can provide more comprehensive digital information (not limited to pictures) to prove ownership.
  • Embodiment 7 Referring to FIG. 11, there is shown a histogram of statistical results when the embodiment of the present disclosure is applied to a locked picture recognition deep neural network, and the network is normally used and protected.
  • the horizontal axis in the figure is the image recognition accuracy rate, and the vertical axis is the histogram distribution of the results of multiple experiments.
  • the vertical line with a height of 1.0 on the right represents the image recognition accuracy (about 92%) of the CIFAR10 test set without the locked network.
  • the histogram on the right of the figure represents the distribution of image recognition accuracy when the locked network is used normally when the correct digital key is provided in several locking experiments. The average value is still 92%, that is, the original unlocked network
  • the image recognition function is not affected by the self-locking mechanism.
  • the histogram on the left in the figure represents the distribution of image recognition accuracy of the protection network when incorrect keys are provided in several experiments.
  • the average value is about 10%, which is equivalent to the result of random guessing, that is, the original unlocked network
  • the image recognition function is completely suppressed by the self-locking function.
  • Embodiment 8 shows a block diagram of a system structure that uses a self-locking mechanism to protect a deep neural network according to an embodiment of the present disclosure.
  • the system that uses a self-locking mechanism to protect the deep neural network in this embodiment includes the following modules.
  • the module M100 is set to prepare and obtain a specific digital key that meets the requirements according to the target network structure information to be locked and the self-locking performance requirements.
  • the module M102 is set to prepare and obtain a deep neural network with self-locking function that meets the basic function requirements according to a specific digital key, self-locking performance requirements, training data samples, and basic functions of the target network.
  • the module M104 is set to process the input data according to the correct digital key provided, open the basic functions of the network, and obtain normal data processing results.
  • the module M106 is set to block the basic functions of the network according to the incorrect digital key provided, process the input data, and obtain the result that the performance is severely degraded or the basic functions of the network cannot be realized.
  • Module M108 is set to display and prove the ownership of the suspected infringing deep neural network based on the correct digital key provided.
  • the modules M104, M106, and M108 do not need to follow a certain sequence or logical sequence, so the modules do not need to be all included in the same physical system.
  • Embodiment 9 Referring to FIG. 14, there is shown a schematic structural diagram of a first terminal according to Embodiment 9 of the present disclosure.
  • the first terminal T110 includes a processor (processor) TmO, a communications interface (Communications Interface) 1120, a memory (memory array) T1130, and a bus T1140.
  • the processor T1110, the communication interface T1120, and the memory T1130 communicate with each other through the bus T1140.
  • the communication interface T1120 is set to communicate with other devices, including other clients, servers, and shared storage.
  • the processor T1110 is configured to execute the program T1100, which specifically executes the relevant steps in the foregoing method embodiment.
  • the processor T1110 may be a central processing unit CPU, or an application specific integrated circuit (ASIC), or one or more integrated circuits configured to implement the embodiments of the present disclosure.
  • the processor T1110 can be a central processing unit used in cloud computing centers, mobile devices, wearable devices, smart video terminals, in-vehicle devices and other vehicles, IoT devices, etc., or it can be used in graphics accelerators (GPU), tensor processor (TPU), dedicated artificial intelligence chip, etc., logic and numerical operation unit in specific hardware architecture.
  • the storage T1130 is set to store files.
  • the memory T1130 may include a high-speed RAM memory, and may also include a non-volatile memory (non-volatile memory), for example, at least one disk memory.
  • the memory T1130 may also be a memory array.
  • the storage T1130 can also be divided into blocks, and the blocks can be combined into a virtual volume according to certain rules.
  • the foregoing program may be program code including computer operation instructions. The program can be specifically used to: Provide a method for preparing a digital key according to the network structure information, including: Determine the structure size of the digital key at each level according to the network structure information.
  • a single picture is provided to prepare a specific number
  • the key method includes: selecting a specific picture (including personal identification photos, company trademark pictures, logos, etc.); using a deep neural network without lock protection to normally process the selected single picture; when collecting and processing pictures The output result of the intermediate layer; the selected picture and the collected intermediate layer output result are used as the final digital key; in an optional embodiment, according to the structure size of the digital key, it is provided that a number of pictures are used to prepare a specific number
  • the key method includes: selecting a number of specific pictures (including, for example, a number of personal identification photos, a number of company trademark pictures, logos, etc.); using a deep neural network without lock protection to normally process selected pictures; collecting and processing a number The intermediate layer output result when the picture is a picture, each picture corresponds to a set of results; a number of pictures and
  • Embodiment 10 shows a schematic structural diagram of a second terminal according to Embodiment 10 of the present disclosure.
  • the second terminal T120 includes a processor (processor) T1210, a communications interface (Communications Interface) 1220, a memory (memory array) T1230, and a bus T1240.
  • the processor T1210, the communication interface T1220, and the memory T1230 communicate with each other through the bus T1240.
  • the communication interface T1220 is set to communicate with other devices, including other clients, servers, and shared storage.
  • the processor T1210 is configured to execute the program T1200, which specifically executes the relevant steps in the foregoing method embodiment.
  • the processor T1210 may be a central processing unit CPU, or an application specific integrated circuit (ASIC), or one or more integrated circuits configured to implement the embodiments of the present disclosure.
  • the processor T1210 is a central processing unit used in cloud computing centers, mobile devices, wearable devices, smart video terminals, in-vehicle devices and other vehicles, IoT devices, etc. It can also be used in graphics accelerators ( GPU), tensor processor (TPU), dedicated artificial intelligence chips, etc., logic and numerical operation units in a specific hardware architecture.
  • the memory T1230 is set to store files.
  • the memory T1230 may include a high-speed RAM memory, and may also include a non-volatile memory (non-volatile memory), for example, at least one disk memory.
  • the memory T1230 can also be a memory array.
  • the storage T1230 can also be divided into blocks, and the blocks can be combined into a virtual volume according to certain rules.
  • the foregoing program may be program code including computer operation instructions.
  • the program can be specifically used to: According to a specific digital key, provide a method for preparing and obtaining a deep neural network with a self-locking mechanism, including: training and obtaining a deep neural network based on data samples with or without annotated information The first part of the network parameters; According to the undisclosed digital key and the first part of the network parameters, the second part of the network parameters are calculated and obtained during the training process; According to the network performance, the first part of the deep neural network is repeatedly trained and updated. Part and the second part of the network parameters, until the network performance reaches the design requirements.
  • the third terminal T130 includes a processor (processor) T1310, a communications interface (Communications Interface) 1320, a memory (memory array) T1330, and a bus T1340.
  • the processor T1310, the communication interface T1320, and the memory T1330 communicate with each other through the bus T1340.
  • the communication interface T1320 is set to communicate with other devices, including other clients, servers, and shared storage.
  • the processor T1310 is configured to execute the program T1300, which specifically executes the relevant steps in the foregoing method embodiment.
  • the processor T1310 may be a central processing unit CPU, or an application specific integrated circuit (ASIC), or one or more integrated circuits configured to implement the embodiments of the present disclosure.
  • the processor T1310 can be a central processing unit used in cloud computing centers, mobile devices, wearable devices, smart video terminals, in-vehicle devices and other vehicles, IoT devices, etc., or can be used in graphics accelerators (GPU), tensor processor (TPU), dedicated artificial intelligence chip, etc., logic and numerical operation unit in specific hardware architecture.
  • the memory T1330 is set to store files.
  • the memory T1330 may include a high-speed RAM memory, and may also include a non-volatile memory (non-volatile memory), for example, at least one disk memory.
  • the memory T1330 can also be a memory array.
  • the storage T1330 can also be divided into blocks, and the blocks can be combined into a virtual volume according to certain rules.
  • the foregoing program may be program code including computer operation instructions.
  • the program can be specifically used to:
  • a method of using a deep neural network with a self-locking mechanism including: according to the correct digital key provided and the first part of the network parameters Calculate and get the correct value of the second part of the network parameter; According to the first part of the deep neural network and the correct value of the second part of the network parameter, the basic functions of the open network process the input data and get the normal data process result.
  • a method for protecting a deep neural network with a self-locking mechanism including: calculating according to the provided incorrect digital key and the value of the first part of the network parameter And get the incorrect value of the second part of the network parameters; According to the first part of the deep neural network and the incorrect value of the second part of the network parameter, lock the basic functions of the network to process the input data, and get the severely degraded performance, Or the result of not being able to realize the basic functions of the network.
  • Embodiment 12 shows a schematic structural diagram of a fourth terminal according to Embodiment 12 of the present disclosure.
  • the fourth terminal T140 includes a processor (processor) T1410, a communications interface (Communications Interface) 1420, a memory (memory array) T1430, and a bus T1440.
  • the processor T1410, the communication interface T1420, and the memory T1430 communicate with each other through the bus T1440.
  • the communication interface T1420 is set to communicate with other devices, including other clients, servers, and shared storage.
  • the processor T1410 is configured to execute the program T1400, which specifically executes the relevant steps in the foregoing method embodiment.
  • the processor T1410 may be a central processing unit CPU, or an application specific integrated circuit (ASIC), or one or more integrated circuits configured to implement the embodiments of the present disclosure.
  • the processor T1410 can be a central processing unit used in cloud computing centers, mobile devices, wearable devices, smart video terminals, in-vehicle devices and other vehicles, IoT devices, etc., or it can be used in graphics accelerators (GPU), tensor processor (TPU), dedicated artificial intelligence chip, etc., logic and numerical operation unit in specific hardware architecture.
  • the memory T1430 is set to store files.
  • the memory T1430 may include a high-speed RAM memory, and may also include a non-volatile memory (non-volatile memory), for example, at least one disk memory.
  • the memory T1430 can also be a memory array.
  • the storage T1430 can also be divided into blocks, and the blocks can be combined into a virtual volume according to certain rules.
  • the foregoing program may be program code including computer operation instructions.
  • a method for determining the ownership of a suspected infringing deep neural network based on a specific digital key including: In an optional embodiment, removing illegal network unlocking The second part of the network parameters is replaced by the correct digital key, using and showing that the network can perform its normal functions and obtain normal data processing results; in an optional embodiment, the second part of the network that illegally unlocks the network is removed The parameter is replaced by an incorrect digital key. Using and showing that the network cannot perform its normal functions, it can only get the result of severely degraded performance or unable to achieve the basic functions of the network.
  • the performance degradation is consistent with expectations; combining the above results, it is shown that the first part of the network parameters for unlocking the network can only work with the correct digital key provided, which proves the ownership of the network and belongs to the right to provide the correct key. square.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Storage Device Security (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本公开属于人工智能领域，自锁机制包括两个核心过程：首先，在训练神经网络时，使用特定的数字密匙进行加锁处理；其次，在使用时，经过处理的深度神经网络需要与密匙相互配合，才能发挥正常的功能。通过本公开所提供的自锁机制，如果没有密匙配合的盗版网络，则无法发挥正常功能，由此解决了相关技术中所提供的数字水印保护机制只能证明神经网络的归属权，而维权必须通过法律途径，时效性差而且成本高昂。

Description

运用自锁机制保护深度神经网络的方法、 系统及终端
技术领域
本公开实施例涉及人工智能领域， 尤其涉及一种运用自锁机制保护深度神经网络 的方法、 系统及终端。 背景技术
深度神经网络： 也简称神经网络或者网络， 是指在二十一世纪初取得重大突破的 人工智能技术。 其基本特征是通过多层次的， 由局部到全局的特征提取， 来学习对输 入信号的智能处理能力。 输入信号可以是一维的语音信号， 也可以是高维度的图像， 视频等多媒体数字信号。 针对给定的数字信号样本，深度学习算法通过调整及优化深 度神经网络的海量参数，来掌握所需要的数据处理能力。不同的数字样本和网络结构， 决定了神经网络不同类型的数据处理能力。 不同的网络参数值， 则决定了同一类处理 能力的能力高低。 在网络结构上， 深度神经网络有多种不同形式 (如卷积神经网络 CNN, 递归神经网络 RNN， 生成对抗网络 GAN 等等)。 在应用功能上， 神经网络 可以用于语音识别， 自然语言处理 NLP， 计算机视觉 CV， 大数据挖掘等等。 在运算 载体上， 神经网络可以运行在计算机中央处理器 (CPU) , 图形加速器 (GPU)， 张量 处理器 (TPU)， 专用人工智能芯片， 云计算中心， 移动设备， 可穿戴设备， 智能视频 终端， 车载设备及其他交通工具， 物联网设备 (IoT devices) 等中。 数字卷积运算： 是各种深度神经网络的核心运算， 其本质是对输入数据在滑动窗 口中， 按网络卷积核 (convolution kernel)参数计算其加权和 (或者加权平均)， 作为对 下一层次的输入。 不同的网络参数， 决定了不同的加权权重值， 也就决定了对下一层 次不同的数据输入。 特别地， 在神经网络卷积层中 (convolution layer)， 是用较小尺寸 的卷积核 (convolution kernel)去滑动覆盖输入信号的整个维度空间。而在全连接层中 (fully connected layer) , 是用全尺寸的卷积核直接与输入信号计算加权和， 即不需要 滑动卷积核。 所以， 在全连接层中， 卷积计算也就与点积 (dot product)计算等同。 神经网络学习训练算法： 针对给定的数字信号样本， 深度学习算法通过调整及优 化神经网络的海量参数， 来掌握所需要的数据处理能力。 具体的学习训练算法， 既与 网络结构有关 (如生成对抗网络 GAN)， 也与选择的优化目标函数有关。 神经网络开发成本通常包括如下几个方面。 a)硬件成本，包括用于计算的计算机， 中央处理单元 （CPU） 或 /和图形处理器 （GPU） 等的费用， 其中图形处理器是用于对 数字卷积运算的加速处理。 b）软件成本， 包括安装相关操作系统， 配套软件， 深度学 习算法等的费用。 C）学习训练成本， 包括数据采集的成本， 数据标注的成本， 学习训 练算法的开发调试成本， 运行时的能耗， 耗费的时间成本等。 注意， 学习训练时的时 间成本， 通常是一次训练耗费若干天， 若干周甚至更长的时间。 而开发过程中， 经常 需要反复训练， 以取得最优网络性能。 神经网络使用成本通常包括如下几个方面。 a）硬件成本，包括用于计算的计算机， 中央处理单元 （CPU） 或 /和图形处理器 （GPU） 等的费用， 其中图形处理器是用于对 数字卷积运算的加速处理。 b） 软件成本，包括安装相关操作系统，配套软件等的费用。 c）运行成本， 运行时的能耗， 耗费的时间成本等。 注意， 仅仅使用时的运行成本， 相 比上述神经网络开发时的成本大大降低： 因为这时并不包括数据采集的成本， 数据标 注的成本， 学习训练算法的开发调试成本， 而且在使用时运行的能耗更低， 耗费的时 间更少。 一般来说， 使用时的运行时间， 只需若干秒甚至毫秒而已， 也不需要反复运 行多次。 由于神经网络的使用成本和时间成本， 相比开发时候的对应成本， 要低若干个数 量级， 非法拷贝和非法使用等侵权行为的利益诱惑巨大， 侵权者趋之若鸯。 所以， 对 深度神经网络进行知识产权保护刻不容缓。 无防护网络： 没有附加任何数字特征的原始网络， 能够通过学习实现给定的数据 处理功能， 但无法证明其归属权。 在面对非法拷贝、 非法使用等侵权行为时， 没有任 何技术方案保护其知识产权。 数字水印： 是一种特定的数字特征 （或者数字指纹）， 可以通过特别的算法附加 在数字多媒体产品， 如图片和影视作品中。 再利用相应的算法， 又可以从媒体产品中 提取识别出已经附加的数字特征， 从而证明产品的归属权。 理想的数字水印， 应该具 有鲁棒性。 也就是说， 即使数字产品经过各种数据变换处理 （如图片裁剪， 视频压缩 编解码等）， 附加的数字水印还是能够可靠的提取识别出来。在使用上， 数字水印可以 是秘密的，也可以是公开的。 在形式上，数字水印可以是不可见的，也可以是可见的。 水印网络： 指利用数字水印技术， 附加了秘密数字水印的深度神经网络。 这种水 印网络， 能够证明其归属权， 但不能防止对网络本身的拷贝和非法使用。 水印网络的 维权， 必须通过举证走法律途径， 时效性差而且成本高昂。 发明内容
本公开至少部分实施例提供了一种运用自锁机制保护深度神经网络的方法、 系统 及终端。 本公开实施例所针对的深度神经网络， 包括了所述提及的所有各种形式， 不同输 入信号，不同类型，不同网络结构，不同应用功能，不同运算载体上的深度神经网络， 也包括在原理上相同的任何神经网络， 例如： 卷积神经网络 （CNN）， 递归神经网络 （RNN）， 生成对抗网络 （GAN） 等等， 无论其运行环境如何。 根据本公开其中一实施例， 提供一种运用自锁机制保护深度神经网络的方法， 包 括： 配合预定的数字密匙和学习训练数据样本， 对所述深度神经网络进行自锁， 得到 自锁的深度神经网络； 如果配合预定的数字密匙使用所述自锁的深度神经网络， 则得 到正常发挥预定功能的第一特征信息； 如果未配合所述预定的数字密匙使用所述自锁 的深度神经网络， 则得到功能缺失或者性能下降的第二特征信息； 其中， 在所述自锁 的深度神经网络被非法解锁的情况下， 配合所述预定的数字密匙使用所述自锁的深度 神经网络得到第三特征信息， 其中， 所述第三特征信息为证明所述自锁的深度神经网 络的归属权的统计特征。 可选地， 配合所述预定的数字密匙和所述学习训练数据样本， 对所述深度神经网 络进行自锁包括： 根据带标注或者不带标注信息的所述学习训练数据样本， 训练并更 新所述深度神经网络的第一部分网络参数， 其中， 所述第一部分网络参数参与实现所 述深度神经网络的预定功能， 并与所述预定的数字密匙共同确定第二部分网络参数的 数值； 根据所述预定的数字密匙和所述第一部分网络参数的数值， 在训练过程中计算 并更新所述第二部分网络参数的数值， 以得到所述深度神经网络的预定功能， 其中， 所述深度神经网络的预定功能包括以下至少之一： 图像分类， 自然语言处理。 这样训练得到深度神经网络， 所述的第一部分网络参数与所述预定的数字密匙有 着严格的关联性， 所述的这种关联性是对自锁的深度神经网络提供知识产权保护的关 键。 可选地， 配合所述预定的数字密匙使用所述自锁的深度神经网络包括： 根据所述 第一部分网络参数和所述预定的数字密匙，计算并设定所述第二部分网络参数的数值; 采用所述第一部分网络参数和所述第二部分网络参数， 控制所述自锁的深度神经网络 执行数据处理操作。 也就是说， 所述第一部分网络参数和所述第二部分网络参数， 都 是实现网络正常功能不可或缺的重要组成部分。 可选地， 未配合所述预定的数字密匙使用所述自锁的深度神经网络包括： 获取非 预定的数字密匙和非法拷贝的第一部分网络参数，计算得到异常的第二部分网络参数; 使用所述非法拷贝的第一部分网络参数和所述异常的第二部分网络参数， 得到功能缺 失或者性能下降的所述第二特征信息。 上述情况下， 使用性能严重下降或功能缺失的网络时， 侵权者并不能从侵权行为 获得利益，也就没有了侵权动机，从而预防性地保护了所述自锁神经网络的知识产权。 当侵权者非法地获得了上述第二部分网络参数， 即非法解锁网络时， 结合被非法 拷贝的上述第一部分网络参数， 被侵权的所述深度神经网络的就可以发挥正常功能。 可选地， 配合所述预定的数字密匙使用所述自锁的深度神经网络得到所述第三特 征信息包括： 在所述自锁的深度神经网络被非法解锁的情况下， 去除非法解锁得到的 深度神经网络中的所述第二部分网络参数， 利用所述预定的数字密匙使用并展示所述 深度神经网络的预定功能， 得到第一结果， 以及利用非预定的数字密匙使用并展示所 述深度神经网络不能执行预定功能， 或者， 所述预定功能的性能下降并且下降幅度与 预计幅度一致， 得到第二结果； 结合所述第一结果和所述第二结果确定所述预定的数 字密匙与所述第一部分网络参数具有关联性， 其中， 所述关联性在生成所述深度神经 网络时被赋予。 由于所述的这种关联性， 只能在生成所述深度神经网络的时候赋予， 也即证明了 所述网络的归属权。 可选地， 所述第一部分网络参数和所述第二部分网络参数共同构成所述深度神经 网络的全部参数。 可选地， 所述第一部分网络参数， 第二部分网络参数以及所述预定的数字密匙共 同构成使用所述深度神经网络所需的全部先决信息并且共同作用于所需处理的输入数 字信号。 可选地， 上述第一部分网络参数可以是公开的， 也可以是不公开的； 可选地，上述的第二部分网络参数是不公开的，而是在使用所述深度神经网络时， 根据所述第一部分网络参数和所述预定的数字密匙计算出来的。 可选地， 所述第一部分网络参数的全体， 结合所述预定的数字密匙， 共同决定所 述的第二部分网络参数。 可选地， 所述第一部分网络参数的一部分， 结合所述预定的数字密匙， 共同决定 所述的第二部分网络参数。 可选地， 上述用于学习训练的、 带标注或者不带标注信息的数据样本， 可以是公 开的， 也可以是不公开的。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组数字信 息 可选地， 所述预定的数字密匙只分发给合法授权的所述深度神经网络用户。 可选地， 所述预定的数字密匙由所述深度神经网络的用户拥有人选定。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组图片； 所述预定的数字密匙图片只分发给合法授权的所述深度神经网络用户。 可选地， 上述的数字密匙图片包括： 所述深度神经网络拥有人的护照照片， 身份 证照片， 签名， 指纹图片， 虹膜图片等任何可以确定所述深度神经网络拥有人身份的 图片。 可选地， 上述的数字密匙图片包括： 合法授权的所述深度神经网络用户法人的护 照照片， 身份证照片， 签名， 指纹图片， 虹膜图片等任何可以确定用户身份的图片。 可选地， 上述的数字密匙图片包括： 具备所述深度神经网络拥有权的法人团体徽 标， 公司标识 （logo） 等任何可以确定法人身份 （ID） 的图片。 可选地， 上述的数字密匙图片包括： 合法授权的所述深度神经网络用户的法人团 体徽标， 公司标识 （logo） 等任何可以确定用户法人身份 （ID） 的图片。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组语音信 号； 所述数字密匙语音信号只分发给合法授权的所述深度神经网络用户。 可选地， 上述的数字密匙语音信号包括： 所述深度神经网络拥有人的声纹录音等 任何可以确定所述深度神经网络所述拥有人身份的语音信号。 可选地， 上述的数字密匙语音信号包括： 合法授权的所述深度神经网络用户法人 的声纹录音， 以及任何可以确定所述用户身份的语音信号。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组数字密 码； 所述数字密码由合法授权的所述深度神经网络的用户选定。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组数字密 码； 所述数字密码由合法授权的所述深度神经网络的用户， 通过特定的密码生成工具 产生。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组数字密 码； 所述数字密码由所述深度神经网络的拥有法人选定。 可选地， 上述的数字密匙包括： 任意预先选定的不公开的， 一组或者多组数字密 码； 所述数字密码由所述深度神经网络的拥有法人， 通过特定的密码生成工具产生。 根据本公开其中一实施例， 提供了一种运用自锁机制保护深度神经网络的系统， 包括： 配合预定的数字密匙和学习训练数据样本， 对所述深度神经网络进行自锁， 得 到自锁的深度神经网络的第一模块； 配合所述预定的数字密匙， 对所述自锁的深度神 经网络合法使用的第二模块； 当没有给出所述预定的数字密匙时， 对所述自锁的深度 神经网络进行保护的第三模块； 配合所述预定的数字密匙， 对被非法解锁的所述深度 神经网络确定归属权的第四模块。 可选地， 上述第二模块， 第三模块和第四模块在物理上可以有共同的可复用的子 模块， 但在功能上则是相互独立的实现。 可选地， 所述第一模块还设置为执行以下步骤： 根据带标注或者不带标注信息的 所述学习训练数据样本， 训练并更新所述深度神经网络的第一部分网络参数， 其中， 所述第一部分网络参数参与实现所述深度神经网络的预定功能， 并与所述预定的数字 密匙共同确定第二部分网络参数的数值； 根据所述预定的数字密匙和所述第一部分网 络参数的数值， 在训练过程中计算并更新所述第二部分网络参数的数值， 以得到所述 深度神经网络的预定功能， 其中， 所述深度神经网络的预定功能包括以下至少之一： 图像分类， 自然语言处理。 可选地， 所述第二模块还设置为执行以下步骤： 根据所述第一部分网络参数和所 述预定的数字密匙， 计算并设定所述第二部分网络参数的数值； 采用所述第一部分网 络参数和所述第二部分网络参数， 控制所述自锁的深度神经网络执行数据处理操作。 可选地， 所述第三模块还设置为执行以下步骤： 获取非预定的数字密匙和非法拷 贝的第一部分网络参数， 计算得到异常的第二部分网络参数； 使用所述非法拷贝的第 一部分网络参数和所述异常的第二部分网络参数， 得到功能缺失或者性能下降的所述 第二特征信息。 可选地， 所述第四模块还设置为执行以下步骤： 在所述自锁的深度神经网络被非 法解锁的情况下， 去除非法解锁得到的深度神经网络中的所述第二部分网络参数， 利 用所述预定的数字密匙使用并展示所述深度神经网络的预定功能， 得到第一结果， 以 及利用非预定的数字密匙使用并展示所述深度神经网络不能执行预定功能， 或者， 所 述预定功能的性能下降并且下降幅度与预计幅度一致， 得到第二结果； 结合所述第一 结果和所述第二结果确定所述预定的数字密匙与所述第一部分网络参数具有关联性， 其中， 所述关联性在生成所述深度神经网络时被赋予。 由于这种所述的关联性， 只能在生成所述深度神经网络时赋予， 也即证明了所述 网络的归属权。 根据本公开其中一实施例， 提供一种运用自锁机制保护深度神经网络的终端， 包 括： 处理器， 存储器， 通信接口和通信总线。 所述处理器， 所述存储器和所述通信接 口通过所述通信总线完成相互间的通信； 所述存储器设置为存放至少一可执行指令， 所述可执行指令使所述处理器执行前述的深度神经网络自锁保护所对应的操作；或者， 所述存储器设置为存放至少一可执行指令和所述深度神经网络， 所述可执行指令使所 述处理器执行前述的深度神经网络自锁保护所对应的操作； 或者， 所述存储器设置为 存放至少一可执行指令和数字密匙， 所述可执行指令和所述数字密匙， 使所述处理器 执行前述的深度神经网络自锁保护所对应的操作。 根据本公开其中一实施例， 提供一种计算机可读存储介质， 所述计算机可读存储 介质存储有： 用于运用上述自锁机制保护深度神经网络的数字信息， 包括： 用于运用 所述自锁机制的预定数字密匙； 用于运用所述自锁机制的学习训练数据样本； 配合所 述的预定数字密匙和所述的学习训练数据样本， 对所述任意深度神经网络进行自锁的 可执行指令； 配合所述的预定数字密匙，对所述的自锁深度神经网络合法使用的可执 行指令； 当没有给出所述的预定数字密匙时， 对自锁的深度神经网络进行保护的可执 行指令； 配合所述的预定数字密匙， 对被非法解锁的所述深度神经网络证明其归属权 的可执行指令。 附图说明
图 1为根据本公开其中一可选实施例的运用自锁机制保护深度神经网络的方法步 骤流程图。 图 2为根据本公开其中一可选实施例的制备并得到带自锁机制的深度神经网络方 法的步骤流程图。 图 3为根据本公开其中一可选实施例的使用带自锁机制的深度神经网络方法的步 骤流程图。 图 4为根据本公开其中一可选实施例的保护带自锁机制的深度神经网络方法的步 骤流程图。 图 5为根据本公开其中一可选实施例的确定涉嫌侵权的深度神经网络之归属权方 法的步骤流程图。 图 6为根据本公开其中一可选实施例的网络的卷积层和自锁层组合实现深度残差 网络的基本功能层的示意图。 图 7为根据本公开其中一可选实施例的制备数字密匙方法的步骤流程图。 图 8为根据本公开其中一可选实施例的利用单一图片制备特定数字密匙的步骤流 程图。 图 9为根据本公开其中一可选实施例的利用若干图片制备特定数字密匙的步骤流 程图。 图 10 为根据本公开其中一可选实施例的利用若干数字信息制备特定数字密匙的 步骤流程图。 图 11 为根据本公开其中一可选实施例的正常使用及保护网络时统计结果的直方 图。 图 12为根据本公开其中一可选实施例的非法解锁网络的性能下降幅度图示。 图 13 为根据本公开其中一可选实施例的任意深度神经网络进行知识产权保护的 系统结构框图。 图 14为根据本公开其中一可选实施例的第一终端的结构示意图。 图 15为根据本公开其中一可选实施例的第二终端的结构示意图。 图 16为根据本公开其中一可选实施例的第三终端的结构示意图。 图 17为根据本公开其中一可选实施例的第四终端的结构示意图。 具体实齡式
下面结合附图 （若干附图中相同的标号表示相同的元素） 和实施例， 对本公开的 具体实施方式做进一步详细说明。以下实施例用于说明本公开，但不用来限制本公开。 凡在本公开的精神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本 公开的保护范围之内。 本领域技术人员可以理解， 本公开实施例中的“第一”， “第二”等术语仅用于区 别不同步骤， 设备， 模块或数据等， 既不代表任何特定技术含义， 也不表示它们之间 的必然逻辑顺序。
实施例一 参照图 1， 示出了根据本公开实施例一运用自锁机制保护深度神经网络的方法步 骤流程图。 本实施例提供了一种运用自锁机制保护深度神经网络的方法， 包括以下步骤。 步骤 S100, 根据待加锁的目标网络结构信息， 自锁性能要求， 制备并得到符合要 求的特定数字密匙。 步骤 S102, 根据特定的数字密匙， 自锁性能要求， 训练数据样本， 目标网络基本 功能， 制备并得到符合基本功能要求的， 带自锁功能的深度神经网络。 步骤 S104, 根据提供的正确数字密匙， 开放网络的基本功能， 对输入数据进行处 理， 并得到正常的数据处理结果。 步骤 S106, 根据提供的不正确数字密匙， 封锁网络的基本功能， 对输入的数据进 行处理， 并得到性能严重下降的， 或不能实现网络基本功能的结果。 步骤 S108, 根据提供的正确数字密匙， 对涉嫌侵权的深度神经网络， 展示并证明 其归属权。 可选地， 步骤 S104, S106, S108, 之间无需遵循必然的先后顺序或者逻辑顺序， 也无需全部执行。
实施例二 参照图 2, 示出了根据本公开实施例二， 根据特定的数字密匙， 制备并得到带自 锁机制的深度神经网络方法的步骤流程图。 本实施例根据特定的数字密匙， 制备并得到带自锁机制的深度神经网络的方法， 包括以下步骤。 步骤 S1020, 根据带标注或者不带标注信息的数据样本， 训练并得到深度神经网 络的第一部分网络参数。 步骤 S1022, 根据不公开的数字密匙和第一部分网络参数的数值， 在训练过程中 计算并得到第二部分网络参数的数值. 步骤 S1024, 根据网络性能， 反复训练并更新得到深度神经网络的第一部分和第 二部分网络参数， 直到网络性能到达设计要求。
实施例三 参照图 3 , 示出了根据本公开实施例三， 根据正确的数字密匙， 使用带自锁机制 的深度神经网络方法的步骤流程图。 本实施例根据特定的数字密匙， 使用带自锁机制的深度神经网络的方法， 包括以 下步骤。 步骤 S1040, 根据提供的正确数字密匙和第一部分网络参数的数值， 计算并得到 正确的第二部分网络参数数值. 步骤 S1042, 根据深度神经网络的第一部分网络参数和正确的第二部分网络参数 数值， 开放网络的基本功能对输入数据进行处理， 并得到正常的数据处理结果。
实施例四 参照图 4, 示出了根据本公开实施例四， 根据不正确的数字密匙， 保护带自锁机 制的深度神经网络方法的步骤流程图。 本实施例根据特定的数字密匙， 使用带自锁机制的深度神经网络的方法， 包括以 下步骤。 步骤 S1060, 根据提供的不正确数字密匙和第一部分网络参数的数值， 计算并得 到不正确的第二部分网络参数数值。 步骤 S1062, 根据深度神经网络的第一部分网络参数和不正确的第二部分网络参 数数值， 锁定网络的基本功能对输入数据进行处理， 并得到性能严重下降的， 或不能 实现网络基本功能的结果。
实施例五 参照图 5, 示出了根据本公开实施例五， 根据特定的数字密匙， 确定涉嫌侵权的 深度神经网络之归属权方法的步骤流程图。 本实施例根据特定的数字密匙， 确定涉嫌侵权的深度神经网络之归属权的方法， 包括以下步骤。 步骤 S1080, 去除非法解锁网络的第二部分网络参数， 代之以正确的数字密匙， 使用并展示网络能够执行其正常功能， 并得到正常的数据处理结果。 步骤 S1082,去除非法解锁网络的第二部分网络参数，代之以不正确的数字密匙， 使用并展示网络不能执行其正常功能， 只能得到性能严重下降的， 或不能实现网络基 本功能的结果。 而且性能下降幅度与预期一致。 参照图 12, 示出了根据本公开实施， 当使用特定的不正确数码密匙时， 非法解锁 网络的性能下降幅度。 图 12中， 右侧深色直方图代表使用正确数字密匙时的图片识别准确率分布，其它 三个直方图代表， 使用不同错误程度的数字密匙时的图片识别准确率分布。 对比非法解锁网络测试得到的直方图分布， 和权利要求方提供的直方图分布， 查 看是否一致。 步骤 S 1084, 综合上述 S 1080, S 1082结果， 展示解锁网络的第一部分网络参数只 能与所提供的正确数字密匙配合作用， 也即证明了网络之归属权， 属于提供正确密匙 的权利要求方。
可选地， 结合上述本公开实施例提供的方法， 所述第一部分网络参数的全体或者 部分， 作为应用于所述预定数字密匙的卷积核， 通过数字卷积运算， 共同决定了所述 第二部分网络参数。 可选地， 结合本公开实施例提供的方法， 上述神经网络的第二部分网络参数， 可 以按如下公式计算：
Y =F Y ( W, p ); (3 =F (3 ( W， p ); 其中， F Y ()， F (3 ()代表选定的密匙函数， W代表第一部分网络参数， p代 表数字密匙。 可选地，结合本公开实施例提供的方法，所述第一部分网络参数的全体或者部分， 作为应用于所述预定数字密匙的卷积核， 通过对所述数字卷积运算结果的进一步数学 变换， 共同决定了所述第二部分的网络参数。 可选地， 结合本公开实施例提供的方法， 上述的数学变换包括数值平均， 极大， 极小， 中值等， 任何可以得到确定结果的数学计算。 可选地， 结合本公开实施例提供的方法， 上述的数字卷积运算可以用神经网络的 卷积层实现。 可选地， 结合本公开实施例提供的方法， 上述神经网络的第二部分网络参数， 可 以用于实现神经网络的自锁层。 其输入输出信号处理方式按如下公式计算：
P(x)= Y x +P 其中， x代表输入信号， P(x) 代表输出信号， Y ， P 为相应的第二部分网络参数。 可选地， 结合本公开实施例提供的方法， 网络的卷积层和自锁层可以组合实现， 更复杂的深度神经网络功能。 可选地， 参照图 6, 示出了结合本公开实施例提供的方法， 网络的卷积层和自锁 层可以组合实现深度残差网络的基本功能层。 可选地， 结合本公开实施例提供的一种网络结构， 所述第一部分网络层级可以是 卷积层或者全连接层。 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层级可以是 批归一化层 ( batch normalization ) o 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层的参数可 以是所述批归一化层的偏置参数 ( bias term )。 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层的参数可 以是所述批归一化层的尺度因子 (scaling factor)。 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层的参数可 以是所述批归一化层的所述偏置参数 (bias term) 和所述尺度因子 (scaling factor)。 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层级可以是 一个额外的密匙变换层， 或者任何实现尺度变换和偏置功能的网络层。 可选地， 结合本公开实施例提供的一种网络结构， 所述第二部分网络层的参数可 以是所述密匙变换层的偏置参数 (bias term) 和尺度因子 (scaling factor)。 可选地， 结合本公开实施例提供的一种网络结构， 所述密匙变换层的所述偏置参 数 (bias term) 和所述尺度因子 (scaling factor)可以是按元素操作的 (elementwise)。 可选地， 结合本公开实施例提供的一种网络结构， 所述密匙变换层的所述偏置参 数 (bias term) 和所述尺度因子 (scaling factor)可以是按通道操作的 (channel- wise)。 可选地， 结合本公开实施例提供的一种网络结构， 所述密匙变换层的所述偏置参 数 (bias term)和所述尺度因子 (scaling factor)可以是混合所述按元素操作和所述按通 道操作的 ( hybrid elementwise and channel- wise )。
实施例六 参照图 7, 示出了本公开实施例六根据网络结构信息， 制备数字密匙方法的步骤 流程图。 本实施例根据网络结构信息， 制备数字密匙的方法， 包括以下步骤。 步骤 S 1000, 根据网络的结构信息， 决定各层级数字密匙的结构尺寸。 步骤 S 1002, 根据数字密匙的结构尺寸， 制备特定的数字密匙。 按不同的密匙使 用要求， 有不同的制备细节步骤。 参照图 8, 步骤 S 10020, 示出了本公开实施例根据数字密匙的结构尺寸， 利用单 一图片制备特定数字密匙的步骤流程图。 步骤 S 100200, 选定某一特定的图片 （包括如个人身份照片， 公司商标图片 logo 等）。 步骤 S 100202, 利用未加锁保护的深度神经网络， 正常处理选定的单一图片。 步骤 S 100204, 收集处理图片时的中间层输出结果。 步骤 S 100206, 将选定的图片和收集的中间层输出结果， 作为最终得到的数字密 匙。 参照图 9, 步骤 S 10022, 示出了本公开实施例根据数字密匙的结构尺寸， 利用若 干图片制备特定数字密匙的步骤流程图。 相比按步骤 S 10020制备的数字密匙， 按步骤 S 10022制备的数字密匙， 能够提供 更强的保护性能。 步骤 S 100220, 选定若干特定的图片 （包括如若干个人身份照片， 若干公司商标 图片 logo等）。 步骤 S 100222, 利用未加锁保护的深度神经网络， 正常处理选定的若干图片。 步骤 S 100224,收集处理若干图片时的中间层输出结果，每一图片对应一组结果。 步骤 S 100226, 按特定的次序混合若干图片和中间层结果， 再选择其中一种混合 结果， 作为最终得到的数字密匙。 参照图 10, 步骤 S 10024, 示出了本公开实施例根据数字密匙的结构尺寸， 利用若 干数字信息， 制备特定数字密匙的步骤流程图。 步骤 S 100240, 选定若干特定的数字信息 （包括如若干个人语音信号， 数字密码 等）。 步骤 S 100242,利用未加锁保护的深度神经网络，正常处理选定的若干数字信息。 步骤 S 100244， 收集处理若干数字信息时的中间层输出结果， 每一种输入对应一 组结果。 步骤 S 100246, 按特定的次序混合若干数字信息和中间层结果， 再选择其中一种 混合结果， 作为最终得到的数字密匙。 相比按步骤 S 10022制备的数字密匙， 按步骤 S 10024制备的数字密匙， 能够提供 更全面的证明归属权的数字信息 （不仅仅是局限于图片）。
实施例七 参照图 11， 示出了本公开实施例应用于加锁图片识别深度神经网络， 正常使用及 保护网络时统计结果的直方图。 图中横轴为图片识别准确率， 纵轴为多次实验结果的直方图分布。 图中右侧高度达 1.0的垂直线代表， 未加锁网络的应用于 CIFAR10测试集的图片 识别准确率 （约 92%）。 图中右侧直方图代表， 若干次加锁实验中， 提供正确数字密匙时， 正常使用加锁 网络时的图片识别准确率的分布情况， 其均值仍然为 92%， 即原未加锁网络的图片识 别功能， 没有受到自锁机制影响。 图中左侧直方图代表若干次实验中， 提供不正确密匙时， 保护网络的图片识别准 确率的分布情况， 其均值约为 10%， 与随机猜测的结果相当， 即原未加锁网络的图片 识别功能， 完全被自锁功能抑制。
实施例八 参照图 13 , 示出了根据本公开实施例运用自锁机制保护深度神经网络的系统结构 框图。 本实施例中运用自锁机制保护深度神经网络的系统， 包括以下模块。 模块 M100, 设置为根据待加锁的目标网络结构信息， 自锁性能要求， 制备并得 到符合要求的特定数字密匙。 模块 M102, 设置为根据特定的数字密匙， 自锁性能要求， 训练数据样本， 目标 网络基本功能， 制备并得到符合基本功能要求的， 带自锁功能的深度神经网络。 模块 M104, 设置为根据提供的正确数字密匙， 开放网络的基本功能， 对输入数 据进行处理， 并得到正常的数据处理结果。 模块 M106, 设置为根据提供的不正确数字密匙， 封锁网络的基本功能， 对输入 的数据进行处理， 并得到性能严重下降的， 或不能实现网络基本功能的结果。 模块 M108, 设置为根据提供的正确数字密匙， 对涉嫌侵权的深度神经网络， 展 示并证明其归属权。 可选地，模块 M104, M106, M108,之间无需遵循必然的先后顺序或者逻辑顺序， 所以模块也无需全部包括在同一个物理系统中。
实施例九 参照图 14, 示出了根据本公开实施例九的第一终端的结构示意图， 本公开具体实 施例并不对第一终端的具体实现做限定。 如图 14 所示， 该第一终端 T110 包括处理器 (processor)TmO、 通信接口 (Communications Interface)! 1120、 存储器 (memory array)T1130和总线 T1140。 其中， 处理器 T1110、 通信接口 T1120、 以及存储器 T1130通过总线 T1140完成相互间的通 信。 通信接口 T1120设置为与与其它设备通信， 其中包括其它客户端、 服务器及共享 存储等。 处理器 T1110设置为执行程序 T1100,具体可执行上述方法实施例中的相关步骤。 处理器 T1110可以是一个中央处理器 CPU,或者是专用集成电路 ASIC(Application Specific Integrated Circuit),或者是被配置成实施本公开实施例的一个或多个集成电路。 处理器 T1110可以是应用于云计算中心，移动设备，可穿戴设备，智能视频终端， 车载设备及其他交通工具， 物联网设备 (IoT devices) 等中的中央处理单元， 也可以 是应用于图形加速器 (GPU)， 张量处理器 (TPU)， 专用人工智能芯片等， 特定硬件 架构中的逻辑与数值运算单元。 存储器 T1130设置为存放文件。 存储器 T1130可以包含高速 RAM存储器， 也可 以还包括非易失性存储器 (non-volatile memory) , 例如至少一个磁盘存储器。 存储器 T1130也可以是存储器阵列。 存储器 T1130还可以被分块， 并且所述块可按一定的规 则组合成虚拟卷。 在一种可选的实施方式中， 上述程序可为包括计算机操作指令的程序代码。 该程 序具体可用于： 据网络结构信息， 提供制备数字密匙的方法， 包括： 根据网络的结构信息， 决定各层级数字密匙的结构尺寸。 根据数字密匙的结构尺寸， 按不同的密匙使用要求， 提供制备不同密匙的方法， 包括以下： 在一个可选实施例中， 根据数字密匙的结构尺寸， 提供利用单一图片制备特定数 字密匙的方法，包括：选定某一特定的图片 (包括如个人身份照片，公司商标图片 logo 等)； 利用未加锁保护的深度神经网络， 正常处理选定的单一图片； 收集处理图片时的 中间层输出结果;将选定的图片和收集的中间层输出结果，作为最终得到的数字密匙； 在一个可选实施例中， 根据数字密匙的结构尺寸， 提供利用若干图片制备特定数 字密匙的方法， 包括： 选定若干特定的图片 (包括如若干个人身份照片， 若干公司商 标图片 logo等)； 利用未加锁保护的深度神经网络， 正常处理选定的若干图片； 收集 处理若干图片时的中间层输出结果， 每一图片对应一组结果； 按特定的次序混合若干 图片和中间层结果， 再选择其中一种混合结果， 作为最终得到的数字密匙； 在一个可选实施例中， 根据数字密匙的结构尺寸， 提供利用若干数字信息， 制备 特定数字密匙的方法， 包括： 选定若干特定的数字信息 (包括如若干个人语音信号， 数字密码等)； 利用未加锁保护的深度神经网络， 正常处理选定的若干数字信息； 收集 处理若干数字信息时的中间层输出结果， 每一种输入对应一组结果； 按特定的次序混 合若干数字信息和中间层结果，再选择其中一种混合结果，作为最终得到的数字密匙；
实施例十 参照图 15, 示出了根据本公开实施例十的第二终端的结构示意图， 本公开具体实 施例并不对第二终端的具体实现做限定。 如图 15 所示， 该第二终端 T120 包括处理器 (processor)T1210、 通信接口 (Communications Interface)! 1220、 存储器 (memory array)T1230和总线 T1240。 其中， 处理器 T1210、 通信接口 T1220、 以及存储器 T1230通过总线 T1240完成相互间的通 信。 通信接口 T1220设置为与与其它设备通信， 其中包括其它客户端、 服务器及共享 存储等。 处理器 T1210设置为执行程序 T1200,具体可执行上述方法实施例中的相关步骤。 处理器 T1210可以是一个中央处理器 CPU,或者是专用集成电路 ASIC(Application Specific Integrated Circuit),或者是被配置成实施本公开实施例的一个或多个集成电路。 处理器 T1210是应用于云计算中心， 移动设备， 可穿戴设备， 智能视频终端， 车 载设备及其他交通工具， 物联网设备 (IoT devices) 等中的中央处理单元， 也可以是 应用于图形加速器 ( GPU)， 张量处理器 (TPU)， 专用人工智能芯片等， 特定硬件架 构中的逻辑与数值运算单元。 存储器 T1230设置为存放文件。 存储器 T1230可以包含高速 RAM存储器， 也可 以还包括非易失性存储器 (non-volatile memory) , 例如至少一个磁盘存储器。 存储器 T1230也可以是存储器阵列。 存储器 T1230还可以被分块， 并且所述块可按一定的规 则组合成虚拟卷。 在一种可选的实施方式中， 上述程序可为包括计算机操作指令的程序代码。 该程 序具体可用于： 根据特定的数字密匙， 提供一种制备并得到带自锁机制的深度神经网络的方法， 包括： 根据带标注或者不带标注信息的数据样本， 训练并得到深度神经网络的第一部分 网络参数； 根据不公开的数字密匙和第一部分网络参数的数值， 在训练过程中计算并 得到第二部分网络参数的数值； 根据网络性能， 反复训练并更新得到深度神经网络的 第一部分和第二部分网络参数， 直到网络性能到达设计要求。
实施例十一 参照图 16, 示出了根据本公开实施例十一的第三终端的结构示意图， 本公开具体 实施例并不对第三终端的具体实现做限定。 如图 16 所示， 该第三终端 T130 包括处理器 (processor)T1310、 通信接口 (Communications Interface)! 1320、 存储器 (memory array)T1330和总线 T1340。 其中， 处理器 T1310、 通信接口 T1320、 以及存储器 T1330通过总线 T1340完成相互间的通 信。 通信接口 T1320设置为与与其它设备通信， 其中包括其它客户端、 服务器及共享 存储等。 处理器 T1310设置为执行程序 T1300， 具体可执行上述方法实施例中的相关步骤。 处理器 T1310可以是一个中央处理器 CPU,或者是专用集成电路 ASIC(Application Specific Integrated Circuit),或者是被配置成实施本公开实施例的一个或多个集成电路。 处理器 T1310可以是应用于云计算中心，移动设备，可穿戴设备，智能视频终端， 车载设备及其他交通工具， 物联网设备 (IoT devices) 等中的中央处理单元， 也可以 是应用于图形加速器 (GPU)， 张量处理器 (TPU)， 专用人工智能芯片等， 特定硬件 架构中的逻辑与数值运算单元。 存储器 T1330设置为存放文件。 存储器 T1330可以包含高速 RAM存储器， 也可 以还包括非易失性存储器 (non-volatile memory) , 例如至少一个磁盘存储器。 存储器 T1330也可以是存储器阵列。 存储器 T1330还可以被分块， 并且所述块可按一定的规 则组合成虚拟卷。 在一种可选的实施方式中， 上述程序可为包括计算机操作指令的程序代码。 该程 序具体可用于： 在一个可选实施例中， 根据正确的数字密匙， 提供一种使用带自锁机制的深度神 经网络的方法， 包括： 根据提供的正确数字密匙和第一部分网络参数的数值， 计算并 得到正确的第二部分网络参数数值； 根据深度神经网络的第一部分网络参数和正确的 第二部分网络参数数值， 开放网络的基本功能对输入数据进行处理， 并得到正常的数 据处理结果。 在一个可选实施例中， 根据不正确的数字密匙， 提供一种保护带自锁机制的深度 神经网络的方法， 包括： 根据提供的不正确数字密匙和第一部分网络参数的数值， 计 算并得到不正确的第二部分网络参数数值； 根据深度神经网络的第一部分网络参数和 不正确的第二部分网络参数数值， 锁定网络的基本功能对输入数据进行处理， 并得到 性能严重下降的， 或不能实现网络基本功能的结果。
实施例十二 参照图 17, 示出了根据本公开实施例十二的第四终端的结构示意图， 本公开具体 实施例并不对第四终端的具体实现做限定。 如图 17 所示， 该第四终端 T140 包括处理器 (processor)T1410、 通信接口 (Communications Interface)! 1420、 存储器 (memory array)T1430和总线 T1440。 其中， 处理器 T1410、 通信接口 T1420、 以及存储器 T1430通过总线 T1440完成相互间的通 信。 通信接口 T1420设置为与与其它设备通信， 其中包括其它客户端、 服务器及共享 存储等。 处理器 T1410设置为执行程序 T1400， 具体可执行上述方法实施例中的相关步骤。 处理器 T1410可以是一个中央处理器 CPU,或者是专用集成电路 ASIC(Application Specific Integrated Circuit),或者是被配置成实施本公开实施例的一个或多个集成电路。 处理器 T1410可以是应用于云计算中心，移动设备，可穿戴设备，智能视频终端， 车载设备及其他交通工具， 物联网设备 (IoT devices ) 等中的中央处理单元， 也可以 是应用于图形加速器 ( GPU)， 张量处理器 ( TPU)， 专用人工智能芯片等， 特定硬件 架构中的逻辑与数值运算单元。 存储器 T1430设置为存放文件。 存储器 T1430可以包含高速 RAM存储器， 也可 以还包括非易失性存储器 (non-volatile memory) , 例如至少一个磁盘存储器。 存储器 T1430也可以是存储器阵列。 存储器 T1430还可以被分块， 并且所述块可按一定的规 则组合成虚拟卷。 在一种可选的实施方式中， 上述程序可为包括计算机操作指令的程序代码。 该程 序具体可用于： 根据本公开实施例， 提供一种根据特定的数字密匙， 确定涉嫌侵权的深度神经网 络之归属权的方法， 包括： 在一个可选实施例中， 去除非法解锁网络的第二部分网络参数， 代之以正确的数 字密匙， 使用并展示网络能够执行其正常功能， 并得到正常的数据处理结果； 在一个 可选实施例中， 去除非法解锁网络的第二部分网络参数， 代之以不正确的数字密匙， 使用并展示网络不能执行其正常功能， 只能得到性能严重下降的， 或不能实现网络基 本功能的结果。 而且性能下降幅度与预期一致； 综合上述结果， 展示解锁网络的第一 部分网络参数只能与所提供的正确数字密匙配合作用， 也即证明了网络之归属权， 属 于提供正确密匙的权利要求方。

Claims

权 利 要 求 书
1. 一种运用自锁机制保护深度神经网络的方法， 包括： 配合预定的数字密匙和学习训练数据样本， 对所述深度神经网络进行自锁， 得到自锁的深度神经网络； 如果配合预定的数字密匙使用所述自锁的深度神经网络， 则得到正常发挥预 定功能的第一特征信息； 如果未配合所述预定的数字密匙使用所述自锁的深度神 经网络， 则得到功能缺失或者性能下降的第二特征信息； 其中， 在所述自锁的深度神经网络被非法解锁的情况下， 配合所述预定的数 字密匙使用所述自锁的深度神经网络得到第三特征信息， 其中， 所述第三特征信 息为证明所述自锁的深度神经网络的归属权的统计特征。
2. 根据权利要求 1所述的方法， 其中， 配合所述预定的数字密匙和所述学习训练数 据样本， 对所述深度神经网络进行自锁包括： 根据带标注或者不带标注信息的所述学习训练数据样本， 训练并更新所述深 度神经网络的第一部分网络参数， 其中， 所述第一部分网络参数参与实现所述深 度神经网络的预定功能， 并与所述预定的数字密匙共同确定第二部分网络参数的 数值； 根据所述预定的数字密匙和所述第一部分网络参数的数值， 在训练过程中计 算并更新所述第二部分网络参数的数值， 以得到所述深度神经网络的预定功能， 其中， 所述深度神经网络的预定功能包括以下至少之一： 图像分类， 自然语言处 理， 并且所述的第一部分网络参数与所述预定的数字密匙具有关联性， 所述第一 部分网络参数和所述第二部分网络参数共同构成所述深度神经网络的全部参数， 所述第一部分网络参数， 第二部分网络参数以及所述预定的数字密匙共同构成使 用所述深度神经网络所需的全部先决信息并且共同作用于所需处理的输入数字信 号。
3. 根据权利要求 2所述的方法， 其中， 配合所述预定的数字密匙使用所述自锁的深 度神经网络包括： 根据所述第一部分网络参数和所述预定的数字密匙， 计算并设定所述第二部 分网络参数的数值； 采用所述第一部分网络参数和所述第二部分网络参数， 控制所述自锁的深度 神经网络执行数据处理操作。
4. 根据权利要求 2所述的方法， 其中， 未配合所述预定的数字密匙使用所述自锁的 深度神经网络包括： 获取非预定的数字密匙和非法拷贝的第一部分网络参数， 计算得到异常的第 二部分网络参数； 使用所述非法拷贝的第一部分网络参数和所述异常的第二部分网络参数， 得 到功能缺失或者性能下降的所述第二特征信息。
5. 根据权利要求 2所述的方法， 其中， 配合所述预定的数字密匙使用所述自锁的深 度神经网络得到所述第三特征信息包括： 在所述自锁的深度神经网络被非法解锁的情况下， 去除非法解锁得到的深度 神经网络中的所述第二部分网络参数， 利用所述预定的数字密匙使用并展示所述 深度神经网络的预定功能， 得到第一结果， 以及利用非预定的数字密匙使用并展 示所述深度神经网络不能执行预定功能， 或者， 所述预定功能的性能下降并且下 降幅度与预计幅度一致， 得到第二结果； 结合所述第一结果和所述第二结果确定所述预定的数字密匙与所述第一部分 网络参数具有关联性， 其中， 所述关联性在生成所述深度神经网络时被赋予。
6. 根据权利要求 1所述的方法， 其中， 所述方法还包括： 针对所述深度神经网络的多层神经网络的第一部分网络层级， 利用所述第一 部分网络层级的网络参数和不公开的数字密匙， 按照预设方式计算得到一个或多 个数值； 针对所述多层神经网络的第二部分网络层级， 利用所述一个或多个数值设定 所述第二部分网络层级的网络参数； 采用所述第一部分网络层级和所述第二部分网络层级， 构建所述多层神经网 络的网络结构， 并执行所述深度神经网络的预定功能， 其中， 所述深度神经网络 的预定功能包括以下至少之一： 图像分类， 自然语言处理； 其中， 所述第一部分网络层级是卷积层或者全连接层； 所述第二部分网络层级是批归一化层， 所述第二部分网络层级的网络参数是 所述批归一化层的偏置参数和 /或所述批归一化层的尺度因子； 或者， 所述第二部分网络层级是一个额外的密匙变换层， 所述第二部分网络 层级的网络参数是所述密匙变换层的偏置参数和尺度因子， 所述偏置参数和所述 尺度因子按元素操作和 /或按通道操作； 或者， 所述第二部分网络层级是任何实现尺度变换和偏置功能的网络层。
7. 根据权利要求 1所述的方法， 其中， 所述方法还包括： 将预先选定的不公开的一组或者多组数字信息设置为预定的数字密匙，其中， 所述预定的数字密匙分发给合法授权的深度神经网络用户， 所述预定的数字密匙 由所述深度神经网络的所有者来选定或者由所述合法授权的深度神经网络用户采 用预设工具来生成； 所述预定的数字密匙包括预先选定的不公开的一组或者多组图片； 所述一组或者多组图片用于确定所述所有者的身份信息，包括以下至少之一: 所述所有者的护照照片、 身份证照片、 签名、 指纹图片、 虹膜图片、 法人团体徽 标、 公司标识； 或者， 所述一组或者多组图片用于确定合法授权的所述深度神经 网络的用户法人的身份信息， 包括以下至少之一： 所述用户法人的护照照片、 身 份证照片、 签名、 指纹图片、 虹膜图片、 法人团体徽标、 公司标识； 或者，所述预定的数字密匙包括预先选定的不公开的一组或者多组语音信号; 所述一组或者多组语音信号用于确定所述所有者的身份信息， 包括以下至少 之一： 所述所有者的声纹录音； 或者， 所述一组或者多组图片用于确定合法授权 的所述深度神经网络的用户法人的身份信息， 包括以下至少之一： 所述用户法人 的声纹录音； 或者，所述预定的数字密匙包括预先选定的不公开的一组或者多组数字密码。
8. 一种运用自锁机制保护深度神经网络的系统， 包括： 配合预定的数字密匙和学习训练数据样本， 对所述深度神经网络进行自锁， 得到自锁的深度神经网络的第一模块； 配合所述预定的数字密匙，对所述自锁的深度神经网络合法使用的第二模块; 当没有给出所述预定的数字密匙时， 对所述自锁的深度神经网络进行保护的 第三模块； 配合所述预定的数字密匙， 对被非法解锁的所述深度神经网络确定归属权的 第四模块； 其中， 所述第二模块和所述第三模块在物理上具有共同的可复用的子模块， 而在功能上则相互独立实现； 所述第一模块还设置为执行以下步骤： 根据带标注或者不带标注信息的所述学习训练数据样本， 训练并更新所述深 度神经网络的第一部分网络参数， 其中， 所述第一部分网络参数参与实现所述深 度神经网络的预定功能， 并与所述预定的数字密匙共同确定第二部分网络参数的 数值； 根据所述预定的数字密匙和所述第一部分网络参数的数值， 在训练过程中计 算并更新所述第二部分网络参数的数值， 以得到所述深度神经网络的预定功能， 其中， 所述深度神经网络的预定功能包括以下至少之一： 图像分类， 自然语言处 理； 所述第二模块还设置为执行以下步骤： 根据所述第一部分网络参数和所述预定的数字密匙， 计算并设定所述第二部 分网络参数的数值； 采用所述第一部分网络参数和所述第二部分网络参数， 控制所述自锁的深度 神经网络执行数据处理操作； 所述第三模块还设置为执行以下步骤： 获取非预定的数字密匙和非法拷贝的第一部分网络参数， 计算得到异常的第 二部分网络参数； 使用所述非法拷贝的第一部分网络参数和所述异常的第二部分网络参数， 得 到功能缺失或者性能下降的所述第二特征信息； 所述第四模块还设置为执行以下步骤： 在所述自锁的深度神经网络被非法解锁的情况下， 去除非法解锁得到的深度 神经网络中的所述第二部分网络参数， 利用所述预定的数字密匙使用并展示所述 深度神经网络的预定功能， 得到第一结果， 以及利用非预定的数字密匙使用并展 示所述深度神经网络不能执行预定功能， 或者， 所述预定功能的性能下降并且下 降幅度与预计幅度一致， 得到第二结果； 结合所述第一结果和所述第二结果确定所述预定的数字密匙与所述第一部分 网络参数具有关联性， 其中， 所述关联性在生成所述深度神经网络时被赋予。
9. 一种运用自锁机制保护深度神经网络的终端， 包括： 处理器， 存储器， 通信接口 和通信总线； 其中， 所述处理器， 所述存储器和所述通信接口通过所述通信总线完成相互 间的通信； 所述存储器设置为存放至少一可执行指令， 所述可执行指令使所述处理器执 行深度神经网络自锁保护所对应的操作； 或者， 所述存储器设置为存放至少一可执行指令和所述深度神经网络， 所述 可执行指令使所述处理器执行深度神经网络自锁保护所对应的操作； 或者， 所述存储器设置为存放至少一可执行指令和数字密匙， 所述可执行指 令和所述数字密匙， 所述可执行指令使所述处理器执行深度神经网络自锁保护所 对应的操作。
PCT/CN2020/072807 2019-02-28 2020-01-17 运用自锁机制保护深度神经网络的方法、系统及终端 WO2020173252A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910158611.1A CN109919303B (zh) 2019-02-28 2019-02-28 一种深度神经网络的知识产权保护方法、系统及终端
CN201910158611.1 2019-02-28

Publications (1)

Publication Number Publication Date
WO2020173252A1 true WO2020173252A1 (zh) 2020-09-03

Family

ID=66963044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/072807 WO2020173252A1 (zh) 2019-02-28 2020-01-17 运用自锁机制保护深度神经网络的方法、系统及终端

Country Status (2)

Country Link
CN (1) CN109919303B (zh)
WO (1) WO2020173252A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919303B (zh) * 2019-02-28 2023-09-19 笵成科技南京有限公司 一种深度神经网络的知识产权保护方法、系统及终端
CN110610082A (zh) * 2019-09-04 2019-12-24 笵成科技南京有限公司 一种基于dnn用于护照抵御模糊攻击的系统与方法
CN112750064A (zh) 2019-10-29 2021-05-04 阿里巴巴集团控股有限公司 一种水印信息嵌入方法以及装置
CN111581671B (zh) * 2020-05-11 2021-05-25 笵成科技南京有限公司 一种深度神经网络与区块链相结合的数字护照保护方法
CN112395635B (zh) * 2021-01-18 2021-05-04 北京灵汐科技有限公司 图像处理、密钥生成、训练方法及装置、计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629193A (zh) * 2018-04-26 2018-10-09 成都大象分形智能科技有限公司 一种针对人工神经网络模型的加密保护系统及方法
US20180341848A1 (en) * 2016-01-06 2018-11-29 International Business Machines Corporation Personalized eeg-based encryptor
CN108985448A (zh) * 2018-06-06 2018-12-11 北京大学 神经网络表示标准框架结构
CN109002883A (zh) * 2018-07-04 2018-12-14 中国科学院计算技术研究所 卷积神经网络模型计算装置及计算方法
CN109919303A (zh) * 2019-02-28 2019-06-21 范力欣 一种深度神经网络的知识产权保护方法、系统及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038544B (zh) * 2017-12-04 2020-11-13 华南师范大学 基于大数据和深度学习的神经网络深度学习方法和系统
US10726858B2 (en) * 2018-06-22 2020-07-28 Intel Corporation Neural network for speech denoising trained with deep feature losses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341848A1 (en) * 2016-01-06 2018-11-29 International Business Machines Corporation Personalized eeg-based encryptor
CN108629193A (zh) * 2018-04-26 2018-10-09 成都大象分形智能科技有限公司 一种针对人工神经网络模型的加密保护系统及方法
CN108985448A (zh) * 2018-06-06 2018-12-11 北京大学 神经网络表示标准框架结构
CN109002883A (zh) * 2018-07-04 2018-12-14 中国科学院计算技术研究所 卷积神经网络模型计算装置及计算方法
CN109919303A (zh) * 2019-02-28 2019-06-21 范力欣 一种深度神经网络的知识产权保护方法、系统及终端

Also Published As

Publication number Publication date
CN109919303A (zh) 2019-06-21
CN109919303B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
WO2020173252A1 (zh) 运用自锁机制保护深度神经网络的方法、系统及终端
Darvish Rouhani et al. Deepsigns: An end-to-end watermarking framework for ownership protection of deep neural networks
Monga et al. A clustering based approach to perceptual image hashing
CN107240061B (zh) 一种基于动态bp神经网络的水印嵌入、提取方法与装置
Wen et al. Romark: A robust watermarking system using adversarial training
Wang et al. Non-transferable learning: A new approach for model ownership verification and applicability authorization
Cui et al. Diffusionshield: A watermark for copyright protection against generative diffusion models
Xiang et al. A new convolutional neural network-based steganalysis method for content-adaptive image steganography in the spatial domain
Pan et al. Metav: A meta-verifier approach to task-agnostic model fingerprinting
Liu et al. Making DeepFakes more spurious: evading deep face forgery detection via trace removal attack
Zheng et al. A DNN fingerprint for non-repudiable model ownership identification and piracy detection
Singh et al. Steganalysis using learned denoising kernels
CN112231745A (zh) 一种基于几何变形的大数据安全隐私保护方法、存储介质
Xie et al. Deepmark: Embedding watermarks into deep neural network using pruning
Jia et al. Subnetwork-lossless robust watermarking for hostile theft attacks in deep transfer learning models
Pan et al. Cracking white-box dnn watermarks via invariant neuron transforms
Ren et al. Protecting intellectual property with reliable availability of learning models in ai-based cybersecurity services
WO2020233322A1 (zh) 一种基于描述熵的大数据移动软件相似性智能检测方法
Zhao et al. Constructing near-optimal double-layered syndrome-trellis codes for spatial steganography
Wójtowicz et al. Biometric watermarks based on face recognition methods for authentication of digital images
Chandrashekar et al. Fusion of multiple data mining techniques for effective network intrusion detection: a contemporary approach
Shen et al. Relational database watermarking for data tracing
Latha et al. An efficient wavelet transform based steganography technique using chaotic map
Ye et al. Deep neural networks watermark via universal deep hiding and metric learning
Xiong et al. Perceptual image hashing based on multitask neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20762295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20762295

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20762295

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 180322)

122 Ep: pct application non-entry in european phase

Ref document number: 20762295

Country of ref document: EP

Kind code of ref document: A1