WO2018010603A1 - 基于视频云存储系统的存储模式升级方法、装置和系统 - Google Patents

基于视频云存储系统的存储模式升级方法、装置和系统 Download PDF

Info

Publication number
WO2018010603A1
WO2018010603A1 PCT/CN2017/092201 CN2017092201W WO2018010603A1 WO 2018010603 A1 WO2018010603 A1 WO 2018010603A1 CN 2017092201 W CN2017092201 W CN 2017092201W WO 2018010603 A1 WO2018010603 A1 WO 2018010603A1
Authority
WO
WIPO (PCT)
Prior art keywords
management node
configuration file
cloud storage
node
management
Prior art date
Application number
PCT/CN2017/092201
Other languages
English (en)
French (fr)
Inventor
余玲
许爱秋
汪渭春
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Publication of WO2018010603A1 publication Critical patent/WO2018010603A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications

Definitions

  • the present application relates to the field of cloud storage, and in particular to a storage mode upgrade method, apparatus and system based on a video cloud storage system.
  • the storage modes of the video cloud storage system include Cloud Storage HA (High Availability) mode and cloud storage cluster mode.
  • Cloud Storage HA High Availability
  • cloud storage cluster mode In some cases, combined with the current project scale problem and cost problem, consider using the cloud storage HA mode. After the project runs, in the later stage of the project operation, due to the increase of the project scale, the cloud storage HA mode cannot meet the project. The actual application needs to be run, so it needs to be upgraded to the cloud storage cluster mode to meet the actual application requirements of the project during its operation.
  • the cloud storage HA mode and the cloud storage cluster mode are two distinct deployment modes.
  • the cloud storage HA mode needs to be interrupted.
  • manual intervention is required to manually import the video storage data of the cloud storage HA mode environment into the cloud storage cluster mode environment, because the manual operation process takes a long time and is prone to error. , increased the risk of upgrade, and due to the need to interrupt the cloud storage work during the upgrade, may result in the loss of some video storage data.
  • the embodiment of the present application provides a storage mode upgrade method, apparatus, and system based on a video cloud storage system, so as to at least solve the working mode of the upgraded video cloud storage system in the prior art, and the video storage is caused by interrupting the storage work.
  • Technical problem of data loss is a storage mode upgrade method, apparatus, and system based on a video cloud storage system, so as to at least solve the working mode of the upgraded video cloud storage system in the prior art, and the video storage is caused by interrupting the storage work.
  • a storage based on a video cloud storage system includes: after receiving the upgrade instruction for upgrading the video cloud storage system, backing up the index data on the first management node to obtain backup data, where the video cloud storage system The first management node and the second management node are both in the HA high availability mode; the cluster feature information is read, and the video is configured by using the cluster feature information.
  • a configuration file of one or more newly added third management nodes in the cloud storage system and importing the backup data into the third management node; configuring the first management node and the using the cluster feature information a configuration file of the second management node; synchronizing information of the configuration file of the first management node, the configuration file of the second management node, and the configuration file of the third management node, so that the first management node The second management node and the third management node are running in a cluster mode.
  • backing up the index data on the first management node and the second management node, and obtaining the backup data includes: determining whether the index data on the first management node and the second management node are synchronized; And performing synchronization on the index data on the primary management node, where the primary management node is the first management node and the second management node.
  • the cluster feature information includes: a data backup number and an IP address of the cluster host, where at least the IP address, port, and port of the second management node are recorded in the configuration file of the second management node.
  • the information synchronization between the configuration file of the first management node, the configuration file of the second management node, and the configuration file of the third management node includes: at the first management node and the second management Adding information of a node IP address and a port of the third management node to a configuration file of the node; and adding a node IP of the first management node and the second management node in a configuration file of the third management node Address and port information.
  • the upgrade method further includes: determining whether the backup data is successfully imported, and determining whether the third management node is running normally; If the backup data import is not successful or the third management node is not working properly, then The operation of configuring the configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information is performed back.
  • the upgrading method further includes: obtaining an upgrade The new index information of the unbacked video storage data generated in the process; the new index information is saved in the at least one management node in the video cloud storage system, where the at least one management node includes: The first management node, the second management node, and the third management node are described.
  • a storage mode upgrading apparatus based on a video cloud storage system.
  • the upgrading apparatus includes: a backup module, configured to receive an upgrade instruction for upgrading a video cloud storage system. Backing up the index data of the first management node to obtain backup data, where the video cloud storage system includes the first management node and the second management node, the first management node and the second management node.
  • the processing module is configured to read the cluster feature information, and configure the configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and Importing the backup data into the third management node; a configuration module, configured to configure, by using the cluster feature information, a configuration file of the first management node and the second management node; and a synchronization module, configured to: a configuration file of the first management node, a configuration file of the second management node, and a configuration file of the third management node Synchronized, so that the first management node, the second management node, and the
  • the backup module includes: a determining submodule, configured to determine whether index data on the first management node and the second management node are synchronized; and a first backup submodule, if the first management node is used Synchronizing with the index data on the second management node, determining to back up the index data on the primary management node, where the primary management node provides external information to the first management node and the second management node a management node of the cloud storage service; a second backup submodule, configured to: if the index data on the first management node and the second management node are out of synchronization, the index on the first management node and the second management node After the data is synchronized, the index data on the primary management node is backed up.
  • the cluster feature information includes at least: a data backup number and an IP address of the cluster host.
  • the configuration file of the second management node records at least the IP address and port of the second management node, the IP address of the cluster host, and the number of data backups; the configuration file of the first management node.
  • the synchronization module includes: a first synchronization submodule, configured to be in the first management Adding information of a node IP address and a port of the third management node to a configuration file of the node and the second management node; and a second synchronization submodule for adding a configuration file to the configuration file of the third management node Information about a node IP address and a port of the first management node and the second management node.
  • the upgrading apparatus further includes: a determining module, configured to: after the backup data is imported into the third management node, determine whether the backup data is successfully imported, and determine whether the third management node is running Normally, the returning module is configured to: if the backup data import is unsuccessful or the third management node is not working properly, return to perform one or more new configurations in the video cloud storage system by using the cluster feature information The operation of the configuration file of the third management node.
  • a determining module configured to: after the backup data is imported into the third management node, determine whether the backup data is successfully imported, and determine whether the third management node is running Normally, the returning module is configured to: if the backup data import is unsuccessful or the third management node is not working properly, return to perform one or more new configurations in the video cloud storage system by using the cluster feature information The operation of the configuration file of the third management node.
  • the upgrading apparatus further includes: an acquiring module, configured to perform information synchronization on a configuration file of the first management node, a configuration file of the second management node, and a configuration file of the third management node. Then, the new index information of the unbacked video storage data generated in the process of the upgrade is obtained; the saving module is configured to save the new index information into at least one management node in the video cloud storage system, where The at least one management node includes: the first management node, the second management node, and the third management node.
  • a video cloud storage system including: a first management node, where the first management node runs in a HA high availability mode; and a second management node that runs on the second management node.
  • the third management node is configured to import backup data of the index data on the first management node and the second management node when receiving an upgrade instruction for upgrading the video cloud storage system And configuring the corresponding configuration file by using the cluster feature information; the first management node and the second management node are further configured to configure a corresponding configuration file by using the cluster feature information; the first management node, the first The second management node and the third management node are further configured to perform information synchronization on a configuration file of the first management node, a configuration file of the second management node, and a configuration file of the third management node, so as to The first management node, the second management node, and the third management node operate in a cluster mode.
  • an electronic device includes: a processor and a memory, wherein the memory is configured to store executable program code, and the processor operates by reading executable program code stored in the memory.
  • a program corresponding to the executable program code for performing the above upgrade method is:
  • an executable program code for being executed to perform the above upgrade method is provided.
  • a storage medium for storing executable program code for being executed to perform the above upgrade method.
  • the first management node and the second management node (running in the HA high availability mode before the upgrade) are automatically started to index data.
  • Backup operation after the backup, configure the cluster feature information on the newly added third management node to configure it as a stand-alone pseudo-cluster environment, and then configure the first management node and the second management node by using the cluster feature information, and
  • the node information on the class terminal node is synchronized to configure the first management node, the second management node, and the third management node to the same cluster.
  • the data backup is automatically started, the cluster mode information on the two types of terminal nodes is automatically configured, and the node information on the two types of terminal nodes is automatically synchronized, in the whole process.
  • No manual intervention is required, and the storage work of the video cloud storage system is not interrupted, and the working mode of using the upgraded video cloud storage system in the prior art is solved, and the technical problem of video storage data loss due to interruption of storage work is required.
  • FIG. 1 is a flowchart of a storage mode upgrade method based on a video cloud storage system according to an embodiment of the present application
  • FIG. 3 is a schematic diagram of a storage mode upgrading apparatus based on a video cloud storage system according to an embodiment of the present application
  • FIG. 4 is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • Video cloud storage system Based on network technology and distributed technology, the software stores the storage devices in the network together and provides a system for video storage data storage and service access.
  • Cloud storage HA mode The High Availability (HA) mode of the video cloud storage system consists of two cloud storage management nodes, which are divided into host nodes and standby nodes. This mode provides services only to one node. When there is a problem with the management node of the storage service, another node will detect the abnormality and immediately take over the cloud storage service to ensure that the cloud storage service is not interrupted.
  • HA High Availability
  • Cloud storage cluster mode The video cloud storage system cluster mode is composed of three or more cloud storage management nodes. In this mode, all management nodes provide external services. When the client requests cloud storage services, the cloud storage center The scheduling algorithm selects a management node according to the performance and load of the nodes in the cluster, and allocates the request to the node for processing. When an application failure occurs in any of the management nodes, the customer can quickly connect to the new management node to ensure that the cloud storage service is not interrupted.
  • Management node the core node of the video cloud storage system, cloud storage resource management and scheduling controller.
  • an embodiment of a storage mode upgrade method based on a video cloud storage system is provided. It should be noted that the steps shown in the flowchart of the drawing may be in a computer such as a set of computer executable instructions. Executed in the system, and although shown in the flowchart The order, but in some cases, the steps shown or described may be performed in a different order than the ones described herein.
  • an upgrade device may be added to the video cloud storage system, and the upgrade device is used as an execution entity of the method embodiment of the present application.
  • any one of the management nodes may be designated as an upgrade device in the video cloud storage system.
  • the designated management node may be the original management node in the system, or may be the management node added for the upgrade.
  • the node serves as the execution subject of the embodiment of the method of the present application.
  • a device other than the video cloud storage system may be used as an upgrade device, and the upgrade device is in communication with the management node in the video cloud storage system, and the upgrade device is used as an execution entity of the method embodiment of the present application.
  • the execution subject may also be an application in any of the above upgrade devices.
  • the execution subject may also be other, and is not limited in specific terms.
  • FIG. 1 is a flowchart of a storage mode upgrade method based on a video cloud storage system according to an embodiment of the present application. As shown in FIG. 1 , the upgrade method includes the following steps:
  • Step S102 In the case that an upgrade command for upgrading the video cloud storage system is received, the index data of the first management node is backed up to obtain backup data, where the video cloud storage system includes the first management node. And the second management node, the first management node and the second management node both run in the HA high availability mode.
  • Step S104 Read cluster feature information, configure a configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and import the backup data into the third Management node.
  • Step S106 Configure a configuration file of the first management node and the second management node by using the cluster feature information.
  • Step S108 Perform information synchronization on the configuration file of the first management node, the configuration file of the second management node, and the configuration file of the third management node, so that the first management node and the second The management node and the third management node operate in a cluster mode.
  • the backup operation of the index data on the first management node and the second management node is automatically started, where the first management node and the first The second management node runs in the HA high availability mode before the upgrade; after the backup, configure the cluster feature information on the newly added third management node to configure it as a stand-alone pseudo-set.
  • the group environment then configuring the first management node and the second management node by using the cluster feature information, and synchronizing the node information on the two types of terminal nodes to configure the first management node, the second management node, and the third management node to The same cluster.
  • the data backup is automatically started, the cluster mode information on the two types of terminal nodes is automatically configured, and the node information on the two types of terminal nodes is automatically synchronized, in the whole process.
  • No manual intervention is required, and the storage work of the video cloud storage system is not interrupted, and the working mode of using the upgraded video cloud storage system in the prior art is solved, and the technical problem of video storage data loss due to interruption of storage work is required.
  • the index data of the first management node and the second management node running in the high availability mode in the video cloud storage system is started to be backed up.
  • the operation get the backup data, and then import the backup data to the third management node.
  • the configuration information of the first management node, the second management node, and one or more newly added third management nodes in the video cloud storage system is configured by using the cluster feature information.
  • the HA mode of the video cloud storage system may be upgraded to the cluster mode to solve the problem.
  • a new terminal node such as the third management node in the foregoing embodiment
  • the configuration file of the third management node is configured to implement a cluster configuration of the first management node, the second management node, and the third management node.
  • the cloud storage HA mode is automatically upgraded to the cloud storage cluster mode, which is faster and more convenient than the manual operation in the prior art.
  • the storage node stored in the video cloud storage system stores the view stored in the storage node. Index information of frequency data.
  • the upgrade application is automatically started, and the data of the first management node and the second management node in the cloud storage HA mode is automatically backed up by the upgrade application.
  • the distributed mode cloud storage software is installed on the newly added one or more third management nodes by the upgrade application, and after the installation is completed, the cloud storage database hbase (hadoop base, ie distribution) (database), using the automatically read cluster feature information to cluster the cloud storage database on the third management node, in the process, because the newly added third management node is not yet running in the cluster, each The third management node is only a single machine. Therefore, the third management node after the configuration is a stand-alone pseudo cluster mode.
  • the step of configuring the configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information includes: installing on the third management node (which may be a new cloud storage management server) After the installation is completed, the distributed mode cloud storage service software configures the third management node into a stand-alone pseudo cluster mode by using the installed distributed mode cloud storage service software.
  • the index data of the first management node is backed up, and obtaining the backup data includes: determining whether the index data on the first management node and the second management node are synchronized; if the first management node Synchronizing with the index data on the second management node, determining to back up the index data on the primary management node, where the primary management node provides external information to the first management node and the second management node a management node of the cloud storage service; if the index data on the first management node and the second management node are not synchronized, after the index data on the first management node and the second management node are synchronized, the host is The index data on the management node is backed up.
  • the two management nodes in the cloud storage HA mode ie, the first management node are automatically determined. Whether the index data on the second management node is synchronized, and if the index data on the two management nodes is synchronized, on the management node (such as the above-mentioned master terminal node) that is providing the cloud storage service to the outside of the two management nodes.
  • the index data is safely backed up and ensures the integrity of the backup data; if the index data on the two management nodes are not synchronized, wait for a certain period of time (such as 30 seconds), and then judge the two running in the cloud storage HA mode again. Whether the index data on the management nodes is synchronized until the index data of the two management nodes is synchronized, and the index data is safely backed up.
  • the unsynchronized data is automatically synchronized, for example, if the management node A (such as the first management node described above) has less data than the management node B (The index data in the second management node as described above determines the unsynchronized data and copies the unsynchronized data from the management node B to the management node A.
  • the secure and complete backup of the index data on the first management node and the second management node running in the cloud storage HA mode can be performed.
  • the cluster feature information includes: a data backup number and an IP address of the cluster host, where at least the IP address, port, and port of the second management node are recorded in the configuration file of the second management node.
  • the information synchronization between the configuration file of the first management node, the configuration file of the second management node, and the configuration file of the third management node includes: at the first management node and the second management Adding information of a node IP address and a port of the third management node to a configuration file of the node; and adding a node IP of the first management node and the second management node in a configuration file of the third management node Address and port information.
  • the configuration of configuring the configuration file of the first management node and the second management node by using the cluster feature information in the foregoing step S106 is consistent with the configuration in the foregoing embodiment, and details are not described herein again.
  • the node information in each management node in the cluster mode to be joined may be synchronized in the synchronization node. After the information, the cluster service in each node is determined, and the first management node, the second management node, and the third management node can be run in the same cluster.
  • the cluster node information of the configuration files of the first management node, the second management node, and the third management node are automatically clustered, that is, the configuration synchronization of each terminal node is realized, so that the first management node and the second management are implemented.
  • the node and the third management node can run synchronously in the same cluster.
  • the upgrade method further includes: determining whether the backup data is successfully imported, and determining whether the third management node is running normally. If the backup data import is unsuccessful or the third management node is not working properly, returning to executing configuring the video cloud storage system by using the cluster feature information The operation of one or more newly added third management node profiles.
  • the third management node such as the single-machine pseudo cluster management node described above
  • the step of managing the configuration file of the node; if it is determined that the backup data is successfully imported, and the third management node is running normally, the step of configuring the configuration file of the first management node and the second management node by using the cluster feature information is entered.
  • the upgrading method further includes: acquiring the upgraded Adding new index information of the unbacked video storage data generated in the process; saving the new index information to at least one management node in the video cloud storage system, where the at least one management node includes: a first management node, the second management node, and the third management node.
  • the third management node such as the single-machine pseudo cluster management node described above
  • the step of configuring the configuration file of the first management node and the second management node by using the cluster feature information if the backup data is successfully imported and the third management node is running normally.
  • the cloud storage management node includes the first management node, the second management node, and The third management node only stores the index information of the front end data (ie, the index data described above), and the actual data is recorded in the storage node in the video cloud storage system.
  • the specific front-end data storage process includes the following steps: when writing the incoming data of the front end, first requesting resources from the management node, the management node allocates the storage node, and then writing the data to the allocated storage node, and the data is successfully written into the storage node. Afterwards, the storage node reports the index information to the management server, and stores the index information in the management node.
  • the front-end data is continuously written to the management node of the cloud storage HA mode.
  • the resource is first requested from the management node, and the management node allocates the storage.
  • the node then writes the unbacked video storage data to the storage node assigned by the management node.
  • the storage node reports the index information of the unbacked video storage data.
  • the server saves the index information into the first management node, the second management node, and the third management node in the cloud storage video cloud storage system.
  • the cloud storage service is not interrupted during the upgrade of the storage mode.
  • the front-end data is continuously written to the management node of the cloud storage HA mode during the upgrade process.
  • the video cloud For the front-end data that is not backed up during the upgrade process, the video cloud
  • the storage system automatically stores the information in the storage node allocated by the management node, and automatically saves the index information of the unbacked video storage data to the first management node in the video cloud storage system and the second management after the storage mode is successfully upgraded.
  • the node and the third management node are used to ensure the integrity of the video storage data during the upgrade process.
  • the upgrade method further includes: If each management node in the same cluster runs normally, the backup data is deleted.
  • the embodiment includes the following steps:
  • Step S201 Receive an upgrade instruction for upgrading the video cloud storage system.
  • the upgrade application that automatically upgrades the storage mode of the video cloud storage system from the cloud storage HA mode to the cloud storage cluster mode is automatically started.
  • Step S202 it is determined whether the index data on the two management nodes in the cloud storage HA mode is synchronized.
  • step S203 is performed; if it is determined that the index data on the two management nodes in the cloud storage HA mode is not synchronized, wait 30 In seconds, the process returns to step S202, and the determination is made again until the index data on the two management nodes is synchronized.
  • step S203 the index data on the management node that is providing the cloud storage service in the cloud storage HA mode is backed up to obtain backup data.
  • the foregoing management node that is running the cloud storage service in the cloud storage HA mode may be the above-mentioned primary management node.
  • step S204 it is determined whether the backup data is successfully backed up.
  • step S205 is performed; if it is determined that the backup data backup is unsuccessful, the process returns to step S203.
  • Step S205 Configure a configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and import the backup data into the third management node.
  • the distributed mode cloud storage service software is installed on the newly added management node (such as the third management node in the above embodiment), and after the installation is completed, the cluster feature information is used to add a new pipe.
  • the node is configured as a stand-alone pseudo-cluster environment, and the backup data is imported into the stand-alone pseudo-cluster environment, and the backup data is imported into the stand-alone pseudo-cluster management node (the third management node mentioned above).
  • Step S206 determining whether the backup data is successfully imported, and determining whether the third management node is running normally.
  • step S205 if it is determined that the backup data import is unsuccessful or the third management node is not operating normally, the process returns to step S205; if it is determined that the backup data is successfully imported and the third management node is not operating normally, step S207 is performed.
  • Step S207 configuring a configuration file of the first management node and the second management node by using the cluster feature information.
  • the HA mode cloud storage service software installed on the two management nodes in the original cloud storage HA mode is updated to the distributed mode cloud storage service software, and after the installation is completed, the first management node is configured by using the cluster feature information.
  • the configuration file of the second management node is updated to the distributed mode cloud storage service software, and after the installation is completed.
  • Step S208 Perform cluster synchronization on the configuration file of the first management node and the second management node and the cluster node information in the configuration file of the third management node that imports the backup data.
  • the upgrade application is used to perform cluster configuration on two management nodes in the original cloud storage HA mode (such as the two first management nodes and the second management node described above) and the single-node pseudo cluster management node, and automatically
  • the cluster node information of the management node is clustered, that is, the storage mode is automatically upgraded from the cloud storage HA mode to the cloud storage cluster mode.
  • step S209 it is determined whether the external cloud storage service in the upgraded cloud storage cluster mode is normal.
  • step S210 is performed; if it is determined that the external cloud storage service of the upgraded cloud storage cluster mode is abnormal, the process returns to step S205.
  • step S210 the backup data is deleted.
  • the distributed cluster mode video cloud storage service is re-deployed on the two management nodes in the cloud storage HA mode (that is, the distributed mode cloud storage service software is installed on the two management nodes), and the previous cloud is The storage HA mode is automatically updated to the cloud storage cluster mode.
  • the specific steps include: viewing the single-node pseudo-cluster management node and the two management nodes in the original cloud storage HA mode.
  • the single-machine pseudo-cluster management node in the stand-alone pseudo-cluster environment and the two management node groups in the original cloud storage HA mode are built into a cluster mode video cloud storage system, and are in a single-machine pseudo-cluster environment.
  • the data is clustered and synchronized, so that all management nodes in the cluster environment (including the single-machine pseudo-cluster management node and two management nodes) are synchronized. It should be noted that after configuration synchronization and data synchronization, the configuration and data of all management nodes are ultimately consistent.
  • the automatic upgrade of the cloud storage HA mode to the cloud storage cluster mode in the video cloud storage system is implemented, and the entire automatic upgrade process is implemented in a program form, without manual operation, avoiding waste of manpower or operation errors caused by human operations.
  • the cloud storage service will not be interrupted, and the entire upgrade process is convenient, fast, and secure, and meets the actual application requirements of the cloud storage service.
  • a storage mode upgrading apparatus based on a video cloud storage system is provided.
  • an upgrade device may be added to the video cloud storage system, and the upgrade device is disposed in the upgrade device.
  • any one of the management nodes may be designated as an upgrade device in the video cloud storage system.
  • the designated management node may be the original management node in the system, or may be a newly added management node for the upgrade. In the specified management node.
  • a device other than the video cloud storage system may be used as an upgrade device, and the upgrade device is in communication with a management node in the video cloud storage system, and the upgrade device is disposed in the upgrade device.
  • a schematic diagram of a storage mode upgrading apparatus based on a video cloud storage system may include: a backup module 10, a processing module 30, a configuration module 50, and a synchronization module 70.
  • the backup module is configured to perform backup of the index data of the first management node to obtain backup data, where the video cloud storage system includes the upgrade command.
  • a first management node and a second management node wherein the first management node and the second management node are both in a HA high availability mode;
  • the processing module is configured to read cluster feature information, and use the cluster feature information configuration One or more of the video cloud storage systems Adding a configuration file of the third management node, and importing the backup data into the third management node; and a configuration module, configured to configure the first management node and the second management node by using the cluster feature information
  • a synchronization module configured to perform information synchronization on a configuration file of the first management node, a configuration file of the second management node, and a configuration file of the third management node, so that the first management The node, the second management node, and the third management node operate in a cluster mode.
  • the index data of the first management node and the second management node running in the high availability mode in the video cloud storage system is started to be backed up.
  • the operation get the backup data, and then import the backup data to the third management node.
  • the configuration information of the first management node, the second management node, and one or more newly added third management nodes in the video cloud storage system is configured by using the cluster feature information.
  • the HA mode of the video cloud storage system may be upgraded to the cluster mode to solve the problem.
  • a new terminal node such as the third management node in the foregoing embodiment
  • the configuration file of the third management node is configured to implement a cluster configuration of the first management node, the second management node, and the third management node.
  • the cloud storage HA mode is automatically upgraded to the cloud storage cluster mode, which is faster and more convenient than the manual operation in the prior art.
  • the management node stores the index information of the video data stored by the storage node in the video cloud storage system.
  • the startup application is automatically started, and the data of the first management node and the second management node in the cloud storage HA mode is automatically backed up by the upgrade application, and one or more new ones are added by upgrading the application in the case that the backup data backup is successful.
  • the distributed management mode cloud storage software is installed on the third management node.
  • the cloud storage database hbase (hadoop base) is used to utilize the automatically read cluster feature information on the third management node.
  • the cloud storage database is configured for clustering. In this process, since the newly added third management node is not running in the cluster, each third management node is only a single machine. Therefore, the third management node after the configuration is a single machine pseudo. Cluster mode.
  • the step of configuring the configuration file of one or more newly added third management nodes in the video cloud storage system by using the cluster feature information includes: installing on the third management node (which may be a new cloud storage management server) After the installation is completed, the distributed mode cloud storage service software configures the third management node into a stand-alone pseudo cluster mode by using the installed distributed mode cloud storage service software.
  • the backup module includes: a determining submodule, configured to determine whether index data on the first management node and the second management node are synchronized; and a first backup submodule, if the first management node is used Synchronizing with the index data on the second management node, determining to back up the index data on the primary management node, where the primary management node provides external information to the first management node and the second management node a management node of the cloud storage service; a second backup submodule, configured to: if the index data on the first management node and the second management node are out of synchronization, the index on the first management node and the second management node After the data is synchronized, the index data on the primary management node is backed up.
  • the secure and complete backup of the index data on the first management node and the second management node running in the cloud storage HA mode can be performed.
  • the cluster feature information includes: a data backup number and an IP address of the cluster host, where at least the IP address, port, and port of the second management node are recorded in the configuration file of the second management node.
  • the synchronization module includes: a first synchronization sub-module, configured to add information about a node IP address and a port of the third management node in a configuration file of the first management node and the second management node; And a second synchronization submodule, configured to add a node IP address of the first management node and the second management node in a configuration file of the third management node Address and port information.
  • the cluster node information of the configuration files of the first management node, the second management node, and the third management node are automatically clustered, that is, the configuration synchronization of each terminal node is realized, so that the first management node and the second management are implemented.
  • the node and the third management node can run synchronously in the same cluster.
  • the upgrading apparatus further includes: a determining module, configured to: after the backup data is imported into the third management node, determine whether the backup data is successfully imported, and determine whether the third management node is running Normally, the returning module is configured to: if the backup data import is unsuccessful or the third management node is not working properly, return to perform one or more new configurations in the video cloud storage system by using the cluster feature information The operation of the configuration file of the third management node.
  • a determining module configured to: after the backup data is imported into the third management node, determine whether the backup data is successfully imported, and determine whether the third management node is running Normally, the returning module is configured to: if the backup data import is unsuccessful or the third management node is not working properly, return to perform one or more new configurations in the video cloud storage system by using the cluster feature information The operation of the configuration file of the third management node.
  • the upgrading method further includes: an acquiring module, configured to perform information synchronization on a configuration file of the first management node, a configuration file of the second management node, and a configuration file of the third management node. Then, the new index information of the unbacked video storage data generated in the process of the upgrade is obtained; the saving module is configured to save the new index information into at least one management node in the video cloud storage system, where The at least one management node includes: the first management node, the second management node, and the third management node.
  • the cloud storage service is not interrupted during the upgrade of the storage mode.
  • the front-end data is continuously written to the management node of the cloud storage HA mode during the upgrade process.
  • the video cloud For the front-end data that is not backed up during the upgrade process, the video cloud
  • the storage system automatically stores the information in the storage node allocated by the management node, and automatically saves the index information of the unbacked video storage data to the first management node in the video cloud storage system and the second management after the storage mode is successfully upgraded.
  • the node and the third management node are used to ensure the integrity of the video storage data during the upgrade process.
  • a video cloud storage system including: a first management node, where the first management node runs in a HA high availability mode; and a second management node that runs on the second management node.
  • the third management node is configured to import backup data of the index data on the first management node and the second management node when receiving an upgrade instruction for upgrading the video cloud storage system And configuring the corresponding configuration file by using the cluster feature information; the first management node and the second management node are further configured to configure a corresponding configuration file by using the cluster feature information; the first management node, the first Two management nodes and the third tube
  • the node is further configured to perform information synchronization on the configuration file of the first management node, the configuration file of the second management node, and the configuration file of the third management node, so that the first management node, the The second management node and the third management node operate in a cluster mode.
  • the automatic upgrade of the cloud storage HA mode to the cloud storage cluster mode in the video cloud storage system is implemented, and the entire automatic upgrade process is implemented in a program form, without manual operation, avoiding waste of manpower or operation errors caused by human operations.
  • the cloud storage service will not be interrupted, and the entire upgrade process is convenient, fast, and secure, and meets the actual application requirements of the cloud storage service.
  • a video cloud storage system includes: a first management node, a second management node, a third management node, and an upgrade device, where
  • the first management node operates in a HA high availability mode
  • the second management node operates in a HA high availability mode
  • the third management node is a new node in the video cloud storage system
  • the upgrade device is configured to back up index data of the first management node to obtain backup data, and read cluster feature information, by using the upgrade instruction that is used to upgrade the video cloud storage system.
  • the automatic upgrade of the cloud storage HA mode to the cloud storage cluster mode in the video cloud storage system is implemented, and the entire automatic upgrade process is implemented in a program form, without manual operation, avoiding waste of manpower or operation errors caused by human operations.
  • the cloud storage service will not be interrupted, and the entire upgrade process is convenient, fast, and secure, and meets the actual application requirements of the cloud storage service.
  • an electronic device may be provided, which may be an upgrade device in a video cloud storage system, or may be any management node in a video cloud storage system, or may be a video cloud. Upgrade devices other than the storage system are not limited.
  • the device includes a processor 401 for storing executable program code, and a memory 402 for operating and executing the program by reading executable program code stored in the memory 402.
  • the program corresponding to the code is used to execute the above upgrade method, and the method includes:
  • the video cloud storage system After receiving the upgrade command for upgrading the video cloud storage system, backing up the index data of the first management node to obtain backup data, where the video cloud storage system includes the first management node and the second a management node, wherein the first management node and the second management node are both running in a HA high availability mode;
  • Reading the cluster feature information configuring the configuration file of the one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and importing the backup data into the third management node;
  • an executable program code for being executed to perform the above upgrade method comprising:
  • the index data of the first management node is backed up to obtain backup data, where the video cloud storage system includes The first management node and the second management node, both the first management node and the second management node are running in a HA high availability mode;
  • Reading the cluster feature information configuring the configuration file of the one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and importing the backup data into the third management node;
  • a storage medium for storing executable program code for being executed to perform the above upgrade method, the method comprising:
  • the video cloud storage system After receiving the upgrade command for upgrading the video cloud storage system, backing up the index data of the first management node to obtain backup data, where the video cloud storage system includes the first management node and the second a management node, wherein the first management node and the second management node are both running in a HA high availability mode;
  • Reading the cluster feature information configuring the configuration file of the one or more newly added third management nodes in the video cloud storage system by using the cluster feature information, and importing the backup data into the third management node;
  • the configuration file of the third management node performs information synchronization, so that the first management node, the second management node, and the third management node operate in a cluster mode.
  • the disclosed technical contents may be implemented in other manners.
  • the device embodiments described above are only schematic.
  • the division of the unit may be a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or may be Integrate into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, unit or module, and may be electrical or otherwise.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • a computer readable storage medium including instructions for causing a computer device (which may be a personal computer, server or network device, etc.) to perform various embodiments of the present application. All or part of the steps of the method described.
  • the foregoing storage medium includes: a U disk, a Read-Only Memory (ROM), a Random Access Memory (RAM), a removable hard disk, a magnetic disk, or an optical disk, and the like. .

Abstract

本申请公开了一种基于视频云存储系统的存储模式升级方法、装置和系统。其中,该升级方法包括:在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据;利用集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步。本申请解决了升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。

Description

基于视频云存储系统的存储模式升级方法、装置和系统
本申请要求于2016年7月13日提交中国专利局、申请号为201610555458.2、发明名称为“基于视频云存储系统的存储模式升级方法、装置和系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及云存储领域,具体而言,涉及一种基于视频云存储系统的存储模式升级方法、装置和系统。
背景技术
视频云存储系统的存储模式包括云存储HA(High Available,高可用性)模式和云存储集群模式两种。其中,在某些项目结合当前项目规模问题及成本问题的情况下,考虑使用云存储HA模式,当项目运行之后,在项目运行的后期,由于项目规模的增加,使用云存储HA模式不能满足项目运行的实际应用需要,因此需要升级为云存储集群模式,以满足该项目在运行过程中的实际应用需求。
现有技术中,由于云存储HA模式与云存储集群模式是两种截然不同的部署模式,在项目运行过程中,若需要将云存储HA模式升级为云存储集群模式,需中断云存储HA模式的运行,在云存储中断的过程中,需要人工干预,通过手动方式将云存储的HA模式环境的视频存储数据导入到云存储集群模式环境下,由于手动操作过程操作时间耗时长,且容易出错,增加了升级风险,并且由于在升级时,需中断云存储工作,可能导致部分视频存储数据的丢失。
针对采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于视频云存储系统的存储模式升级方法、装置和系统,以至少解决采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
根据本申请实施例的一个方面,提供了一种基于视频云存储系统的存储 模式升级方法,该升级方法包括:在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点上的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
可选的,对第一管理节点和第二管理节点上的索引数据进行备份,得到备份数据包括:判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
可选的,所述集群特征信息至少包括:数据备份数和集群主机的IP地址,其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,其中,对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步包括:在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地址和端口的信息。
可选的,在将所述备份数据导入所述第三管理节点之后,所述升级方法还包括:判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;若所述备份数据导入不成功或所述第三管理节点运行不正常,则返 回执行利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件的操作。
可选的,在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,所述升级方法还包括:获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
根据本申请实施例的一个方面,提供了一种基于视频云存储系统的存储模式升级装置,该升级装置包括:备份模块,用于在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;处理模块,用于读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;配置模块,用于利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;同步模块,用于对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
可选的,所述备份模块包括:判断子模块,用于判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;第一备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;第二备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
可选的,所述集群特征信息至少包括:数据备份数和集群主机的IP地址, 其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,其中,所述同步模块包括:第一同步子模块,用于在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及第二同步子模块,用于在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地址和端口的信息。
可选的,所述升级装置还包括:判断模块,用于在将所述备份数据导入所述第三管理节点之后,判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;返回模块,用于若所述备份数据导入不成功或所述第三管理节点运行不正常,则返回执行利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件的操作。
可选的,所述升级装置还包括:获取模块,用于在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;保存模块,用于将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
根据本申请实施例的一个方面,提供了一种视频云存储系统,包括:第一管理节点,所述第一管理节点运行在HA高可用模式;第二管理节点,所述第二管理节点运行在HA高可用模式;第三管理节点,用于在接收到对视频云存储系统进行升级的升级指令的情况下,导入所述第一管理节点和所述第二管理节点上索引数据的备份数据,并利用集群特征信息配置对应的配置文件;所述第一管理节点和所述第二管理节点还用于利用所述集群特征信息配置对应的配置文件;所述第一管理节点、所述第二管理节点和所述第三管理节点还用于对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
根据本申请实施例的一个方面,提供了一种电子设备,包括:处理器和存储器,其中,存储器用于存储可执行程序代码,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行上述升级方法。
根据本申请实施例的一个方面,提供了一种可执行程序代码,所述可执行程序代码用于被运行以执行上述升级方法。
根据本申请实施例的一个方面,提供了一种存储介质,所述存储介质用于存储可执行程序代码,所述可执行程序代码用于被运行以执行上述升级方法。
在本申请实施例中,在接收到对视频云存储系统进行升级的升级指令的情况下,自动启动第一管理节点和第二管理节点(在升级前运行在HA高可用模式)上索引数据的备份操作,在备份之后,在新增的第三管理节点上配置集群特征信息,以将其配置为单机伪集群环境,然后利用集群特征信息配置第一管理节点和第二管理节点,并对两类终端节点上的节点信息进行同步,以将第一管理节点、第二管理节点和第三管理节点配置至同一集群。通过上述实施例,在需对视频云存储系统进行存储模式升级时,自动启动数据备份、自动配置两类终端节点上的集群模式信息,并自动同步两类终端节点上的节点信息,整个过程中均无需人工干预,无需中断视频云存储系统的存储工作,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案,下面对实施例和现有技术中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种基于视频云存储系统的存储模式升级方法的流程图;
图2是根据本申请实施例的一种可选的基于视频云存储系统的存储模式 升级方法的流程图;
图3是根据本申请实施例的一种基于视频云存储系统的存储模式升级装置的示意图;
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白,以下参照附图并举实施例,对本申请进一步详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
视频云存储系统:基于网络技术和分布式技术等,通过软件将网络中的存储设备集合起来协同共作,对外提供视频存储数据存储和业务访问功能的系统。
云存储HA模式:视频云存储系统HA(High Available,高可用性)模式是由两台云存储管理节点组成,分为主机节点和备机节点,该模式对外只有一个节点提供服务,当正提供云存储服务的管理节点出现问题时,另外一个节点会侦测到异常,并立即接管云存储服务,从而保证云存储服务业务不中断。
云存储集群模式:视频云存储系统集群模式是由三台及三台以上云存储管理节点组成,该模式中,所有的管理节点都对外提供服务,当客户请求云存储服务时,由云存储中心调度算法根据集群中节点的性能及负载情况,选中一台管理节点,将请求分配给该节点处理。当其中任一管理节点出现应用故障时,客户能迅速地连接到新的管理节点上,保证云存储服务业务不中断。
管理节点:视频云存储系统的核心节点,云存储资源管理和调度控制者。
根据本申请实施例,提供了一种基于视频云存储系统的存储模式升级方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺 序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
作为一种实施方式,可以在视频云存储系统中增设一台升级设备,并将该升级设备作为本申请方法实施例的执行主体。
或者,也可以在视频云存储系统中指定任意一台管理节点作为升级设备,指定的该管理节点可以为系统中原有的管理节点,也可以为此次升级新增的管理节点,指定的该管理节点作为本申请方法实施例的执行主体。
或者,也可以将视频云存储系统之外的一台设备作为升级设备,该升级设备与视频云存储系统中管理节点通信连接,将该升级设备作为本申请方法实施例的执行主体。
或者,执行主体也可以为上述任一种升级设备中的应用程序。或者,执行主体也可以为其他,具体不做限定。
图1是根据本申请实施例的一种基于视频云存储系统的存储模式升级方法的流程图,如图1所示,该升级方法包括如下步骤:
步骤S102:在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式。
步骤S104:读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点。
步骤S106:利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件。
步骤S108:对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
在本申请实施例中,在接收到对视频云存储系统进行升级的升级指令的情况下,自动启动第一管理节点和第二管理节点上索引数据的备份操作,其中,第一管理节点和第二管理节点在升级前运行在HA高可用模式;在备份之后,在新增的第三管理节点上配置集群特征信息,以将其配置为单机伪集 群环境,然后利用集群特征信息配置第一管理节点和第二管理节点,并对两类终端节点上的节点信息进行同步,以将第一管理节点、第二管理节点和第三管理节点配置至同一集群。通过上述实施例,在需对视频云存储系统进行存储模式升级时,自动启动数据备份、自动配置两类终端节点上的集群模式信息,并自动同步两类终端节点上的节点信息,整个过程中均无需人工干预,无需中断视频云存储系统的存储工作,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
通过上述实施例,在接收到对视频云存储系统进行升级的升级指令的情况下,启动将视频云存储系统中运行在高可用性模式的第一管理节点和第二管理节点上的索引数据进行备份的操作,得到备份数据,然后将备份数据导入第三管理节点。在第三管理节点导入备份数据之后,利用集群特征信息配置视频云存储系统中的第一管理节点、第二管理节点和一个或多个新增的第三管理节点的配置文件。
可选地,对第一管理节点和第二管理节点的配置文件和导入备份数据的第三管理节点的配置文件中的集群节点信息进行同步,以使第一管理节点和第二管理节点和第三管理节点按照各自的配置文件运行在同一集群。
在上述实施例中,在云存储HA模式的第一管理节点和第二管理节点不能满足云存储业务时,可以将视频云存储系统的HA模式升级为集群模式,以解决该问题。具体地,可以在该视频云存储系统中增加新的终端节点(如上述实施例中的第三管理节点),然后利用集群的特征信息配置第一管理节点和第二管理节点和新增的第三管理节点的配置文件,以实现第一管理节点、第二管理节点和第三管理节点的集群配置。在自动升级的过程中,无需人工操作,不会中断云存储业务,因此,不会造成视频存储数据的丢失,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
通过上述实施例,实现了快速将云存储HA模式自动升级为云存储集群模式,与现有技术中的手动操作相比,升级速度快,且方便安全。
其中,上述的管理节点中存储有视频云存储系统中的存储节点存储的视 频数据的索引信息。
具体地,在接收到对视频云存储系统进行升级的升级指令的情况下,自动启动升级应用程序,通过该升级应用程序自动备份云存储HA模式中第一管理节点和第二管理节点的数据,在备份数据备份成功的情况下,通过升级应用程序在新增的一个或多个第三管理节点上安装分布式模式云存储软件,在安装完毕后,对云存储数据库hbase(hadoop base,即分布式数据库),利用自动读取到的集群特征信息对第三管理节点上的云存储数据库进行集群配置,在该过程中,由于新增的第三管理节点还未运行在集群中,每个第三管理节点只是一个单机,因此,该配置后的第三管理节点为单机伪集群模式。
具体地,利用集群特征信息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件的步骤包括:在第三管理节点(可以为新增的云存储管理服务器)上安装分布式模式云存储服务软件,安装完毕后,利用该安装的分布式模式云存储服务软件将第三管理节点配置为单机伪集群模式。
根据本申请的上述实施例,对第一管理节点的索引数据进行备份,得到备份数据包括:判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
具体地,在视频云存储系统启动云存储HA模式扩充集群服务(即将云存储HA模式升级为云存储集群模式)之后,自动判断在云存储HA模式下的两个管理节点(即第一管理节点和第二管理节点)上的索引数据是否同步,若两个管理节点上的索引数据同步,则对两个管理节点中的正在对外提供云存储服务的管理节点(如上述的主终端节点)上的索引数据进行安全备份,并确保备份数据的完整性;若两个管理节点上的索引数据不同步,则等待一定时间段(如30秒)后,再次判断运行在云存储HA模式下的两个管理节点上的索引数据是否同步,直至两个管理节点的索引数据同步,才对索引数据进行安全备份。
可选地,若两个管理节点的索引数据不同步,则自动将不同步的数据进行同步操作,如,若管理节点A(如上述的第一管理节点)中的数据少于管理节点B(如上述的第二管理节点)中的索引数据,则确定该不同步的数据,并将该不同步的数据从管理节点B复制至管理节点A。
通过上述实施例,可以对运行在云存储HA模式下的第一管理节点和第二管理节点上的索引数据进行安全和完整的备份。
可选的,所述集群特征信息至少包括:数据备份数和集群主机的IP地址,其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,其中,对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步包括:在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地址和端口的信息。
上述步骤S106利用集群特征信息配置第一管理节点和第二管理节点的配置文件的配置与上述实施例中的配置方式一致,在此不再赘述。
由于在对第一管理节点和第二管理节点进行集群配置时,将其配置为了单机伪集群模式,通过这个步骤可以将需加入的集群模式中各个管理节点中的节点信息进行同步,在同步节点信息之后,确定各个节点中的集群服务,则该第一管理节点、第二管理节点和第三管理节点就可以运行在同一集群中。
通过上述步骤,自动对第一管理节点、第二管理节点和第三管理节点的配置文件的集群节点信息进行集群同步,即实现了各个终端节点的配置同步,使得第一管理节点、第二管理节点和第三管理节点能够同步运行在同一集群中。
根据本申请的上述实施例,在将所述备份数据导入所述第三管理节点之后,所述升级方法还包括:判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;若所述备份数据导入不成功或所述第三管理节点运行不正常,则返回执行利用所述集群特征信息配置所述视频云存储系统中 的一个或多个新增的第三管理节点的配置文件的操作。
具体地,将备份的运行在云存储HA模式下的两个管理节点的索引数据的备份数据导入第三管理节点(如上述的单机伪集群管理节点)之后,判断备份数据是否导入成功,且判断第三管理节点是否能够正常运行,若判断出备份数据导入不成功,或第三管理节点不能正常运行,则返回执行利用利用集群特征信息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件的步骤;若判断出备份数据导入成功,且第三管理节点正常运行,则进入利用利用集群特征信息配置第一管理节点和第二管理节点的配置文件的步骤。
通过上述实施例,在判断出备份数据导入成功,且第三管理节点运行正常的情况下,存储模式的自动升级过程才能继续,保证了在存储模式的自动升级过程中,存储数据的完整性。
具体地,在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,所述升级方法还包括:获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
具体地,将备份的运行在云存储HA模式下的两个管理节点的索引数据的备份数据导入第三管理节点(如上述的单机伪集群管理节点)之后,判断备份数据是否导入成功,且判断第三管理节点是否能够正常运行,若判断出备份数据导入不成功,或第三管理节点不能正常运行,则返回执行利用利用集群特征信息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件的步骤;若判断出备份数据导入成功,且第三管理节点正常运行,则进入利用集群特征信息配置第一管理节点和第二管理节点的配置文件的步骤。
通过上述实施例,在判断出备份数据导入成功,且第三管理节点运行正常的情况下,存储模式的自动升级过程才能继续,保证了在存储模式的自动升级过程中,存储数据的完整性。
具体地,云存储管理节点(包括上述的第一管理节点、第二管理节点和 第三管理节点)只是存储前端数据的索引信息(即上述的索引数据),实际数据记录在视频云存储系统中的存储节点中。具体的前端数据存储过程包括如下步骤:当写入前端传入的数据时,先向管理节点申请资源,管理节点分配存储节点,然后将数据写到分配的存储节点中,数据写入存储节点成功之后,存储节点上报索引信息给管理服务器,将索引信息存储到管理节点中。
可选的,在将存储模式升级的过程中,前端数据会持续写入云存储HA模式的管理节点,对于在升级过程中未备份的视频存储数据,先向管理节点申请资源,管理节点分配存储节点,然后将未备份的视频存储数据写入管理节点分配的存储节点中。在对第一管理节点和第二管理节点的配置文件和导入备份数据的第三管理节点的配置文件中的集群节点信息进行同步之后,存储节点将这些未备份的视频存储数据的索引信息上报管理服务器,将索引信息保存入云存储视频云存储系统中的第一管理节点、第二管理节点和第三管理节点。
通过上述实施例,在将存储模式升级的过程中,云存储业务不中断,升级过程中前端数据会持续写入云存储HA模式的管理节点,对于该升级过程中未备份的前端数据,视频云存储系统自动将其存储在管理节点分配的存储节点中,并在存储模式升级成功之后,自动将未备份的视频存储数据的索引信息保存入视频云存储系统中的第一管理节点、第二管理节点和第三管理节点中,以确保升级过程中视频存储数据的完整性。
在本申请的上述实施例中,在对第一管理节点和第二管理节点的配置文件和导入备份数据的第三管理节点的配置文件中的集群节点信息进行同步之后,升级方法还包括:若同一集群中的各个管理节点运行正常,则将备份数据删除。
具体地,利用集群特征信息对第一管理节点、第二管理节点和第三管理节点的配置文件进行配置,并自动对各个管理节点进行集群同步,使各个管理节点能够运行在同一集群中,实现基于视频云存储系统中从云存储HA模式到云存储集群模式的自动升级。在完成存储模式的升级之后,判断升级后的云存储集群模式中的各个管理节点运行是否正常,若判断出升级后的云存储集群模式中的各个管理节点运行不正常,则返回执行利用利用集群特征信 息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件的步骤;若判断出升级后的云存储集群模式中的各个管理节点运行正常,则将备份数据删除。
通过上述实施例,在存储模式完成升级之后,继续判断升级之后的集群模式中的各个终端节点运行是否正常,以保证云存储业务的不中断,达到云存储服务的实际应用需求。
下面结合图2详述本申请的上述实施例,如图2所示,该实施例包括如下步骤:
步骤S201,接收对视频云存储系统进行升级的升级指令。
具体地,在接收到对视频云存储系统进行升级的升级指令的情况下,自动启动将视频云存储系统的存储模式从云存储HA模式自动升级为云存储集群模式的升级应用程序。
步骤S202,判断云存储HA模式下的两个管理节点上的索引数据是否同步。
具体地,若判断出云存储HA模式下的两个管理节点上的索引数据同步,则执行步骤S203;若判断出云存储HA模式下的两个管理节点上的索引数据不同步,则等待30秒,返回执行步骤S202,再次进行判断,直到两个管理节点上的索引数据同步为止。
步骤S203,对运行在云存储HA模式下的正在对外提供云存储服务的管理节点上的索引数据进行备份,得到备份数据。
上述的运行在云存储HA模式下的正在对外提供云存储服务的管理节点可以为上述的主管理节点。
步骤S204,判断备份数据是否备份成功。
具体地,若判断出备份数据备份成功,则执行步骤S205;若判断出备份数据备份不成功,则返回执行步骤S203。
步骤S205,利用集群特征信息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将备份数据导入第三管理节点。
具体地,在新增的管理节点(如上述实施例中的第三管理节点)上安装分布式模式云存储服务软件,在安装完毕后,利用集群特征信息将新增的管 理节点配置成单机伪集群环境,并将备份数据导入到单机伪集群环境中,即将备份数据导入单机伪集群管理节点(上述的第三管理节点)。
步骤S206,判断备份数据是否导入成功、并判断第三管理节点运行是否正常。
具体地,若判断出备份数据导入不成功或第三管理节点运行不正常,则返回执行步骤S205;若判断出备份数据导入成功且第三管理节点运行不正常,则执行步骤S207。
步骤S207,利用集群特征信息配置第一管理节点和第二管理节点的配置文件。
具体地,将原云存储HA模式下的两个管理节点上安装的HA模式云存储服务软件,更新为分布式模式云存储服务软件,在安装完毕后,利用集群特征信息配置第一管理节点和第二管理节点的配置文件。
步骤S208,对第一管理节点和第二管理节点的配置文件和导入备份数据的第三管理节点的配置文件中的集群节点信息进行集群同步。
可选地,利用升级应用程序对原云存储HA模式下的两个管理节点(如上述的两个第一管理节点和第二管理节点)和单机伪集群管理节点进行集群配置,并自动对各个管理节点的集群节点信息进行集群同步,即实现存储模式由云存储HA模式到云存储集群模式的自动升级。
步骤S209,判断升级后的云存储集群模式的对外云存储服务是否正常。
具体地,云存储集群模式的对外云存储服务是否正常包括:1)云存储的相关服务程序运行正常;2)云存储集群模式的各个管理节点能否正常对外提供云存储服务,如数据写入,数据查询、数据下载等。若判断出升级后的云存储集群模式的对外云存储服务正常,则执行步骤S210;若判断出升级后的云存储集群模式的对外云存储服务不正常,则返回执行步骤S205。
步骤S210,将备份数据删除。
在上述实施例中,在云存储HA模式下的两个管理节点上重新部署分布式集群模式视频云存储服务(即在两个管理节点上安装分布式模式云存储服务软件),将之前的云存储HA模式自动更新为云存储集群模式。具体的步骤包括:对单机伪集群管理节点及原云存储HA模式下的两个管理节点进行视 频云存储集群服务配置,配置完毕后,单机伪集群环境中的单机伪集群管理节点和原云存储HA模式下的两个管理节点组建成集群模式视频云存储系统,并对单机伪集群环境中的数据进行集群同步,使得集群环境中的所有管理节点(包括单机伪集群管理节点和两个管理节点)都进行数据同步。需要说明的是,经过配置同步和数据同步之后,所有管理节点的配置和数据最终都是一致的。
通过上述实施例,实现了视频云存储系统中的云存储HA模式到云存储集群模式的自动升级,整个自动升级过程以程序形式实现,无需人工操作,避免浪费人力或由于人为操作造成操作失误,且在升级的过程中,不会中断云存储业务,整个升级流程方便、快捷及安全,满足云存储业务的实际应用需求。
根据本申请的另一方面,提供了一种基于视频云存储系统的存储模式升级装置。
作为一种实施方式,可以在视频云存储系统中增设一台升级设备,该升级装置设置于该升级设备中。
或者,也可以在视频云存储系统中指定任意一台管理节点作为升级设备,指定的该管理节点可以为系统中原有的管理节点,也可以为此次升级新增的管理节点,该升级装置设置于指定的该管理节点中。
或者,也可以将视频云存储系统之外的一台设备作为升级设备,该升级设备与视频云存储系统中管理节点通信连接,该升级装置设置于该升级设备中。
如图3所示的一种基于视频云存储系统的存储模式升级装置的示意图,该升级装置可以包括:备份模块10,处理模块30,配置模块50,同步模块70。
其中,备份模块,用于在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;处理模块,用于读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个 新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;配置模块,用于利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;同步模块,用于对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
通过上述实施例,在接收到对视频云存储系统进行升级的升级指令的情况下,启动将视频云存储系统中运行在高可用性模式的第一管理节点和第二管理节点上的索引数据进行备份的操作,得到备份数据,然后将备份数据导入第三管理节点。在第三管理节点导入备份数据之后,利用集群特征信息配置视频云存储系统中的第一管理节点、第二管理节点和一个或多个新增的第三管理节点的配置文件。
可选地,对第一管理节点和第二管理节点的配置文件和导入备份数据的第三管理节点的配置文件中的集群节点信息进行同步,以使第一管理节点和第二管理节点和第三管理节点按照各自的配置文件运行在同一集群。
在上述实施例中,在云存储HA模式的第一管理节点和第二管理节点不能满足云存储业务时,可以将视频云存储系统的HA模式升级为集群模式,以解决该问题。具体地,可以在该视频云存储系统中增加新的终端节点(如上述实施例中的第三管理节点),然后利用集群的特征信息配置第一管理节点和第二管理节点和新增的第三管理节点的配置文件,以实现第一管理节点、第二管理节点和第三管理节点的集群配置。在自动升级的过程中,无需人工操作,不会中断云存储业务,因此,不会造成视频存储数据的丢失,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
通过上述实施例,实现了快速将云存储HA模式自动升级为云存储集群模式,与现有技术中的手动操作相比,升级速度快,且方便安全。
其中,上述的管理节点中存储有视频云存储系统中的存储节点存储的视频数据的索引信息。
具体地,在接收到对视频云存储系统进行升级的升级指令的情况下,自 动启动升级应用程序,通过该升级应用程序自动备份云存储HA模式中第一管理节点和第二管理节点的数据,在备份数据备份成功的情况下,通过升级应用程序在新增的一个或多个第三管理节点上安装分布式模式云存储软件,在安装完毕后,对云存储数据库hbase(hadoop base,即分布式数据库),利用自动读取到的集群特征信息对第三管理节点上的云存储数据库进行集群配置,在该过程中,由于新增的第三管理节点还未运行在集群中,每个第三管理节点只是一个单机,因此,该配置后的第三管理节点为单机伪集群模式。
具体地,利用集群特征信息配置视频云存储系统中的一个或多个新增的第三管理节点的配置文件的步骤包括:在第三管理节点(可以为新增的云存储管理服务器)上安装分布式模式云存储服务软件,安装完毕后,利用该安装的分布式模式云存储服务软件将第三管理节点配置为单机伪集群模式。
可选的,所述备份模块包括:判断子模块,用于判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;第一备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;第二备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
通过上述实施例,可以对运行在云存储HA模式下的第一管理节点和第二管理节点上的索引数据进行安全和完整的备份。
可选的,所述集群特征信息至少包括:数据备份数和集群主机的IP地址,其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,其中,所述同步模块包括:第一同步子模块,用于在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及第二同步子模块,用于在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地 址和端口的信息。
通过上述步骤,自动对第一管理节点、第二管理节点和第三管理节点的配置文件的集群节点信息进行集群同步,即实现了各个终端节点的配置同步,使得第一管理节点、第二管理节点和第三管理节点能够同步运行在同一集群中。
可选的,所述升级装置还包括:判断模块,用于在将所述备份数据导入所述第三管理节点之后,判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;返回模块,用于若所述备份数据导入不成功或所述第三管理节点运行不正常,则返回执行利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件的操作。
可选的,所述升级方法还包括:获取模块,用于在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;保存模块,用于将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
通过上述实施例,在将存储模式升级的过程中,云存储业务不中断,升级过程中前端数据会持续写入云存储HA模式的管理节点,对于该升级过程中未备份的前端数据,视频云存储系统自动将其存储在管理节点分配的存储节点中,并在存储模式升级成功之后,自动将未备份的视频存储数据的索引信息保存入视频云存储系统中的第一管理节点、第二管理节点和第三管理节点中,以确保升级过程中视频存储数据的完整性。
根据本申请实施例的一个方面,提供了一种视频云存储系统,包括:第一管理节点,所述第一管理节点运行在HA高可用模式;第二管理节点,所述第二管理节点运行在HA高可用模式;第三管理节点,用于在接收到对视频云存储系统进行升级的升级指令的情况下,导入所述第一管理节点和所述第二管理节点上索引数据的备份数据,并利用集群特征信息配置对应的配置文件;所述第一管理节点和所述第二管理节点还用于利用所述集群特征信息配置对应的配置文件;所述第一管理节点、所述第二管理节点和所述第三管 理节点还用于对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
通过上述实施例,实现了视频云存储系统中的云存储HA模式到云存储集群模式的自动升级,整个自动升级过程以程序形式实现,无需人工操作,避免浪费人力或由于人为操作造成操作失误,且在升级的过程中,不会中断云存储业务,整个升级流程方便、快捷及安全,满足云存储业务的实际应用需求。
根据本申请实施例的一个方面,提供了一种视频云存储系统,包括:第一管理节点、第二管理节点、第三管理节点和升级设备,其中,
所述第一管理节点运行在HA高可用模式;
所述第二管理节点运行在HA高可用模式;
所述第三管理节点为所述视频云存储系统中的新增节点;
所述升级设备,用于在接收到对视频云存储系统进行升级的升级指令的情况下,对所述第一管理节点的索引数据进行备份,得到备份数据;读取集群特征信息,利用所述集群特征信息配置所述第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
通过上述实施例,实现了视频云存储系统中的云存储HA模式到云存储集群模式的自动升级,整个自动升级过程以程序形式实现,无需人工操作,避免浪费人力或由于人为操作造成操作失误,且在升级的过程中,不会中断云存储业务,整个升级流程方便、快捷及安全,满足云存储业务的实际应用需求。
根据本申请实施例的一个方面,提供了一种电子设备,该电子设备可以为视频云存储系统中的升级设备,也可以为视频云存储系统中的任意一台管理节点,也可以为视频云存储系统之外的的升级设备,具体不做限定。
如图4所示,该设备包括:处理器401和存储器402,其中,存储器402用于存储可执行程序代码,处理器401通过读取存储器402中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行上述升级方法,方法包括:
在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;
读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;
利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;
对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
应用本申请图4所示实施例,在需对视频云存储系统进行存储模式升级时,自动启动数据备份、自动配置两类终端节点上的集群模式信息,并自动同步两类终端节点上的节点信息,整个过程中均无需人工干预,无需中断视频云存储系统的存储工作,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
根据本申请实施例的一个方面,提供了一种可执行程序代码,所述可执行程序代码用于被运行以执行上述升级方法,方法包括:
在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括 所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;
读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;
利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;
对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
应用本申请所示实施例,在需对视频云存储系统进行存储模式升级时,自动启动数据备份、自动配置两类终端节点上的集群模式信息,并自动同步两类终端节点上的节点信息,整个过程中均无需人工干预,无需中断视频云存储系统的存储工作,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
根据本申请实施例的一个方面,提供了一种存储介质,所述存储介质用于存储可执行程序代码,所述可执行程序代码用于被运行以执行上述升级方法,方法包括:
在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;
读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;
利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;
对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述 第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
应用本申请所示实施例,在需对视频云存储系统进行存储模式升级时,自动启动数据备份、自动配置两类终端节点上的集群模式信息,并自动同步两类终端节点上的节点信息,整个过程中均无需人工干预,无需中断视频云存储系统的存储工作,解决了采用现有技术中的升级视频云存储系统的工作模式,因需中断存储工作从而导致视频存储数据丢失的技术问题。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (15)

  1. 一种基于视频云存储系统的存储模式升级方法,其特征在于,包括:
    在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;
    读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;
    利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;
    对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
  2. 根据权利要求1所述的升级方法,其特征在于,对第一管理节点的索引数据进行备份,得到备份数据包括:
    判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;
    若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;
    若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
  3. 根据权利要求1所述的升级方法,其特征在于,所述集群特征信息至少包括:数据备份数和集群主机的IP地址,其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,
    其中,对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所 述第三管理节点的配置文件进行信息同步包括:
    在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及
    在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地址和端口的信息。
  4. 根据权利要求1所述的升级方法,其特征在于,在将所述备份数据导入所述第三管理节点之后,所述升级方法还包括:
    判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;若所述备份数据导入不成功或所述第三管理节点运行不正常,则返回执行利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件的操作。
  5. 根据权利要求1至4中任一项所述的升级方法,其特征在于,在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,所述升级方法还包括:
    获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;
    将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
  6. 一种基于视频云存储系统的存储模式升级装置,其特征在于,包括:
    备份模块,用于在接收到对视频云存储系统进行升级的升级指令的情况下,对第一管理节点的索引数据进行备份,得到备份数据,其中,所述视频云存储系统包括所述第一管理节点和第二管理节点,所述第一管理节点和所述第二管理节点均运行在HA高可用模式;
    处理模块,用于读取集群特征信息,利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;
    配置模块,用于利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;
    同步模块,用于对所述第一管理节点的配置文件、所述第二管理节点的配置 文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
  7. 根据权利要求6所述的升级装置,其特征在于,所述备份模块包括:
    判断子模块,用于判断所述第一管理节点和所述第二管理节点上的索引数据是否同步;
    第一备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据同步,则确定对主管理节点上的索引数据进行备份,其中,所述主管理节点为所述第一管理节点和所述第二管理节点中对外提供云存储服务的管理节点;
    第二备份子模块,用于若第一管理节点和所述第二管理节点上的索引数据不同步,则待第一管理节点和所述第二管理节点上的索引数据同步后,对所述主管理节点上的索引数据进行备份。
  8. 根据权利要求7所述的升级装置,其特征在于,所述集群特征信息至少包括:数据备份数和集群主机的IP地址,其中,所述第二管理节点的配置文件中至少记录有所述第二管理节点的IP地址和端口、所述集群主机的IP地址以及所述数据备份数;所述第一管理节点的配置文件中至少记录有所述第一管理节点的IP地址和端口、所述集群主机的IP地址以及数据备份数,其中,所述同步模块包括:
    第一同步子模块,用于在所述第一管理节点和所述第二管理节点的配置文件中增加所述第三管理节点的节点IP地址和端口的信息;以及
    第二同步子模块,用于在所述第三管理节点的配置文件中增加所述第一管理节点和所述第二管理节点的节点IP地址和端口的信息。
  9. 根据权利要求6所述的升级装置,其特征在于,所述升级装置还包括:
    判断模块,用于在将所述备份数据导入所述第三管理节点之后,判断所述备份数据是否导入成功,并判断所述第三管理节点运行是否正常;
    返回模块,用于若所述备份数据导入不成功或所述第三管理节点运行不正常,则返回执行利用所述集群特征信息配置所述视频云存储系统中的一个或多个新增的第三管理节点的配置文件的操作。
  10. 根据权利要求6至9中任一项所述的升级装置,其特征在于,所述升级装置还包括:
    获取模块,用于在对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步之后,获取在升级的过程中产生的未备份的视频存储数据的新增索引信息;
    保存模块,用于将所述新增索引信息保存入所述视频云存储系统中的至少一个管理节点,其中,所述至少一个管理节点包括:所述第一管理节点、所述第二管理节点和所述第三管理节点。
  11. 一种视频云存储系统,其特征在于,包括:
    第一管理节点,所述第一管理节点运行在HA高可用模式;
    第二管理节点,所述第二管理节点运行在HA高可用模式;
    第三管理节点,用于在接收到对视频云存储系统进行升级的升级指令的情况下,导入所述第一管理节点和所述第二管理节点上索引数据的备份数据,并利用集群特征信息配置对应的配置文件;
    所述第一管理节点和所述第二管理节点还用于利用所述集群特征信息配置对应的配置文件;
    所述第一管理节点、所述第二管理节点和所述第三管理节点还用于对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步,以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
  12. 一种视频云存储系统,其特征在于,包括:第一管理节点、第二管理节点、第三管理节点和升级设备,其中,
    所述第一管理节点运行在HA高可用模式;
    所述第二管理节点运行在HA高可用模式;
    所述第三管理节点为所述视频云存储系统中的新增节点;
    所述升级设备,用于在接收到对视频云存储系统进行升级的升级指令的情况下,对所述第一管理节点的索引数据进行备份,得到备份数据;读取集群特征信息,利用所述集群特征信息配置所述第三管理节点的配置文件,并将所述备份数据导入所述第三管理节点;利用所述集群特征信息配置所述第一管理节点和所述第二管理节点的配置文件;对所述第一管理节点的配置文件、所述第二管理节点的配置文件和所述第三管理节点的配置文件进行信息同步, 以使所述第一管理节点、所述第二管理节点、以及所述第三管理节点运行在集群模式。
  13. 一种电子设备,其特征在于,包括:处理器和存储器,其中,存储器用于存储可执行程序代码,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行权利要求1-5任一项所述的升级方法。
  14. 一种可执行程序代码,其特征在于,所述可执行程序代码用于被运行以执行权利要求1-5任一项所述的升级方法。
  15. 一种存储介质,其特征在于,所述存储介质用于存储可执行程序代码,所述可执行程序代码用于被运行以执行权利要求1-5任一项所述的升级方法。
PCT/CN2017/092201 2016-07-13 2017-07-07 基于视频云存储系统的存储模式升级方法、装置和系统 WO2018010603A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610555458.2 2016-07-13
CN201610555458.2A CN107623705B (zh) 2016-07-13 2016-07-13 基于视频云存储系统的存储模式升级方法、装置和系统

Publications (1)

Publication Number Publication Date
WO2018010603A1 true WO2018010603A1 (zh) 2018-01-18

Family

ID=60951958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/092201 WO2018010603A1 (zh) 2016-07-13 2017-07-07 基于视频云存储系统的存储模式升级方法、装置和系统

Country Status (2)

Country Link
CN (1) CN107623705B (zh)
WO (1) WO2018010603A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351108A (zh) * 2018-04-04 2019-10-18 电信科学技术研究院有限公司 一种配置信息协调和存储方法及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163173B (zh) * 2019-12-31 2022-06-21 迈普通信技术股份有限公司 集群配置方法、装置、服务器及可读存储介质
CN113836094B (zh) * 2021-11-30 2022-03-01 成都同步新创科技股份有限公司 一种分布式视频存储的文件生命周期管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006190A (zh) * 2010-11-23 2011-04-06 浪潮(北京)电子信息产业有限公司 一种高可用集群备份系统及其备份方法
US20110218971A1 (en) * 2010-03-08 2011-09-08 Yahoo! Inc. System, Method And Computer Program Product For Managing Caches
CN102882927A (zh) * 2012-08-29 2013-01-16 华南理工大学 一种云存储数据同步框架及其实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102655460B (zh) * 2012-01-05 2014-09-24 中国工商银行股份有限公司 一种生产服务器冗余备份方法及系统
CN105487944B (zh) * 2015-12-31 2018-11-30 成都华为技术有限公司 数据备份系统中复制模式转换的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110218971A1 (en) * 2010-03-08 2011-09-08 Yahoo! Inc. System, Method And Computer Program Product For Managing Caches
CN102006190A (zh) * 2010-11-23 2011-04-06 浪潮(北京)电子信息产业有限公司 一种高可用集群备份系统及其备份方法
CN102882927A (zh) * 2012-08-29 2013-01-16 华南理工大学 一种云存储数据同步框架及其实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351108A (zh) * 2018-04-04 2019-10-18 电信科学技术研究院有限公司 一种配置信息协调和存储方法及设备
CN110351108B (zh) * 2018-04-04 2022-06-28 大唐移动通信设备有限公司 一种配置信息协调和存储方法及设备

Also Published As

Publication number Publication date
CN107623705B (zh) 2019-12-20
CN107623705A (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
US10073747B2 (en) Reducing recovery time in disaster recovery/replication setup with multitier backend storage
JP6246358B2 (ja) 大規模データストリームの取得、記憶、及び消費のための管理型サービス
US9639429B2 (en) Creating validated database snapshots for provisioning virtual databases
US11500832B2 (en) Data management method and server
CN110737442A (zh) 一种边缘应用管理方法及系统
US20130091376A1 (en) Self-repairing database system
WO2018010603A1 (zh) 基于视频云存储系统的存储模式升级方法、装置和系统
US20220335011A1 (en) System and Method for Eliminating Full Rescan Synchronizations on Service Restarts
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN111752577B (zh) 一种系统版本的升级方法及设备
JP2021529379A (ja) 検索サーバの集中型ストレージ
CN104516744A (zh) 软件更新方法及系统
CN114238255A (zh) 同步文件的方法、装置、电子设备及计算机可读存储介质
CN112035062B (zh) 云计算的本地存储的迁移方法、计算机设备及存储介质
US10552404B2 (en) Retrospective snapshots in log-structured storage systems
US20180088816A1 (en) Retrospective snapshots in log structured storage systems
CN104754007A (zh) 用于管理网络附加存储的方法和装置
CN111031126A (zh) 集群缓存共享方法、系统、设备及存储介质
CN112527446A (zh) 时区同步方法、设备及终端设备
CN108984356A (zh) 一种it产品测试方法及装置
CN114490570A (zh) 生产数据同步方法、装置、数据同步系统及服务器
US9710298B2 (en) Information processing system, storage apparatus, and program
CN111858175A (zh) 一种基于移动存储装置备份云平台数据的方法与设备
CN109992215A (zh) 一种icfs系统的升级方法、升级系统及相关装置
CN111522688A (zh) 分布式系统的数据备份方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17826939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17826939

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 09.07.2019)