WO2016091124A1 - 一种文件截断方法和装置 - Google Patents
一种文件截断方法和装置 Download PDFInfo
- Publication number
- WO2016091124A1 WO2016091124A1 PCT/CN2015/096468 CN2015096468W WO2016091124A1 WO 2016091124 A1 WO2016091124 A1 WO 2016091124A1 CN 2015096468 W CN2015096468 W CN 2015096468W WO 2016091124 A1 WO2016091124 A1 WO 2016091124A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- written
- address
- data block
- space
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种文件截断方法和装置。方法包括：接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间（201）；根据所述标识确定所述待截断文件（202）；对所述待截断文件加锁（203）；创建所述待截断文件对应的位图（204）；所述位图创建之后，对所述待截断文件解锁（205）；在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放（206）。该文件截断方法和装置，能够快速对用户返回截断成功，解决了现有文件截断过程太慢影响其它操作的问题。
Description
本申请要求于2014年12月11日提交中国专利局、申请号为201410763438.5、发明名称为“一种文件截断方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明实施例涉及计算机技术，尤其涉及一种文件截断方法和装置。
截断是指删除文件中的数据，但不删除文件的操作。文件系统存在很多截断的操作，例如对在编辑文档时，插入字符的过程就需要截断操作。图1为一个文件的数据块结构示意图，如图1所示，文件系统的数据块一般按树状结构组织，每个椭圆表示一个数据块，该文件包括8个数据块(编号为0-7)和6个间接块，其中8个数据块也称为叶子块。截断操作时需要把涉及到的数据块都释放掉，例如，原文件的大小为100MB，若截断到1MB，则1MB至100MB之间的数据块都会被释放；若截断到0MB，则原文件中所有的数据块都会被释放掉。当文件系统收到一个要求把图1所示的文件截断到0的指令后，先对文件加锁，使得在截断期间该文件不被更改，即用户在该期间不能对该文件进行读写操作；再释放所有的数据块以及间接块，具体操作为遍历该文件的组织结构，查找要释放的块的地址，包括叶子块与间接块，并释放这些叶子块与间接块，将其挂回空闲队列；然后对该文件解锁，并向用户返回截断成功的消息。
可以看出，现有技术的截断方法，在截断期间文件都被加锁，而加锁会导致其它的操作无法对该文件加锁而挂住，导致该文件不能被访问，不便于用户操作，也会影响业务的成功率，尤其是当文件较大时，例如文件大小为几十个GB，则块的释放会很慢，而这期间其他操作又无法对该文件进行访问，对于网络存储技术(Network Storage Technologies，简称：NAS)场景有可能导致客户端操作超时，从而造成业务中断。
发明内容
本发明实施例提供一种文件截断方法和装置，以克服现有技术的文件截断占用时间过长，影响其他业务的成功率的问题。
第一方面，本发明实施例提供一种文件截断方法，包括：
接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；
根据所述标识确定所述待截断文件；
对所述待截断文件加锁；
创建所述待截断文件对应的位图；
所述位图创建之后，对所述待截断文件解锁；
在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图用于记录所述数据块的标识，以及记录所述数据块的空间已释放。
在第一方面的第一种可能的实现方式中，在所述释放所述数据块的空间之后，所述方法还包括：
接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
在第一方面的第二种可能的实现方式中，在所述释放所述数据块的空间之前，所述方法还包括：
接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
根据第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中之前，还包括：
将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同；
所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
根据第一方面的第一种可能的实现方式，在第四种可能的实现方式中，还包括：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
从所述待写入数据的地址对应的存储空间中获得所述待写入数据；
将所述待写入数据发送给所述客户端。
根据第一方面的第二种或第三种可能的实现方式，在第五种可能的实现方式中，还包括：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
第二方面，本发明实施例提供一种文件截断装置，包括：
接收模块，用于接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；
处理模块，用于：
根据所述标识确定所述待截断文件；
对所述待截断文件加锁；
创建所述待截断文件对应的位图；
所述位图创建之后，对所述待截断文件解锁；
在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图用于记录所述数据块的标识，以及记录所述数据块的空间已释放。
在第二方面的第一种可能的实现方式中，所述接收模块，还用于：在所述释放所述数据块的空间之后，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理模块还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
在第二方面的第二种可能的实现方式中，所述接收模块，还用于：
在所述释放所述数据块的空间之前，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理模块还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
根据第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理模块，还用于：
将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所
述数据块中的位置相同；
所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
根据第二方面的第一种可能的实现方式，在第四种可能的实现方式中，所述接收模块，还用于：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
所述处理模块还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
从所述待写入数据的地址对应的存储空间中获得所述待写入数据；
还包括发送模块，用于将所述待写入数据发送给所述客户端。
根据第二方面的第二种或第三种可能的实现方式，在第五种可能的实现方式中，所述接收模块，还用于：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
所述处理模块还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
所述发送模块还用于：向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
本发明实施例提供的文件截断方法和装置，通过所述位图创建之后，对所述待截断文件解锁，在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，然后在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息在记录截断过程的进度之后就向用户返回截断成功的消息，并将截断任务转入后台运行，由于对待截断文件解锁的步骤在释放所述数据块的空间的步骤之前，使得在实际释放数据块的空间的过程中能够支持新的对文件的访问操作，从而能够快速对用户返回截断成功，提高了便利性，并解决了现有文件系统截断过程太慢影响其它操作的问题，并提高了便利性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个文件的数据块结构示意图；
图2为本发明文件截断方法实施例一的流程图；
图3为基于本发明的文件截断方法，在释放所述数据块的空间已完成时写入数据的方法实施例的流程图；
图4为基于本发明的文件截断方法，在释放所述数据块的空间未完成时写入数据的方法实施例的流程图；
图5为图4所示实施例中示例性的4号块的空间分布示意图；
图6为基于本发明的文件截断方法，在释放所述数据块的空间已完成时读数据的方法实施例的流程图；
图7为基于本发明的文件截断方法，在释放所述数据块的空间未完成时读数据的方法实施例的流程图；
图8为本发明文件截断装置实施例一的结构示意图；
图9为本发明件截断装置实施例二的结构示意图；
图10为本发明件截断装置实施例三的结构示意图。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2为本发明文件截断方法实施例一的流程图，如图2所示，本实施例的方法可以包括：
步骤201、接收客户端发送的文件截断指令，所述指令包括待截断文件
的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间。
步骤202、根据所述标识确定所述待截断文件。
步骤203、对所述待截断文件加锁。
步骤204、创建所述待截断文件对应的位图。
步骤205、所述位图创建之后，对所述待截断文件解锁。
现有技术中需要将待截断的数据块全部释放之后才将待截断文件解锁的方案，而在本实施例中，步骤205在创建位图之后就对所述待截断文件解锁，使得其他操作能够对该文件进行操作。
步骤206、在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放。
其中，步骤203和步骤204并没有先后顺序，该两个步骤也可以同时进行。步骤204中的位图用于记录截断过程的进度。
可选地，步骤204的位图创建之后，还可以将所述位图记录在保电内存中，即存储在非易失性内存中。或者，还可以进行镜像等备份处理，以保证所述位图不被丢失。
并且，该位图任务需要持久化，并根据数据块释放的进度进行更新。
本实施例的方法，文件系统在收到文件截断指令后，只要创建或初始化所述待截断文件对应的位图之后就对所述待截断文件解锁，并且在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间。这里，释放所述数据块的空间的操作可以由后台执行，对客户端不可见。在实际执行释放数据块的空间的操作时，在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息，例如每释放掉一个数据块的空间就可以在位图里标记为0。
本实施例的方法，通过在所述位图创建之后，对所述待截断文件解锁，在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，然后在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息，由于对待截断文件解锁的步骤在释放所述数据块的空间的步骤之前，使得在实际释放数据块的空间的过程中能够支持新的对文件的访问
操作，从而能够解决现有文件系统截断过程太慢影响其它操作的问题，并提高了便利性。
由于在返回截断成功的消息时，实际上具体的释放数据块的操作并没有完成，如果在后台进行释放时，又收到访问数据的指令，这时存在两种情况，第一种情况下，虽然整个截断过程未完成，但是待访问的数据块已经释放完成，这种情况只要确认该数据块已经释放完成，对数据的访问可以与一般的数据访问相同，不需要其他的额外处理；第二种情况下，待访问的数据块还没有被释放，则优先释放该待访问的数据块，并且，写入数据的操作与读数据的操作也不相同，下面分别对不同情况下的数据访问过程进行描述。
图3为基于本发明的文件截断方法，在释放所述数据块的空间已完成时写入数据的方法实施例的流程图，如图3所示，本实施例的方法可以包括：
步骤301、接收客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置。
通常数据块的空间较大，而待写入数据所需的空间仅占数据块的空间的一部分，因此，待写入数据的地址包括通常需要包括所述数据块的标识和所述待写入数据在所述数据块中的位置。
步骤302、根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放。
步骤303、将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
本实施例的数据写入方法，在写入数据之前先查询位图，确定所述数据块的空间已被释放，然后再将所述待写入数据写入所述待写入数据的地址对应的存储空间中，即使在整个文件截断过程未结束时，也能够保证写入过程的正常进行。
图4为基于本发明的文件截断方法，在释放所述数据块的空间未完成时写入数据的方法实施例的流程图，如图4所示，本实施例的方法可以包括：
步骤401、接收客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置。
步骤402、根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放。
接下来，可以在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
可选地，在具体实现时，在执行释放所述数据块的空间，将所述待写入数据写入所述待写入数据的地址对应的存储空间中的步骤之前，还可以先执行如下的可选步骤403：
步骤403、将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同。
这时，在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中的步骤具体可以为：
步骤404、从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
具体地，将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同，是指，将所述待写入的数据块采用全零页面表示，与待写入的数据进行组合，组合的结果可以是所述缓存中产生三个页面，分别为：所述数据块的首地址至所述待写入数据在所述数据块中的位置之间的空间所对应的全零页面，待写入数据对应的页面和所述待写入数据在所述数据块中的位置至所述数据块的尾地址之间空间对应的全零页面。
步骤404中，当缓存数据写入磁盘时，全零页面会转换成截断操作。
下面以一个具体的实施例说明待写入的数据块的空间还未释放情况的具体操作。设文件系统组织结构如图1所示，数据块为0～7，每个块的大小为1GB，截断指示为要求截断为0，初始的截断过程进度，即截断位图为11111111，一般的截断任务为从后往前进行，因此，当截断到5时，截断位图为11111000，如果这时收到指令：在4号块中写入大小为4KB的数据，其4KB的数据起始于4号块中首地址之后128KB的位置。这时写入操作可以如
图4的方法进行，其中，步骤402具体为检测位图，根据位图确定4号块没有被释放。这时可以优先释放该4号块，步骤403的写入缓存的操作，其具体包括：
将待写入的4KB数据和全零数据进行组合。缓存将产生三个页面：待写入数据之前空间对应的全零页面，待写入的4KB数据对应的页面和待写入数据之后空间对应的全零页面。
设该4号块的大小为1GB，例如，该1GB的区域表示的位置是从文件的50GB至51GB之间的区域，写入的4KB的数据位于50GB+128KB的位置，这时，缓存产生的三个页面分别为：[50GB，128KB]、[(50GB+128KB)，4KB]、[(50GB+128KB+4K)，(1GB-128KB-4KB)]，其中，中括号中的第一项表示区域的起始位置，第二项(逗号之后的项)表示该区域的长度。
该4号块的空间分布如图5所示，图5为图4所示实施例中示例性的4号块的空间分布示意图。其中，阴影部分为待写入的4KB数据，阴影部分前后两个空白部分为两个全零页面，阴影部分的起始位置为所述待写入数据的地址包括的述待写入数据在所述数据块中的位置，本实施例中为50GB+128KB，即阴影部分左侧的全零页面的长度为128KB。
全零页面是一种特殊的页面，用于表示一种释放动作，当缓存数据存入磁盘时，会将所述全零页面转换成截断操作，并把所述数据块和与所述数据块对应的间接块对应的空间全部释放掉。在缓存中数据存入磁盘时，会针对全零页面作特殊的处理，如[50GB，128KB]这个全零页面表示要把文件的从50GB起始往后128KB的区域分配的空间释放掉；[(50GB+128KB+4K)，(1GB-128KB-4KB)]表示把文件50GB+128KB+4K位置起51GB-128KB-4KB长度之内的区域空间释放掉；[(50GB+128KB)，4KB]区域是用户实际待写入数据的区域。这样，最终存入磁盘的就是4KB的待写入数据。
本实施例的方法，可以应用于待访问的数据块还没有被释放，而有收到写数据指令的情况，通过在写入数据之前优先释放该数据块，然后进行写入的操作完成写入任务，从而保证了写入操作的正常进行。
图6为基于本发明的文件截断方法，在释放所述数据块的空间已完成时读数据的方法实施例的流程图，如图6所示，本实施例的方法可以包括：
步骤601、接收所述客户端发送的读数据指令，所述读数据指令包括所
述待写入数据的地址。
其中，本实施例的场景为对于某个文件的截断的操作转入后台执行时的接收到读数据的指令，此时该文件的数据块空间释放并未完成。步骤601的读数据指令是指前述的图3或图4所对应的实施例中写入的数据，因此，读数据指令中包括的地址对应于前述实施例中的待写入数据的地址。
步骤602、根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放。
步骤603、从所述待写入数据的地址对应的存储空间中获得所述待写入数据。
步骤604、将所述待写入数据发送给所述客户端。
相比于现有技术的读数据方法，本实施例的读数据方法在获取读数据指令中要求的数据之前，增加了查看位图，确认所述数据块的空间是否已被释放的步骤，从而保证了即使在整个文件的截断未完成时，也能够执行读数据的操作。
图7为基于本发明的文件截断方法，在释放所述数据块的空间未完成时读数据的方法实施例的流程图，如图7所示，本实施例的方法可以包括：
步骤701、接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址。
其中，本实施例的场景为对于某个文件的截断的操作转入后台执行时的接收到读数据的指令，此时该文件的数据块空间释放并未完成。步骤701的读数据指令是指前述的图3或图4所对应的实施例中写入的数据，因此，读数据指令中包括的地址对应于前述实施例中的待写入数据的地址。
步骤702、根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放。
步骤703、向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
相比于现有技术的读数据方法，本实施例的读数据方法在获取读数据指令中要求的数据之前，增加了查看位图，确认所述数据块的空间是否已被释放的步骤，本实施例中，由于数据块的空间未被释放，因此向客户端返回无数据的指示。
结合上述各个实施例，通过把文件截断操作转变为后台执行的释放数据块的空间的任务，并通过位图记录释放数据块的空间的过程的进度，能够快速对所述待截断文件解锁，并向所述客户端发送所述指令的响应消息，从用户感知的角度，加快了大文件的截断操作，能够更快的响应数据块的应用；对于NAS场景，对于数据量较大的文件的截断命令不容易超时，从而提高了业务的成功率；同时，采用位图记录，例如位图日志(log)的方式，保证数据块空间释放、写入数据和读数据这些操作之间的独立性，不会因为数据块空间释放过程影响读数据和写入数据的执行。
图8为本发明文件截断装置实施例一的结构示意图，本实施例的装置可以为设置在计算机、服务器、智能手机或者其他电子产品上，如图8所示，本实施例的文件截断装置800可以包括：接收模块801和处理模块802，其中，
接收模块801，可以用于接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；
处理模块802，可以用于：
根据所述标识确定所述待截断文件；
对所述待截断文件加锁；
创建所述待截断文件对应的位图；
所述位图创建之后，对所述待截断文件解锁；
在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图用于记录所述数据块的标识，以及记录所述数据块的空间已释放。
可选地，在一个场景中，所述接收模块801，还用于在所述释放所述数据块的空间之后，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理模块802还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
可选地，在另一场景中，所述接收模块801，还可以用于在所述释放所述数据块的空间之前，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理模块802，还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
可选地，所述处理模块802还可以用于：
将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同；
所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
本实施例的装置，可以用于执行图2～4所示方法实施例的技术方案，其实现原理类似，此处不再赘述。
本实施例的装置，通过所述位图创建之后，对所述待截断文件解锁，在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，然后在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息在记录截断过程的进度之后就向用户返回截断成功的消息，并将截断任务转入后台运行，由于对待截断文件解锁的步骤在释放所述数据块的空间的步骤之前，使得在实际释放数据块的空间的过程中能够支持新的对文件的访问操作，从而能够快速对用户返回截断成功，提高了便利性，并解决了现有文件系统截断过程太慢影响其它操作的问题，并提高了便利性。并且，在实际释放数据块的空间的过程中，写数据的操作能够顺利进行。
图9为本发明件截断装置实施例二的结构示意图，本实施例的所述文件截断装置900，在图8所示实施例的基础上，还可以包括发送模块803。
在一个场景中，所述接收模块801，还可以用于接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
所述处理模块802还可以用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
从所述待写入数据的地址对应的存储空间中获得所述待写入数据；
所述发送模块803可以用于将所述待写入数据发送给所述客户端。
可选地，在另一场景中，所述接收模块801，还用于：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
所述处理模块802还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
所述发送模块803还用于：向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
本实施例的装置，可以用于执行图6、7所示方法实施例的技术方案，其实现原理类似，此处不再赘述。
本实施例的装置，通过所述位图创建之后，对所述待截断文件解锁，在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，然后在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息在记录截断过程的进度之后就向用户返回截断成功的消息，并将截断任务转入后台运行，由于对待截断文件解锁的步骤在释放所述数据块的空间的步骤之前，使得在实际释放数据块的空间的过程中能够支持新的对文件的访问操作，从而能够快速对用户返回截断成功，提高了便利性，并解决了现有文件系统截断过程太慢影响其它操作的问题，并提高了便利性。并且，在实际释放数据块的空间的过程中，读数据的操作能够顺利进行。
图10为本发明文件截断装置实施例三的结构示意图，本实施例的文件截断装置可以为计算机、服务器、智能手机或者其他电子产品，可以用于执行
图2～4、6～7所示任一方法实施例的方法，如图10所示，本实施例的文件截断装置1000可以包括：接口电路1001和处理器1002，图中还示出了存储器1003和总线1004，该处理器1002、接口电路1001和存储器1003通过总线1004连接并完成相互间的通信。
该总线1004可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线1004可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1003用于存储可执行程序代码，该程序代码包括计算机操作指令。存储器1003可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002可以是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
其中，接口电路1001，可以用于接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；
处理器1002，可以用于：
根据所述标识确定所述待截断文件；
对所述待截断文件加锁；
创建所述待截断文件对应的位图；
所述位图创建之后，对所述待截断文件解锁；
在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图用于记录所述数据块的标识，以及记录所述数据块的空间已释放。
可选地，在一个场景中，接口电路1001，还用于在所述释放所述数据块的空间之后，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理器1002还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
可选地，在另一场景中，所述接口电路1001，还可以用于在所述释放所述数据块的空间之前，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；
所述处理器1002，还用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
可选地，所述处理器1002还可以用于：
将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同；
所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
在一个场景中，所述接口电路1001，还可以用于接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；
所述处理器1002还可以用于：
根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；
从所述待写入数据的地址对应的存储空间中获得所述待写入数据；
所述接口电路1001可以用于将所述待写入数据发送给所述客户端。
可选地，在另一场景中，所述接口电路1001，还用于：
接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数
据的地址；
所述处理器1001还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；
所述接口电路1001还用于：向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
本实施例的装置，通过所述位图创建之后，对所述待截断文件解锁，在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，然后在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放的信息在记录截断过程的进度之后就向用户返回截断成功的消息，并将截断任务转入后台运行，由于对待截断文件解锁的步骤在释放所述数据块的空间的步骤之前，使得在实际释放数据块的空间的过程中能够支持新的对文件的访问操作，从而能够快速对用户返回截断成功，提高了便利性，并解决了现有文件系统截断过程太慢影响其它操作的问题，并提高了便利性。并且，在实际释放数据块的空间的过程中，写数据和读数据的操作能够顺利进行。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
- 一种文件截断方法，其特征在于，包括：接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；根据所述标识确定所述待截断文件；对所述待截断文件加锁；创建所述待截断文件对应的位图；所述位图创建之后，对所述待截断文件解锁；在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放。
- 根据权利要求1所述的方法，其特征在于，在所述释放所述数据块的空间之后，所述方法还包括：接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
- 根据权利要求1所述的方法，其特征在于，在所述释放所述数据块的空间之前，所述方法还包括：接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
- 根据权利要求3所述的方法，其特征在于，在所述在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中之前，还包括：将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同；所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
- 根据权利要求2所述的方法，其特征在于，还包括：接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；从所述待写入数据的地址对应的存储空间中获得所述待写入数据；将所述待写入数据发送给所述客户端。
- 根据权利要求3或4所述的方法，其特征在于，还包括：接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
- 一种文件截断装置，其特征在于，包括：接收模块，用于接收客户端发送的文件截断指令，所述指令包括待截断文件的标识，所述待截断文件包括数据块，所述指令用于指示释放所述数据块的空间；处理模块，用于：根据所述标识确定所述待截断文件；对所述待截断文件加锁；创建所述待截断文件对应的位图；所述位图创建之后，对所述待截断文件解锁；在向所述客户端发送所述指令的响应消息之后，释放所述数据块的空间，并在所述位图记录所述数据块的标识，以及记录所述数据块的空间已释放。
- 根据权利要求7所述的装置，其特征在于，所述接收模块，还用于：在所述释放所述数据块的空间之后，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；所述处理模块还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
- 根据权利要求7所述的装置，其特征在于，所述接收模块，还用于：在所述释放所述数据块的空间之前，接收所述客户端发送的写数据指令，所述写数据指令包括待写入数据以及所述待写入数据的地址，所述待写入数据的地址包括所述数据块的标识和所述待写入数据在所述数据块中的位置；所述处理模块还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；在释放所述数据块的空间后，将所述待写入数据写入所述待写入数据的地址对应的存储空间中。
- 根据权利要求9所述的装置，其特征在于，所述处理模块，还用于：将所述待写入数据和全零数据组合后的数据写入缓存，所述组合后的数据的大小与所述数据块的大小相同，所述组合后的数据包括所述待写入数据，所述待写入数据在所述组合后的数据中的位置与所述待写入数据的地址在所述数据块中的位置相同；所述将所述待写入数据写入所述待写入数据的地址对应的存储空间中，包括：从所述缓存中读取所述组合后的数据，写入所述数据块所在的存储空间中。
- 根据权利要求8所述的装置，其特征在于，所述接收模块，还用于：接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；所述处理模块还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间已被释放；从所述待写入数据的地址对应的存储空间中获得所述待写入数据；还包括发送模块，用于将所述待写入数据发送给所述客户端。
- 根据权利要求8或9所述的装置，其特征在于，所述接收模块，还用于：接收所述客户端发送的读数据指令，所述读数据指令包括所述待写入数据的地址；所述处理模块还用于：根据所述待写入数据的地址和所述位图确定所述数据块的空间没有被释放；所述发送模块还用于：向所述客户端发送所述读数据指令的响应消息，所述响应消息用于指示无数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410763438.5 | 2014-12-11 | ||
| CN201410763438.5A CN104462403B (zh) | 2014-12-11 | 2014-12-11 | 文件截断方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016091124A1 true WO2016091124A1 (zh) | 2016-06-16 |
Family
ID=52908438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2015/096468 WO2016091124A1 (zh) | 2014-12-11 | 2015-12-04 | 一种文件截断方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104462403B (zh) |
| WO (1) | WO2016091124A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108989429A (zh) * | 2018-07-19 | 2018-12-11 | 平安科技（深圳）有限公司 | 实时更新页面数据的方法、装置、电子设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462403B (zh) * | 2014-12-11 | 2018-03-02 | 华为技术有限公司 | 文件截断方法和装置 |
| CN105243101B (zh) * | 2015-09-17 | 2019-05-10 | 浪潮(北京)电子信息产业有限公司 | 多控制器对同一数据压缩文件进行并发访问的方法及系统 |
| CN108595287B (zh) * | 2018-04-27 | 2021-11-05 | 新华三技术有限公司成都分公司 | 基于纠删码的数据截断方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5202971A (en) * | 1987-02-13 | 1993-04-13 | International Business Machines Corporation | System for file and record locking between nodes in a distributed data processing environment maintaining one copy of each file lock |
| US5420403A (en) * | 1992-05-26 | 1995-05-30 | Canada Post Corporation | Mail encoding and processing system |
| CN103733187A (zh) * | 2011-08-10 | 2014-04-16 | 微软公司 | 基于令牌的文件操作 |
| CN104462403A (zh) * | 2014-12-11 | 2015-03-25 | 华为技术有限公司 | 文件截断方法和装置 |
-
2014
- 2014-12-11 CN CN201410763438.5A patent/CN104462403B/zh active Active
-
2015
- 2015-12-04 WO PCT/CN2015/096468 patent/WO2016091124A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5202971A (en) * | 1987-02-13 | 1993-04-13 | International Business Machines Corporation | System for file and record locking between nodes in a distributed data processing environment maintaining one copy of each file lock |
| US5420403A (en) * | 1992-05-26 | 1995-05-30 | Canada Post Corporation | Mail encoding and processing system |
| CN103733187A (zh) * | 2011-08-10 | 2014-04-16 | 微软公司 | 基于令牌的文件操作 |
| CN104462403A (zh) * | 2014-12-11 | 2015-03-25 | 华为技术有限公司 | 文件截断方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108989429A (zh) * | 2018-07-19 | 2018-12-11 | 平安科技（深圳）有限公司 | 实时更新页面数据的方法、装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104462403A (zh) | 2015-03-25 |
| CN104462403B (zh) | 2018-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2879040B1 (en) | Data storage method, data storage apparatus, and storage device | |
| JP2020506461A5 (zh) | ||
| JP6605078B2 (ja) | 情報処理方法、情報処理装置、サーバ及びコンピュータ読み取り可能な記録媒体 | |
| US10120795B2 (en) | Wear-leveling nandflash memory reading/writing method | |
| US10154112B1 (en) | Cloud-to-cloud data migration via cache | |
| WO2016091124A1 (zh) | 一种文件截断方法和装置 | |
| JP2007079774A5 (zh) | ||
| WO2017113213A1 (zh) | 访问请求处理方法、装置及计算机系统 | |
| JP2016536694A5 (zh) | ||
| US10298649B2 (en) | Guaranteeing stream exclusivity in a multi-tenant environment | |
| US8151068B2 (en) | Data copy management for faster reads | |
| US8966207B1 (en) | Virtual defragmentation of a storage | |
| CN102272751A (zh) | 在数据库环境通过背景同步的数据完整性 | |
| CN103744975A (zh) | 基于分布式文件的高效缓存服务器 | |
| US10983930B1 (en) | Efficient non-transparent bridge (NTB) based data transport | |
| CN103631682A (zh) | 数据备份的实现方法和装置 | |
| WO2019000423A1 (zh) | 一种数据存储方法及设备 | |
| CN104281486B (zh) | 一种虚拟机处理方法和装置 | |
| US10922277B1 (en) | Logging file system metadata changes using a single log hold per cached block of metadata | |
| WO2017067297A1 (zh) | 对nas设备中视频数据的读写方法及装置 | |
| WO2017054539A1 (zh) | 数据快照方法和存储设备 | |
| KR101412885B1 (ko) | 모드 설정 및 구분자를 이용하여 저장 매체에서의 영속화를 제어하는 방법 및 그 스토리지 시스템 | |
| US10706012B2 (en) | File creation | |
| US11537597B1 (en) | Method and system for streaming data from portable storage devices | |
| JP2014059760A (ja) | ストレージ装置、ストレージ装置の制御方法、及びストレージ装置の制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15867161 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15867161 Country of ref document: EP Kind code of ref document: A1 |