WO2016107339A1 - 一种批量发送消息的方法和装置 - Google Patents

一种批量发送消息的方法和装置 Download PDF

Info

Publication number
WO2016107339A1
WO2016107339A1 PCT/CN2015/095539 CN2015095539W WO2016107339A1 WO 2016107339 A1 WO2016107339 A1 WO 2016107339A1 CN 2015095539 W CN2015095539 W CN 2015095539W WO 2016107339 A1 WO2016107339 A1 WO 2016107339A1
Authority
WO
WIPO (PCT)
Prior art keywords
meta information
message
request packet
cache
meta
Prior art date
Application number
PCT/CN2015/095539
Other languages
English (en)
French (fr)
Inventor
乔俊龙
陈飞
Original Assignee
北京奇虎科技有限公司
奇智软件(北京)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司, 奇智软件(北京)有限公司 filed Critical 北京奇虎科技有限公司
Publication of WO2016107339A1 publication Critical patent/WO2016107339A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

本发明公开了一种批量发送消息的方法和装置,应用于分布式消息系统,所述方法包括:读取待发送的已经封装的请求包;解析所述请求包,以获取元信息以及消息;根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;以及若判断结果为是,则将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。上述方法和装置,可以将不同类型的元信息及消息相对应地缓存在缓存文件中,并进行批量发送,减少了网络延迟,大幅提升了发送性能。

Description

一种批量发送消息的方法和装置 技术领域
本发明涉及计算机技术领域,尤其涉及一种批量发送消息的方法和装置。
背景技术
分布式消息系统是采用分布式处理进行消息发布和订阅的系统,典型的分布式消息系统包括kafka,RabbitMQ,ActiveMQ,QBus等等。
Qbus是一种以kafka为原型的分布式消息系统,其主要由发布方(Producer)、订阅方(Consumer)、存储方(Broker)、协调方(Zookeeper)、代理方(Agent)等单元组成。其中Agent的主要作用是将日志文件实时推送到存储方。
QBus系统目前使用消息单条发送策略,为了保证数据可靠性,数据发送需要等待确收(ACK),网络延迟成为了性能的瓶颈,其中,需要逐一读取请求包后发送到对应的服务器数据目录,多次经过网络造成性能较差,无法满足大量用户调用发送接口的需求,容易造成数据发送积压,引发积压报警,增加运维成本。另外,大量未发送消息导致本地文件无法删除,本地磁盘空间占用率高。
发明内容
鉴于上述问题,提出了本发明实施例的批量发送消息的方法和装置,以便克服上述问题或者至少部分地解决上述问题。
依据本发明的第一方面,提供了一种批量发送消息的方法,应用于分布式消息系统,所述方法包括:读取待发送的已经封装的请求包;解析所述请求包,以获取元信息以及消息;根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;以及若判断结果为是,则将所述元信息与缓存文件中缓存的对应 的消息重新封装为请求包,并发送到相应的服务器数据目录。
依据本发明的第二方面,提供了一种批量发送消息的装置,应用于分布式消息系统,包括:读取模块,用于读取待发送的已经封装的请求包;解析模块,用于解析所述请求包,以获取元信息以及消息;缓存模块,用于根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;第一判断模块,用于判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;以及重新封装和发送模块,用于在判断结果为是的情况下,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
根据本发明的第三个方面,提出了一种计算机程序,包括计算机可读代码,当所述计算机可读代码在计算设备上运行时,导致所述计算设备执行如上文所述的批量发送消息的方法。
根据本发明的第四个方面,提出了一种计算机可读介质,其中存储了上述的计算机程序。
本发明提供了上述批量发送消息的方法和装置,应用于分布式消息系统。根据本发明的实施例,可以读取待发送的已经封装的请求包,解析所述请求包以获取元信息以及消息,根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中,判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小,若判断结果为是,则将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。由此,可以将不同类型的元信息及消息相对应地缓存在缓存文件中,并进行批量发送,减少了网络延迟,大幅提升了发送性能,还能够针对消息发送超时时间以及所缓存的消息大小的情况,进行不同的有针对性的处理,确保了发送实时性以及发送成功率。另外,可对具有不同元信息的请求包设置不同的批量参数,如超 时时间、缓存大小等等,具有较高的灵活性,后期可扩展性比较好,如可以加入消息过滤器等。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明的实施例的批量发送消息方法的流程示意图;
图2是根据本发明的实施例的批量发送消息的装置以及服务器的结构示意图;
图3示出了用于执行根据本发明的方法的计算设备的框图;以及
图4示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施例
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的第一方面,提供了一种批量发送消息的方法100,应用于分布式消息系统。
在本发明的实施例中,分布式消息系统可以是采用分布式处理进行消息发布和订阅的系统,例如包括kafka,RabbitMQ,ActiveMQ,QBus等等。在下文中,将以QBus系统为例,对于本发明的原理进行详细地描述,以帮助读者更好地理解本发明的原理。但本领域技术人员应当理解,本发明的范围并不限于QBus系统,而是可以适用于任何分布式消息系统。
QBus系统主要由发布方(Producer)、订阅方(Consumer)、存储方(Broker)、协调方(Zookeeper)、代理方(Agent)等单元组成。其中代理方的主要作用是将日志文件实时推送到存储方,因此代理方的消息发送机制至关重要。下面将主要以代理方的消息发送为例来例示本发明的原理,同样,本发明的范围不限于此,而是可以应用于分布式消息系统(例如,QBus系统)的各个单元。
图1示出了根据本发明的实施例的批量发送消息方法100的流程示意图。如图1所示,方法100始于步骤S 110,其中,读取待发送的已经封装的请求包。
可选地,根据本发明的实施例,在所述读取待发送的已经封装的请求包的步骤S110之前,所述方法还可以包括以下步骤:将单个消息与元信息(即,meta信息)封装为请求包。根据本发明的实施例,可以调用SDK(软件开发套件)将单个消息与元信息封装成请求包,并记录在本地文件中,以准备发送到服务器。
而在步骤S110中,可以读取(例如,从本地文件中)该待发送的已经封装的请求包。之后,在步骤S120中,解析所述请求包,以获取元信息以及消息。例如,可以将已经封装的请求包解封装,并从中获取元信息以及消息。
可选地,在本发明的一种实施例中,所述方法100在步骤S120之后还可以包括可选步骤:判断所述元信息所对应的消息的发送超时时间是否低于预先定义的阈值;以及若判断结果为是,则将所述请求包发送到相应的服务器数据目录。在上述实施例中,判断本次读取和解析的请求包中的元信息所对应的消息的最大发送时间是否低于预先定义的阈值,即,判断这种元信息对应的消息是否具有较高的发送实时性的要求,对于这种元信息(及消息),为了不影响发送实时性,不进行批量发送,而是直接进行单独地发送。上述预先定义的阈值可以根据实际需要来进行选择,为了确保较高的发送实时性,可以选择较小的阈值;而为了确保较高的发送性能,则可以选择较大的阈值。
在步骤S120之后,执行步骤S130,其中,根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中。根据本发明的实施例,存在多 种不同的元信息,相同的元信息对应的消息类型相同或相似,不同的元信息对应的消息类型不同或不相似。在步骤S130中,将相同或相似类型的消息与元信息相对应地存储在缓存文件中。由此,所述缓存文件其中可以存储有不同的元信息、以及与这些元信息相对应地存储的消息。
根据本发明的实施例,所述步骤S130可以包括:判断元信息是否与之前缓存的请求包的元信息相同;若判断结果为相同,则将所述元信息所对应的消息缓存在缓存文件中属于所述元信息的缓存部分中;或若判断结果为不同,则在缓存文件中为所述不同的元信息创建新的缓存部分,并将所述元信息所对应的消息缓存在缓存文件中的所述缓存部分中。也就是说,可以在缓存文件中创建不同的缓存部分,分别用于存储不同的元信息以及与元信息相对应的消息,与一个元信息相对应的所有消息都存储在同一个缓存部分中。
在步骤S130之后,执行步骤S140以及步骤S150。在步骤S140中,可以判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;而在步骤S150中,若判断结果为是(即,上述两者的判断结果均为是,或者任一判断结果为是),则将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
根据本发明的实施例,在上述步骤S140和S150中,通过进行上述判断并根据判断结果进行相应的处理,可以保证较高的发送实时性,即,保证已经缓存的消息不至于发送超时,一旦判断已经超过所缓存的消息的发送超时时间,就不再缓存后续的消息,而是直接进行重新封装和发送;还可以保证批量发送的请求包的大小不至于过大而影响发送,其中,判断已经缓存的消息的大小是否超出了预先定义的缓存大小,如果已经超出,则不再缓存后续的消息,而是直接进行重新封装和发送。
可选地,在根据本发明的一种实施例中,不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小。可选地,在上述步骤S140中,在所述判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小的步骤中,在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间,或者一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出 预先定义的缓存大小的情况下,判断结果为是(即,上述两者的判断结果均为是,或者任一判断结果为是)。
根据本发明的上述实施例,由于不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小,因此,会先后达到和超过各个元信息所对应的消息的各个发送超时时间,各个元信息所对应的所缓存的消息大小也会先后达到和超出各个预先定义的缓存大小,此时,可以在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间时,将判断结果确定为是,也可以在一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,将判断结果判断为是。可以根据发送实时性、发送效率、发送成功率之间的平衡和取舍,来在上述“一个”、“多个”、和“全部”这些判断条件之间进行选择。例如,如果优先考虑发送实时性,则可以在超过一个类型的元信息所对应的消息的发送超时时间的情况下,将判断结果确定为是,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。而如果优先考虑发送效率,则可以在全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,将判断结果确定为是,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
根据本发明的实施例,在所述步骤S150中,可以调用异步发送接口(例如,SDK异步发送接口)将重新封装的请求包发送到相应的服务器数据目录。
可选地,根据本发明的实施例,在所述步骤S150之后,所述方法100还可以包括以下步骤:接收服务器返回的确收信息,并将所发送的重新封装的请求包删除。由此,可以将已经完成发送的元信息以及消息删除,减少对于本地磁盘空间的占用。
根据本发明的第二方面,与上述方法100相对应,还提供了一种批量发送消息的装置200,应用于分布式消息系统。
在本发明的实施例中,分布式消息系统可以是采用分布式处理进行消息发布和订阅的系统,例如包括kafka,RabbitMQ,ActiveMQ,QBus等等。在下文中,将以QBus系统为例,对于本发明的原理进行详细地描述,以帮助读者更好地理解本发明的原理。但本领域技术人员应当理解,本发明的范 围并不限于QBus系统,而是可以适用于任何分布式消息系统。
QBus系统主要由发布方(Producer)、订阅方(Consumer)、存储方(Broker)、协调方(Zookeeper)、代理方(Agent)等单元组成。其中代理方的主要作用是将日志文件实时推送到存储方,因此代理方的消息发送机制至关重要。下面将主要以代理方的消息发送为例来例示本发明的原理,同样,本发明的范围不限于此,而是可以应用于分布式消息系统(例如,QBus系统)的各个单元。
图2示出了根据本发明的实施例的批量发送消息的装置200和服务器300的结构示意图。如图2所示,装置200主要包括读取模块210、解析模块220、缓存模块230、第一判断模块240、以及重新封装和发送模块250。其中,所述读取模块210用于读取待发送的已经封装的请求包;所述解析模块220用于解析所述请求包,以获取元信息以及消息;所述缓存模块230用于根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;所述第一判断模块240用于判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;所述重新封装和发送模块250用于在判断结果为是的情况下,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
首先,所述读取模块210读取待发送的已经封装的请求包。
可选地,根据本发明的实施例,所述装置200还可以包括可选模块:封装模块(未在图2中示出),用于在所述读取模块210读取待发送的已经封装的请求包之前,将单个消息与元信息(即,meta信息)封装为请求包。根据本发明的实施例,所述封装模块可以调用SDK(软件开发套件)将单个消息与元信息封装成请求包,并记录在本地文件中,以准备发送到服务器。
所述读取模块210可以读取(例如,从本地文件中)该待发送的已经封装的请求包。之后,所述解析模块220可以解析所述请求包,以获取元信息以及消息。例如,所述解析模块220可以将已经封装的请求包解封装,并从中获取元信息以及消息。
可选地,在本发明的一种实施例中,所述装置200还可以包括可选模块:第二判断和发送模块(未在图2中示出),用于在所述解析模块220解析所 述请求包以获取元信息以及消息之后,判断所述元信息所对应的消息的发送超时时间是否低于预先定义的阈值,并在判断结果为是的情况下,将所述请求包发送到相应的服务器数据目录。在上述实施例中,所述第二判断和发送模块判断本次读取和解析的请求包中的元信息所对应的消息的最大发送时间是否低于预先定义的阈值,即,所述第二判断和发送模块判断这种元信息对应的消息是否具有较高的发送实时性的要求,对于这种元信息(及消息),为了不影响发送实时性,不进行批量发送,而是直接进行单独地发送。上述预先定义的阈值可以根据实际需要来进行选择,为了确保较高的发送实时性,可以选择较小的阈值;而为了确保较高的发送性能,则可以选择较大的阈值。
接下来,所述缓存模块230可以根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中。根据本发明的实施例,存在多种不同的元信息,相同的元信息对应的消息类型相同或相似,不同的元信息对应的消息类型不同或不相似。所述缓存模块230可以将相同或相似类型的消息与元信息相对应地存储在缓存文件中。由此,所述缓存文件其中可以存储有不同的元信息、以及与这些元信息相对应地存储的消息。
根据本发明的实施例,所述缓存模块230可以判断元信息是否与之前缓存的请求包的元信息相同,并在判断结果为相同的情况下,将所述元信息所对应的消息缓存在缓存文件中属于所述元信息的缓存部分中,在判断结果为不同的情况下,所述缓存模块230可以在缓存文件中为所述不同的元信息创建新的缓存部分,并将所述元信息所对应的消息缓存在缓存文件中的所述缓存部分中。也就是说,所述缓存模块230可以可以在缓存文件中创建不同的缓存部分,分别用于存储不同的元信息以及与元信息相对应的消息,与一个元信息相对应的所有消息都存储在同一个缓存部分中。
随后,所述第一判断模块240可以判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;所述重新封装和发送模块250可以在判断结果为是(即,上述两者的判断结果均为是,或者任一判断结果为是)的情况下,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
根据本发明的实施例,在上述第一判断模块240和重新封装和发送模块250的操作中,通过进行上述判断并根据判断结果进行相应的处理,可以保证较高的发送实时性,即,保证已经缓存的消息不至于发送超时,一旦判断已经超过所缓存的消息的发送超时时间,就不再缓存后续的消息,而是直接进行重新封装和发送;还可以保证批量发送的请求包的大小不至于过大而影响发送,其中,判断已经缓存的消息的大小是否超出了预先定义的缓存大小,如果已经超出,则不再缓存后续的消息,而是直接进行重新封装和发送。
可选地,在根据本发明的一种实施例中,不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小。可选地,在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间,或者一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,上述第一判断模块240将判断结果确定为是(即,上述两者的判断结果均为是,或者任一判断结果为是)。
根据本发明的上述实施例,由于不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小,因此,会先后达到和超过各个元信息所对应的消息的各个发送超时时间,各个元信息所对应的所缓存的消息大小也会先后达到和超出各个预先定义的缓存大小,此时,上述第一判断模块240可以在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间时,将判断结果确定为是,上述第一判断模块240也可以在一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,将判断结果判断为是。可以根据发送实时性、发送效率、发送成功率之间的平衡和取舍,来在上述“一个”、“多个”、和“全部”这些判断条件之间进行选择。例如,如果优先考虑发送实时性,则上述第一判断模块240可以在超过一个类型的元信息所对应的消息的发送超时时间的情况下,将判断结果确定为是,所述重新封装和发送模块250可以将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。而如果优先考虑发送效率,则上述第一判断模块240可以在全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,将判断结果确定为是,所述重新封装和发送模块250将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务 器数据目录。
根据本发明的实施例,所述重新封装和发送模块250可以调用异步发送接口(例如,SDK异步发送接口)将重新封装的请求包发送到相应的服务器数据目录。
可选地,根据本发明的实施例,所述装置200还可以包括可选模块:确收和删除模块(未在图2中示出),用于在所述重新封装和发送模块250将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包并发送到相应的服务器数据目录之后,接收服务器返回的确收信息,并将所发送的重新封装的请求包删除。由此,可以将已经完成发送的元信息以及消息删除,减少对于本地磁盘空间的占用。
本发明提供了上述批量发送消息的方法和装置,应用于分布式消息系统。根据本发明的实施例,可以读取待发送的已经封装的请求包,解析所述请求包以获取元信息以及消息,根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中,判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小,若判断结果为是,则将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。由此,可以将不同类型的元信息及消息相对应地缓存在缓存文件中,并进行批量发送,减少了网络延迟,大幅提升了发送性能,还能够针对消息发送超时时间以及所缓存的消息大小的情况,进行不同的有针对性的处理,确保了发送实时性以及发送成功率。另外,可对具有不同元信息的请求包设置不同的批量参数,如超时时间、缓存大小等等,具有较高的灵活性,后期可扩展性比较好,如可以加入消息过滤器等。
在此提供的方法和装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本 发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的若干模块组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者模块中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个装置实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据 本发明实施例的批量发送消息的装置中的一些或者全部模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图3示出了用于执行根据本发明的方法的计算设备的框图。参见图3,该计算设备传统上包括处理器310和存储器320形式的计算机程序产品或者计算机可读介质。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的程序代码331的存储空间330。例如,存储程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个程序代码331。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所示的便携式或者固定存储单元。该存储单元可以具有与图3的服务器中的存储器320类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括用于执行根据本发明的方法步骤的计算机可读代码331’,即可以由诸如310之类的处理器读取的代码,当这些代码由计算设备运行时,导致该计算设备执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制, 并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”或“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外,还应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
本申请可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (18)

  1. 一种批量发送消息的方法,应用于分布式消息系统,所述方法包括:
    读取待发送的已经封装的请求包;
    解析所述请求包,以获取元信息以及消息;
    根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;
    判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;以及
    若判断结果为是,则将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
  2. 如权利要求1所述的方法,其中所述根据不同的元信息的类型将消息与元信息相对应地缓存在缓存文件中的步骤包括:
    判断元信息是否与之前缓存的请求包的元信息相同;
    若判断结果为相同,则将所述元信息所对应的消息缓存在缓存文件中属于所述元信息的缓存部分中;或
    若判断结果为不同,则在缓存文件中为所述不同的元信息创建新的缓存部分,并将所述元信息所对应的消息缓存在缓存文件中的所述缓存部分中。
  3. 如权利要求1所述的方法,其中在所述读取待发送的已经封装的请求包的步骤之前,所述方法还包括步骤:将单个消息与元信息封装为请求包。
  4. 如权利要求1至3中的任一项所述的方法,其中在所述将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录的步骤中,调用异步发送接口将重新封装的请求包发送到相应的服务器数据目录。
  5. 如权利要求1至3中的任一项所述的方法,其中在所述将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录的步骤之后,所述方法还包括步骤:
    接收服务器返回的确收信息,并将所发送的重新封装的请求包删除。
  6. 如权利要求1至3中的任一项所述的方法,其中在所述解析所述请求包以获取元信息以及消息的步骤之后,所述方法还包括步骤:
    判断所述元信息所对应的消息的发送超时时间是否低于预先定义的阈值;以及
    若判断结果为是,则将所述请求包发送到相应的服务器数据目录。
  7. 如权利要求1至3中的任一项所述的方法,其中不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小。
  8. 如权利要求1至3中的任一项所述的方法,其中在所述判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小的步骤中,在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间,或者一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,判断结果为是。
  9. 一种批量发送消息的装置,应用于分布式消息系统,包括:
    读取模块,用于读取待发送的已经封装的请求包;
    解析模块,用于解析所述请求包,以获取元信息以及消息;
    缓存模块,用于根据不同的元信息的类型,将消息与元信息相对应地缓存在缓存文件中;
    第一判断模块,用于判断是否已经超过元信息所对应的消息的发送超时时间或者元信息所对应的所缓存的消息大小是否已经超出预先定义的缓存大小;以及
    重新封装和发送模块,用于在判断结果为是的情况下,将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包,并发送到相应的服务器数据目录。
  10. 如权利要求9所述的装置,其中所述缓存模块:
    判断元信息是否与之前缓存的请求包的元信息相同;
    若判断结果为相同,则将所述元信息所对应的消息缓存在缓存文件中属于所述元信息的缓存部分中;或
    若判断结果为不同,则在缓存文件中为所述不同的元信息创建新的缓 存部分,并将所述元信息所对应的消息缓存在缓存文件中的所述缓存部分中。
  11. 如权利要求9所述的装置,还包括封装模块,用于在所述读取模块读取待发送的已经封装的请求包之前,将单个消息与元信息封装为请求包。
  12. 如权利要求9至11中的任一项所述的装置,其中所述重新封装和发送模块调用异步发送接口将重新封装的请求包发送到相应的服务器数据目录。
  13. 如权利要求9至11中的任一项所述的装置,还包括确收和删除模块,用于在所述重新封装和发送模块将所述元信息与缓存文件中缓存的对应的消息重新封装为请求包并发送到相应的服务器数据目录之后,接收服务器返回的确收信息,并将所发送的重新封装的请求包删除。
  14. 如权利要求9至11中的任一项所述的装置,还包括第二判断和发送模块,用于在所述解析模块解析所述请求包以获取元信息以及消息之后,判断所述元信息所对应的消息的发送超时时间是否低于预先定义的阈值,并且在判断结果为是的情况下,将所述请求包发送到相应的服务器数据目录。
  15. 如权利要求8至10中的任一项所述的装置,其中不同类型的元信息对应于不同的发送超时时间和预先定义的缓存大小。
  16. 如权利要求8至10中的任一项所述的装置,其中在已经超过一个、多个、或全部类型的元信息所对应的消息的发送超时时间的情况下,所述第一判断模块判断已经超过元信息所对应的消息的发送超时时间;
    在一个、多个、或者全部类型的元消息所对应的所缓存的消息大小已经超出预先定义的缓存大小的情况下,所述第一判断模块判断元信息所对应的所缓存的消息大小已经超出预先定义的缓存大小。
  17. 一种计算机程序,包括计算机可读代码,当所述计算机可读代码在计算设备上运行时,导致所述计算设备执行根据权利要求1-8中的任一项所述的批量发送消息的方法。
  18. 一种计算机可读介质,其中存储了如权利要求17所述的计算机程序。
PCT/CN2015/095539 2014-12-30 2015-11-25 一种批量发送消息的方法和装置 WO2016107339A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410850531.XA CN104468629B (zh) 2014-12-30 2014-12-30 一种批量发送消息的方法和装置
CN201410850531.X 2014-12-30

Publications (1)

Publication Number Publication Date
WO2016107339A1 true WO2016107339A1 (zh) 2016-07-07

Family

ID=52914001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/095539 WO2016107339A1 (zh) 2014-12-30 2015-11-25 一种批量发送消息的方法和装置

Country Status (2)

Country Link
CN (1) CN104468629B (zh)
WO (1) WO2016107339A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110764708A (zh) * 2019-10-25 2020-02-07 北京浪潮数据技术有限公司 一种数据读取方法、装置、设备及存储介质
CN111367991A (zh) * 2018-12-25 2020-07-03 中国科学院信息工程研究所 一种基于消息队列的MongoDB数据实时同步方法及系统
CN111510300A (zh) * 2020-04-10 2020-08-07 中国联合网络通信集团有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN111696014A (zh) * 2020-05-20 2020-09-22 广州市格利网络技术有限公司 基于物联网的垃圾回收监管方法及汇聚处理终端、系统
CN111723115A (zh) * 2020-06-24 2020-09-29 深圳前海微众银行股份有限公司 基于多级缓存的数据统计方法、装置、终端及存储介质
CN114448976A (zh) * 2022-03-11 2022-05-06 中国工商银行股份有限公司 网络报文的组装方法、装置、设备、介质和程序产品

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468629B (zh) * 2014-12-30 2018-10-09 北京奇虎科技有限公司 一种批量发送消息的方法和装置
CN105100271A (zh) * 2015-08-31 2015-11-25 南京势行软件开发有限公司 一种分布式弹性可扩展信息发布系统及其控制方法
CN106503008B (zh) * 2015-09-07 2020-02-14 网宿科技股份有限公司 文件存储方法和装置及文件查询方法和装置
CN106708761A (zh) * 2015-11-12 2017-05-24 杭州华为数字技术有限公司 一种业务报文的处理方法及装置
CN106453582B (zh) * 2016-10-20 2021-01-12 深圳市证通电子股份有限公司 异步消息推送方法及系统
CN107562810A (zh) * 2017-08-10 2018-01-09 北京时代云英科技有限公司 视频大数据分级存储方法
CN108696568B (zh) * 2018-02-23 2021-07-06 福建天泉教育科技有限公司 一种请求批量处理方法及终端
CN110908798B (zh) * 2019-11-08 2022-11-25 丁剑明 多进程协同式网络流量解析方法及装置
CN111240858B (zh) * 2020-01-07 2024-04-26 中国建设银行股份有限公司 事件调度方法及组件
CN113761433A (zh) * 2020-11-04 2021-12-07 北京沃东天骏信息技术有限公司 业务处理方法和装置
CN113411392B (zh) * 2021-06-16 2022-05-10 中移(杭州)信息技术有限公司 资源下发方法、装置、设备及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080301250A1 (en) * 2007-05-29 2008-12-04 Michael Thomas Hardy Thread-based message prioritization
CN102739412A (zh) * 2012-06-13 2012-10-17 苏州阔地网络科技有限公司 一种消息的批量调度控制方法及系统
CN103412786A (zh) * 2013-08-29 2013-11-27 苏州科达科技股份有限公司 一种高性能服务器架构系统及数据处理方法
CN104468629A (zh) * 2014-12-30 2015-03-25 北京奇虎科技有限公司 一种批量发送消息的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065009A (zh) * 2010-12-16 2011-05-18 中兴通讯股份有限公司 分布式队列分配方法及分布式系统
CN102223306B (zh) * 2011-06-17 2018-10-16 南京中兴软件有限责任公司 一种报文传输方法及装置
CN102916880B (zh) * 2011-08-01 2017-08-11 深圳市中兴微电子技术有限公司 一种分组交换网中数据包发送和接收的方法及装置
CN102739781A (zh) * 2012-06-13 2012-10-17 苏州阔地网络科技有限公司 一种消息的批量调度方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080301250A1 (en) * 2007-05-29 2008-12-04 Michael Thomas Hardy Thread-based message prioritization
CN102739412A (zh) * 2012-06-13 2012-10-17 苏州阔地网络科技有限公司 一种消息的批量调度控制方法及系统
CN103412786A (zh) * 2013-08-29 2013-11-27 苏州科达科技股份有限公司 一种高性能服务器架构系统及数据处理方法
CN104468629A (zh) * 2014-12-30 2015-03-25 北京奇虎科技有限公司 一种批量发送消息的方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367991A (zh) * 2018-12-25 2020-07-03 中国科学院信息工程研究所 一种基于消息队列的MongoDB数据实时同步方法及系统
CN111367991B (zh) * 2018-12-25 2024-03-12 中国科学院信息工程研究所 一种基于消息队列的MongoDB数据实时同步方法及系统
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110401721B (zh) * 2019-08-06 2022-07-08 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110764708A (zh) * 2019-10-25 2020-02-07 北京浪潮数据技术有限公司 一种数据读取方法、装置、设备及存储介质
CN111510300A (zh) * 2020-04-10 2020-08-07 中国联合网络通信集团有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN111510300B (zh) * 2020-04-10 2023-04-18 中国联合网络通信集团有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN111696014A (zh) * 2020-05-20 2020-09-22 广州市格利网络技术有限公司 基于物联网的垃圾回收监管方法及汇聚处理终端、系统
CN111696014B (zh) * 2020-05-20 2023-10-24 广州市格利网络技术有限公司 基于物联网的垃圾回收监管方法及汇聚处理终端、系统
CN111723115A (zh) * 2020-06-24 2020-09-29 深圳前海微众银行股份有限公司 基于多级缓存的数据统计方法、装置、终端及存储介质
CN114448976A (zh) * 2022-03-11 2022-05-06 中国工商银行股份有限公司 网络报文的组装方法、装置、设备、介质和程序产品
CN114448976B (zh) * 2022-03-11 2024-02-06 中国工商银行股份有限公司 网络报文的组装方法、装置、设备、介质和程序产品

Also Published As

Publication number Publication date
CN104468629B (zh) 2018-10-09
CN104468629A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
WO2016107339A1 (zh) 一种批量发送消息的方法和装置
US10237333B2 (en) Network transfer of large files in unstable network environments
US11374995B2 (en) Multimedia file processing
WO2016206600A1 (zh) 一种信息流数据的处理方法和装置
JP6431260B2 (ja) モバイル端末で大容量のファイルが添付されたメールを送信する方法およびシステム
US7185060B2 (en) Message processing pipeline for streams
CN112612734B (zh) 文件传输方法、装置、计算机设备及存储介质
US20150024793A1 (en) Push notification middleware
US8862675B1 (en) Method and system for asynchronous analysis of URLs in messages in a live message processing environment
US20160182532A1 (en) Systems and methods for sterilizing email attachments and other communications delivered by email
US20190182191A1 (en) Embedding actionable content in electronic communication
US7797405B2 (en) Streaming file transfer apparatus, systems, and methods
US20100150150A1 (en) Optimizing Throughput of Data in a Communications Network
US8621016B2 (en) Adaptive differential propagation of soap messages
CN107357526B (zh) 用于处理网络数据的方法和装置、服务器和存储介质
CN116582365B (zh) 网络流量的安全控制方法、装置及计算机设备
CA2896154C (en) Accessing payload portions of client requests
CN113079219A (zh) 一种大文件分片上传方法和系统
CN109660589B (zh) 请求处理方法及装置、电子设备
CN110798366B (zh) 任务逻辑的处理方法、装置及设备
CN110602211B (zh) 一种带异步通知的乱序rdma方法与装置
CN104468841A (zh) 一种批量发送消息的方法和装置
US9537968B1 (en) Communication of socket protocol based data over a storage protocol based interface
CN115941454A (zh) 一种日志传输存储方法和装置
CN115766655A (zh) 数据处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15875018

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15875018

Country of ref document: EP

Kind code of ref document: A1