WO2014187259A1 - 实现多核间缓存一致性的方法及装置 - Google Patents

实现多核间缓存一致性的方法及装置 Download PDF

Info

Publication number
WO2014187259A1
WO2014187259A1 PCT/CN2014/077491 CN2014077491W WO2014187259A1 WO 2014187259 A1 WO2014187259 A1 WO 2014187259A1 CN 2014077491 W CN2014077491 W CN 2014077491W WO 2014187259 A1 WO2014187259 A1 WO 2014187259A1
Authority
WO
WIPO (PCT)
Prior art keywords
consistency
processor core
request
consistency request
unit
Prior art date
Application number
PCT/CN2014/077491
Other languages
English (en)
French (fr)
Inventor
孙志文
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2014187259A1 publication Critical patent/WO2014187259A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
    • G06F12/0833—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means in combination with broadcast means (e.g. for invalidation or updating)

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a method and apparatus for implementing cache coherency between multiple cores.
  • BACKGROUND In a multi-core processor that shares storage, a cache structure can cache data in a shared storage space locally, and accelerate the process of acquiring data by multiple cores. Since the storage views seen by each processor are obtained through the local cache, different processors may acquire different data values for the same storage address data. Therefore, how to achieve the consistency of Cache between multiple cores has become an urgent problem to be solved.
  • SUMMARY OF THE INVENTION In view of the above analysis, the present invention is directed to a method and apparatus for implementing cache coherency between multiple cores to at least solve the problem of lack of consistency between caches of multiple cores in the related art.
  • a method for implementing cache coherency between multiple cores comprising: a processor core initiating a consistency request to a cache processing unit corresponding thereto, when the cache processing
  • the cache processing unit of the other processor core is queried through the consistency bus unit, according to the type of the consistency request and the cache processing unit of other processor cores.
  • the result of the query is sent to the corresponding processor core, triggering the corresponding processor core to execute the consistency request, and returning a response to the processor core that initiated the consistency request after the execution is completed.
  • the above method further comprises: when the system includes a plurality of central processing unit (CPU) clusters, and each cluster includes a plurality of processor cores and a cache processing unit connected to the processor core, each cluster Each has a cache processing control unit connected to all cache processing units in the cluster; when a processor core initiates a consistency request to its corresponding cache processing unit, and the query result of the cache processing unit is missing Or when it needs to be sent to other processor cores, the cache processing control unit queries the cache processing unit of other processor cores in the cluster, and processes the cache according to the type of the consistency request and other processor cores in the cluster.
  • CPU central processing unit
  • the query result corresponding to the unit, determining that the consistency request is sent to the location in the cluster The processor core is sent to the coherent bus unit, or simultaneously sent to the processor core in the cluster and the coherent bus unit; when it is required to be sent to the processor core in the cluster, The consistency request is directly sent to the corresponding processor core in the cluster, triggering the corresponding processor core to execute the consistency request, and returning the response to the processor core that initiated the consistency request after the execution is completed;
  • the cache processing control unit sends the consistency request to the coherency bus unit, and queries the cache processing unit of the processor core in other clusters through the coherency bus unit, and The consistency request is sent to the cache processing control unit of the corresponding cluster, and the cache processing control unit that receives the cluster of the consistency request queries the processor core corresponding to the consistency request, and sends the consistency request to the Querying the processor core, triggering the corresponding processor core to execute the consistency request, and transmitting to the consistent bus unit after the execution is completed
  • Coherency request returns a response to
  • the method further includes: the consistency bus unit further querying other devices that require consistency, and sending the consistency request when querying that the consistency request needs to be sent to another device requiring consistency For other devices that require consistency, other devices that require consistency, after execution, return a response to the processor core that initiated the consistency request through the coherency bus unit.
  • the consistency bus unit is connected to the interception filtering unit, and after receiving the consistency request, the consistency bus unit queries the processor core related to the consistency request by using the interception filtering unit.
  • the consistency request is a consistency request for an address based operation.
  • the present invention also provides an apparatus for implementing cache coherency between multiple cores, the apparatus comprising: a processor core configured to initiate a consistency request to a cache processing unit corresponding thereto; and a cache processing unit configured to query the query itself
  • the consistency bus unit is triggered when the query result of the consistency request is missing or needs to send a request to another processor core; the consistency bus unit is set to query a cache processing unit of another processor core, according to the consistency request.
  • the type and the query result corresponding to the cache processing unit of the other processor core send the consistency request to the corresponding processor core, trigger the corresponding processor core to execute the consistency request, and initiate the execution after the execution is completed.
  • the processor core of the consistency request returns a response.
  • each cluster has one and all within the cluster.
  • a cache processing unit control unit connected to the cache processing unit; the cache processing unit is further configured to trigger the cache processing control unit when the query result of querying the consistency request itself is missing or needs to be sent to another processor core
  • the cache processing control unit is configured to query a cache processing unit of another processor core in the cluster, and determine, according to the type of the consistency request and a query result corresponding to another processor core cache processing unit, Whether the consistency request is sent to the processor core in the cluster, to the coherent bus unit, or to the processor core in the cluster and the coherent bus unit, when needed to be sent to the cluster
  • the processor core is internal, the consistency request is directly sent to the corresponding processor core in the cluster, and the corresponding processor core is triggered to execute the Generating a request, and returning a response to the processor core that initiated the consistency request after execution is completed;
  • the consistency bus unit is further configured to query other devices that require consistency, and send the consistency request to other devices when querying that the consistency request needs to be sent to other devices requiring consistency
  • the device requiring consistency sends the received response of the other device requiring consistency to the processor core that initiates the consistency request; other devices that require consistency are set to execute the consistency request, and execute the consistency request
  • the coherent bus unit returns a response.
  • the apparatus further includes: a snooping filtering unit, wherein the snooping filtering unit is connected to the coherent bus unit; the coherent bus unit is further configured to: trigger the interception filtering unit to query the same as the A processor core associated with the request; the snoop filter unit is configured to query a processor core associated with the consistency request.
  • the consistency request is a consistency request for an address based operation.
  • the beneficial effects of the present invention are as follows:
  • the present invention provides a method and apparatus for implementing cache coherency between multiple cores, by initiating a consistency request to other processor cores before the processor core performs an operation, and obtaining a corresponding processor core return. After the data or response, the operation is performed, thereby effectively avoiding the problem of Cache inconsistency between the multiple cores.
  • Other features and advantages of the invention will be set forth in the description which follows, The objectives and other advantages of the invention will be realized and attained by the ⁇ RTI BRIEF DESCRIPTION OF DRAWINGS FIG.
  • FIG. 1 is a flowchart of a method for implementing cache coherency between multiple cores according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic structural diagram of an apparatus for implementing cache coherency between multiple cores according to Embodiment 1 of the present invention
  • FIG. 4 is a schematic diagram of another apparatus for implementing multi-core cache coherency according to Embodiment 1 of the present invention
  • FIG. 4 is a flowchart of another method for implementing inter-core cache coherency according to Embodiment 1 of the present invention
  • FIG. 6 is a schematic structural diagram of another apparatus for implementing cache coherency between multiple cores according to Embodiment 2 of the present invention
  • FIG. 6 is a schematic structural diagram of another apparatus for implementing cache coherency between multiple cores according to Embodiment 2 of the present invention. Another schematic diagram of a device structure for implementing cache coherency between multiple cores. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT OF THE INVENTION.
  • Embodiment 1 provides a method for implementing cache coherency between multiple cores.
  • the method includes: 5101.
  • a processor core initiates a consistency request to a cache processing unit corresponding thereto.
  • the cache processing unit in the embodiment of the present invention is connected to the processor core, and the processor core speed and the memory speed are solved by the cache processing unit.
  • the step may include: when a certain processor core needs to perform a certain cache operation, it first initiates a consistency request to the cache processing unit connected thereto, that is, the cache processing unit searches for an address corresponding to the consistency request.
  • the consistency request is a consistency request of an address-based operation. For example: Address-based write or read operations.
  • FIG. 1 Address-based write or read operations.
  • FIG. 2 is a schematic structural diagram of an apparatus for implementing cache coherency between multiple cores according to an embodiment of the present invention.
  • a coherent bus unit is connected to a cache processing unit of multiple processor cores, and is shared with The cache processing unit is connected to the system bus.
  • the cache processing unit queries the consistency request, and when the query result is missing or needs to be sent to another processor core, proceeds to the next step; when the consistency request type of the initiated query is read, if the query result is Missing, go to the next step; When the consistency request type of the initiating query is invalid, if the current query result is not hitting dirty data, it means that other processor cores may have shared data corresponding to the request, and need to go to the next step. ;
  • Query a cache processing unit of another processor core by using a consistency bus unit and send the consistency request to a corresponding one according to a type of the consistency request and a query result corresponding to a cache processing unit of another processor core.
  • a processor core when the consistency bus is connected to a snoop filter, the step specifically includes: the consistency bus unit queries a processor core related to the consistency request by using a snooping filter unit, The consistency request is sent to the corresponding processor core according to the type of the consistency request and the result of the query.
  • the consistency request when the consistency request further requires cooperation of other devices requiring consistency in the architecture to be completed, the consistency request is sent to other devices requiring consistency, and other devices requiring consistency are After execution is complete, a response is returned to the processor core that initiated the consistency request by the coherency bus unit.
  • the consistency request can also be sent to the system bus via the coherency bus unit. He requires a consistent device to achieve consistency with other devices that are consistent with the requirements.
  • those skilled in the art can also design other architectures according to actual needs to meet the technical needs.
  • FIG. 3 is a schematic diagram of another apparatus for implementing cache coherency between multiple cores according to the present invention. As shown in FIG. 3, when a system includes multiple CPU clusters, each cluster includes multiple processor cores. And a cache processing unit connected to the processor core, each cluster is provided with a cache processing control unit connected to all cache processing units in the cluster, and in FIG. 3, in order to make the map more beautiful, the cache is cached.
  • the processing unit is abbreviated as a cache.
  • the cache processing control unit queries the other in the cluster. a cache processing unit of the processor core, and determining, according to the type of the consistency request and a query result corresponding to a cache processing unit of another processor core in the cluster, that the consistency request is sent to the cluster.
  • the core is also sent to the coherent bus unit, or simultaneously to the processor core within the cluster and the coherent bus unit. For example, when the type of initiating a consistency request is an address-based write operation, all cache processing units that store this information need to be looked up, so the request needs to be sent to the coherency bus unit.
  • the consistency request is directly sent to the corresponding processor core in the cluster, and the corresponding processor core is triggered to execute the consistency request, and after the execution is completed, a processor core that initiates a consistency request returns a response;
  • the cache processing control unit sends the consistency request to the coherency bus unit, through the coherency bus
  • the unit queries the cache processing unit of the processor core in the other cluster, and sends the consistency request to the cache processing control unit of the corresponding cluster, and the cache processing control unit of the cluster that receives the consistency request queries and the consistency Requesting a corresponding processor core, sending the consistency request to the queried processor core, triggering a corresponding processor core to execute the consistency request, and initiating through the consistent bus unit after execution is completed
  • the processor core of the consistency request returns a response.
  • each cache processing unit is achieved by returning a response from the corresponding processor core.
  • the present invention will be described in detail below with a specific example, see Fig. 4: 5401.
  • a processor core in the cluster initiates a consistency operation to the cache processing unit LI (Data Cache L1), and the result of querying L1 is missing, and the consistency request is sent to the cache processing control unit inside the cluster;
  • the cache processing control unit queries the cache processing unit of each processor core in the cluster, and sends a consistency request to a processor core inside the cluster or to the outside of the cluster according to the query result; S403, if it is sent After the consistency request to the cluster is completed by the other monitored processor core, the consistency request is sent to the corresponding processor core in the cluster and is sent to the initiator after the execution of the consistency request is completed.
  • the processor core of the consistency request returns a response;
  • the cache processing control unit sends the consistency request to the consistency bus unit.
  • the consistency bus unit queries the other clusters through the interception filtering unit. a cache processing unit of the processor core, and transmitting the consistency request to a cache processing control unit of the corresponding cluster;
  • the cache processing control unit that receives the cluster of the consistency request queries the processor core corresponding to the consistency request, sends the consistency request to the queried processor core, and executes the consistency request. After the completion, the response is returned to the processor core that initiates the consistency request by the consistency bus unit; S407, the consistency bus unit sends the received response to the processor core that initiates the consistency request.
  • the consistency bus unit sends the received response to the processor core that initiates the consistency request.
  • a method for implementing consistency of a cache processing unit between multiple cores is provided by an embodiment of the present invention. When a consistency request is initiated to another processor core before the processor core performs an operation, the returned data or response of the corresponding processor core is obtained. After that, the operation is performed, thereby effectively avoiding the problem of Cache inconsistency between the multi-cores.
  • Embodiment 2 An embodiment of the present invention provides an apparatus for implementing consistency between cache processing units in a multi-core.
  • the apparatus includes: a processor core configured to initiate a consistency request to a cache processing unit corresponding thereto ; a cache processing unit, configured to trigger a coherent bus unit when the query result of the self-query request for the consistency request is missing or needs to be sent to another processor core; the coherency bus unit is set to query a cache of other processor cores Processing unit, according to the type of the consistency request and a query result corresponding to another processor core cache processing unit, sending the consistency request to a corresponding processor core, triggering a corresponding processor core to perform the consistency Request, and return a response to the processor core that initiated the consistency request after execution.
  • the consistency request in the embodiment of the present invention is a consistency request of an address-based operation.
  • FIG. 6 is a schematic diagram of another apparatus for implementing consistency between cache processing units in a multi-core according to an embodiment of the present invention.
  • each cluster when the system includes multiple CPU clusters, each cluster includes multiple processor cores and a cache processing unit connected to the processor core, each cluster is provided with a cache processing unit control unit connected to all cache processing units in the cluster; the cache processing unit is further configured to query in its own The cache processing control unit is triggered when the query result of the consistency request is missing or needs to be sent to another processor core; the cache processing control unit is configured to query a cache processing unit of another processor core in the cluster, and according to the The type of the consistency request and the query result corresponding to the other processor core cache processing unit determine whether the consistency request is sent to the processor core in the cluster, to the consistent bus unit, or simultaneously Transmitted to the processor core in the cluster and the coherent bus unit, when the processor core in the cluster needs to be sent, the consistency is Request
  • the consistency bus unit of the embodiment of the present invention is further configured to query other devices that require consistency, and send the consistency request when the consistency request is sent to other devices requiring consistency. For other devices requiring consistency, the received response returned by the other device requiring consistency is sent to the processor core that initiates the consistency request; Other means of conformance are set to perform a consistency request and return a response to the coherency bus unit upon execution.
  • FIG. 7 is a schematic structural diagram of another apparatus for implementing cache coherency between multiple cores according to an embodiment of the present invention. As shown in FIG. 7, a coherent bus unit is connected to a snooping filter unit; and the coherent bus unit is further configured as a triggering station.
  • the listening filter unit queries a processor core associated with the consistency request; and the listening filter unit is configured to query a processor core associated with the consistency request.
  • the present invention provides a method and apparatus for implementing cache coherency between multiple cores to at least bring the following beneficial effects: 1. By initiating a consistency request to other processor cores before the processor core performs an operation, the corresponding processor is obtained. After the returned data or response of the core, the operation is performed, thereby effectively avoiding the problem of Cache inconsistency between the multiple cores;
  • a method and apparatus for implementing cache coherency between multiple cores provided by an embodiment of the present invention have the following beneficial effects: by initiating a consistency request to other processor cores before the processor core performs an operation, After the corresponding data or response of the corresponding processor core, the operation is performed, thereby effectively avoiding the problem of Cache inconsistency between the multiple cores.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Multi Processors (AREA)

Abstract

公开了一种实现多核间缓存一致性的方法及装置，该方法包括：某个处理器核发起一致性请求到与其相对应的缓存处理单元，当该缓存处理单元的査询结果为缺失或者需要发送到其他处理器核时，通过一致性总线单元査询其他处理器核的缓存处理单元，根据所述一致性请求的类型和其他处理器核的缓存处理单元对应的査询结果，将所述一致性请求发送到相应的处理器核，触发相应的处理器核执行所述一致性请求，并在执行完毕后向发起一致性请求的处理器核返回响应，通过在处理器核执行操作前向其他处理器核发起一致性请求，在得到相应的处理器核的返回的数据或响应后，再执行操作，从而有效避免了多核间的Cache不一致性的问题。

Description

实现多核间缓存一致性的方法及装置 技术领域 本发明涉及通信技术领域， 尤其涉及一种实现多核间缓存一致性的方法及装置。 背景技术 在共享存储的多核处理器中， 缓存（Cache)结构可以将共享存储空间中的数据缓 存在本地， 加速多核获取数据的过程。 由于每个处理器看到的存储视图都是通过本地 Cache得到的， 因此对于同一个存储地址的数据而言， 不同的处理器可能会获取到不 同的数据值。 所以如何实现多核间 Cache的一致性成为现在亟待需要解决的问题。 发明内容 鉴于上述的分析， 本发明旨在提供一种实现多核间缓存一致性的方法及装置， 以 至少解决相关技术中多核间的缓存缺乏一致性的问题。 本发明的目的主要是通过以下技术方案实现的： 一种实现多核间缓存一致性的方法， 该方法包括： 某个处理器核发起一致性请求到与其相对应的缓存处理单元， 当该缓存处理单元 的查询结果为缺失或者需要发送到其他处理器核时， 通过一致性总线单元查询其他处 理器核的缓存处理单元， 根据所述一致性请求的类型和其他处理器核的缓存处理单元 对应的查询结果， 将所述一致性请求发送到相应的处理器核， 触发相应的处理器核执 行所述一致性请求， 并在执行完毕后向发起一致性请求的处理器核返回响应。 优选地， 上述方法还包括： 当系统包括多个中央处理器 （CPU) 簇， 且每个簇内 包括多个处理器核和与所述处理器核相连接的缓存处理单元时， 每一个簇内均设有一 个与簇内的所有缓存处理单元相连接的缓存处理控制单元； 当某个处理器核发起一致性请求到与其相对应的缓存处理单元， 且该缓存处理单 元的查询结果为缺失或者需要发送到其他处理器核时， 所述缓存处理控制单元查询本 簇内其他处理器核的缓存处理单元， 并根据所述一致性请求的类型和与本簇内其他处 理器核的缓存处理单元对应的查询结果， 判断是将所述一致性请求发送给本簇内的处 理器核、 还是发送给所述一致性总线单元、 或是同时发送给本簇内的处理器核和所述 一致性总线单元； 当需要发给本簇内的处理器核时， 将所述一致性请求直接发送给本簇内相应的处 理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致性请 求的处理器核返回响应； 当需要发给所述一致性总线单元时， 所述缓存处理控制单元将所述一致性请求发 送给所述一致性总线单元， 通过所述一致性总线单元查询其他簇内的处理器核的缓存 处理单元， 并将所述一致性请求发送给相应簇的缓存处理控制单元， 接收到所述一致 性请求的簇的缓存处理控制单元查询与该一致性请求相对应的处理器核， 将所述一致 性请求发送给查询到的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执 行完毕后通过所述一致性总线单元向发起一致性请求的处理器核返回响应。 优选地， 上述方法还包括： 所述一致性总线单元还查询其他要求一致性的装置， 并在查询到所述一致性请求 需要发送给其他要求一致性的装置时， 将所述一致性请求发送给其他要求一致性的装 置， 其他要求一致性的装置在执行完毕后， 通过所述一致性总线单元向发起一致性请 求的处理器核返回响应。 优选地， 所述一致性总线单元与侦听过滤单元连接， 所述一致性总线单元收到所 述一致性请求后， 通过所述侦听过滤单元查询与所述一致性请求相关的处理器核。 优选地， 所述一致性请求为基于地址的操作的一致性请求。 本发明还提供了一种实现多核间缓存一致性的装置， 该装置包括： 处理器核， 设置为发起一致性请求到与其相对应的缓存处理单元； 缓存处理单元， 设置为在其自身查询所述一致性请求的查询结果为缺失或者需要 发送请求到其他处理器核时， 触发一致性总线单元； 一致性总线单元， 设置为查询其他处理器核的缓存处理单元， 根据所述一致性请 求的类型和与其他处理器核的缓存处理单元对应的查询结果， 将所述一致性请求发送 到相应的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发 起一致性请求的处理器核返回响应。 优选地， 当系统包括多个 CPU簇， 且每个簇内包括多个处理器核和与所述处理器 核相连接的缓存处理单元时， 每一个簇内均设有一个与簇内的所有缓存处理单元相连 接的缓存处理单元控制单元； 所述缓存处理单元还设置为， 在其自身查询所述一致性请求的查询结果为缺失或 者需要发送到其他处理器核时， 触发缓存处理控制单元； 所述缓存处理控制单元， 设置为查询本簇内其他处理器核的缓存处理单元， 并根 据所述一致性请求的类型和与其他处理器核缓存处理单元对应的查询结果， 判断是将 所述一致性请求发送给本簇内的处理器核、 还是发送给所述一致性总线单元、 或是同 时发送给本簇内的处理器核和所述一致性总线单元，当需要发给本簇内的处理器核时， 将所述一致性请求直接发送给本簇内相应的处理器核， 触发相应的处理器核执行所述 一致性请求， 并在执行完毕后向发起一致性请求的处理器核返回响应； 当需要发所述 一致性总线单元时， 将所述一致性请求发送给所述一致性总线单元； 在接收到所述一 致性请求后， 查询与该一致性请求相对应的处理器核， 将所述一致性请求发送给查询 到的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后通过所述 一致性总线单元向发起一致性请求的处理器核返回响应； 所述一致性总线单元还设置为， 查询其他簇内的处理器核的缓存处理单元， 并将 所述一致性请求发送给相应簇的缓冲控制单元， 并将该一致性请求相对应的处理器核 发送来的响应发送给发起一致性请求的处理器核。 优选地， 所述一致性总线单元还设置为， 查询其他要求一致性的装置， 并在查询 到所述一致性请求需要发送给其他要求一致性的装置时， 将所述一致性请求发送给其 他要求一致性的装置， 将接收到的其他要求一致性的装置返回的响应发送给发起一致 性请求的处理器核； 其他要求一致性的装置， 设置为执行一致性请求， 并在执行完向所述一致性总线 单元返回响应。 优选地， 该装置还包括： 侦听过滤单元， 所述侦听过滤单元与所述一致性总线单 元连接； 所述一致性总线单元还设置为， 触发所述侦听过滤单元查询与所述一致性请求相 关的处理器核； 所述侦听过滤单元， 设置为查询与所述一致性请求相关的处理器核。 优选地， 所述一致性请求为基于地址的操作的一致性请求。 本发明有益效果如下： 本发明提供的一种实现多核间缓存一致性的方法及装置， 通过在处理器核执行操 作前向其他处理器核发起一致性请求，在得到相应的处理器核的返回的数据或响应后， 再执行操作， 从而有效避免了多核间的 Cache不一致性的问题。 本发明的其他特征和优点将在随后的说明书中阐述， 并且部分的从说明书中变得 显而易见， 或者通过实施本发明而了解。 本发明的目的和其他优点可通过在所写的说 明书、 权利要求书、 以及附图中所特别指出的结构来实现和获得。 附图说明 图 1为本发明实施例 1的一种实现多核间缓存一致性的方法的流程图； 图 2为本发明实施例 1的一种实现多核间缓存一致性的装置结构示意图； 图 3为本发明实施例 1的另一种实现多核间缓存一致性的装置结构示意图； 图 4为本发明实施例 1的另一种实现多核间缓存一致性的方法的流程图； 图 5为本发明实施例 2的一种实现多核间缓存一致性的装置结构示意图； 图 6为本发明实施例 2的另一种实现多核间缓存一致性的装置结构示意图； 图 7为本发明实施例 2的再另一种实现多核间缓存一致性的装置结构示意图。 具体实施方式 下面结合附图来具体描述本发明的优选实施例， 其中， 附图构成本申请一部分， 并与本发明的实施例一起用于阐释本发明的原理。 为了清楚和简化目的， 当其可能使 本发明的主题模糊不清时， 将省略本文所描述的器件中已知功能和结构的详细具体说 明。
实施例 1 本发明实施例提供了一种实现多核间缓存一致性的方法， 参见图 1， 该方法包括: 5101、 某个处理器核发起一致性请求到与其相对应的缓存处理单元； 本发明实施例中的缓存处理单元与处理器核相连接， 通过缓存处理单元解决了处 理器核速度和内存速度的速度差异问题。 该步骤可以包括： 当某个处理器核需要执行某个缓存操作时， 其先向与其连接的 缓存处理单元发起一致性请求， 即通过该缓存处理单元查找所述一致性请求对应的地 址。 其中， 所述一致性请求为基于地址的操作的一致性请求。 例如： 基于地址的写操 作或读操作。 图 2所示为本发明实施例中的一种实现多核间缓存一致性的装置结构示意图， 如 图 2所示， 一致性总线单元与多个处理器核的缓存处理单元相连接， 并与共享缓存处 理单元和系统总线相连接。
5102、 该缓存处理单元对所述一致性请求进行查询， 当查询结果为缺失或者需要 发送到其他处理器核时， 进入下一步； 当发起查询的一致性请求类型为读时， 如果查询结果为缺失， 进入下一步； 当发 起查询的一致性请求类型为写无效时， 如果当前的查询结果不是命中脏数据， 那么意 味着其他处理器核有可能拥有该请求对应的共享数据， 需要进入下一步；
5103、 通过一致性总线单元查询其他处理器核的缓存处理单元， 根据所述一致性 请求的类型和与其他处理器核的缓存处理单元对应的查询结果， 将所述一致性请求发 送到相应的处理器核； 当所述一致性总线与侦听过滤单元 （Snoop Filter) 连接， 该步骤具体包括： 所述一致性总线单元通过侦听过滤单元查询与所述一致性请求相关的处理器核， 根据所述一致性请求的类型和查询结果将所述一致性请求发送到相应的处理器核。 通过在一致性总线单元上设置一个侦听过滤单元， 能够大大提高其查询的效率并 降低由于侦听操作带来的额外功耗。 其中， 当所述一致性请求还需要架构中的其他要求一致性的装置的配合才能完成 的情况下，将所述一致性请求发送给其他要求一致性的装置，其他要求一致性的装置， 在执行完毕后， 通过所述一致性总线单元向发起一致性请求的处理器核返回响应。 例 如， 如图 3所示， 还可以通过一致性总线单元将该一致性请求通过系统总线发送给其 他要求一致性的装置， 从而实现与其他要求一致性的装置的一致性。 当然本领域的技 术人员也可以根据实际需要进行其他架构的设计来满足技术需要。
S104、 相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致性请求 的处理器核返回响应。 该步骤中的响应包括给发起一致性请求的处理器核返回的数据等等。 图 3所示为本发明的另一种实现多核间缓存一致性的装置示意图， 如图 3所示， 当系统中包括多个 CPU簇 （Cluster), 且每个簇内包括多个处理器核和与所述处理器 核相连接的缓存处理单元时， 每一个簇内均设有一个与簇内的所有缓存处理单元相连 接的缓存处理控制单元， 图 3中为了使图更美观， 将缓存处理单元简写为缓存。 当某个处理器核发起一致性请求到与其相对应的缓存处理单元， 且该缓存处理单 元的查询结果为缺失或者需要发送到其他处理器核时， 所述缓存处理控制单元查询本 簇内其他处理器核的缓存处理单元， 并根据所述一致性请求的类型和与本簇内其他处 理器核的缓存处理单元对应的查询结果， 判断是将所述一致性请求发送给本簇内的处 理器核、 还是发送给所述一致性总线单元、 或是同时发送给本簇内的处理器核和所述 一致性总线单元。 例如， 当发起一致性请求的类型为基于地址的写操作时， 需要查找所有的存储有 该信息的缓存处理单元， 所以需要将该请求发送给一致性总线单元。 当需要发给本簇内的处理器核时， 将所述一致性请求直接发送给本簇内相应的处 理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致性请 求的处理器核返回响应； 当需要发给所述一致性总线单元时， 所述缓存处理控制单元将所述一致性请求发 送给所述一致性总线单元， 通过所述一致性总线单元查询其他簇内的处理器核的缓存 处理单元， 并将所述一致性请求发送给相应簇的缓存处理控制单元， 接收到所述一致 性请求的簇的缓存处理控制单元查询与该一致性请求相对应的处理器核， 将所述一致 性请求发送给查询到的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执 行完毕后通过所述一致性总线单元向发起一致性请求的处理器核返回响应。 通过相应 的处理器核返回响应从而实现各个缓存处理单元的一致性。 下面以一个具体的例子对本发明进行详细的说明， 参见图 4: 5401、簇内部某个处理器核发起一致性操作到缓存处理单元 LI (Data Cache L1 ), 查询 L1的结果是缺失， 就会发送一致性请求到簇内部的缓存处理控制单元；
5402、 缓存处理控制单元会去查询簇内的各个处理器核的缓存处理单元， 根据查 询结果将一致性请求发送到本簇内部的某个处理器核或者发送到簇外部； S403、如果是发送到簇内部的一致性请求会被其他被侦听的处理器核响应后完成， 那么将该一致性请求发送给簇内的相应的处理器核并在执行所述一致性请求完毕后向 发起所述一致性请求的处理器核返回响应；
S404、 如果是要发送到簇外部才能完成的一致性请求， 那么缓存处理控制单元将 该一致性请求发送到一致性总线单元上； S405、 一致性总线单元通过侦听过滤单元查询其他簇内的处理器核的缓存处理单 元， 并将所述一致性请求发送给相应簇的缓存处理控制单元；
S406、 接收到所述一致性请求的簇的缓存处理控制单元查询与该一致性请求相对 应的处理器核， 将所述一致性请求发送给查询到的处理器核， 并在执行一致性请求完 毕后通过所述一致性总线单元向发起所述一致性请求的处理器核返回响应； S407、 所述一致性总线单元将接收到的响应发送给发起所述一致性请求的处理器 核。 当然本领域的技术人员可以根据实际需要对处理器进行其他架构的设计以实现全 系统的一致性维护。 本发明实施例提供的一种实现多核间缓存处理单元一致性的方法， 通过在处理器 核执行操作前向其他处理器核发起一致性请求， 在得到相应的处理器核的返回的数据 或响应后， 再执行操作， 从而有效避免了多核间的 Cache不一致性的问题。
实施例 2 本发明实施例提供了一种实现多核间缓存处理单元一致性的装置， 参见图 2和 5， 该装置包括： 处理器核， 设置为发起一致性请求到与其相对应的缓存处理单元； 缓存处理单元， 设置为在其自身查询所述一致性请求的查询结果为缺失或者需要 发送到其他处理器核时， 触发一致性总线单元； 一致性总线单元， 设置为查询其他处理器核的缓存处理单元， 根据所述一致性请 求的类型和与其他处理器核缓存处理单元对应的查询结果， 将所述一致性请求发送到 相应的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起 一致性请求的处理器核返回响应。 其中， 本发明实施例中的所述一致性请求为基于地址的操作的一致性请求。 图 6为本发明实施例另一种实现多核间缓存处理单元一致性的装置示意图， 如图 3和 6所示， 当系统包括多个 CPU簇， 且每个簇内包括多个处理器核和与所述处理器 核相连接的缓存处理单元时， 每一个簇内均设有一个与簇内的所有缓存处理单元相连 接的缓存处理单元控制单元； 缓存处理单元还设置为， 在其自身查询所述一致性请求的查询结果为缺失或者需 要发送到其他处理器核时， 触发缓存处理控制单元； 缓存处理控制单元， 设置为查询本簇内其他处理器核的缓存处理单元， 并根据所 述一致性请求的类型和与其他处理器核缓存处理单元对应的查询结果， 判断是将所述 一致性请求发送给本簇内的处理器核、 还是发送给所述一致性总线单元、 或是同时发 送给本簇内的处理器核和所述一致性总线单元， 当需要发给本簇内的处理器核时， 将 所述一致性请求直接发送给本簇内相应的处理器核， 触发相应的处理器核执行所述一 致性请求， 并在执行完毕后向发起一致性请求的处理器核返回响应； 当需要发所述一 致性总线单元时， 将所述一致性请求发送给所述一致性总线单元； 在接收到所述一致 性请求后， 查询与该一致性请求相对应的处理器核， 将所述一致性请求发送给查询到 的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后通过所述一 致性总线单元向发起一致性请求的处理器核返回响应； 一致性总线单元还设置为， 查询其他簇内的处理器核的缓存处理单元， 并将所述 一致性请求发送给相应簇的缓冲控制单元， 并将该一致性请求相对应的处理器核发送 来的响应发送给发起一致性请求的处理器核。 本发明实施例的所述一致性总线单元还设置为， 查询其他要求一致性的装置， 并 在查询到所述一致性请求需要发送给其他要求一致性的装置时， 将所述一致性请求发 送给其他要求一致性的装置， 将接收到的其他要求一致性的装置返回的响应发送给发 起一致性请求的处理器核； 其他要求一致性的装置， 设置为执行一致性请求， 并在执行完向所述一致性总线 单元返回响应。 图 7为本发明实施例的再另一种实现多核间缓存一致性的装置结构示意图， 如图 7所示， 一致性总线单元与侦听过滤单元连接； 一致性总线单元还设置为， 触发所述侦听过滤单元查询与所述一致性请求相关的 处理器核； 侦听过滤单元， 设置为查询与所述一致性请求相关的处理器核。 本发明提供了一种实现多核间缓存一致性的方法及装置至少能够带来以下有益效 果： 1、通过在处理器核执行操作前向其他处理器核发起一致性请求，在得到相应的处 理器核的返回的数据或响应后， 再执行操作， 从而有效避免了多核间的 Cache不一致 性的问题；
2、 通过在一致性总线单元上设置侦听过滤单元， 从而大大提高了查询效率。 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到的变化或替 换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应该以权利要求书 的保护范围为准。 工业实用性 如上所述， 本发明实施例提供的一种实现多核间缓存一致性的方法及装置具有以 下有益效果： 通过在处理器核执行操作前向其他处理器核发起一致性请求， 在得到相 应的处理器核的返回的数据或响应后， 再执行操作， 从而有效避免了多核间的 Cache 不一致性的问题。

Claims

权 利 要 求 书 、 一种实现多核间缓存一致性的方法， 包括：
某个处理器核发起一致性请求到与其相对应的缓存处理单元， 当该缓存处 理单元的查询结果为缺失或者需要发送到其他处理器核时， 通过一致性总线单 元查询其他处理器核的缓存处理单元， 根据所述一致性请求的类型和其他处理 器核的缓存处理单元对应的查询结果， 将所述一致性请求发送到相应的处理器 核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致性 请求的处理器核返回响应。 、 根据权利要求 1所述的方法，其中，所述方法还包括：当系统包括多个 CPU簇， 且每个簇内包括多个处理器核和与所述处理器核相连接的缓存处理单元时， 每 一个簇内均设有一个与簇内的所有缓存处理单元相连接的缓存处理控制单元； 当某个处理器核发起一致性请求到与其相对应的缓存处理单元， 且该缓存 处理单元的查询结果为缺失或者需要发送到其他处理器核时， 所述缓存处理控 制单元查询本簇内其他处理器核的缓存处理单元， 并根据所述一致性请求的类 型和与本簇内其他处理器核的缓存处理单元对应的查询结果， 判断是将所述一 致性请求发送给本簇内的处理器核、 还是发送给所述一致性总线单元、 或是同 时发送给本簇内的处理器核和所述一致性总线单元；
当需要发给本簇内的处理器核时， 将所述一致性请求直接发送给本簇内相 应的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向 发起一致性请求的处理器核返回响应；
当需要发给所述一致性总线单元时， 所述缓存处理控制单元将所述一致性 请求发送给所述一致性总线单元， 通过所述一致性总线单元查询其他簇内的处 理器核的缓存处理单元， 并将所述一致性请求发送给相应簇的缓存处理控制单 元， 接收到所述一致性请求的簇的缓存处理控制单元查询与该一致性请求相对 应的处理器核， 将所述一致性请求发送给查询到的处理器核， 触发相应的处理 器核执行所述一致性请求， 并在执行完毕后通过所述一致性总线单元向发起一 致性请求的处理器核返回响应。 、 根据权利要求 1所述的方法， 其中， 所述方法还包括：
所述一致性总线单元还查询其他要求一致性的装置， 并在查询到所述一致 性请求需要发送给其他要求一致性的装置时， 将所述一致性请求发送给其他要 求一致性的装置， 其他要求一致性的装置在执行完毕后， 通过所述一致性总线 单元向发起一致性请求的处理器核返回响应。 、 根据权利要求 1-3任意一项所述的方法， 其中， 所述一致性总线单元与侦听过 滤单元连接， 所述一致性总线单元收到所述一致性请求后， 通过所述侦听过滤 单元查询与所述一致性请求相关的处理器核。 、 根据权利要求 1-3任意一项所述的方法， 其中， 所述一致性请求为基于地址的 操作的一致性请求。 、 一种实现多核间缓存一致性的装置， 包括：
处理器核， 设置为发起一致性请求到与其相对应的缓存处理单元； 缓存处理单元， 设置为在其自身查询所述一致性请求的查询结果为缺失或 者需要发送请求到其他处理器核时， 触发一致性总线单元；
一致性总线单元， 设置为查询其他处理器核的缓存处理单元， 根据所述一 致性请求的类型和与其他处理器核的缓存处理单元对应的查询结果， 将所述一 致性请求发送到相应的处理器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致性请求的处理器核返回响应。 、 根据权利要求 6所述的装置， 其中， 当系统包括多个 CPU簇， 且每个簇内包括 多个处理器核和与所述处理器核相连接的缓存处理单元时， 每一个簇内均设有 一个与簇内的所有缓存处理单元相连接的缓存处理单元控制单元；
所述缓存处理单元还设置为， 在其自身查询所述一致性请求的查询结果为 缺失或者需要发送到其他处理器核时， 触发缓存处理控制单元；
所述缓存处理控制单元，设置为查询本簇内其他处理器核的缓存处理单元， 并根据所述一致性请求的类型和与其他处理器核缓存处理单元对应的查询结 果， 判断是将所述一致性请求发送给本簇内的处理器核、 还是发送给所述一致 性总线单元、 或是同时发送给本簇内的处理器核和所述一致性总线单元， 当需 要发给本簇内的处理器核时， 将所述一致性请求直接发送给本簇内相应的处理 器核， 触发相应的处理器核执行所述一致性请求， 并在执行完毕后向发起一致 性请求的处理器核返回响应； 当需要发所述一致性总线单元时， 将所述一致性 请求发送给所述一致性总线单元； 在接收到所述一致性请求后， 查询与该一致 性请求相对应的处理器核， 将所述一致性请求发送给查询到的处理器核， 触发 相应的处理器核执行所述一致性请求， 并在执行完毕后通过所述一致性总线单 元向发起一致性请求的处理器核返回响应；
所述一致性总线单元还设置为，查询其他簇内的处理器核的缓存处理单元， 并将所述一致性请求发送给相应簇的缓冲控制单元， 并将该一致性请求相对应 的处理器核发送来的响应发送给发起一致性请求的处理器核。 、 根据权利要求 6所述的装置， 其中，
所述一致性总线单元还设置为， 查询其他要求一致性的装置， 并在查询到 所述一致性请求需要发送给其他要求一致性的装置时， 将所述一致性请求发送 给其他要求一致性的装置， 将接收到的其他要求一致性的装置返回的响应发送 给发起一致性请求的处理器核；
其他要求一致性的装置， 设置为执行一致性请求， 并在执行完向所述一致 性总线单元返回响应。 、 根据权利要求 6-8中任意一项所述的装置， 其中， 还包括： 侦听过滤单元， 所 述侦听过滤单元与所述一致性总线单元连接；
所述一致性总线单元还设置为， 触发所述侦听过滤单元查询与所述一致性 请求相关的处理器核；
所述侦听过滤单元， 设置为查询与所述一致性请求相关的处理器核。 0、 根据权利要求 6-8中任意一项所述的装置， 其中， 所述一致性请求为基于地址 的操作的一致性请求。
PCT/CN2014/077491 2013-09-22 2014-05-14 实现多核间缓存一致性的方法及装置 WO2014187259A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310432823.7A CN104462007B (zh) 2013-09-22 2013-09-22 实现多核间缓存一致性的方法及装置
CN201310432823.7 2013-09-22

Publications (1)

Publication Number Publication Date
WO2014187259A1 true WO2014187259A1 (zh) 2014-11-27

Family

ID=51932836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/077491 WO2014187259A1 (zh) 2013-09-22 2014-05-14 实现多核间缓存一致性的方法及装置

Country Status (2)

Country Link
CN (1) CN104462007B (zh)
WO (1) WO2014187259A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019118757B4 (de) 2019-07-11 2023-06-22 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Herstellung der Cachekohärenz in Mehrkernprozessoren

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740164B (zh) 2014-12-10 2020-03-17 阿里巴巴集团控股有限公司 支持缓存一致性的多核处理器、读写方法、装置及设备
CN106326148B (zh) * 2015-07-01 2020-06-23 三星电子株式会社 数据处理系统及其操作方法
CN105183662B (zh) * 2015-07-30 2017-12-29 复旦大学 一种无cache一致性协议的分布式共享片上存储架构
CN109101439B (zh) * 2017-06-21 2024-01-09 深圳市中兴微电子技术有限公司 一种报文处理的方法及装置
CN112559433B (zh) * 2019-09-25 2024-01-02 阿里巴巴集团控股有限公司 一种多核互联总线、核间通信方法及多核处理器
CN112559434B (zh) * 2019-09-25 2023-12-08 阿里巴巴集团控股有限公司 一种多核处理器及核间数据转发方法
CN116167310A (zh) * 2023-04-25 2023-05-26 上海芯联芯智能科技有限公司 一种验证多核心处理器缓存一致性的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270180A (zh) * 2011-08-09 2011-12-07 清华大学 一种多核处理器高速缓存及其管理方法
CN102346714A (zh) * 2011-10-09 2012-02-08 西安交通大学 用于多核处理器的一致性维护装置及一致性交互方法
CN102591800A (zh) * 2011-12-31 2012-07-18 龙芯中科技术有限公司 一种弱一致性存储模型的数据访存系统和方法
CN102929832A (zh) * 2012-09-24 2013-02-13 杭州中天微系统有限公司 基于非写分配的高速缓存一致性的多核处理器数据传输系统
WO2013081556A1 (en) * 2011-12-01 2013-06-06 National University Of Singapore Polymorphic heterogeneous multi-core architecture

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958834B (zh) * 2010-09-27 2012-09-05 清华大学 支持高速缓存一致的片上网络系统及数据请求方法
CN102866923B (zh) * 2012-09-07 2015-01-28 杭州中天微系统有限公司 对称多核的高效一致性侦听过滤装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270180A (zh) * 2011-08-09 2011-12-07 清华大学 一种多核处理器高速缓存及其管理方法
CN102346714A (zh) * 2011-10-09 2012-02-08 西安交通大学 用于多核处理器的一致性维护装置及一致性交互方法
WO2013081556A1 (en) * 2011-12-01 2013-06-06 National University Of Singapore Polymorphic heterogeneous multi-core architecture
CN102591800A (zh) * 2011-12-31 2012-07-18 龙芯中科技术有限公司 一种弱一致性存储模型的数据访存系统和方法
CN102929832A (zh) * 2012-09-24 2013-02-13 杭州中天微系统有限公司 基于非写分配的高速缓存一致性的多核处理器数据传输系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019118757B4 (de) 2019-07-11 2023-06-22 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Herstellung der Cachekohärenz in Mehrkernprozessoren

Also Published As

Publication number Publication date
CN104462007A (zh) 2015-03-25
CN104462007B (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
WO2014187259A1 (zh) 实现多核间缓存一致性的方法及装置
US9235529B2 (en) Using broadcast-based TLB sharing to reduce address-translation latency in a shared-memory system with optical interconnect
US9170946B2 (en) Directory cache supporting non-atomic input/output operations
US7613882B1 (en) Fast invalidation for cache coherency in distributed shared memory system
US9323673B2 (en) Hierarchical cache structure and handling thereof
US9009446B2 (en) Using broadcast-based TLB sharing to reduce address-translation latency in a shared-memory system with electrical interconnect
JP5614419B2 (ja) 情報処理装置、制御方法および制御プログラム
TW201009578A (en) Reducing back invalidation transactions from a snoop filter
RU2014139597A (ru) Представление фильтрации наблюдения, ассоциированной с буфером данных
EP3178006B1 (en) Moving data between caches in a heterogeneous processor system
US9183150B2 (en) Memory sharing by processors
CA2505259A1 (en) Methods and apparatus for multiple cluster locking
WO2013097793A1 (zh) 一种片上多核数据传输方法和装置
WO2013101092A1 (en) Data control using last accessor information
GB2597884A (en) Executing multiple data requests of multiple-core processors
WO2012109906A1 (zh) 访问高速缓冲存储器的方法及非真实缓存代理
WO2012087894A2 (en) Debugging complex multi-core and multi-socket systems
US8904100B2 (en) Process identifier-based cache data transfer
JP5936152B2 (ja) メモリアクセストレース方法
JPH10501914A (ja) 共用キャッシュ・メモリ装置
US20190179758A1 (en) Cache to cache data transfer acceleration techniques
US9916243B2 (en) Method and apparatus for performing a bus lock and translation lookaside buffer invalidation
WO2019149031A1 (zh) 应用于节点系统的数据处理方法及装置
US20140281234A1 (en) Serving memory requests in cache coherent heterogeneous systems
WO2018201967A1 (zh) 一种存储处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14800743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14800743

Country of ref document: EP

Kind code of ref document: A1