WO2012136916A1 - Procédé et dispositif de gestion de câblage dans un cluster - Google Patents

Procédé et dispositif de gestion de câblage dans un cluster Download PDF

Info

Publication number
WO2012136916A1
WO2012136916A1 PCT/FR2012/050659 FR2012050659W WO2012136916A1 WO 2012136916 A1 WO2012136916 A1 WO 2012136916A1 FR 2012050659 W FR2012050659 W FR 2012050659W WO 2012136916 A1 WO2012136916 A1 WO 2012136916A1
Authority
WO
WIPO (PCT)
Prior art keywords
computer
connectors
connector
cluster
logical
Prior art date
Application number
PCT/FR2012/050659
Other languages
English (en)
Inventor
Andry RAZAFINJATOVO
Michel Mercier
Philippe Martin
Original Assignee
Bull Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bull Sas filed Critical Bull Sas
Priority to US14/110,413 priority Critical patent/US10146889B2/en
Priority to EP12717405.0A priority patent/EP2695093A1/fr
Publication of WO2012136916A1 publication Critical patent/WO2012136916A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/16—Cables, cable trees or wire harnesses

Definitions

  • the present invention relates to the cabling of complex computer systems such as clusters and more particularly a method and a device for managing cabling in a cluster.
  • High Performance Computing also known as High Performance Computing (HPC)
  • HPC High Performance Computing
  • HPC High Performance Computing
  • modeling and simulation make it possible to reduce development costs and speed up the launch of innovative, more reliable and less energy-consuming products.
  • high performance computing has become an indispensable means of investigation.
  • a cluster typically includes a set of interconnected nodes. Some nodes are used to perform compute tasks (compute nodes), others to store data (storage nodes), and one or more others manage the cluster (administration nodes). Each node is for example a server implementing an operating system such as Linux (Linux is a brand). The connection between the nodes is, for example, carried out using Ethernet or Infiniband communication links (Ethernet and Infiniband are trademarks). Each node generally comprises one or more microprocessors, local memories as well as a communication interface.
  • Figure 1 schematically illustrates an example of a topology 100 of a cluster, type fat-tree.
  • the latter comprises a set of generically referenced nodes 105.
  • the nodes belonging to the set 1 10 are here calculation nodes while the nodes of the set 1 15 are service nodes (storage nodes and administration nodes ).
  • the calculation units may be grouped into subsets 120 called calculation islands, the set 1 being called the service island.
  • the nodes are connected to each other by switches (called switches in English terminology), for example hierarchically.
  • switches in English terminology
  • the nodes are connected to first level switches 125 which are themselves connected to second level switches 130 which are in turn connected to third level switches 135.
  • Such physical links are, for example, copper conductors or optical fibers.
  • different types of links can be used within the same cluster.
  • cluster cabling All of these links are usually called cluster cabling. They are set up by technicians during the installation of a cluster. This operation is also called cluster cabling.
  • nodes of a cluster are often grouped in computer cabinets, also called racks in English terminology, which can themselves be grouped by islands.
  • racks in English terminology, which can themselves be grouped by islands.
  • a cluster comprising thirty racks each comprising 48 nodes requires several tens of thousands of cables whose total length may be several tens of kilometers.
  • the wiring is done according to the know-how of technicians.
  • this know-how requires qualified technicians who must be available at a given moment to install a cluster.
  • they must be trained and must be able to pass on their knowledge.
  • the invention solves at least one of the problems discussed above.
  • the invention thus relates to a cabling management computer method in a cluster comprising at least two computer cabinets, each computer cabinet comprising at least one elementary device, each elementary device comprising at least one connector, this method comprising the following steps ,
  • the method according to the invention thus makes it possible to create a list of physical connections which can notably be used to facilitate the cabling and configuration of a cluster. Such a list can also be used to check cabling and cluster configuration, the list being used as a reference.
  • the method further comprises a step of determining at least one internal logical link between two connectors of at least one of said at least two computer cabinets as well as, preferably, a step of duplication of said at least one internal logical link associated with said at least one of said at least two computer cabinets for at least one other of said at least two computer cabinets, said at least one and at least one other computer cabinets being of the same type.
  • the method according to the invention is thus simple and quick to implement. It also limits the risk of error related to the configuration of a computer cabinet by limiting the necessary interactions of a user.
  • Said duplication step advantageously comprises a step of assigning an identifier to said at least one and at least one other computer cabinets so that it is possible to identify them in the configuration of the cluster.
  • the method further comprises a step of initial configuration of at least one of said at least two cabinets.
  • Such a configuration can then be duplicated in order to simplify and speed up the configuration of a cluster while limiting the risks of error related to the configuration of a computer cabinet.
  • the method further comprises a step of verifying at least one logical link of said logical interconnection list.
  • the method further comprises a step of determining at least one routing rule, said at least one routing rule being used to determine said cable path.
  • the method further comprises, preferably, a step of evaluating the length of said cable path, said length of said cable path being determined according to the nature of the cable associated with said cable path. It is thus possible to prepare the installation of a cluster to reduce its installation time.
  • the method further comprises a step of creating a set of data for generating at least two tags, each of said at least two tags being intended for one end of the cable associated with said cable path, each at least two tags comprising information relating to the position of a connector to which said cable is to be connected.
  • the method of the invention thus facilitates the installation of a cluster by identifying cables and connectors.
  • the method according to the invention also facilitates the detection of configuration error of a cluster and its maintenance.
  • the method further comprises a step of duplicating logical links specific to said at least two computer cabinets, forming a first set of computer cabinets, for at least a second set of computer cabinets, said first and at least a second set of computer cabinets being of the same type. It is thus possible to configure a cluster according to different levels of granularity, in particular by islands.
  • the invention also relates to a computer program comprising instructions adapted to the implementation of each of the steps of the method described above when said program is run on a computer.
  • the benefits provided by this computer program are similar to those mentioned above.
  • FIG. 1 illustrates an exemplary topology of a cluster
  • FIG. 2 illustrates certain steps of a phase of definition of a list of logical interconnections
  • FIG. 3 illustrates certain steps of a phase of generating a list of physical interconnections making it possible in particular to generate cabling tags
  • FIG. 4 represents an example of an implementation scheme of a part of a cluster
  • FIG. 5 comprising FIGS. 5a, 5b and 5c, schematically illustrates the external wiring, via a raised floor, of a computer cabinet, seen from the front, from the side and from behind, respectively;
  • FIG. 6, comprising FIGS. 6a and 6b, illustrates an example of two tags of the same cable connecting two connectors in a cluster
  • FIG. 7 illustrates an exemplary hardware architecture adapted to implementing certain steps of the invention.
  • the purpose of the invention is to define a cabling logic diagram of a cluster that is used, according to physical constraints, to determine a theoretical physical wiring diagram of the cluster.
  • This theoretical physical wiring scheme allows itself to determine the number of necessary cables, the length of these cables, their location and label them. With this information, a technician, even an unqualified technician, can efficiently wire a cluster.
  • knowledge of the theoretical physical cabling of a cluster makes it possible to perform tests that can be used to determine an inconsistency between the theoretical physical cabling of a cluster and its actual physical cabling.
  • the logical and physical cabling schemes can then be used to create a database, called the DB Cluster, which is typically provided to the cluster (client) user and contains the information needed by the cluster management tools.
  • the DB Cluster is at the heart of HPC administration.
  • a first phase of the method according to the invention therefore aims to define a list of logical interconnections, also called logical netlist.
  • the cluster logical schema is created iteratively by duplicating elementary schemas according to a pyramid architecture of the cluster. It is thus considered that a cluster is formed of several islands, each island being formed of several computer cabinets (or racks), each computer cabinet comprising several locations, also called drawers, adapted to receive basic devices of the cluster such as nodes , storage bays, switches or power supply circuits.
  • the connectors are here placed on the elementary devices inserted in the drawers.
  • each drawer is associated with a particular elementary device. It is therefore possible to define a configuration of connectors for a given computer cabinet according to the types of elementary devices associated with it.
  • the logical wiring diagram of a computer cabinet is made to define, in particular, the connections between the drawers of this computer cabinet (internal wiring or intra cabinet).
  • the logical wiring diagram of the computer cabinet is then duplicated to create all logical wiring diagrams of the computer cabinets of an island that can then be wired (external wiring or intra island).
  • the scheme of The logical wiring of an island is duplicated to create all the logical wiring diagrams of the islands of a cluster can then be wired (inter island wiring).
  • Each drawer, each computer cabinet and each island is preferably identified by a type. These types are associated with each other to define drawer types of computer cabinet types and to define types of computer cabinets for island types. In addition, features can be associated with each type. Such characteristics may include in particular a number of inputs / outputs. This information can be entered before or during the logical wiring diagram.
  • An identifier is also associated with each drawer, each computer cabinet and each island. However, these identifiers are preferably created dynamically during the creation phase of logical interconnections as described below.
  • Figure 2 schematically illustrates some steps of this first phase.
  • the example illustrated with reference to this figure is limited to internal wiring and external wiring, without notion of islands.
  • islet management is similar to the management of computer cabinets, it adds an additional iteration to the algorithm for creating the list of logical interconnects. Similarly, it is possible to create sets of islets and so on.
  • a first phase can be performed using software such as a spreadsheet for working on spreadsheets assembled in the form of binders, each sheet being accessible by a tab mechanism.
  • a first step (step 200) here is to enter characteristics of the elements of the cluster whose logic diagram must be established. This step may include creating a tab for each type of computer cabinet. Each tab includes the list of all the elementary devices to be placed in the drawers of the corresponding computer cabinet, organized, for example, by line. Each line corresponds to a device of the type of computer cabinet targeted by the tab. Each line can then include information on the type of device and its position in the computer cabinet.
  • the type of device can be used to find its characteristics, including the number and position of its connectors. This information is preferably available in a tab of the spreadsheet used, in another spreadsheet or in a file accessible by the spreadsheet.
  • each tab is created for each island type, each tab including the list of computer cabinets, by type, implemented in the corresponding island. .
  • Each line corresponds to a computer cabinet implemented in the block and includes information relating to it.
  • a summary of the types of computer cabinet is created for each type of computer cabinet. This is for example a blank tab to fill, associated with each type of computer cabinet implemented in the cluster.
  • a step of pre-loading the previously created summaries is then performed (step 210). This step is intended to fill the summaries through a correlation of information contained in the summary tab and information describing the connectors of the different basic devices. This step creates the logical netlist structure and gets some of its data.
  • the preloading provides, for each type of computer cabinet, the list of all the connectors.
  • This list derives directly from the list of devices implemented in each type of computer cabinet and the list of connectors of each device.
  • Each line of this summary is aimed at a particular connector of the type of computer cabinet.
  • the structure of the netlist comprises a first part, for example left columns, aimed at the characteristics of a connector, in particular its position and type, and a second part, for example right-hand columns, aimed at characteristics of the connector to which the defined connector is to be connected. If a connector is not connected, it is indicated as such.
  • Each connector is preferably identified by a position within a drawer and a drawer position within a computer cabinet.
  • the summaries can then be checked and / or modified by a user according to specific characteristics of the cluster in question (step 215).
  • unused connectors may be removed from the summaries if they are not used.
  • step 220 the internal wiring of each type of computer cabinet is realized. This step can be performed by a user or automatically or semi-automatically according to predetermined connection rules.
  • a user selects a connector to be connected, that is to say an "origin” connector ("from” connector). Following this selection, a list of connectors to which this connector can be connected is presented to the user who can thus select the connector "destination” (connector "to”). After selecting a destination connector, the summary of the type of computer cabinet being wired is updated.
  • the line corresponding to the origin connector is completed with information relating to the destination connector, in particular its position (position within the drawer and position of the drawer).
  • the state associated with the original connector is changed to indicate that it is connected to another.
  • the line corresponding to the destination connector is completed with information relating to the origin connector, in particular its position (position within the drawer and position of the drawer).
  • the state associated with the destination connector is also changed to indicate that it is connected to another one.
  • the connectors are organized in a hierarchical and / or ordered manner, for example by type (switch, power supply, etc.), to allow faster selection.
  • connectors in groups it is possible, preferably, to connect connectors in groups. For example, it may be possible to select a connector from a source connector list and the following ns from the selection list to connect them, respectively, to a selected connector, a destination connector list, and subsequent ns. .
  • this step is here performed for each type of computer cabinet previously defined. Thus, at the end of this step all the internal connections of all types of computer cabinets are made.
  • a duplicate check is made to verify, in particular, that a connector is connected to only one other connector and that if an origin connector is connected to a destination connector, the Destination connector is well connected to the original connector. If a problem is detected, it is reported to allow, if necessary, its correction.
  • a table is then created to define all the computer cabinets implemented in the cluster and identify their type (step 230).
  • the number of computer cabinets in the cluster, by type, can be defined in a configuration file or entered by a user.
  • a connector identifier is composed of a connector identifier within a drawer, a drawer identifier within a computer cabinet and a computer cabinet identifier within of the cluster.
  • a drawer identifier is composed of a drawer identifier within a computer cabinet and a computer cabinet identifier within the cluster.
  • the logical netlist groups all the connectors of all the drawers of all the computer cabinets, that is to say all the connectors of the cluster.
  • the number of connectors can reach tens of thousands in current cluster configurations.
  • the logical netlist is then used to perform the external wiring
  • Step 240 i.e. the wiring between connectors belonging to different computer cabinets. Such wiring is done in a manner similar to internal wiring by selecting an origin connector and a destination connector. Similarly, the logical netlist is updated. The line corresponding to the origin connector is completed with information relating to the destination connector, in particular its position (position within the drawer, position of the drawer and identifier of the computer cabinet to which it belongs). The state associated with the original connector is changed to indicate that it is connected to another. Likewise, the line corresponding to the destination connector is completed with information relating to the origin connector, in particular its position (position within the drawer, position of the drawer and identifier of the computer cabinet to which it belongs). The state associated with the destination connector is changed to indicate that it is connected to another one.
  • a duplicate check is again performed (step 245) to check, in particular, that a connector is connected to only one other connector and that a Origin connector is connected to a destination connector, the destination connector is well connected to the original connector. Again, if a problem is detected, it is reported to allow, if necessary, its correction.
  • the logical netlist is then created. This is an array associated with the cluster in which each row is associated with a connector. Each line includes information about the identification of the connector to which it is attached, information about the connector to which it is connected, and information about the type of connection and devices connected through that connector.
  • the logical netlist comprises twice as many logical links as connections, each connector being considered individually.
  • a second phase of the method according to the invention aims to characterize each logical link of the logical netlist according to physical considerations in order to create a physical netlist and determine, in particular, the location and length of each cable to be used.
  • Figure 3 illustrates some steps of a generation phase of the physical netlist.
  • a first step (300) is to identify the characteristics of the elements of the cluster. It is here based on the logical netlist in which these elements and their type appear and on data describing these elements according to their type. All of this information, referenced here 305, allows, in particular, to define the physical characteristics such as dimensions, mass and the electrical power consumed, for each element.
  • the implantation configuration previously defined manually or semi-automatically, for example from positioning rules such as relative positioning rules of computer cabinets according to their type, is obtained (step 310 ). She defined the implementation of all computer cabinets in one or more computer rooms.
  • a user defines a location space, typically a client platform, and associates a three-dimensional landmark.
  • the position and orientation of the computer cabinets in the implantation space are then entered according to the reference used.
  • a reference point is defined for each type of computer cabinet.
  • the position of the drawers in a computer cabinet is preferably determined during the creation of the logical netlist as described above.
  • the implantation configuration step is also intended to define the cable routing locations, also called chutes, always according to the reference used, as well as information relating to the cable paths, for example paths in the ceiling or under a raised floor.
  • All of this setup configuration information can be entered directly by the user or obtained from files.
  • routing rules are determined. They can be determined by a user or obtained from files.
  • the routing can then be performed (step 320) according to the connections between the connectors as defined in the logical netlist, the location of these connectors as defined by the layout diagram and the determined routing rules.
  • the routing is preferably a Manhattan type routing according to which the angles between the paths are multiples of 45 °.
  • the algorithm used here is a standard routing algorithm, however part of the routing can be determined manually, especially for optimization purposes. It makes it possible to obtain, for each logical link of the logical netiist, the path of the corresponding cable.
  • step 325 the physical netiist is created.
  • the calculation of the length of the cables is made here according to the location of the computer cabinets, the location of the possible passages of cables (in particular on the ceiling or on the ground), the location of the devices within the cabinets (in particular on the front, rear, front-to-back), the location of the connectors on the devices (eg on the front, back or inside of the device), the position of the connectors relative to their location ( left, right, top, bottom, top left, bottom left, etc.), the cable path and cable type (eg fiber optic or Ethernet).
  • the pairs of connectors here are oriented pairs, that is, the pair (a, b) is different from the pair (b, a), where a and b are identifiers of connectors, although these two pairs forming two logical links correspond to a single connection. Therefore, each physical connection is represented twice in the physical netiist.
  • such an embodiment has the advantage of allowing verifications by verifying that each connection of a connector a to connector b, there is a connection from connector b to connector a. It also makes it possible to simply and directly generate labels for each end of connection cable, that is to say a label for a piece of cable connecting the connector a to the connector b and a label for the other end of the same cable connecting connector b to connector a.
  • a routing summary is generated.
  • it makes it possible to extract from the physical netlist a label file and to define a list of each cable to be controlled according to its type and its length (compared to the existing standard lengths of cables). It also allows to define global characteristics of the cluster, for example, its weight, the necessary amperage and the power consumed.
  • the routing synthesis also makes it possible to create layout diagrams on which the wiring appears, by cable type, cable reference, computer cabinet reference, etc.
  • FIG. 4 represents an example of an implementation scheme 400 of a part of a cluster. It comprises a three-dimensional marker 405 (O, x, y, z) and a part of the generically referenced computer cabinets 410, forming the cluster, seen from above.
  • the computer cabinets are arranged here in rows, forming aisles.
  • all the computer cabinets of a row are arranged so that the air used to cool the elements of these computer cabinets is taken in an alley, called cold aisle, for example the aisle 415, and rejected in another alley, called hot alley, for example the alley 420.
  • Each computer cabinet includes a vertically arranged volume allowing the passage of cables between several drawers as well as between drawers and external devices, via the floor or the ceiling.
  • the computer cabinet 410 includes such a volume whose section in a horizontal plane is here represented by reference 425.
  • each computer cabinet includes a reference point for defining a position.
  • the computer cabinet 410 includes the reference point 430 whose coordinates are (x 0 , y 0 , z 0 ). Knowing the position of a computer cabinet in the frame (O, x, y, z) as well as the relative position of the connectors in this cabinet (defined according to the technical characteristics of the drawer considered, its position in the cabinet and the technical characteristics of the cabinet), it is possible to determine the position of each connector of this computer cabinet in the reference (O, x, y, z) used. The position of the cable passages and other elements of the cluster can be determined similarly.
  • FIG. 5 comprising FIGS. 5a, 5b and 5c, schematically illustrates the external wiring, via a raised floor, of a computer cabinet 500, seen from the front, from the side and from behind, respectively.
  • the cabinet 500 here comprises a bay 505 adapted to receive modules generically referenced 510. As shown in Figures 5a and 5b, the connectors of these modules are placed on their front face. Thus, the cables 515 connected to these modules are connected to the front face, pass over the top of the bay 505 and down behind it to join other computer cabinets via an opening 520 made in the false floor 525, as shown in Figure 5b.
  • the computer cabinet 500 also includes generically referenced devices 530 whose connectors are located on their rear face, as shown in Figures 5b and 5c.
  • the cables 535 connected to these connectors descend directly from these connectors to an opening 540 of the false floor 525.
  • Figure 6 including Figures 6a and 6b, illustrates an example of two tags of the same cable connecting two connectors in a cluster.
  • the label shown in Figure 6a is intended to be placed at one end of a connection cable of these connectors while the label shown in Figure 6b is intended to be placed at the other end.
  • each label 600-1 and 600-2 includes a reference to an origin connector (references 605-1 and 605-2) as well as a reference to a destination connector (references 610-1 and 610-2).
  • These references here comprise the coordinates of the connector concerned in the reference used (K.7.ZL and K.11.ZH where K represents abscissae, 7 and 11 represent ordinates and ZL and ZH represent heights), the nature of the drawer including the connector (ETH SWITCH.O and COMPUTE.40) as well as the position of the connector within the drawer (port.41 and Prim / LAN 1). It is observed that the references of the origin connector of a label correspond to the references of the destination connector of the other label and vice versa.
  • Each label further comprises a cable reference (references 615-1 and 615-2), a link number (references 620-1 and 620-2) as well as an indication of the side through which the cable is descending, viewed from the front to the connector (references 625-1 and 625-2).
  • this second phase makes it possible to provide a layout plan of the computer cabinets, a plan of the locations of the cable passages, a layout plan of the devices in the computer cabinets, a plan of the connectors, a plan of the cable paths, a cable routing plan, a routing summary, a list of physical interconnections including a list of cables, their length and type, as well as cable labels (for example in the form of standard files).
  • FIG. 7 illustrates an example of a hardware architecture, for example a server or a computer, adapted to implement certain steps of the invention, for example by means of a spreadsheet.
  • the device 700 here comprises a communication bus 705 to which are connected: one or more central processing units or microprocessors 710 (CPU, acronym for Central Processing Unit in English terminology);
  • a read only memory 715 may include programs (prog, progl and prog2) necessary for the implementation of the invention
  • RAM Random Access Memory
  • cache memory 720 (RAM, acronym for Random Access Memory in English terminology) comprising registers adapted to record variables and parameters created and modified during the execution of the aforementioned programs;
  • a communication interface 750 adapted to transmit and receive data.
  • the device 700 also preferably has the following elements:
  • one or more display units 725 making it possible to display data and that can serve as a graphical interface with a user who can interact with programs according to the invention, using a keyboard and a mouse 730 or another pointing device such as a touch screen or a remote control;
  • a hard disk 735 that can comprise the aforementioned programs as well as information processed or to be processed according to the invention.
  • a memory card reader 740 adapted to receive a memory card 745 and to read or write to it data processed or to be processed according to the invention.
  • the communication bus allows communication and interoperability between the various elements included in the device 700 or connected to it.
  • the representation of the bus is not limiting and, in particular, the central unit is able to communicate instructions to any element of the device 700 directly or via another element of the device 700.
  • the executable code of each program enabling the programmable device to implement the processes according to the invention can be stored, for example, in the hard disk 735 or in the read-only memory 7 5.
  • the memory card 745 may contain information, in particular information to be processed according to the invention, as well as the executable code of the aforementioned programs which, once read by the device 700, is stored in the hard disk 735.
  • the executable code of the programs and the information to be processed according to the invention may be received, at least partially, via the interface 750, to be stored identically to that described above.
  • program (s) and the information to be processed according to the invention may be loaded into one of the storage means of the device 700 before being executed.
  • the central unit 710 will control and direct the execution of the instructions or portions of software code of the program or programs according to the invention, instructions which are stored in the hard disk 735 or in the read-only memory 715 or else in the other elements of FIG. aforementioned storage.
  • the program or programs that are stored in a non-volatile memory for example the hard disk 735 or the read only memory 715, are transferred into the random access memory 720 which then contains the executable code of the program or programs according to the invention, as well as registers for storing the variables and parameters necessary for the implementation of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Details Of Connecting Devices For Male And Female Coupling (AREA)
  • Power Sources (AREA)

Abstract

L'invention a notamment pour objet la gestion du câblage d'un cluster comprenant au moins deux armoires informatiques, chaque armoire informatique comprenant au moins un dispositif élémentaire, chaque dispositif élémentaire comprenant au moins un connecteur. Après avoir déterminé (240) au moins un lien logique externe entre au moins deux connecteurs dudit cluster, chacun desdits au moins deux connecteurs appartenant à une armoire informatique différente, et généré une liste d'interconnexions logiques comprenant ledit au moins un lien logique externe, des emplacements desdits au moins deux connecteurs sont identifiés. Un chemin de câble reliant lesdits au moins deux connecteurs est alors déterminé selon ladite liste d'interconnexions logiques et une liste d'interconnexions physiques comprenant au moins ledit chemin de câble est créée.

Description

Procédé et dispositif de gestion de câblage dans un cluster
La présente invention concerne le câblage de systèmes informatiques complexes tels que des clusters et plus particulièrement un procédé et un dispositif de gestion de câblage dans un cluster.
Le calcul haute performance, aussi appelé HPC (sigle de High Performance Computing en terminologie anglo-saxonne) se développe pour la recherche universitaire comme pour l'industrie, notamment dans des domaines techniques tels que l'aéronautique, l'énergie, la climatologie et les sciences de la vie. La modélisation et la simulation permettent en particulier de réduire les coûts de développement, d'accélérer la mise sur le marché de produits innovants, plus fiables et moins consommateurs d'énergie. Pour les chercheurs, le calcul haute performance est devenu un moyen d'investigation indispensable.
Ces calculs sont généralement mis en œuvre sur des systèmes de traitement de données appelés clusters. Un cluster comprend typiquement un ensemble de nœuds interconnectés. Certains nœuds sont utilisés pour effectuer des tâches de calcul (nœuds de calcul), d'autres pour stocker des données (nœuds de stockage) et un ou plusieurs autres gèrent le cluster (nœuds d'administration). Chaque nœud est par exemple un serveur mettant en œuvre un système d'exploitation tel que Linux (Linux est une marque). La connexion entre les nœuds est, par exemple, réalisée à l'aide de liens de communication Ethernet ou Infiniband (Ethernet et Infiniband sont des marques). Chaque nœud comprend généralement un ou plusieurs microprocesseurs, des mémoires locales ainsi qu'une interface de communication.
La figure 1 illustre schématiquement un exemple d'une topologie 100 d'un cluster, de type fat-tree. Ce dernier comprend un ensemble de nœuds génériquement référencés 105. Les nœuds appartenant à l'ensemble 1 10 sont ici des nœuds de calcul tandis que les nœuds de l'ensemble 1 15 sont des nœuds de service (nœuds de stockage et nœuds d'administration). Les nœuds de calcul peuvent être regroupés en sous-ensembles 120 appelés îlots de calcul, l'ensemble 1 15 étant appelé îlot de service.
Les nœuds sont reliés les uns aux autres par des commutateurs (appelés switch en terminologie anglo-saxonne), par exemple de façon hiérarchique. Dans l'exemple illustré sur la figure 1 , les nœuds sont connectés à des commutateurs 125 de premier niveau qui sont eux-mêmes reliés à des commutateurs 130 de deuxième niveau qui sont à leur tour reliés à des commutateurs 135 de troisième niveau.
Ainsi, il existe un ensemble de liens physiques important entre les différents éléments d'un cluster pour permettre des échanges de données entre les nœuds. De tels liens physiques sont, par exemple, des fils conducteurs en cuivre ou des fibres optiques. Selon, notamment, les topologies mises en œuvre et les performances requises, différents types de liens peuvent être utilisés au sein d'un même cluster.
En outre, d'autres types de liens sont nécessaires à la mise en œuvre d'un cluster, par exemple les alimentations électriques.
L'ensemble de ces liens est généralement appelé le câblage du cluster. Ils sont mis en place par des techniciens lors de l'installation d'un cluster. Cette opération est également appelée le câblage du cluster.
II est observé ici que les nœuds d'un cluster sont souvent regroupés dans des armoires informatiques, aussi appelées racks en terminologie anglo- saxonne, qui peuvent elles-mêmes être regroupées par îlots. A titre d'illustration, un cluster comprenant trente racks comprenant chacun 48 nœuds nécessite plusieurs dizaines de milliers de câbles dont la longueur totale peut être de plusieurs dizaines de kilomètres.
Généralement, le câblage est réalisé selon le savoir faire de techniciens. Cependant, un tel procédé présente de nombreux inconvénients. Parmi ces derniers, ce savoir faire nécessite des techniciens qualifiés qui doivent être disponibles à instant donné pour installer un cluster. En outre, ils doivent être formés et doivent pouvoir transmettre leurs connaissances. Par ailleurs, il n'existe généralement pas de plan général de câblage ce qui pose des problèmes lorsque les performances du cluster ne sont pas celles attendues.
L'invention permet de résoudre au moins un des problèmes exposés précédemment.
L'invention a ainsi pour objet un procédé pour ordinateur de gestion de câblage dans un cluster comprenant au moins deux armoires informatiques, chaque armoire informatique comprenant au moins un dispositif élémentaire, chaque dispositif élémentaire comprenant au moins un connecteur, ce procédé comprenant les étapes suivantes,
- détermination d'au moins un lien logique externe entre au moins deux connecteurs dudit cluster, chacun desdits au moins deux connecteurs appartenant à une armoire informatique différente, et génération d'une liste d'interconnexions logiques comprenant ledit au moins un lien logique externe ;
- identification des emplacements desdits au moins deux connecteurs ; et,
- détermination d'un chemin de câble reliant lesdits au moins deux connecteurs selon ladite liste d'interconnexions logiques et création d'une liste d'interconnexions physiques comprenant au moins ledit chemin de câble.
Le procédé selon l'invention permet ainsi de créer une liste de connexions physiques qui peut notamment être utilisée pour faciliter le câblage et la configuration d'un cluster. Une telle liste peut également être utilisée pour vérifier le câblage et la configuration du cluster, la liste étant utilisée comme référence.
Selon un mode de réalisation particulier, le procédé comprend en outre une étape de détermination d'au moins un lien logique interne entre deux connecteurs d'au moins une desdites au moins deux armoires informatiques ainsi que, de préférence, une étape de duplication dudit au moins un lien logique interne associé à ladite au moins une desdites au moins deux armoires informatiques pour au moins une autre desdites au moins deux armoires informatiques, lesdites au moins une et au moins une autre armoires informatiques étant de même type. Le procédé selon l'invention est ainsi simple et rapide à mettre en œuvre. Il permet également de limiter le risque d'erreur liée à la configuration d'une armoire informatique en limitant les interactions nécessaires d'un utilisateur.
Ladite étape de duplication comprend avantageusement une étape d'attribution d'un identifiant auxdites au moins une et au moins une autre armoires informatiques de telle sorte qu'il soit possible de les identifier dans la configuration du cluster.
Selon un mode de réalisation particulier, le procédé comprend en outre une étape de configuration initiale d'au moins une desdites au moins deux armoires. Une telle configuration peut alors être dupliquée afin de simplifier et d'accélérer la configuration d'un cluster tout en limitant les risques d'erreur liée à la configuration d'une armoire informatique.
Avantageusement, le procédé comprend en outre une étape de vérification d'au moins un lien logique de ladite liste d'interconnexions logiques.
Selon un mode de réalisation particulier, le procédé comprend en outre une étape de détermination d'au moins une règle de routage, ladite au moins une règle de routage étant utilisée pour déterminer ledit chemin de câble. Le procédé comprend en outre, de préférence, une étape d'évaluation de la longueur dudit chemin de câble, ladite longueur dudit chemin de câble étant déterminée selon la nature du câble associé audit chemin de câble. Il est ainsi possible de préparer l'installation d'un cluster afin de réduire son temps d'installation.
Toujours selon un mode de réalisation particulier, le procédé comprend en outre une étape de création d'un ensemble de données pour générer au moins deux étiquettes, chacune desdites au moins deux étiquettes étant destinée à un bout du câble associé audit chemin de câble, chacune desdites au moins deux étiquettes comprenant des informations relatives à la position d'un connecteur auquel doit être connecté ledit câble. Le procédé selon l'invention permet ainsi de faciliter l'installation d'un cluster en identifiant des câbles et des connecteurs. Le procédé selon l'invention facilite en outre la détection d'erreur de configuration d'un cluster et sa maintenance.
Toujours selon un mode de réalisation particulier, le procédé comprend en outre une étape de duplication de liens logiques propres auxdites au moins deux armoires informatiques, formant un premier ensemble d'armoires informatiques, pour au moins un deuxième ensemble d'armoires informatiques, lesdits premier et au moins un second ensembles d'armoires informatiques étant de même type. Il est ainsi possible de configurer un cluster selon différents niveaux de granularité, notamment par îlots.
L'invention a également pour objet un programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé décrit précédemment lorsque ledit programme est exécuté sur un ordinateur. Les avantages procurés par ce programme d'ordinateur sont similaires à ceux évoqués précédemment.
D'autres avantages, buts et caractéristiques de la présente invention ressortent de la description détaillée qui suit, faite à titre d'exemple non limitatif, au regard des dessins annexés dans lesquels :
- la figure 1 illustre un exemple de topologie d'un cluster ; - la figure 2 illustre certaines étapes d'une phase de définition d'une liste d'interconnexions logiques ;
- la figure 3 illustre certaines étapes d'une phase de génération d'une liste d'interconnexions physiques permettant notamment la génération d'étiquettes de câblage ;
- la figure 4 représente un exemple de schéma d'implantation d'une partie d'un cluster ;
- la figure 5, comprenant les figures 5a, 5b et 5c, illustre schématiquement le câblage externe, via un faux-plancher, d'une armoire informatique, vue de face, de côté et de derrière, respectivement ;
- la figure 6, comprenant les figures 6a et 6b, illustre un exemple de deux étiquettes d'un même câble reliant deux connecteurs dans un cluster ; et,
- la figure 7 illustre un exemple d'architecture matérielle adaptée à mettre en œuvre certaines étapes de l'invention.
De façon générale, l'invention vise à définir un schéma logique de câblage d'un cluster qui est utilisé, en fonction de contraintes physiques, pour déterminer un schéma physique théorique de câblage du cluster. Ce schéma physique théorique de câblage permet lui-même de déterminer le nombre de câbles nécessaires, la longueur de ces câbles, leur emplacement et de les étiqueter. Avec ces informations, un technicien, même non qualifié, peut effectuer efficacement le câblage d'un cluster. En outre, la connaissance du câblage physique théorique d'un cluster permet d'effectuer des tests qui peuvent être utilisés pour déterminer une incohérence entre le câblage physique théorique d'un cluster et son câblage physique réel.
Les schémas de câblage logique et physique peuvent alors être utilisés pour créer une base de données, appelée Cluster DB, qui est généralement fournie à l'utilisateur du cluster (client) et qui contient les informations nécessaires aux outils de gestion du cluster. La Cluster DB est au cœur de l'administration du HPC.
Une première phase du procédé selon l'invention vise donc à définir une liste des interconnexions logiques, aussi appelée netlist logique.
Selon un mode de réalisation particulier, le schéma logique du cluster est créé de façon itérative par duplication de schémas élémentaires selon une architecture pyramidale du cluster. Il est ainsi considéré qu'un cluster est formé de plusieurs îlots, chaque îlot étant formé de plusieurs armoires informatiques (ou racks), chaque armoire informatique comprenant plusieurs emplacements, aussi appelés tiroirs, adaptés à recevoir des dispositifs élémentaires du cluster tels que des nœuds, des baies de stockage, des switches ou des circuits d'alimentation électrique. Les connecteurs sont ici placés sur les dispositifs élémentaires insérés dans les tiroirs. Cependant, pour un cluster donné, chaque tiroir est associé à un dispositif élémentaire particulier. Il est donc possible de définir une configuration de connecteurs pour une armoire informatique donnée selon les types de dispositifs élémentaires qui lui sont associés.
Ainsi, de façon simplifiée, le schéma de câblage logique d'une armoire informatique est réalisé pour définir, notamment, les connexions entre les tiroirs de cette armoire informatique (câblage interne ou intra armoire). Le schéma de câblage logique de l'armoire informatique est alors dupliqué pour créer tous les schémas de câblage logique des armoires informatiques d'un îlot qui peut alors être câblé (câblage externe ou intra îlot). De même, le schéma de câblage logique d'un îlot est dupliqué pour créer tous les schémas de câblage logique des îlots d'un cluster peut alors être câblé (câblage inter îlots).
Il est observé que si le câblage logique d'une armoire informatique est le même pour toutes, il n'est nécessaire de le définir qu'une fois. Il en est de même du câblage logique des îlots. Cependant, en réalité, il peut exister des armoires informatiques différentes pour accueillir des dispositifs de différentes natures et, donc, il peut s'avérer nécessaire de définir des câblages logiques différents pour des armoires informatiques de types différents. Il en est de même du câblage logique des îlots. Par conséquent, il peut être nécessaire de définir un câblage logique pour chaque type d'armoire informatique et d'îlot.
Chaque tiroir, chaque armoire informatique et chaque îlot est, de préférence, identifié par un type. Ces types sont associés les uns aux autres pour définir les types de tiroirs de types d'armoires informatiques et définir les types d'armoires informatiques des types d'îlots. En outre, des caractéristiques peuvent être associées à chaque type. De telles caractéristiques peuvent notamment comprendre un nombre d'entrées/sorties. Ces informations peuvent être saisies avant l'établissement du schéma de câblage logique ou au cours de celui-ci. Un identifiant est également associé à chaque tiroir, chaque armoire informatique et chaque îlot. Cependant, ces identifiants sont de préférence créés dynamiquement durant la phase de création des interconnexions logiques comme décrit ci-après.
La figure 2 illustre schématiquement certaines étapes de cette première phase. Dans un souci de clarté, l'exemple illustré en référence à cette figure est limité au câblage interne et au câblage externe, sans notion d'îlots. Cependant, la gestion des îlots est similaire à la gestion des armoires informatiques, elle ajoute une itération supplémentaire à l'algorithme de création de la liste des interconnexions logiques. De façon similaire, il est possible de créer des ensembles d'îlots et ainsi de suite.
Cette première phase peut être réalisée à l'aide d'un logiciel tel qu'un tableur permettant de travailler sur des feuilles de calcul assemblées sous forme de classeurs, chaque feuille étant accessible par un mécanisme d'onglet. Une première étape (étape 200) a ici pour objet la saisie de caractéristiques des éléments du cluster dont le schéma logique doit être établi. Cette étape peut notamment consister à créer un onglet pour chaque type d'armoire informatique. Chaque onglet comprend la liste de tous les dispositifs élémentaires devant être placés dans les tiroirs de l'armoire informatique correspondante, organisés, par exemple, par ligne. Chaque ligne correspond donc à un dispositif du type d'armoire informatique visé par l'onglet. Chaque ligne peut alors comprendre des informations sur le type de dispositif et sa position dans l'armoire informatique.
II est noté ici que le type de dispositif peut être utilisé pour retrouver ses caractéristiques, notamment le nombre et la position de ses connecteurs. Ces informations sont, de préférence, disponibles dans un onglet du tableur utilisé, dans une autre feuille de calcul ou dans un fichier accessible par le tableur.
Si la configuration du cluster utilise un groupement d'armoires informatiques par îlots, il est créé, de préférence, un onglet par type d'îlot, chaque onglet comprenant la liste des armoires informatiques, par type, mises en œuvre dans l'îlot correspondant. Chaque ligne correspond à une armoire informatique mise en œuvre dans l'îlot et comprend des informations relatives à celle-ci.
Dans une étape suivante (étape 205), un récapitulatif des types d'armoire informatique est créé pour chaque type d'armoire informatique. Il s'agit par exemple d'un onglet vierge, à remplir, associé à chaque type d'armoire informatique mis en œuvre dans le cluster.
Une étape de préchargement des récapitulatifs préalablement créés est alors exécutée (étape 210). Cette étape a pour objet de remplir les récapitulatifs grâce à une mise en corrélation d'informations contenues dans l'onglet récapitulatif et d'informations décrivant les connecteurs des différents dispositifs élémentaires. Cette étape permet de créer la structure de la netlist logique et d'obtenir une partie de ses données.
Ainsi, le préchargement permet d'obtenir, pour chaque type d'armoire informatique, la liste de l'ensemble des connecteurs. Cette liste dérive directement de la liste des dispositifs mis en œuvre dans chaque type d'armoire informatique et de la liste des connecteurs de chaque dispositif. Chaque ligne de ce récapitulatif vise un connecteur particulier du type d'armoire informatique.
De façon avantageuse, la structure de la netlist comprend une première partie, par exemple des colonnes de gauche, visant les caractéristiques d'un connecteur, notamment sa position et son type, et une seconde partie, par exemple des colonnes de droite, visant les caractéristiques du connecteur auquel le connecteur défini doit être connecté. Si un connecteur n'est pas connecté, il est indiqué comme tel.
Chaque connecteur est, de préférence, identifié par une position au sein d'un tiroir et une position de tiroir au sein d'une armoire informatique.
Après le préchargement, seule la partie visant les caractéristiques d'un connecteur est remplie (le connecteur n'est pas encore connecté). Tous les états sont mis à une première valeur indiquant que le connecteur n'est pas connecté.
Les récapitulatifs peuvent alors être vérifiés et/ou modifiés par un utilisateur selon des caractéristiques spécifiques du cluster considéré (étape 215). En particulier, des connecteurs non utilisés peuvent être supprimés des récapitulatifs s'ils ne sont pas utilisés.
Dans une étape suivante (étape 220), le câblage interne de chaque type d'armoire informatique est réalisé. Cette étape peut être réalisée par un utilisateur ou de façon automatique ou semi-automatique selon des règles de connexion prédéterminées.
Selon un mode de réalisation particulier, un utilisateur sélectionne un connecteur devant être connecté, c'est-à-dire un connecteur « origine » (connecteur « from »). Suite à cette sélection, une liste de connecteurs auquel ce connecteur peut être connecté est présentée à l'utilisateur qui peut ainsi sélectionner le connecteur « destination » (connecteur « to »). Après la sélection d'un connecteur destination, le récapitulatif du type d'armoire informatique en cours de câblage est mis à jour.
A ces fins, la ligne correspondant au connecteur origine est complétée avec des informations relatives au connecteur destination, notamment sa position (position au sein du tiroir et position du tiroir). L'état associé au connecteur origine est modifié pour indiquer que celui-ci est connecté à un autre. De même, la ligne correspond au connecteur destination est complétée avec des informations relatives au connecteur origine, notamment sa position (position au sein du tiroir et position du tiroir). L'état associé au connecteur destination est également modifié pour indiquer que celui-ci est connecté à un autre. Chaque paire de connecteurs définit ainsi un lien logique
De façon avantageuse, les connecteurs sont organisés de façon hiérarchique et/ou ordonnée, par exemple par type (commutateur, alimentation, etc.), pour permettre une sélection plus rapide.
En outre, il est possible, de préférence, de connecter des connecteurs par groupes. Par exemple, il peut être possible de sélectionner, dans une liste de connecteurs origine, un connecteur et les n suivants dans la liste de sélection pour les connecter, respectivement, à un connecteur sélectionné, dans une liste de connecteurs destination, et aux n suivants.
Comme illustré par la flèche de retour, cette étape est ici effectuée pour chaque type d'armoire informatique préalablement défini. Ainsi, à la fin de cette étape toutes les connexions internes de tous les types d'armoires informatiques sont effectuées.
Dans une étape suivante (étape 225), un contrôle des doublons est effectué pour vérifier, en particulier, qu'un connecteur n'est connecté qu'à un seul autre connecteur et que si un connecteur origine est connecté à un connecteur destination, le connecteur destination est bien connecté au connecteur origine. Si un problème est détecté, il est signalé pour permettre, le cas échéant, sa correction.
Une table est alors créée pour définir toutes les armoires informatiques mises en œuvre dans le cluster et identifier leur type (étape 230). Le nombre d'armoires informatiques du cluster, par type, peut être défini dans un fichier de configuration ou saisi par un utilisateur.
A partir de cette table, la netlist logique est complétée (étape 235). A ces fins, les récapitulatifs préalablement créés par type d'armoire informatique sont instanciés, pour chaque armoire informatique du cluster, en fonction de son type. Durant cette instanciation, des identifiants de connecteurs, de tiroirs et d'armoires informatiques (et d'îlots, le cas échéant) sont créés de façon incrémentale de telle sorte que chaque identifiant de connecteurs, de tiroirs et d'armoires informatiques soit unique. Selon un mode de réalisation particulier, un identifiant de connecteur est composé d'un identifiant de connecteur au sein d'un tiroir, d'un identifiant de tiroir au sein d'une armoire informatique et d'un identifiant d'armoire informatique au sein du cluster. De même, un identifiant de tiroir est composé d'un identifiant de tiroir au sein d'une armoire informatique et d'un identifiant d'armoire informatique au sein du cluster.
La netlist logique regroupe tous les connecteurs de tous les tiroirs de toutes les armoires informatiques, c'est-à-dire tous les connecteurs du cluster. Le nombre de connecteurs peut ainsi atteindre plusieurs dizaines de milliers dans des configurations actuelles de cluster.
La netlist logique est alors utilisée pour effectuer le câblage externe
(étape 240), c'est-à-dire le câblage entre connecteurs appartenant à des armoires informatiques différentes. Un tel câblage est réalisé de façon similaire au câblage interne par sélection d'un connecteur origine et d'un connecteur destination. De façon similaire, la netlist logique est mise à jour. La ligne correspondant au connecteur origine est complétée avec des informations relatives au connecteur destination, notamment sa position (position au sein du tiroir, position du tiroir et identifiant de l'armoire informatique à laquelle il appartient). L'état associé au connecteur origine est modifié pour indiquer que celui-ci est connecté à un autre. De même, la ligne correspondant au connecteur destination est complétée avec des informations relatives au connecteur origine, notamment sa position (position au sein du tiroir, position du tiroir et identifiant de l'armoire informatique à laquelle il appartient). L'état associé au connecteur destination est modifié pour indiquer que celui-ci est connecté à un autre.
Lorsque les connexions externes ont été établies, un contrôle des doublons est à nouveau effectué (étape 245) pour vérifier, en particulier, qu'un connecteur n'est connecté qu'à un seul autre connecteur et que si un connecteur origine est connecté à un connecteur destination, le connecteur destination est bien connecté au connecteur origine. A nouveau, si un problème est détecté, il est signalé pour permettre, le cas échéant, sa correction.
La netlist logique est alors créée. Il s'agit donc ici d'un tableau associé au cluster dans lequel chaque ligne est associée à un connecteur. Chaque ligne comprend des informations relatives à l'identification du connecteur auquel elle est liée, des informations relatives au connecteur auquel il est connecté ainsi que des informations relatives au type de connexion et aux dispositifs connectés via ce connecteur.
II est observé que, selon le mode de réalisation décrit précédemment, la netlist logique comprend deux fois plus de liens logiques que de connexions, chaque connecteur étant considéré individuellement. En d'autres termes, pour une connexion, il existe un premier lien logique reliant un connecteur (origine) a à un connecteur (destination) b et un second lien logique reliant le connecteur (origine) b au connecteur (destination) a.
Une seconde phase du procédé selon l'invention vise alors à caractériser chaque lien logique de la netlist logique selon des considérations physiques afin de créer une netlist physique et déterminer, en particulier, l'emplacement et la longueur de chaque câble devant être utilisé.
La figure 3 illustre certaines étapes d'une phase de génération de la netlist physique.
Une première étape (300) a pour objet l'identification des caractéristiques des éléments du cluster. Elle est ici basée sur la netlist logique dans laquelle figurent ces éléments et leur type et sur des données de description de ces éléments selon leur type. L'ensemble de ces informations, référencées ici 305, permet, en particulier, de définir les caractéristiques physiques telles que des dimensions, la masse et la puissance électrique consommée, pour chaque élément.
De façon séquentielle ou parallèle, la configuration d'implantation, préalablement définie de façon manuelle ou semi-automatique, par exemple à partir de règles de positionnement telles que des règles de positionnement relatif d'armoires informatiques selon leur type, est obtenue (étape 310). Elle définie l'implantation de l'ensemble des armoires informatiques dans une ou plusieurs salles informatiques.
Selon un mode de réalisation particulier, un utilisateur défini un espace d'implantation, typiquement une plateforme client, et lui associe un repère tridimensionnel. La position et l'orientation des armoires informatiques dans l'espace d'implantation sont alors saisies selon le repère utilisé. De façon avantageuse, un point de référence est défini pour chaque type d'armoire informatique.
Il est rappelé ici que la position des tiroirs au sein d'une armoire informatique est, de préférence, déterminée lors de la création de la netlist logique comme décrit précédemment. Ainsi, connaissant les emplacements des armoires informatiques et leurs caractéristiques, il est possible de localiser géométriquement tous les connecteurs.
L'étape de configuration de l'implantation a aussi pour objet de définir les emplacements de passage de câbles, aussi appelés goulottes, toujours selon le repère utilisé, ainsi que des informations relatives aux chemins des câbles par exemple des chemins dans le plafond ou sous un faux-plancher.
Toutes ces informations de configuration d'implantation peuvent être entrées directement par l'utilisateur ou être obtenues à partir de fichiers.
Dans une étape suivante (étape 315), des règles de routage sont déterminées. Elles peuvent être déterminées par un utilisateur ou obtenues à partir de fichiers.
Ces règles visent notamment à déterminer des contraintes de passage de câbles. A titre d'illustration, elles peuvent ainsi préciser le nombre autorisé de câbles par passage de câbles, par type de câbles, ainsi qu'un chemin de câblage au regard d'une armoire informatique, selon un type d'armoire et/ou un type de câble.
Le routage peut alors être effectué (étape 320) en fonction des connexions entre les connecteurs telles que définies dans la netlist logique, l'emplacement de ces connecteurs tel que défini par le schéma d'implantation et les règles de routages déterminées. Le routage est, de préférence, un routage de type Manhattan selon lequel les angles entre les chemins sont des multiples de 45°. L'algorithme utilisé est ici un algorithme standard de routage cependant, une partie du routage peut être déterminée manuellement, notamment aux fins d'optimisation. Il permet d'obtenir, pour chaque lien logique de la netiist logique, le chemin du câble correspondant.
Dans une étape suivante, la netiist physique est créée (étape 325).
Elle comprend ici une liste de toutes les paires de connecteurs définies dans la netiist logique, c'est-à-dire de tous les liens logiques, chaque connecteur étant notamment défini par rapport à un tiroir et une armoire informatique ainsi que des positions de tiroir et d'armoire informatique, le chemin du câble correspondant ainsi que des informations caractéristiques de la connexion, par exemple la longueur théorique du câble de connexion. Cette dernière est calculée selon le chemin du câble correspondant en tenant compte, pour chaque changement d'orientation, d'un angle de courbure lié à la nature du câble. Une référence est, de préférence, associée à chaque paire de connecteurs. Cependant, une même référence est ici utilisée pour deux liens logiques formant une seule connexion entre deux connecteurs.
Le calcul de la longueur des câbles est ici effectué selon l'emplacement des armoires informatiques, l'emplacement des passages possibles de câbles (en particulier au plafond ou au sol), l'emplacement des dispositifs au sein des armoires (notamment sur l'avant, sur l'arrière, en tête bêche), l'emplacement des connecteurs sur les dispositifs (par exemple sur l'avant, l'arrière ou à l'intérieur du dispositif), la position des connecteurs par rapport à leur emplacement (à gauche, à droite, en haut, en bas, en haut à gauche, en bas à gauche, etc.), le chemin des câbles et le type du câble (par exemple fibre optique ou Ethernet).
A nouveau, il est noté que les paires de connecteurs sont ici des paires orientées, c'est-à-dire que la paire (a, b) est différente de la paire (b, a), où a et b sont des identifiants de connecteurs, bien que ces deux couples formant deux liens logiques correspondent à une seule connexion. Par conséquent, chaque connexion physique est représentée deux fois dans la netiist physique. Cependant, un tel mode de réalisation présente l'avantage de permettre des vérifications en vérifiant qu'à chaque connexion d'un connecteur a vers un connecteur b, il existe une connexion du connecteur b vers le connecteur a. Elle permet également de générer simplement et directement des étiquettes pour chaque bout de câble de connexion, c'est-à-dire une étiquette pour un bout de câble reliant le connecteur a au connecteur b et une étiquette pour l'autre bout du même câble reliant le connecteur b au connecteur a.
Durant cette étape, une synthèse de routage est générée. Elle permet notamment d'extraire de la netlist physique un fichier d'étiquettes et de définir une liste de chaque câble devant être commandée selon son type et sa longueur (comparée aux longueurs normalisées existantes de câbles). Elle permet aussi de définir des caractéristiques globales du cluster, par exemple, son poids, l'ampérage nécessaire et la puissance consommée.
La synthèse de routage permet également de créer des schémas d'implantation sur lesquels figure le câblage, par type de câbles, référence de câble, référence d'armoire informatique, etc..
La figure 4 représente un exemple de schéma d'implantation 400 d'une partie d'un cluster. Il comprend un repère 405 à trois dimensions (O, x, y, z) et une partie des armoires informatiques génériquement référencée 410, formant le cluster, vues de dessus. Les armoires informatiques sont ici disposées en rangées, formant des allées. De façon avantageuse, toutes les armoires informatiques d'une rangée sont disposées de telle sorte que l'air utilisé pour refroidir les éléments de ces armoires informatiques est pris dans une allée, appelée allée froide, par exemple l'allée 415, et rejeté dans une autre allée, appelée allée chaude, par exemple l'allée 420.
Chaque armoire informatique comprend un volume disposé verticalement permettant le passage de câbles entre plusieurs tiroirs ainsi qu'entre des tiroirs et des dispositifs externes, via le sol ou le plafond. A titre d'illustration, l'armoire informatique 410 comprend un tel volume dont la section dans un plan horizontal est ici représentée par la référence 425.
Par ailleurs, chaque armoire informatique comprend un point de référence permettant de définir une position. Ainsi, l'armoire informatique 410 comprend le point de référence 430 dont les coordonnées sont (x0, y0, z0). Connaissant la position d'une armoire informatique dans le repère (O, x, y, z) ainsi que la position relative des connecteurs dans cette armoire (définie selon les caractéristiques techniques du tiroir considéré, sa position dans l'armoire et les caractéristiques techniques de l'armoire), il est possible de déterminer la position de chaque connecteur de cette armoire informatique dans le repère (O, x, y, z) utilisé. La position des passages de câbles et des autres éléments du cluster peut être déterminée de façon similaire.
La figure 5, comprenant les figures 5a, 5b et 5c, illustre schématiquement le câblage externe, via un faux-plancher, d'une armoire informatique 500, vue de face, de côté et de derrière, respectivement.
L'armoire 500 comprend ici une baie 505 adaptée à recevoir des modules génériquement référencés 510. Comme illustré sur les figures 5a et 5b, les connecteurs de ces modules sont placés sur leur face avant. Ainsi, les câbles 515 branchés à ces modules sont reliés à la face avant, passent sur le dessus de la baie 505 et descendent derrière celle-ci pour rejoindre d'autres armoires informatiques via une ouverture 520 réalisée dans le faux-plancher 525, comme représenté sur la figure 5b.
L'armoire informatique 500 comprend également des dispositifs génériquement référencés 530 dont les connecteurs sont situés sur leur face arrière, comme illustré sur les figures 5b et 5c. Les câbles 535 reliés à ces connecteurs descendent directement de ces connecteurs vers une ouverture 540 du faux-plancher 525.
Il est observé que, dans un souci de clarté, les câbles connectés sur la face arrière de l'armoire informatique 500 ne sont pas représentés sur la vue de face (figure 5a) et que les câbles connectés sur la face avant de l'armoire informatique 500 ne sont pas représentés sur la vue de derrière (figure 5c). De même, les connexions internes ne sont pas représentées.
Il est également noté que si les câbles descendent ici dans le plan vertical des connecteurs, il est possible de les faire descendre de façon différente, par exemple le long des parois de l'armoire informatique 500. Enfin, alors que l'armoire informatique illustre un exemple particulier de configuration, il existe de nombreuses autres configurations. La figure 6, comprenant les figures 6a et 6b, illustre un exemple de deux étiquettes d'un même câble reliant deux connecteurs dans un cluster. L'étiquette représentée sur la figure 6a est destinée à être placée à un bout d'un câble de connexion de ces connecteurs tandis que l'étiquette représentée sur la figure 6b est destinée à être placée à l'autre bout.
Comme représentée, chaque étiquette 600-1 et 600-2 comprend une référence à un connecteur origine (références 605-1 et 605-2) ainsi qu'une référence à un connecteur destination (références 610-1 et 610-2). Ces références comprennent ici les coordonnées du connecteur concerné dans le repère utilisé (K.7.ZL et K.11.ZH où K représente des abscisses, 7 et 11 représentent des ordonnées et ZL et ZH représentent des hauteurs), la nature du tiroir comprenant le connecteur (ETH SWITCH.O et COMPUTE.40) ainsi que la position du connecteur au sein du tiroir (port.41 et Prim/LAN 1). Il est observé que les références du connecteur origine d'une étiquette correspondent aux références du connecteur destination de l'autre étiquette et réciproquement.
Chaque étiquette comprend en outre une référence de câble (références 615-1 et 615-2), un numéro de lien (références 620-1 et 620-2) ainsi qu'une indication relative au côté par lequel descend le câble, vu face au connecteur (références 625-1 et 625-2).
Ainsi, cette seconde phase permet de fournir un plan d'implantation des armoires informatiques, un plan des emplacements des passages de câbles, un plan d'implantation des dispositifs dans les armoires informatiques, un plan des connecteurs, un plan des chemins des câbles, un plan de routage des câbles, une synthèse de routage, une liste des interconnexions physiques comprenant une liste de câbles, leur longueur et leur type, ainsi que des étiquettes pour les câbles (par exemple sous forme de fichiers standards).
La figure 7 illustre un exemple d'architecture matérielle, par exemple un serveur ou un ordinateur, adaptée à mettre en uvre certaines étapes de l'invention, par exemple par l'intermédiaire d'un tableur. Le dispositif 700 comporte ici un bus de communication 705 auquel sont reliées : - une ou plusieurs unités centrales de traitement ou microprocesseurs 710 (CPU, sigle de Central Processing Unit en terminologie anglo-saxonne) ;
- une mémoire morte 715 (ROM, acronyme de Read Only Memory en terminologie anglo-saxonne) pouvant comporter des programmes (prog, progl et prog2) nécessaires à la mise en œuvre de l'invention ;
- une mémoire vive ou mémoire cache 720 (RAM, acronyme de Random Access Memory en terminologie anglo-saxonne) comportant des registres adaptés à enregistrer des variables et paramètres créés et modifiés au cours de l'exécution des programmes précités ; et
- une interface de communication 750 adaptée à transmettre et à recevoir des données.
Le dispositif 700 dispose également, de préférence, des éléments suivants :
- une ou plusieurs unités d'affichage 725 permettant de visualiser des données et pouvant servir d'interface graphique avec un utilisateur qui pourra interagir avec des programmes selon l'invention, à l'aide d'un clavier et d'une souris 730 ou d'un autre dispositif de pointage tel qu'un écran tactile ou une télécommande ;
- d'un disque dur 735 pouvant comporter les programmes précités ainsi que des informations traitées ou à traiter selon l'invention ; et
- d'un lecteur de cartes mémoires 740 adapté à recevoir une carte mémoire 745 et à y lire ou à y écrire des données traitées ou à traiter selon l'invention.
Le bus de communication permet la communication et l'interopérabilité entre les différents éléments inclus dans le dispositif 700 ou reliés à lui. La représentation du bus n'est pas limitative et, notamment, l'unité centrale est susceptible de communiquer des instructions à tout élément du dispositif 700 directement ou par l'intermédiaire d'un autre élément du dispositif 700. Le code exécutable de chaque programme permettant au dispositif programmable de mettre en œuvre les processus selon l'invention, peut être stocké, par exemple, dans le disque dur 735 ou en mémoire morte 7 5.
Selon une variante, la carte mémoire 745 peut contenir des informations, notamment des informations à traiter selon l'invention, ainsi que le code exécutable des programmes précités qui, une fois lu par le dispositif 700, est stocké dans le disque dur 735.
Selon une autre variante, le code exécutable des programmes et les informations à traiter selon l'invention pourront être reçus, au moins partiellement, par l'intermédiaire de l'interface 750, pour être stocké de façon identique à celle décrite précédemment.
De manière plus générale, le ou les programmes ainsi que les informations à traiter selon l'invention pourront être chargés dans un des moyens de stockage du dispositif 700 avant d'être exécutés.
L'unité centrale 710 va commander et diriger l'exécution des instructions ou portions de code logiciel du ou des programmes selon l'invention, instructions qui sont stockées dans le disque dur 735 ou dans la mémoire morte 715 ou bien dans les autres éléments de stockage précités. Lors de la mise sous tension, le ou les programmes qui sont stockés dans une mémoire non volatile, par exemple le disque dur 735 ou la mémoire morte 715, sont transférés dans la mémoire vive 720 qui contient alors le code exécutable du ou des programmes selon l'invention, ainsi que des registres pour mémoriser les variables et paramètres nécessaires à la mise en œuvre de l'invention.
Naturellement, pour satisfaire des besoins spécifiques, une personne compétente dans le domaine de l'invention pourra appliquer des modifications dans la description précédente.

Claims

REVENDICATIONS
1 . Procédé pour ordinateur de gestion de câblage dans un cluster comprenant au moins deux armoires informatiques, chaque armoire informatique comprenant au moins un dispositif élémentaire, chaque dispositif élémentaire comprenant au moins un connecteur, ce procédé étant caractérisé en ce qu'il comprend les étapes suivantes,
- détermination (240) d'au moins un lien logique externe entre au moins deux connecteurs dudit cluster, chacun desdits au moins deux connecteurs appartenant à une armoire informatique différente, et génération d'une liste d'interconnexions logiques comprenant ledit au moins un lien logique externe ;
- identification (310) des emplacements desdits au moins deux connecteurs ; et,
- détermination (320) d'un chemin de câble reliant lesdits au moins deux connecteurs selon ladite liste d'interconnexions logiques et création d'une liste d'interconnexions physiques comprenant au moins ledit chemin de câble.
2. Procédé selon la revendication 1 comprenant en outre une étape de détermination (220) d'au moins un lien logique interne entre deux connecteurs d'au moins une desdites au moins deux armoires informatiques.
3. Procédé selon la revendication 2 comprenant en outre une étape de duplication (235) dudit au moins un lien logique interne associé à ladite au moins une desdites au moins deux armoires informatiques pour au moins une autre desdites au moins deux armoires informatiques, lesdites au moins une et au moins une autre armoires informatiques étant de même type.
4. Procédé selon la revendication 3 selon lequel ladite étape de duplication comprend une étape d'attribution d'un identifiant auxdites au moins une et au moins une autre armoires informatiques.
5. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape de configuration initiale d'au moins une desdites au moins deux armoires.
6. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape de vérification (225, 245) d'au moins un lien logique de ladite liste d'interconnexions logiques.
7. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape de détermination (315) d'au moins une règle de routage, ladite au moins une règle de routage étant utilisée pour déterminer ledit chemin de câble.
8. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape d'évaluation de la longueur dudit chemin de câble, ladite longueur dudit chemin de câble étant déterminée selon la nature du câble associé audit chemin de câble.
9. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape de création d'un ensemble de données pour générer au moins deux étiquettes, chacune desdites au moins deux étiquettes étant destinée à un bout du câble associé audit chemin de câble, chacune desdites au moins deux étiquettes comprenant des informations relatives à la position d'un connecteur auquel doit être connecté ledit câble.
10. Procédé selon l'une quelconque des revendications précédentes comprenant en outre une étape de duplication de liens logiques propres auxdites au moins deux armoires informatiques, formant un premier ensemble d'armoires informatiques, pour au moins un deuxième ensemble d'armoires informatiques, lesdits premier et au moins un second ensembles d'armoires informatiques étant de même type.
1 1 . Programme d'ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé selon l'une quelconque des revendications précédentes lorsque ledit programme est exécuté sur un ordinateur.
PCT/FR2012/050659 2011-04-05 2012-03-28 Procédé et dispositif de gestion de câblage dans un cluster WO2012136916A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/110,413 US10146889B2 (en) 2011-04-05 2012-03-28 Method and device for managing cabling in a cluster
EP12717405.0A EP2695093A1 (fr) 2011-04-05 2012-03-28 Procédé et dispositif de gestion de câblage dans un cluster

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1152924 2011-04-05
FR1152924A FR2973903B1 (fr) 2011-04-05 2011-04-05 Procede et dispositif de gestion de cablage dans un cluster

Publications (1)

Publication Number Publication Date
WO2012136916A1 true WO2012136916A1 (fr) 2012-10-11

Family

ID=46017965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2012/050659 WO2012136916A1 (fr) 2011-04-05 2012-03-28 Procédé et dispositif de gestion de câblage dans un cluster

Country Status (4)

Country Link
US (1) US10146889B2 (fr)
EP (1) EP2695093A1 (fr)
FR (1) FR2973903B1 (fr)
WO (1) WO2012136916A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194948B2 (en) * 2014-08-15 2021-12-07 EMC IP Holding Company LLC System, method, apparatus, and computer program product for generating a cabling plan for a computing system
US10063428B1 (en) * 2015-06-30 2018-08-28 Apstra, Inc. Selectable declarative requirement levels
CN109740789B (zh) * 2018-11-22 2023-07-25 平安科技（深圳）有限公司 布线管理方法、装置、设备和存储介质
CN109815301A (zh) * 2018-12-21 2019-05-28 平安科技（深圳）有限公司 线缆标签管理方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995729A (en) * 1994-07-22 1999-11-30 Hitachi, Ltd. Method and apparatus for aiding configurating management of a computer system
US20020113714A1 (en) * 2001-02-16 2002-08-22 Robert Lopez IP-addressable light-emitting diode
US20080314979A1 (en) * 2007-06-22 2008-12-25 Sun Microsystems, Inc. Cable management systems
US20090217103A1 (en) * 2008-02-26 2009-08-27 International Business Machines Corporation Logical to physical connectivity verification in a predefined networking environment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5021968A (en) * 1987-01-13 1991-06-04 Robertson-Ceco Corporation Graphics-based wire-cable management system
US5006842A (en) * 1987-04-13 1991-04-09 The Foxboro Company Identity insert block for electronic modules
JPS6488881A (en) * 1987-08-24 1989-04-03 Ibm Generation of assembling screen
US4939668A (en) * 1987-08-24 1990-07-03 International Business Machines Corp. System for designing intercommunications networks
US4870591A (en) * 1987-08-24 1989-09-26 International Business Machines Corp. System for ensuring device compatibility
US5704189A (en) * 1993-11-09 1998-01-06 Collier; William R. Methods and apparatus for installing conductor cables in rigid building structures
US5463838A (en) * 1993-11-09 1995-11-07 Collier; William R. Methods and apparatus for installing conductor cables in rigid building structures
EP0891021B1 (fr) * 1997-07-07 2005-11-23 J.S.T. Mfg. Co., Ltd. Appareil de traitement d'informations pour un faisceau de câbles
DE19935422A1 (de) * 1999-07-28 2001-02-01 Daimler Chrysler Ag Verfahren zur Erzeugung einer Leitungsstruktur mit wenigstens einem Kabelbündel
US6721414B1 (en) * 1999-08-17 2004-04-13 Nec America, Inc. Cable management system
US6784802B1 (en) * 1999-11-04 2004-08-31 Nordx/Cdt, Inc. Real time monitoring of cable patch panel
GB2393549B (en) * 2002-09-25 2006-05-31 Cormant Technologies Inc Cabling system
US6847856B1 (en) * 2003-08-29 2005-01-25 Lucent Technologies Inc. Method for determining juxtaposition of physical components with use of RFID tags
JP2005182245A (ja) * 2003-12-17 2005-07-07 Hitachi Ltd ディスクアレイ装置の接続支援方法
JP2007052495A (ja) * 2005-08-15 2007-03-01 Toshiba Corp ケーブル物量集計装置、ケーブル物量集計方法およびケーブル物量集計プログラム
US7558705B1 (en) * 2006-03-23 2009-07-07 Dassault Systemes Solidworks Corporation Connectivity controlled wire routing
US7996190B2 (en) * 2006-10-19 2011-08-09 International Business Machines Corporation Virtual cabling router
US8421626B2 (en) * 2006-10-31 2013-04-16 Corning Cable Systems, Llc Radio frequency identification transponder for communicating condition of a component
US9330230B2 (en) * 2007-04-19 2016-05-03 International Business Machines Corporation Validating a cabling topology in a distributed computing system
US7853832B2 (en) * 2007-10-10 2010-12-14 Alcatel Lucent System and method for tracing cable interconnections between multiple systems
WO2011013090A2 (fr) * 2009-07-29 2011-02-03 Zohar Avrahami Ensemble procédé-dispositif et système permettant de faciliter l’interconnexion de câbles de télécommunication
US9538262B2 (en) * 2009-08-21 2017-01-03 Commscope, Inc. Of North Carolina Systems, equipment and methods for automatically tracking cable connections and for identifying work area devices and related methods of operating communications networks
US8831920B2 (en) * 2010-12-15 2014-09-09 Fluor Technologies Corporation Automated cabling layout systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995729A (en) * 1994-07-22 1999-11-30 Hitachi, Ltd. Method and apparatus for aiding configurating management of a computer system
US20020113714A1 (en) * 2001-02-16 2002-08-22 Robert Lopez IP-addressable light-emitting diode
US20080314979A1 (en) * 2007-06-22 2008-12-25 Sun Microsystems, Inc. Cable management systems
US20090217103A1 (en) * 2008-02-26 2009-08-27 International Business Machines Corporation Logical to physical connectivity verification in a predefined networking environment

Also Published As

Publication number Publication date
US20140067339A1 (en) 2014-03-06
FR2973903B1 (fr) 2013-04-05
US10146889B2 (en) 2018-12-04
EP2695093A1 (fr) 2014-02-12
FR2973903A1 (fr) 2012-10-12

Similar Documents

Publication Publication Date Title
US10296303B2 (en) Visual programming system
EP2697936B1 (fr) Procédé et dispositif de traitement de commandes d'administration dans un cluster
ES2612328T3 (es) Métodos y sistemas para gestionar potencia y enfriamiento de una instalación
EP1387305B1 (fr) Procédé et systeme d'établissement automatique d'un modèle global de simulation d'une architecture
WO2012136916A1 (fr) Procédé et dispositif de gestion de câblage dans un cluster
FR3021144A1 (fr) Procede de gestion des equipements d'un centre de donnees
CN105608249A (zh) 精益产品建模的系统和方法
WO2013121154A1 (fr) Procede d'aide a la conception d'un centre de calcul
US20210286792A1 (en) Hashed balanced tree data structure
CN106155719A (zh) 一种利用USB装置实现openstack快速部署的方法及系统
Grisi-Filho et al. Scale-free networks with the same degree distribution: Different structural properties
US20200257944A1 (en) Cloning a computing environment
US8024163B2 (en) Method and apparatus for executing multiple simulations on a supercomputer
CN112333003A (zh) 一种获取专有云容器集群基因信息的方法及装置
KR20100083778A (ko) 저장 영역 네트워크 상호 동작 관계의 획득 및 확장
FR2995106A1 (fr) Procede et dispositif de traitement de commandes dans un ensemble d'elements informatiques
CN105335995A (zh) 一种多光源全局光照绘制方法及装置
FR3050848B1 (fr) Architecture de serveurs et methode de redistribution des donnees pour la distribution d'un graphe versionne.
US20210248494A1 (en) Systems and methods for networks of time series
Tan et al. Opencollbench-benchmarking of collision detection & proximity queries as a web-service
CN107305515A (zh) 计算机实现方法、计算机程序产品以及计算系统
Unruh Locality and quantum mechanics
US11855851B2 (en) Lazy graph construction with compression and a hybrid graph-relational model for representing a network topology
Zhang et al. Teeport: Break the Wall Between the Optimization Algorithms and Problems
CA2932342A1 (fr) Programme d'eclairage led

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12717405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14110413

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012717405

Country of ref document: EP