WO2020228667A1 - 信息可视化方法、装置、存储介质及处理器 - Google Patents

信息可视化方法、装置、存储介质及处理器 Download PDF

Info

Publication number
WO2020228667A1
WO2020228667A1 PCT/CN2020/089572 CN2020089572W WO2020228667A1 WO 2020228667 A1 WO2020228667 A1 WO 2020228667A1 CN 2020089572 W CN2020089572 W CN 2020089572W WO 2020228667 A1 WO2020228667 A1 WO 2020228667A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
code
version
learning code
data structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/089572
Other languages
English (en)
French (fr)
Inventor
薛研歆
张维
王海峰
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2020228667A1 publication Critical patent/WO2020228667A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Definitions

  • the present invention relates to the field of computers, in particular to an information visualization method, device, storage medium and processor.
  • the embodiments of the present invention provide an information visualization method, device, storage medium, and processor, so as to at least solve the technical problem that the development code of the deep learning model cannot be visually located.
  • an information visualization method including: acquiring deep learning code to be run, wherein the deep learning code is used to train a deep learning model; The running position of the deep learning code is located to obtain the positioning result, and the positioning result is visually displayed, wherein the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or, the depth Learn code for version control.
  • an information visualization device including: an acquisition unit for acquiring deep learning code to be run, wherein the deep learning code is used for training a deep learning model; and a positioning unit , Used to locate the running position of the deep learning code according to the set execution unit to obtain the positioning result, and visually display the positioning result, wherein the positioning result is used to assist in confirming the deep learning model And/or, version control of the deep learning code.
  • a storage medium includes a stored program, wherein when the program is running, the device where the storage medium is located is controlled to execute the information visualization method described above .
  • a processor configured to run a program, wherein the information visualization method described above is executed when the program is running.
  • the deep learning code to be run is acquired, and then the running position of the deep learning code is located according to the set execution unit, the positioning result of the deep learning code can be obtained, and the deep learning model can be assisted by the positioning result.
  • the potential defects of the deep learning code and the version control of the deep learning code By visually displaying the positioning results, it is convenient for users to adjust the deep learning code according to the visual positioning results, thereby achieving the technical effect of visual positioning of the deep learning code, and then Solved the technical problem of the inability to visually locate the development code of the deep learning model.
  • Figure 1 is a block diagram of the hardware structure of a computer terminal used to implement an information visualization method
  • Fig. 2 is a flowchart of an information visualization method according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of locating the running position of deep learning code according to an embodiment of the present invention.
  • Fig. 4 is a schematic diagram of version control of deep learning code according to an embodiment of the present invention.
  • Figure 5 is a schematic diagram of an information visualization device according to an embodiment of the present invention.
  • Fig. 6 is a structural block diagram of a computer terminal according to an embodiment of the present invention.
  • Deep learning forms a more abstract high-level representation attribute category or feature by combining low-level features to discover distributed feature representations of data. For example, a multi-layer perceptron with multiple hidden layers is a deep learning structure.
  • an embodiment of an information visualization method is also provided. It should be noted that the steps shown in the flowchart of the accompanying drawings can be executed in a computer system such as a set of computer-executable instructions, and although The logical sequence is shown in the flowchart, but in some cases, the steps shown or described may be performed in a different order than here.
  • Fig. 1 shows a block diagram of the hardware structure of a computer terminal (or mobile device) for implementing an information visualization method. As shown in FIG.
  • the computer terminal 10 may include one or more (shown as 102a, 102b, ..., 102n in the figure) processor 102 (the processor 102 may include, but is not limited to, a micro A processor MCU or a programmable logic device FPGA, etc.), a memory 104 for storing data, and a transmission device 106 for communication functions, wherein the transmission device 106 includes: an input/output interface (I/O interface) ,Network Interface. In addition, it may also include: display, BUS bus, power supply and/or camera.
  • the structure shown in FIG. 1 is only for illustration, and does not limit the structure of the above electronic device.
  • the computer terminal 10 may also include more or fewer components than those shown in FIG. 1, or have a different configuration from that shown in FIG.
  • the aforementioned one or more processors 102 and/or other data processing circuits may generally be referred to as "data processing circuits" herein.
  • the data processing circuit can be embodied in whole or in part as software, hardware, firmware or any other combination.
  • the data processing circuit may be a single independent processing module, or be fully or partially integrated into any one of the other components in the computer terminal 10 (or mobile device).
  • the data processing circuit is used as a kind of processor control (for example, selection of a variable resistance terminal path connected to an interface).
  • the memory 104 may be used to store software programs and modules of application software, such as program instructions/data storage methods corresponding to the information visualization method in the embodiment of the present invention.
  • the processor 102 executes the software programs and modules stored in the memory 104 by running Various functional applications and data processing, namely to achieve the above-mentioned information visualization method.
  • the memory 104 may include a high-speed random access memory, and may also include a non-volatile memory, such as one or more magnetic storage devices, flash memory, or other non-volatile solid-state memory.
  • the memory 104 may further include a memory remotely provided with respect to the processor 102, and these remote memories may be connected to the computer terminal 10 via a network. Examples of the aforementioned networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the transmission device 106 is used to receive or send data via a network.
  • the above-mentioned specific examples of the network may include a wireless network provided by the communication provider of the computer terminal 10.
  • the transmission device 106 includes a network adapter (Network Interface Controller, NIC), which can be connected to other network devices through a base station to communicate with the Internet.
  • the transmission device 106 may be a radio frequency (RF) module, which is used to communicate with the Internet in a wireless manner.
  • RF radio frequency
  • the display may be, for example, a touch screen liquid crystal display (LCD), which may enable a user to interact with the user interface of the computer terminal 10 (or mobile device).
  • LCD liquid crystal display
  • the computer device (or mobile device) shown in FIG. 1 may include hardware elements (including circuits) and software elements (including computer-readable media stored on a computer-readable medium). Code), or a combination of hardware and software components.
  • FIG. 1 is only an example of a specific specific example, and is intended to show the types of components that may be present in the above-mentioned computer device (or mobile device).
  • FIG. 2 is a flowchart of an information visualization method according to an embodiment of the present invention.
  • the method shown in Fig. 2 may include the following steps:
  • Step S202 Obtain a deep learning code to be run, where the deep learning code is used to train a deep learning model;
  • Step S204 locate the running position of the deep learning code to obtain the positioning result, and visually display the positioning result, where the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or, Version control of deep learning code.
  • the deep learning code to be run is acquired, and then the running position of the deep learning code is located according to the set execution unit, the positioning result of the deep learning code can be obtained, and the deep learning model can be assisted by the positioning result.
  • the potential defects of the deep learning code and the version control of the deep learning code By visually displaying the positioning results, it is convenient for users to adjust the deep learning code according to the visual positioning results, thereby achieving the technical effect of visual positioning of the deep learning code, and then Solved the technical problem of the inability to visually locate the development code of the deep learning model.
  • the deep learning code can train a deep learning model after running, that is, the deep learning code is the development code of the deep learning model.
  • various pre-preparation processes such as designing, debugging, and viewing the deep learning code are required.
  • steps S202 and S204 may be applied in the pre-preparation process of the deep learning code to assist in confirming the potential defects of the deep learning model.
  • steps S202 and S204 can also be applied to perform version control on the deep learning code after running the deep learning code.
  • the user can directly write the deep learning code; the deep learning code can also be generated through a graphical user interface.
  • obtaining the deep learning code includes at least one of the following: receiving the deep learning code edited through a graphical user interface; and obtaining the deep learning code obtained by converting the deep learning graph according to a custom data structure.
  • the deep learning code edited by the user through the graphical user interface can be directly acquired, for example, the deep learning code directly input by the user can be acquired.
  • each deep learning graph has a corresponding deep learning code.
  • the user can drag and drop different deep learning graphs during the process of setting or adjusting the deep learning code.
  • the deep learning graph set by the user in the process of acquiring the deep learning code, can also be acquired, and then the deep learning graph can be converted according to the custom data structure to obtain the deep learning code.
  • the custom data structure used to transform the deep learning graph includes at least one of the following: JSON, XML, that is, the custom data structure can be stored in multiple data structures such as JSON or XML.
  • JSON namely JavaScript Objece Notation
  • JavaScript Objece Notation is a lightweight data exchange format.
  • XML namely Extensible Markup Language
  • Extensible Markup Language is a markup language used to mark electronic files to make them structured.
  • the predetermined execution unit includes at least one of single-step execution and multi-step execution.
  • single-step operation means that the deep learning code runs step by step in accordance with the execution process, and during the process of deep learning code running, the process of deep learning code execution is tracked step by step; multi-step operation refers to the deep learning code Run multiple or all process steps at once in accordance with the execution process.
  • the deep learning code in the process of locating the running position of the deep learning code, can be run in a single step, and the deep learning code can also be run in multiple steps.
  • positioning the running position of the deep learning code according to the set execution unit to obtain the positioning result includes: running the deep learning code according to the set execution unit; calling the preset plug-in to locate the line where the deep learning code is currently running number.
  • the deep learning code in locating the running position of the deep learning code, can be run according to the set execution unit, and then the preset plug-in is called to locate the line number of the deep learning code at the current running position, thereby Realize the positioning of the running position of the deep learning code.
  • the preset plug-in may be a specific plug-in that is preset and used to locate the deep learning code.
  • visually displaying the positioning result includes at least one of the following: displaying part of the code associated with the positioning result in the deep learning code in the graphical user interface; calling the custom data structure interface to display the depth in the graphical user interface Part of the graphics associated with the positioning results in the learning graphics.
  • part of the code associated with the positioning result in the deep learning code can be directly displayed in the graphical user interface.
  • custom data structure interface can be an interface that uses multiple data structures such as JSON or XML.
  • the user-defined data structure interface may be invoked to display a part of the graphics associated with the positioning result in the deep learning graph in the graphical user interface through the user-defined data structure interface.
  • the user-defined data structure interface can be called to process the positioning result of the deep learning code to obtain part of the graphics associated with the positioning result in the deep learning graphics, and then display the part of the graphics in the graphical user interface.
  • Fig. 3 is a schematic diagram of locating the running position of the deep learning code according to an embodiment of the present invention. As shown in Fig. 3, during the single-step running of the deep learning code, the specific running position of the deep learning code can be located. And at the same time in the code and graphical interface to inform users, the specific steps are as follows.
  • step S3011 to step S3014 shown in FIG. 3 for users who come in from the code execution entry, can directly call the code execution core, and obtain the user's current running code line through the code line analysis plug-in (ie, the preset plug-in) Number (ie positioning result).
  • code line analysis plug-in ie, the preset plug-in
  • Number ie positioning result
  • Step S3011 the user writes the deep learning code, that is, receives the deep learning code edited through the graphical user interface.
  • Step S3012 the code runs the core.
  • Step S3013 the code line number parsing plug-in (ie, the preset plug-in).
  • Step S3014 code layer number positioning (that is, the positioning result is obtained).
  • the graphics runtime core can be called.
  • the graphics runtime core translates the graphics into a custom JSON structure, so that the graphics can be passed through
  • the running core generates runnable code, and then executes the above step S3012.
  • Step S3021 the user drags the deep learning graph.
  • Step S3022 the graphics operation core.
  • Step S3023 custom JSON structure (ie custom data structure) code description.
  • Step S3024 generate deep learning code, and then execute step S3012.
  • the above steps S3021 to S3024 are used to obtain the deep learning code obtained after the deep learning graph is converted according to the custom data structure.
  • the code layer can be directly displayed to the user; it can also be located to a custom JSON interface, and then through the graphics layer Show it to users.
  • Step S3031 executed after step S3014, displays the code position, that is, displays a part of the code associated with the positioning result in the deep learning code in the graphical user interface.
  • Step S3032 executed after step S3014, customize the JSON structure positioning, that is, call the custom data structure interface, and then execute step S3033.
  • Step S3033 displaying the graphic position, that is, displaying a part of the graphic in the deep learning graphic that is associated with the positioning result in the graphic user interface.
  • the above embodiments of the present invention provide a code positioning function, which can easily view and debug the deep learning code written by the user or drag and drop the deep learning content in the deep learning graph, which is extremely useful for algorithm developers who do not have rich code experience. Greatly improve its ability to develop deep learning algorithm models. For example, it is easy to see which conversion layer has problems or lack of connection layers during single-step debugging.
  • the executed graphics layer and code position can be located, which provides great convenience for the development of developers.
  • version control of the deep learning code includes at least one of the following: in the graphical user interface, by calling the version submission function, saving the current version of the deep learning code; in the graphical user interface, By calling the version rollback function, the current version of the deep learning code is rolled back to the historical version of the deep learning code to be used.
  • the historical version to be used is determined by comparing the results of multiple versions of the model.
  • the version of the model result is the result of debugging the deep learning model with multiple versions of deep learning code; in the graphical user interface, by calling the version submission function, the deep learning graph will be converted according to the custom data structure.
  • the current version of the deep learning code in the graphical user interface, by calling the version rollback function, the current version of the deep learning code obtained after the deep learning graph is converted according to the custom data structure will be rolled back to the to-be-used
  • the historical version of the deep learning code where the historical version to be used is determined by comparing the results of multiple versions of the model.
  • the model results of multiple versions are used to debug the deep learning model using multiple versions of the deep learning code.
  • the historical version of is determined by comparing the results of multiple versions of the model.
  • the model results of multiple versions are the result of debugging the deep learning model with multiple versions of deep learning code.
  • rollback refers to a program or data processing error that restores the program or data to the last correct state. In this application, it refers to the deep learning code that is restored to the historical version.
  • Fig. 4 is a schematic diagram of version control of deep learning code according to an embodiment of the present invention. As shown in Fig. 4, the specific steps are as follows.
  • the version submission device may be directly called to save the current version, or the rollback device may be called to reopen the saved content.
  • Step S4011 the user writes deep learning code.
  • Step S4012 generate deep learning code.
  • Step S4013 the version is submitted.
  • Step S4014 the version is rolled back.
  • steps S4021 to S4022 shown in FIG. 4 are for the graphic portal user, firstly translate the graphic content (ie deep learning graphic) into a custom JSON definition, and generate runnable code (ie deep learning code) from the definition , And then step S4012 is executed.
  • step S4021 the user drags the deep learning graph.
  • Step S4022 Customize the JSON structure (ie, custom data structure) code description, and then execute step S4012.
  • the foregoing embodiments of the present invention increase the version control of the visualized deep learning code, which greatly facilitates the debugging and comparison of different training versions by developers.
  • the method according to the above embodiment can be implemented by means of software plus the necessary general hardware platform, of course, it can also be implemented by hardware, but in many cases the former is Better implementation.
  • the technical solution of the present invention essentially or the part that contributes to the existing technology can be embodied in the form of a software product, and the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, The optical disc) includes several instructions to enable a terminal device (which can be a mobile phone, a computer, a server, or a network device, etc.) to execute the method described in each embodiment of the present invention.
  • the device includes: an acquisition unit 51 and a positioning unit 53, wherein the acquisition unit 51 is configured to acquire The deep learning code to be run, where the deep learning code is used to train the deep learning model; the positioning unit 53 is used to locate the running position of the deep learning code according to the set execution unit to obtain the positioning result, and perform the positioning result Visual display, where the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or version control of the deep learning code.
  • the above-mentioned acquisition unit 51 and positioning unit 53 correspond to steps S202 and step S204 in Embodiment 1.
  • the above-mentioned units and corresponding steps implement the same examples and application scenarios, but are not limited to the above-mentioned Embodiment 1. What is disclosed. It should be noted that the above-mentioned unit can run in the computer terminal 10 provided in Embodiment 1 as a part of the device.
  • the deep learning code to be run is acquired, and then the running position of the deep learning code is located according to the set execution unit, the positioning result of the deep learning code can be obtained, and the deep learning model can be assisted by the positioning result.
  • the potential defects of the deep learning code and the version control of the deep learning code By visually displaying the positioning results, it is convenient for users to adjust the deep learning code according to the visual positioning results, thereby achieving the technical effect of visual positioning of the deep learning code, and then Solved the technical problem of the inability to visually locate the development code of the deep learning model.
  • the setting execution unit at least includes at least one of the following: single-step execution and multi-step execution.
  • the acquiring unit includes at least one of the following: a receiving module for receiving deep learning codes edited through a graphical user interface; and an acquiring module for acquiring the deep learning graphics to be converted according to a custom data structure The deep learning code obtained later.
  • the custom data structure includes at least one of the following: JSON and XML.
  • the positioning unit includes: a running module, which is used to run the deep learning code according to a set execution unit; a first calling module, which is used to call a preset plug-in to locate the line number of the current running position of the deep learning code.
  • the positioning unit includes at least one of the following: a display single module for displaying part of the code associated with the positioning result in the deep learning code in a graphical user interface; a second calling module for calling self Define the data structure interface and display part of the graphics associated with the positioning results in the deep learning graphics in the graphical user interface.
  • the positioning unit includes at least one of the following: a first saving module, configured to save the current version of the deep learning code by calling the version submission function in the graphical user interface; the first rollback The module is used to roll back the deep learning code of the current version to the deep learning code of the historical version to be used by calling the version rollback function in the graphical user interface.
  • the model results are compared and determined.
  • the model results of multiple versions are the results of debugging the deep learning model with multiple versions of deep learning code; the second saving module is used to call the version in the graphical user interface
  • the submit function will save the current version of the deep learning code obtained after the deep learning graph is converted according to a custom data structure; the second rollback module is used to call the version rollback function in the graphical user interface, and will follow
  • the current version of the deep learning code obtained after the custom data structure is converted to the deep learning graph is rolled back to the deep learning code of the historical version to be used, where the historical version to be used is compared with the results of multiple versions of the model It is determined that the results of multiple versions of the model are the results of debugging the deep learning model with multiple versions of the deep learning code;
  • the third save module is used to call the version submission function in the graphical user interface, and will follow Custom data structure saves the current version of the custom data structure description file obtained after the deep learning graph is converted; the third rollback module is used in the graphical user interface to call the version rollback
  • the embodiments of the present invention may provide a computer terminal, and the computer terminal may be any computer terminal device in a computer terminal group.
  • the above-mentioned computer terminal may also be replaced with a terminal device such as a mobile terminal.
  • the foregoing computer terminal may be located in at least one network device among multiple network devices in the computer network.
  • the computer terminal described above can execute the program code of the following steps in the information visualization method of the application program: obtain the deep learning code to be run, where the deep learning code is used to train the deep learning model; according to the set execution unit, Position the running position of the deep learning code to obtain the positioning result, and visually display the positioning result, where the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or version control the deep learning code.
  • FIG. 6 is a structural block diagram of a computer terminal according to an embodiment of the present invention.
  • the computer terminal 10 may include: one or more (only one is shown in the figure) processor 102, memory 104, and transmission device 106.
  • the memory can be used to store software programs and modules, such as program instructions/modules corresponding to the information visualization method and device in the embodiment of the present invention.
  • the processor executes various functional applications by running the software programs and modules stored in the memory. And data processing, that is, to realize the above-mentioned information visualization method.
  • the memory may include high-speed random access memory, and may also include non-volatile memory, such as one or more magnetic storage devices, flash memory, or other non-volatile solid-state memories.
  • the memory may further include a memory remotely provided with respect to the processor, and these remote memories may be connected to the terminal 10 via a network. Examples of the aforementioned networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the processor can call the information and application programs stored in the memory through the transmission device to perform the following steps: obtain the deep learning code to be run, where the deep learning code is used to train the deep learning model; according to the set execution unit, the deep learning The running position of the code is located to obtain the positioning result, and the positioning result is visually displayed, where the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or version control of the deep learning code.
  • the above-mentioned processor may also execute the program code of the following steps: receiving the deep learning code edited through the graphical user interface; acquiring the deep learning code obtained by converting the deep learning graph according to the custom data structure.
  • the above-mentioned processor may also execute the program code of the following steps: run the deep learning code according to the set execution unit; call a preset plug-in to locate the line number of the current running position of the deep learning code.
  • the above-mentioned processor may also execute the program code of the following steps: display part of the code associated with the positioning result in the deep learning code in the graphical user interface; call the custom data structure interface to display the deep learning graph in the graphical user interface Part of the graphics associated with the positioning results in.
  • the above-mentioned processor can also execute the program code of the following steps: in the graphical user interface, by calling the version submission function, save the current version of the deep learning code; in the graphical user interface, by calling the version rollback function , Roll back the current version of the deep learning code to the historical version of the deep learning code to be used, where the historical version to be used is determined by comparing the results of multiple versions of the model, and the model results of multiple versions are used The result of debugging the deep learning model with multiple versions of deep learning code; in the graphical user interface, by calling the version submission function, the deep learning graph will be converted according to the custom data structure to obtain the current version of deep learning Save the code; in the graphical user interface, by calling the version rollback function, the current version of the deep learning code obtained after the deep learning graph is converted according to the custom data structure is rolled back to the historical version of the deep learning code to be used , Where the historical version to be used is determined by comparing the results of multiple versions of the model.
  • the model results of multiple versions are the results of debugging the deep learning model using multiple versions of deep learning code;
  • the version submission function the current version of the custom data structure description file obtained after the deep learning graph is converted according to the custom data structure is saved; in the graphical user interface, by calling the version rollback function, The current version of the custom data structure description file obtained after the deep learning graph is converted according to the custom data structure is rolled back to the custom data structure description file of the historical version to be used.
  • the historical version to be used is The model results of the two versions are compared and determined.
  • the model results of multiple versions are the results of debugging the deep learning model using multiple versions of deep learning code.
  • an information visualization solution is provided.
  • the positioning result of the deep learning code can be obtained.
  • the potential defects of the deep learning model and the The deep learning code is version controlled.
  • visualizing the positioning results it is convenient for users to adjust the deep learning code according to the visual positioning results, thereby achieving the technical effect of visual positioning of the deep learning code, thereby solving the inability to learn deep learning
  • the development code of the model carries out the technical problem of visual positioning.
  • the structure shown in Figure 6 is only for illustration, and the computer terminal can also be a smart phone (such as an Android phone, an iOS phone, etc.), a tablet computer, an applause computer, and a mobile Internet device (MID). ), PAD and other terminal equipment.
  • FIG. 6 does not limit the structure of the above electronic device.
  • the computer terminal 10 may also include more or fewer components (such as a network interface, a display device, etc.) than those shown in FIG. 6, or have a configuration different from that shown in FIG.
  • the program may be stored in a computer-readable storage medium, and the storage medium may include : Flash disk, Read-Only Memory (ROM), Random Access Memory (RAM), magnetic disk or optical disk, etc.
  • the embodiment of the present invention also provides a storage medium.
  • the foregoing storage medium may be used to store the program code executed by the information visualization method provided in the foregoing embodiment 1.
  • the foregoing storage medium may be located in any computer terminal in a computer terminal group in a computer network, or located in any mobile terminal in a mobile terminal group.
  • the storage medium is configured to store the program code used to perform the following steps: obtain the deep learning code to be run, where the deep learning code is used to train the deep learning model; according to the set execution unit , Position the running position of the deep learning code to obtain the positioning result, and visually display the positioning result, where the positioning result is used to assist in confirming the potential defects of the deep learning model; and/or version control the deep learning code.
  • the storage medium is configured to store the program code used to perform the following steps: receive the deep learning code edited through the graphical user interface; obtain the deep learning graph obtained after the conversion according to the custom data structure Deep learning code.
  • the storage medium is configured to store the program code for executing the following steps: run the deep learning code according to the set execution unit; call a preset plug-in to locate the line number of the current running position of the deep learning code.
  • the storage medium is configured to store the program code used to perform the following steps: display part of the code associated with the positioning result in the deep learning code in the graphical user interface; call the custom data structure interface, Display part of the graphics associated with the positioning results in the deep learning graphics in the graphical user interface.
  • the storage medium is set to store the program code used to perform the following steps: in the graphical user interface, save the current version of the deep learning code by calling the version submission function; In the interface, by calling the version rollback function, the current version of the deep learning code is rolled back to the deep learning code of the historical version to be used, where the historical version to be used is determined by comparing the results of multiple versions of the model , The results of multiple versions of the model are the results of debugging the deep learning model with multiple versions of deep learning code; in the graphical user interface, by calling the version submission function, the deep learning graph will be performed according to the custom data structure Save the current version of the deep learning code obtained after the conversion; in the graphical user interface, by calling the version rollback function, the current version of the deep learning code obtained after the deep learning graph is converted according to the custom data structure is rolled back to The historical version of the deep learning code to be used, where the historical version to be used is determined by comparing the results of multiple versions of the model, and the result of the multiple
  • the disclosed technical content can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division.
  • multiple units or components may be combined or may be Integrate into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of units or modules, and may be in electrical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present invention essentially or the part that contributes to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , Including several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the method described in each embodiment of the present invention.
  • the aforementioned storage media include: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other media that can store program code .

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种信息可视化方法、装置、存储介质及处理器。其中，该方法包括：获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型（S202）；按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制（S204）。解决了无法对深度学习模型的开发代码进行可视化定位的技术问题。

Description

信息可视化方法、装置、存储介质及处理器
本申请要求2019年05月13日递交的申请号为201910394934.0、发明名称为“信息可视化方法、装置、存储介质及处理器”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机领域，具体而言，涉及一种信息可视化方法、装置、存储介质及处理器。
背景技术
随着2012年深度学习在国际图像识别比赛中以碾压第二名的性能初露头角后，在2016年随着AlphaGo被世人所知。深度学习框架已经成为越来越多公司的首要选择。
但是，在开发深度学习模型的时候，传统代码编码方式成为了许多数据科学家的阻碍，对于在其上开发的科学家而言上手难度较大。对于业内在使用的可视化深度学习平台而言，其对于单步调试并没有相应的查看功能。使得开发者在其上面进行开发的时候，无法准确的看出运行到具体代码中哪一个层。
另一方便，现在使用的深度学习平台缺乏版本控制功能，在深度学习这种需要进行大量的调试比对模型的运算中，开发者很难能回到之前更优的某个版本。
针对上述无法对深度学习模型的开发代码进行可视化定位的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种信息可视化方法、装置、存储介质及处理器，以至少解决无法对深度学习模型的开发代码进行可视化定位的技术问题。
根据本发明实施例的一个方面，提供了一种信息可视化方法，包括：获取待运行的深度学习代码，其中，所述深度学习代码用于训练深度学习模型；按照设定执行单位，对所述深度学习代码的运行位置进行定位以得到定位结果，并对所述定位结果进行可视化展示，其中，所述定位结果用于辅助确认所述深度学习模型的潜在缺陷；和/或，对所述深度学习代码进行版本控制。
根据本发明实施例的另一方面，还提供了一种信息可视化装置，包括：获取单元， 用于获取待运行的深度学习代码，其中，所述深度学习代码用于训练深度学习模型；定位单元，用于按照设定执行单位，对所述深度学习代码的运行位置进行定位以得到定位结果，并对所述定位结果进行可视化展示，其中，所述定位结果用于辅助确认所述深度学习模型的潜在缺陷；和/或，对所述深度学习代码进行版本控制。
根据本发明实施例的另一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的信息可视化方法。
根据本发明实施例的又一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的信息可视化方法。
在本发明实施例中，获取待运行的深度学习代码，再按照设定执行单位对深度学习代码的运行位置进行定位，可以得到深度学习代码的定位结果，通过该定位结果可以辅助确认深度学习模型的潜在缺陷，以及对深度学习代码进行版本控制，通过对定位结果进行可视化展示，方便用户根据可视化的定位结果对深度学习代码进行调整，从而实现了对深度学习代码进行可视化定位的技术效果，进而解决了无法对深度学习模型的开发代码进行可视化定位的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是一种用于实现信息可视化方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的一种信息可视化方法的流程图；
图3是根据本发明实施例的一种对深度学习代码的运行位置进行定位的示意图；
图4是根据本发明实施例的一种对深度学习代码进行版本控制的示意图；
图5是根据本发明实施例的一种信息可视化装置的示意图；
图6是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
深度学习:深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，例如含多隐层的多层感知器就是一种深度学习结构。
实施例1
根据本发明实施例，还提供了一种信息可视化方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算方法中执行。图1示出了一种用于实现信息可视化方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106，其中，传输装置106包括：输入/输出接口(I/O接口)、网络接口。除此以外，还可以包括：显示器、BUS总线、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结 合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的信息可视化方法对应的程序指令/数据存储方法，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的信息可视化方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图2所示的信息可视化方法。图2是根据本发明实施例的一种信息可视化方法的流程图，如图2所示的方法可以包括如下步骤：
步骤S202，获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型；
步骤S204，按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制。
在本发明实施例中，获取待运行的深度学习代码，再按照设定执行单位对深度学习 代码的运行位置进行定位，可以得到深度学习代码的定位结果，通过该定位结果可以辅助确认深度学习模型的潜在缺陷，以及对深度学习代码进行版本控制，通过对定位结果进行可视化展示，方便用户根据可视化的定位结果对深度学习代码进行调整，从而实现了对深度学习代码进行可视化定位的技术效果，进而解决了无法对深度学习模型的开发代码进行可视化定位的技术问题。
需要说明的是，深度学习代码在运行后可以训练出深度学习模型，也即深度学习代码即为深度学习模型的开发代码。但是在训练深度学习模型之前，需要对深度学习代码进行设计、调试和查看等多种预先准备过程。
可选地，上述步骤S202和步骤S204可以应用在对深度学习代码的预先准备过程中，辅助确认深度学习模型的潜在缺陷。
可选地，上述步骤S202和步骤S204还可以应用在对深度学习代码的运行之后，对深度学习代码进行版本控制。
可选地，在上述步骤S202中，可以由用户直接编写深度学习代码；还可以通过图形用户界面来生成深度学习代码。
作为一种可选的实施例，获取深度学习代码包括以下至少之一：接收通过图形用户界面编辑的深度学习代码；获取按照自定义数据结构对深度学习图形进行转换后得到的深度学习代码。
本发明上述实施例，在获取深度学习代码的过程中，可以直接获取用户通过图像用户界面来编辑的深度学习代码，例如，获取用户直接输入的深度学习代码。
需要说明的是，深度学习图形可以为多个，每个深度学习图形存在对应的深度学习代码，用户在设置或调整深度学习代码的过程中，可以通过拖拽不同的深度学习图形来实现。
本发明上述实施例，在获取深度学习代码的过程中，还可以获取用户设置的深度学习图形，然后再按照自定义数据结构对深度学习图形进行转换后，即可得到深度学习代码。
需要说明的是，用于对深度学习图形进行转换的自定义数据结构至少包括以下之一：JSON、XML，也即自定义数据结构可以使用JSON或XML等多种数据结构保存。
需要说明的是，JSON，即JavaScript Objece Notation，是一种轻量级的数据交换格式。
需要说明的是，XML，即Extensible Markup Language，可扩展标记语言，是一种用于标记电子文件使其具有结构性的标记语言。
在上述步骤S204中，预定执行单位至少包括单步执行和多步执行的中的至少一种。
需要说明的是，单步运行是指深度学习代码按照执行流程一步一步地运行，并在深度学习代码运行的过程中，一步一步地跟踪深度学习代码执行的流程；多步运行是指深度学习代码按照执行流程一次运行多个或全部流程步骤。
本发明上述实施例，在对深度学习代码的运行位置进行定位的过程中，可以使深度学习代码进行单步运行，还可以使深度学习代码进行多步运行。
在上述步骤S204中，按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果包括：按照设定执行单位运行深度学习代码；调用预设插件定位深度学习代码当前运行位置所在行数。
本发明上述实施例，在对深度学习代码的运行位置进行定位的中，可以按照设定执行单位运行深度学习代码，然后再调用预设插件定位深度学习代码在当前运行位置所在的行数，从而实现对深度学习代码的运行位置的定位。
需要说明的是，预设插件可以是预先设置的，用于对深度学习代码进行定位的特定插件。
在上述步骤S204中，对定位结果进行可视化展示包括以下至少之一：在图形用户界面中显示深度学习代码中与定位结果关联的部分代码；调用自定义数据结构接口，在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
本发明上述实施例，在得到定位结果之后，可以在图形用户界面中，直接显示深度学习代码中与定位结果关联的部分代码。
需要说明的是，自定义数据结构接口，可以是使用JSON或XML等多种数据结构的接口。
本发明上述实施例，在得到定位结果之后，还可以通过调用自定义数据结构接口，通过自定义数据结构接口在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
例如，在得到定位结果之后，可以调用自定义数据结构接口，对深度学习代码的定位结果进行处理，得到深度学习图形中与定位结果关联的部分图形，然后在图形用户界面中显示该部分图形。
图3是根据本发明实施例的一种对深度学习代码的运行位置进行定位的示意图，如图3所示，在单步运行深度学习代码的过程中，可以定位深度学习代码的具体运行位置，并同时在代码和图形界面告知用户，具体包括步骤如下。
可选地，如图3所示的步骤S3011至步骤S3014，针对从代码运行入口进来的用户，可以直接调用代码运行核心，通过代码行数解析插件(即预设插件)获取用户当前运行代码行数(即定位结果)。
步骤S3011，用户编写深度学习代码，即接收通过图形用户界面编辑的深度学习代码。
步骤S3012，代码运行核心。
步骤S3013，代码行数解析插件(即预设插件)。
步骤S3014，代码层数定位(即得到定位结果)。
可选地，如图3所示的步骤S3021至步骤S3024，针对从图形运行入口进来的用户，可以调用图形运行核心，该图形运行核心将图形翻译为自定义的JSON结构，从而可以通过该图形运行核心生成可运行的代码，之后执行上述步骤S3012。
步骤S3021，用户拖拽深度学习图形。
步骤S3022，图形运行核心。
步骤S3023，自定义JSON结构(即自定义数据结构)代码描述。
步骤S3024，生成深度学习代码，然后执行步骤S3012。
上述步骤S3021至步骤S3024,用于实现获取按照自定义数据结构对深度学习图形进行转换后得到的深度学习代码。
可选地，如图3所示的步骤S3031至步骤S3033，获取代码运行行数(即得到定位结果)后，代码层可以直接展现给用户；还可以定位到自定义JSON接口，再通过图形层面展示给用户。
步骤S3031，在步骤S3014之后执行，展示代码位置，即在图形用户界面中显示深度学习代码中与定位结果关联的部分代码。
步骤S3032，在步骤S3014之后执行，自定义JSON结构定位，即调用自定义数据结构接口，然后执行步骤S3033。
步骤S3033，展示图形位置，即在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
本发明上述实施例，提供了代码定位功能，可以方便的查看和调试用户编写的深度学习代码或者拖拽深度学习图形中的深度学习内容，对于没有丰富代码经验的算法开发者来说，可以极大的提高其开发深度学习算法模型的能力，比如可以方便的在单步调试中看到哪个转换层有问题，或者缺连接层等。
本发明上述实施例，在深度学习可视化中的准备过程中，可以定位到所执行的图形层和代码位置，为开发者的开发提供了极大的便利。
作为一种可选的实施例，对深度学习代码进行版本控制包括以下至少之一：在图形用户界面中，通过调用版本提交功能，将当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件回滚至待使用的历史版本的自定义数据结构描述文件，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果。
需要说明的是，回滚指的是程序或数据处理错误，将程序或数据恢复到上一次正确状态的行为，在本申请中指恢复到历史版本的深度学习代码。
图4是根据本发明实施例的一种对深度学习代码进行版本控制的示意图，如图4所示，具体包括步骤如下。
可选地，如图4所示的步骤S4011至步骤S4014，针对代码入口用户，可以直接调用版本提交装置保存当前版本，或者调用回滚装置重新打开之前的保存内容。
步骤S4011，用户编写深度学习代码。
步骤S4012，生成深度学习代码。
步骤S4013，版本提交。
步骤S4014，版本回滚。
可选地，如图4所示的步骤S4021至步骤S4022针对图形入口用户，首先将图形内 容(即深度学习图形)翻译为自定义JSON定义，由该定义生成可运行代码(即深度学习代码)，之后执行步骤S4012。
步骤S4021，用户拖拽深度学习图形。
步骤S4022，自定义JSON结构(即自定义数据结构)代码描述，然后执行步骤S4012。
本发明上述实施例，在深度学习模型开发完成后需要进行大量的参数调试，以便找出最优的模型结果，加入版本控制方面内容可以直观的保存和展示对比每一次参数调试结果，以便算法工程师最终选出最理想的深度学习模型，避免内容的丢失。
本发明上述实施例，增加了对可视化的深度学习代码的版本控制，极大的方便了开发者的调试对比不同训练版本。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述信息可视化方法的信息可视化装置，如图5所示，该装置包括：获取单元51和定位单元53，其中，获取单元51，用于获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型；定位单元53，用于按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制。
此处需要说明的是，上述获取单元51和定位单元53对应于实施例1中的步骤S202和步骤S204，上述单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例1提 供的计算机终端10中。
在本发明实施例中，获取待运行的深度学习代码，再按照设定执行单位对深度学习代码的运行位置进行定位，可以得到深度学习代码的定位结果，通过该定位结果可以辅助确认深度学习模型的潜在缺陷，以及对深度学习代码进行版本控制，通过对定位结果进行可视化展示，方便用户根据可视化的定位结果对深度学习代码进行调整，从而实现了对深度学习代码进行可视化定位的技术效果，进而解决了无法对深度学习模型的开发代码进行可视化定位的技术问题。
作为一种可选的实施例，设定执行单位至少包括以下至少之一：单步执行、多步执行。
作为一种可选的实施例，获取单元包括以下至少之一：接收模块，用于接收通过图形用户界面编辑的深度学习代码；获取模块，用于获取按照自定义数据结构对深度学习图形进行转换后得到的深度学习代码。
作为一种可选的实施例，所述自定义数据结构至少包括以下之一：JSON、XML。
作为一种可选的实施例，定位单元包括：运行模块，用于按照设定执行单位运行深度学习代码；第一调用模块，用于调用预设插件定位深度学习代码当前运行位置所在行数。
作为一种可选的实施例，定位单元包括以下至少之一：显示单模块，用于在图形用户界面中显示深度学习代码中与定位结果关联的部分代码；第二调用模块，用于调用自定义数据结构接口，在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
作为一种可选的实施例，定位单元包括以下至少之一：第一保存模块，用于在图形用户界面中，通过调用版本提交功能，将当前版本的深度学习代码进行保存；第一回滚模块，用于在图形用户界面中，通过调用版本回滚功能，将当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；第二保存模块，用于在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码进行保存；第二回滚模块，用于在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模 型进行调试所得到的结果；第三保存模块，用于在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件进行保存；第三回滚模块，用于在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件回滚至待使用的历史版本的自定义数据结构描述文件，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果。
实施例3
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的信息可视化方法中以下步骤的程序代码：获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型；按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制。
可选地，图6是根据本发明实施例的一种计算机终端的结构框图。如图6所示，该计算机终端10可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、以及传输装置106。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的信息可视化方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的信息可视化方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型；按照设定执行 单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制。
可选的，上述处理器还可以执行如下步骤的程序代码：接收通过图形用户界面编辑的深度学习代码；获取按照自定义数据结构对深度学习图形进行转换后得到的深度学习代码。
可选的，上述处理器还可以执行如下步骤的程序代码：按照设定执行单位运行深度学习代码；调用预设插件定位深度学习代码当前运行位置所在行数。
可选的，上述处理器还可以执行如下步骤的程序代码：在图形用户界面中显示深度学习代码中与定位结果关联的部分代码；调用自定义数据结构接口，在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
可选的，上述处理器还可以执行如下步骤的程序代码：在图形用户界面中，通过调用版本提交功能，将当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件回滚至待使用的历史版本的自定义数据结构描述文件，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果。
采用本发明实施例，提供了一种信息可视化方案。通过获取待运行的深度学习代码，再按照设定执行单位对深度学习代码的运行位置进行定位，可以得到深度学习代码的定 位结果，根据该定位结果可以辅助确认深度学习模型的潜在缺陷，以及对深度学习代码进行版本控制，通过对定位结果进行可视化展示，方便用户根据可视化的定位结果对深度学习代码进行调整，从而实现了对深度学习代码进行可视化定位的技术效果，进而解决了无法对深度学习模型的开发代码进行可视化定位的技术问题。
本领域普通技术人员可以理解，图6所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的信息可视化方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取待运行的深度学习代码，其中，深度学习代码用于训练深度学习模型；按照设定执行单位，对深度学习代码的运行位置进行定位以得到定位结果，并对定位结果进行可视化展示，其中，定位结果用于辅助确认深度学习模型的潜在缺陷；和/或，对深度学习代码进行版本控制。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收通过图形用户界面编辑的深度学习代码；获取按照自定义数据结构对深度学习图形进行转换后得到的深度学习代码。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：按照设定执行单位运行深度学习代码；调用预设插件定位深度学习代码当前运行位置所在行数。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在 图形用户界面中显示深度学习代码中与定位结果关联的部分代码；调用自定义数据结构接口，在图形用户界面中显示深度学习图形中与定位结果关联的部分图形。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在图形用户界面中，通过调用版本提交功能，将当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的深度学习代码回滚至待使用的历史版本的深度学习代码，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果；在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件进行保存；在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件回滚至待使用的历史版本的自定义数据结构描述文件，其中，待使用的历史版本通过对多个版本的模型结果进行比对后确定，多个版本的模型结果是采用多个版本的深度学习代码对深度学习模型进行调试所得到的结果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

  1. 一种信息可视化方法，其特征在于，包括：
    获取待运行的深度学习代码，其中，所述深度学习代码用于训练深度学习模型；
    按照设定执行单位，对所述深度学习代码的运行位置进行定位以得到定位结果，并对所述定位结果进行可视化展示，其中，所述定位结果用于辅助确认所述深度学习模型的潜在缺陷；和/或，对所述深度学习代码进行版本控制。
  2. 根据权利要求1所述的方法，其特征在于，所述设定执行单位至少包括以下至少之一：单步执行、多步执行。
  3. 根据权利要求1所述的方法，其特征在于，获取所述深度学习代码包括以下至少之一：
    接收通过图形用户界面编辑的所述深度学习代码；
    获取按照自定义数据结构对深度学习图形进行转换后得到的所述深度学习代码。
  4. 根据权利要求3所述的方法，其特征在于，所述自定义数据结构至少包括以下之一：JSON、XML。
  5. 根据权利要求1所述的方法，其特征在于，按照所述设定执行单位，对所述深度学习代码的运行位置进行定位以得到所述定位结果包括：
    按照所述设定执行单位运行所述深度学习代码；
    调用预设插件定位所述深度学习代码当前运行位置所在行数。
  6. 根据权利要求1所述的方法，其特征在于，对所述定位结果进行可视化展示包括以下至少之一：
    在图形用户界面中显示所述深度学习代码中与所述定位结果关联的部分代码；
    调用自定义数据结构接口，在图形用户界面中显示深度学习图形中与所述定位结果关联的部分图形。
  7. 根据权利要求1所述的方法，其特征在于，对所述深度学习代码进行版本控制包括以下至少之一：
    在图形用户界面中，通过调用版本提交功能，将当前版本的所述深度学习代码进行保存；
    在图形用户界面中，通过调用版本回滚功能，将当前版本的所述深度学习代码回滚至待使用的历史版本的所述深度学习代码，其中，所述待使用的历史版本通过对多个版本的模型结果进行比对后确定，所述多个版本的模型结果是采用多个版本的所述深度学 习代码对所述深度学习模型进行调试所得到的结果；
    在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的所述深度学习代码进行保存；
    在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的所述深度学习代码回滚至待使用的历史版本的所述深度学习代码，其中，所述待使用的历史版本通过对多个版本的模型结果进行比对后确定，所述多个版本的模型结果是采用多个版本的所述深度学习代码对所述深度学习模型进行调试所得到的结果；
    在图形用户界面中，通过调用版本提交功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件进行保存；
    在图形用户界面中，通过调用版本回滚功能，将按照自定义数据结构对深度学习图形进行转换后得到的当前版本的自定义数据结构描述文件回滚至待使用的历史版本的所述自定义数据结构描述文件，其中，所述待使用的历史版本通过对多个版本的模型结果进行比对后确定，所述多个版本的模型结果是采用多个版本的所述深度学习代码对所述深度学习模型进行调试所得到的结果。
  8. 一种信息可视化装置，其特征在于，包括：
    获取单元，用于获取待运行的深度学习代码，其中，所述深度学习代码用于训练深度学习模型；
    定位单元，用于按照设定执行单位，对所述深度学习代码的运行位置进行定位以得到定位结果，并对所述定位结果进行可视化展示，其中，所述定位结果用于辅助确认所述深度学习模型的潜在缺陷；和/或，对所述深度学习代码进行版本控制。
  9. 一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的信息可视化方法。
  10. 一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的信息可视化方法。
PCT/CN2020/089572 2019-05-13 2020-05-11 信息可视化方法、装置、存储介质及处理器 Ceased WO2020228667A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910394934.0 2019-05-13
CN201910394934.0A CN111930368B (zh) 2019-05-13 2019-05-13 信息可视化方法、装置、存储介质及处理器

Publications (1)

Publication Number Publication Date
WO2020228667A1 true WO2020228667A1 (zh) 2020-11-19

Family

ID=73282875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/089572 Ceased WO2020228667A1 (zh) 2019-05-13 2020-05-11 信息可视化方法、装置、存储介质及处理器

Country Status (2)

Country Link
CN (1) CN111930368B (zh)
WO (1) WO2020228667A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328055A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 数据处理方法、系统、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445804A (zh) * 2016-08-24 2017-02-22 北京奇虎测腾安全技术有限公司 一种基于序列化中间表示的源代码云检测系统及方法
CN108334321A (zh) * 2017-01-18 2018-07-27 阿里巴巴集团控股有限公司 程序代码的展示设备、方法及装置
CN109254830A (zh) * 2018-09-04 2019-01-22 郑州云海信息技术有限公司 深度学习系统中可视化管理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3014813A1 (en) * 2017-08-21 2019-02-21 Royal Bank Of Canada System and method for reproducible machine learning
CN109255234B (zh) * 2018-08-15 2023-03-24 腾讯科技（深圳）有限公司 机器学习模型的处理方法、装置、介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445804A (zh) * 2016-08-24 2017-02-22 北京奇虎测腾安全技术有限公司 一种基于序列化中间表示的源代码云检测系统及方法
CN108334321A (zh) * 2017-01-18 2018-07-27 阿里巴巴集团控股有限公司 程序代码的展示设备、方法及装置
CN109254830A (zh) * 2018-09-04 2019-01-22 郑州云海信息技术有限公司 深度学习系统中可视化管理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "TensorFlow: Visual debugger for deep learning", PYTHON DEVELOPMENT COMMUNITY | CTOLIB CODE BASE, 20 August 2016 (2016-08-20), pages 1 - 5, XP009524274 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328055A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 数据处理方法、系统、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111930368A (zh) 2020-11-13
CN111930368B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
JP6671483B2 (ja) スマートデバイスを制御するための方法および装置、ならびにコンピュータ記憶媒体
US8924842B2 (en) Method and system to build interactive documents
US20230350700A1 (en) Snapshot capture of computing device user interfaces
CN108959068A (zh) 软件界面测试方法、设备及存储介质
WO2023284312A1 (zh) 工作流程的构建方法及装置、设备、计算机存储介质及计算机程序产品
CN105844989A (zh) 一种英语教学语言学习系统
CN107590310A (zh) 一种远程单片机虚拟实验系统
US20250138993A1 (en) Debugging a digital assistant
US20180173520A1 (en) Transactional distributed data analysis and transformation
CN108898229A (zh) 用于构建机器学习建模过程的方法及系统
Tian Application and analysis of artificial intelligence graphic element algorithm in digital media art design
US11073965B2 (en) Graphical interface for presentation of interaction data across multiple webpage configurations
WO2020228667A1 (zh) 信息可视化方法、装置、存储介质及处理器
CN112948245B (zh) 元素调试方法、装置、设备、存储介质及程序产品
CN112988267B (zh) 加载方法、装置、存储介质及电子设备
CN113971251A (zh) 网页输出方法、系统及计算机可读存储介质
CN117406966B (zh) 应用创建方法、装置、电子设备及存储介质
US9298428B2 (en) Graphical user interface editor that displays live data during editing
WO2020220889A1 (zh) 用于生成脚本程序的方法、装置及脚本程序处理系统
CN118689587A (zh) 用于用学习管理系统提供虚拟实验室的方法与系统
WO2018205390A1 (zh) 一种控件布局显示控制方法、系统、装置及计算机可读存储介质
CN114356178A (zh) 交互内容的配置方法、装置、终端设备及存储介质
Rorseth et al. LADYBUG: an LLM Agent DeBUGger for data-driven applications.
CN108960433B (zh) 用于运行机器学习建模过程的方法及系统
CN114003004A (zh) 一种多模式仿真交互实现方法、系统、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20805096

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20805096

Country of ref document: EP

Kind code of ref document: A1