WO2019039255A1 - 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム - Google Patents

端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム Download PDF

Info

Publication number
WO2019039255A1
WO2019039255A1 PCT/JP2018/029466 JP2018029466W WO2019039255A1 WO 2019039255 A1 WO2019039255 A1 WO 2019039255A1 JP 2018029466 W JP2018029466 W JP 2018029466W WO 2019039255 A1 WO2019039255 A1 WO 2019039255A1
Authority
WO
WIPO (PCT)
Prior art keywords
gui
terminal device
web page
unit
designation
Prior art date
Application number
PCT/JP2018/029466
Other languages
English (en)
French (fr)
Inventor
増田　健
西川　健一
洋之 足立
井上　晃
佐也香 八木
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2019538046A priority Critical patent/JP6750124B2/ja
Priority to US16/640,064 priority patent/US10951486B2/en
Priority to CN201880052510.XA priority patent/CN111033465B/zh
Priority to EP18847805.1A priority patent/EP3654175A4/en
Publication of WO2019039255A1 publication Critical patent/WO2019039255A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Definitions

  • the present invention relates to a terminal device, a UI extension method, and a UI extension program.
  • an integrated development environment (IDE: Integrated Development Environment) capable of visually setting and implementing a display mode of a UI is known.
  • IDE Integrated Development Environment
  • JSON JSON format
  • JavaScript registered trademark
  • Kenichi Nishikawa Takeshi Masuda, Hiroyuki Adachi, Kimio Tsuchikawa, Kei Inoue, Tsutomu Maruyama, "User Interface Extension Method for Web-Based Business Systems” Technical Report, vol. 116, no. 124, ICM2016-19, pp. 63 -68, July 2016 Google Blockly, [online], [July 5, 2017 search], Internet (https://developers.google.com/blockly/) John Maloney, Mitchel Resnick, Natalie Rusk, Brian Silverman, and Evelyn Eastmond "The Scratch Programming Language and Environment", ACM Transactions on Computing Education, Vol. 10, No. 4, Article 16, Pub. Date: November 2010.
  • the terminal device of the present invention is a terminal device of a first GUI (Graphical User Interface) capable of designating setting contents relating to display modes of parts constituting a Web page.
  • a component designation unit for displaying the setting information on the display mode via the first GUI and a second GUI capable of designating the setting content on the operation of the component constituting the Web page Received by the operation designating unit, the operation designating unit displaying on the device and accepting specification of the setting content relating to the operation via the second GUI; the setting content relating to the display mode accepted by the component designating unit;
  • the Web page is expanded based on the setting contents relating to the operation, and the expanded Web page is displayed on the terminal device And an extended portion.
  • a person who does not have programming skills and knowledge can perform tasks related to UI extension.
  • FIG. 1 is a diagram showing an example of the configuration of a UI extension system including a terminal device according to the first embodiment.
  • FIG. 2 is a view showing an example of the data configuration of the rule DB according to the first embodiment.
  • FIG. 3 is a view showing an example of a part designation GUI according to the first embodiment.
  • FIG. 4 is a diagram showing an example of the operation specification GUI according to the first embodiment.
  • FIG. 5 is a view showing an example of an expanded web page according to the first embodiment.
  • FIG. 6 is a flowchart showing the flow of addition processing according to the first embodiment.
  • FIG. 7 is a flowchart showing the flow of the part designation process according to the first embodiment.
  • FIG. 8 is a flowchart showing the flow of the operation specification process according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a UI extension program.
  • FIG. 1 is a diagram showing an example of the configuration of a UI extension system including a terminal device according to the first embodiment.
  • the UI expansion system 1 has a Web server 10 and a terminal device 20.
  • the terminal device 20 further includes an adding unit 21, a web browser 22, a rule DB 23, a proxy unit 24, an editor unit 221, an extension unit 222, a component designation unit 2211, and an operation designation unit 2212.
  • the terminal device 20 transmits a request message including a URL and the like to the Web server 10, and causes the Web browser 22 to display a Web page based on the response message transmitted from the Web server 10 in response to the request message.
  • addition unit 21, the rule DB 23, and the proxy unit 24 may be provided in an apparatus other than the terminal device 20 such as the Web server 10.
  • the adding unit 21 and the proxy unit 24 may be included in a forward or reverse proxy server.
  • the addition unit 21 and the proxy unit 24 may be implemented as an add-on function of the web browser 22.
  • the addition unit 21 acquires a response message transmitted from the Web server 10 to the terminal device 20, and the terminal device 20 acquires a component specification unit 2211 and an operation specification unit.
  • the code of the program for executing the function of 2212 is added to the response message.
  • the adding unit 21 adds a code described in a script language such as JavaScript that can be interpreted and executed by the Web browser 22 to the BODY portion or the like of the HTML of the acquired response message, and returns the code to the Web browser 22. Then, the web browser 22 interprets the added code and executes the function of the editor unit 221.
  • the functions of the editor unit 221 include the functions of the component designation unit 2211 and the operation designation unit 2212.
  • FIG. 2 is a view showing an example of the data configuration of the rule DB according to the first embodiment.
  • the rule DB 23 stores each setting content in association with a URL. Further, in the rule DB 23, the setting contents are divided into those included in the part specification and those included in the operation specification.
  • the setting contents included in the part specification are, for example, an element, an offset, a label, a background color, a foreground color, and an annotation.
  • the setting content included in the operation specification is, for example, a code of a program described in a script language.
  • an element is information that identifies a component that constitutes a Web page.
  • the rule DB 23 sets “(100, 150)” as an offset, a label, a background color, a foreground color and an annotation of the element “textbox — 02” of the URL “https://example.net/moshikomi”, "Customer's name”, “white”, “black”, “full-width input” are stored. Further, in the example of FIG. 2, the rule DB 23 stores “function check_...” As a program code representing the operation of the element “textbox — 02” of the URL “https://example.net/moshikomi”.
  • the rule DB 23 sets “(250, 400)” as an offset, a label, a background color, and a foreground color of the element “button_01” of the URL “https://example.net/moshikomi”, respectively. Memorize “Registration”, “White”, “Black”. Further, in the example of FIG. 2, the rule DB 23 stores “function click_...” As a program code representing the operation of the element “button_01” of the URL “https://example.net/moshikomi”.
  • the proxy unit 24 acquires a response message transmitted from the Web server 10 to the terminal device 20 in response to a request message transmitted from the terminal device 20 to the Web server 10. Then, the proxy unit 24 adds a code of a program that causes the terminal device 20 to execute the function of the extension unit 222 to the response message. In addition, the proxy unit 24 may add a code to the response message when the URL included in the request message matches the URL stored in the rule DB 23.
  • the component designation unit 2211 causes the Web browser 22 to display a component designation GUI 2211a capable of designating setting contents relating to the display aspect of the component constituting the Web page, and receives specification of setting contents relating to the display aspect via the component designation GUI 2211a.
  • the component designation GUI 2211a is an example of a first GUI.
  • FIG. 3 is a view showing an example of a part designation GUI according to the first embodiment.
  • the component designation GUI 2211 a is a GUI that can designate setting contents regarding the display mode of each user interface component.
  • the component designation unit 2211 displays the web page or the captured image of the web page, also serving as background information of the placement work of the interactive editing operation of the user in the component designation GUI 2211a.
  • the component designation unit 2211 may cause the component designation GUI 2211 a to be displayed on a web page or a layer superimposed on a captured image of the web page.
  • the screen of the component designation GUI 2211a includes a reference panel 2211b and a setting panel 2211c.
  • the reference panel 2211 b is generated based on an existing system screen to be set.
  • the setting panel 2211 c is a setting panel unique to an editor that performs setting operation.
  • a Web page in which a title label “order management system” is disposed at the top is displayed on the reference panel 2211 b.
  • the user interface component is an object constituting a Web page, such as a text box, a button, a check box, and a label.
  • user interface components may be simply referred to as components.
  • the component designation unit 2211 receives, for example, designation of setting content regarding the position, color, label, and annotation of each component via the component designation GUI 2211 a.
  • the type of parts such as a button, text, and a check box.
  • the origin of the part arrangement such as a button, text, and a check box.
  • the origin of the part arrangement such as a button, text, and a check box.
  • each setting content will be described by taking, as an example, a case where a component is added by operating the component designation GUI 2211a.
  • the offset of the position of the part to be added becomes the origin of the position of the part already arranged on the web page .
  • the selection of “existing part” corresponds to, for example, a state in which the text field in the “customer name” column of the reference panel 2211 b is highlighted in FIG. 3. This is done by, for example, comparing with the rectangular coordinates of all the existing parts held internally immediately after the user's direct click on the relevant position of the Web page itself or its captured image immediately before this state is reached. Can be realized by the processing method of
  • the offset of the position of the component to be added becomes the origin at the upper left, lower left, upper right or lower right corner of the window. Also, the offset represents the position of the component to be added in the X-axis direction and the Y-axis direction from the origin in terms of the number of pixels.
  • the part specification unit 2211 may specify the center point of the existing part or the window frame as the origin of the part arrangement.
  • the part specification unit 2211 may specify center points in the X direction and the Y direction in the boundary rectangle of the existing part or the window frame as the origin of the part arrangement.
  • not only the center point but also division points at a predetermined ratio may be designated (for example, 20%: 80% division points in the X direction).
  • the component designation unit 2211 displays a list of components that can be represented by HTML, registered in advance in the library, on the component designation GUI 2211a as the types of components that can be added. Then, when one of the displayed types of addable parts is selected, the selected type of part is displayed on the part designation GUI 2211a. At this time, the position where the part is displayed is a position based on the designated origin and offset.
  • the offset setting when the offset setting is changed in the setting panel 2211c, it is immediately reflected on the display of the reference panel 2211b. Further, by directly moving the part by the mouse drag on the reference panel 2211b and adjusting the arrangement, the offset coordinate value is reflected on the setting content of the setting panel 2211c.
  • providing the interactive editing means allows the user to intuitively and visually change and confirm the arrangement. That is, the user can perform interactive editing operation on the part specification GUI 2211a. At this time, the web page in the component designation GUI 2211a is displayed as background information of the placement operation.
  • the web page is configured not to be a capture image but to handle an entity that actually operates, the original operation of the web page is also possible.
  • the special editing operation is, for example, editing operation such as recapture of capture, management when holding plural pieces of capture information, search / selection of capture reusable from there as editing object, etc. .
  • technically difficult problems are likely to occur such that the internal configuration of the existing Web page does not operate properly unless it is within an expected range.
  • the component designation unit 2211 stores the designated setting content in the rule DB 23.
  • the component designation unit 2211 stores all the setting content regarding the existing component in the rule DB 23. Further, when the setting content stored in the rule DB 23 is changed by the operation of the component designation GUI 2211a, the component designation unit 2211 updates the rule DB 23.
  • the operation designation unit 2212 causes the Web browser 22 to display an operation designation GUI 2212a capable of designating setting contents relating to the operation of the component constituting the Web page, and receives designation of setting contents regarding the operation via the operation designation GUI 2212a.
  • the operation specification GUI 2212a is an example of a second GUI.
  • FIG. 4 is a diagram showing an example of the operation specification GUI according to the first embodiment.
  • the operation specifying unit 2212 displays a GUI capable of specifying setting content related to an operation as an operation specification GUI 2212 a by combining blocks corresponding to predetermined logic.
  • the operation specification GUI 2212a may be realized by an existing visual programming library (see, for example, Non-Patent Document 2).
  • start processing when XXX XXX”
  • combine string XXX with string XXX " For example, “add number XXX to number XXX”, “enter text string XXX in text box XXX”, and the like.
  • XXX indicates that an arbitrary value can be set when arranging a block.
  • the operation specifying unit 2212 generates a code based on the logic and the arrangement of blocks corresponding to the block by the user, and displays the generated code on the code display panel 2212 d on the right side of the operation specifying GUI 2212 a.
  • the operation specifying unit 2212 generates code such that the logic corresponding to the block disposed on the upper side is executed before the logic corresponding to the block disposed on the lower side. Also, for example, when there is a block arranged to be included in a block corresponding to a predetermined branch condition determination logic, the operation specification unit 2212 determines that the logic corresponding to the block arranged to be included is: Generate code to be executed when the branch condition is satisfied.
  • the operation specification unit 2212 sets the content of the operation specification corresponding to the URL, that is, the code of the program described in the script language. Acquire from the rule DB23. Then, a code representing the acquired code of the program by a combination of blocks is displayed on the operation designation GUI 2212a. Further, in the case of new creation, the operation specification unit 2212 displays an empty code or a code of a program set as a default represented by a combination of blocks on the operation specification GUI 2212a.
  • the operation specification unit 2212 when the combination of blocks is performed by the user, the operation specification unit 2212 generates, for example, a code described in JavaScript based on the combination of blocks. Then, the operation specifying unit 2212 stores the generated code in the rule DB 23.
  • the operation specifying unit 2212 may store data of a predetermined format representing a combination of blocks in the rule DB 23 together with the code.
  • the operation designating unit 2212 holds, as information, the association or attribute when the block is regarded as an object according to an existing standard such as XML format or JSON format.
  • General transformation techniques can be used.
  • the extension unit 222 extends the web page based on the setting content on the display mode accepted by the component designation unit 2211 and the setting content on the operation accepted by the operation designation unit 2212, and extends the expanded web page by the web browser Display on 22
  • the extension unit 222 can acquire each setting content from the rule DB 23.
  • the problem that can not be recovered after the change, which occurs when the existing system is changed is solved.
  • soaring costs for system modification occur when UI variations increase due to localization according to the demand of each usage department of the existing system, improvement according to the skill of the user and the work scene to be faced, etc. And the burden on maintenance over the medium to long term is reduced.
  • FIG. 5 is a view showing an example of an expanded web page according to the first embodiment.
  • the extension unit 222 causes the web browser 22 to display the extended web page 300. Further, the extension unit 222 displays a text box 301 with a label “customer code” and an automatic input button 302 on the extended web page 300.
  • the text box 301 and the automatic input button 302 are components added by the component designation unit 2211 and for which operations are set by the operation designation unit 2212. That is, the expansion unit 222 executes the element indicating the text box 301, the element indicating the automatic input button 302, and the automatic input button 302 in the BODY portion of the HTML of the expanded Web page 300. Program code is added.
  • the web browser 22 executes an automatic input process according to the added code.
  • customer information using a customer code as a key is stored in a predetermined DB to which the web browser 22 can refer.
  • the customer information includes kanji name, kana name, e-mail address, telephone number, postal code, address and the like.
  • the Web browser 22 acquires customer information from the DB using the customer code “V001” as a key, and inputs the acquired customer information into each text box. For example, the web browser 22 inputs "Dentaro" in the text box with the label "Customer Name”, and “Dentaro” in the text box with the label "Customer Name (Kurigana)".
  • a first block corresponding to the logic "start processing when button XXX is clicked", and "input character string XXX in text box XXX" It is assumed that a second block corresponding to the logic is prepared. Note that different values can be set for XXX.
  • the user combines the one first block specifying the automatic input button and the plurality of second blocks specifying each text box via the operation specification GUI 2212 a to perform the above-described automatic input processing. Can be specified.
  • the processing that can be set by the operation designation unit 2212 is not limited to the above-described automatic input processing.
  • the operation specifying unit 2212 may prepare a block corresponding to a logic of “call a pull-down capable of selecting a date” or a logic “call a calendar capable of selecting a date”. In this case, the user can set the process of inputting the selected date into the text box via the operation specification GUI 2212a.
  • FIG. 6 is a flowchart showing the flow of addition processing according to the first embodiment.
  • the terminal device 20 transmits a GET request for the designated URL to the Web server 10 (step S102).
  • the addition unit 21 stands by until the response message from the Web server 10 reaches the terminal device 20 (No in step S103).
  • the adding unit 21 adds the editor unit 221 to the response message (Step S104), and returns it to the user (Step S105). . Specifically, the adding unit 21 returns, to the Web browser 22 operated by the user, a response message to which a code of a program for causing the terminal device 20 to execute the functions of the component specifying unit 2211 and the operation specifying unit 2212 is added. .
  • FIG. 7 is a flowchart showing the flow of the part designation process according to the first embodiment.
  • the component designation unit 2211 receives the selection of the component placement mode via the component designation GUI 2211a (step S201).
  • the part selection mode is "existing part” or "window corner”.
  • the component designation unit 2211 receives designation of the origin via the component designation GUI 2211a (step S202). Then, the component designation unit 2211 receives designation of an offset from the origin via the component designation GUI 2211a (step S203). Then, the component designation unit 2211 receives the selection of the component to be added via the component designation GUI 2211a (step S204). Furthermore, the component specification unit 2211 receives specification of component parameters via the component specification GUI 2211a (step S205).
  • the component designation unit 2211 stores the setting contents of the added component in the rule DB 23 (step S206). Further, the component designation unit 2211 stores the setting content of the unsaved existing component in the rule DB 23 (step S207).
  • FIG. 8 is a flowchart showing the flow of the operation specification process according to the first embodiment.
  • the operation specification rule for the URL of the target Web page is stored in the rule DB 23
  • the operation specification unit 2212 loads the operation specification rule from the rule DB 23 (step S301).
  • the operation specification rule is, for example, data representing a combination of a code described in a script language and a block in the operation specification GUI 2212a in a predetermined format.
  • the operation specification unit 2212 receives specification of a combination of blocks via the operation specification GUI 2212a (step S302). Then, the operation specifying unit 2212 generates a code of a program described in a script language based on the received combination of blocks (step S303). Then, data representing the combination of the generated code and block in a predetermined format is stored in the rule DB 23 using the URL as a key (step S304).
  • the component designation unit 2211 causes the Web browser 22 to display a component designation GUI 2211a capable of designating setting contents relating to the display aspect of the component constituting the Web page, and receives specification of setting contents relating to the display aspect via the component designation GUI 2211a.
  • the operation specifying unit 2212 causes the Web browser 22 to display an operation specification GUI 2212a capable of specifying setting content related to the operation of the component configuring the Web page, and receives specification of setting content related to operation via the operation specification GUI 2212a.
  • the extension unit 222 extends the web page based on the setting content on the display mode received by the component designation unit 2211 and the setting content on the operation accepted by the operation designation unit 2212, and the expanded web page It is displayed on the web browser 22.
  • the addition unit 21 acquires a response message transmitted from the Web server 10 to the terminal device 20, and the terminal device 20 acquires a component specification unit 2211 and an operation specification unit.
  • the code of the program for executing the function of 2212 is added to the response message.
  • the component designation unit 2211 displays the web page or the captured image of the web page, also serving as background information of the placement work of the interactive editing operation of the user in the component designation GUI 2211a.
  • the user can specify the setting contents of the display mode of the part while referring to the UI before expansion, so the work is streamlined, and the UI after expansion is used without discomfort. You will be able to
  • the component designation unit 2211 receives designation of setting contents regarding the position, the color, the label, and the annotation of the component making up the Web page. As a result, if the UI is expanded without adding or changing the operation, the user can use the component specification GUI 2211a without using the operation specification GUI 2212a, and the UI for the user can be obtained. The extension of will be easier.
  • the operation specifying unit 2212 displays a GUI capable of specifying setting content related to an operation as an operation specifying GUI 2212 a by combining blocks corresponding to a predetermined logic. This allows the user to add or change the operation by visual operation.
  • logic that has a problem from the viewpoint of quality and security etc. is not provided in advance as a block function, and if a function that includes it is provided, it is not possible to enter a setting that enables the problematic usage. Since it becomes possible to exclude by the check function, it is possible to prevent a problem from occurring in the expanded web page.
  • the editor function for setting the contents of the UI extension as in this embodiment is divided into two aspects of setting regarding display mode and setting regarding component operation, thereby providing an editor program operable independently of each other. There are the following merits from the viewpoint of actual business operation.
  • the first GUI and the second GUI do not have to be used on the same terminal, and different users can work from different web browsers of different terminals. Furthermore, users with different technical skills can use at different timings and frequencies without opening and using two GUI screens simultaneously. For example, a few high-skilled users who are skilled in creating a sample of operation-specified logic provide or publish the necessary logic for the target system in a frequency of about one month, and the actual work screen Depending on the situation, the appropriate UI extension GUI layout and detailed settings should be made appropriately on the spot where a large number of operator users who are in charge of actual work recognize the necessity (the final rule is defined using a sample) If you can do that, you will get great benefits in real operation.
  • the URL itself is stored in the rule DB 23.
  • the user can arbitrarily input a URL via a regular expression matching the character string of the URL or a GUI. It may be information associated with it.
  • the terminal device 20 can use the setting content set by the editor unit 221 for extension of a plurality of similar web pages.
  • each component of each device illustrated in the drawings is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the dispersion and integration of each device is not limited to that shown in the drawings, and all or a part thereof is functionally or physically dispersed in any unit depending on various loads, usage conditions, etc. It can be integrated and configured.
  • the terminal device can cause the client application to display either or both of the first GUI and the second GUI, rather than displaying them on the Web browser.
  • the installation of a new program for using the editor is required, since the restriction on the Web browser in the interactive function with the user is eliminated, the usability can be improved.
  • all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as wired logic hardware.
  • the terminal device 20 can be implemented by installing a UI extension program that executes the above-described UI extension as packaged software or online software on a desired computer.
  • the information processing apparatus can function as the terminal device 20 by causing the information processing apparatus to execute the above-described UI extension program.
  • the information processing apparatus referred to here includes a desktop or laptop personal computer.
  • the information processing apparatus also includes mobile communication terminals such as smartphones, cellular phones and PHS (Personal Handyphone System), and slate terminals such as PDA (Personal Digital Assistant).
  • the terminal device 20 can also be implemented as a UI extension server device that uses the terminal device used by the user as a client and provides the client with a service related to the above-described UI extension.
  • the UI expansion server apparatus is implemented as a server apparatus that provides a UI expansion service in which a request message is input and a response message to which an editor unit is added is output.
  • the UI extension server apparatus may be implemented as a Web server, or may be implemented as a cloud that provides services related to the above-described UI extension by outsourcing.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a UI extension program.
  • the computer 1000 includes, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also includes a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These units are connected by a bus 1080.
  • the memory 1010 includes a read only memory (ROM) 1011 and a random access memory (RAM) 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to, for example, the display 1130.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program defining each process of the terminal device 20 is implemented as a program module 1093 in which a computer-executable code is described.
  • the program module 1093 is stored, for example, in the hard disk drive 1090.
  • a program module 1093 for executing the same process as the functional configuration of the terminal device 20 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD.
  • the setting data used in the process of the above-described embodiment is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as needed, and executes them.
  • the program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, and may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). The program module 1093 and the program data 1094 may be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

部品指定部（２２１１）は、Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な部品指定ＧＵＩをＷｅｂブラウザ（２２）に表示させ、部品指定ＧＵＩを介して表示態様に関する設定内容の指定を受け付ける。また、動作指定部（２２１２）は、Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な動作指定ＧＵＩをＷｅｂブラウザ（２２）に表示させ、動作指定ＧＵＩを介して動作に関する設定内容の指定を受け付ける。また、拡張部（２２２）は、部品指定部（２２１１）によって受け付けられた表示態様に関する設定内容、及び動作指定部（２２１２）によって受け付けられた動作に関する設定内容に基づいて、Ｗｅｂページを拡張し、当該拡張したＷｅｂページをＷｅｂブラウザ（２２）に表示させる。

Description

端末装置、ＵＩ拡張方法及びＵＩ拡張プログラム
　本発明は、端末装置、ＵＩ拡張方法及びＵＩ拡張プログラムに関する。
　システム開発は要件定義、設計、コーディング、テストといった作業が必要とされ、各作業には多大な開発コストや期間がかかることが多い。このため、従来、特にユーザインタフェース（ＵＩ：User　Interface）の拡張に関する作業を容易に行うための技術が知られている。
　例えば、ＵＩの表示態様に関する設定及び実装をビジュアルに行うことが可能な統合開発環境（ＩＤＥ：Integrated　Development　Environment）が知られている。また、例えば、テキストエディタ等を用いて編集可能なJSON形式やJavaScript（登録商標）言語によって拡張ルールを記載する方式が知られている（例えば、非特許文献１を参照）。
西川健一、増田健、足立洋之、土川公雄、井上晃、丸山勉、「Webベースの業務システムのユーザインタフェース拡張方式」　信学技報,　vol.　116,　no.　124,　ICM2016-19,　pp.　63-68,　2016年7月 Google　Blockly、[online]、[平成２９年７月５日検索]、インターネット（https://developers.google.com/blockly/） John　Maloney，　Mitchel　Resnick，　Natalie　Rusk，　Brian　Silverman，　and　Evelyn　Eastmond　"The　Scratch　Programming　Language　and　Environment",　ACM　Transactions　on　Computing　Education,　Vol.　10,　No.　4,　Article　16,　Pub.　date:　November　2010. 野末晴久、横瀬史拓、増田健、「クライアント自律操作エージェントにおけるGUI操作によるシナリオ生成手法」、　2009年電子情報通信学会通信ソサイエティ大会　B-14-16 堀田健太郎、西川健一、増田健、「クライアント自律操作エージェントの適用事例」、2009年電子情報通信学会通信ソサイエティ大会　B-14-17
　しかしながら、従来の技術を用いてＵＩの拡張に関する作業を行う場合、プログラミングに関するスキル及び知識が必要になることがある。このため、従来の技術には、プログラミングに関するスキル及び知識を有しない者にとっては、ＵＩの拡張に関する作業を行うことが困難な場合があるという問題がある。
　例えば、従来のＩＤＥでは、ＵＩのイベントに対するアクションの実装をビジュアルに行うことはできないため、このようなアクションの実装を行う場合には通常のプログラミング言語による記述が必要になる。このため、プログラミングスキルを有しない者にとっては、従来のＩＤＥを使ってＵＩのイベントに対するアクションの実装を行うことは困難である。
　また、例えば、非特許文献１に記載の技術を用いて拡張ルールの編集を行う場合、少なくともJSON形式やJavaScript言語に関する知識が必要になる。このため、JSON形式やJavaScript言語に関する知識を有しない者にとっては、非特許文献１に記載の技術を用いて拡張ルールの編集を行うことは困難である。
　上述した課題を解決し、目的を達成するために、本発明の端末装置は、Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な第１のＧＵＩ（Graphical　User　Interface）を端末装置に表示させ、前記第１のＧＵＩを介して前記表示態様に関する設定内容の指定を受け付ける部品指定部と、前記Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な第２のＧＵＩを端末装置に表示させ、前記第２のＧＵＩを介して前記動作に関する設定内容の指定を受け付ける動作指定部と、前記部品指定部によって受け付けられた前記表示態様に関する設定内容、及び前記動作指定部によって受け付けられた前記動作に関する設定内容に基づいて、前記Ｗｅｂページを拡張し、当該拡張したＷｅｂページを端末装置に表示させる拡張部と、を有することを特徴とする。
　本発明によれば、プログラミングに関するスキル及び知識を有しない者がＵＩの拡張に関する作業を行うことができるようになる。
図１は、第１の実施形態に係る端末装置を含んだＵＩ拡張システムの構成の一例を示す図である。 図２は、第１の実施形態に係るルールＤＢのデータ構成の一例を示す図である。 図３は、第１の実施形態に係る部品指定ＧＵＩの一例を示す図である。 図４は、第１の実施形態に係る動作指定ＧＵＩの一例を示す図である。 図５は、第１の実施形態に係る拡張されたＷｅｂページの一例を示す図である。 図６は、第１の実施形態に係る付加処理の流れを示すフローチャートである。 図７は、第１の実施形態に係る部品指定処理の流れを示すフローチャートである。 図８は、第１の実施形態に係る動作指定処理の流れを示すフローチャートである。 図９は、ＵＩ拡張プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る端末装置、ＵＩ拡張方法及びＵＩ拡張プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
［第１の実施形態の構成］
　まず、図１を用いて、第１の実施形態に係るＵＩ拡張システム及び端末装置の構成について説明する。図１は、第１の実施形態に係る端末装置を含んだＵＩ拡張システムの構成の一例を示す図である。図１に示すように、ＵＩ拡張システム１は、Ｗｅｂサーバ１０及び端末装置２０を有する。
　また、端末装置２０は、付加部２１、Ｗｅｂブラウザ２２、ルールＤＢ２３、代理部２４、エディタ部２２１、拡張部２２２、部品指定部２２１１及び動作指定部２２１２を有する。端末装置２０は、Ｗｅｂサーバ１０にＵＲＬ等を含んだリクエストメッセージを送信し、当該リクエストメッセージに対してＷｅｂサーバ１０から送信されたレスポンスメッセージを基に、Ｗｅｂブラウザ２２にＷｅｂページを表示させる。
　また、付加部２１、ルールＤＢ２３及び代理部２４は、Ｗｅｂサーバ１０等の端末装置２０以外の装置に備えられていてもよい。特に、付加部２１及び代理部２４は、フォワード型、又はリバース型のプロキシサーバに備えられていてもよい。また、付加部２１及び代理部２４は、Ｗｅｂブラウザ２２のアドオン機能として実装されてもよい。
　付加部２１は、端末装置２０からＷｅｂサーバ１０へ送信されたリクエストメッセージに対し、Ｗｅｂサーバ１０から端末装置２０へ送信されたレスポンスメッセージを取得し、端末装置２０に部品指定部２２１１及び動作指定部２２１２の機能を実行させるプログラムのコードを、レスポンスメッセージに付加する。
　例えば、付加部２１は、取得したレスポンスメッセージのＨＴＭＬのＢＯＤＹ部等に、Ｗｅｂブラウザ２２で解釈実行可能なJavaScript等のスクリプト言語で記述されたコードを付加し、Ｗｅｂブラウザ２２に返す。そして、Ｗｅｂブラウザ２２は、付加されたコードを解釈し、エディタ部２２１の機能を実行する。なお、エディタ部２２１の機能には、部品指定部２２１１及び動作指定部２２１２の機能が含まれる。
　ルールＤＢ２３は、エディタ部２２１の各部で受け付けられた設定内容を記憶する。なお、設定内容については後述する。図２は、第１の実施形態に係るルールＤＢのデータ構成の一例を示す図である。
　図２に示すように、ルールＤＢ２３は、各設定内容をＵＲＬと関連付けて記憶する。また、ルールＤＢ２３において、設定内容は、部品指定に含まれるものと動作指定に含まれるものに分けられる。部品指定に含まれる設定内容は、例えば、要素、オフセット、ラベル、背景色、前景色及びアノテーションである。また、動作指定に含まれる設定内容は、例えば、スクリプト言語で記述されたプログラムのコードである。ここでは、要素とは、Ｗｅｂページを構成する部品を識別する情報である。
　図２の例では、ルールＤＢ２３は、ＵＲＬ「https://example.net/moshikomi」の要素「textbox_02」のオフセット、ラベル、背景色、前景色及びアノテーションとして、それぞれ「（１００，１５０）」、「お客様氏名」、「白」、「黒」、「全角で入力」を記憶する。また、図２の例では、ルールＤＢ２３は、ＵＲＬ「https://example.net/moshikomi」の要素「textbox_02」の動作を表すプログラムのコードとして、「function　check_…」を記憶する。
　また、図２の例では、ルールＤＢ２３は、ＵＲＬ「https://example.net/moshikomi」の要素「button_01」のオフセット、ラベル、背景色及び前景色として、それぞれ「（２５０，４００）」、「登録」、「白」、「黒」を記憶する。また、図２の例では、ルールＤＢ２３は、ＵＲＬ「https://example.net/moshikomi」の要素「button_01」の動作を表すプログラムのコードとして、「function　click_…」を記憶する。
　代理部２４は、付加部２１と同様に、端末装置２０からＷｅｂサーバ１０へ送信されたリクエストメッセージに対し、Ｗｅｂサーバ１０から端末装置２０へ送信されたレスポンスメッセージを取得する。そして、代理部２４は、端末装置２０に拡張部２２２の機能を実行させるプログラムのコードを、レスポンスメッセージに付加する。また、代理部２４は、リクエストメッセージに含まれるＵＲＬが、ルールＤＢ２３に保存されたＵＲＬと一致する場合に、コードをレスポンスメッセージに付加するようにしてもよい。
　部品指定部２２１１は、Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な部品指定ＧＵＩ２２１１ａをＷｅｂブラウザ２２に表示させ、部品指定ＧＵＩ２２１１ａを介して表示態様に関する設定内容の指定を受け付ける。なお、部品指定ＧＵＩ２２１１ａは、第１のＧＵＩの一例である。
　図３は、第１の実施形態に係る部品指定ＧＵＩの一例を示す図である。図３に示すように、部品指定ＧＵＩ２２１１ａは、各ユーザインタフェース部品の表示態様に関する設定内容を指定可能なＧＵＩである。部品指定部２２１１は、Ｗｅｂページ、又はＷｅｂページのキャプチャ画像を、部品指定ＧＵＩ２２１１ａにおけるユーザの対話的編集操作の配置作業の背景情報を兼ねて表示させる。例えば、部品指定部２２１１は、Ｗｅｂページ、又はＷｅｂページのキャプチャ画像の上に重ねたレイヤに部品指定ＧＵＩ２２１１ａを表示させてもよい。
　具体的に、図３の例では、部品指定ＧＵＩ２２１１ａの画面は、参照用パネル２２１１ｂ及び設定用パネル２２１１ｃを有する。参照用パネル２２１１ｂは、設定対象となる既存のシステム画面を基に生成される。また設定用パネル２２１１ｃは、設定操作を行うエディタ独自の設定用パネルである。図３においては、参照用パネル２２１１ｂに「オーダー管理システム」というタイトルラベルが上部に配置されたＷｅｂページが表示されている。
　ユーザインタフェース部品は、テキストボックス、ボタン、チェックボックス、ラベル等の、Ｗｅｂページを構成するオブジェクトである。また、以降の説明では、ユーザインタフェース部品のことを単に部品と表記する場合がある。
　部品指定部２２１１は、例えば、部品指定ＧＵＩ２２１１ａを介して、各部品の位置、色、ラベル、及びアノテーションに関する設定内容の指定を受け付ける。図３に示すように、部品指定ＧＵＩ２２１１ａからは、ボタン、テキスト、チェックボックスといった部品の種類の指定が可能である。また、部品指定ＧＵＩ２２１１ａからは、部品配置の原点、オフセットのＸ及びＹの数値、ラベルに表示するテキスト、背景色、前景色等の指定が可能である。
　ここで、例えば、部品指定ＧＵＩ２２１１ａが操作されることで部品が追加される場合を例に、各設定内容について説明する。まず、部品配置モード（部品配置の原点）として「既存部品」が選択された場合、追加される部品の位置のオフセットが、既にＷｅｂページ上に配置された部品の位置を原点としたものとなる。
　ここで「既存部品」の選択とは、例えば図３においては、参照用パネル２２１１ｂの「お客様氏名」欄のテキストフィールドがハイライト表示されている状態に相当する。これは、その状態になる直前に、ユーザがＷｅｂページそのもの、又はそのキャプチャ画像の当該位置を直接クリックしたことを契機に、内部的に保持している全ての既存部品の矩形座標と比較するなどの処理方法により実現可能である。
　一方、部品配置モードとして「ウィンドウコーナー」が選択された場合、追加される部品の位置のオフセットが、ウィンドウの左上、左下、右上又は右下の隅を原点としたものとなる。また、オフセットは、追加される部品の、原点からのＸ軸方向及びＹ軸方向への位置を、ピクセル数で表したものである。
　部品指定部２２１１は、部品配置の原点として、既存部品又はウィンドウ枠の中心点を指定できるようにしてもよい。また、部品指定部２２１１は、部品配置の原点として、既存部品又はウィンドウ枠の境界矩形内におけるＸ方向及びＹ方向の中心点を指定できるようにしてもよい。さらに、中心点だけではなく所定の比率での分割点を指定できるようにしてもよい（例えば、Ｘ方向に２０％：８０％の分割点等）。
　また、部品指定部２２１１は、あらかじめライブラリに登録された、ＨＴＭＬで表現可能な部品の一覧を、追加可能な部品の種類として部品指定ＧＵＩ２２１１ａに表示する。そして、表示した追加可能な部品の種類のうち１つが選択されると、選択された種類の部品を部品指定ＧＵＩ２２１１ａに表示する。このとき、部品が表示される位置は、指定された原点及びオフセットに基づく位置である。
　さらに、オフセット設定を設定用パネル２２１１ｃにおいて変更すると、即時に参照用パネル２２１１ｂの表示に反映される。また、参照用パネル２２１１ｂにおいて部品を直接マウスドラッグにより移動し配置を調整することで、そのオフセット座標値が設定用パネル２２１１ｃの設定内容に反映される。このように、双方向の編集手段を提供することで、ユーザは直感的・視覚的に配置を変更・確認できる。つまり、ユーザは、部品指定ＧＵＩ２２１１ａに対し対話的編集操作を行うことができる。このとき、部品指定ＧＵＩ２２１１ａの中のＷｅｂページは、配置作業の背景情報として表示されている。
　ここで、Ｗｅｂページがキャプチャ画像ではなく、実際に動作する実体を扱う構成をとった場合には、もともとのＷｅｂページ本来の動作も可能である。これにより、動的なＷｅｂページ構成すなわちタブ選択やリンク選択を契機に既存部品の存在有無や位置座標が変化するページでも、ユーザは部品指定ＧＵＩ２２１１ａにおける特別な編集操作を新たに習得する必要はない。特別な編集操作とは、例えばキャプチャのとり直し作業や、複数のキャプチャ情報を保持したときの管理や、そこから編集対象として再利用可能なキャプチャの検索・選択、などの編集操作のことである。一方、これらの特別な編集機能を実現しようとすると、既存Ｗｅｂページの内部構成があらかじめ想定した範囲のものでないと正しく動作しないなど、技術的に実現困難な問題が発生しやすい。実際のＷｅｂページを配置作業の背景情報を兼ねて表示させることで、これら技術的な問題を根本的に回避することができる。
　そして、各設定内容が指定されると、部品指定部２２１１は、指定された設定内容をルールＤＢ２３に保存する。このとき、Ｗｅｂページの既存の部品に関する設定内容がルールＤＢ２３に保存されていない場合、部品指定部２２１１は、当該既存の部品に関する設定内容を全てルールＤＢ２３に保存する。また、部品指定ＧＵＩ２２１１ａの操作によりルールＤＢ２３に保存された設定内容が変更された場合、部品指定部２２１１はルールＤＢ２３を更新する。
　動作指定部２２１２は、Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な動作指定ＧＵＩ２２１２ａをＷｅｂブラウザ２２に表示させ、動作指定ＧＵＩ２２１２ａを介して動作に関する設定内容の指定を受け付ける。なお、動作指定ＧＵＩ２２１２ａは、第２のＧＵＩの一例である。
　図４は、第１の実施形態に係る動作指定ＧＵＩの一例を示す図である。図４に示すように、動作指定部２２１２は、所定のロジックに対応したブロックを組み合わせることで動作に関する設定内容の指定が可能なＧＵＩを動作指定ＧＵＩ２２１２ａとして表示させる。なお、動作指定ＧＵＩ２２１２ａは、既存のビジュアルプログラミングライブラリにより実現されてもよい（例えば、非特許文献２を参照）。
　図４に示すように、動作指定ＧＵＩ２２１２ａの項目表示パネル２２１２ｂには、「分岐・繰り返し」、「数値」といったロジックの分類を示す項目が表示される。そして、いずれかの項目がクリックされると、動作指定ＧＵＩ２２１２ａには、当該クリックされた項目に含まれるロジックに対応したブロックが表示される。ユーザは、動作指定ＧＵＩ２２１２ａに表示されたブロックから任意のブロックを選択し、ブロック配置パネル２２１２ｃに配置することができる。このとき、ユーザは、マウスのドラッグアンドドロップによってブロックの配置を行うことができる。
　ここで、ブロックに対応するロジックとしては、「フレームＸＸＸロード時に処理を開始する」、「もしもＸＸＸ＝ＸＸＸの場合に処理を開始する」、「文字列ＸＸＸと文字列ＸＸＸを結合する」、「数値ＸＸＸに数値ＸＸＸを加える」、「テキストボックスＸＸＸに文字列ＸＸＸを入力する」等がある。なお、ここでは、ＸＸＸは、ブロックを配置する際に任意の値を設定可能であることを示している。
　また、動作指定部２２１２は、ユーザによるブロックに対応するロジック及びブロックの配置に基づいてコードを生成し、生成したコードを動作指定ＧＵＩ２２１２ａの右側のコード表示パネル２２１２ｄに表示する。
　例えば、動作指定部２２１２は、上側に配置されたブロックに対応するロジックが、下側に配置されたブロックに対応するロジックよりも先に実行されるようにコードを生成する。また、例えば、動作指定部２２１２は、所定の分岐条件判定ロジックに対応するブロックに包含されるように配置されたブロックがある場合、当該包含されるように配置されたブロックに対応するロジックが、分岐条件が満たされた場合に実行されるようにコードを生成する。
　動作指定対象のＷｅｂページのＵＲＬが、ルールＤＢ２３に保存されたＵＲＬと一致する場合、動作指定部２２１２は、当該ＵＲＬに対応する動作指定の設定内容、すなわちスクリプト言語で記述されたプログラムのコードをルールＤＢ２３から取得する。そして、取得したプログラムのコードをブロックの組み合わせで表したものを、動作指定ＧＵＩ２２１２ａに表示する。また、新規作成の場合、動作指定部２２１２は、空のコード又はデフォルトとして設定されたプログラムのコードをブロックの組み合わせで表したものを動作指定ＧＵＩ２２１２ａに表示する。
　ここで、ユーザによってブロックの組み合わせが行われると、動作指定部２２１２は、ブロックの組み合わせを基に、例えばJavaScriptで記述されたコードを生成する。そして、動作指定部２２１２は、生成したコードをルールＤＢ２３に保存する。
　また、このとき、動作指定部２２１２は、コードとともに、ブロックの組み合わせを表す所定の形式のデータをルールＤＢ２３に保存してもよい。ここで、動作指定部２２１２は、ブロックの組み合わせを所定の形式で表す方法として、ＸＭＬ形式やJSON形式など既存の標準にしたがい、ブロックをオブジェクトと見なしたときの関連や属性を情報として保持する一般的な変換手法を用いることができる。
　拡張部２２２は、部品指定部２２１１によって受け付けられた表示態様に関する設定内容、及び動作指定部２２１２によって受け付けられた動作に関する設定内容に基づいて、Ｗｅｂページを拡張し、当該拡張したＷｅｂページをＷｅｂブラウザ２２に表示させる。ここで、拡張部２２２は、ルールＤＢ２３から各設定内容を取得できる。このため、本実施形態においては、Ｗｅｂページの提供元であるＷｅｂサーバ１０に変更を加えることなくＵＩの拡張を行うことが可能となる。このため、本実施形態によれば、既存のシステムに変更を加えた際に発生する、変更後のシステムを元に戻せなくなるといった問題が解消される。さらには、既存システムの利用部署ごとの要望に応じたローカライズや、利用ユーザのスキルや直面する作業シーンなどに合わせた改善等により、ＵＩバリエーションが増大した際に発生する、システム改造費用の高騰、及び中長期的な維持管理の負担が軽減される。
　図５は、第１の実施形態に係る拡張されたＷｅｂページの一例を示す図である。拡張部２２２は、Ｗｅｂブラウザ２２に、拡張されたＷｅｂページ３００を表示させる。また、拡張部２２２は、拡張されたＷｅｂページ３００上に、ラベル「お客様コード」が付されたテキストボックス３０１、及び自動入力ボタン３０２を表示させる。
　テキストボックス３０１及び自動入力ボタン３０２は、部品指定部２２１１によって追加され、動作指定部２２１２によって動作が設定された部品である。つまり、拡張されたＷｅｂページ３００のＨＴＭＬのＢＯＤＹ部には、拡張部２２２によって、テキストボックス３０１を示す要素、自動入力ボタン３０２を示す要素、及び、自動入力ボタン３０２が操作された際に実行されるプログラムのコードが付加されている。
　テキストボックス３０１に値が入力された状態で自動入力ボタン３０２がクリックされると、Ｗｅｂブラウザ２２は、付加されたコードに従って自動入力処理を実行する。ここで、お客様コードをキーとした顧客情報が、Ｗｅｂブラウザ２２が参照可能な所定のＤＢに記憶されていることする。また、顧客情報には、漢字氏名、カナ氏名、メールアドレス、電話番号、郵便番号、住所等が含まれることとする。
　例えば、自動入力処理において、Ｗｅｂブラウザ２２は、お客様コード「Ｖ００１」をキーとしてＤＢから顧客情報を取得し、取得した顧客情報を各テキストボックスに入力する。例えば、Ｗｅｂブラウザ２２は、ラベル「お客様氏名」が付されたテキストボックスに「電電　太郎」を入力し、ラベル「お客様氏名（フリガナ）」が付されたテキストボックスに「デンデン　タロウ」を入力し、ラベル「メールアドレス」が付されたテキストボックスに「ＸＸＸ＠ＸＸＸ」を入力し、ラベル「電話番号」が付されたテキストボックスに「ＸＸ－ＸＸＸＸ－ＸＸＸＸ」を入力し、ラベル「郵便番号」が付されたテキストボックスに「ＸＸＸ―ＸＸＸＸ」を入力し、ラベル「住所」が付されたテキストボックスに「ＸＸ県ＸＸ市ＸＸＸ」を入力する。
　ここで、動作指定ＧＵＩ２２１２ａで使用可能なブロックとして、「ボタンＸＸＸがクリックされると処理を開始する」というロジックに対応した第１のブロック、及び「テキストボックスＸＸＸに文字列ＸＸＸを入力する」というロジックに対応した第２のブロックが用意されているものとする。なお、ＸＸＸにはそれぞれ異なる任意の値を設定可能であるものとする。このとき、ユーザは、動作指定ＧＵＩ２２１２ａを介して、自動入力ボタンを指定した１つの第１のブロックと、各テキストボックスを指定した複数の第２のブロックとを組み合わせることで、上述の自動入力処理を指定することができる。
　また、動作指定部２２１２により設定可能な処理は、上述の自動入力処理に限られない。例えば、動作指定部２２１２は、「日付を選択可能なプルダウンを呼び出す」というロジック、又は「日付を選択可能なカレンダーを呼び出す」というロジックに対応したブロックを用意しておいてもよい。この場合、ユーザは、動作指定ＧＵＩ２２１２ａを介して、選択した日付をテキストボックスに入力する処理を設定することができる。
［第１の実施形態の処理］
　図６を用いて、付加処理について説明する。図６は、第１の実施形態に係る付加処理の流れを示すフローチャートである。図６に示すように、まず、端末装置２０は、ユーザによってＵＲＬが指定されると（ステップＳ１０１）、指定ＵＲＬに対するＧＥＴリクエストをＷｅｂサーバ１０に送信する（ステップＳ１０２）。ここで、付加部２１は、Ｗｅｂサーバ１０からのレスポンスメッセージが端末装置２０に届くまで待機する（ステップＳ１０３、Ｎｏ）。
　そして、端末装置２０にＷｅｂサーバ１０からのレスポンスメッセージが届くと（ステップＳ１０３、Ｙｅｓ）、付加部２１は、レスポンスメッセージにエディタ部２２１を付加し（ステップＳ１０４）、ユーザに返却する（ステップＳ１０５）。具体的には、付加部２１は、レスポンスメッセージに、端末装置２０に部品指定部２２１１及び動作指定部２２１２の機能を実行させるプログラムのコードを付加したものをユーザが操作するＷｅｂブラウザ２２に返却する。
　次に、図７を用いて、部品指定処理について説明する。図７は、第１の実施形態に係る部品指定処理の流れを示すフローチャートである。図７に示すように、まず、部品指定部２２１１は、部品指定ＧＵＩ２２１１ａを介して、部品配置モードの選択を受け付ける（ステップＳ２０１）。例えば、部品選択モードは、「既存部品」又は「ウィンドウコーナー」である。
　次に、部品指定部２２１１は、部品指定ＧＵＩ２２１１ａを介して、原点の指定を受け付ける（ステップＳ２０２）。そして、部品指定部２２１１は、部品指定ＧＵＩ２２１１ａを介して、原点からのオフセットの指定を受け付ける（ステップＳ２０３）。そして、部品指定部２２１１は、部品指定ＧＵＩ２２１１ａを介して、追加する部品の選択を受け付ける（ステップＳ２０４）。さらに、部品指定部２２１１は、部品指定ＧＵＩ２２１１ａを介して、部品のパラメータの指定を受け付ける（ステップＳ２０５）。
　ここで、部品指定部２２１１は、追加された部品の各設定内容をルールＤＢ２３に保存する（ステップＳ２０６）。さらに、部品指定部２２１１は、未保存の既存部品の設定内容をルールＤＢ２３に保存する（ステップＳ２０７）。
　次に、図８を用いて、動作指定処理について説明する。図８は、第１の実施形態に係る動作指定処理の流れを示すフローチャートである。図８に示すように、まず、動作指定部２２１２は、対象のＷｅｂページのＵＲＬに対する動作指定ルールがルールＤＢ２３に保存されている場合、当該動作指定ルールをルールＤＢ２３からロードする（ステップＳ３０１）。なお、動作指定ルールは、例えば、スクリプト言語で記述されたコード及び動作指定ＧＵＩ２２１２ａにおけるブロックの組み合わせを所定の形式で表したデータである。
　ここで、動作指定部２２１２は、動作指定ＧＵＩ２２１２ａを介して、ブロックの組み合わせの指定を受け付ける（ステップＳ３０２）。そして、動作指定部２２１２は、受け付けたブロックの組み合わせを基に、スクリプト言語で記述されたプログラムのコードを生成する（ステップＳ３０３）。そして、生成したコード及びブロックの組み合わせを所定の形式で表したデータを、ＵＲＬをキーとしてルールＤＢ２３に保存する（ステップＳ３０４）。
［第１の実施形態の効果］
　部品指定部２２１１は、Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な部品指定ＧＵＩ２２１１ａをＷｅｂブラウザ２２に表示させ、部品指定ＧＵＩ２２１１ａを介して表示態様に関する設定内容の指定を受け付ける。また、動作指定部２２１２は、Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な動作指定ＧＵＩ２２１２ａをＷｅｂブラウザ２２に表示させ、動作指定ＧＵＩ２２１２ａを介して動作に関する設定内容の指定を受け付ける。また、拡張部２２２は、部品指定部２２１１によって受け付けられた表示態様に関する設定内容、及び動作指定部２２１２によって受け付けられた動作に関する設定内容に基づいて、Ｗｅｂページを拡張し、当該拡張したＷｅｂページをＷｅｂブラウザ２２に表示させる。このように、本実施形態では、表示態様及び動作の両方について、ＧＵＩを介したＵＩの拡張を行うことができる。このため、本実施形態によれば、プログラミングに関するスキル及び知識を有しない者であっても、ＵＩの拡張に関する作業を行うことができるようになる。
　付加部２１は、端末装置２０からＷｅｂサーバ１０へ送信されたリクエストメッセージに対し、Ｗｅｂサーバ１０から端末装置２０へ送信されたレスポンスメッセージを取得し、端末装置２０に部品指定部２２１１及び動作指定部２２１２の機能を実行させるプログラムのコードを、レスポンスメッセージに付加する。これにより、Ｗｅｂページを提供しているシステムを変更することなく、部品指定部２２１１及び動作指定部２２１２の機能を実現することが可能となる。また、このとき、エディタを利用するための新たなプログラムのインストールを不要にすることが可能になる。
　部品指定部２２１１は、Ｗｅｂページ、又はＷｅｂページのキャプチャ画像を、部品指定ＧＵＩ２２１１ａにおけるユーザの対話的編集操作の配置作業の背景情報を兼ねて表示させる。これにより、ユーザは、拡張前のＵＩを参照しながら、部品の表示態様の設定内容を指定していくことが可能となるため、作業が効率化され、また、拡張後のＵＩを違和感なく使用することができるようになる。
　部品指定部２２１１は、Ｗｅｂページを構成する部品の位置、色、ラベル、及びアノテーションに関する設定内容の指定を受け付ける。これにより、動作の追加や変更をともなわないＵＩの拡張であれば、ユーザは、動作指定ＧＵＩ２２１２ａを使用せずに、部品指定ＧＵＩ２２１１ａを使用して行うことができるようになるため、ユーザにとってはＵＩの拡張がさらに容易になる。
　動作指定部２２１２は、所定のロジックに対応したブロックを組み合わせることで動作に関する設定内容の指定が可能なＧＵＩを動作指定ＧＵＩ２２１２ａとして表示させる。これにより、ユーザはビジュアルな操作で動作の追加や変更を行うことができるようになる。また、品質やセキュリティ等の観点から問題のあるロジックをあらかじめブロックの機能として提供しないようにし、また、仮にそれを含める機能を提供する場合、問題となる使い方を可能とするような設定を入力できないようにチェック機能により除外しておくことできるようになるため、拡張後のＷｅｂページで問題が発生することを防止することができる。
　なお、本実施例のようにＵＩ拡張の内容を設定するエディタ機能を、表示態様に関する設定及び部品動作に関する設定の２つの側面にわけることで、それぞれに独立して動作可能なエディタプログラムを提供することができるため、実際の業務運用の観点で以下のメリットがある。
　例えば、部品動作の設定を特定のシステムや業務領域に特化させる専用化や個別化を行う場合に、別の動作指定エディタプログラムを提供し必要に応じて部品指定エディタとの組み合せを変えて使い分けることができる。実施例では、JavaScript言語で記述できる内容をそのままブロック化する形式の汎用的なエディタを示しているが、業務領域（例えば、設備管理システム、顧客管理システム、など）のドメインに特化した言語（ＵＩ拡張で提供する専用機能の設定）の記述が可能なエディタを提供することで、ユーザにわかりやすく効率の良い運用が可能となる。既知のドメイン特化言語としては、ロボット制御（参考ＵＲＬ：https://en.wikipedia.org/wiki/RoboBlockly）や３Ｄモデリング（参考ＵＲＬ：https://makerscad.com/index.html#what）等があり、その他の事例も数多く知られている。
　また、第１のＧＵＩと第２のＧＵＩは、同じ端末上で使用する必要はなく、異なるユーザが異なる端末の異なるＷｅｂブラウザ上から作業をすることもできる。さらに、同時に２つのＧＵＩ画面を開いて使用する必要もなく、技術スキルの異なるユーザが別々のタイミングや頻度で使用することもできる。例えば、動作指定のロジックのサンプルを作成することに長けた少数の高スキルユーザが、適用対象システムに対応して必要なロジックを１か月程度の頻度で提供し又は公開し、実際の業務画面に応じて適切なＵＩ拡張のＧＵＩ配置や詳細設定を、実際の業務にあたる多数のオペレータユーザが必要性を認識したその場で適宜に行う（サンプルを利用して最終的なルールを定義する）ことができれば現実の運用において大きなメリットが得られる。
　ちなみに、本発明において目的とするユーザへの便益は、ＵＩ拡張システムであるが、実際の業務シーンにおいては、アノテーションシステムとして簡便に使用したいという要望も数多く存在する。このようなユーザニーズに対しては、部品指定部のみを提供し、動作指定部を使わないか、ごく簡単な動作のみをデフォルトで提供する動作指定部を別途実装するなど、運用にあわせた最小限の構成をとることも可能である。部品指定と配置指定を機能的に分離することで、将来、共通的機能（部品配置機能）のソフトウェア品質向上や実現方式の高度化を行った際に、複数のソリューションで同時にそれらのメリットを享受することができる。
［その他の実施形態］
　第１の実施形態では、ルールＤＢ２３にはＵＲＬをそのものが保存されることとしたが、例えば、ルールＤＢ２３にはＵＲＬの文字列とマッチする正規表現、又はＧＵＩを介してユーザが任意にＵＲＬと関連付けた情報としてもよい。これにより、端末装置２０は、エディタ部２２１で設定された設定内容を、類似した複数のＷｅｂページの拡張に用いることができる。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、端末装置は、第１のＧＵＩ及び第２のＧＵＩのいずれか又は両方を、Ｗｅｂブラウザに表示させるのではなく、クライアントアプリケーションに表示させることができる。この場合、エディタを利用するための新たなプログラムのインストールは必要になるが、ユーザとの対話機能におけるＷｅｂブラウザ上での制限がなくなるため、ユーザビリティの向上が可能となる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、端末装置２０は、パッケージソフトウェアやオンラインソフトウェアとして上記のＵＩ拡張を実行するＵＩ拡張プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記のＵＩ拡張プログラムを情報処理装置に実行させることにより、情報処理装置を端末装置２０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、端末装置２０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記のＵＩ拡張に関するサービスを提供するＵＩ拡張サーバ装置として実装することもできる。例えば、ＵＩ拡張サーバ装置は、リクエストメッセージを入力とし、エディタ部が付加されたレスポンスメッセージを出力とするＵＩ拡張サービスを提供するサーバ装置として実装される。この場合、ＵＩ拡張サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のＵＩ拡張に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図９は、ＵＩ拡張プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、端末装置２０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、端末装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　Ｗｅｂサーバ
　２０　端末装置
　２１　付加部
　２２　Ｗｅｂブラウザ
　２３　ルールＤＢ
　２４　代理部
　２２１　エディタ部
　２２２　拡張部
　２２１１　部品指定部
　２２１１ａ　部品指定ＧＵＩ
　２２１２　動作指定部
　２２１２ａ　動作指定ＧＵＩ

Claims (8)

  1. 　Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な第１のＧＵＩ（Graphical　User　Interface）を端末装置に表示させ、前記第１のＧＵＩを介して前記表示態様に関する設定内容の指定を受け付ける部品指定部と、
    　前記Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な第２のＧＵＩを端末装置に表示させ、前記第２のＧＵＩを介して前記動作に関する設定内容の指定を受け付ける動作指定部と、
    　前記部品指定部によって受け付けられた前記表示態様に関する設定内容、及び前記動作指定部によって受け付けられた前記動作に関する設定内容に基づいて、前記Ｗｅｂページを拡張し、当該拡張したＷｅｂページを端末装置に表示させる拡張部と、
    　を有することを特徴とする端末装置。
  2. 　前記部品指定部は、前記第１のＧＵＩをＷｅｂブラウザに表示させ、
    　前記動作指定部は、前記第２のＧＵＩをＷｅｂブラウザに表示させ、
    　前記拡張部は、前記ＷｅｂページをＷｅｂブラウザに表示させることを特徴とする請求項１に記載の端末装置。
  3. 　前記端末装置からＷｅｂサーバへ送信されたリクエストメッセージに対し、前記Ｗｅｂサーバから前記端末装置へ送信されたレスポンスメッセージを取得し、前記端末装置に前記部品指定部及び前記動作指定部の機能を実行させるプログラムのコードを、前記レスポンスメッセージに付加する付加部をさらに有することを特徴とする請求項１に記載の端末装置。
  4. 　前記部品指定部は、前記Ｗｅｂページ、又は前記Ｗｅｂページのキャプチャ画像を、前記第１のＧＵＩにおけるユーザの対話的編集操作の配置作業の背景情報を兼ねて表示させることを特徴とする請求項１に記載の端末装置。
  5. 　前記部品指定部は、前記Ｗｅｂページを構成する部品の位置、色、ラベル、及びアノテーションに関する設定内容の指定を受け付けることを特徴とする請求項１に記載の端末装置。
  6. 　前記動作指定部は、所定のロジックに対応したブロックを組み合わせることで前記動作に関する設定内容の指定が可能なＧＵＩを前記第２のＧＵＩとして表示させることを特徴とする請求項１に記載の端末装置。
  7. 　端末装置によって実行されるＵＩ拡張方法であって、
    　Ｗｅｂページを構成する部品の表示態様に関する設定内容の指定が可能な第１のＧＵＩ（Graphical　User　Interface）を端末装置に表示させ、前記第１のＧＵＩを介して前記表示態様に関する設定内容の指定を受け付ける部品指定工程と、
    　前記Ｗｅｂページを構成する部品の動作に関する設定内容の指定が可能な第２のＧＵＩを端末装置に表示させ、前記第２のＧＵＩを介して前記動作に関する設定内容の指定を受け付ける動作指定工程と、
    　前記部品指定工程によって受け付けられた前記表示態様に関する設定内容、及び前記動作指定工程によって受け付けられた前記動作に関する設定内容に基づいて、前記Ｗｅｂページを拡張し、当該拡張したＷｅｂページを端末装置に表示させる拡張工程と、
    　を含んだことを特徴とするＵＩ拡張方法。
  8. 　コンピュータを、請求項１から６のいずれか１項に記載の端末装置として機能させるためのＵＩ拡張プログラム。
PCT/JP2018/029466 2017-08-23 2018-08-06 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム WO2019039255A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019538046A JP6750124B2 (ja) 2017-08-23 2018-08-06 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム
US16/640,064 US10951486B2 (en) 2017-08-23 2018-08-06 Terminal device, UI expansion method, and UI expansion program
CN201880052510.XA CN111033465B (zh) 2017-08-23 2018-08-06 终端装置、ui扩展方法和记录介质
EP18847805.1A EP3654175A4 (en) 2017-08-23 2018-08-06 TERMINAL DEVICE, METHOD FOR UI EXTENSION AND PROGRAM FOR UI EXTENSION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017160393 2017-08-23
JP2017-160393 2017-08-23

Publications (1)

Publication Number Publication Date
WO2019039255A1 true WO2019039255A1 (ja) 2019-02-28

Family

ID=65438741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029466 WO2019039255A1 (ja) 2017-08-23 2018-08-06 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム

Country Status (5)

Country Link
US (1) US10951486B2 (ja)
EP (1) EP3654175A4 (ja)
JP (1) JP6750124B2 (ja)
CN (1) CN111033465B (ja)
WO (1) WO2019039255A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039255A1 (ja) * 2017-08-23 2019-02-28 日本電信電話株式会社 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム
US11526350B2 (en) * 2020-03-18 2022-12-13 Red Hat, Inc. Providing code editor documentation pages using a lightweight text formatting language and platform-agnostic command links
US11657117B2 (en) * 2021-03-05 2023-05-23 International Business Machines Corporation Universal interface adapter
CN115379105B (zh) * 2021-05-20 2024-02-27 北京字跳网络技术有限公司 视频拍摄方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181329A (ja) * 2008-01-30 2009-08-13 Bank Of Tokyo-Mitsubishi Ufj Ltd アプリケーション開発支援装置及びプログラム
JP2016110206A (ja) * 2014-12-02 2016-06-20 株式会社野村総合研究所 Ｗｅｂ画面開発支援システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6910044B2 (en) * 2000-09-20 2005-06-21 Sap Aktiengesellschaft Method and apparatus for structuring, maintaining, and using families of data
US7703009B2 (en) * 2001-04-09 2010-04-20 Huang Evan S Extensible stylesheet designs using meta-tag information
US7080083B2 (en) * 2001-12-21 2006-07-18 Kim Hong J Extensible stylesheet designs in visual graphic environments
US20050039108A1 (en) * 2003-08-15 2005-02-17 International Business Machines Corporation Fast tag entry in a multimodal markup language editor
US7934153B2 (en) * 2005-05-06 2011-04-26 Madcap Software, Inc. Visual document structure indicator system
US8543968B2 (en) * 2005-11-17 2013-09-24 Target Health, Inc. System and method for creating, managing, deploying and archiving data-intensive applications and projects
US8370750B2 (en) * 2007-04-06 2013-02-05 International Business Machines Corporation Technology for generating service program
CN100481002C (zh) * 2007-04-18 2009-04-22 杭州华三通信技术有限公司 一种Web界面扩展方法和装置
US8549472B1 (en) * 2007-06-12 2013-10-01 Fair Isaac Corporation System and method for web design
US8205169B1 (en) * 2008-06-10 2012-06-19 Pixar Multiple editor user interface
US9760381B2 (en) * 2009-01-30 2017-09-12 Oracle International Corporation Configurable toolbar
US9123002B2 (en) * 2011-05-27 2015-09-01 Abbott Informatics Corporation Graphically based method for developing rules for managing a laboratory workflow
US8760674B2 (en) * 2011-07-28 2014-06-24 Xerox Corporation Multiple setting user interface with visual icons for customized usability
AU2014302623A1 (en) * 2013-06-24 2016-01-21 Cimpress Schweiz Gmbh System, method and user interface for designing customizable products from a mobile device
US10157046B2 (en) * 2013-11-25 2018-12-18 Infragistics, Inc. Method and apparatus for generating an explorer for user interface prototyping
US10075140B1 (en) * 2014-06-25 2018-09-11 Amazon Technologies, Inc. Adaptive user interface configuration
US9846426B2 (en) * 2014-07-28 2017-12-19 Computational Systems, Inc. Parallel digital signal processing of machine vibration data
US10565293B2 (en) * 2014-08-26 2020-02-18 Adobe Inc. Synchronizing DOM element references
US10908928B2 (en) * 2015-06-26 2021-02-02 Adobe Inc. Rules-based workflow messaging
US20170031877A1 (en) * 2015-07-27 2017-02-02 Adp, Llc Web Page Design System
US9984051B2 (en) * 2016-02-25 2018-05-29 Ca, Inc. Hierarchical identifiers for HTML elements
US20170308278A1 (en) * 2016-04-21 2017-10-26 Schneider Electric Software, Llc Automated graphical user interface configuration
DK179555B1 (en) * 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
WO2019039255A1 (ja) * 2017-08-23 2019-02-28 日本電信電話株式会社 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181329A (ja) * 2008-01-30 2009-08-13 Bank Of Tokyo-Mitsubishi Ufj Ltd アプリケーション開発支援装置及びプログラム
JP2016110206A (ja) * 2014-12-02 2016-06-20 株式会社野村総合研究所 Ｗｅｂ画面開発支援システム

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
GOOGLE BLOCKLY, 5 July 2017 (2017-07-05), Retrieved from the Internet <URL:http://develpers.google.Com/blockly>
HOTTA, KENTARONISHIKAWA, KENICHIMASUDA, TAKESHI: "Application Case Study of Client Autonomous Manipulation Agent", 2009 IEICE SOCIETY CONFERENCE, 2009, pages B-14 - 17
MALONEY, JOHNRESNICK, MITCHELRUSK, NATALIESILVERMAN, BRIANEASTMOND, EVELYN: "The Scratch Programming Language and Environment", ACM TRANSACTIONS ON COMPUTING EDUCATION, vol. 10, no. 4, November 2010 (2010-11-01), XP058232760, DOI: 10.1145/1868358.1868363
NISHIKAWA, KENICHI ET AL.: "A Method for Attaching Additional Functionalities onto Web-based OSS User Interfaces", IEICE TECHNICAL REPORT, vol. 116, no. 124, 30 June 2016 (2016-06-30), pages 63 - 68, XP055672909 *
NISHIKAWA, KENICHIMASUDA, TAKESHIADACHI, HIROYUKITSUCHIKAWA, KIMIOINOUE, AKIRAMARUYAMA, TSUTOMU: "A Method for Attaching Additional Functionalities onto Web-based OSS User Interfaces", IEICE TECHNICAL REPORT, vol. 116, no. 124, July 2016 (2016-07-01), pages 63 - 68
NOSUE, HARUHISAYOKOSE, FUMIHIROMASUDA, TAKESHI: "Scenario Generation Method by GUI Operation in Client Autonomous Manipulation Agent", 2009 IEICE SOCIETY CONFERENCE, 2009, pages B-14 - 16
See also references of EP3654175A4

Also Published As

Publication number Publication date
CN111033465B (zh) 2024-03-29
CN111033465A (zh) 2020-04-17
JPWO2019039255A1 (ja) 2020-01-16
EP3654175A4 (en) 2021-04-21
US20200204458A1 (en) 2020-06-25
EP3654175A1 (en) 2020-05-20
JP6750124B2 (ja) 2020-09-02
US10951486B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
US10067635B2 (en) Three dimensional conditional formatting
JP6750124B2 (ja) 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム
US11790158B1 (en) System and method for using a dynamic webpage editor
US10671357B2 (en) Preview changes to mobile applications at different display resolutions
US10331765B2 (en) Methods and apparatus for translating forms to native mobile applications
CN111598533A (zh) 流程审批处理方法、装置、电子设备及存储介质
US20140081618A1 (en) Designing a website to be displayed in multiple languages
US20140331179A1 (en) Automated Presentation of Visualized Data
US20100077325A1 (en) In Situ Editing of GUI Features
CN112214214A (zh) 针对安卓原生app的低代码开发系统、设备和介质
WO2020004156A1 (ja) 表示制御装置、表示制御方法、および表示制御プログラム
CN113721901A (zh) 一种低代码的财务数据分析可视化引擎
US10303331B2 (en) Live mobile application visual editor demo
US11314530B2 (en) User-based extension setting devices, methods, and programs
CN116610394A (zh) 基于模板和模块的数据可视化页面配置方法、系统和装置
US9785309B2 (en) Method and apparatus for providing a layered webpage
CN114449063A (zh) 一种报文处理方法、装置及设备
CN109190097B (zh) 用于输出信息的方法和装置
CN112231802A (zh) Bim文件的多窗体审查方法、装置以及计算机存储介质
TW201606547A (zh) 用戶定義的動態事件
KR102382703B1 (ko) 어플리케이션 개발을 위한 멀티채널통합플랫폼 저작장치 및 저작방법
JP6483633B2 (ja) 画像再構成装置、画像再構成方法、および、画像再構成プログラム
WO2022259497A1 (ja) シナリオ設定装置、シナリオ設定方法及びシナリオ設定プログラム
US20240126577A1 (en) Visualization of application capabilities
JP2012194616A (ja) オブジェクト指向モデル設計支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18847805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019538046

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018847805

Country of ref document: EP

Effective date: 20200213