WO2022180704A1 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
WO2022180704A1
WO2022180704A1 PCT/JP2021/006942 JP2021006942W WO2022180704A1 WO 2022180704 A1 WO2022180704 A1 WO 2022180704A1 JP 2021006942 W JP2021006942 W JP 2021006942W WO 2022180704 A1 WO2022180704 A1 WO 2022180704A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
dialogue
gui
display control
unit
Prior art date
Application number
PCT/JP2021/006942
Other languages
English (en)
French (fr)
Inventor
真実 小宮山
明 片岡
英毅 小矢
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023501732A priority Critical patent/JPWO2022180704A1/ja
Priority to PCT/JP2021/006942 priority patent/WO2022180704A1/ja
Publication of WO2022180704A1 publication Critical patent/WO2022180704A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the present invention relates to a display control device, a display control method, and a display control program.
  • chatbot which enables proxy operations from the dialogue system, mainly automates work such as source code version number management work in software development by inputting commands to the chatbot.
  • the chatbot itself has a program and an interface for automatically executing an application (see Non-Patent Document 1, for example).
  • the dialog system when the dialog system performs a proxy operation for PC (Personal Computer) work, the dialog system internally retains information for performing the proxy operation, but the user wants to check and modify that information.
  • PC Personal Computer
  • one possible countermeasure is to prepare a dedicated screen separate from the chat UI and have the user perform the operations. For example, when accepting redelivery from a shipping company, the user is first notified via a chat UI, linked to a dedicated screen, asked to enter necessary information, and if necessary, the entered information is reflected in the dialogue system. do. In this way, by preparing a dedicated screen separately from the chat UI, the problems related to user input (improved visibility and efficiency) can be solved.
  • a display control device includes a reading unit that reads dialogue scenario information including an utterance text for each dialogue and a transition condition list, and a transition condition list based on the transition condition list.
  • an acquisition unit that acquires information about the dialogue that is currently transitioning, an identification unit that identifies the dialogue that is transitioning based on the information about the dialogue that is currently transitioning, and the dialogue that is currently transitioning a receiving unit that receives the dialog scenario information corresponding to the above; a generating unit that generates GUI (Graphical User Interface) information to be displayed based on the dialog scenario information received by the receiving unit; and a display unit for displaying a GUI representing an internal state of the interactive program based on the generated GUI information to be displayed.
  • GUI Graphic User Interface
  • a display control method is a display control method executed by a display control device, comprising: a reading step of reading dialogue scenario information including an utterance text for each dialogue and a transition condition list; an obtaining step of obtaining information about the dialogue that is currently transitioning based on; an identifying step of identifying the dialogue that is transitioning based on the information about the dialogue that is currently transitioning; a receiving step of receiving the dialogue scenario information corresponding to the existing dialogue; a generating step of generating GUI information to be displayed based on the dialogue scenario information received by the receiving step; and a display step of displaying a GUI representing an internal state of the interactive program based on the information of the GUI to be displayed.
  • the display control program includes a reading step of reading dialogue scenario information including an utterance text for each dialogue and a transition condition list, and acquiring information about the dialogue currently transitioning based on the transition condition list. a identifying step of identifying the dialogue that is transitioning based on the information about the dialogue that is currently transitioning; and a receiving step of receiving the dialogue scenario information corresponding to the dialogue that is currently transitioning a generation step of generating GUI information to be displayed based on the dialogue scenario information received by the receiving step; and a display step of displaying a GUI representing the state.
  • FIG. 1 is a diagram showing a configuration example of a display control system according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration example of the display control device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of dialogue scenario creation 1 according to the first embodiment.
  • FIG. 4 is a diagram showing an example of dialogue scenario creation 2 according to the first embodiment.
  • FIG. 5 is a diagram showing an example of dialogue scenario information according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a business image according to the first embodiment.
  • FIG. 7 is a diagram showing an example of various data settings 1 according to the first embodiment.
  • FIG. 8 is a diagram showing an example of various data settings 2 according to the first embodiment.
  • FIG. 9 is a diagram showing an example of display control processing 1-1 according to the first embodiment.
  • FIG. 10 is a diagram showing an example of display control processing 1-2 according to the first embodiment.
  • FIG. 11 is a diagram showing an example of display control processing 1-3 according to the first embodiment.
  • FIG. 12 is a diagram showing an example of display control processing 1-4 according to the first embodiment.
  • FIG. 13 is a diagram showing an example of GUI generation processing 1-1 according to the first embodiment.
  • FIG. 14 is a diagram showing an example of GUI generation processing 1-2 according to the first embodiment.
  • FIG. 15 is a diagram showing an example of display control processing 2-1 according to the first embodiment.
  • FIG. 16 is a diagram showing an example of display control processing 2-2 according to the first embodiment.
  • FIG. 17 is a diagram showing an example of display control processing 3 according to the first embodiment.
  • FIG. 18 is a diagram showing an example of GUI control processing 2 according to the first embodiment.
  • FIG. 19 is a flowchart showing an example of the flow of internal status board control processing according to the first embodiment.
  • FIG. 20 is a flowchart showing an example of the flow of GUI control processing according to the first embodiment.
  • FIG. 21 is a diagram showing a computer that executes a program.
  • Embodiments of a display control device, a display control method, and a display control program according to the present invention will be described in detail below based on the drawings. In addition, this invention is not limited by embodiment described below.
  • FIG. 1 is a diagram showing a configuration example of a display control system according to the first embodiment.
  • This system 100 includes a user 20, a chat UI 30 involved in the processing of a display control device 10 (not shown), a dialog program 40, an internal state board 50 which is a GUI representing the internal state of the dialog program, and a dialog scenario information storage unit 14a.
  • the user 20, the chat UI 30, the dialogue program 40, the display control device 10 involved in the internal status board 50, and the dialogue scenario information storage unit 14a are wired or wirelessly connected via a predetermined communication network (not shown). Communicatively connected.
  • the display control system 100 shown in FIG. 1 may include multiple display control devices 10 and multiple users 20 .
  • the user 20 performs operations such as text input on the chat UI 30 used in the interactive system of the display control device 10 (see FIG. 1(1)).
  • Information that is input to the chat UI 30 is circulated and sent to an interactive program 40 such as a chatbot (or "bot" as appropriate) (see FIG. 1(2)).
  • the dialog program 40 responds to the chat UI 30 (see (3) in FIG. 1), and the content of the dialog is displayed from the chat UI 30 to the user 20 (see (4) in FIG. 1).
  • a dialogue scenario necessary for processing the dialogue program 40 is read from the dialogue scenario information storage unit 14a.
  • the internal state of the dialog program is at least the transition state of the dialog and the data values necessary for executing the functions of the dialog system, and is information stored in the internal state storage unit 14b.
  • the internal state is information relating to the flow such as dialogue history and progress status, as well as data values in general necessary for operation of various tasks such as proxy operation, but is not particularly limited.
  • the node indicated as "current position” in the “internal state flow (image) of the dialog program” of the dialog program 40 corresponds to the dialog that is currently transitioning.
  • the node indicated as "node performing proxy operation” in the above “internal state flow (image) of dialog program” represents a dialog capable of performing proxy operation to another system.
  • the image of work such as proxy operation will be described later in (Work image).
  • the internal state stored in the internal state storage unit 14b (not shown) is updated (Fig. 1 (6 )reference).
  • a GUI is generated based on the internal state after the change and the dialogue scenario (see FIG. 1 (7)).
  • an internal state board 50 indicating the internal state after the change is displayed for the user 20 (see FIG. 1(8)).
  • the internal state board 50 is a GUI for presenting the internal state of the dialog program, but the UI and window size are variable, and the context (transition state) of the dialog or user operation on the terminal (e.g. The display contents are switched by pressing a button on another system, etc.). Additionally, the internal state board 50 may initially be blank, transparent, or of size zero.
  • the chat UI 30 is a UI for accessing the interactive program (bot), and may be displayed so as to overlap the window of the internal status board 50, or may be displayed independently.
  • the display control system 100 has a screen (internal state board) 50 for displaying and editing the internal state of the dialogue program, separately from the chat UI 30, and displays the current dialogue transition state and the dialogue scenario or dialogue.
  • the display of the GUI of the internal state board 50 is controlled based on the data associated with the scenario. This makes it easier for the user 20 to understand and edit the internal state of the interactive program. In other words, the internal state of the chatbot 40 is presented to the user 20 so that the user 20 can easily judge whether or not to execute the proxy operation. Make it easy to check and fix. Furthermore, since the GUI of the internal status board is automatically generated when the dialog scenario is generated, there is no need to create a dedicated screen each time. The dialogue scenario will be described later in [Various Setting Processing of Dialogue Scenario, etc.].
  • FIG. 2 is a block diagram showing a configuration example of the display control device according to this embodiment.
  • the display control device 10 has an input unit 11 , an output unit 12 , a communication unit 13 , a storage unit 14 and a control unit 15 .
  • the input unit 11 is in charge of inputting various types of information to the display control device 10.
  • the input unit 11 is, for example, a mouse, a keyboard, or the like, and receives input such as setting information to the display control device 10 .
  • the output unit 12 controls output of various information from the display control device 10 .
  • the output unit 12 is, for example, a display or the like, and outputs setting information or the like stored in the display control device 10 .
  • the communication unit 13 manages data communication with other devices. For example, the communication unit 13 performs data communication with each communication device. Further, the communication unit 13 can perform data communication with an operator's terminal (not shown).
  • the storage unit 14 stores various information referred to when the control unit 15 operates and various information acquired when the control unit 15 operates.
  • the storage unit 14 has a dialogue scenario information storage unit 14a and an internal state storage unit 14b.
  • the storage unit 14 is, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 14 is installed inside the display control device 10 in the example of FIG. good.
  • the dialogue scenario storage unit 14a stores dialogue scenario information, display content setting information, GUI configuration information, and the like.
  • the dialogue scenario storage unit 14a stores, as dialogue scenario information, basic node information such as a node ID (identification), node name, node type, speech text, transition condition list, board display control, etc., and settings for substitute operation. etc. is stored.
  • the dialogue scenario storage unit 14a also stores a display list, a GUI configuration list, and the like as display content setting information.
  • the dialogue scenario storage unit 14a also stores information for displaying a GUI such as HTML (Hypertext Markup Language) as GUI configuration information.
  • the internal state storage unit 14b stores transition states of dialogue, data values necessary for executing functions of the dialogue system, and the like.
  • the control unit 15 controls the display control device 10 as a whole.
  • the control unit 15 includes a reading unit 151a, a detection unit 151b, an acquisition unit 151c, a specification unit 151d, a setting unit 151e and a reflection unit 151f as the internal status board control unit 151, and a reception unit 152a and a generation unit 152b as the GUI control unit 152. and a display portion 152c.
  • the control unit 15 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the reading unit 151a reads dialogue scenario information including the utterance text for each dialogue and the transition condition list. For example, the reading unit 151a reads dialogue scenario information including settings for node ID, node name, node type, speech text, transition condition list, board display control, and proxy operation. Further, the reading unit 151a reads display content setting information including a display list specifying key information and a GUI configuration list specifying GUI configuration information. Further, the reading unit 151a reads GUI configuration information. For example, the reading unit 151a reads information for displaying a GUI such as HTML as the GUI configuration information.
  • the detection unit 151b detects the operation of the user who conducts the dialogue. For example, the detection unit 151b detects input processing and update processing of text data on the internal state board 50 in the terminal of the user 20 who conducts the dialogue. Further, the detection unit 151b may detect a user operation such as a text data input process or a click to another application such as the chat UI 30 or a business system on the terminal of the user 20 who conducts the dialogue.
  • the acquisition unit 151c acquires information about the currently transitioning dialogue based on the transition condition list. In addition, the acquisition unit 151c acquires information about the currently transitioning dialogue based on the transition condition list and the user's operation. For example, the acquisition unit 151c acquires a transition condition list and a user's operation history as information about the dialogue that is currently transitioning. Further, the obtaining unit 151c obtains the node ID, node name, node type, and board display control corresponding to the currently transitioned dialogue identified by the identifying unit 151d as information about the currently transitioned dialogue.
  • the identifying unit 151d identifies the dialogue that is currently transitioning based on the information about the dialogue that is currently transitioning. For example, the identification unit 151d identifies a transitional dialogue based on the transition condition list and the user's operation history. In addition, the identifying unit 151d identifies the node ID, node name, node type, and board display control corresponding to the currently transiting dialogue. Further, the identifying unit 151d transmits the node ID, node name, node type, and board display control corresponding to the identified current transition dialogue to the acquiring unit 151c.
  • the setting unit 151e sets display or non-display of the GUI representing the internal state of the dialog program, based on the information about the currently transitioning dialog acquired by the acquisition unit 151c. For example, the setting unit 151e sets the display of the GUI representing the internal state of the dialogue program when the board display control corresponding to the currently transitioning dialogue is "display”. On the other hand, the setting unit 151e sets the non-display of the GUI representing the internal state of the dialogue program when the board display control corresponding to the currently transitioning dialogue is "non-display”. Furthermore, the setting unit 151e may set the display method such as the window size and color of the GUI representing the internal state of the dialog program for each node ID, node name, and node type corresponding to the currently transitioning dialog. .
  • the reflecting unit 151f When a change to the GUI representing the internal state of the interactive program is input, the reflecting unit 151f reflects the input change to the internal state of the interactive program. For example, when the detection unit 151b detects input processing of text data on the internal state board 50, the reflection unit 151f stores the input processed text data in the internal state storage unit 14b. Reflect changes.
  • the receiving unit 152a receives dialogue scenario information corresponding to the dialogue that is currently transitioning. In addition, the receiving unit 152a receives display content setting information corresponding to the currently transitioning dialogue. Furthermore, the receiving unit 152a receives GUI configuration information corresponding to the currently transitioning dialogue.
  • the generating unit 152b generates GUI information (GUI drawing information) to be displayed based on the dialogue scenario information received by the receiving unit 152a. For example, the generating unit 152b uses information that matches predetermined key information to generate GUI information to be displayed. Also, the generation unit 152b extracts the corresponding information from the dialogue scenario information using the information specified in the display list included in the display content setting information as a key, and the key name of the extracted information as the label and the data value as the text box. Generate GUI information to be displayed as Furthermore, the generating unit 152b generates information of the GUI to be displayed based on the GUI configuration information received by the receiving unit 152a. For example, when the display content setting information read by the reading unit 151a includes a GUI configuration list, the generation unit 152b selects the information of the GUI to be displayed based on the GUI configuration information specified by the GUI configuration list. Generate.
  • GUI drawing information GUI drawing information
  • the display unit 152c displays a GUI (internal state board) 50 representing the internal state of the interactive program based on the GUI information to be displayed generated by the generation unit 152b.
  • GUI internal state board
  • the display unit 152c displays the key name of the information generated by the generation unit 152b as a label and the data value as a text box. If the data values are a list, the display unit 152c displays them in an enumerated arrangement.
  • the display unit 152c may display a button at the bottom of the internal state board 50 for reflecting the internal state storage unit 14b by the reflecting unit 151f.
  • FIG. 3 and 4 are diagrams showing an example of dialogue scenario creation according to the first embodiment.
  • FIG. 5 is a diagram showing an example of dialogue scenario information according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a business image according to the first embodiment.
  • 7 and 8 are diagrams showing examples of various data settings according to the first embodiment.
  • FIG. 3 shows an image of the internal state flow of the dialogue program, and nodes (a) to (v) correspond to processing such as dialogue. Terminal nodes (f), (j), (n), (q), (u), and (v) represent "nodes returning to the start”. to return to the first dialogue.
  • a dialogue scenario (dialogue scenario information) is configured by setting information for each node. Also, each node has a "speech text" and a "transition condition list", and the dialogue scenario transitions according to the designated transition conditions.
  • node (a) in FIG. 3 Using node (a) in FIG. 3, a specific example of basic node information and transition conditions will be described.
  • the "node id” is "node0000”
  • the "node name” is "start”
  • the "node type” is "normal”
  • the "utterance text” is "Hello!
  • "display” as "board display control”, etc. are expressed using Json (JavaScript (registered trademark) Object Notation) (see FIG. 3(1)).
  • “normal” is a normal node (normal processing)
  • “action” is a surrogate operation node (surrogate operation process).
  • “(id of node 1-1)”, “(id of node 2-1)”, and “id of (node 3-1)” in the “transition condition list” are destination nodes.
  • "Board display control” may be set for each node, with “display” indicating internal status board display and “non-display” indicating internal status board non-display.
  • Dialogue scenario creation 2 is a setting that allows each node to have setting information for "proxy operation" and "acquisition of data necessary for proxy operation".
  • setting examples (1) to (5) of each node are expressed using Json.
  • (information for specifying the UI) is specified by, for example, selector information (HTML), screen layout order (index number), or the like.
  • selector information HTML
  • screen layout order index number
  • FIG. 4 the information is described separately from the basic information of the node described in FIG. 3, but it may be described in the same Json file.
  • proxy operation at the end of the node information, "(proxy operation id)" as “proxy operation id”, "(description of proxy operation)” as “proxy operation name”, and "usage data List” ⁇ “user ID”: “(user ID value)” ⁇ , ⁇ “user name”: “(user name value)” ⁇ , ..., ⁇ “correspondence details”: “(correspondence detail value) ⁇ , ⁇ “remarks”: “(value of remarks)” ⁇ are described (see FIG. 4(4)). Note that the node for which the proxy operation is performed is a node whose node type is "action”.
  • proxy operation execution information "action123456" is described as “agent operation id” and "(function execution program for proxy operation)” is described as “content of proxy operation” (see (5) in FIG. 4).
  • (function execution program for proxy operation) means, for example, the script language itself (example: JavaScript), information for RPA (Robotic Process Automation) application execution (example: exe path, scenario to be read Path), a set of dedicated instructions for operating the substitute operation execution system included in the dialogue system, but is not particularly limited.
  • Dialog scenario information An image of dialogue scenario information according to this embodiment will be described in detail with reference to FIG.
  • An example of proxy operation execution information is expressed using Json.
  • the settings of one file having the structure shown in FIG. 5 correspond to one dialogue scenario, but the file structure is not particularly limited. Also, the description format is not limited to Json, and any format may be used as long as the information can be identified.
  • FIG. 6 shows a concrete business image and the final substitute operation using an image of the internal state flow of the dialogue program. Note that, in the flow of FIG. 6, when a substitute operation is executed, a transition is made to a "return to start node" to return to the initial dialogue.
  • business image 1 is "register customer information to system A”
  • data transfer to system B is executed as a proxy operation.
  • work image 2 is "registration of project information to system B", in work image 2-1, "new registration” is performed, and "progress management table creation” is executed as a substitute operation
  • work image 2-2 "Updating progress management table” is executed as a substitute operation after "Updating project information”
  • “Creation of quotation” is executed as a substitute operation after "Registering order information” in Operation Image 2-3.
  • work image 3 is "ordering of goods to system C”
  • "email sending” is executed as a substitute operation.
  • Various data settings 1 Various data settings 1 according to this embodiment will be described in detail with reference to FIG.
  • the setting 1 of various data enables each setting content to be set by a dedicated editor (GUI) or the like, that is, to be set in low code.
  • GUI dedicated editor
  • Various data setting 1 is an image of setting node properties, and various data can be changed.
  • the detailed setting information of the node is output from the GUI that specifies the data acquisition destination using a dedicated editor (see FIG. 7 (1)).
  • the information specifying the data acquisition destination is the selector information of HTML, the index number of the screen layout, or the like, but is not particularly limited.
  • various information is input to the output display screen (see FIG. 7(2)).
  • the setting example for data acquisition shown in FIG. 7(3) and the setting example of the data acquisition destination shown in FIG. 7(4) can be set.
  • various settings for the node are completed (see (5) in FIG. 7). Note that the above setting process may be executed manually by the user or by another application.
  • Various data settings 2 can be set in low code even for a node (node type: action) that has information about a proxy operation.
  • FIG. 9 to 12 are diagrams showing an example of display control processing 1 according to the first embodiment.
  • the user 20 performs an input operation or the like on the chat UI 30 (see FIG. 9 (1)). Also, the user 20 may perform an input operation or the like on the business system (see (2) in FIG. 9).
  • the transition condition of the dialogue system is satisfied by the operation of the user 20
  • the internal state of the dialogue program transitions (see (3) in FIG. 9).
  • information such as the utterance text included in the basic information of the node shown in FIG. 9(4) of the current transition node is made to correspond to the chat UI 30 (see FIG. 9(5)).
  • the chat UI 30 speaks (see (6) in FIG. 9).
  • the transition state based on the operation of the user 20 is reflected, and the display of the internal state board 50 is updated (see FIG. 9(7)).
  • Display control processing 1-2 is a process of rewriting the data values displayed on the internal state board 50.
  • the user 20 manually inputs data value corrections and unacquired values to the internal status board 50 (see FIG. 10 (1)).
  • the user 20 presses the apply button on the internal status board 50 to complete the input (see FIG. 10(2)).
  • the data corrected and input processed by the user 20 are reflected in the internal state storage unit 14b (see FIG. 10(3)).
  • the user 20 performs an input operation or the like on the chat UI 30 (see FIG. 11 (1)). Also, the user 20 may perform an input operation or the like on the business system (see FIG. 11(2)).
  • the transition condition of the dialogue system is satisfied by the operation of the user 20
  • the internal state of the dialogue program transitions (see FIG. 11(3)).
  • the chat UI 30 speaks based on the information such as the speech text included in the basic information of the nodes shown in FIG.
  • the transition state based on the operation of the user 20 is reflected, and the display of the internal state board 50 is updated (see FIG. 11 (6)).
  • the user 20 performs an input operation on the internal state board 50 and, if necessary, corrects data values (see FIG. 12 (1)). Also, the user 20 performs an input operation or the like on the chat UI 30 (see FIG. 12(2)). At this time, for example, if the chat UI 30 utters, "Do you want to automatically execute the progress management form?" reference). At this time, the control unit 15 reads and executes the information about the proxy operation enclosed by the dashed lines in FIGS. 12(4) and 12(5). On the other hand, if "No" is entered, the process returns to the start. Finally, the internal state transitions and returns to the start (see FIG. 12 (6)).
  • GUI generation processing 1 GUI generation processing 1 according to the present embodiment will be described in detail with reference to FIGS. 13 and 14.
  • FIG. 13 and 14 are diagrams illustrating an example of GUI generation processing according to the first embodiment.
  • GUI generation processing 1-1 The GUI generation processing 1-1 according to this embodiment will be described in detail with reference to FIG.
  • the generation unit 152b has a unique GUI generation logic. If a key name is specified with , the GUI of the internal state board is displayed by the original GUI generation logic.
  • the generation unit 152b displays the key name as a label, displays the data value in a text box, lists the data value if it is an array, acquires the value of the text box from the internal state storage unit 14b, It has a GUI generation logic for displaying buttons reflected in the state storage unit 14b at the bottom of the board.
  • the GUI generation logic described above can also create and modify GUI linking definitions in external files.
  • FIG. 13(4) shows an example of display content setting information that specifies the above information (key value).
  • the node type is "normal"
  • the key name is described in the display list, and the corresponding information is displayed.
  • GUI generation processing 1-2 GUI generation processing 1-2 according to this embodiment will be described in detail with reference to FIG.
  • the information (key value) designated by the display content setting information among the information held by the node that is currently transitioning is displayed on the internal state board 50.
  • FIG. 14 (3) An example of display content setting information that specifies the above information (key value) is shown in FIG. 14 (3). At this time, the node type is "action”, the key name is described in the display list, and the corresponding information is displayed.
  • the "progress management table update" and "usage data list” shown in the display example of the internal state board include the node information shown in FIGS. The information enclosed by the dashed line is displayed.
  • FIG. 15 and 16 are diagrams showing an example of display control processing 2 according to the first embodiment.
  • Display control processing 2-1 Display control processing 2-1 according to the present embodiment will be described in detail with reference to FIG.
  • the display control process 2-1 is basically a process in which the internal status board 50 is not displayed.
  • the user 20 performs an input operation or the like on the business system (see FIG. 15 (1)).
  • the internal state of the dialogue program transitions (see FIG. 15(2)).
  • the chat UI 30 is made to correspond to the information such as the utterance text included in the basic information of the node shown in FIG. 15(3) of the node to which the current transition is made (see FIG. 15(4)).
  • the chat UI 30 speaks (see (5) in FIG. 15).
  • the internal status board 50 is hidden because the "board display control" of the transitioned node is designated as "hidden".
  • the user 20 performs an input operation or the like on the chat UI 30 (see FIG. 16 (1)). Also, the user 20 may perform an input operation or the like on the business system (see FIG. 16(2)).
  • the transition condition of the dialogue system is satisfied by the operation of the user 20
  • the internal state of the dialogue program transitions (see FIG. 16(3)).
  • information such as the utterance text included in the basic information of the node shown in FIG. 16(4) of the current transition node is made to correspond to the chat UI 30 (see FIG. 16(5)).
  • the chat UI 30 speaks (see (6) in FIG. 16).
  • the transition state based on the operation of the user 20 is reflected, and the display of the internal state board 50 is started (see FIG. 16(7)).
  • Display control processing 3 is a diagram showing an example of display control processing 3 according to the first embodiment.
  • the display control process 3 is a process of defining and reading GUI configuration information to display an arbitrary GUI when a sophisticated GUI is to be set.
  • the display control process 3 can also rewrite the internal state itself from the GUI of the internal state board. Processing common to the above-described display control processing 1 and display control processing 2 will be omitted.
  • GUI display inside the internal state board 50 is performed based on the information from the dialogue scenario.
  • the association between interpretation of flow information and GUI display may be defined independently of implementation of the interactive system according to the content to be displayed.
  • the definition information of the association can be held in an external file, and the internal status board control section 151 can interpret and display it (see FIG. 17(1)).
  • a node whose node type is "action" is recursively searched from the nodes in the current transition state, and the information of the matched node is used (Fig. 17 ( 2) See).
  • "update item information" shown in the display example of the internal state in FIG. 17 represents the node name of the current transition state.
  • "Update progress management table” and the like are substitute operation names, and adjacent bars and percentages indicate the calculated fill rate of the usage data list.
  • the candidates for "previous flow” and "next flow” shown in the display example of the internal state in FIG. 17 represent the node name of the previous flow and the node name of the next flow, respectively.
  • the transition state of the flow can be moved and the internal state can be rewritten (see (3) in FIG. 17). Furthermore, by pressing the button "confirm transition condition” shown in the display example of the internal state in FIG. 17, the transition condition can be read and displayed (see FIG. 17 (4)).
  • GUI generation processing 2 GUI generation processing 2 according to the present embodiment will be described in detail with reference to FIG.
  • FIG. 18 is a diagram showing an example of GUI generation processing 2 according to the first embodiment.
  • GUI generation processing 2 is processing for setting an advanced GUI. Processing common to the GUI generation processing 1-1 and GUI generation processing 1-2 described above will be omitted.
  • FIG. 18(1) shows an example of the display content setting information of the internal status board 50.
  • FIG. 18(2) An example of GUI configuration information is shown in FIG. 18(2).
  • GUI configuration IDs of linked GUI configuration information are described as a GUI configuration list.
  • the generation unit 152b of the display control device 10 creates a GUI to be displayed based on the GUI configuration information specified by the GUI configuration list.
  • GUI configuration information shown in FIG. 18(2) describes information for setting a specific GUI (see FIG. 18(3)). For example, if the internal state board 50 has a web-based display engine, HTML, Javascript, etc. are described. Although FIG. 18(3) shows an example of HTML, the node name or the like is retrieved by accessing the internal state storage unit 14b, and the corresponding internal state board 50 is displayed (see FIG. 18(4)). ).
  • the above-described process generates a GUI based on static GUI configuration information (files), but is not particularly limited.
  • dialogue scenario trends e.g. number of branches, hierarchy, number of acquired/used data
  • inference can be made based only on dialogue scenario information (Json), and processes such as dynamically generating GUI configuration information. may be performed and displayed as a GUI on the internal state board.
  • FIG. 19 is a flowchart showing an example of the flow of internal status board control processing according to the first embodiment.
  • the reading unit 151a of the internal state board control unit 151 reads dialogue scenario information and display content setting information from the dialogue scenario information storage unit 14a (step S101). Also, the reading unit 151a reads GUI configuration information if necessary.
  • the detection unit 151b starts monitoring (change detection) of the internal state storage unit 14b (step S102). At this time, the detection unit 151b detects a user's operation and detects a change in the internal state corresponding to the operation. Subsequently, when the information in the internal state storage unit 14b is changed, that is, when a change in the internal state is detected (step S103: Yes), the acquisition unit 151c retrieves the currently transitioned information from the internal state storage unit 14b.
  • the node information (dialogue transition state) is acquired (step S104). At this time, the specifying unit 151d specifies the node to which the transition is currently made. On the other hand, if the information in the internal state storage unit 14b is not changed, that is, if no change in the internal state is detected (step S103: No), the process proceeds to step S103.
  • GUI control processing is performed by the GUI control unit 152, the GUI is displayed on the window of the internal state board 50, and the process proceeds to step S103.
  • the GUI control process is not performed and the process proceeds to step S103.
  • FIG. 20 is a flowchart showing an example of the flow of GUI control processing according to the first embodiment.
  • the reception unit 152a of the GUI control unit 152 receives dialogue scenario information and display content setting information linked to the node currently transited. Also, if necessary, the receiving unit 152a receives the GUI configuration information linked to the node to which the transition is currently made (step S201). At this time, the receiving unit 152a may receive various information from the acquisition unit 151c of the internal state board control unit 151, or may receive various information from the dialogue scenario information storage unit 14a.
  • the generating unit 152b generates information specified in the display list described in the display content setting information. is used as a key to extract corresponding information from the dialogue scenario information (step S203), and generate GUI information (GUI drawing information) displaying the key name of the extracted information as a label and the data value as a text box (step S204). ), the GUI drawing information is updated so that the button to be reflected in the internal state storage unit 14b is displayed at the bottom of the board (step S205).
  • the generation unit 152b creates a GUI to be displayed based on the GUI configuration information linked to the GUI configuration list.
  • information (GUI drawing information) is generated (step S206).
  • the display unit 152c displays the GUI of the internal state board based on the GUI drawing information generated by the generation unit 152b (step S207), and ends the process. At this time, if the information (value value of the key value) corresponding to the GUI to be displayed is stored in the internal state storage unit 14b, the display unit 152c reflects the information as the data value of the GUI.
  • dialogue scenario information including an utterance text for each dialogue and a transition condition list is read, and based on the transition condition list, information regarding the dialogue currently in transition is obtained.
  • identifying the dialogue that is transitioning based on the information about the dialogue that is currently transitioning receiving dialogue scenario information corresponding to the dialogue that is currently transitioning, and displaying based on the received dialogue scenario information GUI information to be displayed is generated, and based on the generated GUI information to be displayed, the GUI representing the internal state of the interactive program is displayed. Therefore, in this process, it is possible to easily perform a proxy operation in a dialogue system using a chat UI.
  • the operation of the user who conducts the dialogue is detected, and information regarding the currently transitioning dialogue is acquired based on the transition condition list and the user's operation. For this reason, in this processing, in a dialogue system using a chat UI, by detecting a user operation, it is possible to perform a substitute operation more easily.
  • display or non-display of the GUI representing the internal state of the dialogue program is set based on the acquired information regarding the dialogue that is currently transitioning. Therefore, in this processing, in a dialogue system using a chat UI, the user can efficiently display and edit the internal state of the dialogue program, thereby making it possible to perform substitute operations more easily.
  • the GUI configuration information is read, the GUI configuration information corresponding to the currently transitioning dialogue is received, and the GUI to be displayed is displayed based on the received GUI configuration information.
  • information matching predetermined key information is used to generate GUI information to be displayed. Therefore, in this processing, in a dialogue system using a chat UI, the user can more efficiently display and edit the internal state of the dialogue program, thereby making it possible to perform substitute operations more easily.
  • each component of each device shown in the drawings according to the above embodiment is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawing.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • each processing function performed by each device may be implemented in whole or in part by a CPU and a program analyzed and executed by the CPU, or implemented as hardware based on wired logic.
  • ⁇ program ⁇ It is also possible to create a program in which the processing executed by the display control device 10 described in the above embodiment is described in a computer-executable language. In this case, the same effects as those of the above embodiments can be obtained by having the computer execute the program. Further, such a program may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer and executed to realize processing similar to that of the above embodiments.
  • FIG. 21 is a diagram showing a computer that executes a program.
  • computer 1000 includes memory 1010, CPU 1020, hard disk drive interface 1030, disk drive interface 1040, serial port interface 1050, video adapter 1060, and network interface 1070, for example. , and these units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012, as illustrated in FIG.
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 as illustrated in FIG.
  • Disk drive interface 1040 is connected to disk drive 1100 as illustrated in FIG.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120, as illustrated in FIG.
  • Video adapter 1060 is connected to display 1130, for example, as illustrated in FIG.
  • the hard disk drive 1090 stores an OS 1091, application programs 1092, program modules 1093, and program data 1094, for example. That is, the above program is stored in, for example, the hard disk drive 1090 as a program module in which instructions to be executed by the computer 1000 are written.
  • the various data described in the above embodiments are stored as program data in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes various processing procedures.
  • program module 1093 and program data 1094 related to the program are not limited to being stored in the hard disk drive 1090. For example, they may be stored in a removable storage medium and read by the CPU 1020 via a disk drive or the like. . Alternatively, the program module 1093 and program data 1094 related to the program are stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.), and via the network interface 1070 It may be read by CPU 1020 .
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置（１０）は、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込部（１５１ａ）と、遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得部（１５１ｃ）と、現在遷移している対話に関する情報に基づいて、現在遷移している対話を特定する特定部（１５１ｄ）と、現在遷移している対話に対応する対話シナリオ情報を受信する受信部（１５２ａ）と、受信部（１５２ａ）によって受信された対話シナリオ情報に基づいて、表示するＧＵＩ（Graphical　User　Interface）の情報を生成する生成部（１５２ｂ）と、生成部（１５２ｂ）によって生成された表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示部（１５２ｃ）とを備える。

Description

表示制御装置、表示制御方法および表示制御プログラム
　本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。
　従来、チャットＵＩ（User　Interface）を用いた対話システムにおいて、対話の遷移状態（適宜、「コンテキスト」）を管理し、応答内容を制御するシステム構成がある。さらに、対話システムを介して、別のシステムを操作する場合には、操作実行するための情報を取得（スロット充足）、管理する必要があり、対話システムの意図推定、スロット充足のための技術もある。
　一方、対話システムから代行操作を可能とする「ChatOps」は、主にソフトウェア開発におけるソースコードの版数管理作業等の作業をチャットボットへコマンド入力することにより自動化する。ここでは、チャットボット自体がアプリケーションを自動実行するためのプログラムおよびインターフェースを持つ（例えば、非特許文献１参照）。
Storey　M　and　Zagalsky、　"Disrupting　Developer　Productivity　One　Bot　at　a　Time"、　2016
　しかしながら、上述した従来技術では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができなかった。なぜならば、従来技術では、以下で説明する課題があるためである。
　第１に、対話システムがＰＣ（Personal　Computer）作業の代行操作を行う場合、対話システムが代行操作を行うための情報を内部に保持することになるが、ユーザがそれらの情報を確認や修正したいケースが出てくる。例えば、自動操作実行の是非をユーザが判断したい場合や、後から確定した情報があり、対話システム上のデータが古く修正したい場合等に対応できないという課題がある。
　第２に、チャットＵＩにより、対話システムが保持する情報をテキストベースで提示することは可能だが、対話形式でユーザに提示することに不向きな場合がある。例えば、リスト形式のデータの確認や編集を行う際、一覧性に欠ける、また、データ値を修正するたびに対話を繰り返す必要があり、煩わしい等である。このため、ユーザへの情報提示や入力受付を全てチャットＵＩで行うのは非効率になるという課題がある。
　上記の第２の課題のように、チャットＵＩで全てのユーザ操作を行うことが困難な場合、チャットＵＩとは別の専用画面を用意し、ユーザ操作を行ってもらうことが対策として考えられる。例えば、運送会社の再配達受付では、まず、チャットＵＩによりユーザに通知し、ユーザに専用画面にリンクさせ、必要な情報を入力させ、必要があれば、入力された情報を対話システム側に反映する。このように、チャットＵＩとは別に専用画面を用意することで、ユーザ入力に関する課題（一覧性、効率性の向上）は解決される。
　しかしながら、システムを構築するという観点においては、対話システムを介して代行操作を行う用途ごとに専用画面が必要となる。このため、専用画面の開発コストがかさむため、多用途な対話システムを目指す上でネックになる。また、対話シナリオに合わせて専用画面も整備が必要であり、運用コストも増加する。
　上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込部と、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得部と、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定部と、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信部と、前記受信部によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩ（Graphical　User　Interface）の情報を生成する生成部と、前記生成部によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示部とを備えることを特徴とする。
　また、本発明に係る表示制御方法は、表示制御装置によって実行される表示制御方法であって、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込工程と、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得工程と、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定工程と、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信工程と、前記受信工程によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成工程と、前記生成工程によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示工程とを含むことを特徴とする。
　また、本発明に係る表示制御プログラムは、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込ステップと、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得ステップと、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定ステップと、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信ステップと、前記受信ステップによって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成ステップと、前記生成ステップによって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示ステップとをコンピュータに実行させることを特徴とする。
　本発明では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができる。
図１は、第１の実施形態に係る表示制御システムの構成例を示す図である。 図２は、第１の実施形態に係る表示制御装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る対話シナリオ作成１の一例を示す図である。 図４は、第１の実施形態に係る対話シナリオ作成２の一例を示す図である。 図５は、第１の実施形態に係る対話シナリオ情報の一例を示す図である。 図６は、第１の実施形態に係る業務イメージの一例を示す図である。 図７は、第１の実施形態に係る各種データ設定１の一例を示す図である。 図８は、第１の実施形態に係る各種データ設定２の一例を示す図である。 図９は、第１の実施形態に係る表示制御処理１－１の一例を示す図である。 図１０は、第１の実施形態に係る表示制御処理１－２の一例を示す図である。 図１１は、第１の実施形態に係る表示制御処理１－３の一例を示す図である。 図１２は、第１の実施形態に係る表示制御処理１－４の一例を示す図である。 図１３は、第１の実施形態に係るＧＵＩ生成処理１－１の一例を示す図である。 図１４は、第１の実施形態に係るＧＵＩ生成処理１－２の一例を示す図である。 図１５は、第１の実施形態に係る表示制御処理２－１の一例を示す図である。 図１６は、第１の実施形態に係る表示制御処理２－２の一例を示す図である。 図１７は、第１の実施形態に係る表示制御処理３の一例を示す図である。 図１８は、第１の実施形態に係るＧＵＩ制御処理２の一例を示す図である。 図１９は、第１の実施形態に係る内部状態ボード制御処理の流れの一例を示すフローチャートである。 図２０は、第１の実施形態に係るＧＵＩ制御処理の流れの一例を示すフローチャートである。 図２１は、プログラムを実行するコンピュータを示す図である。
　以下に、本発明に係る表示制御装置、表示制御方法および表示制御プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
〔第１の実施形態〕
　以下に、第１の実施形態（適宜、本実施形態）に係る表示制御システムの構成、表示制御装置の構成、対話シナリオ等の各種設定処理、表示制御処理およびＧＵＩ生成処理、内部状態ボード制御処理の流れ、ＧＵＩ制御処理の流れを順に説明し、最後に本実施形態の効果を説明する。
［表示制御システムの構成］
　図１を用いて、本実施形態に係る表示制御システム（適宜、本システム）１００の構成を詳細に説明する。図１は、第１の実施形態に係る表示制御システムの構成例を示す図である。本システム１００は、ユーザ２０、表示制御装置１０（図示せず）の処理に関与するチャットＵＩ３０、対話プログラム４０、対話プログラムの内部状態を表わすＧＵＩである内部状態ボード５０、対話シナリオ情報記憶部１４ａを有する。ここで、ユーザ２０と、チャットＵＩ３０、対話プログラム４０、内部状態ボード５０に関与する表示制御装置１０と、対話シナリオ情報記憶部１４ａとは、図示しない所定の通信網を介して、有線または無線により通信可能に接続される。なお、図１に示した表示制御システム１００には、複数台の表示制御装置１０や、複数のユーザ２０が含まれてもよい。
（基本的な表示制御処理）
　まず、図１（１）～（４）を用いて、基本的な表示制御処理について説明する。ユーザ２０は、表示制御装置１０の対話システムで用いるチャットＵＩ３０に対して、テキスト入力等の操作を行う（図１（１）参照）。チャットＵＩ３０に入力された情報は、情報流通され、チャットボット（適宜、「ボット」）等の対話プログラム４０に送信される（図１（２）参照）。一方、対話プログラム４０からチャットＵＩ３０に対して対話応答が行われ（図１（３）参照）、チャットＵＩ３０からユーザ２０に対して、対話内容が表示される（図１（４）参照）。なお、対話プログラム４０の処理に必要な対話シナリオは、対話シナリオ情報記憶部１４ａから読み込まれる。
（内部状態ボードを用いた表示制御処理）
　次に、図１（５）～（８）を用いて、内部状態ボード５０を用いた表示制御処理について説明する。ユーザ２０は、チャットＵＩ３０とともに表示された内部状態ボード５０に対して、テキスト入力等の操作を行う（図１（５）参照）。このとき、内部状態ボード５０は、対話プログラム４０で現在遷移している対話に対応する内部状態ボードとして表示される。
　ここで、対話プログラムの内部状態とは、少なくとも対話の遷移状態と対話システムの機能を実行するために必要なデータ値であって、内部状態記憶部１４ｂに記憶される情報である。例えば、内部状態とは、対話の履歴や進捗状況等のフローに関わる情報の他、代行操作等の各種業務の操作のために必要なデータ値全般であるが、特に限定されない。
　図１では、対話プログラム４０の「対話プログラムの内部状態フロー（イメージ）」における「現在位置」と示されるノードが、現在遷移している対話に対応する。また、上記の「対話プログラムの内部状態フロー（イメージ）」における「代行操作を行うノード」と示されるノードは、他システムへの代行操作を行うことのできる対話を表わす。なお、代行操作等の業務イメージについては、（業務イメージ）で後述する。
　上記のユーザ操作によって、内部状態ボード５０の内容が変更された場合や、追加された場合は、内部状態記憶部１４ｂ（図示せず）に記憶された内部状態が更新される（図１（６）参照）。また、上記のユーザ操作によって、対話の遷移等が起こり、内部状態の変更が起こった場合は、変更後の内部状態や対話シナリオをもとにＧＵＩが生成される（図１（７）参照）。そして、ユーザ２０に対して、変更後の内部状態を示した内部状態ボード５０が表示される（図１（８）参照）。
　また、内部状態ボード５０は、対話プログラムの内部状態を提示するためのＧＵＩであるが、ＵＩやウィンドウサイズは可変であり、対話のコンテキスト（遷移状態）、もしくは端末上でのユーザ操作（例：別システムのボタン押下等）で表示内容が切り替わる。さらに、内部状態ボード５０は、初期状態では空白であったり、透明であったり、サイズ０であってもよい。一方、チャットＵＩ３０は、対話プログラム（ボット）にアクセスするためのＵＩであり、内部状態ボード５０のウィンドウと重複するように表示されてもよいし、独立した構成で表示されてもよい。
　本実施形態に係る表示制御システム１００では、チャットＵＩ３０とは別に、対話プログラムの内部状態を表示および編集するための画面（内部状態ボード）５０を有し、現在の対話遷移状態と対話シナリオもしくは対話シナリオに紐づけられたデータをもとに内部状態ボード５０のＧＵＩの表示を制御する。このため、ユーザ２０が対話プログラムの内部状態を理解、編集することを容易にする。つまり、ユーザ２０にチャットボット４０内部の状態を提示し、ユーザ２０に代行操作の実行是非を判断しやすくし、また、チャットボット４０が代行操作を実行する際に用いる情報（投入データ等）を確認、修正しやすくする。さらに、対話シナリオを生成すれば内部状態ボードのＧＵＩが自動的に生成されるため、専用画面を都度作成する必要がない。なお、対話シナリオについては、［対話シナリオ等の各種設定処理］で後述する。
［表示制御装置の構成］
　図２を用いて、本実施形態に係る表示制御装置１０の構成を詳細に説明する。図２は、本実施形態に係る表示制御装置の構成例を示すブロック図である。表示制御装置１０は、入力部１１、出力部１２、通信部１３、記憶部１４および制御部１５を有する。
　入力部１１は、当該表示制御装置１０への各種情報の入力を司る。入力部１１は、例えば、マウスやキーボード等であり、当該表示制御装置１０への設定情報等の入力を受け付ける。また、出力部１２は、当該表示制御装置１０からの各種情報の出力を司る。出力部１２は、例えば、ディスプレイ等であり、当該表示制御装置１０に記憶された設定情報等を出力する。
　通信部１３は、他の装置との間でのデータ通信を司る。例えば、通信部１３は、各通信装置との間でデータ通信を行う。また、通信部１３は、図示しないオペレータの端末との間でデータ通信を行うことができる。
　記憶部１４は、制御部１５が動作する際に参照する各種情報や、制御部１５が動作した際に取得した各種情報を記憶する。記憶部１４は、対話シナリオ情報記憶部１４ａおよび内部状態記憶部１４ｂを有する。ここで、記憶部１４は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等である。なお、図２の例では、記憶部１４は、表示制御装置１０の内部に設置されているが、表示制御装置１０の外部に設置されてもよいし、複数の記憶部が設置されていてもよい。
　対話シナリオ記憶部１４ａは、対話シナリオ情報、表示内容設定情報およびＧＵＩ構成情報等を記憶する。例えば、対話シナリオ記憶部１４ａは、対話シナリオ情報として、ノードＩＤ（identification）、ノード名、ノードタイプ、発話テキスト、遷移条件リスト、ボード表示制御等のノードの基本情報や、代行操作のための設定等を記憶する。また、対話シナリオ記憶部１４ａは、表示内容設定情報として、表示リストやＧＵＩ構成リスト等を記憶する。また、対話シナリオ記憶部１４ａは、ＧＵＩ構成情報として、ＨＴＭＬ（Hypertext　Markup　Language）等のＧＵＩを表示するための情報等を記憶する。内部状態記憶部１４ｂは、対話の遷移状態、対話システムの機能を実行するために必要なデータ値等を記憶する。
　制御部１５は、当該表示制御装置１０全体の制御を司る。制御部１５は、内部状態ボード制御部１５１として、読込部１５１ａ、検知部１５１ｂ、取得部１５１ｃ、特定部１５１ｄ、設定部１５１ｅおよび反映部１５１ｆ、ＧＵＩ制御部１５２として、受信部１５２ａ、生成部１５２ｂおよび表示部１５２ｃを有する。ここで、制御部１５は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等の電子回路やＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路である。
　読込部１５１ａは、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む。例えば、読込部１５１ａは、ノードＩＤ、ノード名、ノードタイプ、発話テキスト、遷移条件リスト、ボード表示制御、代行操作のための設定を含む対話シナリオ情報を読み込む。また、読込部１５１ａは、キー情報を指定する表示リストとＧＵＩ構成情報を指定するＧＵＩ構成リストとを含む表示内容設定情報を読み込む。さらに、読込部１５１ａは、ＧＵＩ構成情報を読み込む。例えば、読込部１５１ａは、ＧＵＩ構成情報として、ＨＴＭＬ等のＧＵＩを表示するための情報を読み込む。
　検知部１５１ｂは、対話を行うユーザの操作を検知する。例えば、検知部１５１ｂは、対話を行うユーザ２０の端末における内部状態ボード５０上でのテキストデータの入力処理や更新処理を検知する。また、検知部１５１ｂは、対話を行うユーザ２０の端末におけるチャットＵＩ３０や業務システム等の他アプリケーションに対するテキストデータの入力処理やクリック等のユーザ操作を検知してもよい。
　取得部１５１ｃは、遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する。また、取得部１５１ｃは、遷移条件リストおよびユーザの操作に基づいて、現在遷移している対話に関する情報を取得する。例えば、取得部１５１ｃは、現在遷移している対話に関する情報として、遷移条件リストおよびユーザの操作の履歴を取得する。さらに、取得部１５１ｃは、現在遷移している対話に関する情報として、特定部１５１ｄによって特定された現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を取得する。
　特定部１５１ｄは、現在遷移している対話に関する情報に基づいて、現在遷移している対話を特定する。例えば、特定部１５１ｄは、遷移条件リストおよびユーザの操作の履歴に基づいて、遷移している対話を特定する。また、特定部１５１ｄは、現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を特定する。さらに、特定部１５１ｄは、特定した現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を取得部１５１ｃに送信する。
　設定部１５１ｅは、取得部１５１ｃによって取得された現在遷移している対話に関する情報に基づいて、対話プログラムの内部状態を表わすＧＵＩの表示、または非表示を設定する。例えば、設定部１５１ｅは、現在遷移している対話に対応するボード表示制御が「表示」である場合には、対話プログラムの内部状態を表わすＧＵＩの表示を設定する。一方、設定部１５１ｅは、現在遷移している対話に対応するボード表示制御が「非表示」である場合には、対話プログラムの内部状態を表わすＧＵＩの非表示を設定する。さらに、設定部１５１ｅは、現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプごとに、対話プログラムの内部状態を表わすＧＵＩのウィンドウサイズや色彩等の表示方式を設定してもよい。
　反映部１５１ｆは、対話プログラムの内部状態を表わすＧＵＩの変更が入力された場合には、対話プログラムの内部状態に対して、入力された変更を反映する。例えば、反映部１５１ｆは、検知部１５１ｂによって内部状態ボード５０上でのテキストデータの入力処理が検知された場合には、入力処理されたテキストデータを内部状態記憶部１４ｂに格納し、内部状態の変更を反映する。
　受信部１５２ａは、現在遷移している対話に対応する対話シナリオ情報を受信する。また、受信部１５２ａは、現在遷移している対話に対応する表示内容設定情報を受信する。さらに、受信部１５２ａは、現在遷移している対話に対応するＧＵＩ構成情報を受信する。
　生成部１５２ｂは、受信部１５２ａによって受信された対話シナリオ情報に基づいて、表示するＧＵＩの情報（ＧＵＩ描画情報）を生成する。例えば、生成部１５２ｂは、所定のキー情報に合致する情報を用いて、表示するＧＵＩの情報を生成する。また、生成部１５２ｂは、表示内容設定情報に含まれる表示リストで指定された情報をキーに、対話シナリオ情報から該当する情報を抽出し、抽出した情報のキー名をラベル、データ値をテキストボックスとして表示するＧＵＩの情報を生成する。さらに、生成部１５２ｂは、受信部１５２ａによって受信されたＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。例えば、生成部１５２ｂは、読込部１５１ａによって読み込まれた表示内容設定情報にＧＵＩ構成リストが含まれている場合には、ＧＵＩ構成リストが指定するＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。
　表示部１５２ｃは、生成部１５２ｂによって生成された表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩ（内部状態ボード）５０を表示する。例えば、表示部１５２ｃは、生成部１５２ｂによって生成された情報のキー名をラベル、データ値をテキストボックスとして表示する。また、表示部１５２ｃは、上記のデータ値がリストであれば羅列した配置に表示する。さらに、表示部１５２ｃは、反映部１５１ｆによって内部状態記憶部１４ｂに反映するボタンを内部状態ボード５０の最下部に表示してもよい。
［対話シナリオ等の各種設定処理］
　図３～図８を用いて、本実施形態に係る対話シナリオ等の各種設定処理を詳細に説明する。図３、図４は、第１の実施形態に係る対話シナリオ作成の一例を示す図である。図５は、第１の実施形態に係る対話シナリオ情報の一例を示す図である。図６は、第１の実施形態に係る業務イメージの一例を示す図である。図７、図８は、第１の実施形態に係る各種データ設定の一例を示す図である。
（対話シナリオ作成１）
　図３を用いて、本実施形態に係る対話シナリオ作成１を詳細に説明する。図３では、対話プログラムの内部状態フローのイメージが示されており、ノード（ａ）～（ｖ）が各対話等の処理に対応する。なお、末端のノード（ｆ）、（ｊ）、（ｎ）、（ｑ）、（ｕ）、（ｖ）は、「スタートに戻るノード」を表わし、代行操作を実行した場合には、このノードに遷移して最初の対話に戻る。
　各ノードの情報を設定することにより、対話シナリオ（対話シナリオ情報）が構成される。また、各ノードは「発話テキスト」と「遷移条件リスト」を持ち、対話シナリオは、指定した遷移条件に従い遷移する。
　図３のノード（ａ）を用いて、ノードの基本情報および遷移条件の具体例について説明する。図３のノード（ａ）の基本情報では、“ノードid”として“node0000”、“ノード名”として“スタート”、“ノードタイプ”として“normal”、“発話テキスト”として“Hello！”、“遷移条件リスト”として[｛“(遷移条件のid)”，“(ノード1-1のid)”｝，｛“(遷移条件のid)”，“(ノード2-1のid)”｝，｛“(遷移条件のid)”，“(ノード3-1)のid”｝]、“ボード表示制御”として“表示”等がＪｓｏｎ（JavaScript（登録商標）　Object　Notation）を用いて表現されている（図３（１）参照）。
　ここで、“ノードタイプ”は、“normal”は通常ノード（通常処理）であり、“action”は代行操作ノード（代行操作処理）である。また、“遷移条件リスト”の“(ノード1-1のid)”、“(ノード2-1のid)”、“(ノード3-1)のid”は、宛先ノードである。また、“ボード表示制御”は、“表示”が内部状態ボード表示であり、“非表示”が内部状態ボード非表示であり、ノードごとに設定してもよい。
　また、図３のノード（ａ）の遷移条件では、“遷移条件id”として”condition1-1”、“遷移条件名”として“○○システムを開き、業務Ａを開始”、“遷移条件”として、ユーザ発話＝“業務Ａを開始”またはＵＲＬ＝“ｘｘｘ”のページを開く等がＪｓｏｎを用いて表現されている（図３（２）参照）。なお、対話シナリオの作成は、フローを描画できるようなＧＵＩで作成してもよいし、上記のようなＪｓｏｎベースでの記載でもよく、特に限定されない。
（対話シナリオ作成２）
　図４を用いて、本実施形態に係る対話シナリオ作成２を詳細に説明する。対話シナリオ作成２は、各ノードに「代行操作」および「代行操作に必要なデータ取得」のための設定情報を持たせることができる設定である。図４では、各ノードの設定例（１）～（５）がＪｓｏｎを用いて表現されている。
　データ取得のための設定例として、ノードの情報の末尾に、“データ取得リスト”として｛“ユーザID”，“(データ取得先のid)”｝、｛“ユーザ名”，“(データ取得先のid)”｝、｛“顧客会社名”，“(データ取得先のid)”｝、｛“顧客担当者名”，“(データ取得先のid)”｝等を記載する（図４（１）参照）。また、データ取得先の設定例として、“データ取得先id”として“UI123456”、“データ取得先情報”として“(UIを特定するための情報)”を記載する（図４（２）参照）。ここで、(UIを特定するための情報)とは、例えば、セレクタ情報（ＨＴＭＬ）や画面配置順（インデックス番号）等で指定される。なお、上記のデータ取得先の設定例は、音声操作では辞書データに相当する。また、図４では、図３で説明したノードの基本情報と分けて記載しているが、同じＪｓｏｎファイル中で記載してもよい。
　また、データ取得のための設定例として、ノードの情報の末尾に、“データ取得リスト”として｛“日時”，“(データ取得先のid)”｝、｛“場所”，“(データ取得先のid)”｝、｛“対応詳細”，“(データ取得先のid)”｝、｛“備考”，“(データ取得先のid)”｝等を記載する（図４（３）参照）。
　一方、代行操作のための設定例として、ノードの情報の末尾に、“代行操作id”として“(代行操作id)”、“代行操作名”として“(代行操作の説明)”、“利用データリスト”として｛“ユーザID”:“(ユーザIDの値)”｝、｛“ユーザ名”:“(ユーザ名の値)”｝、…、｛“対応詳細”:“(対応詳細の値)”｝、｛“備考”：“(備考の値)”｝が記載されている（図４（４）参照）。なお、代行操作を行うノードは、ノードタイプが“action”のノードである。
　また、代行操作実行情報の例として、“代行操作id”として“action123456”、“代行操作内容として“(代行操作のための機能実行プログラム)”が記載されている（図４（５）参照）。ここで、(代行操作のための機能実行プログラム)とは、例えば、スクリプト言語そのもの（例：JavaScript）、ＲＰＡ（Robotic　Process　Automation）アプリ実行のための情報（例：exeのパス、読み込むシナリオのパス）、対話システムが内包する代行操作実行系を動作させるための専用の命令セットであるが、特に限定されない。
（対話シナリオ情報）
　図５を用いて、本実施形態に係る対話シナリオ情報のイメージを詳細に説明する。図５では、（１）ノードごとの情報、（２）ノードの基本情報、（３）データ取得のための設定、（４）代行操作のための設定、（５）データ取得先の情報、（６）代行操作実行情報の例がＪｓｏｎを用いて表現されている。図５で示す構成の１ファイルの設定で１対話シナリオに対応するが、ファイル構成は特に限定されない。また、記載の形式はＪｓｏｎに限られず、情報が識別できれば任意の形式で記載してもよい。
（業務イメージ）
　図６を用いて、本実施形態に係る業務イメージを詳細に説明する。図６では、対話プログラムの内部状態フローのイメージを用いて、具体的な業務イメージと最終的な代行操作を示している。なお、図６のフローでは、代行操作を実行した場合には、「スタートに戻るノード」に遷移して最初の対話に戻る。
　業務イメージ１が「システムＡへ顧客情報の登録」であった場合、代行操作として「システムＢへデータ転記」が実行される。業務イメージ２が「システムＢへ案件情報の登録」であった場合、業務イメージ２－１では、「新規登録」を経て、代行操作として「進捗管理表作成」が実行され、業務イメージ２－２では、「案件情報更新」を経て、代行操作として「進捗管理表更新」が実行され、業務イメージ２－３では、「発注情報登録」を経て、代行操作として「見積書作成」が実行される。業務イメージ３が「システムＣへ物品の発注処理」であった場合、代行操作として「メール送付」が実行される。
（各種データ設定１）
　図７を用いて、本実施形態に係る各種データ設定１を詳細に説明する。各種データの設定１は、各設定内容は専用エディタ（ＧＵＩ）等により設定する、つまりローコードで設定することを可能とする。なお、各種データ設定１は、ノードのプロパティ設定を行うイメージで、各種データの変更等を実行することができる。
　まず、例えば、専用エディタ等を利用してデータ取得先を指定するＧＵＩから、ノードの詳細設定情報を出力する（図７（１）参照）。このとき、データ取得先を指定する情報は、ＨＴＭＬのセレクタ情報、画面配置のインデックス番号等であるが、特に限定されない。次に、出力された表示画面に各種情報を入力する（図７（２）参照）。この結果、図７（３）で示すデータ取得のための設定例や図７（４）で示すデータ取得先の設定例を設定することができる。最後に、出力された表示画面の設定を完了することによって、ノードへの各種設定が完了する（図７（５）参照）。なお、上記の設定処理はユーザの手入力や他アプリによって実行してもよい。
（各種データ設定２）
　図８を用いて、本実施形態に係る各種データ設定２を詳細に説明する。各種データ設定２は、代行操作の情報を持つノード（ノードタイプ：action）の場合にも、ローコードで設定することを可能とする。
　まず、例えば、専用エディタ等を利用して、ノードの詳細設定情報を出力する（図８（１）参照）。ここで出力された表示画面に各種情報を入力する（図８（２）参照）。なお、ここでは、各種情報の入力として、スクリプト言語を用いているが、特に限定されない。また、対象となるアプリ指定に関する情報を入力してもよい。この結果、図８（３）で示す代行操作のための設定例や図８（４）で示す代行操作実行情報の例を設定することができる。最後に、出力された表示画面の設定を完了することによって、ノードへの各種設定が完了する（図８（５）参照）。一方、各種情報の入力は、ローカルアプリ指定によって実行してもよい（図８（６）参照）。なお、上記の設定処理はユーザの手入力によって実行してもよい。
［表示制御処理１］
　図９～図１２を用いて、本実施形態に係る表示制御処理１を詳細に説明する。図９～図１２は、第１の実施形態に係る表示制御処理１の一例を示す図である。
（表示制御処理１－１）
　図９を用いて、本実施形態に係る表示制御処理１－１を詳細に説明する。表示制御処理１－１は、対話シナリオの内部状態と内部状態ボード５０上のＧＵＩ表示が連動し、現在の遷移しているノードの情報から、内部状態ボードで表示するＧＵＩが決定される処理である。なお、表示制御処理１－１では、ノードとして“ノードタイプ”＝“normal”について説明する。
　まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図９（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図９（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図９（３）参照）。このとき、現在遷移しているノードの図９（４）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図９（５）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図９（６）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が更新される（図９（７）参照）。
（表示制御処理１－２）
　図１０を用いて、本実施形態に係る表示制御処理１－２を詳細に説明する。表示制御処理１－２は、内部状態ボード５０で表示されたデータ値を書き換える処理であり、内部状態ボード５０上でユーザが書き換えた値、もしくは内部状態として未取得のデータを内部状態記憶部１４ｂへ反映することができる。なお、内部状態ボード５０の表示更新時は、初期値として内部状態記憶部１４ｂからデータ値を取得し表示する。また、表示制御処理１－２では、ノードとして“ノードタイプ”＝“normal”について説明する。
　まず、ユーザ２０は、内部状態ボード５０に対して、データ値の修正や未取得だった値を手入力する（図１０（１）参照）。次に、ユーザ２０は、内部状態ボード５０上の適用ボタンを押し、入力を完了する（図１０（２）参照）。この結果、ユーザ２０によって修正、入力処理されたデータが、内部状態記憶部１４ｂへ反映される（図１０（３）参照）。
（表示制御処理１－３）
　図１１を用いて、本実施形態に係る表示制御処理１－３を詳細に説明する。表示制御処理１－３は、代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理であり、基本的な流れは、表示制御処理１－１で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。
　まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１１（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図１１（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１１（３）参照）。このとき、現在遷移しているノードの図１１（４）に示すノードの基本情報に含まれる発話テキスト等の情報に基づき、チャットＵＩ３０が発話を行う（図１１（５）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が更新される（図１１（６）参照）。
（表示制御処理１－４）
　図１２を用いて、本実施形態に係る表示制御処理１－４を詳細に説明する。表示制御処理１－４は、内部状態ボード５０で表示されたデータ値を書き換える処理であり、かつ代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理である。基本的な流れは、表示制御処理１－２で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。
　まず、ユーザ２０は、内部状態ボード５０に対して、入力操作や必要であればデータ値の修正等を実行する（図１２（１）参照）。また、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１２（２）参照）。このとき、例えば、チャットＵＩ３０によって、「進捗管理票を自動実行しますか？」という発話がされていた場合には、「はい」を入力すると、代行操作が実行される（図１２（３）参照）。このとき、図１２（４）（５）の破線で囲った代行操作に関する情報を制御部１５が読み込み、実行する。一方、「いいえ」を入力すると、処理がスタートに戻る。最後に、内部状態が遷移し、スタートに戻る（図１２（６）参照）。
［ＧＵＩ生成処理１］
　図１３、図１４を用いて、本実施形態に係るＧＵＩ生成処理１を詳細に説明する。図１３、図１４は、第１の実施形態に係るＧＵＩ生成処理の一例を示す図である。
（ＧＵＩ生成処理１－１）
　図１３を用いて、本実施形態に係るＧＵＩ生成処理１－１を詳細に説明する。上述の表示制御処理１では、生成部１５２ｂに独自のＧＵＩ生成ロジックを持つ構成であり、表示制御処理１に係るＧＵＩ生成処理１は、ノードの持つ情報（キーバリュー）のうち、表示内容設定情報でキー名を指定すれば独自のＧＵＩ生成ロジックにより、内部状態ボードのＧＵＩが表示される。なお、ＧＵＩ生成処理１－１では、ノードとして“ノードタイプ”＝“normal”について説明する。
　まず、図１３（１）で示すノードの基本情報の例、図１３（２）で示すデータ取得のための設定例は、現在遷移しているノードに設定されている情報である。ここで、現在遷移しているノードの持つ情報のうち、表示内容設定情報で指定した情報（キーバリュー）が内部状態ボード５０で表示される（図１３（３）参照）。このとき、生成部１５２ｂは、キー名をラベルで表示し、データ値をテキストボックスで表示し、データ値が配列であれば羅列し、テキストボックスの値は内部状態記憶部１４ｂから取得し、内部状態記憶部１４ｂに反映するボタンをボードの最下部に表示するためのＧＵＩ生成ロジックを持つ。また、上記のＧＵＩ生成ロジックは、外部ファイルでＧＵＩの紐づけの定義を作成、修正も可能である。
　また、上記の情報（キーバリュー）を指定する表示内容設定情報の例を図１３（４）で示す。このとき、ノードタイプが“normal”であり、表示リストにはキー名が記載され、該当する情報が表示される。
　一方、内部状態等が反映されることにより、内部状態ボードの表示例に示した「案件情報の更新」および「データ取得リスト」には、ノードの情報のうち、図１３（１）（２）の破線で囲んだ情報が表示される。また、内部状態ボードの表示例に示した「データ取得リスト」には、データ取得リストのキー名から、内部状態記憶部１４ｂにアクセスすることにより取得されたデータ値が反映される。
（ＧＵＩ生成処理１－２）
　図１４を用いて、本実施形態に係るＧＵＩ生成処理１－２を詳細に説明する。ＧＵＩ生成処理１－２は、代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理であり、基本的な流れは、ＧＵＩ生成処理１－１で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。
　まず、図１４（１）で示すノードの基本情報の例、図１４（２）で示す代行操作のための設定例は、現在遷移しているノードに設定されている情報である。ここで、ＧＵＩ生成処理１－１と同様に、現在遷移しているノードの持つ情報のうち、表示内容設定情報で指定した情報（キーバリュー）が内部状態ボード５０で表示される。
　また、上記の情報（キーバリュー）を指定する表示内容設定情報の例を図１４（３）で示す。このとき、ノードタイプが“action”であり、表示リストにはキー名が記載され、該当する情報が表示される。
　一方、内部状態等が反映されることにより、内部状態ボードの表示例に示した「進捗管理表更新」「利用データリスト」には、ノードの情報のうち、図１４（１）（２）の破線で囲んだ情報が表示される。
［表示制御処理２］
　図１５、図１６を用いて、本実施形態に係る表示制御処理２を詳細に説明する。図１５、図１６は、第１の実施形態に係る表示制御処理２の一例を示す図である。
（表示制御処理２－１）
　図１５を用いて、本実施形態に係る表示制御処理２－１を詳細に説明する。表示制御処理２－１は、基本的に内部状態ボード５０は表示されない処理である。
　まず、ユーザ２０は、業務システムに対して、入力操作等を実行する（図１５（１）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１５（２）参照）。このとき、現在遷移しているノードの図１５（３）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図１５（４）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図１５（５）参照）。図１５（１）～（５）の処理を通じて、遷移したノードの“ボード表示制御”が“非表示”に指定されているため、内部状態ボード５０は非表示となる。
（表示制御処理２－２）
　図１６を用いて、本実施形態に係る表示制御処理２－２を詳細に説明する。表示制御処理２－２は、基本的に内部状態ボード５０は表示されない処理（“ボード表示制御”＝“非表示”）であるが、内部状態ボード５０が必要なノード（例：“ノードタイプ”＝“action”）に遷移したときに、内部状態ボードを表示する処理である。
　まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１６（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図１６（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１６（３）参照）。このとき、現在遷移しているノードの図１６（４）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図１６（５）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図１６（６）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が開始される（図１６（７）参照）。
［表示制御処理３］
　図１７を用いて、本実施形態に係る表示制御処理３を詳細に説明する。図１７は、第１の実施形態に係る表示制御処理３の一例を示す図である。表示制御処理３は、高度なＧＵＩを設定したい場合、ＧＵＩ構成情報を定義し、読み込むことで任意のＧＵＩを表示する処理である。また、表示制御処理３は、内部状態ボードのＧＵＩから内部状態そのものを書き換えることもできる。なお、上述した表示制御処理１、表示制御処理２と共通する処理については省略する。
　表示制御処理３では、対話シナリオからの情報をもとに、内部状態ボード５０内部のＧＵＩ表示を行う。ここで、表示制御処理３では、フローの情報を解釈しＧＵＩ表示との対応付けは、表示させたい内容に応じて、対話システムの実装とは独立して定義してもよい。例えば、表示制御処理３では、対応付けの定義情報を外部ファイルで持ち、それを内部状態ボード制御部１５１が解釈し、表示することもできる（図１７（１）参照）。
　また、表示制御処理３では、代行操作の候補として、現在の遷移状態のノードから、ノードタイプ＝“action”であるノードを再帰的に検索し、合致したノードの情報を利用する（図１７（２）参照）。ここで、図１７の内部状態の表示例に示す「案件情報更新」は、現在の遷移状態のノード名を表わす。また、「進捗管理表更新」等は、代行操作名であり、近接するバーやパーセンテージは、計算された利用データリストの充足率を表示したものである。さらに、図１７の内部状態の表示例に示す「前のフロー」「次のフロー」の候補は、それぞれ前のフローのノード名、次のフローのノード名を表わす。
　また、図１７の内部状態の表示例に示す「進む」のボタンを押すことで、フローの遷移状態を移動させ、内部状態を書き換えることもできる（図１７（３）参照）。さらに、図１７の内部状態の表示例に示す「遷移条件を確認」のボタンを押すことで、遷移条件を読み込んで表示することもできる（図１７（４）参照）。
［ＧＵＩ生成処理２］
　図１８を用いて、本実施形態に係るＧＵＩ生成処理２を詳細に説明する。図１８は、第１の実施形態に係るＧＵＩ生成処理２の一例を示す図である。ＧＵＩ生成処理２は、高度なＧＵＩを設定する場合の処理である。なお、上述したＧＵＩ生成処理１－１、ＧＵＩ生成処理１－２と共通する処理については省略する。
　まず、内部状態ボード５０の表示内容設定情報の例を図１８（１）で示す。また、ＧＵＩ構成情報の例を図１８（２）で示す。ここで、表示内容設定情報には、ＧＵＩ構成リストとして、紐づけされたＧＵＩ構成情報のＧＵＩ構成ＩＤが記載されている。表示制御装置１０の生成部１５２ｂは、読込部１５１ａによって読み込まれた表示内容設定情報にＧＵＩ構成リストが含まれている場合には、ＧＵＩ構成リストが指定するＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。
　また、図１８（２）で示す(ＧＵＩ構成情報)には、具体的なＧＵＩを設定するための情報が記載される（図１８（３）参照）。例えば、内部状態ボード５０がＷｅｂベースの表示エンジンを持つのであれば、ＨＴＭＬやJavascript等が記載される。なお、図１８（３）では、ＨＴＭＬの例を示したが、ノード名等が内部状態記憶部１４ｂへのアクセスにより検索され、対応する内部状態ボード５０が表示される（図１８（４）参照）。
　上述した処理は、静的なＧＵＩ構成情報（ファイル）をもとにＧＵＩを生成するが、特に限定されない。対話シナリオの傾向（例：分岐数、階層、取得／利用データ数）等を用いて、対話シナリオ情報（Ｊｓｏｎ）のみをもとに推論し、動的にＧＵＩ構成情報を生成する等の処理を行い、内部状態ボードのＧＵＩとして表示してもよい。
［内部状態ボード制御処理の流れ］
　図１９を用いて、本実施形態に係る内部状態ボード制御処理の流れを詳細に説明する。図１９は、第１の実施形態に係る内部状態ボード制御処理の流れの一例を示すフローチャートである。
　まず、内部状態ボード制御部１５１の読込部１５１ａは、対話シナリオ情報記憶部１４ａから対話シナリオ情報、表示内容設定情報を読み込む（ステップＳ１０１）。また、読込部１５１ａは、必要があればＧＵＩ構成情報を読み込む。次に、検知部１５１ｂは、内部状態記憶部１４ｂの監視（変更検知）を開始する（ステップＳ１０２）。このとき、検知部１５１ｂは、ユーザの操作を検知し、その操作に対応する内部状態の変更を検知する。続いて、内部状態記憶部１４ｂの情報が変更された場合、つまり内部状態の変更が検知された場合（ステップＳ１０３：Ｙｅｓ）、取得部１５１ｃは、内部状態記憶部１４ｂから、現在遷移しているノードの情報（対話遷移状態）を取得する（ステップＳ１０４）。このとき、特定部１５１ｄは、現在遷移しているノードを特定する。一方、内部状態記憶部１４ｂの情報が変更されていない場合、つまり内部状態の変更が検知されない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０３に移行する。
　さらに、内部状態記憶部１４ｂから取得したノードの基本情報より、現在遷移しているノードが“ボード表示制御”＝“表示”であった場合（ステップＳ１０５：Ｙｅｓ）、設定部１５１ｅは、内部状態ボード５０のウィンドウを表示し、最前面にする（ステップＳ１０７）。一方、現在遷移しているノードが“ボード表示制御”＝“表示”でなかった場合（ステップＳ１０５：Ｎｏ）、設定部１５１ｅは、内部状態ボード５０のウィンドウを非表示にする（ステップＳ１０６）。
　最後に、内部状態ボード５０のウィンドウを表示したときは、ＧＵＩ制御部１５２によるＧＵＩ制御処理を行い、ＧＵＩを内部状態ボード５０のウィンドウ上に表示し、ステップＳ１０３に移行する。一方、内部状態ボード５０のウィンドウを非表示にしたときは、ＧＵＩ制御処理を行わず、ステップＳ１０３に移行する。
［ＧＵＩ制御処理の流れ］
　図２０を用いて、本実施形態に係るＧＵＩ制御処理の流れを詳細に説明する。図２０は、第１の実施形態に係るＧＵＩ制御処理の流れの一例を示すフローチャートである。
　まず、ＧＵＩ制御部１５２の受信部１５２ａは、現在遷移しているノードに紐づけられた対話シナリオ情報、表示内容設定情報を受信する。また、受信部１５２ａは、必要があれば、現在遷移しているノードに紐づけられたＧＵＩ構成情報を受信する（ステップＳ２０１）。このとき、受信部１５２ａは、内部状態ボード制御部１５１の取得部１５１ｃから各種情報を受信してもよいし、対話シナリオ情報記憶部１４ａから各種情報を受信してもよい。
　次に、表示内容設定情報に記載された情報に、ＧＵＩ構成リストが含まれていない場合（ステップＳ２０２：Ｎｏ）、生成部１５２ｂは、表示内容設定情報に記載された表示リストで指定された情報をキーに、対話シナリオ情報から該当する情報を抽出し（ステップＳ２０３）、抽出した情報のキー名をラベル、データ値をテキストボックスとして表示するＧＵＩの情報（ＧＵＩ描画情報）を生成し（ステップＳ２０４）、内部状態記憶部１４ｂに反映するボタンがボードの最下部に表示されるようＧＵＩ描画情報を更新する（ステップＳ２０５）。一方、表示内容設定情報に記載された情報に、ＧＵＩ構成リストが含まれている場合（ステップＳ２０２：Ｙｅｓ）、生成部１５２ｂは、ＧＵＩ構成リストに紐づくＧＵＩ構成情報をもとに表示するＧＵＩの情報（ＧＵＩ描画情報）を生成する（ステップＳ２０６）。
　最後に、表示部１５２ｃは、生成部１５２ｂによって生成されたＧＵＩ描画情報をもとに、内部状態ボードのＧＵＩを表示し（ステップＳ２０７）、処理を終了する。このとき、表示部１５２ｃは、表示するＧＵＩに対応する情報（キーバリューのバリュー値）が、内部状態記憶部１４ｂに記憶されていれば、その情報を当該ＧＵＩのデータ値として反映する。
［第１の実施形態の効果］
　第１に、上述した本実施形態に係る表示制御処理では、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込み、遷移条件リストに基づいて、現在遷移している対話に関する情報を取得し、現在遷移している対話に関する情報に基づいて、遷移している対話を特定し、現在遷移している対話に対応する対話シナリオ情報を受信し、受信した対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成し、生成した表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができる。
　第２に、上述した本実施形態に係る表示制御処理では、対話を行うユーザの操作を検知し、遷移条件リストおよびユーザの操作に基づいて、現在遷移している対話の関する情報を取得する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザ操作を検知することにより、代行操作をより容易に行うことができる。
　第３に、上述した本実施形態に係る表示制御処理では、対話プログラムの内部状態を表わすＧＵＩの変更が入力された場合には、対話プログラムの内部状態に対して、ＧＵＩの変更を反映する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を容易に表示、編集できることにより、代行操作をより容易に行うことができる。
　第４に、上述した本実施形態に係る表示制御処理では、取得した現在遷移している対話に関する情報に基づいて、対話プログラムの内部状態を表わすＧＵＩの表示、または非表示を設定する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を効率的に表示、編集できることにより、代行操作をより容易に行うことができる。
　第５に、上述した本実施形態に係る表示制御処理では、ＧＵＩ構成情報を読み込み、現在遷移している対話に対応するＧＵＩ構成情報を受信し、受信したＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を効果的に表示、編集できることにより、代行操作をより容易に行うことができる。
　第６に、上述した本実施形態に係る表示制御処理では、所定のキー情報に合致する情報を用いて、表示するＧＵＩの情報を生成する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態をより効率的に表示、編集できることにより、代行操作をより容易に行うことができる。
〔システム構成等〕
　上記実施形態に係る図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
〔プログラム〕
　また、上記実施形態において説明した表示制御装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
　図２１は、プログラムを実行するコンピュータを示す図である。図２１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。
　メモリ１０１０は、図２１に例示するように、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図２１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図２１に例示するように、ディスクドライブ１１００に接続される。例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図２１に例示するように、例えば、マウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図２１に例示するように、例えばディスプレイ１１３０に接続される。
　ここで、図２１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えば、ハードディスクドライブ１０９０に記憶される。
　また、上記実施形態で説明した各種データは、プログラムデータとして、例えば、メモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。
　なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１０　表示制御装置
　１１　入力部
　１２　出力部
　１３　通信部
　１４　記憶部
　１４ａ　対話シナリオ情報記憶部
　１４ｂ　内部状態記憶部
　１５　制御部
　１５１　内部状態ボード制御部
　１５１ａ　読込部
　１５１ｂ　検知部
　１５１ｃ　取得部
　１５１ｄ　特定部
　１５１ｅ　設定部
　１５１ｆ　反映部
　１５２　ＧＵＩ制御部
　１５２ａ　受信部
　１５２ｂ　生成部
　１５２ｃ　表示部
　２０　ユーザ
　３０　チャットＵＩ
　４０　対話プログラム（チャットボット）
　５０　内部状態ボード
　１００　表示制御システム

Claims (8)

  1. 　対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込部と、
    　前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得部と、
    　前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定部と、
    　前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信部と、
    　前記受信部によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩ（Graphical　User　Interface）の情報を生成する生成部と、
    　前記生成部によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示部と
    　を備えることを特徴とする表示制御装置。
  2. 　前記対話を行うユーザの操作を検知する検知部をさらに備え、
    　前記取得部は、前記遷移条件リストおよび前記操作に基づいて、前記現在遷移している対話に関する情報を取得することを特徴とする請求項１に記載の表示制御装置。
  3. 　前記内部状態を表わすＧＵＩの変更が入力された場合には、前記内部状態に対して、前記変更を反映する反映部をさらに備えることを特徴とする請求項１に記載の表示制御装置。
  4. 　前記取得部によって取得された現在遷移している対話に関する情報に基づいて、前記内部状態を表わすＧＵＩの表示、または非表示を設定する設定部をさらに備えることを特徴とする請求項１に記載の表示制御装置。
  5. 　前記読込部は、ＧＵＩ構成情報をさらに読み込み、
    　前記受信部は、前記現在遷移している対話に対応する前記ＧＵＩ構成情報をさらに受信し、
    　前記生成部は、前記受信部によって受信された前記ＧＵＩ構成情報に基づいて、前記表示するＧＵＩの情報を生成することを特徴とする請求項１に記載の表示制御装置。
  6. 　前記生成部は、所定のキー情報に合致する情報を用いて、前記表示するＧＵＩの情報を生成することを特徴とする請求項１に記載の表示制御装置。
  7. 　表示制御装置によって実行される表示制御方法であって、
    　対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込工程と、
    　前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得工程と、
    　前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定工程と、
    　前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信工程と、
    　前記受信工程によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成工程と、
    　前記生成工程によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示工程と
    　を含むことを特徴とする表示制御方法。
  8. 　対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込ステップと、
    　前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得ステップと、
    　前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定ステップと、
    　前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信ステップと、
    　前記受信ステップによって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成ステップと、
    　前記生成ステップによって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示ステップと
    　をコンピュータに実行させることを特徴とする表示制御プログラム。
PCT/JP2021/006942 2021-02-24 2021-02-24 表示制御装置、表示制御方法および表示制御プログラム WO2022180704A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023501732A JPWO2022180704A1 (ja) 2021-02-24 2021-02-24
PCT/JP2021/006942 WO2022180704A1 (ja) 2021-02-24 2021-02-24 表示制御装置、表示制御方法および表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/006942 WO2022180704A1 (ja) 2021-02-24 2021-02-24 表示制御装置、表示制御方法および表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2022180704A1 true WO2022180704A1 (ja) 2022-09-01

Family

ID=83047871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006942 WO2022180704A1 (ja) 2021-02-24 2021-02-24 表示制御装置、表示制御方法および表示制御プログラム

Country Status (2)

Country Link
JP (1) JPWO2022180704A1 (ja)
WO (1) WO2022180704A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573859A (zh) * 2024-01-15 2024-02-20 杭州数令集科技有限公司 自动推进剧情和对话的数据处理方法、系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004363A1 (ja) * 2017-06-29 2019-01-03 株式会社ビズオーシャン 情報入力方法、情報入力装置、及び情報入力システム
JP2019028783A (ja) * 2017-07-31 2019-02-21 株式会社Ｌ ｉｓ Ｂ コールセンタ支援装置、コールセンタ支援システム、コールセンタ支援方法およびコールセンタ支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004363A1 (ja) * 2017-06-29 2019-01-03 株式会社ビズオーシャン 情報入力方法、情報入力装置、及び情報入力システム
JP2019028783A (ja) * 2017-07-31 2019-02-21 株式会社Ｌ ｉｓ Ｂ コールセンタ支援装置、コールセンタ支援システム、コールセンタ支援方法およびコールセンタ支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573859A (zh) * 2024-01-15 2024-02-20 杭州数令集科技有限公司 自动推进剧情和对话的数据处理方法、系统及设备

Also Published As

Publication number Publication date
JPWO2022180704A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
Nebeling et al. Interactive development of cross-device user interfaces
KR100613052B1 (ko) 레거시 소프트웨어와 스크린 리더 프로그램 간의 상호작동을 위한 방법 및 장치
US8104020B2 (en) Method and system to automate software testing using sniffer side and browser side recording and a toolbar interface
KR101087312B1 (ko) 자동으로 생성된 콘텐츠의 임포테이션
US20150100946A1 (en) Using mock data to validate applications
US8032232B2 (en) Natively retaining project documentation in a controller
JP6514084B2 (ja) 操作支援システム、操作支援方法、および、操作支援プログラム
JP2019525373A (ja) テストケースの生成方法
TWI407425B (zh) 產生使用者介面相關之一物件屬性的方法
US20140033123A1 (en) User interface and method for comparing a local version of a profile to an online update
WO2015075790A1 (ja) シーケンスプログラム作成支援装置
WO2022180704A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2003208501A (ja) ビジネスプロセス定義表示方法およびプログラム
US9298428B2 (en) Graphical user interface editor that displays live data during editing
JP6097231B2 (ja) プログラム生成装置および方法
JP2019079165A (ja) 編集プログラム、編集装置、及び、編集方法
JP6552162B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5657183B2 (ja) 第１のコンピュータ・プログラムが第２のコンピュータ・プログラムのアプリケーション・ロジックを実行することを可能にするための方法および装置、第１のコンピュータ・プログラムと第２のコンピュータ・プログラムとのインターフェースをとるためのコンピュータ・プログラム・コードを生成するための方法および装置、コンピュータ・プログラム、ならびに第１のコンピュータ・プログラムが第２のコンピュータ・プログラムのアプリケーション・ロジックを実行することを可能にするためのソフトウェア・インターフェースを提供するための方法（コンピュータ・プログラム・インターフェース）
US20080243589A1 (en) Questionnaire-driven system configuration
JP2009009212A (ja) 仕様書作成支援装置および支援方法
JP2003303100A (ja) 情報処理システムおよび情報処理システム構築方法並びにこれに用いるプログラム
WO2019240743A1 (en) A method and system for semantic integration approach for field device life cycle management
EP1868099A1 (en) Bug management tool
JP7506339B2 (ja) 情報処理システム、その制御方法及びプログラム
US20240103850A1 (en) Presentation design to background service binding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21927806

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023501732

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21927806

Country of ref document: EP

Kind code of ref document: A1