WO2016047286A1 - 情報処理装置及び操作支援方法 - Google Patents

情報処理装置及び操作支援方法 Download PDF

Info

Publication number
WO2016047286A1
WO2016047286A1 PCT/JP2015/072340 JP2015072340W WO2016047286A1 WO 2016047286 A1 WO2016047286 A1 WO 2016047286A1 JP 2015072340 W JP2015072340 W JP 2015072340W WO 2016047286 A1 WO2016047286 A1 WO 2016047286A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
screen
component
computer
link information
Prior art date
Application number
PCT/JP2015/072340
Other languages
English (en)
French (fr)
Inventor
勇介 中尾
彩 米今
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2016550019A priority Critical patent/JPWO2016047286A1/ja
Publication of WO2016047286A1 publication Critical patent/WO2016047286A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to a technique for supporting the operation of a computer.
  • IT Information Technology
  • IT literacy information literacy
  • Patent Document 1 proposes a device for supporting an operator who performs an operation on an operation screen.
  • the device displays the manual for the operation screen associated with the specified position according to the operator's specification for the operation screen, and when the displayed operation screen transitions to another operation screen.
  • the manual of the operation screen after the transition is newly displayed.
  • the apparatus registers a comment received from the operator for the manual in association with the manual, and displays the comment together with the manual.
  • IT equipment People who are unfamiliar with IT equipment (also called IT weak people) like the elderly often learn how to operate from people who are used to IT equipment (also called IT strong) when using IT equipment anew. As a result, even an unfamiliar person can use a new IT device. However, a few days after being taught, such people often forget what they have learned and return to a situation where they cannot operate IT equipment.
  • the present invention has been made in view of such circumstances, and provides an operation support technology for supporting the operation of an IT device (computer).
  • the first aspect relates to a program that causes a computer to execute an operation support method.
  • the operation support method is screen data for displaying a display screen, obtains screen data that does not include information on an auxiliary screen component that presents at least one of a text and an image, and is based on the obtained screen data.
  • Obtaining link information including element specifying information for specifying a screen component included in the display screen and auxiliary component information related to the auxiliary screen component associated with the screen component, and the acquired screen
  • the auxiliary screen part is displayed on the display unit together with the screen components using the acquired link information.
  • An information processing apparatus includes screen acquisition means for acquiring screen data that is screen data for displaying a display screen and does not include information on an auxiliary screen component that presents at least one of a text and an image.
  • Link information including element specifying information for specifying a screen component included in the display screen based on the acquired screen data, and auxiliary component information related to the auxiliary screen component associated with the screen component
  • a link acquisition means for acquiring the display screen, and when displaying the display screen based on the acquired screen data, using the acquired link information, together with the screen components, the auxiliary screen component on the display unit Display processing means for displaying.
  • Another aspect of the present invention is a computer-readable recording medium that records the above-described operation support method and the program according to the first aspect.
  • This recording medium includes a non-transitory tangible medium.
  • FIG. 1 is a diagram conceptually illustrating a hardware configuration example of a computer 10 in the first embodiment.
  • the computer 10 in the first embodiment is a so-called computer such as a PC (Personal Computer), a mobile phone, a smartphone, or a tablet terminal.
  • the computer 10 includes a central processing unit (CPU) 2, a memory 3, a display unit 4, a touch sensor 5, a communication unit 6, an input / output unit 7, and the like.
  • the CPU 2 is connected to other hardware elements through a communication line such as a bus.
  • a communication line such as a bus.
  • FIG. 1 one hardware element is shown, but the number of hardware elements is arbitrary.
  • the memory 3 is a RAM (Random Access Memory), a ROM (Read Only Memory), or an auxiliary storage device (hard disk or the like).
  • the display unit 4 includes a monitor such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display, and performs display processing.
  • the touch sensor 5 receives an operation input from the user by detecting a contact from the outside.
  • the touch sensor 5 may be a sensor that can detect a proximity state from the outside even in a non-contact state.
  • the display unit 4 and the touch sensor 5 may be realized as a touch panel unit.
  • the communication unit 6 performs wireless communication or wired communication, and communicates with the server device 1 and other computers via the communication network 9.
  • the communication network 9 is a mobile phone line network, a Wi-Fi (Wireless Fidelity) line network, an Internet communication network, a dedicated line network, a LAN (Local Area Network), or the like.
  • the communication form of the computer 10 is not limited.
  • the input / output unit 7 is connected to an external device such as an input device such as a mouse or a keyboard, or a portable recording medium such as a memory card.
  • the computer 10 does not have the touch sensor 5 and may accept an operation input from a user by an input device connected by the input / output unit 7.
  • the computer 10 receives screen data such as a WEB page (HTML (HyperText) Markup Language) file) from the server device 1 via the communication unit 6, and based on the screen data.
  • the display screen is displayed on the monitor of the display unit 4.
  • the hardware configuration of the computer 10 is not limited to the configuration shown in FIG.
  • the computer 10 may have other hardware elements not shown in FIG.
  • the program is installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 6 or the input / output unit 7 and stored in the memory 3. Also good.
  • the program may be a program added to another application such as a WEB browser, or may be a program of the WEB browser or the dedicated application itself.
  • FIG. 2 is a flowchart illustrating an operation example of the computer 10 in the first embodiment when the label UI component is pasted.
  • the label UI component is a screen component displayed in association with a screen component included in the display screen (hereinafter referred to as GUI (Graphical User Interface) element).
  • GUI Graphic User Interface
  • the label UI component presents at least one of text and an image for assisting (assisting) the operation of the computer 10 by a user (particularly an IT weak person). Therefore, the label UI component can also be called an auxiliary screen component.
  • “Attaching the label UI part” means associating the label UI part with a certain GUI element.
  • the GUI element that can be associated with the label UI component is not particularly limited as long as it is an element that forms a display screen.
  • the GUI elements include GUI objects such as buttons, tabs, drop-down lists, and combo boxes, and screen elements that can be selected by user operations such as hyperlinks, icons, images, frames, and text. Applicable.
  • the computer 10 detects a user operation for associating the GUI element in the display screen displayed based on the screen data received from the server device 1 and the label UI component (S21).
  • a user operation for associating the GUI element in the display screen displayed based on the screen data received from the server device 1 and the label UI component (S21).
  • the specific contents of the user operation for associating the GUI element and the label UI part are not limited. A specific example of this user operation will be described later as an example.
  • the computer 10 receives input information for the label UI component in response to a user input operation for the label UI component (S22).
  • the computer 10 can accept text input by the user or information on an image selected by the user as input information.
  • the computer 10 can also accept the relative display position of the label UI component with respect to the GUI element as the input information.
  • the computer 10 generates link information related to the GUI element and the label UI component that are the target of the user operation detected in (S21) (S23).
  • the link information includes element specifying information for specifying a GUI element included in the display screen, and label information regarding a label UI component associated with the GUI element.
  • the element specifying information is information for specifying a GUI element included in the display screen.
  • the element specifying information is information indicating the display position of the GUI element in the display screen.
  • the element specifying information includes screen specifying information for specifying screen data for displaying a display screen including the GUI element, and a position of information (code or the like) regarding the GUI element in the screen data.
  • the element position information for specifying is included.
  • the screen specifying information is, for example, a URL (Uniform Resource Locator)
  • the element position information is, for example, a GUI element attribute (type, label, color, ID, etc.) or HTML ( (HyperText Markup Language) Indicates the position (number line, number, etc.) of the source code of the GUI element in the file.
  • the label information includes information (for example, label ID) for specifying the label UI component, and text and image information presented by the label UI component.
  • the label information may further include positional relationship information indicating a relative display position of the label UI component with respect to the GUI element.
  • the label information may include information related to display settings of the label UI component, such as display or non-display of text and display or non-display of an image.
  • the computer 10 can generate the label information using the input information received in (S22).
  • the computer 10 stores the link information generated in (S23) in a predetermined storage area in the memory 3 (S24).
  • a storage area for storing link information a storage area provided for an application or a user by an OS (Operating System) of the computer 10 may be used.
  • the storage area provided for applications and users includes a cookie area. That is, the link information may be stored in the cookie area.
  • link information is preserve
  • the label UI component and the GUI element may be associated one-on-one, one-to-multiple, or a plurality of one-to-one.
  • the computer 10 can also detect a user operation for associating a new label UI component with a GUI element already associated with another label UI component.
  • the computer 10 determines whether or not the link information including the element specifying information related to the detected GUI element as the target of the user operation is stored in the predetermined storage area. . If the link information is already stored, the computer 10 adds label information related to the new label UI component to the link information (S23). As a result, the updated link information indicates that a plurality of label UI components are associated with one GUI element.
  • the execution order of each process performed by the operation support method in the first embodiment is not limited to the example of FIG. For example, (S22) may be executed before (S21).
  • FIG. 3 is a flowchart illustrating an operation example when the label UI component is displayed by the computer 10 according to the first embodiment.
  • the computer 10 receives screen data from the server device 1 (S31).
  • the screen data is data for displaying a display screen such as a WEB page, and is original screen data that includes information regarding GUI elements and does not include information regarding label UI components.
  • the received screen data is data that does not change for each computer 10 that accesses the server device 1.
  • the computer 10 extracts link information corresponding to the screen data acquired in (S31) from the above-described predetermined storage area (S32). Specifically, the computer 10 extracts link information related to the GUI element included in the screen data acquired in (S31) from the link information stored in the predetermined storage area. Specifically, the computer 10 extracts link information including element specifying information indicating a GUI element included in the screen data acquired in (S31).
  • the computer 10 displays a display screen including the label UI component and the GUI element on the monitor of the display unit 4 based on the screen data acquired in (S31) and the link information extracted in (S32) (S33).
  • the computer 10 displays a display screen including a GUI element based on the screen data by a general method.
  • the computer 10 detects the presence of the label UI component associated with the GUI element included in the display screen based on the link information, and displays the label UI component based on the label information in the link information. .
  • the computer 10 displays the label UI component at a position around the display position on the display screen of the GUI element specified by the element specifying information in the link information.
  • the computer 10 displays the label UI component so as to present at least one of the text and the image indicated by the label information in the link information.
  • the label information included in the link information includes the positional relationship information indicating the relative display position of the label UI component with respect to the associated GUI element
  • the computer 10 determines the relative to the GUI element indicated by the positional relationship information.
  • the label UI component is displayed at a specific display position.
  • the computer 10 edits the screen data received in (S31), and includes a label UI component and a GUI element based on the edited screen data.
  • a display screen can also be displayed (S33).
  • the computer 10 inserts at least a part of the label information included in the link information extracted in (S32) into the screen data acquired in (S31).
  • the computer 10 inserts at least a part of the label information into a position corresponding to the element position information included in the element specifying information in the link information extracted in (S32) in the screen data. To do.
  • the label information (for example, the location of the text, the image file, etc.) is inserted at the end of the structured unit corresponding to the target GUI element in the screen data.
  • the computer 10 may display the label UI component and the GUI element based on the screen data edited in this way.
  • FIG. 4 is a flowchart illustrating an operation example when the computer 10 according to the first embodiment makes any change to the label UI component.
  • the computer 10 detects a user operation on the displayed label UI component (S41). At this time, link information including label information related to the label UI component is stored in the computer 10.
  • the computer 10 specifies link information related to the label UI component that is the target of the user operation detected in (S41) in a predetermined storage area in the memory 3 (S42).
  • the computer 10 acquires information (label ID) for specifying the target label UI component, and specifies link information including label information indicating the information.
  • the computer 10 determines whether or not the user operation detected in (S41) indicates “delete” (S43). When the user operation indicates “delete” (S43; YES), the computer 10 deletes the link information specified in (S42) from the predetermined storage area (S44).
  • the computer 10 determines whether or not the user operation detected in (S41) indicates “change in display settings” (S43; NO and S45). When the user operation indicates “change in display setting” (S45; YES), the computer 10 changes the display setting included in the label information in the link information specified in (S42) (S46). As described above, the display setting included in the label information indicates text display or non-display, image display or non-display, and the like. For example, the computer 10 changes the display setting so as to indicate that the text is not displayed according to the content indicated by the detected user operation.
  • the computer 10 determines whether or not the user operation detected in (S41) indicates “change of presentation content” (S43; NO, S45; NO and S47). When the user operation indicates “change of presentation content” (S47; YES), the computer 10 changes the presentation content information included in the label information in the link information identified in (S42) (S48).
  • the presentation content information indicates text and image information presented by the label UI component. For example, when a user operation for changing the text is detected, the computer 10 updates the text indicated by the label information in the link information specified in (S42) to a new text.
  • the computer 10 can detect a user operation indicating a change in the relative display position of the label UI component with respect to the GUI element. Further, a user operation indicating a change in association between the GUI element and the label UI component may be detected.
  • the execution order of each process performed with the operation assistance method in 1st embodiment is not limited to the example of FIG. For example, (S42) may be executed immediately before (S44), (S46), and (S48). Further, the order of the determinations regarding the contents of the user operation (S43), (S45), and (S47) is also arbitrary.
  • FIG. 5 is a diagram conceptually illustrating a processing configuration example of the computer 10 in the first embodiment.
  • the computer 10 includes a screen acquisition unit 11, a link acquisition unit 12, a display processing unit 13, a storage unit 14, an operation detection unit 15, a link generation unit 16, a link storage unit 17, and the like.
  • Each of these processing units is realized by the CPU 2 executing the program stored in the memory 3.
  • the computer 10 can execute the operation support method in the first embodiment described above by each processing unit shown in FIG.
  • the screen acquisition unit 11 executes the above (S31).
  • the link acquisition unit 12 executes (S32) and (S42).
  • the display processing unit 13 executes the above (S33).
  • the operation detection unit 15 performs the above (S21) and (S41).
  • the link generation unit 16 executes (S22), (S43) to (S48).
  • the link storage unit 17 executes the above (S23).
  • the storage unit 14 indicates a predetermined storage area in the memory 3. This storage area is managed by the OS, for example.
  • the user operation for associating the label UI component with the GUI element is detected, and the link information between the label UI component and the GUI element specified by the user operation is stored in the storage area of the computer 10. Is done.
  • the link information includes element specifying information for specifying a GUI element and label information regarding a label UI component.
  • link information related to the GUI element included in the display screen is extracted from the storage area, and at least one of text and an image is presented based on the link information.
  • the label UI part to be displayed is displayed together with the associated GUI element.
  • the computer 10 can be continuously operated even by a weak IT user by using the label UI component.
  • FIG. 6 is a diagram showing an example of using the label UI component.
  • FIG. 6 shows a situation where an elderly user M1 teaches a user M2 who is used to IT equipment to operate the computer 10.
  • the user M1 can also operate the computer 10 by the lesson of the user M2.
  • the user M2 associates (pastes) the label UI component L1 with a GUI element related to a menu (television viewing) that is frequently used by the user M1 or a menu that is likely to be mistaken during the lesson.
  • the user M2 inputs a message such as “You can watch TV from here” to the label UI part L1.
  • the user M1 can confirm the message forever, he does not forget the operation method of the computer 10.
  • the user M1 can do what he / she wants to do by operating the GUI element associated with the label UI component L1 presenting the message.
  • the teaching side by leaving a message with the label UI component, it is possible to prevent repetition such as teaching every time it is forgotten, so the teaching time can be shortened.
  • a user operation on the displayed label UI component is detected, and the link information on the label UI component is deleted or changed in accordance with the user operation.
  • the user can change the message presented by the label UI component each time, and can delete the label UI component when it becomes unnecessary.
  • the user can improve the proficiency with respect to the operation of the computer 10 while changing the usage of the label UI component.
  • the link information is stored on the client side (computer 10).
  • the link information may be stored in the server device 1.
  • the computer 10 transmits link information to the server device 1 together with identification information of the computer 10 or its user.
  • the server device 1 stores each link information in association with the identification information of the computer or user who created the link information.
  • user identification information can be replaced by computer identification information.
  • the computer 10 transmits to the server device 1 a request including element specifying information indicating the GUI element included in the screen data acquired in (S31) and identification information of the user of the computer 10. By the transmission, the computer 10 acquires link information, which is stored in the server device 1 in association with the identification information of the user, and includes the element specifying information from the server device 1.
  • the computer 10 sends a request including information (label ID) for identifying the label UI component that is the target of the user operation detected in (S41) and identification information of the user of the computer 10 to the server device. 1 to send.
  • the computer 10 specifies link information that is stored in the server device 1 in association with the identification information of the user and includes the label information of the target label UI component.
  • the computer 10 may insert at least a part of the label information into the received screen data (S33). It was. Such editing of screen data may be executed by the server device 1.
  • the computer 10 sends the identification information of the user of the computer 10 to the server device 1 together with a display request for a desired display screen.
  • the server device 1 acquires screen data corresponding to the desired display screen (S31), and extracts link information corresponding to the received identification information (S32).
  • the server device 1 inserts at least part of the label information indicated by the link information extracted in (S32) into the screen data acquired in (S31), and transmits the edited screen data to the computer 10.
  • the computer 10 receives the edited screen data (S31), and can display a display screen including a GUI element and a label UI part based on the screen data (S33).
  • FIG. 7 is a flowchart illustrating an operation example of the computer 10 according to the second embodiment when any change is made to the label UI component.
  • the computer 10 (CPU 2) executes the operation support method in the second embodiment shown in FIG. 7 by executing the program stored in the memory 3. Note that the step of attaching the label UI component (see FIG. 2) and the step of displaying the label UI component (see FIG. 3) are the same as those in the first embodiment, and thus the description thereof is omitted here.
  • the process of making any change to the label UI component further includes (S71) and (S72) in addition to the processes shown in FIG. 7, steps having the same contents as those shown in FIG. 4 are denoted by the same reference numerals as those in FIG.
  • the computer 10 determines whether or not the user operation detected in (S41) indicates “share” (S71). When the user operation indicates “share” (S71; YES), the computer 10 transmits the link information specified in (S42) to another computer (S72).
  • the computer that is the transmission destination of the link information may be fixedly determined or specified by the user operation.
  • FIG. 8 is a diagram conceptually illustrating a processing configuration example of the computer 10 in the second embodiment.
  • the computer 10 further includes a shared processing unit 81 in addition to the configuration of the first embodiment.
  • the shared processing unit 81 is also realized in the same manner as other processing units.
  • the computer 10 can execute the operation support method according to the second embodiment by each processing unit shown in FIG.
  • the sharing processing unit 81 executes the above (S71) and (S72).
  • link information regarding the label UI component that is the target of the user operation is specified from the storage unit of the computer 10 and the link information is transmitted to another computer. Is done.
  • the other computer that has received the link information stores the link information and uses the link information to display the label UI component together with the GUI element.
  • the label UI component can be shared among a plurality of computers.
  • a plurality of people multiple computers
  • a memo, an annotation, etc. regarding the display screen can be sent to Can be shared on
  • the efficiency of work using the display screen can be improved within the group.
  • a user of an IT strong person can generate link information including a training message on his computer 10 and send the link information to the IT weak person, thereby supporting the operation of the IT weak person.
  • the link information stored on the client side is shared among a plurality of computers.
  • the link information may be shared among a plurality of computers while being stored in the server device 1.
  • This modification includes the modification of the first embodiment described above.
  • the server device 1 stores each link information in a state of being associated with the identification information of the user who created the link information and the sharing range information indicating the sharing range.
  • the shared range information includes identification information of individual objects (computers or users) or groups that are permitted to use the link information.
  • the computer 10 displays the screen specifying information of the screen data acquired in (S31) or the element specifying information indicating the GUI element included in the screen data, and the identification information of the user of the computer 10.
  • the request including the request is transmitted to the server device 1.
  • the computer 10 is link information stored in the server device 1 in association with the identification information of the user or the shared range information to which the identification information of the user belongs, and includes the element specifying information.
  • Information is extracted from the server device 1.
  • the computer 10 sends a request including information (label ID) for identifying the label UI component that is the target of the user operation detected in (S41) and identification information of the user of the computer 10 to the server device. 1 to send.
  • the computer 10 is linked information stored in the server device 1 in association with the identification information of the user or the shared range information to which the identification information of the user belongs, and the label corresponding to the label ID Identify link information including information.
  • the computer 10 provides the server apparatus 1 with shared range information indicating the shared range of the link information together with the link information specified in (S42) or information for specifying the link information. Send to.
  • the server apparatus 1 receives the information, and updates the sharing range information associated with the target link information based on the received sharing range information. Thereafter, the server device 1 transmits link information only for requests from users belonging to the shared range information, and does not transmit link information for requests from users not belonging to the shared range information.
  • the server device 1 determines whether or not editing is possible using the above-described shared range information. To do. In this case, the server device 1 transmits the edited screen data only for the request from the user belonging to the shared range information, and the original screen data for the request from the user not belonging to the shared range information. Send.
  • the information processing apparatus in the third embodiment has a hardware configuration similar to that of the computer 10 in each of the above-described embodiments (see FIG. 1).
  • FIG. 9 is a flowchart showing an operation example of the information processing apparatus in the third embodiment.
  • the information processing apparatus 100 according to the third embodiment executes the operation support method according to the third embodiment illustrated in FIG. 9 by executing a program stored in the memory 3. For example, each illustrated process is executed by each processing unit included in the information processing apparatus.
  • screen data is acquired (S101)
  • link information is acquired based on the screen data (S102)
  • a label UI component and GUI are acquired based on the screen data and the link information.
  • This includes displaying the display screen including the elements on the monitor of the display unit 4 (S103).
  • the details of (S101), (S102), and (S103) are the same as (S31), (S32), and (S33) shown in FIG.
  • the screen data acquired in (S101) is screen data for displaying a display screen, and is screen data that does not include information on auxiliary screen components that present at least one of text and images.
  • the information processing apparatus 100 may acquire screen data from another apparatus such as the server apparatus 1 or may acquire screen data from its own memory 3.
  • the link information acquired in (102) is associated with element specifying information for specifying a screen component included in the display screen displayed based on the screen data acquired in (S101), and the screen component.
  • the auxiliary component information corresponds to the label information described above. However, the auxiliary component information in the present embodiment only needs to indicate at least one of text and image information presented in the label UI component.
  • Information for identifying the label UI component for example, label ID
  • positional relationship information Information regarding display settings may not be included.
  • the information processing apparatus 100 may acquire link information from another apparatus such as the server apparatus 1 or may acquire link information from its own memory 3 (storage unit 14).
  • the information processing apparatus 100 uses the link information acquired in (S102) to assist with the screen components.
  • the screen component is displayed on the monitor (display unit) of the display unit 4.
  • the information processing apparatus 100 can display a display screen including screen components by using screen data.
  • the information processing apparatus 100 according to the present embodiment further detects a screen component based on the screen data, acquires auxiliary component information from link information including element specifying information indicating the screen component, and uses the auxiliary component information.
  • An auxiliary screen component that presents at least one of the displayed text and image is displayed.
  • the information processing apparatus 100 may display the auxiliary screen component near the screen component specified by the element specifying information of the link information.
  • FIG. 10 is a diagram illustrating a processing configuration example of the information processing apparatus 100 according to the third embodiment.
  • the information processing apparatus 100 includes a screen acquisition unit 101, a link acquisition unit 102, a display processing unit 103, and the like. Each of these processing units is also realized in the same manner as each processing unit of the computer 10 described above.
  • the screen acquisition unit 101 corresponds to the screen acquisition unit 11 described above, and executes the above (S101).
  • the link acquisition unit 102 corresponds to the link acquisition unit 12 described above, and executes the above (S102).
  • the display processing unit 103 corresponds to the display processing unit 13 described above, and executes the above (S103).
  • the information processing apparatus 100 may not include a processing unit that performs a process of associating a screen component with an auxiliary screen part or a process of changing stored link information.
  • the information processing apparatus 100 may not include the storage unit 14 that stores link information.
  • the third embodiment may be a program that causes a computer to execute the operation support method, or may be a computer-readable recording medium that records such a program.
  • the display of the auxiliary screen component (corresponding to the label UI component), it is possible to obtain the same operational effects as the above-described embodiments and modifications.
  • FIG. 11 is a diagram showing an example of a display screen.
  • the computer 10 (information processing apparatus 100) displays the display screen DP1 shown in FIG. 11 on the monitor of the display unit 4 based on the acquired screen data.
  • the display screen DP1 includes a plurality of GUI elements (for example, symbols DP_E1 to DP_E10). However, elements that are not labeled are also “GUI elements”. For example, at least a part of the character string “menu” and the character string “emergency earthquake bulletin” is a “GUI element”.
  • FIG. 12 is a diagram illustrating an example of a screen for selecting an image to be presented with a label UI component.
  • the menu GUI element
  • DP_E1 the display screen DP1
  • the computer 10 displays a screen (not shown) for selecting a menu for attaching the label UI component.
  • the computer 10 displays an image selection screen DP2.
  • a plurality of candidate images are presented on the image selection screen DP2.
  • the computer 10 displays the edit mode label UI part LE_D shown in FIG.
  • FIG. 13 is a diagram showing an example of the label UI component in the edit mode.
  • the label UI part LE_D in the example of FIG. 13 has a configuration in which a button LE_DB1 indicating cancellation, a button LE_DB2 indicating confirmation, a candidate image LE_C1, and a balloon LE_T are surrounded by a frame. Since the balloon portion LE_T is in an initial state, an explanation such as “tap here to input a memo” is presented in a light color (not shown).
  • the user performs an operation of moving the label UI part LE_D to a position overlapping the GUI element to be associated. This operation can be realized by, for example, a drag operation (drag and drop operation).
  • the GUI element associated with the label UI part LE_D in the edit mode is the “local news” menu DP_E6.
  • the computer 10 When the speech balloon LE_T is tapped, the computer 10 activates the software keyboard and acquires text information (input information) input by the user (corresponding to FIG. 2 (S22)). When the user finishes the input, the user taps the button LE_DB2. The computer 10 detects such a series of user operations (corresponding to FIG. 2 (S21)).
  • FIG. 14 is a diagram showing a display example of the label UI component.
  • the computer 10 When the button LE_DB2 is tapped, the computer 10 generates and stores link information related to the “local news” menu DP_E6 and the label UI component (corresponding to FIG. 2 (S23) and (S24)). The computer generates link information including the element specifying information of the menu DP_E6, and the label information (auxiliary component information) including the text “You can apply for the resident card here” and the information of the image LE_C1. Thereafter, when the “local news” menu DP_E6 is displayed, the computer 10 displays the image LE_C1 and text (speech portion LE_T) of the label UI component associated therewith. By referring to the label UI component, the user can remember that the “local news” menu DP_E6 may be tapped when applying for a resident card.
  • FIG. 15 is a diagram showing another display example of the label UI component.
  • the computer 10 Only the image LE_C1 of the label UI component may be displayed.
  • the operation can be recalled even with only the image, and thus the balloon LE_T may not be necessary. Further, it is possible to prevent other GUI elements from being hidden by the blowing part LE_T and becoming difficult to see.
  • the computer 10 When the computer 10 detects a long tap on the label UI component displayed in the state shown in FIG. 14 or FIG. 15, the computer 10 displays the label UI component LE_D in the edit mode.
  • the computer 10 receives the change of the label UI component via the label UI component LE_D in the edit mode. For example, when the button LE_DB1 is tapped, the computer 10 deletes the link information between the label UI component and the menu DP_E6 (corresponding to (S43) and (S44) in FIG. 4).
  • the balloon LE_T When the balloon LE_T is tapped, the computer 10 receives a change in the text of the label UI component (corresponding to (S47) and (S48) in FIG. 4).
  • the computer 10 can display the image selection screen DP2 again and accept the change of the image. Further, when the label UI component in a state where an image and text are presented (the state in FIG. 14) is tapped, the computer 10 changes to a state in which only the image or text is presented as shown in FIG. It is also possible (corresponding to (S45) and (S46) in FIG. 4). When the label UI component LE_D in the edit mode is dragged, the computer 10 can also change the display position of the label UI component relative to the menu DP_E6. The computer 10 can also reduce and enlarge the label UI parts.
  • FIG. 16 is a diagram illustrating an example of a user operation for associating a GUI element with a label UI component.
  • the label UI part LE_D in the edit mode includes a chain hook LE_K, and the user performs an operation of moving (stretching) the chain hook LE_K to a GUI element to be associated.
  • the computer 10 may recognize a pair of the associated GUI element and label UI component by detecting such a user operation using the chain hook LE_K.
  • the chain hook LE_K may be displayed only in the edit mode or may be always displayed.
  • Screen data for displaying a display screen the screen data not including information on auxiliary screen parts that present at least one of text and images is acquired, Link information including element specifying information for specifying a screen component included in the display screen based on the acquired screen data, and auxiliary component information regarding the auxiliary screen component associated with the screen component.
  • Link information including element specifying information for specifying a screen component included in the display screen based on the acquired screen data
  • auxiliary component information regarding the auxiliary screen component associated with the screen component Acquired, When displaying the display screen based on the acquired screen data, using the acquired link information, together with the screen components, display the auxiliary screen components on a display unit, An operation support method including the above. 2.
  • the auxiliary component information further includes positional relationship information indicating a display position of the auxiliary screen component relative to the screen component, The display displays the auxiliary screen component at a display position relative to the screen component indicated by the positional relationship information. 1. Or 2. The operation support method described in 1. 4).
  • the link information is acquired by transmitting a request including identification information of the computer or a user of the computer to the server device, so that the link information stored in association with the identification information is stored in the server device. Get from the device, 1. To 3.
  • the element specifying information includes screen specifying information for specifying the screen data and element position information for specifying a position of information of the screen constituent element in the screen data,
  • the acquisition of the link information acquires the link information including the element specifying information corresponding to the acquired screen data, In the display, the element position information of the element specifying information included in the acquired link information in at least a part of the auxiliary part information included in the acquired link information is included in the acquired screen data.
  • the auxiliary screen parts are displayed on the display unit together with the screen components based on the edited screen data. 1.
  • the shared range information indicating the shared range of the link information is transmitted to the server device. Further includes: To 5.
  • the link information is stored in a storage unit of the computer, Detecting a user operation for designating the auxiliary screen component to be displayed; Obtaining the link information including the auxiliary part information related to the auxiliary screen part specified by the detected user operation from the storage unit; Transmitting the acquired link information to another device; Further includes: To 6.
  • Screen acquisition means for acquiring screen data for displaying a display screen, the screen data not including information on an auxiliary screen component that presents at least one of a text and an image; Link information including element specifying information for specifying a screen component included in the display screen based on the acquired screen data, and auxiliary component information regarding the auxiliary screen component associated with the screen component.
  • a link acquisition means to acquire When displaying the display screen based on the acquired screen data, using the acquired link information, together with the screen components, display processing means for displaying the auxiliary screen components on a display unit;
  • An information processing apparatus comprising: 9.
  • Operation detecting means for detecting a user operation for associating the auxiliary screen component and the screen component;
  • Link generation means for generating the link information related to the screen component and the auxiliary screen component to be detected by the user operation;
  • Link saving means for transmitting the generated link information to a server device, or storing the generated link information in a storage unit; Is further provided.
  • the auxiliary component information further includes positional relationship information indicating a display position of the auxiliary screen component relative to the screen component,
  • the display processing means displays the auxiliary screen component at a display position relative to the screen component indicated by the positional relationship information. 8). Or 9.
  • the link acquisition means transmits the request including the identification information of the information processing apparatus or the user of the information processing apparatus to the server apparatus, and the link information stored in association with the identification information in the server apparatus Is acquired from the server device.
  • the information processing apparatus according to any one of the above. 12
  • the element specifying information includes screen specifying information for specifying the screen data and element position information for specifying a position of information of the screen constituent element in the screen data
  • the link acquisition means acquires the link information including the element specifying information corresponding to the acquired screen data
  • the display processing means includes at least part of the auxiliary part information included in the acquired link information, and the element of the element specifying information included in the acquired link information in the acquired screen data.
  • Operation detecting means for detecting a user operation for designating the auxiliary screen component to be displayed;
  • a storage unit for storing the link information;
  • Share processing means for transmitting link information acquired by the link acquisition means to another device; Further comprising
  • the link acquisition means acquires the link information including the auxiliary component information related to the auxiliary screen component specified by the detected user operation from the storage unit. 8).
  • the information processing apparatus according to any one of the above. 15. 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　操作支援方法は、表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得し、取得された画面データに基づいて、表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた補助画面部品に関する補助部品情報を含む、リンク情報を取得し、取得された画面データに基づいて表示画面を表示する際に、取得されたリンク情報を用いて、画面構成要素と共に、補助画面部品を表示部に表示する、ことを含む。

Description

情報処理装置及び操作支援方法
　本発明は、コンピュータの操作を支援する技術に関する。
　ＩＴ（Information Technology）の進歩は著しく、次々に新しいＩＴ機器や情報インフラが提供されている。これに伴い、情報リテラシ（ＩＴリテラシ）に格差が生じ、デジタルデバイドが発生している。
　特許文献１には、操作画面上で操作を行う操作者を支援するための装置が提案されている。その装置は、操作者による操作画面に対する指定に応じて、その指定された位置に紐付けられている操作画面のマニュアルを表示し、表示されている操作画面が別の操作画面に遷移した場合に、遷移後の操作画面のマニュアルを新たに表示する。また、その装置は、操作者からマニュアルに対して受け付けられたコメントをそのマニュアルに紐付けて登録しておき、そのコメントをマニュアルと共に表示する。
特開２０１４－６７１２４号公報
　高齢者のようにＩＴ機器に不慣れな人々（ＩＴ弱者とも呼ばれる）は、ＩＴ機器を新たに活用するにあたり、ＩＴ機器に慣れている人々（ＩＴ強者とも呼ばれる）から操作方法を教わることが多い。これにより、不慣れな人でも新たなＩＴ機器を利用することができる。しかしながら、教わってから数日経つと、そのような人々は、教わった内容を忘れてしまい、また、ＩＴ機器を操作できない状況に戻ってしまう場合が多い。
　上記特許文献１によれば、マニュアルにコメントを残しておくことで、表示されるマニュアルを一層分かり易いものとすることができる。しかしながら、ＩＴ弱者にとって、マニュアルを表示させたり、マニュアルにコメントを入力したりすること自体、難しい操作である。
　本発明は、このような事情に鑑みてなされたものであり、ＩＴ機器（コンピュータ）の操作を支援する操作支援技術を提供する。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第一の側面は、操作支援方法をコンピュータに実行させるプログラムに関する。その操作支援方法は、表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得し、前記取得された画面データに基づいて、前記表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた前記補助画面部品に関する補助部品情報を含む、リンク情報を取得し、前記取得された画面データに基づいて前記表示画面を表示する際に、前記取得されたリンク情報を用いて、前記画面構成要素と共に、前記補助画面部品を表示部に表示する、ことを含む。
　第二の側面は、情報処理装置に関する。第二の側面に係る情報処理装置は、表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得する画面取得手段と、前記取得された画面データに基づいて、前記表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた前記補助画面部品に関する補助部品情報を含む、リンク情報を取得するリンク取得手段と、前記取得された画面データに基づいて前記表示画面を表示する際に、前記取得されたリンク情報を用いて、前記画面構成要素と共に、前記補助画面部品を表示部に表示する表示処理手段とを有する。
　本発明の他の側面は、上述の操作支援方法、及び、第一の側面に係るプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。
　上記各側面によれば、ＩＴ機器（コンピュータ）の操作を支援する操作支援技術を提供することができる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第一実施形態におけるコンピュータのハードウェア構成例を概念的に示す図である。 第一実施形態におけるコンピュータの、ラベルＵＩ部品を貼付する際の動作例を示すフローチャートである。 第一実施形態におけるコンピュータの、ラベルＵＩ部品を表示する際の動作例を示すフローチャートである。 第一実施形態におけるコンピュータの、ラベルＵＩ部品に対して何等かの変更を行う際の動作例を示すフローチャートである。 第一実施形態におけるコンピュータの処理構成例を概念的に示す図である。 ラベルＵＩ部品の利用例を示す図である。 第二実施形態におけるコンピュータの、ラベルＵＩ部品に対して何等かの変更を行う際の動作例を示すフローチャートである。 第二実施形態におけるコンピュータの処理構成例を概念的に示す図である。 第三実施形態における情報処理装置の動作例を示すフローチャートである。 第三実施形態における情報処理装置の処理構成例を示す図である。 表示画面の例を示す図である。 ラベルＵＩ部品で提示する画像を選択する画面の例を示す図である。 編集モードのラベルＵＩ部品の例を示す図である。 ラベルＵＩ部品の表示例を示す図である。 ラベルＵＩ部品の他の表示例を示す図である。 ＧＵＩ要素とラベルＵＩ部品とを関連付けるユーザ操作の例を示す図である。
　以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
［第一実施形態］
　以下、第一実施形態におけるコンピュータ及び操作支援方法について複数の図面を用いて説明する。
　〔装置構成〕
　図１は、第一実施形態におけるコンピュータ１０のハードウェア構成例を概念的に示す図である。第一実施形態におけるコンピュータ１０は、ＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末のようないわゆるコンピュータである。例えば、コンピュータ１０は、ＣＰＵ（Central Processing Unit）２、メモリ３、表示ユニット４、タッチセンサ５、通信ユニット６、入出力ユニット７等を有する。ＣＰＵ２は、他の各ハードウェア要素とバス等の通信線により接続される。図１では、各ハードウェア要素は１つずつ示されているが、各ハードウェア要素の数は任意である。
　メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。表示ユニット４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイ等のようなモニタを含み、表示処理を行う。タッチセンサ５は、外部からの接触を感知することによりユーザからの操作入力を受け付ける。タッチセンサ５は、非接触状態であっても外部からの近接状態を検知することができるセンサであってもよい。また、表示ユニット４及びタッチセンサ５は、タッチパネルユニットとして実現されてもよい。
　通信ユニット６は、無線通信又は有線通信を行い、通信網９を介して、サーバ装置１及び他のコンピュータと通信を行う。通信網９は、携帯電話回線網、Ｗｉ－Ｆｉ（Wireless Fidelity）回線網、インターネット通信網、専用回線網、ＬＡＮ（Local Area Network）等である。本実施形態では、コンピュータ１０の通信形態は制限されない。入出力ユニット７は、マウスやキーボード等の入力装置等の外部機器や、メモリカード等のような可搬型記録媒体等と接続される。コンピュータ１０は、タッチセンサ５を有さず、この入出力ユニット７により接続される入力装置によりユーザからの操作入力を受け付けてもよい。
　コンピュータ１０は、このようなハードウェア要素を用いて、ＷＥＢページ（ＨＴＭＬ（HyperText Markup Language）ファイル）等のような画面データをサーバ装置１から通信ユニット６を介して受信し、その画面データに基づいて表示画面を表示ユニット４のモニタに表示する。但し、コンピュータ１０のハードウェア構成は、図１に示される構成に制限されない。コンピュータ１０は、図１に図示されない他のハードウェア要素を有していてもよい。
　〔動作例／操作支援方法〕
　以下、第一実施形態における操作支援方法について図２、図３及び図４を用いて説明する。コンピュータ１０（ＣＰＵ２）は、メモリ３に格納されるプログラムを実行することにより、図２、図３及び図４に示される第一実施形態における操作支援方法を実行する。
　当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット６又は入出力ユニット７を介してインストールされ、メモリ３に格納されてもよい。そのプログラムは、ＷＥＢブラウザのような他のアプリケーションにアドオンされるプログラムであってもよいし、ＷＥＢブラウザや専用アプリケーション自体のプログラムであってもよい。
　まずは、第一実施形態における操作支援方法の、ラベルＵＩ（User Interface）部品を貼付する工程について、図２を用いて説明する。図２は、第一実施形態におけるコンピュータ１０の、ラベルＵＩ部品を貼付する際の動作例を示すフローチャートである。
　ここで、ラベルＵＩ部品とは、表示画面に含まれる画面構成要素（以降、ＧＵＩ（Graphical User Interface）要素と表記される）に関連付けられて表示される画面部品である。ラベルＵＩ部品は、ユーザ（特に、ＩＴ弱者）によるコンピュータ１０の操作を支援する（補助する）ためのテキスト及び画像の少なくとも一方を提示する。よって、ラベルＵＩ部品は、補助画面部品と呼ぶこともできる。「ラベルＵＩ部品を貼付する」とは、ラベルＵＩ部品を或るＧＵＩ要素と関連付けることを意味する。
　ラベルＵＩ部品と関連付けられ得るＧＵＩ要素は、表示画面を形成する要素であれば、特に制限されない。例えば、当該ＧＵＩ要素としては、ボタン、タブ、ドロップダウンリスト、コンボボックス等のようなＧＵＩオブジェクトや、ハイパーリンク、アイコン、画像、フレーム、テキスト等のようなユーザ操作で選択され得る画面構成要素が該当する。
　コンピュータ１０は、サーバ装置１から受信された画面データに基づいて表示されている表示画面内のＧＵＩ要素とラベルＵＩ部品とを関連付けるユーザ操作を検出する（Ｓ２１）。コンピュータ１０が関連付けられるＧＵＩ要素とラベルＵＩ部品とのペアを特定可能であれば、ＧＵＩ要素とラベルＵＩ部品とを関連付けるユーザ操作の具体的内容は制限されない。このユーザ操作の具体例は実施例として後述する。
　続いて、コンピュータ１０は、ラベルＵＩ部品に対するユーザの入力操作に応じて、ラベルＵＩ部品に対する入力情報を受け付ける（Ｓ２２）。例えば、コンピュータ１０は、ユーザにより入力されたテキストや、ユーザにより選択された画像の情報を入力情報として受け付けることができる。更に、コンピュータ１０は、（Ｓ２１）で検出されたユーザ操作に基づいて、ＧＵＩ要素に対するラベルＵＩ部品の相対的な表示位置を当該入力情報として受け付けることもできる。
　コンピュータ１０は、（Ｓ２１）で検出されたユーザ操作の対象となるＧＵＩ要素及びラベルＵＩ部品に関するリンク情報を生成する（Ｓ２３）。リンク情報は、表示画面に含まれるＧＵＩ要素を特定する要素特定情報、及び、そのＧＵＩ要素に関連付けられたラベルＵＩ部品に関するラベル情報を含む。
　要素特定情報は、表示画面に含まれるＧＵＩ要素を特定するための情報である。例えば、要素特定情報は、表示画面内のＧＵＩ要素の表示位置を示す情報である。他の例として、要素特定情報は、そのＧＵＩ要素が含まれる表示画面を表示するための画面データを特定する画面特定情報、及び、その画面データ内のそのＧＵＩ要素に関する情報（コード等）の位置を特定する要素位置情報を含む。画面データがＷＥＢページの場合には、画面特定情報は、例えば、ＵＲＬ（Uniform Resource Locator）であり、要素位置情報は、例えば、ＧＵＩ要素の属性（種類、ラベル、色、ＩＤ等）やＨＴＭＬ（HyperText Markup Language）ファイル内のそのＧＵＩ要素のソースコードの位置（何行目、何番目等）等を示す。
　ラベル情報は、ラベルＵＩ部品を特定するための情報（例えば、ラベルＩＤ）、及び、ラベルＵＩ部品が提示するテキスト及び画像の情報を含む。ラベル情報は、ＧＵＩ要素に対するラベルＵＩ部品の相対的な表示位置を示す位置関係情報を更に含んでもよい。また、ラベル情報は、テキストの表示又は非表示、画像の表示又は非表示のような、ラベルＵＩ部品の表示設定に関する情報を含んでもよい。コンピュータ１０は、（Ｓ２２）で受け付けた入力情報を用いて、そのラベル情報を生成することができる。
　コンピュータ１０は、（Ｓ２３）で生成されたリンク情報をメモリ３における所定の保存領域に格納する（Ｓ２４）。リンク情報を格納する保存領域には、コンピュータ１０のＯＳ（Operating System）によりアプリケーション又はユーザのために提供される保存領域が利用されてもよい。アプリケーション及びユーザのために提供される保存領域には、Ｃｏｏｋｉｅ領域も含まれる。即ち、リンク情報はＣｏｏｋｉｅ領域に格納されてもよい。このように、本実施形態では、リンク情報は、クライアントサイド（コンピュータ１０）に保存される。
　また、ラベルＵＩ部品とＧＵＩ要素とは、一対一で関連付けられてもよいし、一対複数、又は、複数対一で関連付けられてもよい。例えば、（Ｓ２１）において、コンピュータ１０は、他のラベルＵＩ部品と既に関連付けられているＧＵＩ要素に対して、新たなラベルＵＩ部品を関連付けるユーザ操作を検出することもできる。この場合、コンピュータ１０は、（Ｓ２３）を実行する前に、検出されたユーザ操作の対象となるＧＵＩ要素に関する要素特定情報を含むリンク情報が上記所定保存領域に格納されているか否かを判定する。そのリンク情報が既に格納されている場合には、コンピュータ１０は、そのリンク情報に、新たなラベルＵＩ部品に関するラベル情報を追加する（Ｓ２３）。これにより、更新されたリンク情報は、１つのＧＵＩ要素に対して複数のラベルＵＩ部品が関連付けられたことを示すようになる。
　第一実施形態における操作支援方法で実行される各工程の実行順序は、図２の例に限定されない。例えば、（Ｓ２２）は（Ｓ２１）より前に実行されてもよい。
　次に、第一実施形態における操作支援方法の、ラベルＵＩ部品を表示する工程について、図３を用いて説明する。図３は、第一実施形態におけるコンピュータ１０の、ラベルＵＩ部品を表示する際の動作例を示すフローチャートである。
　コンピュータ１０は、サーバ装置１から画面データを受信する（Ｓ３１）。画面データは、上述したとおり、ＷＥＢページ等の表示画面を表示するためのデータであり、ＧＵＩ要素に関する情報を含み、ラベルＵＩ部品に関する情報を含まないオリジナル画面データである。言い換えれば、受信される画面データは、サーバ装置１にアクセスするコンピュータ１０毎に変わらないデータである。
　コンピュータ１０は、（Ｓ３１）で取得された画面データに対応するリンク情報を上述の所定保存領域から抽出する（Ｓ３２）。具体的には、コンピュータ１０は、当該所定保存領域に格納されるリンク情報の中から、（Ｓ３１）で取得された画面データに含まれるＧＵＩ要素に関するリンク情報を抽出する。具体的には、コンピュータ１０は、（Ｓ３１）で取得された画面データに含まれるＧＵＩ要素を示す要素特定情報を含むリンク情報を抽出する。
　コンピュータ１０は、（Ｓ３１）で取得された画面データ及び（Ｓ３２）で抽出されたリンク情報に基づいて、ラベルＵＩ部品及びＧＵＩ要素を含む表示画面を表示ユニット４のモニタに表示する（Ｓ３３）。コンピュータ１０は、一般的な手法により、当該画面データに基づいて、ＧＵＩ要素を含む表示画面を表示する。それと共に、コンピュータ１０は、リンク情報に基づいて、表示画面に含まれるＧＵＩ要素に関連付けられたラベルＵＩ部品の存在を検出し、リンク情報内のラベル情報に基づいて、そのラベルＵＩ部品を表示する。このとき、コンピュータ１０は、リンク情報内の要素特定情報により特定されるＧＵＩ要素の表示画面上の表示位置の周辺の位置に、当該ラベルＵＩ部品を表示する。コンピュータ１０は、リンク情報内のラベル情報が示すテキスト及び画像の少なくとも一方を提示するように、ラベルＵＩ部品を表示する。リンク情報に含まれるラベル情報が、関連付けられたＧＵＩ要素に対するラベルＵＩ部品の相対的な表示位置を示す位置関係情報を含む場合には、コンピュータ１０は、その位置関係情報が示す、ＧＵＩ要素に対する相対的な表示位置に、そのラベルＵＩ部品を表示する。
　画面データがＨＴＭＬファイルのような構造化データの場合には、コンピュータ１０は、（Ｓ３１）で受信された画面データを編集し、編集された画面データに基づいて、ラベルＵＩ部品及びＧＵＩ要素を含む表示画面を表示することもできる（Ｓ３３）。例えば、コンピュータ１０は、（Ｓ３２）で抽出されたリンク情報に含まれるラベル情報の少なくとも一部を、（Ｓ３１）で取得された画面データ内に挿入する。具体的には、コンピュータ１０は、当該ラベル情報の少なくとも一部を、当該画面データ内の、（Ｓ３２）で抽出されたリンク情報内の要素特定情報に含まれる要素位置情報に対応する位置に挿入する。例えば、画面データ内における対象ＧＵＩ要素に対応する構造化単位の末尾に、ラベル情報の少なくとも一部（例えば、テキスト、画像ファイルの存在場所等）が挿入される。コンピュータ１０は、このように編集された画面データに基づいて、ラベルＵＩ部品及びＧＵＩ要素を表示してもよい。
　最後に、第一実施形態における操作支援方法の、ラベルＵＩ部品に対して何等かの変更を行う工程について、図４を用いて説明する。図４は、第一実施形態におけるコンピュータ１０の、ラベルＵＩ部品に対して何等かの変更を行う際の動作例を示すフローチャートである。
　コンピュータ１０は、表示されているラベルＵＩ部品に対するユーザ操作を検出する（Ｓ４１）。このとき、そのラベルＵＩ部品に関するラベル情報を含むリンク情報がコンピュータ１０に格納されている。
　コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作の対象となるラベルＵＩ部品に関するリンク情報をメモリ３における所定の保存領域において特定する（Ｓ４２）。コンピュータ１０は、対象のラベルＵＩ部品を特定する情報（ラベルＩＤ）を取得し、その情報を示すラベル情報を含むリンク情報を特定する。
　コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作が「削除」を示すか否かを判定する（Ｓ４３）。コンピュータ１０は、ユーザ操作が「削除」を示す場合（Ｓ４３；ＹＥＳ）、（Ｓ４２）で特定されたリンク情報を上記所定保存領域から削除する（Ｓ４４）。
　コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作が「表示設定の変更」を示すか否かを判定する（Ｓ４３；ＮＯ及びＳ４５）。コンピュータ１０は、ユーザ操作が「表示設定の変更」を示す場合（Ｓ４５；ＹＥＳ）、（Ｓ４２）で特定されたリンク情報内のラベル情報に含まれる表示設定を変更する（Ｓ４６）。ラベル情報に含まれる表示設定は、上述したとおり、テキストの表示又は非表示、画像の表示又は非表示等を示す。例えば、コンピュータ１０は、検出されたユーザ操作が示す内容により、テキストの非表示を示すように表示設定を変更する。
　コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作が「提示内容の変更」を示すか否かを判定する（Ｓ４３；ＮＯ、Ｓ４５；ＮＯ及びＳ４７）。コンピュータ１０は、ユーザ操作が「提示内容の変更」を示す場合（Ｓ４７；ＹＥＳ）、（Ｓ４２）で特定されたリンク情報内のラベル情報に含まれる提示内容情報を変更する（Ｓ４８）。提示内容情報は、ラベルＵＩ部品が提示するテキスト及び画像の情報を示す。例えば、テキストを変更するユーザ操作が検出された場合には、コンピュータ１０は、（Ｓ４２）で特定されたリンク情報内のラベル情報により示されるテキストを新たなテキストに更新する。
　図４の例では、ラベルＵＩ部品に対する３種類のユーザ操作が検出されているが、その他のユーザ操作が検出されてもよい。例えば、コンピュータ１０は、ＧＵＩ要素に対するラベルＵＩ部品の相対的表示位置の変更を示すユーザ操作を検出することができる。また、ＧＵＩ要素とラベルＵＩ部品との関連付けの変更を示すユーザ操作が検出されてもよい。また、第一実施形態における操作支援方法で実行される各工程の実行順序は、図４の例に限定されない。例えば、（Ｓ４２）は、（Ｓ４４）、（Ｓ４６）及び（Ｓ４８）の直前に実行されてもよい。また、ユーザ操作の内容に関する判定（Ｓ４３）、（Ｓ４５）及び（Ｓ４７）の順番も任意である。
　〔処理構成〕
　図５は、第一実施形態におけるコンピュータ１０の処理構成例を概念的に示す図である。コンピュータ１０は、画面取得部１１、リンク取得部１２、表示処理部１３、格納部１４、操作検出部１５、リンク生成部１６、リンク保存部１７等を有する。これら各処理部は、ＣＰＵ２によりメモリ３に格納される上記プログラムが実行されることにより実現される。コンピュータ１０は、図５に示される各処理部により、上述の第一実施形態における操作支援方法を実行することができる。
　画面取得部１１は、上記（Ｓ３１）を実行する。
　リンク取得部１２は、上記（Ｓ３２）及び（Ｓ４２）を実行する。
　表示処理部１３は、上記（Ｓ３３）を実行する。
　操作検出部１５は、上記（Ｓ２１）及び（Ｓ４１）を実行する。
　リンク生成部１６は、上記（Ｓ２２）、（Ｓ４３）から（Ｓ４８）を実行する。
　リンク保存部１７は、上記（Ｓ２３）を実行する。
　格納部１４は、メモリ３における所定の保存領域を示す。この保存領域は、例えば、ＯＳにより管理される。
　〔第一実施形態における作用及び効果〕
　上述したように第一実施形態では、ラベルＵＩ部品とＧＵＩ要素とを関連付けるユーザ操作が検出され、そのユーザ操作で指定されたラベルＵＩ部品とＧＵＩ要素とのリンク情報がコンピュータ１０の保存領域に格納される。リンク情報には、ＧＵＩ要素を特定する要素特定情報及びラベルＵＩ部品に関するラベル情報が含まれる。そして、画面データに基づいて表示画面が表示される際に、その表示画面に含まれるＧＵＩ要素に関するリンク情報が当該保存領域から抽出され、そのリンク情報に基づいて、テキスト及び画像の少なくとも一方を提示するラベルＵＩ部品が、関連付けられたＧＵＩ要素と共に表示される。
　これにより、ユーザは、コンピュータ１０の操作に関する注意事項や覚えておきたい操作方法等が出てきた場合に、それらをメモや注釈としてラベルＵＩ部品に対して入力して残しておくことができる。残しておいたメモや注釈は、その後、対応するＧＵＩ要素と一緒に、ラベルＵＩ部品により提示される。従って、第一実施形態によれば、ラベルＵＩ部品を用いることで、ＩＴ弱者のユーザであっても、継続的に、コンピュータ１０を操作することができる。
　図６は、ラベルＵＩ部品の利用例を示す図である。図６には、高齢のユーザＭ１が、コンピュータ１０の操作方法を、ＩＴ機器に慣れているユーザＭ２に教わる様子が示されている。ユーザＭ２の教習により、ユーザＭ１もコンピュータ１０を操作することができるようになる。しかしながら、通常、教わってから数日経つと、ユーザＭ１は、教わった内容を忘れてしまい、コンピュータ１０を操作できない状況に戻ってしまう。そこで、ユーザＭ２は、教習時に、ユーザＭ１の利用頻度が高いメニュー（テレビ視聴）や間違い易いメニューに関わるＧＵＩ要素にラベルＵＩ部品Ｌ１を関連付けておく（貼り付けておく）。ユーザＭ２は、ラベルＵＩ部品Ｌ１に「テレビはここから見れるよ」といったメッセージを入力しておく。これにより、ユーザＭ１は、いつまでもそのメッセージを確認することができるため、コンピュータ１０の操作方法を忘れない。ユーザＭ１は、そのメッセージを提示するラベルＵＩ部品Ｌ１に関連付けられたＧＵＩ要素を操作することで、コンピュータ１０を用いてやりたいことを行うことができる。また、教える側の者にとっても、ラベルＵＩ部品でメッセージを残しておくことで、忘れる度に教えるといった繰り返しを防ぐことができるため、教える時間を短縮することができる。
　更に、第一実施形態では、表示されているラベルＵＩ部品に対するユーザ操作が検出され、そのユーザ操作に応じて、ラベルＵＩ部品に関するリンク情報が削除又は変更される。これにより、ユーザは、ラベルＵＩ部品で提示されるメッセージを都度変更することができ、更に、不要となった場合には、そのラベルＵＩ部品を削除することもできる。このように、ユーザは、ラベルＵＩ部品の使い方を変えながら、コンピュータ１０の操作に対する習熟度を向上させることができる。
［第一実施形態の変形例］
　上述の第一実施形態では、リンク情報がクライアント側（コンピュータ１０）に保存された。しかしながら、リンク情報は、サーバ装置１に保存されてもよい。本変形例では、図２の（Ｓ２４）において、コンピュータ１０は、リンク情報をコンピュータ１０又はそのユーザの識別情報と共にサーバ装置１に送信する。サーバ装置１は、各リンク情報をそれを作成したコンピュータ又はユーザの識別情報と関連付けた状態でそれぞれ保存する。以降、説明の便宜のため、ユーザの識別情報が利用される場合を例示するが、ユーザの識別情報は、コンピュータの識別情報で代替可能である。
　図３の（Ｓ３２）において、コンピュータ１０は、（Ｓ３１）で取得された画面データに含まれるＧＵＩ要素を示す要素特定情報及びコンピュータ１０のユーザの識別情報を含む要求をサーバ装置１に送信する。その送信により、コンピュータ１０は、サーバ装置１にそのユーザの識別情報と関連付けられて格納されているリンク情報であって、その要素特定情報を含むリンク情報をサーバ装置１から取得する。
　図４の（Ｓ４２）において、コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作の対象となるラベルＵＩ部品を特定する情報（ラベルＩＤ）及びコンピュータ１０のユーザの識別情報を含む要求をサーバ装置１に送信する。この送信により、コンピュータ１０は、サーバ装置１にそのユーザの識別情報と関連付けられて格納されているリンク情報であって、その対象のラベルＵＩ部品のラベル情報を含むリンク情報を特定する。
　また、上述の第一実施形態において、画面データが構造化データである場合に、コンピュータ１０が、受信された画面データにラベル情報の少なくとも一部を挿入してもよい旨（Ｓ３３）、説明された。このような画面データの編集は、サーバ装置１により実行されてもよい。この場合、コンピュータ１０は、所望の表示画面の表示要求と共に、コンピュータ１０のユーザの識別情報をサーバ装置１に送る。サーバ装置１は、その所望の表示画面に対応する画面データを取得し（Ｓ３１）、受信された識別情報に対応するリンク情報を抽出する（Ｓ３２）。サーバ装置１は、（Ｓ３１）で取得された画面データに対して（Ｓ３２）で抽出されたリンク情報で示されるラベル情報の少なくとも一部を挿入し、その編集された画面データをコンピュータ１０に送信する。これにより、コンピュータ１０は、その編集された画面データを受信し（Ｓ３１）、その画面データに基づいて、ＧＵＩ要素及びラベルＵＩ部品を含む表示画面を表示させることができる（Ｓ３３）。
［第二実施形態］
　以下、第二実施形態におけるコンピュータ１０及び操作支援方法について説明する。第二実施形態は、当該リンク情報の他のユーザとの共有を実現する。以下、第二実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
　〔動作例／入力支援方法〕
　以下、第二実施形態における操作支援方法について図７を用いて説明する。図７は、第二実施形態におけるコンピュータ１０の、ラベルＵＩ部品に対して何等かの変更を行う際の動作例を示すフローチャートである。コンピュータ１０（ＣＰＵ２）は、メモリ３に格納される上記プログラムを実行することにより、図７に示される第二実施形態における操作支援方法を実行する。なお、ラベルＵＩ部品を貼付する工程（図２参照）及びラベルＵＩ部品を表示する工程（図３参照）については、第一実施形態と同様であるため、ここでは説明を省略する。
　第二実施形態における入力支援方法の、ラベルＵＩ部品に対して何等かの変更を行う工程については、図４に示される工程に加えて、（Ｓ７１）及び（Ｓ７２）を更に含む。図７では、図４に示される工程と同じ内容の工程については、図４と同じ符号が付されている。
　コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作が「共有」を示すか否かを判定する（Ｓ７１）。コンピュータ１０は、そのユーザ操作が「共有」を示す場合（Ｓ７１；ＹＥＳ）、（Ｓ４２）で特定されたリンク情報を他のコンピュータに送信する（Ｓ７２）。そのリンク情報の送信先となるコンピュータは、固定的に決められていてもよいし、当該ユーザ操作で指定されていてもよい。
　〔処理構成〕
　図８は、第二実施形態におけるコンピュータ１０の処理構成例を概念的に示す図である。コンピュータ１０は、第一実施形態の構成に加えて、共有処理部８１を更に有する。共有処理部８１についても他の処理部と同様に実現される。コンピュータ１０は、図８に示される各処理部により、第二実施形態における操作支援方法を実行することができる。共有処理部８１は、上記（Ｓ７１）及び（Ｓ７２）を実行する。
　〔第二実施形態における作用及び効果〕
　第二実施形態では、ラベルＵＩ部品に対するユーザ操作が検出されると、そのユーザ操作の対象となるラベルＵＩ部品に関するリンク情報がコンピュータ１０の格納部から特定され、そのリンク情報が他のコンピュータに送信される。このリンク情報を受信した他のコンピュータは、そのリンク情報を保存し、そのリンク情報を用いて、ラベルＵＩ部品をＧＵＩ要素と共に表示する。
　従って、第二実施形態によれば、ラベルＵＩ部品を複数のコンピュータ間で共有することができる。これにより、例えば、グループウェアのように、同一表示画面を複数人（複数コンピュータ）で共通で利用する場合に、リンク情報をお互いに送受することにより、その表示画面に関するメモや注釈等を複数人で共有することができる。例えば、或る表示画面に関する注意事項や便利な使い方のような情報をグループで共有することで、その表示画面を用いた作業の効率をグループ内で向上させることができる。また、ＩＴ強者のユーザが、自身のコンピュータ１０で教習メッセージを含むリンク情報を生成し、そのリンク情報をＩＴ弱者に送ることで、ＩＴ弱者の操作を支援することができる。
［第二実施形態の変形例］
　上述の第二実施形態では、クライアント側（コンピュータ１０）に保存されたリンク情報が複数のコンピュータ間で共有された。しかしながら、リンク情報は、サーバ装置１に保存された状態で、複数のコンピュータ間で共有されてもよい。本変形例は、上述の第一実施形態の変形例を包含する。本変形例では、サーバ装置１は、各リンク情報を、それを作成したユーザの識別情報と共有範囲を示す共有範囲情報と関連付けた状態でそれぞれ保存する。共有範囲情報は、そのリンク情報の利用を許可する個々の対象（コンピュータ又はユーザ）やグループの識別情報を含む。
　図３の（Ｓ３２）において、コンピュータ１０は、（Ｓ３１）で取得された画面データの画面特定情報又はその画面データに含まれるＧＵＩ要素を示す要素特定情報と、コンピュータ１０のユーザの識別情報とを含む要求をサーバ装置１に送信する。その送信により、コンピュータ１０は、サーバ装置１に、そのユーザの識別情報又はそのユーザの識別情報が属する共有範囲情報と関連付けられて格納されているリンク情報であって、その要素特定情報を含むリンク情報をサーバ装置１から抽出する。
　図４の（Ｓ４２）において、コンピュータ１０は、（Ｓ４１）で検出されたユーザ操作の対象となるラベルＵＩ部品を特定する情報（ラベルＩＤ）及びコンピュータ１０のユーザの識別情報を含む要求をサーバ装置１に送信する。この送信により、コンピュータ１０は、サーバ装置１に、そのユーザの識別情報又はそのユーザの識別情報が属する共有範囲情報と関連付けられて格納されているリンク情報であって、そのラベルＩＤに対応するラベル情報を含むリンク情報を特定する。
　また、図７の（Ｓ７２）において、コンピュータ１０は、（Ｓ４２）で特定されたリンク情報又はそのリンク情報を特定するための情報と共に、そのリンク情報の共有範囲を示す共有範囲情報をサーバ装置１に送信する。サーバ装置１は、それら情報を受信し、対象のリンク情報と関連付けられている共有範囲情報をその受信された共有範囲情報に基づいて更新する。以降、サーバ装置１は、その共有範囲情報に属するユーザからの要求のみに対してリンク情報を送信し、その共有範囲情報に属さないユーザからの要求に対しては、リンク情報を送信しない。
　また、上述の第一実施形態の変形例と同様に、画面データの編集がサーバ装置１で実行される場合には（Ｓ３３）、サーバ装置１は、上述の共有範囲情報で編集の可否を判定する。この場合、サーバ装置１は、その共有範囲情報に属するユーザからの要求のみに対して編集された画面データを送信し、その共有範囲情報に属さないユーザからの要求に対しては、オリジナル画面データを送信する。
［第三実施形態］
　以下、第三実施形態における情報処理装置及び操作支援方法について説明する。以下、第三実施形態について、上述と異なる内容を中心に説明し、上述と同様の内容については適宜省略する。
　第三実施形態における情報処理装置は、上述の各実施形態におけるコンピュータ１０と同様のハードウェア構成を有する（図１参照）。
　図９は、第三実施形態における情報処理装置の動作例を示すフローチャートである。第三実施形態における情報処理装置１００は、メモリ３に格納されるプログラムを実行することにより、図９に示される第三実施形態における操作支援方法を実行する。例えば、図示される各工程は、情報処理装置が有する各処理部により実行される。
　第三実施形態における操作支援方法は、画面データを取得し（Ｓ１０１）、その画面データに基づいてリンク情報を取得し（Ｓ１０２）、その画面データ及びそのリンク情報に基づいて、ラベルＵＩ部品及びＧＵＩ要素を含む表示画面を表示ユニット４のモニタに表示する（Ｓ１０３）ことを含む。（Ｓ１０１）、（Ｓ１０２）及び（Ｓ１０３）の詳細は、図３に示される（Ｓ３１）、（Ｓ３２）及び（Ｓ３３）と同様である。
　（Ｓ１０１）で取得される画面データは、表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データである。情報処理装置１００は、サーバ装置１のような他の装置から画面データを取得してもよいし、自身のメモリ３から画面データを取得してもよい。
　（１０２）で取得されるリンク情報は、（Ｓ１０１）で取得された画面データに基づいて表示される表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた補助画面部品に関する補助部品情報を含む。補助部品情報は、上述のラベル情報に相当する。但し、本実施形態における補助部品情報は、ラベルＵＩ部品で提示されるテキスト及び画像の情報の少なくとも一方を示せばよく、ラベルＵＩ部品を特定するための情報（例えば、ラベルＩＤ）、位置関係情報、表示設定に関する情報等を含まなくてもよい。情報処理装置１００は、サーバ装置１のような他の装置からリンク情報を取得してもよいし、自身のメモリ３（格納部１４）からリンク情報を取得してもよい。
　（Ｓ１０３）において、情報処理装置１００は、（Ｓ１０１）で取得された画面データに基づいて表示画面を表示する際に、（Ｓ１０２）で取得されたリンク情報を用いて、画面構成要素と共に、補助画面部品を表示ユニット４のモニタ（表示部）に表示する。情報処理装置１００は、画面データを用いることで、画面構成要素を含む表示画面を表示することはできる。本実施形態における情報処理装置１００は、更に、画面データに基づいて画面構成要素を検出し、その画面構成要素を示す要素特定情報を含むリンク情報から補助部品情報を取得し、その補助部品情報により示されるテキスト及び画像の少なくとも一方を提示する補助画面部品を表示する。情報処理装置１００は、その補助画面部品をリンク情報の要素特定情報で特定される画面構成要素の近くに表示させればよい。
　図１０は、第三実施形態における情報処理装置１００の処理構成例を示す図である。図１０に示されるように、情報処理装置１００は、画面取得部１０１、リンク取得部１０２、表示処理部１０３等を有する。これら各処理部も上述のコンピュータ１０の各処理部と同様に実現される。画面取得部１０１は、上述の画面取得部１１に相当し、上述の（Ｓ１０１）を実行する。リンク取得部１０２は、上述のリンク取得部１２に相当し、上述の（Ｓ１０２）を実行する。表示処理部１０３は、上述の表示処理部１３に相当し、上述の（Ｓ１０３）を実行する。
　このように、第三実施形態における情報処理装置１００は、画面構成要素と補助画面部品とを関連付ける処理や保存されるリンク情報を変更する処理を行う処理部を有していなくてもよい。例えば、情報処理装置１００は、リンク情報を格納する格納部１４を有していなくてもよい。また、第三実施形態は、当該操作支援方法をコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該コンピュータが読み取り可能な記録媒体であってもよい。
　第三実施形態によれば、補助画面部品（ラベルＵＩ部品に相当）の表示に関し、上述の各実施形態及び変形例と同様の作用効果を得ることができる。
　以下に実施例を挙げ、上述の内容を更に詳細に説明する。上述の内容は、以下の実施例の内容に制限されない。以下の実施例では、具体的な表示画面を用いて、ラベルＵＩ部品を貼付する工程の具体的内容を例示する。
　図１１は、表示画面の例を示す図である。コンピュータ１０（情報処理装置１００）は、取得された画面データに基づいて、図１１に示される表示画面ＤＰ１を表示ユニット４のモニタに表示する。表示画面ＤＰ１には、複数のＧＵＩ要素（例えば、符号ＤＰ＿Ｅ１から符号ＤＰ＿Ｅ１０）が含まれる。但し、符号が付されていない要素も「ＧＵＩ要素」である。例えば、文字列「メニュー」や文字列「緊急地震速報・・・」の少なくとも一部は「ＧＵＩ要素」である。
　図１２は、ラベルＵＩ部品で提示する画像を選択する画面の例を示す図である。コンピュータ１０は、表示画面ＤＰ１のメニュー（ＧＵＩ要素）ＤＰ＿Ｅ１がタップされると、ラベルＵＩ部品を貼付するメニューを選択するための画面（図示せず）を表示する。そのメニューがタップされると、コンピュータ１０は、画像選択画面ＤＰ２を表示する。画像選択画面ＤＰ２では複数の候補画像が提示されている。コンピュータ１０は、１つの候補画像ＬＥ＿Ｃ１がタップされると、図１３に示される編集モードのラベルＵＩ部品ＬＥ＿Ｄを表示する。
　図１３は、編集モードのラベルＵＩ部品の例を示す図である。図１３の例におけるラベルＵＩ部品ＬＥ＿Ｄは、キャンセルを示すボタンＬＥ＿ＤＢ１、確定を示すボタンＬＥ＿ＤＢ２、候補画像ＬＥ＿Ｃ１、及び、吹き出し部ＬＥ＿Ｔが枠で囲まれた構成を有している。吹き出し部ＬＥ＿Ｔの内部には、初期状態であるため、「ここをタップしてメモを入力」といった説明文が薄い色で提示されている（図示せず）。ユーザは、そのラベルＵＩ部品ＬＥ＿Ｄを関連付けたいＧＵＩ要素に重なる位置まで移動させる操作を行う。この操作は、例えば、ドラッグ操作（ドラッグアンドドロップ操作）により実現可能である。図１３の例では、編集モードのラベルＵＩ部品ＬＥ＿Ｄと関連付けられるＧＵＩ要素は、「ローカルニュース」メニューＤＰ＿Ｅ６となる。
　コンピュータ１０は、吹き出し部ＬＥ＿Ｔがタップされると、ソフトウェアキーボードを起動し、ユーザにより入力されたテキスト情報（入力情報）を取得する（図２（Ｓ２２）に相当）。ユーザは、入力を終えると、ボタンＬＥ＿ＤＢ２をタップする。コンピュータ１０は、このような一連のユーザ操作を検出する（図２（Ｓ２１）に相当）。
　図１４は、ラベルＵＩ部品の表示例を示す図である。コンピュータ１０は、ボタンＬＥ＿ＤＢ２がタップされると、「ローカルニュース」メニューＤＰ＿Ｅ６及びラベルＵＩ部品に関するリンク情報を生成し、保存する（図２（Ｓ２３）及び（Ｓ２４）に相当）。コンピュータは、メニューＤＰ＿Ｅ６の要素特定情報と、テキスト「住民票の申請はここからできるよ」及び画像ＬＥ＿Ｃ１の情報を含むラベル情報（補助部品情報）とを含むリンク情報を生成する。以降、コンピュータ１０は、「ローカルニュース」メニューＤＰ＿Ｅ６が表示されると、それと関連付けられたラベルＵＩ部品の画像ＬＥ＿Ｃ１及びテキスト（吹き出し部ＬＥ＿Ｔ）を一緒に表示する。ユーザは、このラベルＵＩ部品を参照することで、住民票の申請をする場合には、「ローカルニュース」メニューＤＰ＿Ｅ６をタップすればよいことを思い出すことができる。
　図１５は、ラベルＵＩ部品の他の表示例を示す図である。コンピュータ１０は、ラベルＵＩ部品に対してテキストが入力されなかった場合や、ラベルＵＩ部品に対して所定のユーザ操作（画像をタップする操作）が行われた場合に、図１５に示されるように、ラベルＵＩ部品の画像ＬＥ＿Ｃ１のみを表示してもよい。ユーザが、この表示画面ＤＰの利用に慣れてきた場合に、画像のみでも操作を思い出すことができるため、吹き出し部ＬＥ＿Ｔが不要になる場合がある。また、吹き出し部ＬＥ＿Ｔにより他のＧＵＩ要素が隠れて見え難くなることも防ぐことができる。
　コンピュータ１０は、図１４又は図１５に示される状態で表示されるラベルＵＩ部品をロングタップを検出すると、編集モードのラベルＵＩ部品ＬＥ＿Ｄを表示する。コンピュータ１０は、この編集モードのラベルＵＩ部品ＬＥ＿Ｄを介して、ラベルＵＩ部品の変更を受け付ける。例えば、ボタンＬＥ＿ＤＢ１がタップされると、コンピュータ１０は、そのラベルＵＩ部品とメニューＤＰ＿Ｅ６とのリンク情報を削除する（図４（Ｓ４３）及び（Ｓ４４）に相当）。また、吹き出し部ＬＥ＿Ｔがタップされると、コンピュータ１０は、ラベルＵＩ部品のテキストの変更を受け付ける（図４（Ｓ４７）及び（Ｓ４８）に相当）。画像ＬＥ＿Ｃ１がタップされると、コンピュータ１０は、画像選択画面ＤＰ２を再度表示し、画像の変更を受け付けることもできる。また、コンピュータ１０は、画像及びテキストが提示されている状態（図１４の状態）のラベルＵＩ部品がタップされると、図１５に示されるように画像又はテキストのみのを提示する状態に変更することもできる（図４（Ｓ４５）及び（Ｓ４６）に相当）。また、編集モードのラベルＵＩ部品ＬＥ＿Ｄがドラッグされると、コンピュータ１０は、ラベルＵＩ部品の、メニューＤＰ＿Ｅ６に対する相対的な表示位置を変更することもできる。また、コンピュータ１０は、ラベルＵＩ部品の縮小及び拡大を行うこともできる。
　図１６は、ＧＵＩ要素とラベルＵＩ部品とを関連付けるユーザ操作の例を示す図である。図１６の例では、編集モードのラベルＵＩ部品ＬＥ＿Ｄには、チェーンフックＬＥ＿Ｋが含まれており、ユーザは、そのチェーンフックＬＥ＿Ｋを関連付けたいＧＵＩ要素上まで移動させる（伸ばす）操作を行う。コンピュータ１０は、チェーンフックＬＥ＿Ｋを用いたこのようなユーザ操作を検出することで、関連付けられるＧＵＩ要素とラベルＵＩ部品とのペアを認識してもよい。このチェーンフックＬＥ＿Ｋは、編集モード時のみ表示されてもよいし、常に表示されていてもよい。
　　上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。また、上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
１．　コンピュータにより実行される操作支援方法において、
　表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得し、
　前記取得された画面データに基づいて、前記表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた前記補助画面部品に関する補助部品情報を含む、リンク情報を取得し、
　前記取得された画面データに基づいて前記表示画面を表示する際に、前記取得されたリンク情報を用いて、前記画面構成要素と共に、前記補助画面部品を表示部に表示する、
　ことを含む操作支援方法。
２．　前記補助画面部品と前記画面構成要素とを関連付けるユーザ操作を検出し、
　前記検出されたユーザ操作の対象となる前記画面構成要素及び前記補助画面部品に関する前記リンク情報を生成し、
　前記生成されたリンク情報をサーバ装置に送信するか、若しくは、前記生成されたリンク情報を前記コンピュータが有する格納部に格納する、
　ことを更に含む１．に記載の操作支援方法。
３．　前記補助部品情報は、前記画面構成要素に対する前記補助画面部品の相対的な表示位置を示す位置関係情報を更に含み、
　前記表示は、前記位置関係情報が示す、前記画面構成要素に対する相対的な表示位置に、前記補助画面部品を表示する、
　１．又は２．に記載の操作支援方法。
４．　前記リンク情報の取得は、前記コンピュータ又は前記コンピュータのユーザの識別情報を含む要求をサーバ装置に送信することにより、そのサーバ装置にその識別情報と関連付けられて格納されている前記リンク情報をそのサーバ装置から取得する、
　１．から３．のいずれか１つに記載の操作支援方法。
５．　前記要素特定情報は、前記画面データを特定する画面特定情報及び前記画面データ内の前記画面構成要素の情報の位置を特定する要素位置情報を含み、
　前記リンク情報の取得は、前記取得された画面データに対応する前記要素特定情報を含む前記リンク情報を取得し、
　前記表示は、前記取得されたリンク情報に含まれる前記補助部品情報の少なくとも一部を、前記取得された画面データ内の、前記取得されたリンク情報に含まれる前記要素特定情報の前記要素位置情報に対応する位置に挿入し、編集された画面データに基づいて、前記画面構成要素と共に、前記補助画面部品を前記表示部に表示する、
　１．から４．のいずれか１つに記載の操作支援方法。
６．　前記リンク情報又は前記リンク情報を特定するための情報と共に、前記リンク情報の共有範囲を示す共有範囲情報をサーバ装置に送信する、
　ことを更に含む１．から５．のいずれか１つに記載の操作支援方法。
７．　前記リンク情報は、前記コンピュータが有する格納部に格納されており、
　　表示される前記補助画面部品を指定するユーザ操作を検出し、
　　前記検出されたユーザ操作により指定された前記補助画面部品に関する前記補助部品情報を含む前記リンク情報を前記格納部から取得し、
　　前記取得されたリンク情報を他の装置に送信する、
　ことを更に含む１．から６．のいずれか１つに記載の操作支援方法。
８．　表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得する画面取得手段と、
　前記取得された画面データに基づいて、前記表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた前記補助画面部品に関する補助部品情報を含む、リンク情報を取得するリンク取得手段と、
　前記取得された画面データに基づいて前記表示画面を表示する際に、前記取得されたリンク情報を用いて、前記画面構成要素と共に、前記補助画面部品を表示部に表示する表示処理手段と、
　を備える情報処理装置。
９．　前記補助画面部品と前記画面構成要素とを関連付けるユーザ操作を検出する操作検出手段と、
　前記検出されたユーザ操作の対象となる前記画面構成要素及び前記補助画面部品に関する前記リンク情報を生成するリンク生成手段と、
　前記生成されたリンク情報をサーバ装置に送信するか、若しくは、前記生成されたリンク情報を格納部に格納するリンク保存手段と、
　を更に備える８．に記載の情報処理装置。
１０．　前記補助部品情報は、前記画面構成要素に対する前記補助画面部品の相対的な表示位置を示す位置関係情報を更に含み、
　前記表示処理手段は、前記位置関係情報が示す、前記画面構成要素に対する相対的な表示位置に、前記補助画面部品を表示する、
　８．又は９．に記載の情報処理装置。
１１．　前記リンク取得手段は、前記情報処理装置又は前記情報処理装置のユーザの識別情報を含む要求をサーバ装置に送信することにより、そのサーバ装置にその識別情報と関連付けられて格納されている前記リンク情報をそのサーバ装置から取得する
　８．から１０．のいずれか１つに記載の情報処理装置。
１２．　前記要素特定情報は、前記画面データを特定する画面特定情報及び前記画面データ内の前記画面構成要素の情報の位置を特定する要素位置情報を含み、
　前記リンク取得手段は、前記取得された画面データに対応する前記要素特定情報を含む前記リンク情報を取得し、
　前記表示処理手段は、前記取得されたリンク情報に含まれる前記補助部品情報の少なくとも一部を、前記取得された画面データ内の、前記取得されたリンク情報に含まれる前記要素特定情報の前記要素位置情報に対応する位置に挿入し、編集された画面データに基づいて、前記画面構成要素と共に、前記補助画面部品を前記表示部に表示する、
　８．から１１．のいずれか１つに記載の情報処理装置。
１３．　前記リンク情報又は前記リンク情報を特定するための情報と共に、前記リンク情報の共有範囲を示す共有範囲情報をサーバ装置に送信する共有処理手段、
　を更に備える８．から１２．のいずれか１つに記載の情報処理装置。
１４．　表示される前記補助画面部品を指定するユーザ操作を検出する操作検出手段と、
　前記リンク情報を格納する格納部と、
　前記リンク取得手段により取得されたリンク情報を他の装置に送信する共有処理手段と、
　を更に備え、
　前記リンク取得手段は、前記検出されたユーザ操作により指定された前記補助画面部品に関する前記補助部品情報を含む前記リンク情報を前記格納部から取得する、
　８．から１３．のいずれか１つに記載の情報処理装置。
１５．　１．から７．のいずれか１つに記載の操作支援方法をコンピュータに実行させるプログラム又はそのプログラムがコンピュータに読み取り可能に記録される記録媒体。
　この出願は、２０１４年９月２５日に出願された日本出願特願２０１４－１９５３９８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

  1. 　表示画面を表示するための画面データであって、テキスト及び画像の少なくとも一方を提示する補助画面部品に関する情報を含まない画面データを取得し、
    　前記取得された画面データに基づいて、前記表示画面に含まれる画面構成要素を特定する要素特定情報、及び、その画面構成要素に関連付けられた前記補助画面部品に関する補助部品情報を含む、リンク情報を取得し、
    　前記取得された画面データに基づいて前記表示画面を表示する際に、前記取得されたリンク情報を用いて、前記画面構成要素と共に、前記補助画面部品を表示部に表示する、
    　ことを含む操作支援方法をコンピュータに実行させるプログラム。
  2. 　前記操作支援方法は、
    　　前記補助画面部品と前記画面構成要素とを関連付けるユーザ操作を検出し、
    　　前記検出されたユーザ操作の対象となる前記画面構成要素及び前記補助画面部品に関する前記リンク情報を生成し、
    　　前記生成されたリンク情報をサーバ装置に送信するか、若しくは、前記生成されたリンク情報を前記コンピュータが有する格納部に格納する、
    　ことを更に含む請求項１に記載のプログラム。
  3. 　前記補助部品情報は、前記画面構成要素に対する前記補助画面部品の相対的な表示位置を示す位置関係情報を更に含み、
    　前記表示は、前記位置関係情報が示す、前記画面構成要素に対する相対的な表示位置に、前記補助画面部品を表示する、
    　請求項１又は２に記載のプログラム。
  4. 　前記リンク情報の取得は、前記コンピュータ又は前記コンピュータのユーザの識別情報を含む要求をサーバ装置に送信することにより、そのサーバ装置にその識別情報と関連付けられて格納されている前記リンク情報をそのサーバ装置から取得する、
    　請求項１から３のいずれか１項に記載のプログラム。
  5. 　前記要素特定情報は、前記画面データを特定する画面特定情報及び前記画面データ内の前記画面構成要素の情報の位置を特定する要素位置情報を含み、
    　前記リンク情報の取得は、前記取得された画面データに対応する前記要素特定情報を含む前記リンク情報を取得し、
    　前記表示は、前記取得されたリンク情報に含まれる前記補助部品情報の少なくとも一部を、前記取得された画面データ内の、前記取得されたリンク情報に含まれる前記要素特定情報の前記要素位置情報に対応する位置に挿入し、編集された画面データに基づいて、前記画面構成要素と共に、前記補助画面部品を前記表示部に表示する、
    　請求項１から４のいずれか１項に記載のプログラム。
  6. 　前記操作支援方法は、
    　　前記リンク情報又は前記リンク情報を特定するための情報と共に、前記リンク情報の共有範囲を示す共有範囲情報をサーバ装置に送信する、
    　ことを更に含む請求項１から５のいずれか１項に記載のプログラム。
  7. 　前記リンク情報は、前記コンピュータが有する格納部に格納されており、
    　前記操作支援方法は、
    　　表示される前記補助画面部品を指定するユーザ操作を検出し、
    　　前記検出されたユーザ操作により指定された前記補助画面部品に関する前記補助部品情報を含む前記リンク情報を前記格納部から取得し、
    　　前記取得されたリンク情報を他の装置に送信する、
    　ことを更に含む請求項１から６のいずれか１項に記載のプログラム。
  8. 　請求項１から７のいずれか１項に記載のプログラムを実行する情報処理装置。
  9. 　請求項１から７のいずれか１項に記載のプログラムがコンピュータに実行させる操作支援方法。
PCT/JP2015/072340 2014-09-25 2015-08-06 情報処理装置及び操作支援方法 WO2016047286A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016550019A JPWO2016047286A1 (ja) 2014-09-25 2015-08-06 情報処理装置及び操作支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-195398 2014-09-25
JP2014195398 2014-09-25

Publications (1)

Publication Number Publication Date
WO2016047286A1 true WO2016047286A1 (ja) 2016-03-31

Family

ID=55580818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/072340 WO2016047286A1 (ja) 2014-09-25 2015-08-06 情報処理装置及び操作支援方法

Country Status (2)

Country Link
JP (1) JPWO2016047286A1 (ja)
WO (1) WO2016047286A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035921A (ja) * 2006-08-01 2008-02-21 Toshiba Corp 医用装置の操作支援システム、及び医用装置の操作支援プログラム
JP2011081556A (ja) * 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
JP2014153313A (ja) * 2013-02-13 2014-08-25 Hioki Ee Corp 測定装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035921A (ja) * 2006-08-01 2008-02-21 Toshiba Corp 医用装置の操作支援システム、及び医用装置の操作支援プログラム
JP2011081556A (ja) * 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
JP2014153313A (ja) * 2013-02-13 2014-08-25 Hioki Ee Corp 測定装置、及びプログラム

Also Published As

Publication number Publication date
JPWO2016047286A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US20230297639A1 (en) Event listening integration in a collaborative electronic information system
US20140289597A1 (en) Method and device for displaying preview screen of hyperlink
US9665653B2 (en) Presentation of contextual information in a co-browsing environment
US20190297125A1 (en) Method and electronic device for editing content
CN106610826A (zh) 在线场景应用的制作方法及装置
US20150215402A1 (en) Data processing system, control method therefor, program and information storage medium
JP2015153044A (ja) 配信装置、端末装置、配信方法および配信プログラム
JP2009187094A (ja) 会議システム、プログラム
JP2010108331A (ja) 情報処理装置、アプリケーション起動方法およびプログラム
JP2014170400A (ja) メッセージ管理装置、メッセージ管理方法およびプログラム
WO2022184063A1 (zh) 表格内容处理方法、装置、设备、存储介质
WO2016047286A1 (ja) 情報処理装置及び操作支援方法
US20140237612A1 (en) Privacy setting implementation in a co-browsing environment
JP2013254275A (ja) 回答生成装置、情報入出力装置及び質問応答システム
JP5767350B1 (ja) 配信装置、端末装置、配信方法および配信プログラム
JP6186964B2 (ja) 表示制御装置およびコンテンツ制御装置
JP2015187885A (ja) 配信装置、端末装置、配信方法および配信プログラム
JP2007286658A (ja) 広告システム
JP2011253423A (ja) 作業支援システム
JP6574888B1 (ja) 案内表示プログラム、案内表示方法及び操作案内システム
US11327625B2 (en) Graphical user interface marking feedback
JP6580239B1 (ja) メモ管理プログラム、メモ管理方法及びメモ管理システム
JP2012022497A (ja) ウィンドウ制御を行うＷｅｂページを生成するＷｅｂサーバ及び方法
JP6544868B2 (ja) 電子マニュアルに関連するサービスを提供するためのプログラム、サーバおよびシステム
JP2007102701A (ja) 情報提供装置、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15845006

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016550019

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15845006

Country of ref document: EP

Kind code of ref document: A1