WO2023276091A1 - 表示制御システム、表示制御方法、および、表示制御プログラム - Google Patents

表示制御システム、表示制御方法、および、表示制御プログラム Download PDF

Info

Publication number
WO2023276091A1
WO2023276091A1 PCT/JP2021/024881 JP2021024881W WO2023276091A1 WO 2023276091 A1 WO2023276091 A1 WO 2023276091A1 JP 2021024881 W JP2021024881 W JP 2021024881W WO 2023276091 A1 WO2023276091 A1 WO 2023276091A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
display control
confidential information
information
web screen
Prior art date
Application number
PCT/JP2021/024881
Other languages
English (en)
French (fr)
Inventor
将志 田所
友則 森
泰輔 若杉
明 片岡
晴夫 大石
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023531276A priority Critical patent/JPWO2023276091A1/ja
Priority to PCT/JP2021/024881 priority patent/WO2023276091A1/ja
Publication of WO2023276091A1 publication Critical patent/WO2023276091A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Definitions

  • the present invention relates to a display control system, a display control method, and a display control program for controlling display of confidential information.
  • the above UI extension technology In a system to which the above UI extension technology is applied, if the UI parts displayed by the UI extension technology contain confidential information such as personal information or company confidential information, depending on the environment of the terminal that displays the web screen of the system, the above display of confidential information on the terminal's web screen may be prohibited. In such a case, the system operator has to check the confidential information by another means, resulting in reduced work efficiency.
  • an object of the present invention is to solve the above-described problems and eliminate the need for system operators to confirm confidential information by other means.
  • the present invention provides a display control system comprising a work terminal that displays a Web screen and a mobile terminal with a camera that is carried by an operator of the work terminal, wherein the work terminal a first display control unit for displaying an ID marker indicating the confidential information in a confidential information allocation area on the web screen, the mobile terminal comprising an image acquisition unit for acquiring an image of the web screen; A reading unit that reads an ID marker displayed on the Web screen using the acquired image of the Web screen, and a DB that stores confidential information corresponding to the ID marker. It is characterized by comprising an acquisition unit that acquires confidential information, and a second display control unit that displays the acquired confidential information on a screen unit.
  • FIG. 1 is a diagram illustrating an overview of a display control system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of the display control system according to the first embodiment.
  • 3 is a flow chart showing an example of a processing procedure of the work terminal of FIG. 2.
  • FIG. 4 is a flow chart showing an example of a processing procedure of the smart glasses of FIG.
  • FIG. 5 is a diagram illustrating an overview of the display control system of the second embodiment.
  • FIG. 6 is a diagram illustrating a configuration example of a display control system according to the second embodiment.
  • FIG. 7 is a flow chart showing an example of the processing procedure of the smart glasses of FIG.
  • FIG. 8 is a diagram illustrating a configuration example of smart glasses according to the third embodiment.
  • FIG. 9 is a flow chart showing an example of the processing procedure of the smart glasses of FIG.
  • FIG. 10 is a diagram explaining an outline of a display control system according to the fourth embodiment.
  • FIG. 11 is a diagram showing a configuration example of a display control system according to the fourth embodiment.
  • 12 is a sequence diagram showing an example of a processing procedure of the display control system of FIG. 11;
  • FIG. 13 is a diagram illustrating an application example of the display control system of the fourth embodiment.
  • FIG. 14 is a diagram illustrating an application example of the display control system of the fourth embodiment.
  • FIG. 15 is a diagram showing a configuration example of a computer that executes the display program.
  • the mobile terminal carried by the worker of the work terminal will be described below as an example in which smart glasses are used, but the present invention is not limited to this.
  • the mobile terminal may be a camera-equipped mobile terminal (for example, a camera-equipped smartphone or the like).
  • Confidential information is information that is not desirable to be displayed on the web screen, such as personal information or company confidential information, but for business purposes, it is easier for workers to work on the web screen if they can see it. Information.
  • This confidential information is assumed to be separable information from the web system that provides the web screen. Also, confidential information is assumed to be information that can be displayed using the extended UI of the Web screen described above.
  • the display control system 1 includes a work terminal 10 and smart glasses 20 worn by an operator of the work terminal 10 .
  • the work terminal 10 and the smart glasses 20 are communicably connected by wireless communication or the like.
  • the work terminal 10 displays a web system screen (web screen), and also overlays an extended UI (User Interface) on the UI that constitutes the web screen.
  • web system screen web screen
  • extended UI User Interface
  • the work terminal 10 displays an ID marker (UI component) containing encrypted confidential information on the Web screen using the above extended UI.
  • This ID marker is, for example, a two-dimensional code such as a QR code (registered trademark).
  • QR code registered trademark
  • the display control system 1 can display the confidential information on the worker's smart glasses 20 without displaying the confidential information on the web screen of the work terminal 10 .
  • the confidential information cannot be seen by anyone other than the operator, the operator can work on the Web screen while viewing the confidential information through the smart glasses 20 .
  • the worker can improve efficiency when working on the Web screen.
  • the display control system 1 includes the work terminal 10 and smart glasses 20 .
  • the external DB 30 may or may not be installed, and the case where it is installed will be described later.
  • the work terminal 10 includes a DB (database) 11 , a cooperation control section 12 , a display control section (first display control section) 13 , and a system screen section 14 .
  • the DB 11 stores display rules and decryption information.
  • a display rule is information indicating a rule for displaying an ID marker on a Web screen.
  • Display rules include, for example, (1) extended UI to be displayed (encrypted information of confidential information, identification information (ID marker) of encrypted information, etc.), (2) display position information of extended UI (for example, corresponding URL, specified text, text boxes, HTML information, image information, etc.), (3) confidential information, etc.
  • the decryption information is information that serves as the decryption key for the encrypted information of the confidential information.
  • This decryption information is stored in association with the identification information (ID) of the encrypted information.
  • This DB 11 is installed in a predetermined area of a storage unit (not shown) of the work terminal 10 .
  • the work terminal 10 may encrypt the confidential information when storing it in the DB 11, or may encrypt it when displaying it on the Web screen.
  • the cooperation control unit 12 performs information cooperation with other devices via the network. For example, the cooperation control unit 12 transmits information for decoding the ID marker in the DB 11 to the smart glasses 20 .
  • the display control unit 13 controls the display of the system screen unit 14. For example, the display control unit 13 displays an ID marker indicating the encryption information of the confidential information in the allocation area of the confidential information on the Web screen using the extended UI (extended component) based on the above display rule. .
  • the system screen unit 14 displays the screen based on the display control from the display control unit 13. For example, the system screen unit 14 displays a Web screen including an ID marker extension component (ID marker display extension component) based on display control from the display control unit 13 .
  • ID marker display extension component ID marker display extension component
  • the smart glasses 20 include an image acquisition unit 21, an image recognition unit 22, an ID identification unit (reading unit) 23, a coordinate identification unit 24, an encryption/decryption unit (acquisition unit) 25, a cooperation control unit 26, and a DB 27. , a display control unit (second display control unit) 28 , and a screen unit 29 .
  • the image acquisition unit 21 acquires the image of the Web screen displayed on the work terminal 10. For example, the image acquisition unit 21 acquires an image of the web screen using the camera of the smart glasses 20 .
  • the image recognition unit 22 recognizes the image of the web screen acquired by the image acquisition unit 21 .
  • the image recognition unit 22 recognizes an ID marker on the web screen.
  • the ID identification unit 23 identifies the content described in the ID marker recognized by the image recognition unit 22 (for example, the ID of the encryption information and the encryption information).
  • the coordinate specifying unit 24 specifies the coordinate position of the ID marker on the web screen acquired by the image acquiring unit 21 .
  • the encryption/decryption unit 25 decrypts the encrypted information identified by the ID identification unit 23 using the decryption information obtained from the DB 27 .
  • the encryption/decryption unit 25 uses the ID of the encrypted information specified by the ID specifying unit 23 (ID of confidential information) as a key to obtain decryption information for the encrypted information from the DB 27 .
  • the encryption/decryption unit 25 decrypts the encrypted information using the acquired decryption information.
  • the encryption/decryption unit 25 outputs the decrypted information (confidential information) to the display control unit 28 .
  • the cooperation control unit 26 performs information cooperation with other devices via the network. For example, the cooperation control unit 26 stores decryption information received from the work terminal 10 in the DB 27 .
  • the DB 27 stores the decryption information acquired by the cooperation control unit 26. This decryption information is stored in the DB 27 in association with the ID of the encrypted information to be decrypted (ID of secret information).
  • the decryption information may be stored in the DB 27 or may be stored in a device (external DB 30) external to the smart glasses 20.
  • the encryption/decryption unit 25 uses the cooperation control unit 26 to acquire the decryption information from the external DB 30 .
  • the display control unit 28 controls the display of the screen unit 29.
  • the display control unit 28 displays confidential information output by the encryption/decryption unit 25 in a predetermined area of the screen unit 29 .
  • the display control section 28 has a coordinate designating section 281 .
  • the coordinate specifying section 281 specifies the coordinate position of the confidential information on the screen section 29 based on the coordinate position of the ID marker specified by the coordinate specifying section 24 .
  • the display control unit 28 displays the secret information at the coordinate position specified by the coordinate specifying unit 281.
  • the coordinate specifying unit 281 places a hidden Specifies the coordinate position of the information. Then, the display control unit 28 displays the confidential information at the coordinate position specified by the coordinate specifying unit 281.
  • FIG. 1 the coordinate specifying unit 281 places a hidden Specifies the coordinate position of the information.
  • the screen unit 29 displays a screen based on the display control from the display control unit 28.
  • the screen part 29 is transparent, for example, and the wearer of the smart glasses 20 can see the web screen on the work terminal 10 through the screen part 29 .
  • the screen section 29 has a confidential information display section 291 .
  • the confidential information display section 291 displays confidential information at the coordinate position designated by the coordinate designation section 281 .
  • the display control unit 13 of the work terminal 10 determines whether the screen being displayed on the system screen unit 14 is the screen to be displayed with the ID marker (S1). For example, the display control unit 13 refers to the display rule and determines whether or not the URL of the web screen being displayed on the system screen unit 14 is the URL to be displayed with the ID marker.
  • the display control unit 13 determines that the screen being displayed is the screen to be displayed with the ID marker (Yes in S1), and based on the display rule in the DB 11, the component information (for example, encrypted information) of the ID marker , the ID of the encrypted information, the display position of the ID marker, etc.) can be obtained (Yes in S2), the display of the ID marker on the Web screen is started based on the obtained part information of the ID marker (S4).
  • the work terminal 10 can display an ID marker indicating the encrypted information of the confidential information on the Web screen.
  • the smart glasses 20 If the image acquired by the image acquisition unit 21 contains an ID marker (Yes in S11), the smart glasses 20 read and recognize the ID marker (S12). In other words, the image recognition unit 22 of the smart glasses 20 recognizes the ID marker on the web screen. Then, the smart glasses 20 identify the contents (encryption information and the ID of the encryption information) described in the ID marker by the ID identification unit 23 .
  • the encryption/decryption unit 25 determines whether or not the decryption information for the corresponding ID (that is, the ID of the encrypted information) exists in the DB 27 ( S14). On the other hand, when the smart glasses 20 fail to read the ID marker (No in S13), the display control unit 28 displays an error on the system screen unit 14 (S16).
  • the encryption/decryption unit 25 determines in S14 that the decryption information for the corresponding ID exists in the DB 27 (Yes in S14), it attempts to decrypt the encrypted information using the decryption information.
  • the display control unit 28 displays the ID marker still on the Web screen based on the image acquired by the image acquisition unit 21. is being displayed (S17). That is, the display control unit 28 checks whether the ID marker has been scrolled out of the web screen or the web screen displaying the ID marker has been switched to another screen.
  • the display control unit 28 determines that the ID marker is still being displayed on the web screen (Yes in S17), the decoded information ( confidential information) is started to be displayed (S18). For example, based on the position of the ID marker on the web screen acquired by the image acquisition unit 21, the display control unit 28 detects the ID marker when the worker views the web screen through the screen unit 29 of the smart glasses 20. The display of confidential information is started at a position within a predetermined distance from the position of .
  • the process returns to S11. Also, in S14, if the encryption/decryption unit 25 determines that there is no decryption information for the corresponding ID in the DB 27 (No in S14), or if the encryption/decryption unit 25 fails to decrypt the encrypted information (S15 No), the display control unit 28 displays an error on the system screen unit 14 (S16). Then, the process returns to S11.
  • the smart glasses 20 can read the ID marker from the web screen, decrypt the encrypted information indicated by the ID marker, and display the confidential information.
  • the information described in the above ID marker may be an ID of secret information.
  • An embodiment in this case will be described as a second embodiment.
  • the same reference numerals are given to the same configurations as in the first embodiment, and the description thereof is omitted.
  • the display control system 1a of the second embodiment includes a work terminal 10a and smart glasses 20a.
  • the work terminal 10a displays an ID marker describing the ID of the confidential information on the web screen.
  • the smart glasses 20a reads the ID marker on the web screen displayed on the work terminal 10a with the camera, searches the DB for the confidential information of the corresponding ID (the ID described in the ID marker), and displays it on the smart glasses 20a. indicate.
  • the display control system 1a includes the work terminal 10a and smart glasses 20a.
  • the external DB 30a may or may not be installed, and the case where it is installed will be described later.
  • the work terminal 10a has a DB 11a.
  • the DB 11a stores ID marker display rules and confidential information.
  • This display rule includes, for example, (1) extended UI to be displayed (ID (ID marker) of confidential information) in addition to (2) extended UI display position information described in the first embodiment.
  • the confidential information is confidential information displayed on the smart glasses 20a, and is stored in the DB 11a in association with the ID of the confidential information.
  • the confidential information may include display position information of the confidential information on the smart glasses 20a (for example, display directly below the ID marker on the screen), font size, color, and other information.
  • This DB 11 a is installed in a predetermined area of a storage unit (not shown) of the work terminal 10 .
  • the cooperation control unit 12 of the work terminal 10a transmits confidential information stored in the DB 11a to the smart glasses 20a.
  • the cooperation control unit 26 of the smart glasses 20a stores the confidential information transmitted from the work terminal 10a in the DB 27a.
  • the smart glass 20a also includes a confidential information acquisition unit 25a and a DB 27a.
  • the confidential information acquisition unit 25 a acquires confidential information corresponding to the ID indicated by the ID marker from the DB 27 a and outputs it to the display control unit 28 .
  • the DB 27a stores the confidential information acquired by the cooperation control unit 26 in association with the ID of the confidential information.
  • the confidential information may be stored in the DB 27a within the smart glasses 20a, or may be stored in a device (external DB 30a) external to the smart glasses 20a.
  • the confidential information acquisition unit 25 a acquires confidential information from the external DB 30 a via the cooperation control unit 26 .
  • the smart glasses 20a When the image acquired by the image acquiring unit 21 contains an ID marker (Yes in S31), the smart glasses 20a read and recognize the ID marker (S32). That is, the smart glasses 20a identify the content (ID of confidential information) described in the ID marker.
  • the confidential information acquisition unit 25a determines whether or not there is corresponding confidential information in the DB 27a (S34). For example, the encryption/decryption unit 25 uses the ID of confidential information as a key to determine whether or not there is confidential information linked to the ID in the DB 27a. On the other hand, if the smart glasses 20a fail to read the ID marker (No in S33), the display control unit 28 displays an error on the system screen unit 14 (S36).
  • the display control unit 28 displays the ID marker. is still being displayed on the Web screen (S37).
  • the confidential information is displayed at the position corresponding to the display position of the ID marker on the web screen. Display is started (S38).
  • the smart glasses 20a can read the ID marker from the web screen and display the confidential information associated with the ID described in the ID marker.
  • the smart glasses may acquire the confidential information from the DB and display it on the smart glasses.
  • An embodiment in this case will be described as a third embodiment.
  • the same reference numerals are assigned to the same configurations as those of the above-described embodiments, and the description thereof is omitted.
  • FIG. 8 shows a configuration example of the smart glasses 20b of the third embodiment.
  • the smart glasses 20b are provided with DB27b, as shown in FIG.
  • the smart glasses 20b also include an encryption/decryption unit 25 and a confidential information acquisition unit 25a.
  • the DB 27b stores decryption information and secret information for encrypted information.
  • the decryption information is stored in the DB 27b in association with the ID of confidential information to be decrypted.
  • Confidential information is also stored in the DB 27b in association with the ID of the confidential information.
  • Both the decryption information and the confidential information may be stored in the DB 27b within the smart glasses 20b, or may be stored in a device (external DB 30b) external to the smart glasses 20b.
  • the secret information acquisition unit 25a of the smart glasses 20b obtains the secret information associated with the ID. Get information.
  • the encryption/decryption unit 25 of the smart glasses 20b determines whether or not there is decryption information for the corresponding ID in the DB 27b (S44). move on. Then, the confidential information acquisition unit 25a determines whether or not there is corresponding confidential information in the DB 27b (S51). For example, the confidential information acquisition unit 25a determines whether or not the DB 27b contains confidential information linked to the ID included in the ID marker.
  • the confidential information acquisition unit 25a determines that there is corresponding confidential information in the DB 27b (Yes in S51), and when the corresponding confidential information can be acquired from the DB 27b (Yes in S52), the processing from S53 onwards is executed. . Since the processing after S53 is the same as the processing after S37 in FIG. 7, the description thereof is omitted.
  • the encryption/decryption unit 25 determines that the DB 27b has decryption information for the corresponding ID (Yes in S44), the processing from S45 onwards is executed. Since the processing after S45 is the same as the processing after S15 in FIG. 4, the description thereof is omitted.
  • the smart glasses 20b can acquire confidential information and display it on the smart glasses 20b when there is no decryption information for the encrypted information included in the read ID marker in the DB 27b.
  • the smart glasses may display, for example, a screen including input fields for confidential information, and transmit information input from the input fields to the work terminal.
  • An embodiment in this case will be described as a fourth embodiment.
  • symbol is attached
  • the display control system 1c of the fourth embodiment includes a work terminal 10c and smart glasses 20c.
  • the smart glasses 20c read the ID marker on the screen of the work terminal 10c
  • the smart glasses 20c display information including, for example, selection input fields on the smart glasses 20c.
  • the smart glass 20c transmits the operation information for the selection input field to the work terminal 10c.
  • the smart glasses 20c when the smart glasses 20c read a certain ID marker and display a selection input field accordingly, it accepts an operation on the selection input field. The smart glasses 20c then transmit the received operation as operation information for the UI component of the ID marker on the work terminal 10c. Then, the work terminal 10c reflects the operation information on the UI component of the ID marker.
  • the smart glasses 20c may accept operations on the above input fields by any operation device. Further, the smart glasses 20c may accept the operation for the above information by the gesture of the wearer of the smart glasses 20c.
  • the work terminal 10c includes a cooperation control section 12c.
  • the cooperation control unit 12c not only transmits confidential information in the DB 11a to the smart glasses 20c, but also receives operation information related to confidential information from the smart glasses 20c.
  • the cooperation control unit 12 c outputs the operation information to the display control unit 13 .
  • the display control unit 13 reflects the operation content on the UI component of the ID marker corresponding to the ID on the Web screen based on the above operation information.
  • the above operation contents are reflected in the business system (Web system) that provides the Web screen.
  • the smart glass 20c includes a cooperation control section 26c and a display control section 28c.
  • the cooperation control unit 26c stores confidential information received from the work terminal 10c in the DB 11a, and also transmits operation information related to the confidential information to the work terminal 10c.
  • the display control unit 28c displays the confidential information at the coordinate position specified by the coordinate specifying unit 281 on the screen unit 29.
  • an input field (see, for example, the selection input field shown in FIG. 9) is displayed on the confidential information display section 291. Then, the display control unit 28c displays the result of the operation on the input field on the confidential information display unit 291.
  • the display control section 28c includes an operation information input IF (interface) 282 and an operation information reflection section 283 in addition to the coordinate designation section 281 described above.
  • the operation information input IF 282 provides an interface that receives input of operation information for confidential information from the wearer of the smart glasses 20c.
  • the operation information reflecting unit 283 also reflects operation information for confidential information received by the operation information input IF 282 on the confidential information display unit 291 . Further, the operation information reflecting unit 283 transmits operation information for confidential information received by the operation information input IF 282 to the work terminal 10 via the cooperation control unit 26c.
  • the operation information input IF 282 of the smart glasses 20c determines whether or not there has been an operation or selection for confidential information (S69).
  • the operation information reflection unit 283 transmits the operation information or The selection information is notified to the work terminal 10c (S70).
  • the operation information or selection information notified to the work terminal 10c here includes the ID of the confidential information that is the target of the operation or selection. After that, the process returns to S61.
  • the display control unit 13 of the work terminal 10c determines that the operation information or the selection information has been notified from the smart glasses 20c (Yes in S71)
  • the ID included in the notification is the ID registered in the DB 11a.
  • the display control unit 13 determines that the ID included in the notification is an ID already registered in the DB 11a (Yes in S72)
  • the type of the notification matches the notification type described in the display rule for the ID. It is confirmed whether or not to do so (S73).
  • the display control unit 13 determines that the notification type matches the notification type described in the display rule for the ID (Yes in S73)
  • the display control unit 13 reflects the notification content in the UI component of the work terminal 10c (S75). For example, the display control unit 13 reflects the notification content on the UI component corresponding to the ID displayed on the system screen unit 14 .
  • the process returns to S71.
  • the display control unit 13 determines that the ID included in the notification is not an ID registered in the DB 11a (No in S72), or the type of the notification is a notification described in the display rule of the ID If it is determined that the type does not match (No in S73), an error is displayed on the system screen unit 14 or nothing is done (S74), and the process returns to S71.
  • the smart glasses 20c can reflect on the work terminal 10c the content of the operation or selection for the confidential information displayed on the screen unit 29 of the smart glasses 20c.
  • the object to which the ID marker is added by the display control system 1c described above may be other than the Web screen displayed on the work terminal 10c.
  • the target to which the ID marker is attached may be the management target of the work terminal 10c. An example of this case will be described with reference to FIG.
  • the object to be managed by the work terminal 10c is an airplane tire.
  • an ID marker is attached to the tire itself.
  • the airplane mechanic checks the tire condition while wearing the smart glasses 20c ((1)).
  • the ID marker attached to the tire is read by the smart glasses 20c, and information associated with the ID marker (information on the corresponding ID) is read by the smart glasses. 20c.
  • the smart glasses 20c display information for receiving selection inputs regarding tire conditions on the smart glasses 20c ((2)).
  • the mechanic uses an arbitrary operation device to input information related to the tire condition (selection/input with an arbitrary operation device) for the displayed information. For example, the mechanic selects and inputs, for example, "Large wear Immediate order" as the tire condition. After that, the smart glasses 20c transfer the above input result to the work terminal 10c ((3)).
  • the work terminal 10c Upon receiving the input result from the smart glasses 20c, the work terminal 10c reflects the input result in the system used by the work terminal 10c. Note that the ID indicated by the ID marker (component ID) and the component ID managed by the system are linked to each other. Therefore, the work terminal 10c uses the ID of the part included in the input result as a key and reflects the input result in the information associated with the ID in the system.
  • the worker can reflect the status of the managed object in the system.
  • Documents may be managed by the work terminal 10c.
  • an ID marker is attached to the document itself.
  • the worker wears the smart glasses 20c and explains to the customer using documents ((1)).
  • the smart glasses 20c read the ID marker attached to the document, and the information associated with the ID marker (information of the corresponding ID) is sent to the smart glasses. 20c.
  • the smart glasses 20c display information for receiving selection inputs regarding customer reactions on the smart glasses 20c ((2)).
  • the operator uses an arbitrary operation device to input the customer's reaction to the displayed information (selection/input with an arbitrary operation device). For example, the worker selects and inputs "Normal” or the like as the customer's reaction. After that, the smart glasses 20c transfer the above input result to the work terminal 10c ((3)).
  • the work terminal 10c When the work terminal 10c receives the input result from the smart glasses 20c, it reflects the input result in the system that manages the documents and the customer information. Note that the ID indicated by the ID marker (document ID) and the document ID managed by the above system are linked to each other. Therefore, using the ID included in the input result as a key, the work terminal 10c reflects the input result in the information associated with the ID in the above system.
  • each constituent element of each part shown in the figure is functionally conceptual, and does not necessarily need to be physically configured as shown in the figure.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • all or any part of each processing function performed by each device can be implemented by a CPU and a program executed by the CPU, or implemented as hardware based on wired logic.
  • the smart glasses 20 described above can be implemented by installing a program (display control program) as package software or online software in a desired computer.
  • the information processing device can function as the smart glasses 20 by causing the information processing device to execute the above program.
  • the information processing apparatus referred to here includes mobile communication terminals such as smart phones, mobile phones and PHS (Personal Handyphone Systems), and terminals such as PDAs (Personal Digital Assistants).
  • FIG. 15 is a diagram showing an example of a computer that executes a display control program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012 .
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, the program that defines each process executed by the smart glasses 20 is implemented as a program module 1093 in which computer-executable code is described. Program modules 1093 are stored, for example, on hard disk drive 1090 . For example, a program module 1093 for executing processing similar to the functional configuration in the smart glasses 20 is stored in the hard disk drive 1090 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the data used in the processes of the above-described embodiments are stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads out the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary and executes them.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program modules 1093 and program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Web画面を表示する作業端末(10)は、Web画面上における秘匿情報の割り付け領域に、秘匿情報を示すIDマーカを表示する。その後、作業端末(10)の作業者に装着されるスマートグラス(20)は、作業端末(10)のWeb画面上に表示されるIDマーカを読み取る。そして、スマートグラス(20)は、IDマーカに対応する秘匿情報を記憶するDBから、読み取ったIDマーカに対応する秘匿情報を取得し、スマートグラス(20)の画面部に表示する。

Description

表示制御システム、表示制御方法、および、表示制御プログラム
 本発明は、秘匿情報の表示制御を行う、表示制御システム、表示制御方法、および、表示制御プログラムに関する。
 従来、Web画面上に拡張用のUI(ユーザインタフェース)をオーバーレイ表示して、既存のシステムを改造せずに機能を拡張する技術(UI拡張技術)がある(特許文献1参照)。
特開2017-72872号公報
 上記のUI拡張技術を適用したシステムにおいて、UI拡張技術で表示するUI部品に、個人情報や社内秘情報等の秘匿情報が含まれる場合、システムのWeb画面を表示する端末の環境によっては、上記の秘匿情報を端末のWeb画面上に表示することが禁止されることがある。このような場合、システムの作業者は、別の手段で秘匿情報を確認しなければならず、作業効率の低下を招いていた。
 そこで、本発明は、前記した問題を解決し、システムの作業者が、別の手段で秘匿情報を確認することを不要とすることを課題とする。
 前記した課題を解決するため、本発明は、Web画面を表示する作業端末と、前記作業端末の作業者により携帯されるカメラ付きの携帯端末とを備える表示制御システムであって、前記作業端末は、前記Web画面上における秘匿情報の割り付け領域に、前記秘匿情報を示すIDマーカを表示する第1の表示制御部を備え、前記携帯端末は、前記Web画面の画像を取得する画像取得部と、取得された前記Web画面の画像を用いて、前記Web画面上に表示されるIDマーカを読み取る読み取り部と、前記IDマーカに対応する秘匿情報を記憶するDBから、前記読み取ったIDマーカに対応する秘匿情報を取得する取得部と、取得した前記秘匿情報を画面部に表示する第2の表示制御部とを備えることを特徴とする。
 本発明によれば、システムの作業者が、別の手段で秘匿情報を確認することを不要とすることできる。
図1は、第1の実施形態の表示制御システムの概要を説明する図である。 図2は、第1の実施形態の表示制御システムの構成例を示す図である。 図3は、図2の作業端末の処理手順の例を示すフローチャートである。 図4は、図2のスマートグラスの処理手順の例を示すフローチャートである。 図5は、第2の実施形態の表示制御システムの概要を説明する図である。 図6は、第2の実施形態の表示制御システムの構成例を示す図である。 図7は、図6のスマートグラスの処理手順の例を示すフローチャートである。 図8は、第3の実施形態のスマートグラスの構成例を示す図である。 図9は、図8のスマートグラスの処理手順の例を示すフローチャートである。 図10は、第4の実施形態の表示制御システムの概要を説明する図である。 図11は、第4の実施形態の表示制御システムの構成例を示す図である。 図12は、図11の表示制御システムの処理手順の例を示すシーケンス図である。 図13は、第4の実施形態の表示制御システムの適用例を説明する図である。 図14は、第4の実施形態の表示制御システムの適用例を説明する図である。 図15は、表示プログラムを実行するコンピュータの構成例を示す図である。
 以下、図面を参照しながら、本発明を実施するための形態(実施形態)を第1の実施形態から第4の実施形態に分けて説明する。本発明は、以下に説明する各実施形態に限定されない。
 なお、以下、作業端末の作業者により携帯される携帯端末は、スマートグラスである場合を例に説明するが、これに限定されない。例えば、携帯端末は、カメラ付きの携帯端末(例えば、カメラ付きのスマートフォン等)であってもよい。
 また、秘匿情報は、例えば、個人情報や社内秘情報等、Web画面上に表示することが好ましくない情報であるが、業務上、作業者が見えた方がWeb画面上での作業をしやすい情報である。この秘匿情報は、Web画面を提供するWebシステムと分離可能な情報であるものとする。また、秘匿情報は、上記のWeb画面の拡張UIを用いて表示可能な情報であるものとする。
[第1の実施形態]
[概要]
 まず、図1を用いて第1の実施形態の表示制御システム1の概要を説明する。表示制御システム1は、作業端末10と、当該作業端末10の作業者により装着されるスマートグラス20とを備える。作業端末10と、スマートグラス20とは、無線通信等により通信可能に接続される。作業端末10は、Webシステムの画面(Web画面)を表示し、また、Web画面を構成するUIに、拡張UI(User Interface)をオーバーレイ表示する。
 ここで作業端末10は、上記の拡張UIにより、Web画面上に暗号化された秘匿情報を含むIDマーカ(UI部品)を表示する。このIDマーカは、例えば、QRコード(登録商標)等の二次元コードである。作業者がスマートグラス20越しに、作業端末10のWeb画面を見ると、スマートグラス20は、IDマーカに含まれる暗号化された秘匿情報を読み込み、復号後、スマートグラス20上に表示する。
 これにより、表示制御システム1は、作業端末10のWeb画面上に秘匿情報を表示させず、作業者のスマートグラス20に秘匿情報を表示させることができる。その結果、作業者以外の人は秘匿情報が見えないが、作業者はスマートグラス20越しに秘匿情報を見ながらWeb画面上での作業を行うことができる。これにより、作業者は、Web画面上で作業を行う際の効率を向上させることができる。
[構成例]
 次に、図2を用いて、表示制御システム1の構成例を説明する。上記の通り、表示制御システム1は、作業端末10とスマートグラス20とを備える。外部DB30は装備される場合と装備されない場合とがあり、装備される場合については後記する。
[作業端末]
 まず、作業端末10を説明する。作業端末10は、DB(データベース)11と、連携制御部12と、表示制御部(第1の表示制御部)13と、システム画面部14とを備える。
 DB11は、表示ルールと復号用情報とを記憶する。表示ルールは、IDマーカをWeb画面上に表示するためのルールを示す情報である。
 表示ルールは、例えば、(1)表示する拡張UI(秘匿情報の暗号化情報、暗号化情報の識別情報(IDマーカ)等)、(2)拡張UIの表示位置情報(例えば、該当URL、特定のテキスト、テキストボックス、HTML情報、画像情報等)、(3)秘匿情報等を含む。
 また、復号用情報は、秘匿情報の暗号化情報の復号キーとなる情報である。この復号用情報は、暗号化情報の識別情報(ID)と対応付けて記憶される。このDB11は、作業端末10の記憶部(図示省略)の所定領域に装備される。
 なお、作業端末10は、秘匿情報をDB11に格納する際に暗号化してもよいし、Web画面上に表示する際に暗号化してもよい。
 連携制御部12は、ネットワーク経由で他の装置との間で情報の連携を行う。例えば、連携制御部12は、DB11のIDマーカの復号用情報をスマートグラス20へ送信する。
 表示制御部13は、システム画面部14の表示制御を行う。例えば、表示制御部13は、上記の表示ルールに基づき、拡張UI(拡張部品)を用いて、Web画面上における秘匿情報の割り付け領域に、当該秘匿情報の暗号化情報を示すIDマーカを表示する。
 システム画面部14は、表示制御部13からの表示制御に基づき画面を表示する。例えば、システム画面部14は、表示制御部13からの表示制御に基づき、IDマーカの拡張部品(IDマーカ表示拡張部品)を含むWeb画面を表示する。
[スマートグラス]
 次に、スマートグラス20を説明する。スマートグラス20は、画像取得部21と、画像認識部22と、ID特定部(読み取り部)23と、座標特定部24と、暗号復号部(取得部)25と、連携制御部26と、DB27と、表示制御部(第2の表示制御部)28と、画面部29とを備える。
 画像取得部21は、作業端末10に表示されるWeb画面の画像を取得する。例えば、画像取得部21は、スマートグラス20のカメラによりWeb画面の画像を取得する。画像認識部22は、画像取得部21により取得されたWeb画面の画像の認識を行う。例えば、画像認識部22は、Web画面上のIDマーカの認識を行う。ID特定部23は、画像認識部22により認識されたIDマーカに記述されている内容(例えば、暗号化情報のIDおよび暗号化情報)を特定する。座標特定部24は、画像取得部21により取得されたWeb画面上におけるIDマーカの座標位置を特定する。
 暗号復号部25は、DB27から取得した復号用情報を用いて、ID特定部23により特定された暗号化情報を復号する。例えば、暗号復号部25は、ID特定部23により特定された暗号化情報のID(秘匿情報のID)をキーとして、DB27から当該暗号化情報の復号用情報を取得する。そして、暗号復号部25は、取得した復号用情報を用いて当該暗号化情報を復号する。その後、暗号復号部25は、復号した情報(秘匿情報)を表示制御部28へ出力する。
 連携制御部26は、ネットワーク経由で他の装置との間で情報の連携を行う。例えば、連携制御部26は、作業端末10から受信した復号用情報をDB27に格納する。
 DB27は、連携制御部26により取得された復号用情報を記憶する。なお、この復号用情報は、復号の対象となる暗号化情報のID(秘匿情報のID)と対応付けてDB27に記憶される。
 なお、復号用情報は、DB27に格納されてもよいし、スマートグラス20の外部の装置(外部DB30)に格納されてもよい。復号用情報が、外部DB30に格納される場合、暗号復号部25は、連携制御部26を用いて、外部DB30から復号用情報を取得する。
 表示制御部28は、画面部29の表示制御を行う。例えば、表示制御部28は、画面部29の所定領域に、暗号復号部25により出力された秘匿情報を表示する。この表示制御部28は、座標指定部281を備える。
 座標指定部281は、座標特定部24により特定されたIDマーカの座標位置に基づき、画面部29における秘匿情報の座標位置を指定する。表示制御部28は、座標指定部281により指定された座標位置に秘匿情報を表示する。
 例えば、座標指定部281は、作業者(スマートグラス20の装着者)が画面部29越しに作業端末10上のWeb画面を見たときの当該IDマーカの位置から所定距離以内の位置に、秘匿情報の座標位置を指定する。そして、表示制御部28は、座標指定部281により指定された座標位置に秘匿情報を表示する。
 画面部29は、表示制御部28からの表示制御に基づき画面を表示する。画面部29は、例えば、透過性があり、スマートグラス20の装着者は、画面部29越しに、作業端末10上のWeb画面が見えるものとする。この画面部29は、秘匿情報表示部291を備える。秘匿情報表示部291は、座標指定部281により指定された座標位置に秘匿情報を表示する。
[処理手順の例]
 次に、表示制御システム1の処理手順の例を説明する。まず、図3を用いて、作業端末10の処理手順の例を説明する。
 作業端末10の表示制御部13は、システム画面部14に表示中の画面が、IDマーカの表示対象の画面か否かを判定する(S1)。例えば、表示制御部13は、表示ルールを参照して、システム画面部14に表示中のWeb画面のURLが、IDマーカの表示対象のURLか否かを判定する。
 ここで、表示制御部13が、表示中の画面は、IDマーカの表示対象の画面であると判定し(S1でYes)、DB11内の表示ルールからIDマーカの部品情報(例えば、暗号化情報、暗号化情報のID、IDマーカの表示位置等)を取得できた場合(S2でYes)、取得したIDマーカの部品情報に基づき、Web画面上におけるIDマーカの表示を開始する(S4)。
 一方、表示制御部13が、表示中の画面は、IDマーカの表示対象の画面ではないと判定した場合(S1でNo)、S1へ戻る。また、表示制御部13が、DB11内の表示ルールからIDマーカの部品情報を取得できなかった場合(S2でNo)、システム画面部14にエラーの表示を行うかまたは何もせず(S3)、S1へ戻る。
 このようにすることで作業端末10は、Web画面上に秘匿情報の暗号化情報を示すIDマーカを表示することができる。
 次に、図4を用いて、スマートグラス20の処理手順の例を説明する。スマートグラス20は、画像取得部21により取得された画像にIDマーカが含まれる場合(S11でYes)、IDマーカを読み込み、認識する(S12)。つまり、スマートグラス20は、画像認識部22により、Web画面上のIDマーカの認識を行う。そして、スマートグラス20は、ID特定部23により、当該IDマーカに記述されている内容(暗号化情報と、暗号化情報のID)を特定する。
 スマートグラス20が、IDマーカの読み込みに成功すると(S13でYes)、暗号復号部25は、該当ID(つまり、暗号化情報のID)の復号用情報がDB27にあるか否かを判定する(S14)。一方、スマートグラス20が、IDマーカの読み込みに失敗した場合(S13でNo)、表示制御部28は、システム画面部14にエラーの表示を行う(S16)。
 S14で暗号復号部25が、該当IDの復号用情報がDB27にあると判定した場合(S14でYes)、当該復号用情報を用いて暗号化情報の復号を試みる。ここで、暗号復号部25が、暗号化情報の復号に成功した場合(S15でYes)、表示制御部28は、画像取得部21により取得された画像に基づき、当該IDマーカがまだWeb画面上に表示中であるか否かを判定する(S17)。つまり、表示制御部28は、当該IDマーカがWeb画面からスクロールアウトしていたり、当該IDマーカを表示していたWeb画面が別画面に切り替わったりしていないか確認する。
 ここで、表示制御部28が、当該IDマーカがまだWeb画面上に表示中であると判定した場合(S17でYes)、Web画面上における当該IDマーカの表示位置に対応した位置に復号情報(秘匿情報)の表示を開始する(S18)。例えば、表示制御部28は、画像取得部21により取得されたWeb画面上におけるIDマーカの位置に基づき、作業者がスマートグラス20の画面部29越しで当該Web画面を見たときの当該IDマーカの位置から所定距離以内の位置に秘匿情報の表示を開始する。
 一方、表示制御部28が、当該IDマーカがWeb画面上に表示されていないと判定した場合(S17のNo)、S11へ戻る。また、S14で、暗号復号部25が、DB27に該当IDの復号用情報がないと判定した場合(S14でNo)、あるいは、暗号復号部25が、暗号化情報の復号に失敗した場合(S15でNo)、表示制御部28は、システム画面部14にエラーの表示を行う(S16)。そしてS11へ戻る。
 このようにすることでスマートグラス20は、Web画面上からIDマーカを読み取り、当該IDマーカの示す暗号化情報を復号し、秘匿情報を表示することができる。
[第2の実施形態]
 なお、上記のIDマーカに記述される情報は、秘匿情報のIDであってもよい。この場合の実施形態を、第2の実施形態として説明する。なお、第1の実施形態と同じ構成は同じ符号を付して説明を省略する。
 図5に示すように、第2の実施形態の表示制御システム1aは、作業端末10aとスマートグラス20aとを備える。作業端末10aは、秘匿情報のIDを記述したIDマーカをWeb画面上に表示する。そして、スマートグラス20aは、作業端末10aに表示されるWeb画面上のIDマーカをカメラで読み込み、該当ID(IDマーカに記述されるID)の秘匿情報をDBから検索し、スマートグラス20a上に表示する。
[構成例]
 次に、図6を用いて、表示制御システム1aの構成例を説明する。第1の実施形態と同じ構成は同じ符号を付して説明を省略する。上記の通り、表示制御システム1aは、作業端末10aとスマートグラス20aとを備える。外部DB30aは装備される場合と装備されない場合とがあり、装備される場合については後記する。
[作業端末]
 作業端末10aは、DB11aを備える。DB11aは、IDマーカの表示ルールと秘匿情報とを記憶する。この表示ルールは、例えば、第1の実施形態で説明した、(2)拡張UIの表示位置情報に加え、(1)表示する拡張UI(秘匿情報のID(IDマーカ))を含む。
 また、秘匿情報は、スマートグラス20aに表示される秘匿情報であり、当該秘匿情報のIDと対応付けてDB11aに記憶される。なお、この秘匿情報は、当該秘匿情報のスマートグラス20a上での表示位置情報(例えば、画面上のIDマーカの直下に表示する等)、フォントサイズ、色等の情報を含んでいてもよい。このDB11aは、作業端末10の記憶部(図示省略)の所定領域に装備される。
 また、作業端末10aの連携制御部12は、DB11aに記憶される秘匿情報をスマートグラス20aへ送信する。スマートグラス20aの連携制御部26は、作業端末10aから送信された秘匿情報をDB27aに格納する。
[スマートグラス]
 また、スマートグラス20aは、秘匿情報取得部25aとDB27aを備える。秘匿情報取得部25aは、IDマーカの示すIDに対応する秘匿情報をDB27aから取得し、表示制御部28へ出力する。DB27aは、連携制御部26により取得された秘匿情報を当該秘匿情報のIDと対応付けて記憶する。
 なお、秘匿情報は、スマートグラス20a内のDB27aに格納されてもよいし、スマートグラス20aの外部の装置(外部DB30a)に格納されてもよい。秘匿情報が、外部DB30aに格納される場合、秘匿情報取得部25aは、連携制御部26経由で外部DB30aから秘匿情報を取得する。
[処理手順の例]
 次に、表示制御システム1aの処理手順の例を説明する。作業端末10aの処理手順は、作業端末10とほぼ同じなので説明を省略し、図7を用いて、スマートグラス20aの処理手順の例を説明する。
 スマートグラス20aは、画像取得部21により取得された画像にIDマーカが含まれる場合(S31でYes)、IDマーカを読み込み、認識する(S32)。つまり、スマートグラス20aは、当該IDマーカに記述されている内容(秘匿情報のID)を特定する。
 スマートグラス20aが、S32におけるIDマーカの読み込みに成功すると(S33でYes)、秘匿情報取得部25aは、DB27aに該当する秘匿情報があるか否かを判定する(S34)。例えば、暗号復号部25は、秘匿情報のIDをキーとして、DB27aに当該IDに紐づく秘匿情報があるか否かを判定する。一方、スマートグラス20aが、IDマーカの読み込みに失敗した場合(S33でNo)、表示制御部28は、システム画面部14にエラーの表示を行う(S36)。
 秘匿情報取得部25aが、DB27aに該当する秘匿情報があると判定し(S34でYes)、DB27aから該当する秘匿情報を取得できた場合(S35でYes)、表示制御部28は、当該IDマーカがまだWeb画面上に表示中であるか否かを判定する(S37)。ここで、表示制御部28が、当該IDマーカがまだWeb画面上に表示中であると判定した場合(S37でYes)、Web画面上における当該IDマーカの表示位置に対応した位置に秘匿情報の表示を開始する(S38)。
 一方、表示制御部28が、当該IDマーカがWeb画面上に表示されていないと判定した場合(S37のNo)、S31へ戻る。また、S34で、秘匿情報取得部25aが、DB27aに該当IDの秘匿情報がないと判定した場合(S34でNo)、あるいは、秘匿情報取得部25aが、秘匿情報を取得できなかった場合(S35でNo)、表示制御部28は、システム画面部14にエラーの表示を行う(S36)。そしてS31へ戻る。
 このようにすることでスマートグラス20aは、Web画面上からIDマーカを読み取り、当該IDマーカに記述されるIDに紐づく秘匿情報を表示することができる。
[第3の実施形態]
 なお、スマートグラスは、読み取ったIDマーカに含まれる暗号化情報の復号用情報がDBになかった場合、DBから秘匿情報を取得し、スマートグラスに表示してもよい。この場合の実施形態を第3の実施形態として説明する。前記した各実施形態と同じ構成は同じ符号を付して説明を省略する。
[構成例]
 第3の実施形態のスマートグラス20bの構成例を図8に示す。スマートグラス20bは、図8に示すように、DB27bを備える。また、スマートグラス20bは、暗号復号部25および秘匿情報取得部25aを備える。
 DB27bは、暗号化情報の復号用情報と秘匿情報とを記憶する。復号用情報は、復号の対象となる秘匿情報のIDと対応付けてDB27bに記憶される。また、秘匿情報も、当該秘匿情報のIDと対応付けてDB27bに記憶される。
 なお、復号用情報も秘匿情報も、スマートグラス20b内のDB27bに格納されてもよいし、スマートグラス20bの外部の装置(外部DB30b)に格納されてもよい。
 スマートグラス20bは、暗号復号部25により、DB27bから、IDマーカに含まれるIDに紐づく暗号化情報の復号用情報を取得できなった場合、秘匿情報取得部25aにより、当該IDに紐づく秘匿情報を取得する。
[処理手順の例]
 次に、図9を用いて、スマートグラス20bの処理手順の例を説明する。図9のS41~S43の処理は、図4のS11~S13の処理と同様であるので説明を省略し、図9のS44から説明する。
 スマートグラス20bの暗号復号部25は、DB27bに該当IDの復号用情報があるか否かを判定し(S44)、該当IDの復号用情報がないと判定した場合(S44でNo)、S51へ進む。そして、秘匿情報取得部25aは、DB27bに該当する秘匿情報があるか否かを判定する(S51)。例えば、秘匿情報取得部25aは、IDマーカに含まれるIDに紐づく秘匿情報がDB27bにあるか否かを判定する。
 そして、秘匿情報取得部25aが、DB27bに該当する秘匿情報があると判定し(S51でYes)、DB27bから該当する秘匿情報を取得できた場合(S52でYes)、S53以降の処理を実行する。S53以降の処理は、図7のS37以降の処理と同様なので説明を省略する。
 一方、暗号復号部25が、DB27bに該当IDの復号用情報があると判定した場合(S44でYes)、S45以降の処理を実行する。S45以降の処理は、図4のS15以降の処理と同様なので説明を省略する。
 このようにすることでスマートグラス20bは、DB27bに、読み取ったIDマーカに含まれる暗号化情報の復号用情報がなかった場合、秘匿情報を取得してスマートグラス20bに表示することができる。
[第4の実施形態]
 また、スマートグラスは、例えば、秘匿情報に関する入力欄を含む画面を表示し、当該入力欄から入力された情報を作業端末に送信してもよい。この場合の実施形態を、第4の実施形態として説明する。なお、前記した各実施形態と同じ構成は同じ符号を付して説明を省略する。
 図10に示すように、第4の実施形態の表示制御システム1cは、作業端末10cとスマートグラス20cとを備える。スマートグラス20cは、作業端末10cの画面上のIDマーカを読み込むと、例えば、選択入力欄を含む情報をスマートグラス20c上に表示する。そして、スマートグラス20cは、その選択入力欄に対する操作情報を作業端末10cへ送信する。
 例えば、スマートグラス20cは、あるIDマーカを読み込み、これに応じて選択入力欄を表示すると、当該選択入力欄に対する操作を受け付ける。そして、スマートグラス20cは、受け付けた操作を、作業端末10cにおける当該IDマーカのUI部品に対する操作情報として送信する。そして、作業端末10cは、当該IDマーカのUI部品に上記の操作情報を反映する。
 なお、スマートグラス20cは、上記の入力欄に対する操作を、任意の操作デバイスにより受け付けてよい。また、スマートグラス20cは、上記の情報に対する操作を、スマートグラス20cの装着者のジェスチャーにより受け付けてもよい。
[構成例]
 次に、図11を用いて、表示制御システム1cの構成例を説明する。前記した各実施形態と同じ構成は同じ符号を付して説明を省略する。
[作業端末]
 作業端末10cは、連携制御部12cを備える。この連携制御部12cは、DB11aの秘匿情報をスマートグラス20cへ送信するほかに、スマートグラス20cから秘匿情報に関する操作情報を受信する。
 例えば、連携制御部12cは、スマートグラス20cから、操作対象の秘匿情報のIDおよび操作情報を受信すると、その操作情報を表示制御部13に出力する。その後、表示制御部13は、上記の操作情報に基づき、Web画面上の上記IDに対応するIDマーカのUI部品に操作内容を反映する。これにより、上記の操作内容は、Web画面を提供する業務システム(Webシステム)に反映される。
[スマートグラス]
 スマートグラス20cは、連携制御部26cと表示制御部28cとを備える。この連携制御部26cは、作業端末10cから受信した秘匿情報をDB11aに格納するほかに、秘匿情報に関する操作情報を作業端末10cへ送信する。
 また、表示制御部28cは、画面部29上の、座標指定部281により指定された座標位置に秘匿情報を表示する。ここで、上記の秘匿情報が、スマートグラス20cの装着者からの入力操作を受け付けるものである場合、秘匿情報表示部291に入力欄(例えば、図9に示す選択入力欄参照)を表示する。そして、表示制御部28cは、当該入力欄に対する操作結果を、秘匿情報表示部291に表示する。
 この表示制御部28cは、前記した座標指定部281のほかに、操作情報入力IF(インタフェース)282と、操作情報反映部283とを備える。
 操作情報入力IF282は、スマートグラス20cの装着者から、秘匿情報に対する操作情報の入力を受け付けるインタフェースを提供する。また、操作情報反映部283は、操作情報入力IF282により受け付けた、秘匿情報に対する操作情報を秘匿情報表示部291に反映させる。また、操作情報反映部283は、操作情報入力IF282により受け付けた、秘匿情報に対する操作情報を連携制御部26c経由で作業端末10へ送信する。
[処理手順の例]
 次に、図12を用いて、表示制御システム1cの処理手順の例を説明する。図12のS61~S68の処理は、図7のS31~S38の処理と同様なので、説明を省略し、図12のS69から処理を説明する。
 図12のS68の後、スマートグラス20cの操作情報入力IF282は、秘匿情報に対する操作または選択の実施があったと判定か否かを判定する(S69)。ここで、操作情報入力IF282が、秘匿情報に対する操作または選択の実施があったと判定した場合(S69でYes)、操作情報反映部283は、連携制御部26c経由で、当該秘匿情報に対する操作情報または選択情報を作業端末10cへ通知する(S70)。なお、ここで作業端末10cに通知する操作情報または選択情報は、操作または選択の対象となった秘匿情報のIDを含む。その後、S61へ戻る。
 一方、操作情報入力IF282が、秘匿情報に対する操作または選択の実施がないと判定した場合(S69でNo)、S61へ戻る。
 S70の後、作業端末10cの表示制御部13が、スマートグラス20cから操作情報または選択情報の通知があったと判定した場合(S71でYes)、当該通知に含まれるIDがDB11aに登録済みのIDか否かを判定する(S72)。ここで、表示制御部13が、当該通知に含まれるIDがDB11aに登録済みのIDと判定した場合(S72でYes)、当該通知の種別は、当該IDの表示ルールに記載の通知種別と一致するか否かを確認する(S73)。表示制御部13は、当該通知の種別が、当該IDの表示ルールに記載の通知種別と一致すると判定した場合(S73でYes)、通知内容を作業端末10cのUI部品に反映する(S75)。例えば、表示制御部13は、通知内容をシステム画面部14に表示される当該IDに対応するUI部品に反映する。
 一方、表示制御部13は、スマートグラス20cから操作情報または選択情報の通知がないと判定した場合(S71でNo)、S71へ戻る。なお、表示制御部13は、当該通知に含まれるIDがDB11aに登録済みのIDではないと判定した場合(S72でNo)、または、当該通知の種別は、当該IDの表示ルールに記載の通知種別と一致しないと判定した場合(S73でNo)、システム画面部14にエラーの表示を行うかまたは何もせず(S74)、S71へ戻る。
 このようにすることでスマートグラス20cは、スマートグラス20cの画面部29に表示された秘匿情報に対する操作または選択の内容を、作業端末10cに反映させることができる。
[適用例1]
 なお、前記した表示制御システム1cでIDマーカが付される対象は、作業端末10cに表示されるWeb画面以外であってもよい。例えば、IDマーカが付される対象は、作業端末10cの管理対象物であってもよい。この場合の例を、図13を用いて説明する。
 ここでは、作業端末10cによる管理対象物は、飛行機のタイヤである場合を考える。この場合、図13に示すように、タイヤ自体にIDマーカを付けておく。
 飛行機の整備士は、スマートグラス20cを装着した状態で、タイヤの状況をチェックする((1))。ここで、整備士が、例えば、摩耗の大きなタイヤを発見した場合、そのタイヤに付されたIDマーカをスマートグラス20cで読み込み、IDマーカに対応付けられた情報(該当IDの情報)をスマートグラス20c上に表示する。例えば、スマートグラス20cは、スマートグラス20c上にタイヤの状況に関する選択入力を受け付ける情報を表示する((2))。
 そして、整備士は、表示された情報に対し、任意の操作デバイスにより、タイヤの状況に関する入力を行う(任意の操作デバイスで選択/入力)。例えば、整備士は、タイヤの状況として「摩耗大 即時注文」等の選択入力を行う。その後、スマートグラス20cは、上記の入力結果を作業端末10cへ転送する((3))。
 作業端末10cは、スマートグラス20cから入力結果を受信すると、入力結果を作業端末10cが用いるシステムに反映する。なお、IDマーカに示されるID(部品のID)と、システムで管理される部品のIDとは互いに紐付いている。したがって、作業端末10cは、入力結果に含まれる部品のIDをキーとして、システムにおける当該IDに対応付けられた情報に当該入力結果を反映する。
 このようにすることで、作業者は、管理対象物の状況をシステムに反映させることができる。
[適用例2]
 また、作業端末10cによる管理対象物は書類(紙)であってもよい。この場合、図14に示すように、書類自体にIDマーカを付けておく。
 まず、作業者はスマートグラス20cを装着した状態で、書類を用いて顧客への説明を行う((1))。ここで、作業者が、例えば、顧客の反応等を入力したい場合、その書類に付されたIDマーカをスマートグラス20cで読み込み、IDマーカに対応付けられた情報(該当IDの情報)をスマートグラス20c上に表示する。例えば、スマートグラス20cは、スマートグラス20c上に顧客の反応に関する選択入力を受け付ける情報を表示する((2))。
 そして、作業者は、表示された情報に対し、任意の操作デバイスにより、顧客の反応に関する入力を行う(任意の操作デバイスで選択/入力)。例えば、作業者は、顧客の反応として「並」等の選択入力を行う。その後、スマートグラス20cは、上記の入力結果を作業端末10cへ転送する((3))。
 作業端末10cは、スマートグラス20cから入力結果を受信すると、入力結果を、書類や顧客に関する情報を管理するシステムに反映する。なお、IDマーカに示されるID(書類のID)と、上記のシステムで管理される書類のIDとは互いに紐付いている。したがって、作業端末10cは、入力結果に含まれるIDをキーとして、上記のシステムにおける当該IDに対応付けられた情報に当該入力結果を反映する。
 このようにすることで、作業者は、書類を用いて説明した顧客に関する情報をシステムに反映させることができる。
[システム構成等]
 また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
 また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
 前記したスマートグラス20は、パッケージソフトウェアやオンラインソフトウェアとしてプログラム(表示制御プログラム)を所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置をスマートグラス20として機能させることができる。ここで言う情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等の端末等がその範疇に含まれる。
 図15は、表示制御プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
 メモリ1010は、ROM(Read Only Memory)1011及びRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
 ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記のスマートグラス20が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、スマートグラス20における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
 また、上述した実施形態の処理で用いられるデータは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
 なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続される他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
 1,1a,1c 表示制御システム
 10,10a,10c 作業端末
 11,11a,27,27a DB
 12,12c,26,26c 連携制御部
 13,28,28c 表示制御部
 14 システム画面部
 20,20a,20b,20c スマートグラス(携帯端末)
 21 画像取得部
 22 画像認識部
 23 ID特定部
 24 座標特定部
 25 暗号復号部(取得部)
 25a 秘匿情報取得部(取得部)
 281 座標指定部
 282 操作情報入力IF
 283 操作情報反映部
 291 秘匿情報表示部

Claims (8)

  1.  Web画面を表示する作業端末と、前記作業端末の作業者により携帯されるカメラ付きの携帯端末とを備える表示制御システムであって、
     前記作業端末は、
     前記Web画面上における秘匿情報の割り付け領域に、前記秘匿情報を示すIDマーカを表示する第1の表示制御部を備え、
     前記携帯端末は、
     前記Web画面の画像を取得する画像取得部と、
     取得された前記Web画面の画像を用いて、前記Web画面上に表示されるIDマーカを読み取る読み取り部と、
     前記IDマーカに対応する秘匿情報を記憶するDBから、前記読み取ったIDマーカに対応する秘匿情報を取得する取得部と、
     取得した前記秘匿情報を画面部に表示する第2の表示制御部と
     を備えることを特徴とする表示制御システム。
  2.  前記第1の表示制御部は、
     前記Web画面上における秘匿情報の割り付け領域に、前記秘匿情報の暗号化情報を示すIDマーカを表示し、
     前記取得部は、
     前記DBから、前記読み取ったIDマーカが示す暗号化情報を復号するための復号用情報を取得し、取得した前記復号用情報を用いて、前記暗号化情報を復号することにより、前記秘匿情報を取得する
     ことを特徴とする請求項1に記載の表示制御システム。
  3.  前記第1の表示制御部は、
     前記Web画面上における秘匿情報の割り付け領域に、前記秘匿情報の識別情報を示すIDマーカを表示し、
     前記取得部は、
     前記DBから、前記読み取ったIDマーカの示す識別情報に対応する秘匿情報を取得する
     ことを特徴とする請求項1に記載の表示制御システム。
  4.  前記取得部は、
     前記DBに、前記読み取ったIDマーカが示す暗号化情報を復号するための復号用情報がなかった場合、前記DBから、前記読み取ったIDマーカに対応する秘匿情報を取得する
     ことを特徴とする請求項2に記載の表示制御システム。
  5.  前記第2の表示制御部は、
     前記Web画面の画像から特定された、前記Web画面上におけるIDマーカの位置に基づき、前記画面部越しで前記Web画面を見たときの前記IDマーカの位置から所定距離以内の位置に前記秘匿情報を表示する
     ことを特徴とする請求項1に記載の表示制御システム。
  6.  前記第2の表示制御部は、さらに、
     前記作業者からの入力操作を受け付ける入力欄を含む前記秘匿情報を、前記画面部に表示し、
     前記携帯端末は、さらに、
     前記入力欄で受け付けた入力操作の結果を、前記IDマーカに対応する秘匿情報に関する操作情報として前記作業端末へ送信する操作情報反映部を備える
     ことを特徴とする請求項1に記載の表示制御システム。
  7.  Web画面を表示する作業端末と、前記作業端末の作業者により携帯されるカメラ付きの携帯端末とを備える表示制御システムにより実行される表示制御方法であって、
     前記作業端末が、
     前記Web画面上における秘匿情報の割り付け領域に、前記秘匿情報を示すIDマーカを表示する工程と、
     前記携帯端末が、
     前記Web画面の画像を取得する工程と、
     取得された画像を用いて、前記Web画面上に表示されるIDマーカを読み取る工程と、
     前記IDマーカに対応する秘匿情報を記憶するDBから、前記読み取ったIDマーカに対応する秘匿情報を取得する工程と、
     取得した前記秘匿情報を画面部に表示する工程と
     を含むことを特徴とする表示制御方法。
  8.  作業端末により表示されるWeb画面の画像を取得する工程と、
     取得された前記Web画面の画像を用いて、前記Web画面上に表示されるIDマーカを読み取る工程と、
     前記IDマーカに対応する秘匿情報を記憶するDBから、前記読み取ったIDマーカに対応する秘匿情報を取得する工程と、
     取得した前記秘匿情報を画面部に表示する工程と
     をコンピュータに実行させるための表示制御プログラム。
PCT/JP2021/024881 2021-06-30 2021-06-30 表示制御システム、表示制御方法、および、表示制御プログラム WO2023276091A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023531276A JPWO2023276091A1 (ja) 2021-06-30 2021-06-30
PCT/JP2021/024881 WO2023276091A1 (ja) 2021-06-30 2021-06-30 表示制御システム、表示制御方法、および、表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024881 WO2023276091A1 (ja) 2021-06-30 2021-06-30 表示制御システム、表示制御方法、および、表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2023276091A1 true WO2023276091A1 (ja) 2023-01-05

Family

ID=84692592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024881 WO2023276091A1 (ja) 2021-06-30 2021-06-30 表示制御システム、表示制御方法、および、表示制御プログラム

Country Status (2)

Country Link
JP (1) JPWO2023276091A1 (ja)
WO (1) WO2023276091A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184762A (ja) * 2014-03-20 2015-10-22 沖電気工業株式会社 取引システム及び取引装置
JP2018092228A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 情報処理端末、情報処理端末の制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184762A (ja) * 2014-03-20 2015-10-22 沖電気工業株式会社 取引システム及び取引装置
JP2018092228A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 情報処理端末、情報処理端末の制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2023276091A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US20140258717A1 (en) Cloud application installed in client terminal connected to cloud server
US20140253412A1 (en) Method for Displaying Confidential Data on an Auxiliary Device
CN111771183B (zh) 信任区图形渲染方法和使用该方法的显示设备
US9275206B2 (en) Managing sensitive information
CN107959932B (zh) 无线接入点信息的处理方法、设备及计算机可读存储介质
KR20150014319A (ko) 사용자 인터페이스 화면을 제공하는 모바일 디바이스와 화상형성장치, 및 모바일 디바이스 및 화상형성장치에서 사용자 인터페이스 화면을 제공하는 방법
US8328104B2 (en) Storage device management systems and methods
JP2020067977A (ja) 情報処理装置およびプログラム
US20110066531A1 (en) Document processing device, server device, and document processing system
CN113835820A (zh) 图形码的显示方法及装置
WO2023276091A1 (ja) 表示制御システム、表示制御方法、および、表示制御プログラム
CN114995722A (zh) 信息处理装置以及记录介质
US6826756B1 (en) Automatic transfer of data from an input device to a software application
WO2023276092A1 (ja) 表示制御システム、表示制御方法、および、表示制御プログラム
US20190042778A1 (en) Methods And Apparatus To Protect Digital Content With Computer-Mediated Reality
KR102464357B1 (ko) 준동형 암호화를 이용한 식별코드 생성 장치 및 그 방법
CN116186649A (zh) 跨系统访问方法、装置、计算机设备及存储介质
JP6397200B2 (ja) 管理サーバ、およびデータ処理方法、並びにプログラム
US20240354430A1 (en) Display control system, display control method, and display control program
CN109522135A (zh) 一种跨程序的任务处理方法、装置、设备及存储介质
US20240354431A1 (en) Display control system, display control method, and display control program
CN115622994A (zh) 一种数据传输控制方法及装置
KR102401345B1 (ko) 사용자 계정 정보에 기반한 복수 작성자의 컨텐츠 작성 방법 및 그 장치
KR102036075B1 (ko) 명함 정보 전달 방법 및 그 사용자 단말
WO2023238198A1 (ja) 処理システム、処理方法及び処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948395

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531276

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18575823

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21948395

Country of ref document: EP

Kind code of ref document: A1