WO2017068634A1 - 作業支援システム、作業支援方法および作業支援プログラム - Google Patents

作業支援システム、作業支援方法および作業支援プログラム Download PDF

Info

Publication number
WO2017068634A1
WO2017068634A1 PCT/JP2015/079473 JP2015079473W WO2017068634A1 WO 2017068634 A1 WO2017068634 A1 WO 2017068634A1 JP 2015079473 W JP2015079473 W JP 2015079473W WO 2017068634 A1 WO2017068634 A1 WO 2017068634A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
data list
state
work support
display
Prior art date
Application number
PCT/JP2015/079473
Other languages
English (en)
French (fr)
Inventor
佐藤　輝幸
三原　基伸
セバスチャン ピキャー
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2017546300A priority Critical patent/JP6460255B2/ja
Priority to PCT/JP2015/079473 priority patent/WO2017068634A1/ja
Publication of WO2017068634A1 publication Critical patent/WO2017068634A1/ja
Priority to US15/935,566 priority patent/US11073905B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Definitions

  • the present invention relates to a work support system, a work support method, and a work support program.
  • code number related to the application content or a code number for identifying a financial institution to which payment is made is entered or entered in a form.
  • code numbers are specified when a user who fills in a form searches for a code number corresponding to the contents of entry with reference to, for example, a code list.
  • the user may be confused as to how to check the code number even if the user knows to enter the code number in the form.
  • the user can select a desired code number from the code list. It is difficult to help find it.
  • the present invention provides a work support system, a work support method, and a work support program that can support a work for specifying desired data from a data list.
  • the work support system includes a display control unit, a detection unit, and a highlight display unit.
  • the display control unit displays a data list in which data is arranged according to a predetermined rule in a state that can be visually recognized by the operator.
  • the detection unit detects a moving direction of the line-of-sight position of the operator with respect to the displayed data list.
  • the highlighting unit changes a region to be highlighted in the data list depending on whether or not the detected moving direction is in a predetermined state.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the work support system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the list storage unit.
  • FIG. 3 is a diagram illustrating an example in which a data list is referred to when a form is entered.
  • FIG. 4 is a diagram illustrating another example of referring to a data list when a form is entered.
  • FIG. 5 is a flowchart illustrating an example of the work support process according to the first embodiment.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the work support system according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of the guide display and the movement direction of the line of sight.
  • FIG. 8 is a flowchart illustrating an example of work support processing according to the second embodiment.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a work support program.
  • the third case is a case where the content to be written is clear, for example, the user's name, but it is confusing because it does not know where in the form.
  • the fourth case is, for example, a case where the user does not know how to read the code list when the prefecture name is converted into a code number, and is confused because the user does not know how to enter the code list.
  • the list becomes two-dimensional or more, it takes time until the user understands how to read the list. Therefore, a method of referring to the list without being confused about how to read the list is displayed as a guide. It is effective.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the work support system according to the first embodiment.
  • a work support system 1 illustrated in FIG. 1 is a system that supports a work in which a user refers to a list without confusion with respect to the above-described fourth case. That is, the work support system 1 is a system that supports, for example, a work for searching for a desired code number from a code list when a user enters a code number in a form.
  • the work support system 1 illustrated in FIG. 1 includes, for example, a display unit 10 that displays a data list that is a list of data to be referred to when a user, that is, an operator fills in a form on an entry table, and a user's line of sight.
  • a line-of-sight sensor 11 for detection and an information processing apparatus 100 are included.
  • the information processing apparatus 100 causes the display unit 10 to display a data list in which data is arranged according to a predetermined rule in a state that can be visually recognized by the operator.
  • the information processing apparatus 100 detects the moving direction of the operator's line-of-sight position with respect to the data list displayed on the display unit 10 based on the information of the line-of-sight sensor 11.
  • the information processing apparatus 100 changes the region to be highlighted in the data list according to whether or not the detected moving direction is in a predetermined state. Thereby, the work support system 1 can support the work of specifying desired data from the data list.
  • the display unit 10 is a display device for displaying various information.
  • the display unit 10 is realized by, for example, a projector, a liquid crystal display, or the like as a display device.
  • the display unit 10 displays various screens such as a reference screen input from the information processing apparatus 100.
  • the display unit 10 is, for example, a projector disposed at a position where a reference screen can be projected on a part of the entry table, or a liquid crystal display incorporated in the entry table.
  • the line-of-sight sensor 11 is a sensor that detects the line of sight of a user who fills out a form on the entry table.
  • the line-of-sight sensor 11 is realized by, for example, an infrared camera.
  • the line-of-sight sensor 11 captures the user's pupil and light reflected by the cornea (Purkinje image), and outputs the captured image to the information processing apparatus 100.
  • the information processing apparatus 100 includes a storage unit 120 and a control unit 130.
  • the information processing apparatus 100 may include various functional units included in known computers, for example, functional units such as various input devices and audio output devices, in addition to the functional units illustrated in FIG.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 includes a list storage unit 121.
  • the storage unit 120 stores information used for processing in the control unit 130.
  • the list storage unit 121 stores a list that is a reference target.
  • the list is a data list in which data is arranged according to a predetermined rule.
  • FIG. 2 is a diagram illustrating an example of the list storage unit.
  • the list shown in FIG. 2 is, for example, a list of recycling fees for home appliance recycling tickets.
  • the list storage unit 121 includes items such as “manufacturer name (code)” and “product (code)”.
  • “Manufacturer name (code)” is information indicating the manufacturer name and code of the home appliance. “Manufacturer name (code)” corresponds to the first key data in the data list, for example. “Product (code)” is information indicating the product name and code of the home appliance to be recycled. The “product (code)” further includes items such as “air conditioner (10)”, “television”, and “refrigerator (30)”. The “TV” further includes items such as “CRT type (20)” and “Liquid crystal / plasma type (50)”. “Product (code)” corresponds to, for example, the second key data in the data list.
  • the first key data and the second key data are, for example, in a two-dimensional list, the axis data that is large and is required to be referred to over a plurality of pages is the first key data, and the other axis Can be used as the second key data.
  • the recycling fee for the product “refrigerator (30)” of the manufacturer name “AAA (001)” is “3,672 yen”.
  • control unit 130 executes, for example, a program stored in an internal storage device using a RAM as a work area by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. Is realized.
  • the control unit 130 may be realized by an integrated circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the control unit 130 includes a display control unit 131, a detection unit 132, and a highlight display unit 133, and realizes or executes information processing functions and operations described below. Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 1, and may be another configuration as long as the information processing described below is performed.
  • the display control unit 131 detects that a form is placed on the entry table by using a sensor (not shown), for example, the display control unit 131 refers to the list storage unit 121 and causes the display unit 10 to display a reference screen including a data list. Is projected onto the table. That is, the display control unit 131 displays the data list in a state that can be visually recognized by the user who is the operator.
  • the display control unit 131 displays the reference area guide on the data list of the reference screen.
  • the reference area guide is, for example, a display that surrounds the manufacturer name, which is the vertical axis of the data list, with a frame.
  • the display control unit 131 highlights the guide region according to the highlight display information.
  • the display control unit 131 displays the data list and the reference region guide
  • the display control unit 131 outputs guide region information and a detection start instruction to the detection unit 132.
  • the display control unit 131 may output the guide region information and the detection start instruction to the detection unit 132 without displaying the reference region guide. In this case, the display of the reference area guide may be highlighted.
  • the detection unit 132 detects the user's line of sight based on the captured image input from the line-of-sight sensor 11. That is, the detection unit 132 detects the moving direction of the user's line-of-sight position with respect to the displayed list.
  • the detection unit 132 determines whether the movement direction of the line of sight is in the direction of searching for the guide area, in other words, the direction of searching for the guide area. It is determined whether or not a moving direction of a different line of sight has been detected.
  • the detection unit 132 detects a movement direction of the line of sight different from the direction in which the guide region is searched, the detection unit 132 outputs guide region information and a highlight display instruction to the highlight display unit 133. If the detection unit 132 does not detect a movement direction of the line of sight different from the direction in which the guide area is searched, the detection unit 132 continues to detect the user's line of sight.
  • the highlight display unit 133 When the guide region information and the highlight display instruction are input from the detection unit 132, the highlight display unit 133 generates highlight display information indicating that the guide region of the guide region information is highlighted, and the generated highlight display information. Is output to the display control unit 131. That is, the highlighting unit 133 changes the region to be highlighted in the data list according to whether or not the moving direction detected by the detecting unit 132 is in a predetermined state.
  • the highlighting is, for example, a display for increasing the brightness, a display for periodically changing the brightness, a display for changing the color, and the thickness of the frame surrounding the frame compared to other areas in the data list. One or more of the displays to be changed.
  • the highlighting unit 133 does not perform highlighting when the movement direction of the line-of-sight position is in the first state, and when it is in a state different from the first state, a specific region in the data list is displayed.
  • the first state is a predetermined state, in which a moving direction of the line of sight different from the direction in which the guide area is searched is not detected. That is, the first state is a state determined according to a predetermined rule that the data list follows. In other words, the first state is, for example, a case where the user's line-of-sight position is moving downward in the first key data area of the data list.
  • the predetermined rule followed by the data list is, for example, a rule in which the first key data is arranged on the vertical axis and the second key data is arranged on the horizontal axis.
  • the highlighting unit 133 displays the reference region guide when the movement direction of the line-of-sight position is different from the first state. It may be. Further, even when the display control unit 131 displays the reference area guide, the highlighting unit 133 refers to the point of the line of sight when the moving direction of the line of sight position is different from the first state. A new guide may be issued so as to refer to the area. This is, for example, one or more of a display that pops up the text, a display that scrolls the text so that it crosses the line of sight, and a display that displays an arrow icon that indicates the direction that leads to the predetermined line-of-sight position. .
  • FIG. 3 is a diagram illustrating an example in which a data list is referred to when a form is entered.
  • a reference screen 24 is displayed in the reference screen area 23 of the entry table 21.
  • the entry table 21 is provided with a line-of-sight sensor 11 to detect the line of sight of the user 20.
  • the reference area guide 25 is displayed in the first key data area on the vertical axis indicating the manufacturer name in the data list on the reference screen 24.
  • a guide 26 by characters such as “Please search for a manufacturer name first” is displayed for the user 20.
  • a previous page button 27 and a next page button 28 for moving a page when the data list extends over a plurality of reference screens 24 are displayed.
  • the line of sight of the user 20 moves downward from the top in the first key data area as indicated by an arrow 29.
  • the user 20 searches for the manufacturer name that is the first key data, the user 20 reads the code of the found manufacturer name and enters it in the entry field 30 of the form.
  • FIG. 4 is a diagram showing another example of referring to the data list when entering a form.
  • the line of sight of the user 20 is out of the first key data area indicated by the reference area guide 25 and is positioned near the second key data on the horizontal axis of the data list. That is, the user 20 is confused as to where to refer.
  • the information processing apparatus 100 blinks and highlights the area of the first key data on the vertical axis indicating the manufacturer name, the reference area guide 25 and the guide 26, and supports the user 20. Do.
  • the information processing apparatus 100 displays an arrow icon that guides the line of sight in the direction of the reference area guide 25 and supports the user 20.
  • the work support system 1 can support where the user should refer to the data list.
  • the reference area guide for the cell near the line of sight position is highlighted, and the line of sight of the user 20 is the area of the first key data. If not, the reference area guide 25 including the entire area of the first key data being displayed may be highlighted. That is, the work support system 1 changes the region to be highlighted in the data list.
  • FIG. 5 is a flowchart illustrating an example of the work support process according to the first embodiment.
  • the display control unit 131 of the information processing apparatus 100 detects, for example, a sensor (not shown) that a form is placed on the entry table, the display unit 131 (entry table) displays a reference screen including a data list (step S1). ).
  • the display control unit 131 displays the reference area guide on the data list on the reference screen (step S2).
  • the display control unit 131 outputs guide region information and a detection start instruction to the detection unit 132.
  • the detection unit 132 detects the user's line of sight based on the captured image input from the line-of-sight sensor 11. Based on the guide area information and the detected position and movement direction of the line of sight, the detection unit 132 determines whether a movement direction of the line of sight different from the direction in which the guide area is searched is detected (step S3). When the detection unit 132 detects a moving direction of the line of sight different from the direction in which the guide region is searched (step S3: Yes), the detection unit 132 outputs the guide region information and the highlight display instruction to the highlight display unit 133.
  • the highlight display unit 133 When the guide region information and the highlight display instruction are input from the detection unit 132, the highlight display unit 133 generates highlight display information indicating that the guide region of the guide region information is highlighted, and the generated highlight display information. Is output to the display control unit 131.
  • the display control unit 131 highlights the guide area in accordance with the highlight display information (step S4), and ends the process in accordance with the end of the data reference by the user. To do.
  • the detection unit 132 does not detect the movement direction of the line of sight different from the direction in which the guide area is searched (No at Step S3), the detection unit 132 continues to detect the user's line of sight and performs processing in accordance with the end of data reference by the user. finish. Thereby, the work support system 1 can support the work of specifying desired data from the data list.
  • the work support system 1 displays a data list in which data is arranged according to a predetermined rule in a state that the operator can visually recognize. Further, the work support system 1 detects the movement direction of the operator's line-of-sight position with respect to the displayed data list. Further, the work support system 1 changes the region to be highlighted in the data list according to whether or not the detected moving direction is in a predetermined state. As a result, it is possible to support the work of specifying desired data from the data list.
  • the work support system 1 does not perform highlighting when the movement direction of the line-of-sight position is in the first state, and when the movement direction of the line-of-sight position is different from the first state, Highlight the area.
  • the user can be made aware of the specific area that is the reference target only when the user's line of sight is facing other than the specific area that is the reference target.
  • the first state is a state determined according to a predetermined rule that the data list follows. As a result, it is possible to support the work of specifying desired data according to the data list.
  • the highlight display is a display that increases the brightness, a display that periodically changes the brightness, a display that changes the color, and a frame that is framed in comparison with other regions in the data list. It is one or more displays among the displays that change the thickness.
  • the work support system 1 may newly issue a guide so as to refer to the reference area at the end of the user's line of sight. This is, for example, one or more of a display that pops up the text, a display that scrolls the text so that it crosses the line of sight, and a display that displays an arrow icon that indicates the direction that leads to the predetermined line-of-sight position. .
  • the user can be made aware of the specific area that is the reference target.
  • the operator is displayed on another information processing apparatus and information presenting screen on the side (for example, a store) where the system is installed, in synchronization with the highlighting in a state visible to the operator. It is possible to present the status of As a result, for example, a dedicated attendant can support the user directly with the work.
  • Example 1 the region in the data list is highlighted according to the user's line of sight, but further, a specific operation for any data in the data list may be accepted. This will be described as Example 2.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the work support system according to the second embodiment. The same components as those in the work support system 1 according to the first embodiment are denoted by the same reference numerals, and the description of the overlapping configuration and operation is omitted.
  • the work support system 2 according to the second embodiment includes a pen input sensor 12 in addition to the work support system 1 according to the first embodiment, and accepts an operation based on a user's pen input.
  • the pen input sensor 12 is a sensor that detects a pen input of a user who fills a form on the entry table.
  • the pen input sensor 12 is realized by, for example, a digitizer installed on a writing table.
  • the input range of the pen input sensor 12 is set to a range including, for example, a display range (projection range) of a reference screen displayed by the display unit 10 of the entry table and a range in which a form is entered.
  • the pen input sensor 12 detects the pen tip position, generates operation information based on the pen tip position, and outputs the generated operation information to the information processing apparatus 200. That is, the pen input sensor 12 detects the pen tip position on the reference screen or the form, generates operation information based on the detected pen tip position, and outputs the operation information to the information processing apparatus 200.
  • the information processing apparatus 200 of the work support system 2 replaces the display control unit 131, the detection unit 132, and the highlight display unit 133 of the information processing apparatus 100 of the first embodiment with a display control unit 231, a detection unit 232, and a highlight display unit 233.
  • the information processing apparatus 200 includes a reception unit 234 and a calculation unit 235.
  • the display control unit 231 When the display control unit 231 detects that a form has been placed on the entry table, for example, by a sensor (not shown), the display control unit 231 displays a message prompting entry on the name or address entry field on the display unit 10 prior to entering the code number. .
  • the display control unit 231 detects a QR (Quick Response) code provided in the form with a camera (not shown) and detects that the form is placed on the entry table. Further, the display control unit 231 outputs a line-of-sight calibration instruction to the detection unit 232 and the reception unit 234.
  • QR Quick Response
  • the display control unit 231 refers to the list storage unit 121, displays a reference screen including a data list on the display unit 10, and uses the reference screen as a table. Project.
  • the display control unit 231 displays the reference area guide on the data list of the reference screen, similarly to the display control unit 131 of the first embodiment. For example, the display control unit 231 displays the reference area guide on the first axis of the data list, that is, the vertical axis. When the data list and the reference area guide are displayed, the display control unit 231 outputs guide area information and a detection start instruction to the detection unit 232. When the highlight display information or the specific display information is input from the highlight display unit 233, the display control unit 231 highlights the guide region or highlights the specific data according to the highlight display information or the specific display information. Display. Further, when a change instruction is input from the detection unit 232, the display control unit 231 changes the display of the reference area guide based on the change instruction.
  • the detection unit 232 outputs the detected line-of-sight position to the calculation unit 235 when a line-of-sight calibration instruction is input from the display control unit 231.
  • the detection unit 232 uses the correction value input from the calculation unit 235 to correct the user's line-of-sight position based on the captured image input from the line-of-sight sensor 11. That is, the detection unit 232 corrects the user's line-of-sight position using the fact that the pen point position of the user performing the entry operation matches the user's line-of-sight position.
  • the detection unit 232 completes correction of the user's line-of-sight position, that is, line-of-sight calibration.
  • the detection unit 232 outputs line-of-sight calibration completion information to the display control unit 231 and the reception unit 234.
  • the detection unit 232 detects the user's line of sight based on the captured image input from the line-of-sight sensor 11. Based on the guide area information and the detected position and movement direction of the line of sight, the detection unit 232 determines whether or not a movement direction of the line of sight different from the direction in which the guide area is searched is detected. When the detection unit 232 detects a movement direction of the line of sight different from the direction in which the guide region is searched, the detection unit 232 outputs guide region information and a highlight display instruction to the highlight display unit 233. If the detection unit 232 does not detect the movement direction of the line of sight different from the direction in which the guide area is searched, the detection unit 232 continues to detect the user's line of sight.
  • the detection unit 232 changes the content of the first state as a determination criterion when changing the region to be highlighted. That is, for example, the detection unit 232 receives the first state corresponding to the first key data area that is the vertical axis of the data list, and the second key that is the horizontal axis of the data list when the specific information is input. Change to the first state corresponding to the data area. That is, when the specific information is input from the reception unit 234, the detection unit 232 changes the guide region of the guide region information output to the highlight display unit 233. That is, for example, the guide area changes from the first key data area on the vertical axis of the data list to the second key data area on the horizontal axis. In addition, when the guide region is changed, the detection unit 232 outputs a guide region change instruction to the display control unit 231.
  • the highlight display unit 233 When the guide region information and the highlight display instruction are input from the detection unit 232, the highlight display unit 233 generates highlight display information indicating that the guide region of the guide region information is highlighted, and the generated highlight display information. Is output to the display control unit 231. Further, when the specific information is input from the reception unit 234, the highlighting unit 233 generates specific display information indicating that, for example, highlight display is performed on the specified key data based on the specific information, The specific display information is output to the display control unit 231.
  • the reception unit 234 When the line-of-sight calibration instruction is input from the display control unit 231, the reception unit 234 outputs operation information including the pen tip position input from the pen input sensor 12 to the calculation unit 235. In addition, when the line-of-sight calibration completion instruction is input from the detection unit 232, the reception unit 234 selects any one of the displayed data lists based on the operation information including the pen tip position input from the pen input sensor 12. Start accepting specific operations on the data. Upon receiving the specific operation, the reception unit 234 outputs specific information that specifies data to the detection unit 232 and the highlight display unit 233.
  • the calculation unit 235 calculates a correction value based on the difference between the line-of-sight position and the pen tip position of the operation information.
  • the correction value is output to the detection unit 232.
  • the calculation unit 235 determines the line of sight of the user who is performing the entry operation based on the relationship between the pen point position on the screen and the line-of-sight position during the entry operation in the name or address entry field. A correction value for position detection is calculated.
  • FIG. 7 is a diagram illustrating an example of the guide display and the movement direction of the line of sight.
  • description will be made using reference screens 31a to 31c corresponding to the reference screen 24 on the entry table 21 of FIG.
  • searching for codes and charges of products “TV” and “CRT” of the manufacturer name “BBD” will be described.
  • the line of sight of the user 20 moves from the top to the bottom as shown by the arrow 33 in order to search for the manufacturer name. .
  • a guide 32 a is displayed in the first key data area 32.
  • the user 20 searches for the manufacturer name “BBD” as the first key data
  • the user 20 reads the code “103” of the found manufacturer name and touches the manufacturer name “BBD” with the pen tip to specify the first key data. .
  • the user 20 enters the code “103” of the read manufacturer name in the corresponding entry column of the form.
  • searching for the first key data if the user's line of sight deviates from the first key data area 32, the first key data area 32 is highlighted.
  • a row corresponding to the identified first key data 34 is highlighted, for example.
  • the line of sight of the user 20 moves as indicated by an arrow 36 from the identified first key data 34 toward the second key data area 35 in order to search for a product.
  • the guide 35a is displayed in the area 35 of the second key data.
  • the guide 35a is displayed by switching from the guide 32a according to the specification of the first key data 34 by the user 20.
  • the user 20 searches for “CRT type” of the product “TV” which is the second key data, reads the code “20” of the found product, touches “CRT type” with the pen tip, and inputs the second key data. Make it specific. Further, the user 20 enters the read product code “20” in the corresponding entry column of the form.
  • searching for the second key data if the user's line of sight deviates from the second key data area 35, the second key data area 35 is highlighted.
  • the first key data and the second key data are specified on the reference screens 31a and 31b, so that a unique cell of the data list, that is, the recycling charge column 38 is highlighted.
  • the line of sight of the user 20 moves as indicated by an arrow 37.
  • the user 20 reads the amount “1,836 yen” in the recycling fee column 38 and enters it in the corresponding entry column of the form.
  • the work support system 2 can support the work of specifying desired data from the data list.
  • FIG. 8 is a flowchart illustrating an example of work support processing according to the second embodiment.
  • the display control unit 231 of the information processing apparatus 200 detects that a form has been placed on the entry table by, for example, a sensor (not shown), the display control unit 231 displays a message prompting entry in the name or address entry field on the display unit 10. Further, the display control unit 231 outputs a line-of-sight calibration instruction to the detection unit 232 and the reception unit 234. When the line-of-sight calibration instruction is input from the display control unit 231, the detection unit 232 outputs the detected line-of-sight position to the calculation unit 235. Further, when a line-of-sight calibration instruction is input from the display control unit 231, the reception unit 234 outputs operation information including the pen tip position input from the pen input sensor 12 to the calculation unit 235.
  • the calculation unit 235 calculates a correction value based on the difference between the line-of-sight position and the pen tip position of the operation information (step S11). ), And outputs the calculated correction value to the detection unit 232.
  • the detection unit 232 uses the correction value input from the calculation unit 235 to correct the user's line-of-sight position based on the captured image input from the line-of-sight sensor 11.
  • the detection unit 232 outputs line-of-sight calibration completion information to the display control unit 231 and the reception unit 234.
  • the display control unit 231 displays a reference screen including a data list on the display unit 10 (entry table) (step S12).
  • the display control unit 231 displays the reference area guide on the first axis of the data list (step S13).
  • the display control unit 231 outputs guide area information and a detection start instruction to the detection unit 232.
  • the detection unit 232 detects the user's line of sight based on the captured image input from the line-of-sight sensor 11. Based on the guide area information and the detected position and movement direction of the line of sight, the detection unit 232 determines whether or not a movement direction of the line of sight different from the direction in which the guide area is searched is detected (step S14). If the detection unit 232 detects a movement direction of the line of sight different from the direction in which the guide region is searched (step S14: Yes), the detection unit 232 outputs the guide region information and the highlight display instruction to the highlight display unit 233.
  • the highlight display unit 233 When the guide region information and the highlight display instruction are input from the detection unit 232, the highlight display unit 233 generates highlight display information indicating that the guide region of the guide region information is highlighted, and the generated highlight display information. Is output to the display control unit 231.
  • the display control unit 231 highlights the guide region according to the highlight display information (step S15).
  • the detection unit 232 does not detect the movement direction of the line of sight different from the direction in which the guide area is searched (No at Step S14), the detection unit 232 continues to detect the user's line of sight.
  • the reception unit 234 receives a specific operation for specifying the first key data based on the operation information including the pen tip position input from the pen input sensor 12 (step S16). When receiving the specific operation, the reception unit 234 outputs specific information for specifying the first key data to the highlighting display unit 233.
  • the highlighting display unit 233 When the specific information is input from the reception unit 234, the highlighting display unit 233 generates specific display information for the specified first key data based on the specific information, and the generated specific display information is displayed in the display control unit 231. Output.
  • the display control unit 231 highlights the specified first key data according to the specific display information.
  • the detection unit 232 changes the first state to the first state corresponding to the area of the second key data. That is, the detection unit 232 changes the guide area to the second key data area.
  • the detection unit 232 outputs a guide area change instruction to the display control unit 231.
  • the display control unit 231 displays the reference area guide on the second axis of the data list (step S17).
  • the detection unit 232 determines whether or not the movement direction of the line of sight different from the direction in which the guide area is searched is detected (step S18). When the detection unit 232 detects the movement direction of the line of sight different from the direction in which the guide region is searched (step S18: Yes), the detection unit 232 outputs the guide region information and the highlight display instruction to the highlight display unit 233.
  • the highlight display unit 233 When the guide region information and the highlight display instruction are input from the detection unit 232, the highlight display unit 233 generates highlight display information indicating that the guide region of the guide region information is highlighted, and the generated highlight display information. Is output to the display control unit 231.
  • the display control unit 231 highlights the guide region according to the highlight display information (step S19). If the detection unit 232 does not detect the movement direction of the line of sight different from the direction in which the guide area is searched (step S18: No), the detection unit 232 continues to detect the user's line of sight.
  • the accepting unit 234 accepts a specific operation for specifying the second key data based on the operation information including the pen tip position input from the pen input sensor 12 (step S20).
  • the receiving unit 234 receives the specific operation, the receiving unit 234 outputs specific information for specifying the second key data to the highlighting unit 233.
  • the highlighting display unit 233 generates specific display information for the specified second key data based on the specific information, and the generated specific display information is displayed in the display control unit 231. Output.
  • the display control unit 231 highlights the intersection field between the specified first key data and second key data (step S21), and ends the processing. To do. Thereby, the work support system 2 can support the work of specifying desired data from the data list.
  • the work support system 2 accepts a specific operation for any data in the displayed data list.
  • the work support system 2 changes the content of the first state as a determination criterion when changing the highlighted region in response to receiving the specific operation.
  • the guides are displayed and supported in the order of the data items, so that it is possible to support the work of specifying desired data.
  • the work support system 2 prompts the operator to fill in the name or address entry field, and the relationship between the pen tip position and the line-of-sight position during the entry operation by the operator in the entry field. Based on the above, a correction value for detecting the gaze position of the individual operator is calculated. In addition, the work support system 2 detects the moving direction of the operator's line-of-sight position with respect to the displayed data list using the calculated correction value. As a result, the user's line-of-sight position and moving direction can be detected more accurately.
  • the operator is displayed on another information processing apparatus and information display screen on the side where the system is installed (for example, a store) in synchronization with the highlighting in a state visible to the operator. It is possible to present the status of As a result, for example, a dedicated attendant can support the user directly with the work.
  • a two-dimensional list is used as the data list to be referred to, but the present invention is not limited to this.
  • a one-dimensional table such as a correspondence table of prefectures and their code numbers may be used, or a table having three or more dimensions may be used.
  • the data list to be referred to is one type, but is not limited to this.
  • a code list corresponding to each code number may be displayed as a data list when each of the plurality of code numbers is entered.
  • each component of each part illustrated does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each unit is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units according to various loads or usage conditions. Can be configured.
  • the detection unit 232 and the reception unit 234 may be integrated.
  • the illustrated processes are not limited to the above-described order, and may be performed at the same time as long as the process contents are not contradictory, or may be performed in a different order.
  • each device may be executed entirely or arbitrarily on a CPU (or a microcomputer such as MPU or MCU (Micro Controller Unit)).
  • various processing functions may be executed in whole or in any part on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or on hardware based on wired logic. Needless to say, it is good.
  • FIG. 9 is a diagram illustrating an example of a computer that executes a work support program.
  • the computer 300 includes a CPU 301 that executes various arithmetic processes, an input device 302 that receives data input, and a monitor 303.
  • the computer 300 also includes a medium reading device 304 that reads a program and the like from a storage medium, an interface device 305 for connecting to various devices, and a communication device 306 for connecting to other information processing devices and the like by wire or wirelessly.
  • Have The computer 300 also includes a RAM 307 that temporarily stores various types of information and a hard disk device 308. Each device 301 to 308 is connected to a bus 309.
  • the hard disk device 308 stores a work support program having the same functions as the processing units of the display control unit 131, the detection unit 132, and the highlight display unit 133 shown in FIG.
  • the hard disk device 308 stores a work support program having the same functions as the processing units of the display control unit 231, the detection unit 232, the highlight display unit 233, the reception unit 234, and the calculation unit 235 illustrated in FIG. 6. May be.
  • the hard disk device 308 stores a list storage unit 121 and various data for realizing a work support program.
  • the input device 302 has, for example, the same function as the pen input sensor 12 illustrated in FIG. 6 and receives input of various information such as operation information from the user of the computer 300.
  • the monitor 303 has the same function as the display unit 10 shown in FIG. 1, for example, and displays various screens such as a reference screen to the user.
  • the line-of-sight sensor 11 shown in FIG. 1 or 6 is connected to the interface device 305.
  • the communication device 306 is connected to, for example, a network (not shown) and exchanges various information with other information processing devices.
  • the CPU 301 reads out each program stored in the hard disk device 308, develops it in the RAM 307, and executes it to perform various processes.
  • these programs can cause the computer 300 to function as the display control unit 131, the detection unit 132, and the highlight display unit 133 illustrated in FIG.
  • these programs may cause the computer 300 to function as the display control unit 231, the detection unit 232, the highlight display unit 233, the reception unit 234, and the calculation unit 235 illustrated in FIG. 6.
  • the computer 300 may read and execute a program stored in a storage medium readable by the computer 300.
  • the storage medium readable by the computer 300 corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD disk, a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, a hard disk drive, and the like.
  • the work support program may be stored in a device connected to a public line, the Internet, a LAN, etc., and the computer 300 may read and execute the work support program from them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

データ一覧から所望のデータを特定する作業を支援できる作業支援システム、作業支援方法および作業支援プログラムを提供する。作業支援システム（１）は、表示制御部（１３１）と、検出部（１３２）と、強調表示部（１３３）とを有する。表示制御部（１３１）は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。検出部（１３２）は、表示されたデータ一覧に対する操作者の視線位置の移動方向を検出する。強調表示部（１３３）は、検出された移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。

Description

作業支援システム、作業支援方法および作業支援プログラム
　本発明は、作業支援システム、作業支援方法および作業支援プログラムに関する。
　役所や金融機関等において、例えば、申請内容に関するコード番号や、振込先の金融機関を特定するためのコード番号を、帳票に記入または入力する場面がある。これらのコード番号は、帳票に記入するユーザが、例えばコード一覧表を参照し、記入内容に応じたコード番号を探し出すことで特定される。
特開２００５－３０９６３３号公報 特開２０１３－０３７３９９号公報
　しかしながら、ユーザは帳票にコード番号を記入することまでは判っていても、どの様にコード番号を調べればよいか困惑する場合がある。このとき、例えば、帳票の記入例を参照画像として表示したり、入力欄に入力すべき内容について、参照用の画像領域を表示したりしても、ユーザが所望のコード番号をコード一覧表から探し出すことを支援することは困難である。
　一つの側面では、本発明は、データ一覧から所望のデータを特定する作業を支援できる作業支援システム、作業支援方法および作業支援プログラムを提供することにある。
　一つの態様では、作業支援システムは、表示制御部と、検出部と、強調表示部とを有する。表示制御部は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。検出部は、表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出する。強調表示部は、検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる。
　データ一覧から所望のデータを特定する作業を支援できる。
図１は、実施例１の作業支援システムの構成の一例を示すブロック図である。 図２は、一覧表記憶部の一例を示す図である。 図３は、帳票記入時にデータ一覧を参照する場合の一例を示す図である。 図４は、帳票記入時にデータ一覧を参照する場合の他の一例を示す図である。 図５は、実施例１の作業支援処理の一例を示すフローチャートである。 図６は、実施例２の作業支援システムの構成の一例を示すブロック図である。 図７は、ガイドの表示と視線の移動方向との一例を示す図である。 図８は、実施例２の作業支援処理の一例を示すフローチャートである。 図９は、作業支援プログラムを実行するコンピュータの一例を示す図である。
　以下、図面に基づいて、本願の開示する作業支援システム、作業支援方法および作業支援プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
　まず、ユーザが帳票等に記入する場合に困惑するケースについて説明する。１つ目のケースは、例えば、ユーザが街頭アンケートに記入する場合に、個人情報に関わる記入をするか否かの判断に迷う、すなわち、答えたくないために困惑するケースである。２つ目のケースは、例えば、荷物を送るために住所と宛名とをメモして店舗を訪れたが、電話番号を記入することが必要であると判明し思い出そうと考える、すなわち、覚えていないために困惑するケースである。
　３つ目のケースは、例えば、ユーザの氏名等のように書くべき内容は明確であるが、帳票のどこに書くのか分からないために困惑するケースである。４つ目のケースは、例えば、都道府県名をコード番号に変換して記入する場合に、ユーザがコード一覧表の見方がわからない、すなわち、記入の仕方がわからないために困惑するケースである。４つ目のケースでは、一覧表が２次元以上になると、ユーザが一覧表の見方を理解するまでに時間がかかるため、一覧表の読み取り方について困惑せずに参照する手法をガイドとして表示することが有効である。
　図１は、実施例１の作業支援システムの構成の一例を示すブロック図である。図１に示す作業支援システム１は、上述の４つ目のケースに対し、ユーザが一覧表を困惑せずに参照する作業を支援するシステムである。すなわち、作業支援システム１は、例えば、ユーザが帳票にコード番号を記入する際に、所望のコード番号をコード一覧表から探し出す作業を支援するシステムである。
　図１に示す作業支援システム１は、例えば、ユーザ、すなわち操作者が記入台で帳票に記入をする際に参照するデータの一覧表であるデータ一覧を表示する表示部１０と、ユーザの視線を検出するための視線センサ１１と、情報処理装置１００とを有する。情報処理装置１００は、表示部１０に所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示させる。情報処理装置１００は、視線センサ１１の情報に基づいて、表示部１０に表示させたデータ一覧に対する操作者の視線位置の移動方向を検出する。情報処理装置１００は、検出した移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。これにより、作業支援システム１は、データ一覧から所望のデータを特定する作業を支援できる。
　表示部１０は、各種情報を表示するための表示デバイスである。表示部１０は、例えば、表示デバイスとしてプロジェクタ、液晶ディスプレイ等によって実現される。表示部１０は、情報処理装置１００から入力された参照画面等の各種画面を表示する。表示部１０は、例えば、記入台の一部に参照画面が投影可能な位置に配置されたプロジェクタ、または、記入台に組み込まれた液晶ディスプレイである。
　視線センサ１１は、記入台で帳票に記入を行うユーザの視線を検出するセンサである。視線センサ１１は、例えば、赤外線カメラ等によって実現される。視線センサ１１は、ユーザの瞳孔と角膜での反射光（プルキニエ像）とを撮像し、撮像画像を情報処理装置１００に出力する。
　次に、情報処理装置１００の構成について説明する。図１に示すように、情報処理装置１００は、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、一覧表記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
　一覧表記憶部１２１は、参照対象である一覧表を記憶する。一覧表は、所定の規則に従ってデータが配列されたデータ一覧である。図２は、一覧表記憶部の一例を示す図である。図２に示す一覧表は、例えば、家電リサイクル券のリサイクル料金の一覧表である。図２に示すように、一覧表記憶部１２１は、「メーカ名（コード）」、「製品（コード）」といった項目を有する。
　「メーカ名（コード）」は、家電のメーカ名およびコードを示す情報である。また、「メーカ名（コード）」は、例えば、データ一覧の第１キーデータに対応する。「製品（コード）」は、リサイクル対象の家電製品の品名およびコードを示す情報である。「製品（コード）」は、さらに「エアコン（１０）」、「テレビ」、「冷蔵庫（３０）」といった項目を有する。「テレビ」は、さらに「ブラウン管式（２０）」、「液晶・プラズマ式（５０）」といった項目を有する。また、「製品（コード）」は、例えば、データ一覧の第２キーデータに対応する。第１キーデータと第２キーデータとは、例えば、２次元の一覧表において、一覧表が大きく、複数ページに渡って参照することが求められる軸のデータを第１キーデータとし、他方の軸のデータを第２キーデータとすることができる。図２の例では、例えば、メーカ名「ＡＡＡ（００１）」の製品「冷蔵庫（３０）」のリサイクル料金は「３，６７２円」であることを示す。
　図１の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、表示制御部１３１と、検出部１３２と、強調表示部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　表示制御部１３１は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、一覧表記憶部１２１を参照し、データ一覧を含む参照画面を表示部１０に表示させて参照画面を記入台に投影させる。すなわち、表示制御部１３１は、データ一覧を操作者であるユーザが視認可能な状態に表示させる。
　表示制御部１３１は、参照画面のデータ一覧上に参照領域ガイドを表示させる。参照領域ガイドは、例えば、データ一覧の縦軸であるメーカ名を枠で囲む表示等である。また、表示制御部１３１は、強調表示部１３３から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示させる。表示制御部１３１は、データ一覧および参照領域ガイドを表示させると、検出部１３２にガイド領域情報および検出開始指示を出力する。なお、表示制御部１３１は、参照領域ガイドを表示せずに、検出部１３２にガイド領域情報および検出開始指示を出力してもよい。この場合には、参照領域ガイドの表示を強調表示としてもよい。
　検出部１３２は、表示制御部１３１からガイド領域情報および検出開始指示が入力されると、視線センサ１１から入力される撮像画像に基づいて、ユーザの視線を検出する。すなわち、検出部１３２は、表示した一覧表に対するユーザの視線位置の移動方向を検出する。
　検出部１３２は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向に視線の移動方向が沿っているか、換言すれば、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する。検出部１３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には、ガイド領域情報と、強調表示指示とを強調表示部１３３に出力する。検出部１３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には、ユーザの視線の検出を継続する。
　強調表示部１３３は、検出部１３２からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部１３１に出力する。すなわち、強調表示部１３３は、検出部１３２が検出した移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。なお、強調表示は、例えば、データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、および、色彩を変化させる表示、枠囲みの枠の太さを変化させる表示のうち１つ以上の表示である。
　つまり、強調表示部１３３は、視線位置の移動方向が、第一の状態である場合には強調表示を行わず、第一の状態と異なる状態である場合には、データ一覧内で特定の領域を強調表示する。ここで、第一の状態とは、所定の状態であり、ガイド領域を探索する方向と異なる視線の移動方向を検出しない状態である。すなわち、第一の状態は、データ一覧が従っている所定の規則に応じて決定される状態である。言い換えると、第一の状態は、例えば、ユーザの視線位置がデータ一覧の第１キーデータの領域内を下方向に向かって移動している場合である。なお、データ一覧が従っている所定の規則は、例えば、縦軸に第１キーデータを配置し、横軸に第２キーデータを配置する規則である。
　なお、強調表示部１３３は、表示制御部１３１において参照領域ガイドを表示しなかった場合には、視線位置の移動方向が、第一の状態と異なる状態である場合に参照領域ガイドを表示するようにしてもよい。また、強調表示部１３３は、表示制御部１３１において参照領域ガイドを表示していた場合でも、視線位置の移動方向が、第一の状態と異なる状態である場合に、その視線の先に、参照領域を参照するように新たにガイドを出してもよい。これは、例えば、テキストをポップアップさせる表示、視線を横切るようにテキストをスクロールさせる表示、および、所定の視線位置へ誘導する方向を示す矢印のアイコンを出す表示のうちの１つ以上の表示である。
　ここで、図３および図４を用いて実施例１の具体例について説明する。図３は、帳票記入時にデータ一覧を参照する場合の一例を示す図である。図３に示すように、ユーザ２０が記入台２１に帳票２２を置くと、記入台２１の参照画面領域２３に参照画面２４が表示される。記入台２１には、視線センサ１１が設けられ、ユーザ２０の視線が検出される。また、参照画面２４では、参照画面２４のデータ一覧のうち、メーカ名を示す縦軸の第１キーデータの領域に、参照領域ガイド２５が表示される。さらに、参照画面領域２３には、ユーザ２０に対して、例えば「まずメーカ名を探してください」といった文字によるガイド２６が表示される。また、参照画面領域２３には、データ一覧が複数の参照画面２４に渡る場合にページを移動させる前ページボタン２７および次ページボタン２８が表示される。図３の状態では、ユーザ２０の視線は、第１キーデータの領域を矢印２９に示すように、上から順に下方向に向かって移動する。ユーザ２０は、第１キーデータであるメーカ名を探し出すと、探し出したメーカ名のコードを読み取り、帳票の記入欄３０に記入する。
　図４は、帳票記入時にデータ一覧を参照する場合の他の一例を示す図である。図４の状態では、ユーザ２０の視線は、参照領域ガイド２５が示す第１キーデータの領域を外れて、データ一覧の横軸の第２キーデータ付近に位置する。すなわち、ユーザ２０は、どこを参照すればよいか困惑している。この場合には、情報処理装置１００は、例えば、メーカ名を示す縦軸の第１キーデータの領域、参照領域ガイド２５およびガイド２６を点滅させて強調表示を行い、ユーザ２０に対して支援を行う。または、情報処理装置１００は、参照領域ガイド２５の方向に視線を誘導する矢印のアイコンの表示を行い、ユーザ２０に対して支援を行う。このように、作業支援システム１は、ユーザがデータ一覧のどこを参照すればよいかについて支援できる。
　また、図３および図４では、ユーザ２０の視線が第１キーデータの領域にある場合に、視線位置近傍のセルに対する参照領域ガイドが強調表示され、ユーザ２０の視線が第１キーデータの領域にない場合に、表示中の第１キーデータの領域全体を含む参照領域ガイド２５が強調表示されるようにしてもよい。すなわち、作業支援システム１は、データ一覧内で強調表示する領域を変化させる。
　次に、実施例１の作業支援システム１の動作について説明する。図５は、実施例１の作業支援処理の一例を示すフローチャートである。
　情報処理装置１００の表示制御部１３１は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、データ一覧を含む参照画面を表示部１０（記入台）に表示させる（ステップＳ１）。表示制御部１３１は、参照画面のデータ一覧上に参照領域ガイドを表示する（ステップＳ２）。表示制御部１３１は、データ一覧および参照領域ガイドを表示させると、検出部１３２にガイド領域情報および検出開始指示を出力する。
　検出部１３２は、表示制御部１３１からガイド領域情報および検出開始指示が入力されると、視線センサ１１から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部１３２は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する（ステップＳ３）。検出部１３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には（ステップＳ３：肯定）、ガイド領域情報と、強調表示指示とを強調表示部１３３に出力する。
　強調表示部１３３は、検出部１３２からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部１３１に出力する。表示制御部１３１は、強調表示部１３３から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示し（ステップＳ４）、ユーザによるデータ参照の終了に合わせて処理を終了する。検出部１３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には（ステップＳ３：否定）、ユーザの視線の検出を継続し、ユーザによるデータ参照の終了に合わせて処理を終了する。これにより、作業支援システム１は、データ一覧から所望のデータを特定する作業を支援できる。
　このように、作業支援システム１は、所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する。また、作業支援システム１は、表示されたデータ一覧に対する操作者の視線位置の移動方向を検出する。また、作業支援システム１は、検出された移動方向が、所定の状態であるか否かに応じて、データ一覧内で強調表示する領域を変化させる。その結果、データ一覧から所望のデータを特定する作業を支援できる。
　また、作業支援システム１は、視線位置の移動方向が、第一の状態である場合には強調表示を行わず、第一の状態とは異なる状態である場合には、データ一覧内で特定の領域を強調表示する。その結果、参照対象である特定の領域以外にユーザの視線が向いている場合にのみ、参照対象である特定の領域をユーザに気付かせることができる。
　また、作業支援システム１では、第一の状態は、データ一覧が従っている所定の規則に応じて決定される状態である。その結果、データ一覧に応じて所望のデータを特定する作業を支援できる。
　また、作業支援システム１では、強調表示は、データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち１つ以上の表示である。また、作業支援システム１は、ユーザの視線の先に、参照領域を参照するように新たにガイドを出してもよい。これは、例えば、テキストをポップアップさせる表示、視線を横切るようにテキストをスクロールさせる表示、および、所定の視線位置へ誘導する方向を示す矢印のアイコンを出す表示のうちの１つ以上の表示である。その結果、参照対象である特定の領域をユーザに気付かせることができる。
　また、作業支援システム１では、操作者に対して視認可能な状態への強調表示と同期して、このシステムを設置した側（例えば店舗）にある他の情報処理装置および情報提示画面に操作者の状態の提示を可能とする。その結果、例えば専属の応対者がユーザに対して直接作業を支援できる。
　上記実施例１では、ユーザの視線に応じてデータ一覧内の領域を強調表示したが、さらに、データ一覧内のいずれかのデータに対する特定操作を受け付けてもよく、この場合の実施の形態につき、実施例２として説明する。図６は、実施例２の作業支援システムの構成の一例を示すブロック図である。なお、実施例１の作業支援システム１と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
　実施例２の作業支援システム２は、実施例１の作業支援システム１に加え、ペン入力センサ１２を有し、ユーザのペン入力による操作を受け付ける。
　ペン入力センサ１２は、記入台で帳票に記入を行うユーザのペン入力を検出するセンサである。ペン入力センサ１２は、例えば、記入台に設置されたデジタイザによって実現される。ペン入力センサ１２の入力範囲は、例えば、記入台の表示部１０によって表示される参照画面の表示範囲（投影範囲）と、帳票への記入を行う範囲とを含む範囲に設定される。ペン入力センサ１２は、ペン先位置を検出してペン先位置に基づく操作情報を生成し、生成した操作情報を情報処理装置２００に出力する。すなわち、ペン入力センサ１２は、参照画面または帳票上のペン先位置を検出し、検出したペン先位置に基づく操作情報を生成して情報処理装置２００に出力する。
　作業支援システム２の情報処理装置２００は、実施例１の情報処理装置１００の表示制御部１３１、検出部１３２および強調表示部１３３に代えて、表示制御部２３１、検出部２３２および強調表示部２３３を有する。また、情報処理装置２００は、受付部２３４および算出部２３５を有する。なお、以下の説明では、実施例１の対応する構成と異なる点を主に説明し、同様の機能については説明を省略する。
　表示制御部２３１は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、コード番号の記入に先立って、氏名または住所記入欄に対する記入を促すメッセージを表示部１０に表示させる。表示制御部２３１は、例えば、帳票に設けられたＱＲ（Quick　Response）コードを図示しないカメラで撮像して記入台に帳票が置かれたことを検出する。また、表示制御部２３１は、視線キャリブレーション指示を検出部２３２および受付部２３４に出力する。
　表示制御部２３１は、検出部２３２から視線キャリブレーション完了情報が入力されると、一覧表記憶部１２１を参照し、データ一覧を含む参照画面を表示部１０に表示させ、参照画面を記入台に投影させる。
　表示制御部２３１は、実施例１の表示制御部１３１と同様に、参照画面のデータ一覧上に参照領域ガイドを表示させる。表示制御部２３１は、例えば、データ一覧の第１の軸、つまり縦軸に参照領域ガイドを表示させる。表示制御部２３１は、データ一覧および参照領域ガイドを表示させると、検出部２３２にガイド領域情報および検出開始指示を出力する。また、表示制御部２３１は、強調表示部２３３から強調表示情報または特定表示情報が入力されると、強調表示情報または特定表示情報に応じて、ガイド領域を強調表示、または、特定データをハイライト表示させる。また、表示制御部２３１は、検出部２３２から変更指示が入力されると、変更指示に基づいて参照領域ガイドの表示を変更する。
　検出部２３２は、表示制御部２３１から視線キャリブレーション指示が入力されると、算出部２３５に検出した視線位置を出力する。検出部２３２は、算出部２３５から入力される補正値を利用して、視線センサ１１から入力される撮像画像に基づくユーザの視線位置を補正する。すなわち、検出部２３２は、記入操作を行っているユーザのペン先位置と、ユーザの視線位置とが一致することを利用して、ユーザの視線位置を補正する。検出部２３２は、ユーザのペン先位置が氏名または住所記入欄から離れると、ユーザの視線位置の補正、つまり視線キャリブレーションを完了する。検出部２３２は、視線キャリブレーションが完了すると、視線キャリブレーション完了情報を表示制御部２３１および受付部２３４に出力する。
　検出部２３２は、表示制御部２３１からガイド領域情報および検出開始指示が入力されると、視線センサ１１から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部２３２は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には、ガイド領域情報と、強調表示指示とを強調表示部２３３に出力する。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には、ユーザの視線の検出を継続する。
　また、検出部２３２は、受付部２３４から特定情報が入力されると、強調表示する領域を変化させる際の判断基準とする第一の状態の内容を変化させる。すなわち、検出部２３２は、例えば、データ一覧の縦軸である第１キーデータの領域に対応する第一の状態を、特定情報が入力されることで、データ一覧の横軸である第２キーデータの領域に対応する第一の状態に変化させる。つまり、検出部２３２は、受付部２３４から特定情報が入力されると、強調表示部２３３に出力するガイド領域情報のガイド領域を変更する。すなわち、ガイド領域は、例えば、データ一覧の縦軸の第１キーデータの領域から、横軸の第２キーデータの領域へと変化する。また、検出部２３２は、ガイド領域を変更すると、ガイド領域の変更指示を表示制御部２３１に出力する。
　強調表示部２３３は、検出部２３２からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部２３１に出力する。また、強調表示部２３３は、受付部２３４から特定情報が入力されると、特定情報に基づいて、特定されたキーデータについて、例えばハイライト表示を行う旨の特定表示情報を生成し、生成した特定表示情報を表示制御部２３１に出力する。
　受付部２３４は、表示制御部２３１から視線キャリブレーション指示が入力されると、ペン入力センサ１２から入力されたペン先位置を含む操作情報を算出部２３５に出力する。また、受付部２３４は、視線キャリブレーション完了指示が検出部２３２から入力されると、ペン入力センサ１２から入力されたペン先位置を含む操作情報に基づいて、表示されたデータ一覧内のいずれかのデータに対する特定操作の受け付けを開始する。受付部２３４は、特定操作を受け付けると、データを特定する特定情報を検出部２３２および強調表示部２３３に出力する。
　算出部２３５は、検出部２３２から視線位置が入力され、受付部２３４から操作情報が入力されると、視線位置と操作情報のペン先位置との差分に基づいて補正値を算出し、算出した補正値を検出部２３２に出力する。すなわち、算出部２３５は、氏名または住所記入欄への記入操作が行われている間の画面上のペン先位置と、視線位置との関係に基づいて、記入操作を行っているユーザ個人の視線位置検出のための補正値を算出する。
　ここで、図７を用いて実施例２の具体例について説明する。図７は、ガイドの表示と視線の移動方向との一例を示す図である。なお、図７では、図３の記入台２１上の参照画面２４に対応する参照画面３１ａ～３１ｃを用いて説明する。以下の説明では、メーカ名「ＢＢＤ」の製品「テレビ」「ブラウン管式」のコードと料金を探す例で説明している。
　図７に示すように、参照画面３１ａでは、ユーザ２０の視線は、メーカ名を探すために、第１キーデータの領域３２を矢印３３に示すように、上から順に下方向に向かって移動する。このとき、第１キーデータの領域３２には、ガイド３２ａが表示される。ユーザ２０は、第１キーデータであるメーカ名「ＢＢＤ」を探し出すと、探し出したメーカ名のコード「１０３」を読み取り、ペン先でメーカ名「ＢＢＤ」をタッチして第１キーデータを特定させる。また、ユーザ２０は、読み取ったメーカ名のコード「１０３」を帳票の対応する記入欄に記入する。第１キーデータの探索時には、ユーザの視線が第１キーデータの領域３２から外れると、第１キーデータの領域３２が強調表示される。
　参照画面３１ｂでは、特定された第１キーデータ３４に対応する行が、例えばハイライト表示される。参照画面３１ｂでは、ユーザ２０の視線は、製品を探すために、特定された第１キーデータ３４から第２キーデータの領域３５に向けて、矢印３６に示すように移動する。このとき、第２キーデータの領域３５には、ガイド３５ａが表示される。なお、ガイド３５ａは、ユーザ２０による第１キーデータ３４の特定に応じて、ガイド３２ａから切り替えて表示される。ユーザ２０は、第２キーデータである製品「テレビ」の「ブラウン管式」を探し出すと、探し出した製品のコード「２０」を読み取り、ペン先で「ブラウン管式」をタッチして第２キーデータを特定させる。また、ユーザ２０は、読み取った製品のコード「２０」を帳票の対応する記入欄に記入する。第２キーデータの探索時には、ユーザの視線が第２キーデータの領域３５から外れると、第２キーデータの領域３５が強調表示される。
　参照画面３１ｃでは、参照画面３１ａ，３１ｂで第１キーデータと第２キーデータとが特定されることで、データ一覧の一意のセル、すなわちリサイクル料金の欄３８がハイライト表示される。このとき、ユーザ２０の視線は、矢印３７に示すように移動する。ユーザ２０は、リサイクル料金の欄３８の金額「１，８３６円」を読み取り、帳票の対応する記入欄に記入する。このように、作業支援システム２は、データ一覧から所望のデータを特定する作業を支援できる。
　次に、実施例２の作業支援システム２の動作について説明する。図８は、実施例２の作業支援処理の一例を示すフローチャートである。
　情報処理装置２００の表示制御部２３１は、例えば図示しないセンサにより、記入台に帳票が置かれたことを検出すると、氏名または住所記入欄に対する記入を促すメッセージを表示部１０に表示させる。また、表示制御部２３１は、視線キャリブレーション指示を検出部２３２および受付部２３４に出力する。検出部２３２は、表示制御部２３１から視線キャリブレーション指示が入力されると、算出部２３５に検出した視線位置を出力する。また、受付部２３４は、表示制御部２３１から視線キャリブレーション指示が入力されると、ペン入力センサ１２から入力されたペン先位置を含む操作情報を算出部２３５に出力する。
　算出部２３５は、検出部２３２から視線位置が入力され、受付部２３４から操作情報が入力されると、視線位置と操作情報のペン先位置との差分に基づいて補正値を算出し（ステップＳ１１）、算出した補正値を検出部２３２に出力する。検出部２３２は、算出部２３５から入力される補正値を利用して、視線センサ１１から入力される撮像画像に基づくユーザの視線位置を補正する。検出部２３２は、視線キャリブレーションが完了すると、視線キャリブレーション完了情報を表示制御部２３１および受付部２３４に出力する。
　表示制御部２３１は、検出部２３２から視線キャリブレーション完了情報が入力されると、データ一覧を含む参照画面を表示部１０（記入台）に表示させる（ステップＳ１２）。表示制御部２３１は、データ一覧の第１の軸に参照領域ガイドを表示させる（ステップＳ１３）。表示制御部２３１は、データ一覧および参照領域ガイドを表示させると、検出部２３２にガイド領域情報および検出開始指示を出力する。
　検出部２３２は、表示制御部２３１からガイド領域情報および検出開始指示が入力されると、視線センサ１１から入力される撮像画像に基づいて、ユーザの視線を検出する。検出部２３２は、ガイド領域情報と、検出した視線の位置および移動方向とに基づいて、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する（ステップＳ１４）。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には（ステップＳ１４：肯定）、ガイド領域情報と、強調表示指示とを強調表示部２３３に出力する。
　強調表示部２３３は、検出部２３２からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部２３１に出力する。表示制御部２３１は、強調表示部２３３から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示する（ステップＳ１５）。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には（ステップＳ１４：否定）、ユーザの視線の検出を継続する。
　受付部２３４は、ペン入力センサ１２から入力されたペン先位置を含む操作情報に基づいて、第１キーデータを特定する特定操作を受け付ける（ステップＳ１６）。受付部２３４は、特定操作を受け付けると、第１キーデータを特定する特定情報を強調表示部２３３に出力する。強調表示部２３３は、受付部２３４から特定情報が入力されると、特定情報に基づいて、特定された第１キーデータについて特定表示情報を生成し、生成した特定表示情報を表示制御部２３１に出力する。表示制御部２３１は、強調表示部２３３から特定表示情報が入力されると、特定表示情報に応じて、特定された第１キーデータをハイライト表示する。
　また、検出部２３２は、受付部２３４から特定情報が入力されると、第一の状態を第２キーデータの領域に対応する第一の状態に変化させる。つまり、検出部２３２は、ガイド領域を第２キーデータの領域に変更する。検出部２３２は、ガイド領域の変更指示を表示制御部２３１に出力する。表示制御部２３１は、検出部２３２から変更指示が入力されると、データ一覧の第２の軸に参照領域ガイドを表示させる（ステップＳ１７）。
　検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出したか否かを判定する（ステップＳ１８）。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出した場合には（ステップＳ１８：肯定）、ガイド領域情報と、強調表示指示とを強調表示部２３３に出力する。
　強調表示部２３３は、検出部２３２からガイド領域情報と、強調表示指示とが入力されると、ガイド領域情報のガイド領域について強調表示を行う旨の強調表示情報を生成し、生成した強調表示情報を表示制御部２３１に出力する。表示制御部２３１は、強調表示部２３３から強調表示情報が入力されると、強調表示情報に応じて、ガイド領域を強調表示する（ステップＳ１９）。検出部２３２は、ガイド領域を探索する方向と異なる視線の移動方向を検出しない場合には（ステップＳ１８：否定）、ユーザの視線の検出を継続する。
　受付部２３４は、ペン入力センサ１２から入力されたペン先位置を含む操作情報に基づいて、第２キーデータを特定する特定操作を受け付ける（ステップＳ２０）。受付部２３４は、特定操作を受け付けると、第２キーデータを特定する特定情報を強調表示部２３３に出力する。強調表示部２３３は、受付部２３４から特定情報が入力されると、特定情報に基づいて、特定された第２キーデータについて特定表示情報を生成し、生成した特定表示情報を表示制御部２３１に出力する。表示制御部２３１は、強調表示部２３３から特定表示情報が入力されると、特定された第１キーデータと第２キーデータとの交点の欄をハイライト表示し（ステップＳ２１）、処理を終了する。これにより、作業支援システム２は、データ一覧から所望のデータを特定する作業を支援できる。
　このように、作業支援システム２は、表示したデータ一覧内のいずれかのデータに対する特定操作を受け付ける。また、作業支援システム２は、特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする第一の状態の内容を変化させる。その結果、データの項目順にガイドを表示して支援するので、より所望のデータを特定する作業を支援できる。
　また、作業支援システム２は、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出する。また、作業支援システム２は、算出した補正値を利用して、表示したデータ一覧に対する操作者の視線位置の移動方向を検出する。その結果、ユーザの視線位置および移動方向をより正確に検出できる。
　また、作業支援システム２では、操作者に対して視認可能な状態への強調表示と同期して、このシステムを設置した側（例えば店舗）にある他の情報処理装置および情報提示画面に操作者の状態の提示を可能とする。その結果、例えば専属の応対者がユーザに対して直接作業を支援できる。
　なお、上記各実施例では、参照するデータ一覧として２次元の一覧表を用いたが、これに限定されない。例えば、都道府県とそのコード番号の対応表のような１次元の表でもよいし、３次元以上の表であってもよい。
　また、上記各実施例では、参照するデータ一覧を１種類としたが、これに限定されない。例えば、複数のコード番号を帳票に記入する場合に、それぞれに対応するコード一覧表をデータ一覧として、複数のコード番号それぞれの記入時に表示するようにしてもよい。
　また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、検出部２３２と受付部２３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
　さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro　Controller　Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
　ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図９は、作業支援プログラムを実行するコンピュータの一例を示す図である。
　図９に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。また、各装置３０１～３０８は、バス３０９に接続される。
　ハードディスク装置３０８には、図１に示した表示制御部１３１、検出部１３２および強調表示部１３３の各処理部と同様の機能を有する作業支援プログラムが記憶される。また、ハードディスク装置３０８には、図６に示した表示制御部２３１、検出部２３２、強調表示部２３３、受付部２３４および算出部２３５の各処理部と同様の機能を有する作業支援プログラムが記憶されてもよい。また、ハードディスク装置３０８には、一覧表記憶部１２１、および、作業支援プログラムを実現するための各種データが記憶される。
　入力装置３０２は、例えば、図６に示したペン入力センサ１２と同様の機能を有し、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、図１に示した表示部１０と同様の機能を有し、ユーザに対して参照画面等の各種画面を表示する。インタフェース装置３０５は、例えば、図１または図６に示した視線センサ１１が接続される。通信装置３０６は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
　ＣＰＵ３０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した表示制御部１３１、検出部１３２および強調表示部１３３として機能させることができる。また、これらのプログラムは、コンピュータ３００を、図６に示した表示制御部２３１、検出部２３２、強調表示部２３３、受付部２３４および算出部２３５として機能させてもよい。
　なお、上記の作業支援プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal　Serial　Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの作業支援プログラムを記憶させておき、コンピュータ３００がこれらから作業支援プログラムを読み出して実行するようにしてもよい。
　１，２　作業支援システム
　１０　表示部
　１１　視線センサ
　１２　ペン入力センサ
　１００，２００　情報処理装置
　１２０　記憶部
　１２１　一覧表記憶部
　１３０　制御部
　１３１，２３１　表示制御部
　１３２，２３２　検出部
　１３３，２３３　強調表示部
　２３４　受付部
　２３５　算出部

Claims (18)

  1. 　所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示する表示制御部と、
    　表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出する検出部と、
    　検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる強調表示部と、
    　を有することを特徴とする作業支援システム。
  2. 　前記強調表示部は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項１に記載の作業支援システム。
  3. 　前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項２に記載の作業支援システム。
  4. 　さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付ける受付部を有し、
    　前記強調表示部は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    　ことを特徴とする請求項２または３に記載の作業支援システム。
  5. 　前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち１つ以上の表示である、ことを特徴とする請求項１に記載の作業支援システム。
  6. 　さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出する算出部を有し、
    　前記検出部は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    　ことを特徴とする請求項１に記載の作業支援システム。
  7. 　所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示し、
    　表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出し、
    　検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる、
    　処理をコンピュータが実行することを特徴とする作業支援方法。
  8. 　前記強調表示する領域を変化させる処理は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項７に記載の作業支援方法。
  9. 　前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項８に記載の作業支援方法。
  10. 　さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付け、
    　前記強調表示する領域を変化させる処理は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    　ことを特徴とする請求項８または９に記載の作業支援方法。
  11. 　前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち１つ以上の表示である、ことを特徴とする請求項７に記載の作業支援方法。
  12. 　さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出し、
    　前記検出する処理は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    　ことを特徴とする請求項７に記載の作業支援方法。
  13. 　所定の規則に従ってデータが配列されたデータ一覧を、操作者が視認可能な状態に表示し、
    　表示された前記データ一覧に対する前記操作者の視線位置の移動方向を検出し、
    　検出された前記移動方向が、所定の状態であるか否かに応じて、前記データ一覧内で強調表示する領域を変化させる、
    　処理をコンピュータに実行させることを特徴とする作業支援プログラム。
  14. 　前記強調表示する領域を変化させる処理は、前記視線位置の移動方向が、第一の状態である場合には強調表示を行わず、前記第一の状態とは異なる状態である場合には、前記データ一覧内で特定の領域を強調表示する、ことを特徴とする請求項１３に記載の作業支援プログラム。
  15. 　前記第一の状態は、前記データ一覧が従っている所定の規則に応じて決定される状態である、ことを特徴とする請求項１４に記載の作業支援プログラム。
  16. 　さらに、表示した前記データ一覧内のいずれかのデータに対する特定操作を受け付け、
    　前記強調表示する領域を変化させる処理は、前記特定操作を受け付けたことに応じて、強調表示する領域を変化させる際の判断基準とする前記第一の状態の内容を変化させる、
    　ことを特徴とする請求項１４または１５に記載の作業支援プログラム。
  17. 　前記強調表示は、前記データ一覧内の他の領域と比較して、輝度を上げる表示、輝度を周期的に変化させる表示、色彩を変化させる表示、および、枠囲みの枠の太さを変化させる表示のうち１つ以上の表示である、ことを特徴とする請求項１３に記載の作業支援プログラム。
  18. 　さらに、氏名または住所記入欄に対する前記操作者による記入を促し、該記入欄への前記操作者による記入操作が行われている間のペン先位置と、視線位置との関係に基づいて、前記操作者個人の視線位置検出のための補正値を算出し、
    　前記検出する処理は、算出した前記補正値を利用して、表示した前記データ一覧に対する前記操作者の前記視線位置の移動方向を検出する、
    　ことを特徴とする請求項１３に記載の作業支援プログラム。
PCT/JP2015/079473 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム WO2017068634A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017546300A JP6460255B2 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム
PCT/JP2015/079473 WO2017068634A1 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム
US15/935,566 US11073905B2 (en) 2015-10-19 2018-03-26 Work assistance system, work assistance method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079473 WO2017068634A1 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/935,566 Continuation US11073905B2 (en) 2015-10-19 2018-03-26 Work assistance system, work assistance method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2017068634A1 true WO2017068634A1 (ja) 2017-04-27

Family

ID=58558228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079473 WO2017068634A1 (ja) 2015-10-19 2015-10-19 作業支援システム、作業支援方法および作業支援プログラム

Country Status (3)

Country Link
US (1) US11073905B2 (ja)
JP (1) JP6460255B2 (ja)
WO (1) WO2017068634A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JP2022510793A (ja) * 2018-12-14 2022-01-28 バルブ コーポレーション ビデオゲーム状態を動的に制御するためのプレイヤーバイオフィードバック
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190121758A (ko) * 2017-02-27 2019-10-28 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN108520728B (zh) * 2018-04-20 2020-08-04 京东方科技集团股份有限公司 背光调节方法、装置、计算设备、显示设备和存储介质
GB2597533B (en) * 2020-07-28 2022-11-23 Sony Interactive Entertainment Inc Gaze tracking system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131599A (ja) * 1998-10-26 2000-05-12 Canon Inc 視線選択機能を有する装置およびカメラ
JP2013008369A (ja) * 2011-06-24 2013-01-10 Sony Corp ユーザインターフェイス及びコンテンツ統合
JP2013196158A (ja) * 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
JP2015005056A (ja) * 2013-06-19 2015-01-08 船井電機株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015069487A (ja) * 2013-09-30 2015-04-13 京セラ株式会社 電子機器、方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456740B1 (en) * 1999-07-26 2002-09-24 International Business Machines Corporation System and method for identifying form type in a handwriting recognition based form completion system
JP2005309633A (ja) 2004-04-20 2005-11-04 Dainippon Printing Co Ltd データ入力支援方法
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8112701B2 (en) * 2007-08-06 2012-02-07 Apple Inc. Reference adding behavior in formula editing mode
JP5705060B2 (ja) 2011-08-03 2015-04-22 株式会社三菱東京Ｕｆｊ銀行 入力支援装置の表示装置、入力支援装置、入力支援装置における情報表示方法、入力支援装置における情報表示プログラム
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2015069787A (ja) 2013-09-27 2015-04-13 矢崎総業株式会社 コネクタ
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration
US20180004288A1 (en) * 2015-01-29 2018-01-04 Kyocera Corporation Electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131599A (ja) * 1998-10-26 2000-05-12 Canon Inc 視線選択機能を有する装置およびカメラ
JP2013008369A (ja) * 2011-06-24 2013-01-10 Sony Corp ユーザインターフェイス及びコンテンツ統合
JP2013196158A (ja) * 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
JP2015005056A (ja) * 2013-06-19 2015-01-08 船井電機株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015069487A (ja) * 2013-09-30 2015-04-13 京セラ株式会社 電子機器、方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JPWO2019026130A1 (ja) * 2017-07-31 2020-02-27 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JP2022510793A (ja) * 2018-12-14 2022-01-28 バルブ コーポレーション ビデオゲーム状態を動的に制御するためのプレイヤーバイオフィードバック
JP7516371B2 (ja) 2018-12-14 2024-07-16 バルブ コーポレーション ビデオゲームデバイス
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US11073905B2 (en) 2021-07-27
US20180210548A1 (en) 2018-07-26
JP6460255B2 (ja) 2019-01-30
JPWO2017068634A1 (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
JP6460255B2 (ja) 作業支援システム、作業支援方法および作業支援プログラム
US10180831B2 (en) Terminal device for downloading and installing an application and method thereof
TWI611338B (zh) 縮放螢幕畫面的方法、電子裝置及電腦程式產品
US10444951B2 (en) Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device
US20160283054A1 (en) Map information display device, map information display method, and map information display program
CN103597438B (zh) 信息处理终端及方法和记录介质
EP3188034A1 (en) Display terminal-based data processing method
CN106201166A (zh) 一种分屏显示方法及终端
KR20140039209A (ko) 빠른 사이트 액세스 사용자 인터페이스를 갖춘 웹 브라우저
JP6153710B2 (ja) 帳票入出力装置、帳票入出力方法、および、プログラム
US20150286356A1 (en) Method, apparatus, and terminal device for controlling display of application interface
CN102681772A (zh) 输入处理设备、输入处理方法和程序
US20140317541A1 (en) Electronic device having touch screen and method for zooming in
US20130222241A1 (en) Apparatus and method for managing motion recognition operation
EP2642377A1 (en) Handheld device and homescreen management method thereof
US9372558B2 (en) Setting vibration portions in pieces of electronic data that are displayable on a display device
CN112667212A (zh) 埋点数据可视化方法、装置、终端和存储介质
CN110417984B (zh) 一种在屏幕异形区域实现操作的方法、装置及存储介质
JP5753642B1 (ja) 入力装置、フォーム入力方法、記録媒体およびプログラム
US9971413B2 (en) Positioning method and apparatus
JPWO2018179552A1 (ja) タッチパネル装置を備えた分析装置、その表示制御方法、及びプログラム
CN107967091B (zh) 一种人机交互方法及用于人机交互的计算设备
US10838610B2 (en) Graphical user interface control device and method for controlling graphical user interface
US10481778B2 (en) Display device
JP2017146939A (ja) 画像表示装置、表示制御方法および表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15906641

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017546300

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15906641

Country of ref document: EP

Kind code of ref document: A1