WO2019044346A1 - 作業支援システム - Google Patents

作業支援システム Download PDF

Info

Publication number
WO2019044346A1
WO2019044346A1 PCT/JP2018/028922 JP2018028922W WO2019044346A1 WO 2019044346 A1 WO2019044346 A1 WO 2019044346A1 JP 2018028922 W JP2018028922 W JP 2018028922W WO 2019044346 A1 WO2019044346 A1 WO 2019044346A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
worker
processing device
display
Prior art date
Application number
PCT/JP2018/028922
Other languages
English (en)
French (fr)
Inventor
洋一郎 安部
Original Assignee
株式会社イシダ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社イシダ filed Critical 株式会社イシダ
Priority to US16/641,097 priority Critical patent/US20200258305A1/en
Priority to EP18849739.0A priority patent/EP3677973A4/en
Priority to CN201880055627.3A priority patent/CN111052017A/zh
Publication of WO2019044346A1 publication Critical patent/WO2019044346A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • One aspect of the present disclosure relates to a work support system.
  • Patent Document 1 discloses a work support system for displaying additional information such as work explanation information for a work target via an eyeglass-type video display unit disposed in front of the worker's eyes and covering the view of the worker. It is done.
  • an aspect of the present disclosure is to provide a work support system capable of improving the work efficiency of a worker.
  • a work support system is a work support system that supports a worker who works in a factory where a production line formed by a plurality of processing devices is deployed, and has portability, and a worker
  • the display control unit displays information on the processing devices recognized by the recognition unit, and the processing devices recognized by the recognition unit are two. If it is determined that the number is greater than one, information on a production line including the processing device recognized by the recognition unit is displayed on the display unit.
  • the user visually recognizes the one processing device, and in a situation where the worker wants to obtain information on the entire production line, a plurality of processes
  • the state of the operator (whether one processor is in the state of visual recognition or a plurality of processors is in the state of visual recognition) based on an assumption that the apparatus will be viewed According to the contents of the information to be displayed on the display unit.
  • the display control unit recognizes by the recognition unit The display unit displays information on the processed processing device.
  • the processing devices recognized by the recognition unit are included. Display information on the production line on the display unit.
  • information to be provided to the worker information on the processing device or information on the production line
  • the work efficiency of the worker can be improved.
  • the display control unit may cause the display unit to display information on a production line when it is determined that the number of processing devices recognized by the recognition unit is zero.
  • the display control unit may cause the display unit to display information on a production line when it is determined that the number of processing devices recognized by the recognition unit is zero.
  • the display unit may superimpose and display the real space in the factory and the information on the processing apparatus or the information on the production line.
  • the information related to the processing device or production line is displayed in a state of being superimposed on the real space (for example, one processing device) in the factory. The information can be intuitively understood by the operator.
  • the work support system further includes an imaging unit having portability and imaging an actual space in a factory, and the recognition unit allows a worker to visually recognize based on an image imaged by the imaging unit. It is possible to recognize processing devices that are considered to be In the work support system of this configuration, the recognition unit can easily recognize the processing device considered to be visually recognized by the worker.
  • each processing device is provided with an identification unit, and the recognition unit recognizes the processing device based on the identification unit included in the image captured by the imaging unit. You may In the work support system of this configuration, the recognition unit can more easily recognize the processing device considered to be visually recognized by the worker.
  • a storage unit that stores position information and identification information of a processing device in association with each other, and a position information acquisition unit that has portability and acquires the position of an operator Further, the recognition unit may recognize the processing device by extracting identification information of the processing device associated with the position information matching the position of the worker from the storage unit. In the work support system of this configuration, it is possible to easily recognize the processing device considered to be visually recognized by the worker.
  • the work support system further includes a direction specifying unit having portability and specifying a direction that the operator is considered to be viewing, and the storage unit includes position information, direction information, and processing.
  • the recognition unit stores the identification information of the device in association with the identification information of the processing device, and the recognition unit identifies the position information and direction information associated with the position of the worker from the storage unit and the direction considered to be recognized by the worker.
  • the processor may be recognized by the extraction of information. In the work support system of this configuration, it is possible to accurately recognize the processing device considered to be visually recognized by the worker.
  • the display control unit may maintain the state for a predetermined time when the display content of the display unit is changed.
  • the work support system of this configuration can prevent the displayed information from being switched continuously in a short time.
  • the work support system further includes a switching unit that switches whether to display information on the processing device on the display unit or to display information on the production line on the basis of the operation of the worker. May be In the work support system of this configuration, the information desired by the worker can be displayed on the display unit by its own operation.
  • the work efficiency of the worker can be improved.
  • FIG. 1 is a diagram showing the configuration of a work support system according to an embodiment.
  • FIG. 2 is a perspective view showing an entire production line deployed in a factory where the operation support system of FIG. 1 is used.
  • FIG. 3 is a front view showing a production line deployed in a factory where the operation support system of FIG. 1 is used.
  • FIG. 4 is a diagram showing an example of a screen displaying information managed by the management server.
  • FIG. 5 is a view of the combination weighing device of FIG. 3 as viewed from below through a mount head display.
  • FIG. 6 is a view of the bag manufacturing and packaging apparatus, the seal inspection apparatus, and the X-ray inspection apparatus of FIG. 4 as viewed from the front through a mount head display.
  • FIG. 5 is a view of the combination weighing device of FIG. 3 as viewed from below through a mount head display.
  • FIG. 6 is a view of the bag manufacturing and packaging apparatus, the seal inspection apparatus, and the X-ray inspection apparatus of FIG. 4 as
  • FIG. 7A is a view showing a display example of information on the combination weighing device
  • FIG. 7B is a view showing a display example of information on a production line.
  • FIG. 8 is a front view showing a production line and a transmitter installed in a factory where a work support system according to a modification is used.
  • FIG. 9 is a front view showing a PC tablet including a display unit according to a modification.
  • the work support system 1 of the present embodiment is a system for supporting a worker who works in a factory where a plurality of processing apparatuses are deployed.
  • a transport device 35 as a processing device, a combination weighing device 40, a bag making and packaging device 70, a seal inspection device 75, an X-ray inspection device 80, a metal detector 85, a weight inspection
  • the work support system 1 used in a factory where a production line (see FIG. 3) 30 including the apparatus 90 and the box packing apparatus 95 is provided in three lines (L1 to L3) will be described as an example.
  • the conveying device 35 is a device that conveys the articles from the supply unit to the combination weighing device 40 and supplies the articles to the input chute of the combination weighing device 40.
  • the combination weighing device 40 is a device that weighs the articles to a predetermined weight.
  • the bag making and packaging apparatus 70 is an apparatus for packaging an item weighed by the combination weighing device 40 while making a bag for packaging an item.
  • the seal inspection apparatus 75 is an apparatus for detecting an abnormality of the bag made and packaged by the bag making and packaging apparatus 70.
  • the X-ray inspection apparatus 80 is an apparatus for inspecting the state of an article contained in a bag or the presence or absence of a foreign substance.
  • the metal detector 85 is a device for inspecting the presence or absence of metal contamination in an article contained in a bag.
  • the weight inspection device 90 is a device that inspects the weight of the item in which the item is contained.
  • the box packing apparatus 95 is an apparatus for packing goods into a cardboard box.
  • an identification unit 9 is provided in each of the processing devices constituting the production line 30.
  • the identification unit 9 is, for example, a two-dimensional code in which information for identifying each component is embedded.
  • the work support system 1 includes a portable glasses-type head mounted display (hereinafter, referred to as “HMD”) 10 and a management server 20.
  • the HMD 10 includes a display unit 11, an imaging unit 15, an input unit 16, and a communication unit 17.
  • the display unit 11 displays information to be provided to the worker.
  • the display unit 11 superimposes and displays (superimposed display) the real space in the factory and the information provided to the worker.
  • the real space in the factory and the information on the processing apparatus or the information on the production line 30 are displayed in an overlapping manner.
  • the superimposed display on the display unit 11 is realized, for example, by configuring the display unit 11 with a half mirror or projecting an image captured by the imaging unit 15 on the display unit 11.
  • the imaging unit 15 images the real space in the factory.
  • the imaging unit 15 is provided such that the real space visually recognized by the worker wearing the HMD 10 substantially matches the real space imaged by the imaging unit 15. That is, the imaging unit 15 is a field-of-view synchronization camera that captures an image of a front view in the direction of the worker's line of sight.
  • the imaging unit 15 causes the display unit 11 to display the captured data. Further, the imaging unit 15 transmits the imaged data to the management server 20.
  • the input unit 16 has keys for selecting upper, lower, left, and right, and keys for determining an input.
  • the operator can operate the input unit 16 to select a menu displayed on the display unit 11 or confirm the menu.
  • the input unit 16 according to the present embodiment includes information on the processing apparatus described in detail at a later stage (see FIG. 7A) and information on a production line 30 described in detail at a later stage (see FIG. 7A). It functions as a second switching unit that switches between FIG. 7 (B)).
  • the communication unit 17 is an interface for exchanging data with the management server 20. Communication with the management server 20 may be wireless or wired.
  • the management server 20 includes a main processing unit such as a central processing unit (CPU), a random access memory (RAM) and a read only memory (ROM), an auxiliary storage unit exemplified by a hard disk and a flash memory, and an input such as a keyboard and a mouse. It is configured as a computer system including an output unit such as a unit and a display screen.
  • the management server 20 includes a communication unit 21, a recognition unit 22, and a display control unit 23. Each function in the recognition unit 22 and the display control unit 23, which will be described in detail later, is executed under control of the CPU by reading predetermined computer software on hardware such as the CPU and the main storage unit.
  • the management server 20 includes the transport device 35, the combination weighing device 40, the bag manufacturing and packaging device 70, the seal inspection device 75, the X-ray inspection device 80, the metal detector 85, the weight inspection device 90, and the boxing device 95; Communication is connected via the communication unit 21.
  • the management server 20 and each processing device may be connected wirelessly or wired.
  • the management server 20 is communicably connected to the HMD 10 via the communication unit 21.
  • the management server 20 monitors the operation of various devices that constitute the production line 30.
  • the management server 20 monitors, for example, the state (status) of each processing device, the handling method, and the remaining time until the next status is reached, based on the information transmitted from each processing device, or Monitor the operation rate, and monitor the total operation rate of all production lines.
  • the management server 20 may display the monitoring information on the display screen of the management server 20 as the monitoring information screen 7 as shown in FIG. 4, for example.
  • the monitoring information screen 7 has, for example, a state (status) for each processing apparatus, a coping method, a portion 7A displaying the remaining time until the next status is reached, an operation rate for each production line, or an operation rate for all production lines. And the like may be provided.
  • the recognition unit 22 recognizes a processing device considered to be visually recognized by the worker.
  • the recognition unit 22 recognizes a processing device considered to be visually recognized by the operator based on the real space imaged by the imaging unit 15 of the HMD 10. That is, the worker visually recognizes the identification unit 9 provided in the processing apparatus from the real space imaged by the imaging unit 15 of the HMD 10 and acquiring the information embedded in the extracted identification unit 9 Recognize the processor considered to be As a result, the recognition unit 22 can acquire the type, the number, and the like of the processing devices considered to be recognized by the worker.
  • the real space imaged by the imaging unit 15 of the HMD 10 is in synchronization with the real space visually recognized by the operator wearing the HMD 10.
  • the display control unit 23 controls the content of the information displayed on the display unit 11 of the HMD 10.
  • the display control unit 23 is recognized by the recognition unit 22 when it is determined that the number of processing devices considered to be visually recognized by the worker is one based on the recognition status of the processing device by the recognition unit 22.
  • Information related to the processing apparatus is displayed, and when it is determined that there are two or more processing apparatuses considered to be visually recognized by the operator, the production line 30 including the processing apparatus recognized by the recognition unit 22 Display information.
  • An example of the information related to the processing device is, for example, information managed by the above-mentioned management server 20, and the processing device information display screen 12A (FIG. 7A (A) ) Is included. That is, information on each processing device managed by the management server 20 can be viewed through the display unit 11 of the HMD 10.
  • Examples of the information on the production line 30 are the information managed by the management server 20 described above, and the status (status) of each processing device, the handling method, the remaining time until the next status is reached, the operation of each production line A production line information display screen 12B (see FIG. 7B) is displayed which displays information on the rate or the operation rate of all production line totals. That is, information on the production line 30 managed by the management server 20 can be viewed through the display unit 11 of the HMD 10.
  • the display control unit 23 determines the number of processing devices considered to be visually recognized by the operator based on the information such as the type or the number of processing devices recognized by the recognition unit 22. For example, when the recognition unit 22 recognizes the combination weighing device 40 and the form-fill-seal device 70, the display control unit 23 may determine that there are two processing devices considered to be visually recognized by the worker. it can. For example, when the recognition unit 22 recognizes two processing devices, the display control unit 23 uses the information as it is to determine that there are two processing devices considered to be visually recognized by the worker. Can.
  • the display control unit 23 when it is determined that the number of processing devices considered to be visually recognized by the worker is 0 based on the recognition status of the processing devices by the recognition unit 22, the display control unit 23 according to the present embodiment Display information about 30. When the display content in the display unit 11 is changed, the display control unit 23 maintains the state for a predetermined time.
  • the combination weighing device 40 imaged from below the gantry 65 is displayed on the display unit 11 of the HMD 10.
  • the operator can view the combination weighing device 40 through the display unit 11 of the HMD 10 as viewed from the bottom of the mount 65 in the same manner as in the real space.
  • the imaging unit 15 transmits, to the management server 20, data of the combination weighing device 40 captured from the bottom of the gantry 65.
  • the recognition unit 22 recognizes, based on the data transmitted from the imaging unit 15, a processing device considered to be visually recognized by the worker. In the present embodiment, the recognition unit 22 extracts the identification unit 9 added to the combination weighing device 40 from the data to be transmitted, and the combined weighing device 40 in which the imaged processing device is disposed in the production line L1. Recognize that it is.
  • the display control unit 23 has one processing device considered to be visually recognized by the operator based on the information that the processing device recognized by the recognition unit 22 is the combination weighing device 40 deployed on the production line L1. It is determined that Next, since the display control unit 23 determines that the number of processing devices considered to be visually recognized by the worker is one, the processing device information display screen 12A (FIG. 5 and FIG. FIG. 7A is displayed on the display unit 11.
  • the processing speed, target speed, target weight, upper limit value, average weight and the like of the combination weighing device 40 are displayed. Further, the amount of information displayed on the display unit 11 at one time is fixed. The operator can scroll the information displayed on the display unit 11 by operating keys for selecting the upper, lower, left, and right of the input unit 16 respectively.
  • the display packaging unit 11 of the HMD 10 includes the bag manufacturing and packaging apparatus 70, the seal inspection apparatus 75, and the X-ray inspection apparatus 80. Is displayed. The operator can view the same bag manufacturing and packaging apparatus 70, the seal inspection apparatus 75, and the X-ray inspection apparatus 80 as in the real space through the display unit 11 of the HMD 10.
  • the imaging unit 15 transmits, to the management server 20, data obtained by imaging the bag manufacturing and packaging apparatus 70, the seal inspection apparatus 75, and the X-ray inspection apparatus 80.
  • the recognition unit 22 recognizes, based on the data transmitted from the imaging unit 15, a processing device considered to be visually recognized by the worker. In the present embodiment, the recognition unit 22 extracts the identification unit 9 added to each of the bag manufacturing and packaging device 70, the seal inspection device 75, and the X-ray inspection device 80 from the data to be transmitted and imaged. It is recognized that the processing apparatus is the bag manufacturing and packaging apparatus 70, the seal inspection apparatus 75, and the X-ray inspection apparatus 80 disposed in the production line L1.
  • the display control unit 23 is a worker based on the information that the processing device recognized by the recognition unit 22 is the bag manufacturing and packaging device 70 disposed on the production line L1, the seal inspection device 75, and the X-ray inspection device 80. It is determined that there are three processing devices considered to be visually recognized. Next, the display control unit 23 determines that there are two or more processing devices considered to be visually recognized by the worker, so the bag making and packaging device 70, the seal inspection device 75, and the X-ray inspection device 80
  • the production line information display screen 12B (see FIG. 6 and FIG. 7B) is displayed on the display unit 11 as information on the production line 30 including the above.
  • the production line information display screen 12B As well as the processing device information display screen 12A, the operator operates keys for selecting the upper, lower, left, and right of the input unit 16 to scroll the information displayed on the display unit 11 be able to.
  • FIG. 6 a case where an operator wearing the HMD 10 visually recognizes, for example, the ceiling 151 of a factory other than the processing apparatus will be described. Since the real space visually recognized by the worker and the real space imaged by the imaging unit 15 substantially coincide with each other, the ceiling 151 of the factory is displayed on the display unit 11 of the HMD 10. The operator can view the ceiling 151 of the same factory as the real space through the display unit 11 of the HMD 10.
  • the imaging unit 15 transmits data obtained by imaging the ceiling 151 of the factory to the management server 20.
  • the recognition unit 22 recognizes, based on the data transmitted from the imaging unit 15, a processing device considered to be visually recognized by the worker. In the present embodiment, the recognition unit 22 recognizes that the identification unit 9 is not included in the transmitted data.
  • the display control unit 23 determines that there are no processing devices considered to be visually recognized by the worker based on the information that there is no processing device recognized by the recognition unit 22. Next, since the display control unit 23 determines that the number of processing devices considered to be visually recognized by the worker is zero, the above-described production line information display screen 12B (FIG. 6 and FIG. FIG. 7B is displayed on the display unit 11.
  • the information on the production line 30 displayed here is information on all the production lines L1 to L3.
  • the display control unit 23 causes the display unit 11 to display the processing device information display screen 12A or the production line information display screen 12B based on the processing device considered to be viewed by the worker. Even in this case, the operator may want to see the other screen different from the screen displayed on the display unit 11. For example, after the processing device information display screen 12A is displayed, it is desired to look at the production line information display screen 12B in order to confirm the state of the production line 30. In this case, the operator can switch from the processing device information display screen 12A to the production line information display screen 12B by operating the input unit 16 of the HMD 10. That is, information desired by the operator can be displayed on the display unit 11. In addition, when the display content of the display unit 11 is changed, the display control unit 23 maintains the state for a predetermined time (for example, 5 seconds). This can prevent the displayed information from being switched continuously in a short time.
  • a predetermined time for example, 5 seconds
  • the operation and effect of the work support system 1 of the above embodiment will be described.
  • the number of processing devices considered to be visually recognized by the worker is one by the display control unit 23 based on the recognition status of the processing devices by the recognition unit 22.
  • the production line information display screen 12B is displayed as
  • information to be provided to the worker (information on the processing device or information on the production line) can be provided at an appropriate timing based on the state of the worker. As a result, the work efficiency of the worker can be improved.
  • the display control unit 23 determines that the number of processing devices considered to be visually recognized by the worker is zero based on the processing devices recognized by the recognition unit 22. Information on is displayed. For this reason, when the worker wants to see the information on the production line 30, it is possible to easily see the information on the production line 30 by an operation of looking up.
  • the display unit 11 of the HMD 10 superimposes and displays the real space in the factory with the processing device information display screen 12A or the production line information display screen 12B. For this reason, the processing device information display screen 12A or the production line information display screen 12B is displayed in a state of being superimposed on the actual space (for example, one combination weighing device 40) in the factory. The operator can intuitively understand what kind of information the information is.
  • the image capturing unit 15 having portability and capturing an image of a real space in a factory is further provided, and the recognition unit 22 recognizes that the worker visually recognizes the image captured by the image capturing unit 15. It recognizes possible processing devices. For this reason, the recognition unit 22 can easily recognize the processing device considered to be visually recognized by the worker.
  • the identification unit 9 is provided in each of the processing devices, and the recognition unit 22 recognizes the processing device based on the identification unit 9 included in the image captured by the imaging unit 15. . For this reason, it is possible to cause the recognition unit 22 to more easily recognize the processing device considered to be visually recognized by the operator.
  • the identification unit 9 is attached to each processing device, and the recognition unit 22 extracts the identification unit 9 from the data captured by the imaging unit 15 to recognize the processing device.
  • the recognition of the processing device may be performed by, for example, matching of data captured by the imaging unit 15, that is, an image. That is, the identification may be performed by a method of matching the captured image with the image stored in advance for each processing device.
  • the recognition unit 22 has been described by way of an example in which the processing device is recognized using data captured by the imaging unit 15, but the present invention is not limited thereto. That is, even in the configuration in which the imaging unit 15 is not provided, the recognition unit 22 can recognize the processing device considered to be visually recognized by the worker. An example will be described below.
  • the work support system 1 associates the position information with the identification information of the processing device as shown in FIG. And a position information acquisition unit 18 having portability and acquiring the position of the worker.
  • An example of the position information acquisition unit 18 is GPS (Global Positioning System).
  • GPS Global Positioning System
  • the recognition unit 22 extracts the identification information of the processing device associated with the position information that matches the position of the worker from the storage unit 24, and recognizes the processing device based on the extracted identification information.
  • the processing apparatus that is considered to be visually recognized by the operator
  • the number of processing devices considered to be recognized can be easily determined.
  • the GPS mounted on the HMD 10 is described as an example of the position information acquisition unit 18, but the present invention is not limited to this.
  • the positioning system includes a transmitter 153 (see FIG. 8) and a receiver as the position information acquisition unit 18 mounted on the HMD 10.
  • the transmitter 153 transmits a wireless signal receivable by the HMD 10. Examples of the wireless signal include a BLE (Bluetooth (registered trademark) Low Energy) signal, an optical BLE signal, a WiFi (Wireless Fidelity) (registered trademark) signal, an optical wireless signal, and the like.
  • the transmitter 153 is previously installed in a range where the HMD 10 can receive a wireless signal. As shown in FIG. 8, for example, it is installed on a ceiling 151 or a pillar of a factory.
  • the radio signal transmitted by the transmitter 153 includes information uniquely identifying the transmitter 153 and information indicating the reception strength of the signal. As information for uniquely identifying the transmitter 153, a MAC address or the like set in advance for each transmitter 153 can be used. Also, as information indicating the reception strength of a signal, for example, a received signal strength indication indicator (RSSI) can be used. At each position in the factory, the reception intensity indicating the reception intensity of the wireless signal from each transmitter 153 is measured in advance, and the measured information is stored in the storage unit 24 (see FIG. 1). Therefore, if the position information acquisition unit 18 mounted with the HMD 10 can acquire the MAC address and the reception strength of the transmitter 153 in the factory, the location in the factory can be specified.
  • RSSI received signal strength indication indicator
  • the processing device considered to be visually recognized by the operator is easy The number of processing devices considered to be recognized can be easily determined.
  • receiving a radio signal continuously and alternately from each adjacent transmitter 153 may occur (what is called a chattering phenomenon). In this case, even if the HMD 10 remains at the same position, it is identified that the position has changed in a short time.
  • the display control unit 23 is effective to maintain the state for a predetermined time (for example, 5 seconds). This can prevent the displayed information from being switched continuously in a short time.
  • a direction specifying unit 19 may be further provided, which has portability and specifies a direction considered to be viewed by the operator.
  • An example of the direction identification unit 19 is an electronic compass.
  • the direction identification unit 19 is provided so that the direction visually recognized by the operator wearing the HMD 10 substantially matches the direction acquired by the direction identification unit 19. That is, the direction identification unit 19 acquires the direction in the gaze direction of the worker.
  • the direction identification unit 19 transmits the captured data to the management server 20.
  • the storage unit 24 associates and stores the position information, the direction information, and the identification information of the processing device, and the recognition unit 22 is considered to be the position of the worker and the worker visually recognizing from the storage unit 24.
  • the identification information of the processing device associated with the position information and the direction information that match the direction can be extracted, and the processing device can be recognized based on the extracted identification information.
  • the worker wearing the HMD 10 when the position of the worker wearing the HMD 10 is associated with the processing device considered to be visually recognized by the worker, the worker visually recognizes with a predetermined accuracy. It can be considered that a processing device considered to be However, even if it is located at a predetermined position, the direction which the operator visually recognizes can not be specified exactly. In this respect, in the work support system 1 according to the modification 4, since the direction in the gaze direction of the worker can be acquired, the direction in which the worker is visually recognizing can be acquired with high accuracy.
  • ⁇ Modification 5> In the above embodiment or modification, an example in which a portable glasses-type HMD 10 is adopted as an apparatus including the display unit 11 and the imaging unit 15 has been described.
  • the tablet PC 110 may include the display unit 111 and the imaging unit 115. Also in this case, since the image displayed on the display unit 111 via the imaging unit 115 can be matched with the image visually recognized by the operator, the same effect as that of the above embodiment can be obtained. However, in the tablet PC 110, while the worker must hold by hand, the hand of the worker becomes free in the HMD 10 which is one of the wearable terminals. For this reason, when using HMD10, it is excellent in workability.
  • the processing device information display screen 12A related to the combination weighing device 40 has been described by way of example on the display unit 11.
  • the processing device other than the combination weighing device 40 ie, the transport device 35 Even if the processing unit information display screen related to the bag manufacturing and packaging apparatus 70, the seal inspection apparatus 75, the X-ray inspection apparatus 80, the metal detector 85, the weight inspection apparatus 90, and the packing apparatus 95 is displayed on the display unit 11. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Abstract

可搬性を有し、作業者に提供する情報を表示する表示部（１１）と、作業者が視認していると考えられる処理装置を認識する認識部（２２）と、表示部に表示される情報の内容を制御する表示制御部（２３）と、を備え、表示制御部は、認識部によって認識される処理装置が１台であると判定される場合には、認識部によって認識された処理装置に関する情報を表示させ、認識部によって認識される処理装置が２台以上であると判定される場合には、認識部によって認識された処理装置を含む生産ライン（３０）に関する情報を表示部に表示させる。

Description

作業支援システム
　本開示の一側面は、作業支援システムに関する。
　ＡＲ（Augmented　Reality：拡張現実）を用いて、工場内等の作業者の作業を支援する作業支援システムが知られている。例えば、特許文献１には、作業者の眼前に配置され、作業者の視界を覆う眼鏡型の映像表示部を介して、作業対象に対する作業説明情報等の付加情報を表示させる作業支援システムが開示されている。
特開２０１６－２０８３３１号公報
　このようなシステムでは、様々な情報を作業者に提供することができる。しかしながら、作業者の作業効率を向上させるためには、様々な点で改良の余地がある。
　そこで、本開示の一側面は、作業者の作業効率を向上させることができる作業支援システムを提供することを目的とする。
　本開示の一側面に係る作業支援システムは、複数の処理装置によって形成される生産ラインが配備された工場で作業する作業者を支援する作業支援システムであって、可搬性を有し、作業者に提供する情報を表示する表示部と、作業者が視認していると考えられる処理装置を認識する認識部と、表示部に表示される情報の内容を制御する表示制御部と、を備え、表示制御部は、認識部によって認識される処理装置が１台であると判定される場合には、認識部によって認識された処理装置に関する情報を表示させ、認識部によって認識される処理装置が２台以上であると判定される場合には、認識部によって認識された処理装置を含む生産ラインに関する情報を表示部に表示させる。
　この構成の作業支援システムでは、作業者が一台の処理装置に関する情報を入手したい状況では当該一台の処理装置を視認し、作業者が生産ライン全体に関する情報を入手したい状況では複数台の処理装置を視認しているであろうという推測に基づいて、作業者の状態（１台の処理装置を視認している状態であるか又は複数台の処理装置を視認している状態であるか）に応じて、表示部に表示させる情報の内容を変えている。具体的には、認識部によって認識される処理装置の台数が１台であるとき（作業者が１台の処理装置を視認している状態であるとき）、表示制御部は、認識部によって認識された処理装置に関する情報を表示部に表示させる。一方、認識部によって認識される処理装置の台数が２台以上であるとき（作業者が２台以上の処理装置を視認している状態であるとき）、認識部によって認識された処理装置を含む生産ラインに関する情報を表示部に表示させる。これにより、作業者に提供する情報（処理装置に関する情報又は生産ラインに関する情報）を、作業者の状態に基づいて適切なタイミングで提供することができる。この結果、作業者の作業効率を向上させることができる。
　本開示の一側面に係る作業支援システムでは、表示制御部は、認識部によって認識される処理装置が０台と判定される場合には、生産ラインに関する情報を表示部に表示させてもよい。この構成の作業支援システムでは、作業者が生産ラインに関する情報を見たいときには、例えば鉛直方向上方を見るといった動作によって、容易に生産ラインに関する情報を見ることができる。
　本開示の一側面に係る作業支援システムでは、表示部は、工場内の実空間と、処理装置に関する情報又は生産ラインに関する情報と、を重ね合わせて表示させてもよい。この構成の作業支援システムでは、処理装置又は生産ラインに関する情報が、工場内の実空間（例えば、一の処理装置）と重ね合わされた状態で表示されるので、表示部に表示される情報が何の情報であるかを、作業者に対し直感的に理解させることができる。
　本開示の一側面に係る作業支援システムでは、可搬性を有し、工場内の実空間を撮像する撮像部を更に備え、認識部は、撮像部によって撮像された画像に基づいて作業者が視認していると考えられる処理装置を認識してもよい。この構成の作業支援システムでは、認識部に作業者が視認していると考えられる処理装置を容易に認識させることができる。
　本開示の一側面に係る作業支援システムでは、処理装置のそれぞれには、識別部が設けられており、認識部は、撮像部によって撮像された画像に含まれる識別部に基づいて処理装置を認識してもよい。この構成の作業支援システムでは、認識部に作業者が視認していると考えられる処理装置を更に容易に認識させることができる。
　本開示の一側面に係る作業支援システムでは、位置情報と処理装置の識別情報とを関連付けて記憶する記憶部と、可搬性を有し、作業者の位置を取得する位置情報取得部と、を更に備え、認識部は、記憶部から作業者の位置と一致する位置情報に関連付けられた処理装置の識別情報の抽出によって処理装置を認識してもよい。この構成の作業支援システムでは、作業者が視認していると考えられる処理装置を容易に認識することができる。
　本開示の一側面に係る作業支援システムでは、可搬性を有し、作業者が視認していると考えられる方向を特定する方向特定部を更に備え、記憶部は、位置情報と方向情報と処理装置の識別情報とを関連付けて記憶し、認識部は、記憶部から作業者の位置及び作業者が視認していると考えられる方向と一致する位置情報及び方向情報に関連付けられた処理装置の識別情報の抽出によって処理装置を認識してもよい。この構成の作業支援システムでは、作業者が視認していると考えられる処理装置を精度高く認識することができる。
　本開示の一側面に係る作業支援システムでは、表示制御部は、表示部の表示内容を変更すると、所定時間その状態を維持してもよい。この構成の作業支援システムでは、表示される情報が短い時間で連続的に切り替わることを防止できる。
　本開示の一側面に係る作業支援システムは、作業者の操作に基づいて、処理装置に関する情報を表示部に表示させるか、生産ラインに関する情報を表示部に表示させるかを切り替える切替部を更に備えてもよい。この構成の作業支援システムでは、作業者が所望する情報を自らの操作によって表示部に表示させることができる。
　本開示の一側面によれば、作業者の作業効率を向上させることができる。
図１は、一実施形態に係る作業支援システムの構成を示す図である。 図２は、図１の作業支援システムが用いられる工場に配備された生産ラインの全体を示す斜視図である。 図３は、図１の作業支援システムが用いられる工場に配備された生産ラインを示す正面図である。 図４は、管理サーバが管理する情報を表示する画面の一例を示す図である。 図５は、図３の組合せ計量装置を、マウントヘッドディスプレイを介して下方向から見たときの図である。 図６は、図４の製袋包装装置、シール検査装置、及びＸ線検査装置を、マウントヘッドディスプレイを介して正面から見たときの図である。 図７（Ａ）は、組合せ計量装置に関する情報の表示例を示す図であり、図７（Ｂ）は、生産ラインに関する情報の表示例を示す図である。 図８は、変形例に係る作業支援システムが用いられる工場に配備された生産ライン及び発信器を示す正面図である。 図９は、変形例に係る表示部を含むＰＣタブレットを示す正面図である。
　以下、添付図面を参照して、本開示の一側面の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。
　本実施形態の作業支援システム１は、複数の処理装置が配備された工場で作業する作業者を支援するシステムである。本実施形態では、図２に示されるような、処理装置としての搬送装置３５、組合せ計量装置４０、製袋包装装置７０、シール検査装置７５、Ｘ線検査装置８０、金属検出機８５、重量検査装置９０、及び箱詰装置９５を備える生産ライン（図３参照）３０が３ライン（Ｌ１～Ｌ３）配備された工場で使用される作業支援システム１を例に挙げて説明する。
　搬送装置３５は、供給部から組合せ計量装置４０にまで物品を搬送し、組合せ計量装置４０の投入シュートに物品を供給する装置である。組合せ計量装置４０は、物品を所定重量に量り分ける装置である。製袋包装装置７０は、物品を包装する袋を製袋しながら、組合せ計量装置４０によって量り分けられた物品を包装する装置である。シール検査装置７５は、製袋包装装置７０によって製袋包装された袋の異常を検知する装置である。Ｘ線検査装置８０は、袋に内包された物品の状態又は異物の混入の有無を検査する装置である。金属検出機８５は、袋に内包された物品への金属の混入の有無を検査する装置である。重量検査装置９０は、物品が内包された商品の重量を検査する装置である。箱詰装置９５は、商品を段ボール箱に詰める装置である。
　生産ライン３０を構成する処理装置のそれぞれには、図３に示されるように、識別部９が設けられている。識別部９は、例えば、各部品を識別するための情報が埋め込まれた二次元コードである。
　図１に示されるように、作業支援システム１は、可搬性を有する眼鏡型のヘッドマウントディスプレイ（以下、「ＨＭＤ」と称する。）１０と、管理サーバ２０と、を備える。ＨＭＤ１０は、表示部１１と、撮像部１５と、入力部１６と、通信部１７と、を有する。
　表示部１１は、作業者に提供する情報を表示する。表示部１１は、工場内の実空間と作業者に提供する情報とを重ね合わせて表示（重畳表示）する。本実施形態では、工場内の実空間と、処理装置に関する情報又は生産ライン３０に関する情報と、が重ね合わせて表示される。表示部１１における重畳表示は、例えば表示部１１をハーフミラーによって構成したり、撮像部１５によって撮像された画像を表示部１１に投影したりすることによって実現される。
　撮像部１５は、工場内の実空間を撮像する。撮像部１５は、ＨＭＤ１０を装着した作業者が視認する実空間と、撮像部１５によって撮像される実空間とが略一致するように設けられている。すなわち、撮像部１５は、作業者の視線方向における前方視界画像を撮像する視界同調カメラである。撮像部１５は、撮像したデータを表示部１１に表示させる。また、撮像部１５は、撮像したデータを管理サーバ２０に送信する。
　入力部１６は、上下左右をそれぞれ選択するキーと、入力を確定するキーとを有している。作業者は、入力部１６を操作することによって、表示部１１に表示されているメニューを選択したり、メニューを確定したりすることができる。本実施形態の入力部１６は、表示部１１に表示させる情報を、後段にて詳述する処理装置に関する情報（図７（Ａ）参照）と、後段にて詳述する生産ライン３０に関する情報（図７（Ｂ）参照）との間で切り替える第二切替部として機能する。
　通信部１７は、管理サーバ２０とデータをやりとりするためのインタフェイスである。管理サーバ２０との通信は、無線であってもよいし、有線であってもよい。
　管理サーバ２０は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）等の主記憶部、ハードディスク、フラッシュメモリ等に例示される補助記憶部、キーボード及びマウス等の入力部、表示画面等の出力部等を含むコンピュータシステムとして構成されている。管理サーバ２０は、通信部２１、認識部２２、及び表示制御部２３を備えている。後段にて詳述する認識部２２及び表示制御部２３における各機能は、ＣＰＵ、主記憶部等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもと実行される。
　管理サーバ２０は、搬送装置３５、組合せ計量装置４０、製袋包装装置７０、シール検査装置７５、Ｘ線検査装置８０、金属検出機８５、重量検査装置９０、及び箱詰装置９５のそれぞれと、通信部２１を介して通信可能に接続されている。管理サーバ２０と各処理装置とは、無線で接続されていてもよいし、有線で接続されていてもよい。また、管理サーバ２０は、通信部２１を介してＨＭＤ１０と通信可能に接続されている。
　管理サーバ２０は、生産ライン３０を構成する各種装置の動作を監視する。管理サーバ２０は、各処理装置から送信されてくる情報に基づいて、例えば、処理装置ごとの状態（ステータス）、対処方法、次のステータスとなるまでの残り時間を監視したり、生産ラインごとの稼働率を監視したり、全生産ライントータルの稼働率を監視したりする。管理サーバ２０は、これらの監視情報を、例えば、図４に示されるような監視情報画面７として、管理サーバ２０の表示画面等に表示してもよい。監視情報画面７は、例えば、処理装置ごとの状態（ステータス）、対処方法、次のステータスとなるまでの残り時間を表示する部分７Ａと、生産ラインごとの稼働率又は全生産ライントータルの稼働率等を表示する部分７Ｂと、を有していてもよい。
　認識部２２は、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部２２は、ＨＭＤ１０の撮像部１５によって撮像された実空間に基づいて作業者が視認していると考えられる処理装置を認識する。すなわち、ＨＭＤ１０の撮像部１５によって撮像された実空間から処理装置に設けられた識別部９を抽出し、抽出した識別部９に埋め込まれた情報を取得することによって、作業者が視認していると考えられる処理装置を認識する。これにより、認識部２２は、作業者が認識していると考えられる処理装置の種類、数量等を取得することができる。なお、ＨＭＤ１０の撮像部１５によって撮像された実空間は、ＨＭＤ１０を装着した作業者が視認する実空間と同調している。
　表示制御部２３は、ＨＭＤ１０の表示部１１に表示される情報の内容を制御する。表示制御部２３は、認識部２２による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が１台であると判定される場合には、認識部２２によって認識された処理装置に関する情報を表示させ、作業者が視認していると考えられる処理装置が２台以上であると判定される場合には、認識部２２によって認識された処理装置を含む生産ライン３０に関する情報を表示させる。
　処理装置に関する情報の例には、例えば、上述の管理サーバ２０が管理する情報であって、処理装置各部の動作状況（動作パラメータ）に関する情報を表示する処理装置情報表示画面１２Ａ（図７（Ａ）参照）が含まれる。つまり、管理サーバ２０が管理する各処理装置に関する情報を、ＨＭＤ１０の表示部１１を介して見ることができる。生産ライン３０に関する情報の例には、上述の管理サーバ２０が管理する情報であって、処理装置ごとの状態（ステータス）、対処方法、次のステータスとなるまでの残り時間、生産ラインごとの稼働率又は全生産ライントータルの稼働率に関する情報等を表示する生産ライン情報表示画面１２Ｂ（図７（Ｂ）参照）が含まれる。つまり、管理サーバ２０が管理する生産ライン３０に関する情報を、ＨＭＤ１０の表示部１１を介して見ることができる。
　本実施形態では、表示制御部２３は、認識部２２が認識する処理装置の種類又は数量等の情報に基づいて、作業者が視認していると考えられる処理装置の数量を判定する。例えば、認識部２２が組合せ計量装置４０及び製袋包装装置７０を認識した場合には、表示制御部２３は作業者が視認していると考えられる処理装置が２台であると判定することができる。例えば、認識部２２が２つの処理装置を認識した場合には、表示制御部２３はその情報をそのまま用いて、作業者が視認していると考えられる処理装置が２台であると判定することができる。更に、本実施形態の表示制御部２３は、認識部２２による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が０台と判定される場合には、生産ライン３０に関する情報を表示させる。表示制御部２３は、表示部１１における表示内容を変更すると、所定時間その状態を維持する。
　次に、図５に示されるように、ＨＭＤ１０を装着した作業者が架台６５に配置された組合せ計量装置４０を視認した場合について説明する。作業者が視認する実空間と、撮像部１５が撮像する実空間とは略一致するので、ＨＭＤ１０の表示部１１には、架台６５の下から撮像された組合せ計量装置４０が表示される。作業者は、ＨＭＤ１０の表示部１１を介して、実空間と同じように、架台６５の下から見たように、組合せ計量装置４０を見ることができる。
　撮像部１５は、架台６５の下から撮像した組合せ計量装置４０のデータを管理サーバ２０に送信する。認識部２２は、撮像部１５から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部２２は、送信されてくるデータの中から組合せ計量装置４０に付加された識別部９を抽出し、撮像された処理装置が生産ラインＬ１に配備された組合せ計量装置４０であることを認識する。
　表示制御部２３は、認識部２２によって認識された処理装置が生産ラインＬ１に配備された組合せ計量装置４０であるという情報に基づいて、作業者が視認していると考えられる処理装置が１台であると判定する。次に、表示制御部２３は、作業者が視認していると考えられる処理装置が１台であると判定したので、当該組合せ計量装置４０に関する情報として、処理装置情報表示画面１２Ａ（図５及び図７（Ａ）参照）を表示部１１に表示させる。
　処理装置情報表示画面１２Ａには、例えば、組合せ計量装置４０の処理速度、目標速度、目標重量、上限値、及び平均重量等が表示される。また、表示部１１に一度に表示される情報量は決まっている。作業者は、入力部１６の上下左右をそれぞれ選択するキーを操作して、表示部１１に表示される情報をスクロールさせることができる。
　次に、図６に示されるように、ＨＭＤ１０を装着した作業者が製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とを視認した場合について説明する。作業者が視認する実空間と、撮像部１５が撮像する実空間とは略一致するので、ＨＭＤ１０の表示部１１には、製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とが表示される。作業者は、ＨＭＤ１０の表示部１１を介して、実空間と同じ製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とを見ることができる。
　撮像部１５は、製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とを撮像したデータを管理サーバ２０に送信する。認識部２２は、撮像部１５から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部２２は、送信されてくるデータの中から製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とにそれぞれに付加された識別部９を抽出し、撮像された処理装置が生産ラインＬ１に配備された製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とであることを認識する。
　表示制御部２３は、認識部２２によって認識された処理装置が生産ラインＬ１に配備された製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とであるという情報に基づいて、作業者が視認していると考えられる処理装置が３台であると判定する。次に、表示制御部２３は、作業者が視認していると考えられる処理装置が２台以上であると判定したので、当該製袋包装装置７０とシール検査装置７５とＸ線検査装置８０とを含む生産ライン３０に関する情報として、生産ライン情報表示画面１２Ｂ（図６及び図７（Ｂ）参照）を表示部１１に表示させる。
　生産ライン情報表示画面１２Ｂには、各処理装置のステータス情報等が表示される。生産ライン情報表示画面１２Ｂについても、処理装置情報表示画面１２Ａと同様に、作業者は、入力部１６の上下左右をそれぞれ選択するキーを操作して、表示部１１に表示される情報をスクロールさせることができる。
　次に、図６に示されるように、ＨＭＤ１０を装着した作業者が、処理装置以外の、例えば、工場の天井１５１を視認した場合について説明する。作業者が視認する実空間と、撮像部１５が撮像する実空間とは略一致するので、ＨＭＤ１０の表示部１１には、工場の天井１５１が表示される。作業者は、ＨＭＤ１０の表示部１１を介して、実空間と同じ工場の天井１５１を見ることができる。
　撮像部１５は、工場の天井１５１を撮像したデータを管理サーバ２０に送信する。認識部２２は、撮像部１５から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部２２は、送信されてくるデータの中に、識別部９が含まれていないことを認識する。
　表示制御部２３は、認識部２２によって認識された処理装置がないという情報に基づいて、作業者が視認していると考えられる処理装置が０台であると判定する。次に、表示制御部２３は、作業者が視認していると考えられる処理装置が０台であると判定したので、生産ライン３０に関する情報として、上述の生産ライン情報表示画面１２Ｂ（図６及び図７（Ｂ）参照）を表示部１１に表示させる。ここで表示される生産ライン３０に関する情報は、全ての生産ラインＬ１～Ｌ３に関する情報である。
　上述したように、表示制御部２３が、作業者が視認していると考えられる処理装置に基づいて処理装置情報表示画面１２Ａ又は生産ライン情報表示画面１２Ｂを表示部１１に表示させた場合であっても、作業者が表示部１１に表示された画面とは異なる他方の画面を見たい場合がある。例えば、処理装置情報表示画面１２Ａが表示された後に、生産ライン３０の状態を確かめるために生産ライン情報表示画面１２Ｂを見たいといった場合である。この場合、作業者は、ＨＭＤ１０の入力部１６を操作することにより、処理装置情報表示画面１２Ａから生産ライン情報表示画面１２Ｂに切り替えることができる。すなわち、作業者が所望する情報を表示部１１に表示させることができる。また、表示制御部２３は、表示部１１の表示内容を変更すると、所定時間（例えば、５秒）その状態を維持している。これにより、表示される情報が短い時間で連続的に切り替わることを防止できる。
　次に上記実施形態の作業支援システム１の作用効果について説明する。上記実施形態の作業支援システム１では、認識部２２による処理装置の認識状況に基づいて、表示制御部２３によって作業者が視認していると考えられる処理装置が１台であると判定されると、認識部２２によって認識された処理装置に関する情報として処理装置情報表示画面１２Ａを表示させ、２台以上であると判定されると、認識部２２によって認識された処理装置を含む生産ライン３０に関する情報として生産ライン情報表示画面１２Ｂを表示させる。これにより、作業者に提供する情報（処理装置に関する情報又は生産ラインに関する情報）を、作業者の状態に基づいて適切なタイミングで提供することができる。この結果、作業者の作業効率を向上させることができる。
　上記実施形態では、表示制御部２３は、認識部２２によって認識された処理装置に基づいて、作業者が視認していると考えられる処理装置が０台と判定される場合には、生産ライン３０に関する情報を表示させている。このため、作業者が生産ライン３０に関する情報を見たいときには上方を見るといった動作によって、容易に生産ライン３０に関する情報を見ることができる。
　上記実施形態では、ＨＭＤ１０の表示部１１は、工場内の実空間と、処理装置情報表示画面１２Ａ又は生産ライン情報表示画面１２Ｂと、を重ね合わせて表示させている。このため、処理装置情報表示画面１２Ａ又は生産ライン情報表示画面１２Ｂを、工場内の実空間（例えば、一の組合せ計量装置４０）と重ね合わされた状態で表示されるので、表示部１１に表示される情報が何の情報であるかを、作業者に対し直感的に理解させることができる。
　上記実施形態では、可搬性を有し、工場内の実空間を撮像する撮像部１５を更に備え、認識部２２は、撮像部１５によって撮像された画像に基づいて作業者が視認していると考えられる処理装置を認識している。このため、認識部２２に作業者が視認していると考えられる処理装置を容易に認識させることができる。
　上記実施形態では、処理装置のそれぞれには、識別部９が設けられており、認識部２２は、撮像部１５によって撮像された画像に含まれる識別部９に基づいて処理装置を認識している。このため、認識部２２に作業者が視認していると考えられる処理装置を更に容易に認識させることができる。
　以上、一実施形態について説明したが、本開示の一側面は、上記実施形態に限られるものではなく、本開示の趣旨を逸脱しない範囲で種々の変更が可能である。
＜変形例１＞
　上記実施形態では、各処理装置に識別部９が取り付けられており、認識部２２は、撮像部１５によって撮像されたデータから識別部９を抽出することにより、処理装置を認識する例を挙げて説明したが、これに限定されない。処理装置の認識は、例えば、撮像部１５によって撮像されたデータ、すなわち画像のマッチング等で行ってもよい。すなわち、撮像された画像と予め記憶された処理装置ごとの画像とのマッチングによる方法で特定してもよい。
＜変形例２＞
　上記実施形態又は変形例１では、認識部２２は、撮像部１５によって撮像されるデータを用いて処理装置を認識する例を挙げて説明したが、これに限定されない。すなわち、撮像部１５を備えない構成であっても、認識部２２は、作業者が視認していると考えられる処理装置を認識することが可能である。以下、その一例について説明する。
　すなわち、作業支援システム１は、ＨＭＤ１０の撮像部１５を備えない代わりに、又は撮像部１５の機能を利用しない代わりに、図１に示されるように、位置情報と処理装置の識別情報とを関連付けて記憶する記憶部２４と、可搬性を有し、作業者の位置を取得する位置情報取得部１８と、を備えていてもよい。
　位置情報取得部１８の例は、ＧＰＳ（Global　Positioning　System）である。これにより、ＨＭＤ１０を装着した作業者の位置を取得することができる。これにより、認識部２２は、記憶部２４から作業者の位置と一致する位置情報に関連付けられた処理装置の識別情報を抽出し、抽出した識別情報に基づいて処理装置を認識する。
　この変形例２に係る作業支援システム１では、ＨＭＤ１０が撮像部１５を備えなくても、又は撮像部１５の機能を利用しなくても、作業者が視認していると考えられる処理装置の容易に認識することができると共に、認識していると考えられる処理装置の台数を容易に判定することができる。
＜変形例３＞
　変形例２では、位置情報取得部１８として、ＨＭＤ１０に搭載されたＧＰＳを例に挙げて説明したが、これに限定されない。例えば、ＧＰＳの電波を受信できない屋内等の所定の領域においてＨＭＤ１０を装着した作業者の位置を特定することができる測位システムを利用できる。当該測位システムは、発信器１５３（図８参照）と、ＨＭＤ１０に搭載された位置情報取得部１８としての受信器と、を備えて構成される。発信器１５３は、ＨＭＤ１０によって受信可能な無線信号を送出する。無線信号の例には、ＢＬＥ（Bluetooth（登録商標）　Low　Energy）信号、光ＢＬＥ信号、ＷｉＦｉ（Wireless　Fidelity）（登録商標）信号、及び光無線信号等が含まれる。
　発信器１５３は、予め、ＨＭＤ１０が無線信号を受信することができる範囲に設置される。図８に示されるように、例えば、工場の天井１５１又は柱等に設置される。発信器１５３により送出される無線信号には、発信器１５３を一意に特定する情報、及び信号の受信強度を示す情報が含まれている。発信器１５３を一意に特定する情報としては、各発信器１５３に予め設定されたＭＡＣアドレス等を用いることができる。また、信号の受信強度を示す情報としては、例えば、ＲＳＳＩ（Received　Signal　Strength　Indication　Indicator）を用いることができる。工場内での各位置において、各発信器１５３からの無線信号の受信強度を示す受信強度が予め計測され、計測された情報が記憶部２４（図１参照）に記憶されている。このため、ＨＭＤ１０の搭載された位置情報取得部１８が、工場内で発信器１５３のＭＡＣアドレス及び受信強度を取得できれば、工場内の位置を特定することができる。
　この変形例３に係る作業支援システム１では、ＨＭＤ１０が撮像部１５を備えなくても、又は撮像部１５の機能を利用しなくても、作業者が視認していると考えられる処理装置を容易に認識することができると共に、認識していると考えられる処理装置の台数を容易に判定することができる。なお、当該測位システムを採用した場合には、隣接するそれぞれの発信器１５３から連続して交互に無線信号を受信すること（いわゆるチャタリング現象）が発生することがある。この場合、ＨＭＤ１０は同じ位置に留まっている場合であっても、短い時間で位置が変化したと特定されてしまう。本変形例３では、このように位置情報が変わると認識部２２が認識する処理装置の対象も変わり、表示部１１に表示される情報も切り替わってしまうおそれがある。そこで、上記実施形態にて説明したように、表示制御部２３は、表示部１１の表示内容を変更すると、所定時間（例えば、５秒）その状態を維持することが有効な解決手段となる。これにより、表示される情報が短い時間で連続的に切り替わることを防止できる。
＜変形例４＞
　上記変形例２及び変形例３の構成に加え、更に、可搬性を有し、作業者が視認していると考えられる方向を特定する方向特定部１９を備えてもよい。方向特定部１９の例は、電子コンパスである。方向特定部１９は、ＨＭＤ１０を装着した作業者が視認する方向と、方向特定部１９によって取得される方向とが略一致するように設けられている。すなわち、方向特定部１９は、作業者の視線方向における方向を取得する。また、方向特定部１９は、撮像したデータを管理サーバ２０に送信する。この場合、記憶部２４は、位置情報と方向情報と処理装置の識別情報とを関連付けて記憶し、認識部２２は、記憶部２４から作業者の位置及び作業者が視認していると考えられる方向と一致する位置情報及び方向情報に関連付けられた処理装置の識別情報を抽出し、抽出した識別情報に基づいて処理装置を認識することができる。
　この変形例４に係る作業支援システム１では、ＨＭＤ１０を装着する作業者の位置と作業者が視認していると考えられる処理装置とを関連付ければ、所定の精度で作業者が視認していると考えられる処理装置を認識できると考えられる。しかしながら、所定位置に位置していたとしても作業者が視認している方向は厳密には特定できない。この点、変形例４に係る作業支援システム１では、作業者の視線方向における方向を取得できるので、作業者が視認している方向を高い精度で取得できる。
＜変形例５＞
　上記実施形態又は変形例では、表示部１１と、撮像部１５と、を備える装置として、可搬性を有する眼鏡型のＨＭＤ１０を採用した例を挙げて説明したが、例えば、図９に示されるような表示部１１１と、撮像部１１５と、を備えるタブレットＰＣ１１０であってもよい。この場合も、撮像部１１５を介して表示部１１１に表示される画像と、作業者が視認する画像とを一致させることができるので、上記実施形態と同様の効果を得ることができる。ただし、タブレットＰＣ１１０では、作業者が手で保持しなければならない反面、ウェアラブル端末の一つであるＨＭＤ１０では、作業者の手がフリーになる。このため、ＨＭＤ１０を採用する場合には、作業性に優れる。
＜その他の変形例＞
　上記実施形態又は変形例では、組合せ計量装置４０に関係する処理装置情報表示画面１２Ａを表示部１１に表示する例を挙げて説明したが、組合せ計量装置４０以外の処理装置、すなわち、搬送装置３５、製袋包装装置７０、シール検査装置７５、Ｘ線検査装置８０、金属検出機８５、重量検査装置９０、及び箱詰装置９５に関係する処理装置情報表示画面を表示部１１に表示してもよい。
　１…作業支援システム、７…監視情報画面、９…識別部、１１，１１１…表示部、１２Ａ…処理装置情報表示画面、１２Ｂ…生産ライン情報表示画面、１５，１１５…撮像部、１６…入力部（切替部）、１７…通信部、１８…位置情報取得部、１９…方向特定部、２０…管理サーバ、２１…通信部、２２…認識部、２３…表示制御部、２４…記憶部、３０…生産ライン（Ｌ１～Ｌ３）、３５…搬送装置、４０…組合せ計量装置、１１０…タブレットＰＣ、１５１…天井、１５３…発信器。

Claims (9)

  1. 　複数の処理装置によって形成される生産ラインが配備された工場で作業する作業者を支援する作業支援システムであって、
    　可搬性を有し、前記作業者に提供する情報を表示する表示部と、
    　前記作業者が視認していると考えられる処理装置を認識する認識部と、
    　前記表示部に表示される情報の内容を制御する表示制御部と、を備え、
    　前記表示制御部は、前記認識部によって認識される処理装置が１台であると判定される場合には、前記認識部によって認識された処理装置に関する情報を表示させ、前記認識部によって認識される処理装置が２台以上であると判定される場合には、前記認識部によって認識された前記処理装置を含む前記生産ラインに関する情報を前記表示部に表示させる、作業支援システム。
  2. 　前記表示制御部は、前記認識部によって認識される処理装置が０台と判定される場合には、前記生産ラインに関する情報を前記表示部に表示させる、請求項１記載の作業支援システム。
  3. 　前記表示部は、前記工場内の実空間と、前記処理装置に関する情報又は前記生産ラインに関する情報と、を重ね合わせて表示させる、請求項１又は２記載の作業支援システム。
  4. 　可搬性を有し、前記工場内の実空間を撮像する撮像部を更に備え、
    　前記認識部は、前記撮像部によって撮像された実空間に基づいて前記作業者が視認していると考えられる処理装置を認識する、請求項１～３の何れか一項記載の作業支援システム。
  5. 　前記処理装置のそれぞれには、識別部が設けられており、
    　前記認識部は、前記撮像部によって撮像された画像に含まれる前記識別部に基づいて前記作業者が視認していると考えられる処理装置を認識する、請求項４記載の作業支援システム。
  6. 　位置情報と前記処理装置の識別情報とを関連付けて記憶する記憶部と、
    　可搬性を有し、前記作業者の位置を取得する位置情報取得部と、を更に備え、
    　前記認識部は、前記記憶部から前記作業者の位置と一致する前記位置情報に関連付けられた前記処理装置の識別情報の抽出によって前記作業者が視認していると考えられる処理装置を認識する、請求項１～３の何れか一項記載の作業支援システム。
  7. 　可搬性を有し、前記作業者が視認していると考えられる方向を特定する方向特定部を更に備え、
    　前記記憶部は、前記位置情報と方向情報と前記処理装置の識別情報とを関連付けて記憶し、
    　前記認識部は、前記記憶部から前記作業者の位置及び前記作業者が視認していると考えられる方向と一致する前記位置情報及び前記方向情報に関連付けられた前記処理装置の識別情報の抽出によって前記作業者が視認していると考えられる処理装置を認識する、請求項６記載の作業支援システム。
  8. 　前記表示制御部は、前記表示部の表示内容を変更すると、所定時間その状態を維持する、請求項１～７の何れか一項記載の作業支援システム。
  9. 　前記作業者の操作に基づいて、前記処理装置に関する情報を前記表示部に表示させるか、前記生産ラインに関する情報を前記表示部に表示させるかを切り替える切替部を更に備える、請求項１～８の何れか一項記載の作業支援システム。
PCT/JP2018/028922 2017-08-31 2018-08-01 作業支援システム WO2019044346A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/641,097 US20200258305A1 (en) 2017-08-31 2018-08-01 Work support system
EP18849739.0A EP3677973A4 (en) 2017-08-31 2018-08-01 WORK SUPPORT SYSTEM
CN201880055627.3A CN111052017A (zh) 2017-08-31 2018-08-01 作业辅助系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017167370A JP2019046067A (ja) 2017-08-31 2017-08-31 作業支援システム
JP2017-167370 2017-08-31

Publications (1)

Publication Number Publication Date
WO2019044346A1 true WO2019044346A1 (ja) 2019-03-07

Family

ID=65527303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028922 WO2019044346A1 (ja) 2017-08-31 2018-08-01 作業支援システム

Country Status (5)

Country Link
US (1) US20200258305A1 (ja)
EP (1) EP3677973A4 (ja)
JP (1) JP2019046067A (ja)
CN (1) CN111052017A (ja)
WO (1) WO2019044346A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003781A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 作業監視システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
WO2014030256A1 (ja) * 2012-08-24 2014-02-27 富士機械製造株式会社 電気回路製造ライン支援システム
JP2016208331A (ja) 2015-04-24 2016-12-08 三菱電機エンジニアリング株式会社 作業支援システム
JP2017049916A (ja) * 2015-09-04 2017-03-09 株式会社東芝 眼鏡型電子機器、作業管理システムおよび情報管理サーバ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003781A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 作業監視システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
WO2014030256A1 (ja) * 2012-08-24 2014-02-27 富士機械製造株式会社 電気回路製造ライン支援システム
JP2016208331A (ja) 2015-04-24 2016-12-08 三菱電機エンジニアリング株式会社 作業支援システム
JP2017049916A (ja) * 2015-09-04 2017-03-09 株式会社東芝 眼鏡型電子機器、作業管理システムおよび情報管理サーバ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3677973A4

Also Published As

Publication number Publication date
EP3677973A4 (en) 2021-05-19
US20200258305A1 (en) 2020-08-13
CN111052017A (zh) 2020-04-21
JP2019046067A (ja) 2019-03-22
EP3677973A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
JP4547040B1 (ja) 表示画像切替装置及び表示画像切替方法
US8854303B1 (en) Display device and control method thereof
US20150339858A1 (en) Information processing device, information processing system, and information processing method
US11544030B2 (en) Remote work-support system
JP6332568B2 (ja) 情報処理装置、制御方法、及びプログラム
EP2548179A1 (en) Information processing device, information processing method, and program
EP3163410A1 (en) Line-of-sight measurement system, line-of-sight measurement method, and program
EP3026649A1 (en) Pointing apparaus, interface apparatus and display apparatus
JP2015102880A (ja) 作業支援システム
WO2019044346A1 (ja) 作業支援システム
US20210318173A1 (en) Measurement system, measurement device, measurement method, and program
JP6690277B2 (ja) 画像処理制御方法、画像処理制御プログラムおよび情報処理装置
CN110874699A (zh) 记录物品的物流信息方法、装置及系统
WO2020003644A1 (ja) 漏洩ガス検出装置および漏洩ガス検出方法
US20200242797A1 (en) Augmented reality location and display using a user-aligned fiducial marker
JP2019020914A (ja) 物体識別システム
JPWO2017169909A1 (ja) 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム
JP2017032870A (ja) 画像投影装置及び画像表示システム
KR20220026114A (ko) 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
JP2021077127A (ja) アイウェア装置を用いた管理システムおよび管理方法
JP2019032728A (ja) 表示装置および表示方法
US20220012868A1 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
JP2017092866A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
KR20230094466A (ko) 작업자 모니터링 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18849739

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018849739

Country of ref document: EP

Effective date: 20200331