WO2010137165A1 - 技術管理装置及び技術管理方法 - Google Patents

技術管理装置及び技術管理方法 Download PDF

Info

Publication number
WO2010137165A1
WO2010137165A1 PCT/JP2009/059878 JP2009059878W WO2010137165A1 WO 2010137165 A1 WO2010137165 A1 WO 2010137165A1 JP 2009059878 W JP2009059878 W JP 2009059878W WO 2010137165 A1 WO2010137165 A1 WO 2010137165A1
Authority
WO
WIPO (PCT)
Prior art keywords
worker
point
gaze
information
gazing point
Prior art date
Application number
PCT/JP2009/059878
Other languages
English (en)
French (fr)
Inventor
憲午 中尾
原田　稔
Original Assignee
新日本製鐵株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日本製鐵株式会社 filed Critical 新日本製鐵株式会社
Priority to PCT/JP2009/059878 priority Critical patent/WO2010137165A1/ja
Publication of WO2010137165A1 publication Critical patent/WO2010137165A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools

Definitions

  • the present invention relates to a technology management apparatus and a technology management method, and in particular, a technology management device and a technology management for displaying a specification of a work object and a worker's gaze point on an image corresponding to a worker's visual field. Regarding the method.
  • Patent Document 1 There has been proposed a method of performing education and training of work contents by simulation without actually performing work (Patent Document 1).
  • basic image data on a simulation course is stored in advance, and simulation data is generated based on a vehicle model and an operation signal from the operator. Furthermore, this simulation data is displayed on a head-mounted display worn by the operator to provide training on work contents.
  • operation history data corresponding to the passage of time such as operation signals and driver viewpoint information, is stored in the external memory during the driving operation simulation process.
  • the stored operation history data is sent to a remote technical instructor and reproduced by a simulation device. In this way, the technical instructor can confirm the operation content of the trainee while at a remote location. Similar methods of technical guidance from remote locations are also disclosed in Patent Documents 2 and 3.
  • a virtual stereoscopic image is projected onto an HMD (head-mounted display) worn by the observer, and optically synthesized with the real space viewed by the observer through goggles to provide visual work information to the observer.
  • a simulation system has been proposed that supports the actions of workers in the company (Patent Document 2). This system includes viewpoint position detection means. Based on the viewpoint position information acquired by the viewpoint position detection means, a virtual stereoscopic video is projected onto the HMD.
  • Patent Document 4 another work guidance system using an HMD has been proposed (Patent Document 4). This work guidance system superimposes and displays various animation images created in advance on the actual work object, representing the work object in each work process, and at the same time outputs audio data of the explanation information of the work content .
  • Patent Document 5 In another work information providing apparatus (Patent Document 5), a CCD camera or a sensor installed on the worker is used to identify an action performed by the worker. In addition to the worker's visual field / viewpoint information, this work action information is used to acquire and display information on the work action to be performed by the worker from the work action information database.
  • Patent Document 3 describes that a supervisor can monitor a plurality of workers on a plurality of sites, but there is a certain limit to the supervisory / supervisory ability of each supervisor.
  • Information on work actions to be performed by the worker is recorded in advance in the work action information database.
  • work action information tends to remain as beginner-level information for inexperienced persons, such as a general operation method of a work target.
  • Information on advanced work activities, such as efficient work techniques by skilled workers, is related to details of work operations, making it difficult to create a database and visually display them.
  • the present invention has been made in view of the above circumstances, and manages the operator's field of view and gaze point with respect to the work object using the viewpoint tracking device, so that the operation information of the work object can be given to the worker.
  • An object is to provide a technology management apparatus and a technology management method that can be provided.
  • the present invention is a technical management method for operating an apparatus, the step of acquiring a first gazing point within the field of view of a first worker; and the above corresponding to the first gazing point Analyzing a first watched part on the device; obtaining first driving information of the device related to the first watched part; outputting the first driving information; Obtaining a second gaze point within the field of view of the second operator; analyzing a second gaze site on the device corresponding to the second gaze point; Recording the gaze point and the second gaze site; obtaining second operation information of the device related to the second gaze site; the first gaze point and the second Or displaying the first gaze region and the second gaze region so that they can be compared with each other. Comprising.
  • the technical management method includes the first worker's visual field, the first gaze point, the first watched part, the first driving information, and the second driving information. You may further provide the process of displaying simultaneously a worker's visual field, said 2nd gaze point, said 2nd watched part, and said 2nd driving information on a display part.
  • the technology management method according to (1) may further include a step of synchronizing the first gazing point and the second gazing point in accordance with a timing chart of operation of the device.
  • the technical management method according to (1) may further include a step of synchronizing the first gazing point and the second gazing point according to the state monitoring information of the device.
  • the technology management method according to (1) may further include a step of analyzing and outputting a difference between the first gazing point and the second gazing point.
  • the technology management method may output a predetermined warning when a distance between the first gazing point and the second gazing point is larger than a predetermined value.
  • the present invention is a technology management apparatus for operating the apparatus, and a gaze point acquisition unit that acquires a gaze point within an operator's field of view; and a target on the apparatus corresponding to the gaze point
  • a watched part analysis unit for analyzing a watched part
  • a driving information output unit for outputting driving information of the device related to the watched part
  • a visual field of the operator, the gaze point, the watched part, and the A storage unit for storing driving information
  • a display unit for displaying the gazing points respectively recorded by the first worker and the second worker so that they can be compared with each other.
  • the display unit further records the field of view, the site to be watched, and the area to be watched, respectively recorded by the first worker and the second worker.
  • the driving information may be displayed so as to be mutually comparable.
  • the storage unit stores a timing chart of operation of the device, and the first worker and the second worker according to the timing chart according to the timing chart. You may further provide the synchronizer which synchronizes a gaze point.
  • the technology management device further includes a synchronization unit that synchronizes the gaze points of the first worker and the second worker according to the state monitoring information of the device. Also good.
  • the technology management device may further include a difference analysis unit that analyzes a difference between the gaze points of the first worker and the second worker.
  • the inventions described in (1) and (7) above it is possible to manage the operator's gaze point and the gaze site on the apparatus. According to this result, accurate driving information can be provided to the operator. Therefore, even if the operator is not skilled in operation technology, the technology can be managed by instructing appropriate operation information. Further, for example, the position of the exemplary gazing point recorded by an excellent worker in advance can be compared with the position of the gazing point of the worker who is training. For this reason, technical management can be effectively performed for an arbitrary number of workers without directly using personnel for guidance.
  • the field of view, the point of sight, and the part to be watched on the operation of the device between the skilled and excellent worker and the worker who is being trained are comprehensively determined. You can compare. For this reason, the worker who is training can recognize easily the problem of his work, etc.
  • the operation information between the first worker and the second worker is synchronized in accordance with the operation timing chart of the apparatus, and the operation information is compared. Can do. For this reason, it is possible to easily compare the corresponding operations and clearly recognize the difference between these pieces of operation information.
  • the operation information between the first worker and the second worker is synchronized in accordance with the state monitoring information of the apparatus, and the operation information is compared. it can. For this reason, it is possible to easily compare the corresponding operations and clearly recognize the difference between these pieces of operation information.
  • the difference between the gazing point of the past excellent worker and the gazing point of the training worker is analyzed, and You can be notified.
  • the worker can improve his / her work without the assistance of the instructor.
  • the exercising worker is performing abnormal work. You can judge that you are going. In this case, it is possible to send a warning to a worker who is undergoing training or to notify improvement measures.
  • FIG. 1 is a diagram illustrating an outline of a technology management apparatus and a technology management method.
  • FIG. 2 is a diagram illustrating a functional configuration of the viewpoint tracking device and the driving information management device.
  • FIG. 3 is a diagram illustrating a gaze detection method using a gaze detection sensor and a subject photographing camera of the viewpoint tracking device.
  • FIG. 4A is a diagram illustrating an example of a processing flow in a case where a technical management method for a technician who is undergoing training is executed.
  • FIG. 4B is a diagram illustrating an example of a processing flow in the case of recording a work of an excellent engineer.
  • FIG. 5 is a diagram showing an example of the equipment state monitoring screen.
  • FIG. 1 is a diagram illustrating an outline of a technology management apparatus and a technology management method.
  • FIG. 2 is a diagram illustrating a functional configuration of the viewpoint tracking device and the driving information management device.
  • FIG. 3 is a diagram illustrating a gaze detection method using a gaze detection sensor and
  • FIG. 6A is a schematic top view of a press machine or the like in a sizing press process.
  • FIG. 6B is a schematic top view showing a state in which the steel plate is pressed by a press machine.
  • FIG. 6C is a schematic top view illustrating a state in which the steel plate collides with the press machine.
  • FIG. 7A is a diagram illustrating a movement of a gazing point in a sizing press process performed by an excellent worker.
  • FIG. 7B is a diagram illustrating a movement of a gazing point in a sizing press process performed by an operator with insufficient experience.
  • a worker 1A wears a viewpoint tracking device 10 on the head.
  • the viewpoint tracking device 10 has a half mirror 13 and a gaze detection sensor 14 for detecting the gaze of the worker 1A, a three-dimensional motion sensor 15 for detecting the attitude of the viewpoint tracking device 10, and the worker 1A's And a subject photographing camera 16 for photographing a field image (first field image).
  • This viewpoint tracking device 10 is connected to a driving information management device 20 for storing and managing the visual field image and gazing point of the worker 1A mainly via a wired or wireless network 2.
  • the subject photographing camera 16 includes a lens having a predetermined focal length, and as shown in FIG. 1, the subject photographing camera 16 photographs the subject 41 in the direction of the arrow 39 that is the photographing direction of the subject photographing camera 16. Is obtained. Further, the line-of-sight detection sensor 14 detects the line of sight of the worker 1A, and thereby detects a gazing point 37 (first gazing point) on the visual field image 38 by the line of sight 32.
  • an existing detection method can be applied to the visual line detection method.
  • the line-of-sight detection method disclosed in Japanese Patent Laid-Open No. 2005-312605 is applicable.
  • the viewpoint tracking device 10 includes a processing unit 11 configured by a CPU or the like and processing / calculating at least various types of data, a storage unit 12 configured by a memory, a hard disk, or the like, and storing various types of data, a line-of-sight detection sensor 14, and 3 A three-dimensional motion sensor 15, a subject photographing camera 16, an audio output unit 17 for transmitting work precautions and the like to the worker 1 A as necessary, and a driving information management device 20 via a wired or wireless network 2. And a communication unit 18 that transmits and receives various data such as a visual field image 38, a gazing point, and caution point information.
  • the viewpoint tracking device 10 has a GPS antenna 19 for acquiring GPS information (latitude / longitude information) from the GPS satellite 70 in order to confirm its own position (that is, the position of the viewpoint tracking device 10). You may do it.
  • the storage unit 12 can store various data such as a visual field image 38, a gazing point 37, and driving information described later.
  • the storage unit 12 stores at least a program for controlling the operation of the viewpoint tracking device 10 by the processing unit 11.
  • the line-of-sight detection sensor 14 can function as a gazing point acquisition unit.
  • the three-dimensional motion sensor 15 can function as a gazing point position determination unit.
  • the processing unit 11 can function as an operation information acquisition unit.
  • the voice output unit 17 can function as a driving information output unit.
  • the storage unit 12 can function as an operation information storage unit.
  • the driving information management device 20 is composed of a CPU or the like, and at least a processing unit 22 for processing and calculating various data; an input unit 28 composed of a numeric keypad and a keyboard; connected to the network 2 and viewed from the viewpoint tracking device 10
  • the communication unit 26 that receives the image 38, the gazing point information, etc., and transmits the driving information, etc .; the storage unit 24 composed of a memory, a hard disk, etc .; And a display unit 29.
  • the display unit 29 can function as a comparison information output unit.
  • the storage unit 24 stores a program for controlling the operation of the driving information management device 20 by the processing unit 22, information such as the visual field image 38 received from the viewpoint tracking device 10, gazing point information, and the viewpoint tracking device 10.
  • Operation information and the like for transmission are stored.
  • This operation information includes information on the operation of the device, the quality of the product or product, the safety aspect of the production or manufacturing process, information that can be a check item for performing work, the size of the work object or device, etc. And temperature conditions and standards.
  • the driving information acquisition unit, the driving information output unit, and the storage unit 12 can function as a driving information storage unit.
  • the processing unit 22 can function as an operation information acquisition unit and a synchronization unit.
  • the storage unit 24 can function as an operation information storage unit.
  • the display unit 29 can function as an operation information display unit.
  • the line-of-sight detection can be performed by the worker 1A during training. Further, it is possible to detect the line of sight of the skilled worker 1B using the same line-of-sight detection sensor 14 and subject photographing camera 16 having the same configuration.
  • An arrow 39 indicates the shooting direction of the subject shooting camera 16.
  • the camera posture axis 110 indicates a coordinate axis for determining the orientation of the viewpoint tracking device 10 used by the three-dimensional motion sensor 15.
  • the head direction of the worker 1A is set as the C axis of the camera posture axis 110.
  • the camera posture axis 110 is set with an A axis orthogonal to the C axis and a B axis orthogonal to the A axis and the C axis as shown in the figure.
  • the absolute coordinate axis 120 includes a Y axis that is a rotation direction axis with the rotation direction of the earth as positive, a Z axis that is a geomagnetic axis with the north pole direction horizontal to the ground as positive, and a positive vertical direction from the ground as positive.
  • the X axis that is the altitude axis.
  • the rotational displacement of the camera posture axis 110 with respect to the absolute coordinate axis 120 is expressed as roll ( ⁇ ) for the Y axis, pitch ( ⁇ ) for the Z axis, and yaw ( ⁇ ) for the X axis.
  • the three-dimensional motion sensor 15 can include at least one of a gyro sensor, a geomagnetic sensor, a gravity sensor, and an acceleration sensor. Since the geomagnetic sensor can measure the geomagnetism parallel to the ground and detect the latitude and longitude information, the rotational displacement ( ⁇ , ⁇ , ⁇ ) of the absolute coordinate axis 120 to the camera posture axis 110 can be calculated. Further, the gravity sensor knows from which direction the gravity is applied to the viewpoint tracking device 10. One or a plurality of gravity sensors are installed in the viewpoint tracking device 10 and their detected data are compared with each other, whereby rotational displacement ( ⁇ , ⁇ , ⁇ ) of the absolute coordinate axis 120 to the camera posture axis can be detected.
  • Gyro sensors are provided on each of the A axis, B axis, and C axis. This is to cope with a case where the viewpoint tracking device 10 rotates at a speed faster than the sensing time of the geomagnetic sensor and the gravity sensor.
  • the rotational displacements ( ⁇ , ⁇ , ⁇ ) detected by the geomagnetic sensor and the gravity sensor are set as gyro reference rotational displacements ( ⁇ 0, ⁇ 0, ⁇ 0), and further gyro rotational displacements ( ⁇ 1, ⁇ 1,. ⁇ 1) is calculated.
  • a geomagnetic sensor or a gravity sensor is installed so as to be paired with a gyro installed in each of the A-axis, B-axis, and C-axis directions (not shown).
  • a gyro installed in each of the A-axis, B-axis, and C-axis directions (not shown).
  • an acceleration sensor (not shown) is installed to detect the acceleration of the viewpoint tracking device 10.
  • the gyro rotational displacement ( ⁇ 1, ⁇ 1, ⁇ 1) corrects the gyro reference rotational displacement ( ⁇ 0, ⁇ 0, ⁇ 0) of the gravity sensor or the magnetic sensor.
  • a gravity sensor or a magnetic sensor corrects the gyro reference rotational displacement ( ⁇ 0, ⁇ 0, ⁇ 0) for more accuracy. Thereby, the rotational displacement ( ⁇ , ⁇ , ⁇ ) of the viewpoint tracking device 10 can be measured in real time.
  • the viewpoint tracking device 10 detects latitude and longitude information from the geomagnetic sensor of the three-dimensional motion sensor 15 and / or GPS using the processing unit 11, and the camera projection center coordinates O (Xo, Yo, Zo) can be detected dynamically.
  • the camera projection center coordinates O (Xo, Yo, Zo) may be manually input. This manual input is input, for example, as setting data of the camera projection center coordinates O of the program for controlling the viewpoint tracking device 10 stored in the storage unit 12 by the input unit 28 of the driving information management device 20, and from the communication unit 26 to the communication unit 18. Is performed by being stored in the storage unit 12.
  • the camera projection center coordinates O (Xo, Yo, Zo) and the rotational displacement ( ⁇ , ⁇ , ⁇ ) of the viewpoint tracking device 10 are obtained using the three-dimensional motion sensor 15. Then, the position of the subject on the field image 38 determined by the angle of view determined from the focal length of the lens of the subject photographing camera 16 and the rotational displacement ( ⁇ , ⁇ , ⁇ ) of the camera projection center coordinates O (Xo, Yo, Zo).
  • the position P1 (X1, Y1, Z1) on the absolute coordinate of the subject can be determined from p1 (xp1, xp1). As described above, the position of the point of interest on the subject is known using the line-of-sight detection sensor 14.
  • the storage unit 12 or the storage unit 24 can store the configuration and function information of the device to be operated along with the position information.
  • the processing unit 11 or the processing unit 22 (gaze site analysis unit) can acquire information on the device site (gaze site) that exists in the visual field image 38 of the worker 1A and corresponds to the gaze point. It is.
  • whether the worker 1A is viewing the equipment state monitoring screen A (41a) or the equipment state monitoring screen B (41b) is determined based on the camera projection center coordinates O (Xo, Yo, Zo).
  • the processing unit 11 or the processing unit 22 can acquire driving information related to the work object.
  • the driving information related to the work object is output to the operator 1A by voice output via the voice output unit 17 or displayed via the display unit 29 (driving information output unit).
  • FIG. 4A is used to explain the processing flow when performing the technology management method in the rolling process.
  • This process is executed using the viewpoint tracking device 10 and the driving information management device 20.
  • the viewpoint tracking device 10 is mounted on the head, and the center in a factory such as a steel mill, a refinery, a power plant, or a product assembly plant is installed. Work is performed via the equipment state monitoring screen installed in the processing device and the like and, if necessary, the operation panel.
  • the worker 1A monitors one of the equipment state monitoring screens 41a and 41b shown in FIG. 5 for equipment operation and monitoring.
  • the equipment state monitoring screen 41a shows an image obtained by photographing the steel plate 51a, the guide 52, and the press machine 53 from the upper surface in the sizing press process of the rolling process.
  • the equipment state monitoring screen 41b shows an image taken from the side of the steel plate 51b and the rough rolling device 54 in the rough rolling process of the rolling process.
  • the subject photographing camera 16 acquires the visual field image 38a according to the movement of the operator's head (step 101), and the line-of-sight detection sensor 14 tracks the operator's gaze point, An operator's gazing point 37a on the visual field image is acquired (step 102).
  • the three-dimensional motion sensor 15 determines the position O (Xo, Yo, Zo) on the absolute coordinates and the orientation of the operator's head.
  • the position P1 (X1, Y1, Z1) on the absolute coordinate of the subject on the visual field image is acquired
  • the position P2 (X2, Y2, Z2) on the absolute coordinate of the gazing point is acquired (step 103).
  • the processing unit 11 or the processing unit 22 acquires information on an operation target (a watched part) corresponding to the gazing point.
  • the viewpoint tracking device 10 transmits the visual field image, the gazing point, and the watched part to the driving information management device 20 via the communication unit 18 (step 104).
  • the driving information management device 20 receives the information via the communication unit 26 (step 105).
  • FIGS. 6A to 6C operation information necessary for technical management of the sizing press process will be described.
  • 6A is a schematic top view of the steel plate 51a, the guide 52, and the press machine 53 in the sizing press process.
  • the steel plate 51 a shown in FIG. 6A is in a state before being pressed by the press machine 53.
  • a roller (not shown) under the steel plate 51a is operated by an operator's instruction via the control panel. Then, the steel plate 51 a moves between the press devices 53 and is further fixed by the guide 52. Thereafter, the steel plate 51 a is pressed by the press machine 53.
  • FIG. 6C shows a state where the steel plate 51 a has collided with the press machine 53.
  • the ironworks operator is in a state where the press device 53 is open before the steel plate 51 a enters the press device 53, and the press device is moved even if the steel plate 51 a moves. It is necessary to confirm that it does not collide with 53. If this check is neglected, a collision state as shown in FIG. 6C may occur. In such a case, the steel plate 51a and the press device 53 may be damaged.
  • confirming that the press device 53 is in an open state before the steel plate 51a enters between the press devices 53 is important information in technical management. Yes, it is an example of technical skills that should be passed down to each worker.
  • the skilled worker 1B executes the sizing press process in advance through steps 200 to 208 described later.
  • information such as the visual field image, the gazing point (second gazing point), and the part to be watched (second gazing part) are recorded in the storage unit 24.
  • the driving information management apparatus 20 compares the operation of the worker 1A with the operation of the skilled worker 1B (step 106, difference analysis unit). Specifically, for example, a distance between gazing points, a difference in a region to be watched, a difference in timing for gazing at a specific target, and the like are calculated.
  • the work process performed by the worker is input to the driving information management apparatus 20 via the input unit 28 and stored in the storage unit 24.
  • the storage unit 24 stores a timing chart of the selected work process.
  • the work processes are synchronized according to this timing chart.
  • the status monitoring information of the press machine that is the work target monitoring information of the control machine that performs monitoring control of the press machine
  • the comparison process of the gazing point may be synchronized.
  • the operation information management apparatus 20 receives state monitoring information that the steel plate 51a is arranged in front of the press device 53 from the control device of the press device 53 via the communication unit, thereby The comparison process may be synchronized.
  • operation information is acquired from the storage unit 24 (step 107).
  • the distance between the gazing points calculated in step 106 is larger than a predetermined value (in this embodiment, the monitoring target is monitored, for example, when the gazing point of the operator is separated from the press portion of the press machine 53).
  • the operation information is obtained from the storage unit 24, and the information that is the reason why the excellent worker in the past arranged the gazing point (for example, the excellent worker always indicates that the “steel plate 51a is the press machine 53”). And so on) is added to the operation information.
  • an abnormality warning such as a warning for avoiding the state shown in FIG. 6C described above
  • an abnormality warning is displayed on the display unit 29.
  • the driving information management apparatus 20 transmits driving information via the communication unit 26 (step 108).
  • the viewpoint tracking device 10 receives the driving information via the communication unit 18 (step 109), and then, via the voice output unit 17, driving information and / or audio data of abnormality warning to the worker 1A. (Step 110, comparison information output unit).
  • the viewpoint tracking device 10 may provide information on the reason why the above-mentioned excellent worker has placed the point of sight as described above, “the pressing device 53 is in an open state before the steel plate 51 a enters between the pressing devices 53. Output “something”.
  • the worker confirms the driving information and considers the mistake in the work as shown in FIG. Before moving, it is possible to check the open state of the press machine 53 and take appropriate measures.
  • step 110 or 111 the visual field information, the gazing point, the part to be watched, and the driving information acquired during the work of the worker are similarly stored in the visual field information, the gazing point, It is also possible to display in comparison with the gaze site and driving information (comparison information output unit).
  • the viewpoint tracking device 10 can operate as an exemplary operation information input unit.
  • the skilled worker 1B wears the viewpoint tracking device 10 and performs an exemplary operation.
  • the viewpoint tracking device 10 includes the visual field image 38 (step 201), the gazing point 37 (second gazing point, step 202), and the work target object (second gazing point) of the gaze point of the skilled worker 1B.
  • step 203 is acquired and transmitted to the driving information management apparatus 20 (step 204).
  • the received information is recorded in the storage unit 12 (step 205).
  • the operation information management device 20 acquires the operation timing of the press machine as the operation target and the status monitoring information of the press machine in synchronization with the work of the skilled worker 1B and records it in the storage unit 12. To do.
  • exemplary operation characteristics can be analyzed using the processing unit 22 and the display unit 29 of the driving information management apparatus 20 (step 206).
  • operation information of the related press machine is acquired (step 207).
  • various comment texts related to exemplary operation information and explanation voices can be added (step 208).
  • step 206 the operation information of the worker 1A being trained acquired in steps 101 to 111 and the operation information of the skilled worker 1B can be compared and analyzed. From such comparative analysis, it is possible to extract the difference between the operation of the skilled worker 1B and the operation of the worker 1A during training.
  • the exemplary operation information created in this way can be effectively used for learning of a worker who is training.
  • FIG. 7A and 7B are diagrams showing an equipment state monitoring screen showing a comparison of operation information of the sizing press process displayed on the display unit 29 of the operation information management device 20.
  • FIG. 7A is a diagram illustrating a movement of a gazing point in a sizing press process performed by an excellent worker in the past.
  • FIG. 7B is a diagram illustrating a movement of a gazing point in a sizing press process performed by an operator with insufficient experience.
  • the gazing point 37a-1 shown in FIG. 7A is positioned so that an excellent worker can confirm that the press machine is open before the steel plate 51a-1 is pressed by the press 53a.
  • the gazing point 37b-1 shown in FIG. 7B is because an inexperienced operator has not confirmed that the press machine is open before the steel plate 51b-1 is pressed by the press 53b.
  • it is positioned at a place different from the gaze point 37a-1 of an excellent worker.
  • the operation information stored in the storage unit 24 is displayed on 38a-2 and 38b-2 of the equipment state monitoring screens 38a and 38b.
  • the operation information 38a-2 and 38b-2 a comment such as “confirming the open state of the press machine” is described. By confirming this comment, an inexperienced worker can clearly determine the reason for the difference in gaze between the self and the excellent worker. And the technical management process of a rolling process is complete
  • the operation management level is.
  • the user's level is determined based on the comparison display described in step 111. It becomes possible.
  • standard management can be easily performed by storing a visual field image, a gazing point, driving information, etc. (especially reasons for attention point placement) for each level, such as advanced, intermediate, and beginner.
  • the operation management method using the viewpoint tracking device 10 and the operation information management device 20 has a variety of work target devices and equipment state monitoring screens, and an operator pays attention to which object for what purpose.
  • the operation management method using the viewpoint tracking device 10 and the operation information management device 20 does not create and update the simulation data of the work target device as in the past, and the imaging range actually captured by the camera is determined. Operation management can be performed. At the same time, by comparing the excellent driving information in the past with the driving information of the worker being trained, learning of work can be efficiently promoted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)

Abstract

　この技術管理方法は、装置を運転するための技術管理方法であって、第１の作業者の視野内の第１の注視点を取得する工程と；前記第１の注視点に対応する前記装置上の第１の被注視部位を分析する工程と；前記第１の被注視部位に関連する前記装置の運転情報を取得する工程と；前記運転情報を出力する工程と；前記第１の注視点と、過去に第２の作業者が記録した第２の注視点とを、相互比較可能に出力する工程と；を備える。

Description

技術管理装置及び技術管理方法
　本発明は、技術管理装置及び技術管理方法に関し、特に、作業者の視野に相当する画像上に、作業対象物の仕様と作業者の注視点とを重ね合わせて表示する技術管理装置及び技術管理方法に関する。
　従来、製造業等における作業方法の教習は、実際の作業現場や専門の研修設備等の限られた場所で実際に作業機械を用いて行われたり、又は、紙面に記載した作業方法により行なわれたりしている。
　熟練した作業者が減少する社会背景上、短時間に技術技能を伝承する必要がある。さらに、企業内の合理化が進む中、ＯＪＴ（Ｏｎ－ｔｈｅ－Ｊｏｂ　Ｔｒａｉｎｉｎｇ）を行う時間も確保するのが難しい。そのため、作業方法に関する技術技能を効率的に教習していくことが、製造業等の業種において重要課題となっている。
　実際の作業を行わずにシミュレーションで作業内容の教育研修を行う方法が提案されている（特許文献１）。この方法では、シミュレーションコース上での基本画像データを予め記憶しておき、車両モデルと、操作者による操作信号に基づいてシミュレーションデータを生成する。さらにはこのシミュレーションデータを、操作者が装着したヘッドマウントディスプレイに表示することで、作業内容の教育研修を行う。
　上記の方法では、運転操作シミュレーション処理中に、操作信号及び運転者の視点情報などの、時間経過に対応した操作履歴データが外部メモリに記憶される。記憶された操作履歴データは、遠隔地の技術教官に送付されて、シミュレーション装置により再生される。このようにして、技術教官は遠隔地にいながら、研修受講者の操作内容を確認できる。同様な遠隔地からの技術指導の方法は特許文献２，３にも開示されている。
　観察者が装着したＨＭＤ（ヘッドマウンテッドディスプレイ）に仮想立体映像を投影し、観察者がゴーグルを通して見た現実空間と光学的に合成して観察者に視覚的な作業情報を提供し、現実空間内での作業者の行動支援を行うシミュレーションシステムが提案されている（特許文献２）。このシステムは、視点位置検出手段を備える。この視点位置検出手段が取得した視点位置情報に基づいて、仮想立体映像がＨＭＤに投影される。
　同様にＨＭＤを使う別の作業誘導システムが提案されている（特許文献４）。この作業誘導システムは、現実の作業対象物に、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を重ねて表示し、同時に、作業内容の説明情報の音声データを出力する。
　更に別の作業情報提供装置では（特許文献５）、ＣＣＤカメラや作業者に設置したセンサを用い、作業者の行っている行為を同定する。作業者の視野・視点の情報に加えて、この作業行為情報を用い、作業行為情報データベースから作業者の行うべき作業行為の情報を取得し、表示する。
特開２００４－２５２０２４号公報 特開２０００－１５５８５５号公報 特開平１０－２５７４７５号公報 特開２００４－２１９３１号公報 特開２００１－２８２３４９号公報
　しかしながら、上記特許文献１～５に記載の方法では、シミュレーションコースに対応した３次元画像作成、作業対象に対応したシミュレーションデータ、アニメーション画像の作成など、出力情報データを準備するための多大な準備作業が必要になる。さらに、シミュレーションコースや作業対象の変更に対応した出力情報データの変更にも多大な作業が生じる等の不都合があった。
　特許文献１に記載の方法で、記憶された操作履歴データを、遠隔地の技術教官に送付するには、高速のネットワーク回線の設置が必要である。また、技術教官一人当たり、少数の研修受講者を対象とした操作指導しかできないという問題がある。特許文献３には、監督者が複数の現場にいる複数の作業者を監視できる、と記載されているが、個々の監督者の監視・監督能力には一定の限界がある。
　文献５では、作業行為情報データベースに作業者の行うべき作業行為の情報が予め記録される。しかし、このような作業行為の情報は、作業対象の一般的な操作方法等、未経験者向けの初級の情報に留まりがちである。熟練作業者による効率的な作業技術など、高度な作業行為の情報は、作業動作の細部にかかわるため、データベース化及び視覚的な表示が非常に困難であった。
　本発明は、上記事情に鑑みてなされたものであって、作業対象物に対する作業者の視野と注視点とを視点追尾装置を用いて管理することで、作業対象物の運転情報を作業者に与えることができる、技術管理装置及び技術管理方法の提供を目的とする。
　上記課題を解決して係る目的を達成するために、本発明は以下の手段を採用した。すなわち、
（１）　本発明は、装置を運転するための技術管理方法であって、第１の作業者の視野内の第１の注視点を取得する工程と；前記第１の注視点に対応する前記装置上の第１の被注視部位を分析する工程と；前記第１の被注視部位に関連する前記装置の第１の運転情報を取得する工程と；前記第１の運転情報を出力する工程と；第２の作業者の視野内の第２の注視点を取得する工程と；前記第２の注視点に対応する前記装置上の第２の被注視部位を分析する工程と；前記第２の注視点及び前記第２の被注視部位を記録する工程と；前記第２の被注視部位に関連する前記装置の第２の運転情報を取得する工程と；前記第１の注視点及び前記第２の注視点、または、前記第１の被注視部位及び前記第２の被注視部位を、相互比較可能に表示する工程と；を備える。
（２）上記（１）に記載の技術管理方法は、前記第１の作業者の視野、前記第１の注視点、前記第１の被注視部位、前記第１の運転情報、前記第２の作業者の視野、前記第２の注視点、前記第２の被注視部位、及び前記第２の運転情報を表示部に同時に表示する工程を更に備えてもよい。
（３）上記（１）に記載の技術管理方法は、前記装置の運転のタイミングチャートに従って、前記第１の注視点と前記第２の注視点との同期をとる工程を更に備えてもよい。
（４）上記（１）に記載の技術管理方法は、前記装置の状態監視情報に従って、前記第１の注視点と前記第２の注視点との同期をとる工程を更に備えてもよい。
（５）上記（１）に記載の技術管理方法は、前記第１の注視点と前記第２の注視点との差異を分析して出力する工程を更に備えてもよい。
（６）上記（１）に記載の技術管理方法は、前記第１の注視点と前記第２の注視点との距離が所定値よりも大きい場合、所定の警告を出力してもよい。
（７）また、本発明は、装置を運転するための技術管理装置であって、作業者の視野内の注視点を取得する注視点取得部と；前記注視点に対応する前記装置上の被注視部位を分析する被注視部位分析部と；前記被注視部位に関連する前記装置の運転情報を出力する運転情報出力部と；前記作業者の視野、前記注視点、前記被注視部位、及び前記運転情報を記憶する記憶部と；第１の作業者と第２の作業者とがそれぞれ記録した前記注視点を、相互比較可能に表示する表示部と；を備える。
（８）上記（７）に記載の技術管理装置において、前記表示部は、更に、前記第１の作業者と前記第２の作業者とがそれぞれ記録した、前記視野、前記被注視部位、及び前記運転情報を相互比較可能に表示してもよい。
（９）上記（７）に記載の技術管理装置は、前記記憶部が前記装置の運転のタイミングチャートを記憶し、前記タイミングチャートに従って、前記第１の作業者及び前記第２の作業者の前記注視点の同期をとる同期部を更に備えてもよい。
（１０）上記（７）に記載の技術管理装置は、前記装置の状態監視情報に従って、前記第１の作業者及び前記第２の作業者の前記注視点の同期をとる同期部を更に備えてもよい。　
（１１）上記（７）に記載の技術管理装置は、前記第１の作業者及び前記第２の作業者の前記注視点の差異を解析する差異解析部を更に備えてもよい。
　上記（１）及び（７）に記載の発明によれば、作業者の注視点及び、装置上の被注視部位を管理できる。この結果に従って、的確な運転情報を作業者に提供できる。従って、作業者が操作技術に未熟であっても、適切な運転情報を指示することで技術管理できる。また、例えば優秀な作業者があらかじめ記録した模範的な注視点の位置と、訓練中の作業者の注視点の位置とを比較することができる。このため、指導のための人員を直接用いることなく、任意の数の作業者に対して効果的に技術管理できる。
　上記（２）及び（８）に記載の発明によれば、例えば、熟練した優秀な作業者と、訓練中の作業者との装置操作上の視野、注視点、及び被注視部位を総合的に比較できる。このため、訓練中の作業者が自己の作業の問題点等の認識を容易に行うことができる。
　上記（３）及び（９）に記載の発明によれば、装置の運転のタイミングチャートに従って、第１の作業者と第２の作業者との操作情報を同期した上で、これら操作情報の比較ができる。このため、対応する操作の比較が容易にでき、これら操作情報の差異を明確に認識できる。
　上記（４）及び（１０）に記載の発明によれば、装置の状態監視情報に従って、第１の作業者と第２の作業者との操作情報を同期した上で、これら操作情報の比較ができる。このため、対応する操作の比較が容易にでき、これら操作情報の差異を明確に認識できる。
　上記（５）及び（１１）に記載の発明によれば、例えば、過去の優秀な作業者の注視点と、訓練中の作業者の注視点との差異を分析し、訓練中の作業者に通知することができる。これによって、指導人員の介助なしに、作業者が自己の作業を改善することができる。
　上記（６）に記載の発明によれば、例えば、模範的な注視点と、訓練中の作業者の注視点との距離が所定値よりも大きい場合、訓練中の作業者が異常な作業を行っていると判断できる。この場合、訓練中の作業者に警告を送ったり、改善策を通知したりすることができる。
図１は、技術管理装置及び技術管理方法の概要を示す図である。 図２は、視点追尾装置及び運転情報管理装置の機能構成を示す図である。 図３は、視点追尾装置の視線検出センサ及び被写体撮影カメラによる視線検出方法を示す図である。 図４Ａは、訓練中の技術者の技術管理方法を実行する場合の処理フローの一例を示す図である。 図４Ｂは、優秀な技術者の作業を記録する場合の処理フローの一例を示す図である。 図５は、設備状態監視画面の一例を示した図である。 図６Ａは、サイジングプレス工程におけるプレス機器等の概略上面図である。 図６Ｂは、鋼板がプレス機器でプレスされた状態を示す概略上面図である。 図６Ｃは、鋼板がプレス機器に衝突した状態を示す概略上面図である。 図７Ａは、優秀な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。 図７Ｂは、経験の不十分な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。
　以下、図面を参照して、本発明の技術管理装置及び技術管理方法の一実施形態を説明する。
　図１に示すように、作業者１Ａ(第１の作業者）は、頭部に視点追尾装置１０を装着する。視点追尾装置１０は、ハーフミラー１３を有して且つ作業者１Ａの視線を検出するための視線検出センサ１４と、視点追尾装置１０の姿勢を検出する３次元モーションセンサ１５と、作業者１Ａの視野画像（第１の視野画像）を撮影するための被写体撮影カメラ１６とを有する。この視点追尾装置１０は、有線又は無線のネットワーク２を介して、主に作業者１Ａの前記視野画像及び注視点を記憶し、管理するための運転情報管理装置２０と接続されている。
　被写体撮影カメラ１６は、所定の焦点距離のレンズを備え、図１に表されるように、被写体撮影カメラ１６の撮影方向である矢印３９の方向を向いて、被写体４１を撮影して、被写体４１を含む視野画像３８を取得する。さらに、視線検出センサ１４は、作業者１Ａの視線を検出し、それにより、視線３２による視野画像３８上の注視点３７（第１の注視点）を検出する。
　なお、視線検出方法は、既存の検出方法が適用可能である。例えば、特開２００５－３１２６０５号公報に開示される視線検出方法が適用可能である。
　次に、図２を用いて視点追尾装置１０及び運転情報管理装置２０の機能構成について説明する。
　視点追尾装置１０は、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部１１と、メモリやハードディスク等から構成されて各種データを記憶する記憶部１２と、視線検出センサ１４と、３次元モーションセンサ１５と、被写体撮影カメラ１６と、必要に応じて作業上の注意点等を作業者１Ａに伝えるための音声出力部１７と、有線又は無線ネットワーク２を介して運転情報管理装置２０と視野画像３８、注視点、注意点情報等の各種データの送受信を行う通信部１８とを有する。なお、視点追尾装置１０は、自らの位置（すなわち、この視点追尾装置１０の位置）を確認するために、ＧＰＳ衛星７０からのＧＰＳ情報（緯度経度情報）を取得するためのＧＰＳアンテナ１９を有しても良い。
　記憶部１２は、視野画像３８、注視点３７、後述する運転情報等の各種データを格納することができる。また、記憶部１２は、少なくとも、視点追尾装置１０における動作を処理部１１によって制御するためのプログラムを格納する。
　視線検出センサ１４は、注視点取得部として機能可能である。３次元モーションセンサ１５は、注視点位置判断部として機能可能である。処理部１１は、運転情報取得部として機能可能である。音声出力部１７は、運転情報出力部として機能可能である。記憶部１２は、運転情報記憶部として機能可能である。
　運転情報管理装置２０は、ＣＰＵ等から構成され少なくとも各種データの処理及び演算を行う処理部２２と；テンキーやキーボードから構成される入力部２８と；ネットワーク２に接続され、視点追尾装置１０から視野画像３８、注視点情報等を受信して、運転情報等を送信する通信部２６と；メモリやハードディスク等から構成される記憶部２４と；視野画像３８、注視点３７、運転情報等を表示する表示部２９と；を有している。表示部２９は、後述するように、比較情報出力部として機能可能である。
　記憶部２４には、運転情報管理装置２０における動作を処理部２２によって制御するためのプログラムや、視点追尾装置１０から受信した視野画像３８や、注視点情報等の情報や、視点追尾装置１０に送信するための運転情報等が格納されている。この運転情報は、装置の操業、生産物又は製造物の品質、生産又は製造工程の安全面等に関する情報や、作業を行うためのチェック項目になるような情報や、作業対象物又は装置のサイズや、温度条件や、基準等を含む。
　運転情報取得部と、運転情報出力部と、記憶部１２とは、運転情報記憶部として機能可能である。
　処理部２２は、運転情報取得部及び同期部として機能可能である。記憶部２４は、運転情報記憶部として機能可能である。表示部２９は、運転情報表示部として機能可能である。
　次に、図３を用いて、視点追尾装置１０の視線検出センサ１４及び被写体撮影カメラ１６による視線検出方法を説明する。視線検出は、訓練中の作業者１Ａが行うことができる。また、同様の構成を持つ、あるいは同一の視線検出センサ１４及び被写体撮影カメラ１６を用いて、熟練作業者１Ｂの視線検出を行うこともできる。
　矢印３９は、被写体撮影カメラ１６の撮影方向を示している。カメラ姿勢軸１１０は、３次元モーションセンサ１５が用いる視点追尾装置１０の向きを判断するための座標軸を示している。作業者１Ａの頭部方向をカメラ姿勢軸１１０のＣ軸とする。更に、カメラ姿勢軸１１０には、図示のようにＣ軸に直交するＡ軸と、Ａ軸及びＣ軸に直交するＢ軸とが設定されている。絶対座標軸１２０は、地球の自転方向を正とする自転方向軸であるＹ軸と、地面に対して水平な北極方向を正とする地磁気軸であるＺ軸と、地面から垂直上方向を正とする高度軸であるＸ軸とを含む。絶対座標軸１２０に対するカメラ姿勢軸１１０の回転変位は、Ｙ軸についてロール（κ）、Ｚ軸についてピッチ（φ）、Ｘ軸についてヨー（ω）と表される。
　３次元モーションセンサ１５は、ジャイロセンサ、地磁気センサ、重力センサ、加速度センサの少なくとも１つを有することができる。地磁気センサは、地面に対して水平な地磁気を測定し、緯度経度情報を検出できるため、絶対座標軸１２０に対するカメラ姿勢軸１１０への回転変位（κ、φ、ω）が算出可能である。また、重力センサは、視点追尾装置１０に対してどの方向から重力がかかっているかがわかる。重力センサを、視点追尾装置１０に単数または複数設置し、それらの検出データを互いに比較することにより、絶対座標軸１２０に対するカメラ姿勢軸への回転変位（κ、φ、ω）が検出可能になる。
　上記Ａ軸、Ｂ軸、Ｃ軸の各々には、ジャイロセンサ（図示略）が設けられている。これは、地磁気センサ及び重力センサのセンシングタイムよりも早い速度で視点追尾装置１０が回転する場合に対処するためである。地磁気センサ及び重力センサで検出した回転変位（κ、φ、ω）をジャイロ基準回転変位（κ０、φ０、ω０）として、ジャイロセンサによりその基準回転変位からの更なるジャイロ回転変位（κ１、φ１、ω１）を計算する。
　具体的なセンサ設置例としては、Ａ軸、Ｂ軸、Ｃ軸の方向のそれぞれに設置したジャイロとペアになるように、地磁気センサ又は重力センサを設置する（図示略）。これによって、基準点の検出、及び基準点からの回転動作の検出が可能となり、その結果、視点追尾装置１０の位置及び向きが検出可能となる。さらに、加速度センサ（図示略）を設置し、視点追尾装置１０の加速度を検知する。加速度センサにより素早い動きを検知したときは、ジャイロ回転変位（κ１、φ１、ω１）が重力センサや磁気センサのジャイロ基準回転変位（κ０、φ０、ω０）に補正をかける。視点追尾装置１０のゆっくりした動きを検知したときは、より正確を期すため、重力センサや磁気センサがジャイロ基準回転変位（κ０、φ０、ω０）を補正する。これによって、リアルタイムに視点追尾装置１０の回転変位（κ、φ、ω）を測定できる。
　また、視点追尾装置１０は、処理部１１を用いて、３次元モーションセンサ１５の地磁気センサ、及び／又は、ＧＰＳから緯度経度情報を検出し、視点追尾装置１０のカメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）を動的に検出することができる。なお、視点追尾装置１０を使用する場所が固定されて決まっているときは、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）は、手動入力しても良い。この手動入力は、例えば、運転情報管理装置２０の入力部２８で記憶部１２に格納する視点追尾装置１０制御用プログラムのカメラ投影中心座標Ｏの設定データとして入力され、通信部２６から通信部１８に送信され、記憶部１２に保存されることで行われる。
　このように、３次元モーションセンサ１５を用いて、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、及び、視点追尾装置１０の回転変位（κ、φ、ω）が求められる。そして、被写体撮影カメラ１６のレンズの焦点距離から決まる写角と、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）の回転変位（κ、φ、ω）とで決まる視野画像３８上の被写体の位置ｐ１（ｘｐ１，ｘｐ１）から、被写体の絶対座標上の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を判断することが可能となる。
　上述したように、視線検出センサ１４を用いて被写体上の注視点位置は判明している。このため、視線検出センサ１４の撮影方向にある視野画像３８上の注視点位置ｐ２（ｘｐ２，ｙｐ２）から、注視点の絶対座標上の位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）も判定することが可能となる。
　記憶部１２又は記憶部２４に、位置情報とともに、操作対象となる装置の構成や機能の情報を格納できる。これによって、作業者１Ａの視野画像３８内に存在し、注視点に対応する装置部位（被注視部位）の情報を処理部１１又は処理部２２（被注視部位分析部）が取得することが可能である。図３の例で説明すると、作業者１Ａが設備状態監視画面Ａ（４１ａ）を見ているか、設備状態監視画面Ｂ（４１ｂ）を見ているかは、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）の回転変位（κ、φ、ω）で決まる視野画像３８に写る被写体の位置ｐ１（ｘｐ１，ｘｐ２）に関連する絶対座標上の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）で判断可能である。さらに、設備状態監視画面Ａ（４１ａ）のどの部分を見ているかは、注視点位置ｐ２（ｘｐ２，ｙｐ２）に関連する絶対座標上の位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）により判断できる。したがって、注視点位置に相当する絶対座標上の位置がわかるため、その位置に配置される作業対象物（被注視部位）も判明する。さらに、その作業対象物に関する運転情報を処理部１１又は処理部２２が取得可能である。そして、作業対象物に関連する運転情報は、音声出力部１７を介して音声出力したり、表示部２９を介して表示したりして作業者１Ａに通知される（運転情報出力部）。これによって、装置に関する技術管理を確実に行うことができる。
　図４Ａを用いて、圧延工程において技術管理方法を行う場合の処理フローを説明する。この処理は、視点追尾装置１０及び運転情報管理装置２０を用いて実行される。なお、本実施形態では、作業者が、自己の作業の品質を管理するために、視点追尾装置１０を頭部に装着し、製鉄所、製油所、発電所、製品組立工場等の工場における中央処理装置等に設置される設備状態監視画面、及び必要に応じて操作盤を介して作業を行う。
　最初に、作業者１Ａは、設備操作及び監視のために、図５に示される設備状態監視画面４１ａ、４１ｂの何れか一方を監視する。設備状態監視画面４１ａには、圧延工程のサイジングプレス工程における鋼板５１ａ、ガイド５２、プレス機器５３を上面から撮影した画像が示される。設備状態監視画面４１ｂには、圧延工程の粗圧延工程における鋼板５１ｂ及び粗圧延器５４を側面から撮影した画像が示される。作業者が、設備状態監視画面４１ａ、４１ｂを監視することで、作業者の頭部が動き、それに従って、視点追尾装置１０の被写体撮影カメラ１６が視野画像３８ａを撮影する。作業者が設備状態監視画面上の作業対象物（図５の例では、サイジングプレス工程におけるプレス機器５３へ鋼板５１ａが移動する箇所）に視線を当てることで注視点３７ａが決まる。
　図４Ａに戻ると、被写体撮影カメラ１６は、作業者の頭部の動きに応じて、視野画像３８ａを取得し（ステップ１０１）、視線検出センサ１４は、作業者の注視点を追尾して、視野画像上の作業者の注視点３７ａを取得する（ステップ１０２）。次に、３次元モーションセンサ１５は、その絶対座標上の位置Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）及び作業者の頭部の向きを判断する。これによって、視野画像上の被写体の絶対座標上の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）が取得され、注視点の絶対座標上の位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）が取得される（ステップ１０３）。この後、処理部１１又は処理部２２が注視点に相当する操作対象（被注視部位）の情報を取得する。視点追尾装置１０は、通信部１８を介して運転情報管理装置２０に視野画像、注視点、被注視部位を運転情報管理装置２０に送信（ステップ１０４）する。運転情報管理装置２０は、通信部２６を介してその情報を受信する（ステップ１０５）。
　図６Ａ～Ｃを用いて、サイジングプレス工程の技術管理上における必要な運転情報について説明する。図６Ａは、サイジングプレス工程における鋼板５１ａと、ガイド５２と、プレス機器５３との概略上面図である。図６Ａに示される鋼板５１ａは、プレス機器５３でプレスされる前の状態である。図６Ｂでは、例えば制御盤を介した作業者の指示により、鋼板５１ａの下部にある図示されないローラが動作する。そして、鋼板５１ａがプレス機器５３の間に移動し、さらに、ガイド５２で固定される。その後に、鋼板５１ａがプレス機器５３でプレスされる。図６Ｃは、鋼板５１ａがプレス機器５３に衝突した状態を示す。
　例えば、製鉄所の作業者は、図６Ａに表されるように、鋼板５１ａがプレス機器５３の間に入る前に、プレス機器５３が開いた状態にあり、鋼板５１ａが移動してもプレス機器５３に衝突しないことを確認する必要がある。この確認を怠ると、図６Ｃに示すような衝突状態が発生する可能性があり、このような場合、鋼板５１ａ及びプレス機器５３が損傷する原因となる。
　このように、図６Ａに表されるように、鋼板５１ａがプレス機器５３の間に入る前に、プレス機器５３が開いた状態にあることを確認することは、技術管理上で重要な情報であり、各作業者に伝承すべき技術技能の例である。
　後述の工程２００～２０８により、予め、熟練作業者１Ｂ（第２の作業者）が本サイジングプレス工程を実行する。これによって、その視野画像、注視点（第２の注視点）、被注視部位（第２の被注視部位）等の情報が記憶部２４に記録される。
　再び、図４Ａに戻ると、運転情報管理装置２０は、作業者１Ａの操作と、熟練作業者１Ｂの操作とを比較する（ステップ１０６、差異解析部）。具体的には、例えば、注視点間の距離、被注視部位の差異、特定の対象を注視するタイミングの差異等が算定される。なお、本実施形態では、作業者の行う作業工程が、運転情報管理装置２０に入力部２８を介して入力され、記憶部２４に記憶される。このため、その情報をもとに、比較対象となる過去の優秀な技術者の注視点の位置情報が選択される。さらに、注視点の比較処理において、作業者の注視点と過去の優秀な技術者の注視点の時刻情報との同期をとることができる。この操作のために、記憶部２４には、選択された作業工程のタイミングチャートが格納されている。このタイミングチャートに従って作業工程の同期が取られる。また、記憶部２４に記憶された作業者が行う工程の情報をもとに、作業対象物であるプレス機器の状態監視情報（プレス機器の監視制御を行っている制御機器の監視情報）と同期することで、注視点の比較処理の同期が取られても良い。具体的には、運転情報管理装置２０が、プレス機器５３の制御機器から鋼板５１ａがプレス機器５３の前に配置されたという状態監視情報を、通信部を介して受信することで、注視点の比較処理の同期が取られても良い。
　次に、記憶部２４から運転情報を取得する（ステップ１０７）。また、ステップ１０６で算定された注視点間の距離が、所定値よりも大きい場合（本実施形態では、作業者の注視点がプレス機器５３のプレス部分から離れた場合など、監視対象を監視していない場合である）、記憶部２４から運転情報を取得して、過去の優秀な作業者が注視点を配置した理由となる情報（例えば、優秀な作業者が常に「鋼板５１ａがプレス機器５３の間に入る前に、プレス機器５３が開いた状態を確認」している等）が運転情報に加えられる。また、注視点比較距離が基準値を超えた場合、異常警告（前述の図６Ｃに示す状態を回避するための警告等）を運転情報に含めても良い。この場合、例えば異常警告が表示部２９に表示される。
　次に、運転情報管理装置２０は、運転情報を、通信部２６を介して送信（ステップ１０８）する。視点追尾装置１０は、運転情報を、通信部１８を介して受信（ステップ１０９）し、次に、音声出力部１７を介して、作業者１Ａに対して運転情報及び／又は異常警告の音声データを出力する（ステップ１１０、比較情報出力部）。例えば、視点追尾装置１０は、上記したような過去の優秀な作業者が注視点を配置した理由となる情報「鋼板５１ａがプレス機器５３の間に入る前に、プレス機器５３が開いた状態にあること」等を出力する。
　このように、作業者が注視した対象に対する運転情報が作業者に音声出力されるため、作業者は、運転情報を確認することで図６Ｃに示すような作業のミスを考慮し、鋼板５１ａが移動する前にプレス機器５３の開状態を確認し適切な対処をとることが可能である。
　また、ステップ１１０または１１１では、作業者の作業中に取得された視野情報、注視点、被注視部位、運転情報を、同様に記憶された過去の優秀な作業者に関する視野情報、注視点、被注視部位、運転情報と比較して表示することも可能である（比較情報出力部）。
　図４Ｂを用いて、熟練作業者（優秀な作業者、第２の作業者）１Ｂの作業を記録する場合の処理フローの一例を説明する。この作業は、熟練作業者１Ｂが、上記のステップ１０１～１１１で用いたものと同一の、あるいは同様の構成を持つ別の視点追尾装置１０及び運転情報管理装置２０を用い、ステップ１０１～１１１と類似の手順に従って実行する。つまり、視点追尾装置１０は模範的操作情報入力部として動作可能である。
　熟練作業者１Ｂは、視点追尾装置１０を装着して模範的操作を行う。このとき、視点追尾装置１０は、熟練作業者１Ｂの、視野画像３８（ステップ２０１）、注視点３７（第２の注視点、ステップ２０２）、被注視部位の作業対象物（第２の被注視部位、ステップ２０３）を取得し、運転情報管理装置２０に送信する（ステップ２０４）。受信された情報は、記憶部１２に記録される（ステップ２０５）。これと同時に、運転情報管理装置２０は、操作対象であるプレス機器の運転のタイミング、及び、プレス機器の状態監視情報を、熟練作業者１Ｂの作業と同期して取得し、記憶部１２に記録する。
　この後、運転情報管理装置２０の処理部２２及び表示部２９を用いて、模範的な操作の特徴を解析できる（ステップ２０６）。また、関連するプレス機器の運転情報が取得される（ステップ２０７）。さらに、入力部２８を用いて、模範的操作の情報に関する各種のコメント文や、説明音声を付加することができる（ステップ２０８）。
　また、上記ステップ２０６において、ステップ１０１～１１１で取得した、訓練中の作業者１Ａの操作情報と、上記の熟練作業者１Ｂの操作情報とを比較して解析できる。このような比較分析から、熟練作業者１Ｂの操作の特徴と、訓練中の作業者１Ａの操作の差異を抽出することができる。
　このように作成した模範的操作情報を、訓練中の作業者の学習に効果的に使用できる。
　図７Ａ，Ｂは、運転情報管理装置２０の表示部２９に表示されるサイジングプレス工程の運転情報の比較を示す設備状態監視画面を示す図である。
　図７Ａは、過去の優秀な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。図７Ｂは、経験不十分な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。
　図７Ａに示される注視点３７ａ－１は、優秀な作業者が、鋼板５１ａ－１がプレス５３ａでプレスされる前に、プレス機器が開いた状態であることを確認するために位置づけられる。一方、図７Ｂに示される注視点３７ｂ－１は、経験不十分な作業者が、鋼板５１ｂ－１がプレス５３ｂでプレスされる前にプレス機器が開いた状態であることを確認してないために、優秀な作業者の注視点３７ａ－１とは異なる場所に位置づけられる。
　さらに、設備状態監視画面３８ａ、３８ｂの３８ａ－２、３８ｂ－２には、視野画像及び注視点に加えて、記憶部２４に記憶した運転情報が表示される。そして、運転情報３８ａ－２、３８ｂ－２には、「プレス機器の開状態を確認」する等のコメントが記載される。経験不十分な作業者はこのコメントを確認することで、自己と優秀な作業者との注視点の違いの理由を明確に判別可能である。
　そして、圧延工程の技術管理処理は終了する。
　作業者は、自分の運転管理レベルがどの辺りにあるかを把握することが難しい。記憶部２４に記憶される過去の作業者の視野画像や注視点等を、上級者、中級者、初心者に分類して評価することで、ステップ１１１で説明した比較表示により自分のレベルを判断することが可能となる。また、上級者、中級者、初心者とレベル毎に視野画像、注視点、運転情報等（特に注意点配置理由）を記憶部２４に保存することで、標準管理を容易に行うことができる。
　このように、視点追尾装置１０及び運転情報管理装置２０を用いた運転管理方法は、様々な作業対象機器ならびに設備状態監視画面がある中で、作業者がどの対象物をどのような目的で注目し、またどのような対象物同士を比較することによって、安全を確認しているかを明らかにできる。これによって、操業、品質、及び安全の各方面から管理することを可能にする。
　このように、視点追尾装置１０及び運転情報管理装置２０を用いた運転管理方法は、従来のように作業対象機器のシミュレーションデータの作成及び更新をすることなく、実際にカメラで撮影した撮影範囲を用いて運転管理を行うことができる。これと共に、過去の優秀な運転情報と訓練中の作業者の運転情報とを比較することで、作業の学習を効率的に促進できる。
　１Ａ　　第１の作業者
　１Ｂ　　第２の作業者
　２　　ネットワーク
　１０　　視点追尾装置
　１１、２２　　処理部
　１２、２４　　記憶部
　１４　　視線検出センサ
　１５　　３次元モーションセンサ
　１６　　被写体撮影カメラ
　１７　　音声出力部
　１８、２６　　通信部
　２０　　運転情報管理装置

Claims (11)

  1. 　装置を運転するための技術管理方法であって、
    　第１の作業者の視野内の第１の注視点を取得する工程と；
    　前記第１の注視点に対応する前記装置上の第１の被注視部位を分析する工程と；
    　前記第１の被注視部位に関連する前記装置の第１の運転情報を取得する工程と；
    　前記第１の運転情報を出力する工程と；
    　第２の作業者の視野内の第２の注視点を取得する工程と；
    　前記第２の注視点に対応する前記装置上の第２の被注視部位を分析する工程と；
    　前記第２の注視点及び前記第２の被注視部位を記録する工程と；
    　前記第２の被注視部位に関連する前記装置の第２の運転情報を取得する工程と；
    　前記第１の注視点及び前記第２の注視点、または、前記第１の被注視部位及び前記第２の被注視部位を、相互比較可能に表示する工程と；
    　を備えることを特徴とする技術管理方法。
  2. 　前記第１の作業者の視野、前記第１の注視点、前記第１の被注視部位、前記第１の運転情報、前記第２の作業者の視野、前記第２の注視点、前記第２の被注視部位、及び前記第２の運転情報を表示部に同時に表示する工程を更に備えることを特徴とする請求項１に記載の技術管理方法。
  3. 　前記装置の運転のタイミングチャートに従って、前記第１の注視点と前記第２の注視点との同期をとる工程を更に備えることを特徴とする請求項１に記載の技術管理方法。
  4. 　前記装置の状態監視情報に従って、前記第１の注視点と前記第２の注視点との同期をとる工程を更に備えることを特徴とする請求項１に記載の技術管理方法。
  5. 　前記第１の注視点と前記第２の注視点との差異を分析して出力する工程を更に備えることを特徴とする請求項１に記載の技術管理方法。
  6. 　前記第１の注視点と前記第２の注視点との距離が所定値よりも大きい場合、所定の警告を出力することを特徴とする請求項１に記載の技術管理方法。
  7. 　装置を運転するための技術管理装置であって、
    　作業者の視野内の注視点を取得する注視点取得部と；
    　前記注視点に対応する前記装置上の被注視部位を分析する被注視部位分析部と；
    　前記被注視部位に関連する前記装置の運転情報を出力する運転情報出力部と；
    　前記作業者の視野、前記注視点、前記被注視部位、及び前記運転情報を記憶する記憶部と；
    　第１の作業者と第２の作業者とがそれぞれ記録した前記注視点を、相互比較可能に表示する表示部と；
    　を備えることを特徴とする技術管理装置。
  8. 　前記表示部は、更に、前記第１の作業者と前記第２の作業者とがそれぞれ記録した、前記視野、前記被注視部位、及び前記運転情報を相互比較可能に表示することを特徴とする請求項７に記載の技術管理装置。
  9. 　前記記憶部が前記装置の運転のタイミングチャートを記憶し、
    　前記タイミングチャートに従って、前記第１の作業者及び前記第２の作業者の前記注視点の同期をとる同期部を更に備えることを特徴とする請求項７に記載の技術管理装置。
  10. 　前記装置の状態監視情報に従って、前記第１の作業者及び前記第２の作業者の前記注視点の同期をとる同期部を更に備えることを特徴とする請求項７に記載の技術管理装置。
  11. 　前記第１の作業者及び前記第２の作業者の前記注視点の差異を解析する差異解析部を更に備えることを特徴とする請求項７に記載の技術管理装置。
PCT/JP2009/059878 2009-05-29 2009-05-29 技術管理装置及び技術管理方法 WO2010137165A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/059878 WO2010137165A1 (ja) 2009-05-29 2009-05-29 技術管理装置及び技術管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/059878 WO2010137165A1 (ja) 2009-05-29 2009-05-29 技術管理装置及び技術管理方法

Publications (1)

Publication Number Publication Date
WO2010137165A1 true WO2010137165A1 (ja) 2010-12-02

Family

ID=43222306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/059878 WO2010137165A1 (ja) 2009-05-29 2009-05-29 技術管理装置及び技術管理方法

Country Status (1)

Country Link
WO (1) WO2010137165A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013245927A (ja) * 2012-05-29 2013-12-09 Japan Radio Co Ltd 訓練支援システム
JP2018132556A (ja) * 2017-02-13 2018-08-23 横河電機株式会社 作業者育成装置、作業者育成方法、作業者育成プログラム及び記録媒体
WO2020194882A1 (ja) * 2019-03-26 2020-10-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP7418711B1 (ja) 2023-05-11 2024-01-22 株式会社 情報システムエンジニアリング 注意抽出システム、及び注意抽出方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620180A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 事象再現装置
JP2845926B2 (ja) * 1989-03-20 1999-01-13 株式会社日立製作所 マンマシンシステム
JP2900132B2 (ja) * 1995-06-09 1999-06-02 ユー・エム・シー・エレクトロニクス株式会社 クレーンの操作訓練用シミュレータ
JP2001071140A (ja) * 1999-09-02 2001-03-21 Toshiba Corp 手溶接支援装置、手溶接支援方法、手溶接訓練装置、および手溶接訓練方法
JP2002006726A (ja) * 2000-06-22 2002-01-11 Toshiba Corp 作業指導システム、作業指導方法及び記憶媒体
JP2002351293A (ja) * 2001-05-22 2002-12-06 Yoriaki Yamai 動作分析方法
JP2004110231A (ja) * 2002-09-17 2004-04-08 Toshiba Corp プラント運転支援装置
JP2004240264A (ja) * 2003-02-07 2004-08-26 Mitsubishi Electric Corp 体感型訓練システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2845926B2 (ja) * 1989-03-20 1999-01-13 株式会社日立製作所 マンマシンシステム
JPH0620180A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 事象再現装置
JP2900132B2 (ja) * 1995-06-09 1999-06-02 ユー・エム・シー・エレクトロニクス株式会社 クレーンの操作訓練用シミュレータ
JP2001071140A (ja) * 1999-09-02 2001-03-21 Toshiba Corp 手溶接支援装置、手溶接支援方法、手溶接訓練装置、および手溶接訓練方法
JP2002006726A (ja) * 2000-06-22 2002-01-11 Toshiba Corp 作業指導システム、作業指導方法及び記憶媒体
JP2002351293A (ja) * 2001-05-22 2002-12-06 Yoriaki Yamai 動作分析方法
JP2004110231A (ja) * 2002-09-17 2004-04-08 Toshiba Corp プラント運転支援装置
JP2004240264A (ja) * 2003-02-07 2004-08-26 Mitsubishi Electric Corp 体感型訓練システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013245927A (ja) * 2012-05-29 2013-12-09 Japan Radio Co Ltd 訓練支援システム
JP2018132556A (ja) * 2017-02-13 2018-08-23 横河電機株式会社 作業者育成装置、作業者育成方法、作業者育成プログラム及び記録媒体
WO2020194882A1 (ja) * 2019-03-26 2020-10-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP2020161933A (ja) * 2019-03-26 2020-10-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
EP3923569A4 (en) * 2019-03-26 2022-04-06 Kobelco Construction Machinery Co., Ltd. REMOTE CONTROL SYSTEM AND REMOTE CONTROL SERVER
JP7318258B2 (ja) 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
US11732440B2 (en) 2019-03-26 2023-08-22 Kobelco Construction Machinery Co., Ltd. Remote operation system and remote operation server
JP7418711B1 (ja) 2023-05-11 2024-01-22 株式会社 情報システムエンジニアリング 注意抽出システム、及び注意抽出方法

Similar Documents

Publication Publication Date Title
US11127211B2 (en) Plant management system, plant management method, plant management apparatus, and plant management program
EP2521109B1 (en) Information processing apparatus, information processing method, and program
CN111119887B (zh) 一种全息技术下矿井综采工作面的远程干预ar巡检系统
US8345066B2 (en) Device and method for simultaneously representing virtual and real ambient information
US8731276B2 (en) Motion space presentation device and motion space presentation method
US10013795B2 (en) Operation support method, operation support program, and operation support system
EP3403254A1 (en) Weld training systems to synchronize weld data for presentation
CN106340217A (zh) 基于增强现实技术的制造装备智能系统及其实现方法
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
AU2014277666A1 (en) Event recorder playback with integrated GPS mapping
WO2012142250A1 (en) Augumented reality system
US10969579B2 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
CN106707810A (zh) 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
JP2011018094A (ja) 巡回警備支援システム、方法及びプログラム
WO2010137165A1 (ja) 技術管理装置及び技術管理方法
JP7191560B2 (ja) コンテンツ作成システム
JP6364389B2 (ja) 検査方法及び検査システム
JP5605178B2 (ja) 通行車両監視システム及び車両用監視カメラ
WO2017149120A1 (en) Method for maintenance support and maintenance support system
JP5079542B2 (ja) 技術管理装置及び技術管理方法
KR101408325B1 (ko) 열차 시뮬레이터 장치, 열차 시뮬레이터 제공방법 및 그 기록매체
JPWO2018173213A1 (ja) 鉄鋼プラントの分析支援装置
Hegenberg et al. Task-and user-centered design of a human-robot system for gas leak detection: From requirements analysis to prototypical realization
JP5594088B2 (ja) 製造ラインの検討システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09845232

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 09845232

Country of ref document: EP

Kind code of ref document: A1