WO2018008576A1 - 検査評価装置、検査評価方法およびプログラム - Google Patents

検査評価装置、検査評価方法およびプログラム Download PDF

Info

Publication number
WO2018008576A1
WO2018008576A1 PCT/JP2017/024290 JP2017024290W WO2018008576A1 WO 2018008576 A1 WO2018008576 A1 WO 2018008576A1 JP 2017024290 W JP2017024290 W JP 2017024290W WO 2018008576 A1 WO2018008576 A1 WO 2018008576A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
evaluation
range
line
unit
Prior art date
Application number
PCT/JP2017/024290
Other languages
English (en)
French (fr)
Inventor
厚志 守谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2018008576A1 publication Critical patent/WO2018008576A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]

Definitions

  • the present invention relates to an apparatus, a method, and a program for evaluating visual inspection in quality inspection.
  • a human visual inspection may be performed after a preliminary inspection using an ultrasonic inspection or the like. It is possible to discover a defect that was not found by the preliminary inspection by human visual inspection, or to determine whether or not it is necessary to deal with the defect determined by the preliminary inspection. Since the visual inspection is likely to vary by the operator, a technique for evaluating the quality of the visual inspection is required.
  • a camera that images an object to be visually inspected and a camera that detects a line of sight are arranged on an operator's head, and the detected line of sight enters a predetermined inspection site on the object. Measure the amount of time. Then, the technique determines that the examination is not accurate when the line of sight is not within the examination site and when the line of sight is within the examination site for too long.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a technique for improving the accuracy of visual inspection evaluation as compared with the prior art.
  • a first aspect of the present invention is an inspection evaluation apparatus, an inspection range setting unit that sets a range to be inspected, and a gaze direction detection unit that detects a gaze direction of a subject who performs the inspection of the inspection target.
  • a face direction detection unit that detects the face direction of the subject, and an evaluation unit that evaluates the examination based on the range, the face direction, and the line-of-sight direction.
  • an inspection evaluation method the step of setting a range to be inspected, the step of detecting a line-of-sight direction of a subject who conducts the inspection of the subject, and the face of the subject Detecting a direction, and evaluating the inspection based on the range, the face direction, and the line-of-sight direction.
  • a program comprising: setting a range to be inspected in a computer; detecting a line-of-sight direction of a subject who performs the inspection of the subject; and A step of detecting a face direction, and a step of evaluating the examination based on the range, the face direction, and the line-of-sight direction.
  • the visual inspection can be evaluated with high accuracy.
  • FIG. 1 is a schematic diagram of an inspection evaluation system 100 according to the present embodiment.
  • the inspection evaluation system 100 includes an inspection evaluation device 110 and a mobile terminal 130.
  • the inspection evaluation apparatus 110 and the mobile terminal 130 are connected by a wireless connection such as a wireless local area network (LAN) or mobile communication.
  • the inspection evaluation apparatus 110 evaluates visual inspection using an ultrasonic sensor 120 for preliminary inspection of the object B, an object imaging camera 121 that images the object B, and a line-of-sight detection camera 122 that images the worker A. And an apparatus for outputting an evaluation result to the display 111 or the portable terminal 130.
  • the portable terminal 130 is a communication terminal that can be carried and displays an evaluation result from the inspection evaluation apparatus 110.
  • the inspection evaluation system 100 may include other devices such as servers and terminals.
  • FIG. 2 is a schematic configuration diagram of the inspection evaluation system 100 according to the present embodiment.
  • Each of the test evaluation device 110 and the portable terminal 130 may be configured by a single device, or may be configured by two or more physically separated devices connected by wire or wirelessly.
  • the test evaluation apparatus 110 is a laptop computer, a desktop computer, a workstation, a personal digital assistant, a server, a blade server, a mainframe, an embedded system, or the like.
  • the mobile terminal 130 is an arbitrary communication terminal such as a personal digital assistant, a mobile phone, or a smartphone. Specific hardware configurations of the inspection evaluation apparatus 110 and the mobile terminal 130 are not limited to the following configurations, and may be of various types and forms.
  • the inspection evaluation apparatus 110 includes a processor 112, a memory 113, and a storage device 114.
  • the inspection evaluation apparatus 110 includes a high speed controller 115 including a high speed interface and a low speed controller 117 including a low speed interface.
  • a memory 113 and a high-speed expansion port 116 are connected to the high-speed controller 115.
  • a display device such as a display 111 is connected to the high-speed controller 115.
  • a low-speed expansion port 118 and a storage device 114 are connected to the low-speed controller 117.
  • the processor 112, the memory 113, the storage device 114, the high-speed controller 115, the low-speed controller 117, and the high-speed expansion port 116 are connected to each other by various buses.
  • the processor 112, the memory 113, the storage device 114, the high-speed controller 115, the low-speed controller 117, and the high-speed expansion port 116 can be mounted on a common motherboard, or can be appropriately mounted in other forms. it can.
  • the processor 112 is, for example, a CPU (Central Processing Unit) and can process an instruction executed in the inspection evaluation apparatus 110.
  • Such an instruction includes an instruction stored in the memory 113 or the storage device 114 for displaying graphical information of GUI (Graphical User Interface) on a display device such as the display 111.
  • GUI Graphic User Interface
  • a plurality of processors, a plurality of buses, or a plurality of processors and a plurality of buses can be appropriately used together with a plurality of memories and a plurality of types of memories.
  • a plurality of inspection evaluation apparatuses 110 can be connected to each apparatus that performs a part of necessary processing.
  • a plurality of inspection evaluation apparatuses 110 can be connected to each other as a server bank, a group of blade servers, or a multiprocessor system.
  • the memory 113 stores information in the inspection evaluation apparatus 110.
  • the memory 113 is a volatile memory unit, a nonvolatile memory unit, or a combination thereof.
  • the memory 113 may be another computer-readable recording medium such as a magnetic disk or an optical disk.
  • the storage device 114 can constitute a mass storage for the inspection evaluation device 110.
  • the storage device 114 is a computer-readable recording medium such as a floppy (registered trademark) disk device, a hard disk device, an optical disk device, a tape device, a flash memory or other solid state memory device, a disk array, or the like. Including a computer-readable recording medium.
  • the storage device 114 may be a storage area network or other configuration device.
  • the high-speed controller 115 manages processing that uses bandwidth intensively for the inspection evaluation apparatus 110.
  • the low-speed controller 117 manages processing that is low enough to use bandwidth intensively.
  • such allocation of functions is merely illustrative and is not limited to this. Further, part or all of the high-speed controller 115 may be built in the processor 112.
  • the high-speed controller 115 is connected to the memory 113 and a high-speed expansion port 116 that can accept various expansion cards. Further, the high-speed controller 115 is connected to the display 111 via, for example, a graphics processor or an accelerator.
  • the low speed controller 117 is connected to the storage device 114 and the low speed expansion port 118.
  • the low-speed expansion port 118 can include communication ports of various standards such as USB (Universal Serial Bus), Bluetooth (registered trademark), wired or wireless Ethernet (registered trademark).
  • One or more input devices such as a keyboard, a pointing device, and a scanner are connected to the low-speed expansion port 118.
  • the ultrasonic sensor 120, the object imaging camera 121, and the line-of-sight detection camera 122 are connected to the low-speed expansion port 118.
  • the low-speed expansion port 118 can be connected to one or a plurality of network devices such as a switch and a router via a network adapter, for example. That is, the low speed expansion port 118 functions as a communication interface.
  • the ultrasonic sensor 120 is a sensor that performs an ultrasonic inspection as a pre-inspection for detecting a notable part in the object B in order to determine the inspection range of the visual inspection.
  • a defect in the object B detected by ultrasonic inspection is set as a notable location, and a visual inspection is performed with a range including the defect as an inspection range.
  • the ultrasonic sensor 120 has a function of irradiating ultrasonic waves toward the object B and detecting reflected waves while being driven along the inspection target surface of the object B. Since the ultrasonic wave is reflected on the surface of the object B or on the inside defect, the inspection / evaluation apparatus 110 can detect the defect and its depth and size based on the reflected wave.
  • an ultrasonic inspection is adopted as a preliminary inspection for detecting a notable part in the object B, but any inspection method such as an X-ray inspection or a terahertz wave inspection may be used.
  • the inspection evaluation apparatus 110 includes a sensor necessary for the employed inspection method. Two or more of these inspection methods may be used in combination.
  • the preliminary inspection may be performed by an apparatus different from the inspection evaluation apparatus 110, and the inspection evaluation apparatus 110 may receive and use data including the result of the preliminary inspection.
  • the object imaging camera 121 and the line-of-sight detection camera 122 are imaging units that each output an image of the imaging result as digital data.
  • any imaging device such as a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera may be used.
  • the object imaging camera 121 and the line-of-sight detection camera 122 include an imaging element, an electric circuit, a lens, and the like necessary for imaging.
  • the object imaging camera 121 is arranged at a position where the inspection target surface of the object B can be imaged as shown in FIG.
  • the line-of-sight detection camera 122 is arranged at a position where the face of the worker A can be imaged as shown in FIG.
  • the inspection evaluation apparatus 110 is not limited to the above-described form, and can be implemented in many different forms.
  • the test evaluation apparatus 110 can be implemented with a plurality of servers in the form of a standard server or a group of such servers. Further, the inspection evaluation apparatus 110 can be implemented as a part of the rack server system. Furthermore, the test evaluation apparatus 110 can be implemented in the form of a personal computer such as a laptop computer or a desktop computer.
  • Some or all of the programs to be executed by the processor 112 of the inspection / evaluation apparatus 110 are recorded on a DVD-ROM (Digital Versatile Disc-Read Only Memory), CD-ROM (Compact Disc-Read Only Memory), USB, or the like. It can be provided by a computer-readable recording medium such as a memory or other flash memory.
  • the mobile terminal 130 includes a processor 131, a memory 132, a display 133, a communication interface 134, a camera 135, and an electronic compass 136.
  • the mobile terminal 130 may include a storage device such as a microdrive or a flash memory as additional storage.
  • Each component of the mobile terminal 130 is interconnected using various buses. At least some of the components of the mobile terminal 130 may be mounted on a common motherboard or may be mounted in other ways.
  • the processor 131 can execute an instruction in the mobile terminal 130 such as an instruction stored in the memory 132.
  • the processor 131 may be implemented as a chip or chipset comprising one or more analog or digital processors.
  • the processor 131 controls other components of the mobile terminal 130 and performs, for example, display of a user interface, execution of an application, wireless communication, and the like.
  • the processor 131 can input / output information to / from the user through the display interface 139 and the input interface 140 connected to the display 133.
  • the display 133 for example, an arbitrary display unit such as a liquid crystal display or an organic EL (Electro Luminescence) display may be used.
  • Display interface 139 includes the circuitry necessary to drive display 133 to present images and other information to the user. Further, the display 133 is configured as a touch panel, and outputs a user operation as an electrical signal.
  • the input interface 140 receives electrical signals indicative of user operations on the display 133 and converts them for transmission to the processor 131.
  • the memory 132 stores information in the mobile terminal 130.
  • the memory 132 is, for example, a computer-readable recording medium, a volatile memory unit, a nonvolatile memory unit, or a combination thereof.
  • As the memory 132 for example, a flash memory, an NVRAM (Non-Volatile Random Access Memory), or the like may be used.
  • the camera 135 is an imaging unit that outputs an image of the imaging result as digital data.
  • any imaging device such as a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera may be used.
  • the camera 135 includes an image sensor, an electric circuit, a lens, and the like necessary for imaging.
  • the electronic compass 136 is a direction acquisition unit that acquires the direction of the mobile terminal 130.
  • any device that can acquire the orientation of the mobile terminal 130 such as a geomagnetic sensor may be used.
  • the communication interface 134 is connected to a GPS (Global Positioning System) receiver 137 and a mobile communication device 138.
  • the mobile communication device 138 includes voice communication such as GSM (Global System for Mobile communications) (registered trademark) system, messaging such as SMS (Short Message Service), and data communication such as CDMA (Code Division Multiple Access) system. Mobile communication is performed using any mode or protocol.
  • the mobile communication device 138 includes a processor, an electric circuit, an antenna, and the like necessary for mobile communication.
  • the mobile terminal 130 can communicate by voice using the voice interface 141.
  • the audio interface 141 is connected to a microphone and a speaker.
  • the voice interface 141 receives utterance information from the user through the microphone and converts it into digital information that can be processed by the processor 131.
  • the audio interface 141 can generate an audible sound toward the user through a speaker, for example.
  • the voice output from the voice interface 141 includes voice from a voice call, voice recorded in the memory 132 (for example, voice message, music file, etc.), or voice generated by an application operating on the mobile terminal 130.
  • the mobile terminal 130 is provided with an extension interface 142 and an external interface 143.
  • an expansion memory is connected to the expansion interface 142.
  • the extended memory functions as an additional storage for the mobile terminal 130 and may store programs or other information that operate on the mobile terminal 130.
  • the extended memory may store secure information, and in that case, functions as a security module.
  • the external interface 143 is configured to communicate with the processor 131 and can perform wired communication or wireless communication.
  • the external interface 143 performs short-range communication such as Bluetooth (registered trademark) or wireless communication such as a wireless LAN between the mobile terminal 130 and another device, for example.
  • short-range communication such as Bluetooth (registered trademark) or wireless communication such as a wireless LAN between the mobile terminal 130 and another device, for example.
  • a plurality of interfaces may be used in combination as the external interface 143.
  • FIG. 3 is a front view of an exemplary object B that is an inspection object of the present embodiment.
  • the inspection target surface B1 of the object B is shown on the near side.
  • the object B is, for example, a steel product or a resin product.
  • the object B includes defects C1 to C3 detected by ultrasonic inspection which is a preliminary inspection.
  • the defects C1 to C3 may exist on the surface or inside of the object B, but are all represented on the inspection target surface B1 of the object B for visibility.
  • the inspection evaluation apparatus 110 sets inspection ranges D1 to D3 for the defects C1 to C3.
  • the inspection ranges D1 to D3 are circles centered on the centers (for example, the center of gravity) of the defects C1 to C3, respectively.
  • the shape of the inspection range is not limited to a circle, and may be any shape such as an ellipse or a rectangle.
  • the inspection evaluation apparatus 110 determines whether or not the worker A has sufficiently inspected the inspection range in the visual inspection evaluation described later.
  • the inspection evaluation apparatus 110 determines the size of the inspection range (for example, the radius of the circle) based on at least one of the size of the defect (diameter or area), the depth from the inspection target surface B1, and the number of defects. decide. In the present embodiment, the inspection evaluation apparatus 110 sets the inspection range to be larger as the defect is larger, and sets the inspection range to be larger as the defect is deeper. In the example of FIG. 3, the defect C2 is located deeper from the inspection target surface B1 than the defect C1. For this reason, the inspection evaluation apparatus 110 sets the inspection range D2 of the defect C2 to be larger than the inspection range D1 of the defect C1. Further, the defect C3 is larger than the defect C1.
  • the inspection evaluation apparatus 110 sets the inspection range D3 of the defect C3 to be larger than the inspection range D1 of the defect C1.
  • the inspection evaluation apparatus 110 sets the size of the inspection range so that the set of defects is included when the number of defects within a predetermined range (that is, per predetermined unit area) is equal to or greater than a predetermined threshold. To do.
  • the inspection evaluation apparatus 110 displays the set inspection ranges D1 to D3 superimposed on the image of the object B using the display 111 or the portable terminal 130.
  • the worker A performs a visual inspection at least within the displayed inspection ranges D1 to D3.
  • the inspection ranges D1 to D3 may be displayed by broken lines surrounding the range as shown in FIG. 3, or may be displayed by changing the color within the range.
  • FIGS. 5A to 5B are schematic views of the face of the worker A.
  • FIG. The direction of the line of sight of the worker A is a line-of-sight direction E
  • the direction of the face of the worker A is a face direction F.
  • the gaze direction E and the face direction F are represented by arrows.
  • FIG. 4A shows a state where the line-of-sight direction E and the face direction F are deviated. In such a state, even if the line-of-sight direction is within the inspection range, the object is only seen from the edge of the eye, and thus there is a possibility that sufficient inspection has not been performed. Therefore, it can be used for the evaluation of the visual inspection whether or not the line-of-sight direction E and the face direction F are in a dissimilar state as shown in FIG. 4A.
  • FIGS. 4B and 5A show a state in which the face direction F is greatly and frequently moved.
  • the worker A moves the face direction F in the left-right direction
  • FIG. 5A the worker A moves the face direction F in the up-down direction.
  • the worker A is not concentrated on the inspection, and thus there is a possibility that sufficient inspection has not been performed. Therefore, it is possible to use whether or not the face is in a swinging state in which the face is moved large and frequently as shown in FIGS. 4B and 5A for the evaluation of the visual inspection.
  • FIGS. 4C and 5B show a state in which the line-of-sight direction E is greatly and frequently moved.
  • the worker A moves the line-of-sight direction E in the left-right direction
  • FIG. 5B the worker A moves the line-of-sight direction E up and down.
  • the worker A is not concentrated on the inspection, and thus there is a possibility that sufficient inspection has not been performed. Therefore, it can be used for visual inspection evaluation whether or not the user is in a line-of-sight swing state in which the line of sight moves large and frequently as shown in FIGS. 4C and 5B.
  • FIG. 6 is a block diagram of the inspection evaluation apparatus 110 according to the present embodiment.
  • lines between blocks indicate main data flows, and there may be data flows other than those shown in FIG.
  • each block shows a functional unit configuration, not a hardware (device) unit configuration.
  • the inspection evaluation apparatus 110 includes an evaluation storage unit 1101, a preliminary inspection unit 1102, an inspection range setting unit 1103, a face image acquisition unit 1104, a face area extraction unit 1105, a gaze direction detection unit 1106, a face direction detection unit 1107, and an inspection evaluation unit 1108. And an evaluation output unit 1109.
  • a preliminary inspection unit 1102, an inspection range setting unit 1103, a face image acquisition unit 1104, a face area extraction unit 1105, a gaze direction detection unit 1106, a face direction detection unit 1107, an inspection evaluation unit 1108, and an evaluation output unit 1109 is stored in the memory 113 as a program that can be executed by the processor 112.
  • the processor 112 when executing the inspection evaluation method according to the present embodiment, performs a preliminary inspection unit 1102, an inspection range setting unit 1103, a face image acquisition unit 1104, a face area extraction unit 1105, a gaze direction detection unit 1106, and a face direction detection unit.
  • the evaluation storage unit 1101 is a part of the memory 113 or the storage device 114. That is, the memory 113 or the storage device 114 functions as the evaluation storage unit 1101 when executing the inspection evaluation method according to the present embodiment.
  • the pre-inspection unit 1102 performs a pre-inspection for detecting a notable part in the object B.
  • the preliminary inspection is performed for each object B, and is performed again at the timing when the object B is switched. Switching of the object B can be detected by a change in a product ID represented by a barcode, RFID, or the like attached to the object B.
  • the pre-inspection unit 1102 detects a notable part by ultrasonic inspection.
  • the preliminary inspection unit 1102 drives the ultrasonic sensor 120 along the inspection target surface B1 of the object B, and detects the reflected wave while irradiating the object B with ultrasonic waves.
  • the preliminary inspection unit 1102 measures the peak of the time waveform of the reflected wave at each position on the inspection target surface B1 of the target object B, so that there is a defect in the position and depth on the target object B corresponding to the peak. It is determined that it exists.
  • the pre-inspection unit 1102 determines the detected defect as a point to be noted, and holds the position, size, and depth of the defect on the memory 113 or the storage device 114.
  • a part that satisfies a predetermined condition that requires attention especially in visual inspection such as a part having a complicated shape (for example, fine unevenness), may be used as a notable part in the object B.
  • the condition of the point to be noted is recorded in the storage device 114 in advance.
  • the inspection range setting unit 1103 sets an area including a defect detected by the pre-inspection unit 1102 on the image of the object B captured by the object imaging camera 121 as an inspection range that is a target of visual inspection. Specifically, the inspection range setting unit 1103 inspects each defect detected by the preliminary inspection unit 1102 based on a predetermined rule using at least one of the position, size, depth, and number of defects. Set the range.
  • the predetermined rule provides a circle having a larger radius, for example, the larger the defect, the deeper the defect, or the larger the number of defects per unit area. Conversely, the predetermined rule may provide a circle having a smaller radius, for example, the larger the defect, the deeper the defect, or the larger the number of defects per unit area.
  • the predetermined rule is a table that defines the relationship between the size, depth, and number of defects and the size of the inspection range, and is recorded in the storage device 114 in advance.
  • the inspection range setting unit 1103 determines the inspection range for performing the evaluation using the gaze direction and the face direction later based on the result of the preliminary inspection such as the ultrasonic inspection. Therefore, the inspection / evaluation apparatus 110 can cause the operator to perform visual inspection intensively in a high probability range in which defects are surfaced. Furthermore, since the inspection range setting unit 1103 determines the inspection range based on at least one of the size, depth, and number of defects detected by the pre-inspection, the inspection evaluation apparatus 110 gives the operator a more serious defect. You can call attention.
  • the inspection range setting unit 1103 may calculate the attention level of the inspection range based on at least one of the size, depth, and number of defects. Specifically, the inspection range setting unit 1103 calculates a higher degree of attention for each inspection range as the defect is larger, the defect is deeper, or the number of defects per unit area is larger. Then, the inspection range setting unit 1103 sets the size of the inspection range according to the attention level value. For example, the inspection range setting unit 1103 may set the inspection range smaller when the attention level is high than when the attention level is low.
  • the inspection range setting unit 1103 determines the inspection range based on the result of the preliminary inspection, but the preliminary inspection may be omitted and the range input by the input device may be used as the inspection range.
  • the inspection range setting unit 1103 can display the image of the object B imaged by the object imaging camera 121 on the display 111 and can accept the inspection area range designation from the input device.
  • the inspection range setting unit 1103 acquires the image of the object B captured by the object imaging camera 121.
  • the inspection range setting unit 1103 superimposes the set inspection range on the image of the object B and displays it using at least one of the display 111 and the mobile terminal 130.
  • the inspection range setting unit 1103 may print the inspection range set using a printer on paper.
  • the worker A refers to the displayed inspection range and starts a visual inspection at least within the inspection range.
  • the face image acquisition unit 1104 acquires the image of the worker A (that is, the subject of the visual inspection evaluation) captured by the visual line detection camera 122.
  • the line-of-sight detection camera 122 images an area including the face of the worker A every predetermined time (for example, every 0.1 second), and holds the image on the memory 113 or the storage device 114 as an image that is a still image file.
  • the face image acquisition unit 1104 may use an image that is a moving image file instead of an image that is a still image file. In that case, one frame in the moving image file is regarded as one image, and subsequent face area extraction, gaze direction detection, face direction detection, and examination evaluation are performed.
  • the face area extraction unit 1105 extracts an area including a human face from the image acquired by the face image acquisition unit 1104 by an arbitrary method. For example, the face area extraction unit 1105 acquires the luminance of each pixel of the image acquired by the face image acquisition unit 1104, and determines a set of pixels whose adjacent luminances are larger than a predetermined threshold as the face area. The face area extraction unit 1105 holds the position of the extracted face area (for example, the coordinates of the left end, right end, upper end, and lower end of the face area) on the memory 113 or the storage device 114.
  • the extraction of the face area is not limited to the one shown here, and may be performed by any method capable of extracting an area including a human face from the image.
  • the face area extraction unit 1105 may recognize a person in the face area using an arbitrary face recognition technique. Thereby, the inspection evaluation apparatus 110 can automatically identify the worker A. As another method, a worker ID for identifying the worker A may be received from the input device.
  • the gaze direction detection unit 1106 extracts the gaze direction from the face area extracted by the face area extraction unit 1105 by an arbitrary method. For example, the gaze direction detection unit 1106 acquires the positions of the pupils of the left and right eyes from the face region extracted by the face region extraction unit 1105 by template matching. Then, the gaze direction detection unit 1106 calculates the gaze direction for each of the left and right eyes based on the relative position of the pupil from a predetermined reference point on the human face.
  • the predetermined reference point is, for example, the position of the Purkinje image, which is a reflection point of light on the cornea, or the position of the eye.
  • the line-of-sight direction detection unit 1106 is based on a pre-recorded table indicating the relationship between the relative position of the pupil from the predetermined reference point and the line-of-sight direction, and the relative position of the pupil from the predetermined reference point in the face area. Is used to calculate the gaze direction.
  • a table indicating the relationship between the relative position of the pupil and the line-of-sight direction is determined in advance by experiments and simulations and recorded in the storage device 114.
  • the line-of-sight direction is represented by, for example, two angles of an azimuth angle ⁇ and an elevation angle ⁇ for each of the left and right eyes. Instead, the line-of-sight direction may be represented by an average value of the line-of-sight directions of the left and right eyes.
  • the line-of-sight direction detection unit 1106 holds the detected line-of-sight direction on the memory 113 or the storage device 114. The detection of the line-of-sight direction is not limited to that shown here, and may be performed by any method capable of detecting the direction of the line of sight of the worker A from the image.
  • the face direction detection unit 1107 extracts a face direction from the face region extracted by the face region extraction unit 1105 by an arbitrary method. For example, the face direction detection unit 1107 acquires the positions of the left and right eyes (pupil) and the position of the nose from the face region extracted by the face region extraction unit 1105 by template matching. Then, the face direction detection unit 1107 uses the line connecting the midpoint of the left and right eye positions and the nose position as the center line of the face, and the distance from the center line to the left end of the face area and the face area to the face area Find the ratio to the distance to the right edge of.
  • the face direction detection unit 1107 calculates the left and right face directions using the left and right ratios in the face area, based on a table indicating the relationship between the left and right ratios and the face directions recorded in advance.
  • a table indicating the relationship between the left / right ratio and the face direction is determined in advance through experiments and simulations and recorded in the storage device 114.
  • the face direction detection unit 1107 calculates the face direction in the vertical direction using the position of the constituent part of the face. For example, a line connecting the positions of the left and right eyes is a face horizontal line, and a ratio between a distance from the horizontal line to the upper end of the face area and a distance from the horizontal line to the lower end of the face area is obtained. Then, the face direction detection unit 1107 calculates the face direction in the vertical direction using the vertical ratio in the face area based on the table indicating the relationship between the vertical ratio and the face direction recorded in advance.
  • the face direction is represented by three angles, for example, a pan angle, a tilt angle, and a roll angle.
  • the face direction detection unit 1107 holds the detected face direction on the memory 113 or the storage device 114.
  • the detection of the face direction is not limited to the one shown here, and may be performed by any method capable of detecting the face direction of the worker A from the image.
  • the examination evaluation unit 1108 performs examination evaluation based on the examination range set by the examination range setting unit 1103, the gaze direction detected by the gaze direction detection unit 1106, and the face direction detected by the face direction detection unit 1107. .
  • the inspection evaluation unit 1108 includes an inspection range and a line-of-sight direction every predetermined time (for example, every 0.1 second) from the start to the end of the visual inspection of one object B that has been subjected to the preliminary inspection by the preliminary inspection unit 1102. The following determination is performed based on the face direction, and the score is accumulated based on the determination.
  • the score is a value representing the evaluation of the examination by the examiner, and the examination evaluation unit 1108 varies the score depending on whether the following determination is affirmative or negative.
  • the inspection evaluation unit 1108 determines that the worker A is out of range when at least one of the line-of-sight direction E and the face direction F is not within the inspection range. Specifically, the inspection evaluation unit 1108 determines whether or not a straight line extending in the line-of-sight direction E from a predetermined point on the face of the worker A falls within the inspection range on the inspection target surface B1 of the object B. Is calculated. Further, the inspection evaluation unit 1108 calculates whether or not a straight line extending the face direction F with a predetermined point on the face of the worker A as a base point is within the inspection range on the inspection target surface B1 of the object B.
  • the inspection evaluation unit 1108 determines that the worker A is out of the range. Any other method may be used to determine whether the line-of-sight direction E or the face direction F is within the examination range. Only one of the line-of-sight direction E and the face direction F may be used for out-of-range determination.
  • the inspection evaluation unit 1108 adds a predetermined addition score value to the accumulated score of the worker A when the worker A determines that the worker A is out of range. That is, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is out of range.
  • the accumulated score is used for the final evaluation of the inspection by the worker A.
  • the addition score value a value predetermined by experiment or simulation may be used, or a value input by an input device may be used.
  • the inspection evaluation unit 1108 may use different addition score values based on the degree of the gaze direction E being out of the inspection range in a state where the gaze direction E is not within the inspection range. For example, when the distance between the line-of-sight direction E and the inspection range is equal to or smaller than a predetermined threshold, the first addition score value is used, and when the distance between the line-of-sight direction E and the inspection range is larger than the predetermined threshold, the first A second addition score value larger than the addition score value is used. With such a configuration, the accumulation score can be finely controlled according to the magnitude of the difference between the line-of-sight direction E and the face direction F, and evaluation can be performed appropriately.
  • the examination evaluation unit 1108 calculates a time during which at least one of the line-of-sight direction E and the face direction F is in the examination range. When the time within the inspection range does not satisfy a predetermined condition (for example, within a time range of 5 to 10 seconds), the inspection evaluation unit 1108 determines that the worker A is in an out-of-hour state. The inspection evaluation unit 1108 adds a predetermined added score value to the accumulated score of the worker A when it is determined that the worker A is in the overtime state. That is, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is in an overtime state.
  • a predetermined condition for example, within a time range of 5 to 10 seconds
  • the inspection evaluation unit 1108 may determine the time condition based on the attention level of the inspection range calculated by the inspection range setting unit 1103. For example, the inspection evaluation unit 1108 sets a lower limit of the time range as the degree of attention increases. As another method, the examination evaluation unit 1108 determines the out-of-hour state based on the difference or ratio between the time when at least one of the line-of-sight direction E and the face direction F is within the examination range and the time when it is not. May be done.
  • the inspection evaluation unit 1108 acquires the order in which at least one of the line-of-sight direction E and the face direction F enters the inspection range when there are a plurality of inspection ranges. If the order of entering the inspection range does not satisfy a predetermined condition (for example, the order of the inspection ranges D2, D3, and D1 in FIG. 3), the inspection evaluation unit 1108 determines that the worker A is out of order. . When it is determined that the worker A is out of order, the inspection evaluation unit 1108 adds a predetermined addition score value to the worker A's accumulated score. That is, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is out of order.
  • a predetermined condition for example, the order of the inspection ranges D2, D3, and D1 in FIG. 3
  • the inspection evaluation unit 1108 may determine the order condition based on the attention level of the inspection range calculated by the inspection range setting unit 1103. For example, the inspection evaluation unit 1108 sets the inspection ranges arranged in descending order of attention as the order condition.
  • the inspection evaluation unit 1108 determines that the worker A is in a divergence state. Specifically, the examination evaluation unit 1108 obtains an angle difference (absolute value) with respect to the X direction and an angle difference (absolute value) with respect to the Y direction as the difference between the line-of-sight direction E and the face direction F, respectively.
  • the X direction is the horizontal direction (left-right direction) of the image including the face area
  • the Y direction is the vertical direction (up-down direction) of the image including the face area.
  • the X direction and the Y direction are not limited to this, and two different directions in the image including the face area may be used. Then, when the angle difference with respect to the X direction is larger than the threshold value with respect to the X direction, or when the angle difference with respect to the Y direction is larger than the threshold value with respect to the Y direction, the inspection evaluation unit 1108 determines that the worker A is in a separated state. In order to determine the difference between the line-of-sight direction E and the face direction F, they may be directly compared without being separated into the X and Y directions of the face region. In order to determine the difference between the line-of-sight direction E and the face direction F, any other method may be used.
  • the inspection evaluation unit 1108 adds a predetermined added score value to the accumulated score of the worker A when it is determined that the worker A is in a divergence state. That is, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is in a divergence state.
  • the threshold value and the addition score value of the difference between the line-of-sight direction E and the face direction F values predetermined by experiments or simulations may be used, or values input by the input device may be used.
  • the inspection evaluation unit 1108 may use different addition score values for each of a plurality of threshold values. For example, when the difference between the line-of-sight direction E and the face direction F is greater than the first threshold and equal to or less than the second threshold, the first addition score value is used, and the difference between the line-of-sight direction E and the face direction F is the second. If it is larger than the threshold value, the second addition score value is used. With such a configuration, the accumulation score can be finely controlled according to the magnitude of the difference between the line-of-sight direction E and the face direction F, and evaluation can be performed appropriately.
  • the inspection evaluation unit 1108 determines that the worker A is in the face swing state when the face direction F is moved large and frequently so as to satisfy a predetermined standard as shown in FIGS. 4B and 5A. Specifically, the examination evaluation unit 1108 acquires the face direction F from a predetermined time before the imaging time of the image being determined. Next, the inspection evaluation unit 1108 obtains the movement angle (absolute value) of the face direction F with respect to the X direction and the movement angle (absolute value) with respect to the Y direction in time series.
  • the X direction is the horizontal direction (left-right direction) of the image including the face area
  • the Y direction is the vertical direction (up-down direction) of the image including the face area.
  • the X direction and the Y direction are not limited to this, and two different directions in the image including the face area may be used. Then, the inspection evaluation unit 1108 captures an image when the movement angle with respect to the X direction is larger than the threshold value with respect to the X direction or the movement angle with respect to the Y direction is larger than the threshold value with respect to the Y direction. Calculate the number of occurrences until. The inspection evaluation unit 1108 determines that the worker A is in the face swing state when the calculated number of times is greater than a predetermined threshold. In order to determine the movement in the face direction F, the movement distance of the end of the line representing the face direction F on the face area may be used instead of the angle of the face direction F. In order to determine the movement in the face direction F, any other method may be used.
  • the inspection evaluation unit 1108 adds a predetermined addition score value to the accumulated score of the worker A when it is determined that the worker A is in the face-waving state. In other words, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is in a face swing state.
  • the threshold value, the time, the number of times, and the addition score value of the movement angle in the face direction F values previously determined by experiments or simulations may be used, or values input by an input device may be used.
  • the inspection evaluation unit 1108 determines that the face area to be determined is in the line-of-sight swing state when the line-of-sight direction E is moved large and frequently so as to satisfy a predetermined standard as shown in FIGS. 4C and 5B. Specifically, the examination evaluation unit 1108 acquires the line-of-sight direction E from a predetermined time before the imaging time of the image being determined. Next, the examination evaluation unit 1108 obtains a movement angle (absolute value) with respect to the X direction of the line-of-sight direction E and a movement angle (absolute value) with respect to the Y direction in time series.
  • the X direction is the horizontal direction (left-right direction) of the image including the face area
  • the Y direction is the vertical direction (up-down direction) of the image including the face area.
  • the X direction and the Y direction are not limited to this, and two different directions in the image including the face area may be used.
  • the inspection evaluation unit 1108 captures an image when the movement angle with respect to the X direction is larger than the threshold value with respect to the X direction or the movement angle with respect to the Y direction is larger than the threshold value with respect to the Y direction. Calculate the number of occurrences until.
  • the inspection evaluation unit 1108 determines that the worker A is in the line-of-sight swing state when the calculated number of times is greater than a predetermined threshold.
  • the movement distance of the line representing the line-of-sight direction E on the face area may be used instead of the angle of the line-of-sight direction E. Any other method may be used to determine the movement in the line-of-sight direction E.
  • the inspection evaluation unit 1108 adds a predetermined added score value to the accumulated score of the worker A when the worker A determines that the worker A is in the line of sight state. In other words, the inspection evaluation unit 1108 performs a negative evaluation when the worker A is in the line-of-sight state.
  • the threshold value, the time, the number of times, and the addition score value of the movement angle in the line-of-sight direction E values previously determined by experiments and simulations may be used, or values input by the input device may be used.
  • the inspection evaluation unit 1108 may perform all or part of out-of-range determination, out-of-order determination, deviation determination, face swing determination, and gaze determination in addition to out-of-range determination.
  • the inspection evaluation unit 1108 may perform the deviation determination, the face swing determination, and the line-of-sight swing determination only when it is determined in the out-of-range determination that the worker A is out of the range. Further, the inspection evaluation unit 1108 may perform other determinations that can evaluate the inspection based on the inspection range, the line-of-sight direction, and the face direction.
  • the inspection evaluation unit 1108 evaluates the inspection based on the accumulated score accumulated from the start time to the end time of the visual inspection.
  • the end of the visual inspection is detected when the inspection evaluation apparatus 110 receives an end instruction from the input device by the operator A or when the object B is switched to the next one.
  • the evaluation of the examination may be, for example, a first evaluation when the accumulation score is equal to or lower than a predetermined threshold, and may be a second evaluation that is more negative than the first evaluation when the accumulated score is larger than the predetermined threshold.
  • the threshold value of the accumulation score as the evaluation calculation criterion is determined in advance and recorded in the storage device 114.
  • the examination evaluation unit 1108 may make a determination for each of the left and right eyes.
  • the comparison method between the calculated value and the threshold value by the test evaluation unit 1108 is an example, and the comparison method may be appropriately changed depending on the definition of the calculated value and the threshold value. For example, “greater than or equal to the threshold value” may be “greater than the threshold value”, or may be “below the threshold value” or “less than the threshold value” by reversing the sign of the calculated value and the threshold value.
  • the inspection evaluation apparatus 110 not only determines whether or not the sight line direction E of the worker A is within the inspection range, but also the divergence and movement of the sight line direction E and the face direction F of the worker A. Based on the above, the visual inspection is evaluated. With such a configuration, the evaluation of the visual inspection can be performed with higher accuracy than the determination based on the line-of-sight direction E alone.
  • the inspection evaluation unit 1108 records information including the accumulation score in the evaluation storage unit 1101 in a predetermined format as inspection evaluation.
  • FIG. 7 is a schematic diagram of an exemplary test evaluation 1101 a recorded in the evaluation storage unit 1101.
  • the inspection evaluation 1101a may be recorded as one or a plurality of data files, or may be recorded as one or a plurality of databases.
  • the inspection evaluation 1101a includes a worker ID for identifying the worker A, a product ID for identifying the object B, a start time and an end time of the visual inspection for the object B.
  • the inspection evaluation 1101a includes a state determined by the inspection evaluation unit 1108.
  • the determined state is preferably recorded as a list associated with the determined time.
  • the determined state may be a state determined at least once from the start time to the end time.
  • the examination evaluation 1101a includes an accumulation score accumulated by the examination evaluation unit 1108 and an evaluation determined from the accumulation score.
  • the inspection evaluation 1101a may include additional information in addition to the information shown here.
  • the format of the inspection evaluation 1101a shown here is an example and may be recorded in an arbitrary format.
  • the evaluation output unit 1109 uses the display 111 connected to the test evaluation device 110 and the portable terminal 130 communicating with the test evaluation device 110 to perform the test evaluation determined by the test evaluation unit 1108 to the monitor. Output toward.
  • the supervisor is an administrator who manages the worker A, for example.
  • FIG. 8 is a front view of the mobile terminal 130 displaying the inspection evaluation from the evaluation output unit 1109.
  • the evaluation output unit 1109 receives the facial area of the worker A from the portable terminal 130 at the timing when the accumulated score calculated by the inspection evaluation unit 1108 in the visual inspection of the one object B by the worker A becomes larger than a predetermined threshold.
  • the information including the inspection evaluation is transmitted, and the mobile terminal 130 displays the inspection evaluation screen 130a on the display.
  • the monitor can call the worker A or give advice to the worker A with reference to the examination evaluation screen 130 a displayed on the mobile terminal 130.
  • the mobile terminal 130 displays the face area 130b extracted by the face area extraction unit 1105 for the worker A based on the information received from the evaluation output unit 1109.
  • the mobile terminal 130 displays the inspection evaluation display 130 c based on the information received from the evaluation output unit 1109.
  • the inspection evaluation display 130c includes a time when the face area was imaged, a worker ID for identifying the worker A, a state determined by the inspection evaluation unit 1108, and a character string representing the current accumulated score.
  • the face area corresponds to at least one of an out-of-range state, an out-of-time state, an out-of-order state, a deviation state, a face swing state, and a line-of-sight swing state. Displays a character string indicating the state, and displays normal if none of them is applicable.
  • the examination evaluation screen 130a illustrated in FIG. 9 is an example, and the display timing, the information to be displayed, and the display method thereof may be changed.
  • FIG. 9 is a front view of the display 111 displaying the inspection evaluation from the evaluation output unit 1109.
  • the evaluation output unit 1109 displays the inspection evaluation screen 111a on the display 111 when the inspection evaluation apparatus 110 receives a predetermined instruction from the input device by the supervisor.
  • the monitor can confirm the quality of the visual inspection by the worker A with reference to the inspection evaluation screen 130a displayed on the mobile terminal 130.
  • the inspection evaluation screen 111a includes a worker ID column 111b in which a worker ID can be input, a time column 111c in which a time range can be input, an individual evaluation column 111d indicating inspection evaluation for each product ID, and a comprehensive inspection evaluation.
  • An evaluation column 111e is included.
  • the evaluation output unit 1109 acquires from the evaluation storage unit 1101 an inspection evaluation corresponding to the worker ID input to the worker ID column 111b and the time range input to the time column 111c by the input device.
  • the evaluation output unit 1109 displays the acquired inspection evaluation in the individual evaluation column 111 d for each product ID of the display 111.
  • the start time and end time of visual inspection for one object B, the product ID of the object B, the determined state, the accumulated score, and the evaluation are displayed.
  • the present invention is not limited thereto, and other information related to the inspection evaluation may be displayed in the individual evaluation column 111d.
  • the evaluation output unit 1109 aggregates the information displayed in the individual evaluation column 111d and displays it in the comprehensive evaluation column 111e. Specifically, the evaluation output unit 1109 calculates the number of all product IDs included in the individual evaluation column 111d, the earliest disclosure time, the latest end time, the total value of accumulated scores, and the average value of accumulated scores, Displayed in the comprehensive evaluation column 111e. Further, the evaluation output unit 1109 calculates an evaluation based on the average accumulation score and displays it in the comprehensive evaluation column 111e. The calculation standard for evaluation is the same as that used by the inspection evaluation unit 1108.
  • the inspection evaluation screen 111a shown in FIG. 8 is an example, and the timing to display, the information to display, and the display method may be changed.
  • the method of outputting the evaluation by the evaluation output unit 1109 is not limited to using the display 111 connected to the inspection evaluation apparatus 110 and the portable terminal 130 communicating with the inspection evaluation apparatus 110, and a lamp, a speaker, a robot, or the like may be used.
  • the evaluation output unit 1109 can light a lamp disposed near the worker A whose accumulated score is equal to or greater than a predetermined threshold. With such a configuration, it is possible to notify the monitoring person that the quality of the visual inspection by the worker A has deteriorated.
  • the output contents are not limited to those directed to the supervisor, but may be directed to the worker A.
  • the evaluation output unit 1109 outputs a message or voice such as “Less concentration” from the display 111, the robot, or the speaker arranged near the worker A whose accumulated score is a predetermined threshold or more. Can do. With such a configuration, it is possible to directly inform the operator A that the quality of the visual inspection is deteriorated.
  • FIG. 10 is a diagram showing a flowchart of the inspection evaluation method according to the present embodiment.
  • the test evaluation method is started when a predetermined operation such as a button press for starting processing is detected on the test evaluation apparatus 110, for example.
  • the preliminary inspection unit 1102 performs preliminary inspection to detect the position, size, and depth of the defect in the object B using the ultrasonic sensor 120 (step S11).
  • the inspection range setting unit 1103 sets an inspection range to be visually inspected by the above-described method for the defect detected in Step S11 on the image of the object B captured by the object imaging camera 121. Set (step S12). Then, the inspection range setting unit 1103 displays the set inspection range using the display 111 or the mobile terminal 130.
  • the face image acquisition unit 1104 acquires an image of the worker A (that is, the person to be evaluated by visual inspection) captured by the line-of-sight detection camera 122 (step S13).
  • the face area extraction unit 1105 extracts a face area including a human face from the image acquired in step S13 by the above-described method (step S14).
  • the line-of-sight direction detection unit 1106 extracts the line-of-sight direction from the face region extracted in step S14 by the method described above (step S15).
  • the face direction detection unit 1107 extracts the face direction from the face region extracted in step S14 by the method described above (step S16). Note that steps S15 and S16 may be performed in an arbitrary order or may be performed in parallel.
  • the inspection evaluation unit 1108 uses the inspection range set in step S12 and the gaze direction and face direction acquired in steps S15 to S16 to evaluate the visual inspection by the inspection evaluation process described later with reference to FIG. (Step S100).
  • the evaluation of the visual inspection includes the above-described out-of-range determination, out-of-time determination, out-of-order determination, deviation determination, face swing determination, and line-of-sight determination.
  • the inspection evaluation unit 1108 indicates whether the worker A corresponds to any of the out-of-range state, the out-of-time state, the out-of-order state, the divergence state, the face swing state, and the line-of-sight swing state, or does not correspond to any state. Determine.
  • step S100 When it is determined in step S100 that the worker A corresponds to at least one state (YES in step S17), the inspection evaluation unit 1108 adds a predetermined addition score value associated with the state to the worker A's accumulated score. Add (step S18). If it is determined in step S100 that none of the states is applicable (NO in step S17), step S18 is not performed.
  • the evaluation output unit 1109 uses the display 111 or the portable terminal 130 to output the inspection evaluation determined by the inspection evaluation unit 1108 by the above-described method (step S21). .
  • the inspection evaluation device 110 ends the visual inspection when receiving an end instruction from the input device by the worker A, for example.
  • step S19 If the visual inspection is not finished (NO in step S19) and the object B to be inspected is switched (YES in step S20), the process returns to step S11 and the process is repeated from the preliminary inspection. If the visual inspection is not completed (NO in step S19), and the object B to be inspected is not switched (NO in step S20), the process returns to step S13 and the process is repeated from the acquisition of the face image.
  • FIG. 11 is a diagram showing a flowchart of the inspection evaluation process according to the present embodiment.
  • the inspection evaluation unit 1108 determines whether or not at least one of the line-of-sight direction E and the face direction F is within the inspection range as the above-described determination of out of range, and determines that the worker A is out of range when not included. (Step S101).
  • the inspection evaluation unit 1108 determines whether or not the time during which at least one of the line-of-sight direction E and the face direction F is in the inspection range satisfies a predetermined condition as the above-described overtime determination. It is determined that the state is out of time (step S102).
  • the inspection evaluation unit 1108 determines whether or not the order in which at least one of the line-of-sight direction E and the face direction F enters the inspection range satisfies the predetermined condition as the above-described out-of-order determination. It is determined that the state is outside (step S103).
  • the inspection evaluation unit 1108 calculates the difference between the line-of-sight direction E and the face direction F as the above-described divergence determination, and determines that the worker A is in the divergence state when the difference is larger than a predetermined threshold (step S104). .
  • the inspection evaluation unit 1108 calculates the time-series motion in the face direction F as the above-mentioned face swing determination, and if the magnitude and number of motions are greater than a predetermined threshold, the worker A is in the face swing state. Determination is made (step S105).
  • the inspection evaluation unit 1108 calculates the time-series movement in the line-of-sight direction E as the above-described line-of-sight swing determination, and indicates that the worker A is in the line-of-sight swing state when the magnitude and number of movements are greater than a predetermined threshold. Determination is made (step S106). Steps S104 to S106 may be performed in an arbitrary order or may be performed in parallel.
  • the processor 112 of the inspection evaluation apparatus 110 becomes the main body of each step (process) included in the inspection evaluation method shown in FIGS. That is, the processor 112 reads out a program for executing the inspection evaluation method shown in FIGS. 10 and 11 from the memory 113 or the storage device 114, executes the program, and controls each part of the inspection evaluation device 110. , 11 is executed.
  • the inspection evaluation system 100 performs visual inspection evaluation based on the face direction of the operator in addition to the inspection range to be inspected and the line of sight of the worker. For example, when the evaluation of the visual inspection is performed based only on the direction of the operator's line of sight as in the technique described in Patent Document 1, it is possible to look around the inspection range from the edge of the eye without moving the face, or to look around. There is a possibility that a good evaluation will be obtained. In this case, since the visual inspection is not actually performed sufficiently, the evaluation accuracy is low. On the other hand, in this embodiment, when the face is not moved or the face or line of sight is moved around based on the operator's line of sight and face direction, a negative evaluation is made.
  • inspection evaluation system 100 which concerns on this embodiment performs comprehensive evaluation based on an accumulation
  • FIG. 12 is a schematic configuration diagram of the inspection evaluation apparatus 110 according to each of the above-described embodiments.
  • FIG. 12 shows a configuration example for realizing a function in which the inspection evaluation apparatus 110 sets an inspection range on an object and evaluates a visual inspection for the inspection range based on the gaze direction and the face direction of the operator. It is shown.
  • the inspection evaluation apparatus 110 includes an inspection range setting unit 1103 that sets an inspection range to be inspected on an object, a gaze direction detection unit 1106 that detects a gaze direction of a subject to be inspected, and a face direction of the subject A face direction detection unit 1107 for detecting the inspection, and an inspection evaluation unit 1108 for evaluating the inspection based on the inspection range, the face direction, and the line-of-sight direction.
  • the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the gist of the present invention.
  • the configurations described in the embodiment may be appropriately combined.
  • the present invention can be used for inventory of merchandise in the retail industry (convenience stores, supermarkets, restaurants, etc.). In this case, it is possible to evaluate the clerk's inventory work using the above-described inspection evaluation method by setting the goods, shelves, and the like that are the objects of the inventory as areas to be noted.
  • the present invention can be used for confirmation work of forms such as credit cards and slips in the retail industry. In this case, it is possible to evaluate the clerk's confirmation work using the above-described inspection evaluation method by setting a portion to be confirmed for the credit card signature or slip entry as a region to be noted.
  • a program for operating the configuration of the embodiment to realize the functions of the above-described embodiment (more specifically, a program for causing a computer to execute the method illustrated in FIGS. 10 and 11) is recorded on a recording medium, and the recording is performed.
  • a processing method of reading a program recorded on a medium as a code and executing it on a computer is also included in the category of each embodiment. That is, a computer-readable recording medium is also included in the scope of each embodiment.
  • the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, and a ROM can be used.
  • the embodiment is not limited to the processing executed by a single program recorded in the recording medium, and the embodiments that execute processing by operating on the OS in cooperation with other software and the function of the expansion board are also described in each embodiment. Included in the category.
  • An inspection range setting unit for setting a range to be inspected;
  • a line-of-sight direction detection unit that detects a line-of-sight direction of a subject who performs the inspection of the inspection target;
  • a face direction detection unit for detecting the face direction of the subject;
  • An evaluation unit that evaluates the examination based on the range, the face direction, and the line-of-sight direction;
  • An inspection evaluation apparatus comprising:
  • Appendix 2 A pre-inspection unit that detects a notable part in the inspection target object; The inspection evaluation apparatus according to appendix 1, wherein the inspection range setting unit sets an area including the notable portion as the range.
  • Appendix 4 The inspection evaluation apparatus according to appendix 3, wherein the inspection range setting unit determines the size of the range based on at least one of the size, depth, and number of the defects.
  • Appendix 6 The examination evaluation according to any one of appendices 1 to 5, wherein the evaluation unit performs a negative evaluation on the examination when a difference between the line-of-sight direction and the face direction is larger than a predetermined threshold. apparatus.
  • the evaluation unit is negative with respect to the examination when the magnitude of the movement in the face direction is larger than a predetermined threshold and the number of movements in the face direction is larger than the predetermined threshold within a predetermined time.
  • the inspection evaluation apparatus according to any one of appendices 1 to 6, which performs evaluation.
  • the evaluation unit is negative for the inspection when the magnitude of the movement in the line-of-sight direction is larger than a predetermined threshold and the number of movements in the line-of-sight direction is larger than the predetermined threshold within a predetermined time.
  • the inspection evaluation apparatus according to any one of appendices 1 to 7, which performs evaluation.
  • the evaluation unit performs negative evaluation on the inspection when a time during which at least one of the line-of-sight direction and the face direction is in the range does not satisfy a predetermined condition.
  • the inspection evaluation device according to any one of the above.
  • the evaluation unit performs negative evaluation on the inspection when an order in which at least one of the line-of-sight direction and the face direction enters the range does not satisfy a predetermined condition.
  • the inspection evaluation apparatus according to claim 1.
  • Appendix 11 The evaluation unit according to any one of appendices 1 to 10, wherein the evaluation unit accumulates a score calculated from the range, the face direction, and the gaze direction, and evaluates the examination based on the accumulated score. Inspection evaluation equipment.
  • Appendix 12 The inspection according to any one of appendices 1 to 11, further comprising an output unit that outputs the evaluation using at least one of a communication terminal that communicates with the inspection evaluation device and a display connected to the inspection evaluation device. Evaluation device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Manufacturing & Machinery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、従来よりも目視検査の評価の精度を向上させる技術を提供する。本発明の一実施形態に係る検査評価装置は、検査対象である範囲を設定する検査範囲設定部と、検査対象の検査を行う対象者の視線方向を検出する視線方向検出部と、対象者の顔方向を検出する顔方向検出部と、範囲、顔方向および視線方向に基づいて、検査を評価する評価部と、を備える。

Description

検査評価装置、検査評価方法およびプログラム
　本発明は、品質検査における目視検査の評価を行う装置、方法およびプログラムに関する。
　製品を製造する際には、超音波検査等による事前検査を行った後に、人間の目視による検査を行うことがある。人間の目視によって事前検査によって見付からなかった欠陥を発見したり、あるいは事前検査によって判定された欠陥への対応要否を判定したりすることができる。目視検査は作業者によるばらつきが発生しやすいため、目視検査の質を評価する技術が求められている。
　特許文献１に記載の技術は、作業者の頭部に目視検査の対象物を撮像するカメラおよび視線を検出するカメラを配置し、検出された視線が対象物上の所定の検査部位内に入っている時間を計測する。そして、該技術は、視線が検査部位内に入っていない場合、および視線が検査部位内に入っている時間が長すぎる場合に、検査が正確でないと判定する。
特開２００７－１６３３８０号公報
　作業者が対象物を真面目に検査している場合には、通常顔を検査部位の方向に向け、さらに検査部位内で視線を走査する。しかしながら、特許文献１に記載の技術では、作業者は顔を動かさずに目の端から検査部位を見るだけで判定をクリアしてしまう。作業者が単に視線を動かしているだけでは製品に対して十分な検査が行われていない可能性があるため、特許文献１に記載の技術では適切に評価を行うことができない。
　本発明は、上述の問題に鑑みて行われたものであって、従来よりも目視検査の評価の精度を向上させる技術を提供することを目的とする。
　本発明の第１の態様は、検査評価装置であって、検査対象である範囲を設定する検査範囲設定部と、前記検査対象の検査を行う対象者の視線方向を検出する視線方向検出部と、前記対象者の顔方向を検出する顔方向検出部と、前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する評価部と、を備える。
　本発明の第２の態様は、検査評価方法であって、検査対象である範囲を設定する工程と、前記検査対象の検査を行う対象者の視線方向を検出する工程と、前記対象者の顔方向を検出する工程と、前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、を備える。
　本発明の第３の態様は、プログラムであって、コンピュータに、検査対象である範囲を設定する工程と、前記検査対象の検査を行う対象者の視線方向を検出する工程と、前記対象者の顔方向を検出する工程と、前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、を実行させる。
　本発明によれば、検査対象である範囲および作業者の視線方向に加えて、作業者の顔方向に基づいて検査を評価するため、高精度に目視検査の評価を行うことができる。
第１の実施形態に係る検査評価システムの模式図である。 第１の実施形態に係る検査評価システムの概略構成図である。 例示的な検査対象である対象物の前面図である。 作業者の顔の模式図である。 作業者の顔の模式図である。 作業者の顔の模式図である。 作業者の顔の模式図である。 作業者の顔の模式図である。 第１の実施形態に係る検査評価装置のブロック図である。 第１の実施形態に係る例示的な検査評価の模式図である。 第１の実施形態に係る検査評価を表示している携帯端末の前面図である。 第１の実施形態に係る検査評価を表示しているディスプレイの前面図である。 第１の実施形態に係る検査評価方法のフローチャートを示す図である。 第１の実施形態に係る検査評価処理のフローチャートを示す図である。 各実施形態に係る検査評価装置の概略構成図である。
　以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
（第１の実施形態）
　図１は、本実施形態に係る検査評価システム１００の模式図である。検査評価システム１００は、検査評価装置１１０と、携帯端末１３０とを備える。検査評価装置１１０と携帯端末１３０とは、無線ＬＡＮ（Local　Area　Network）、移動体通信等の無線接続によって接続される。検査評価装置１１０は、対象物Ｂの事前検査のための超音波センサ１２０、対象物Ｂを撮像する対象物撮像カメラ１２１および作業者Ａを撮像する視線検出カメラ１２２を用いて目視検査の評価を行い、さらにディスプレイ１１１または携帯端末１３０に評価結果を出力する装置である。携帯端末１３０は、持ち運び可能であり、検査評価装置１１０からの評価結果を表示する通信端末である。検査評価システム１００は、その他のサーバ、端末等の機器を含んでよい。
　図２は、本実施形態に係る検査評価システム１００の概略構成図である。検査評価装置１１０および携帯端末１３０は、それぞれ単一の装置により構成されてよく、あるいは有線または無線で接続された２つ以上の物理的に分離された装置により構成されてよい。例えば、検査評価装置１１０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。例えば、携帯端末１３０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン等の任意の通信端末である。検査評価装置１１０および携帯端末１３０の具体的なハードウェア構成は、以下の構成に限定されるものではなく、様々な種類、形態のものであってよい。
　検査評価装置１１０は、プロセッサ１１２と、メモリ１１３と、記憶装置１１４とを有している。また、検査評価装置１１０は、高速インターフェースを含む高速コントローラ１１５、および低速インターフェースを含む低速コントローラ１１７を有している。高速コントローラ１１５には、メモリ１１３および高速拡張ポート１１６が接続されている。また、高速コントローラ１１５には、ディスプレイ１１１等の表示装置が接続されている。一方、低速コントローラ１１７には、低速拡張ポート１１８および記憶装置１１４が接続されている。
　プロセッサ１１２、メモリ１１３、記憶装置１１４、高速コントローラ１１５、低速コントローラ１１７、および高速拡張ポート１１６は、種々のバスにより相互に接続されている。また、プロセッサ１１２、メモリ１１３、記憶装置１１４、高速コントローラ１１５、低速コントローラ１１７、および高速拡張ポート１１６は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。
　プロセッサ１１２は、例えばＣＰＵ（Central　Processing　Unit）であり、検査評価装置１１０内で実行する命令を処理することができる。そのような命令には、ディスプレイ１１１等の表示装置上にＧＵＩ（Graphical　User　Interface）のグラフィック情報を表示するための、メモリ１１３内または記憶装置１１４内に格納された命令が含まれる。
　また、複数のプロセッサ、複数のバス、または複数のプロセッサおよび複数のバスを、複数のメモリおよび複数のタイプのメモリとともに適宜使用することができる。また、複数の検査評価装置１１０を、必要な処理の一部を行う各装置と接続することができる。例えば、複数の検査評価装置１１０を、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして互いに接続することができる。
　メモリ１１３は、検査評価装置１１０内の情報を格納する。例えば、メモリ１１３は、揮発性メモリユニット、不揮発性メモリユニット、またはそれらの組み合わせである。メモリ１１３は、他のコンピュータ読み取り可能な記録媒体であってよく、例えば、磁気ディスク、光ディスク等であってよい。
　記憶装置１１４は、検査評価装置１１０用のマスストレージを構成することができる。記憶装置１１４は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ読み取り可能な記録媒体であるか、またはそのようなコンピュータ読み取り可能な記録媒体を含む。記憶装置１１４は、ストレージエリアネットワーク、他の構成の装置でもよい。
　高速コントローラ１１５は、検査評価装置１１０に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１１７は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１１５の一部または全部は、プロセッサ１１２に内蔵されていてもよい。
　高速コントローラ１１５は、メモリ１１３、および種々の拡張カードを受け入れることができる高速拡張ポート１１６に接続されている。また、高速コントローラ１１５は、例えばグラフィックスプロセッサまたはアクセラレータを介して、ディスプレイ１１１に接続されている。
　低速コントローラ１１７は、記憶装置１１４および低速拡張ポート１１８に接続されている。低速拡張ポート１１８は、例えば、ＵＳＢ（Universal　Serial　Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線または無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１１８には、キーボード、ポインティングデバイス、スキャナ等の一または複数の入力装置が接続される。さらに、低速拡張ポート１１８には、超音波センサ１２０、対象物撮像カメラ１２１および視線検出カメラ１２２が接続される。また、低速拡張ポート１１８には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一または複数のネットワーク機器を接続することができる。すなわち、低速拡張ポート１１８は、通信インターフェースとして機能する。
　超音波センサ１２０は、目視検査の検査範囲を決定するため対象物Ｂにおける注目すべき箇所を検出する事前検査として、超音波検査を行うセンサである。本実施形態では、超音波検査により検出された対象物Ｂにおける欠陥を注目すべき箇所とし、該欠陥を含む範囲を検査範囲として目視検査を行う。超音波センサ１２０は、対象物Ｂの検査対象面に沿って駆動しながら、対象物Ｂへ向けて超音波を照射し、反射波を検出する機能を有する。対象物Ｂの表面または内部の欠陥において超音波が反射されるため、検査評価装置１１０は反射波に基づいて欠陥、ならびにその深さおよび大きさを検出することができる。
　本実施形態では対象物Ｂにおける注目すべき箇所を検出する事前検査として超音波検査を採用しているが、Ｘ線検査、テラヘルツ波検査等の任意の検査方法を用いてよい。その場合には、検査評価装置１１０は、採用した検査方法に必要なセンサを備える。また、それらの検査方法のうち２つ以上を組み合わせて用いてよい。また、事前検査を検査評価装置１１０とは別の装置によって行い、検査評価装置１１０は事前検査の結果を含むデータを受信して用いてよい。
　対象物撮像カメラ１２１および視線検出カメラ１２２は、それぞれ撮像結果の画像をデジタルデータとして出力する撮像部である。対象物撮像カメラ１２１および視線検出カメラ１２２として、ＣＣＤ（Charge　Coupled　Device）カメラ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラ等の任意の撮像装置を用いてよい。対象物撮像カメラ１２１および視線検出カメラ１２２は、撮像に必要な撮像素子、電気回路、レンズ等を含む。対象物撮像カメラ１２１は、図１のように対象物Ｂの検査対象面を撮像できる位置に配置される。視線検出カメラ１２２は、図１のように作業者Ａの顔を撮像できる位置に配置される。
　検査評価装置１１０は、上述の形態に限られず、数多くの異なる形態で実施することができる。例えば、検査評価装置１１０は、標準的なサーバ、またはそのようなサーバのグループの形態の複数台で実施することができる。また、検査評価装置１１０は、ラックサーバシステムの一部としても実施することもできる。さらに、検査評価装置１１０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。
　なお、検査評価装置１１０のプロセッサ１１２に実行させるプログラムの一部または全部は、これを記録したＤＶＤ－ＲＯＭ（Digital　Versatile　Disc-Read　Only　Memory）、ＣＤ－ＲＯＭ（Compact　Disc-Read　Only　Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
　携帯端末１３０は、プロセッサ１３１、メモリ１３２、ディスプレイ１３３、通信インターフェース１３４、カメラ１３５、および電子コンパス１３６を備える。携帯端末１３０は、追加のストレージとしてマイクロドライブ、フラッシュメモリ等の記憶装置を備えてよい。携帯端末１３０の各構成要素は、種々のバスを使用して相互接続される。携帯端末１３０の構成要素の少なくとも一部は共通のマザーボード上に取り付けられてよく、あるいは他の方法で取り付けられてよい。
　プロセッサ１３１は、メモリ１３２内に格納されている命令等、携帯端末１３０内の命令を実行することができる。プロセッサ１３１は、１つまたは複数のアナログまたはデジタルプロセッサを備えるチップまたはチップセットとして実装されてよい。プロセッサ１３１は、携帯端末１３０の他の構成要素を制御し、例えばユーザインターフェースの表示、アプリケーションの実行、無線通信等を行う。
　プロセッサ１３１は、ディスプレイ１３３に接続されている表示インターフェース１３９および入力インターフェース１４０を通じて、ユーザに対して情報の入出力を行うことができる。ディスプレイ１３３としては、例えば液晶ディスプレイ、有機ＥＬ（Electro　Luminescence）ディスプレイ等の任意の表示部を用いてよい。表示インターフェース１３９は、画像および他の情報をユーザに提示するようにディスプレイ１３３を駆動するために必要な回路を備える。また、ディスプレイ１３３はタッチパネルとして構成されており、ユーザによる操作を電気信号として出力する。入力インターフェース１４０は、ディスプレイ１３３上のユーザの操作を示す電気信号を受け取り、それらをプロセッサ１３１に送るために変換する。
　メモリ１３２は、携帯端末１３０内の情報を格納する。メモリ１３２は、例えば、コンピュータ読み取り可能な記録媒体、揮発性メモリユニット、不揮発性メモリユニットまたはそれらの組み合わせである。メモリ１３２としては、例えば、フラッシュメモリ、ＮＶＲＡＭ（Non-Volatile　Random　Access　Memory）等を用いてよい。
　カメラ１３５は、撮像結果の画像をデジタルデータとして出力する撮像部である。カメラ１３５として、ＣＣＤ（Charge　Coupled　Device）カメラ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラ等の任意の撮像装置を用いてよい。カメラ１３５は、撮像に必要な撮像素子、電気回路、レンズ等を含む。
　電子コンパス１３６は、携帯端末１３０の向きを取得する向き取得部である。電子コンパス１３６として、地磁気センサ等の携帯端末１３０の向きを取得可能な任意の装置を用いてよい。
　通信インターフェース１３４は、ＧＰＳ（Global　Positioning　System）受信機１３７および移動体通信機１３８に接続される。移動体通信機１３８は、ＧＳＭ（Global　System　for　Mobile　communications）（登録商標）方式等の音声通信、ＳＭＳ（Short　Message　Service）等のメッセージング、およびＣＤＭＡ（Code　Division　Multiple　Access）方式等のデータ通信を含む、任意のモードまたはプロトコルを用いて移動体通信を行う。移動体通信機１３８は、移動体通信に必要なプロセッサ、電気回路、アンテナ等を含む。
　携帯端末１３０は、音声インターフェース１４１を使用して音声で通信することができる。音声インターフェース１４１は、マイクおよびスピーカに接続される。音声インターフェース１４１は、マイクを通じてユーザから発話情報を受け取り、それをプロセッサ１３１が処理可能なデジタル情報に変換する。また、音声インターフェース１４１は、例えば、スピーカを通じてユーザに向けて可聴音を発生させることができる。音声インターフェース１４１が出力する音声は、音声通話からの音声、メモリ１３２に記録された音声(例えば、音声メッセージ、音楽ファイル等)、または携帯端末１３０上で動作するアプリケーションによって生成される音声を含む。
　携帯端末１３０には、拡張インターフェース１４２および外部インターフェース１４３が設けられる。拡張インターフェース１４２には、例えば拡張メモリが接続される。拡張メモリは、携帯端末１３０に対する付加的なストレージとして機能し、携帯端末１３０で動作するプログラムまたは他の情報を格納してよい。また、拡張メモリはセキュア情報を格納してよく、その場合にはセキュリティモジュールとして機能する。
　外部インターフェース１４３は、プロセッサ１３１と通信するように構成され、有線通信または無線通信を行うことができる。外部インターフェース１４３は、例えば携帯端末１３０と他のデバイスとの間でＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信や無線ＬＡＮ等の無線通信を行う。外部インターフェース１４３として、複数のインターフェースが組み合わせて用いられてもよい。
　図３は、本実施形態の検査対象である例示的な対象物Ｂの前面図である。図３では、対象物Ｂの検査対象面Ｂ１が手前側に表されている。対象物Ｂは、例えば鉄鋼製品、樹脂製品等である。対象物Ｂは、事前検査である超音波検査によって検出された欠陥Ｃ１～Ｃ３を含む。欠陥Ｃ１～Ｃ３は対象物Ｂの表面または内部に存在し得るが、視認性のため対象物Ｂの検査対象面Ｂ１上にすべて表されている。
　検査評価装置１１０は、欠陥Ｃ１～Ｃ３に対して、検査範囲Ｄ１～Ｄ３を設定する。検査範囲Ｄ１～Ｄ３は、それぞれ欠陥Ｃ１～Ｃ３の中心（例えば重心）を中心とした円である。検査範囲の形状は、円に限られず、楕円、矩形等の任意の形状でよい。検査評価装置１１０は、後述の目視検査の評価において、作業者Ａが検査範囲内を十分に検査したか否かを判定する。
　検査評価装置１１０は、検査範囲の大きさ（例えば円の半径）を、欠陥の大きさ（径または面積）、および検査対象面Ｂ１からの深さ、および欠陥の数の少なくとも一つに基づいて決定する。本実施形態では、検査評価装置１１０は、欠陥が大きいほど検査範囲を大きくし、また欠陥が深いほど検査範囲を大きく設定する。図３の例では、欠陥Ｃ２は、欠陥Ｃ１よりも検査対象面Ｂ１から深くに位置する。そのため、検査評価装置１１０は、欠陥Ｃ２の検査範囲Ｄ２を欠陥Ｃ１の検査範囲Ｄ１よりも大きいように設定している。また、欠陥Ｃ３は、欠陥Ｃ１よりも大きい。そのため、検査評価装置１１０は、欠陥Ｃ３の検査範囲Ｄ３を欠陥Ｃ１の検査範囲Ｄ１よりも大きいように設定している。また、検査評価装置１１０は、所定の範囲内（すなわち所定の単位面積あたり）の欠陥の数が所定の閾値以上である場合に、該欠陥の集合が含まれるように検査範囲の大きさを設定する。
　検査評価装置１１０は、ディスプレイ１１１または携帯端末１３０を用いて、設定した検査範囲Ｄ１～Ｄ３を対象物Ｂの画像に重畳して表示する。作業者Ａは、少なくとも表示された検査範囲Ｄ１～Ｄ３内に対して目視検査を行う。検査範囲Ｄ１～Ｄ３は、図３に示すように該範囲を囲う破線によって表示されてよく、あるいは該範囲内の色を変更することによって表示されてよい。
　図４Ａ～４Ｃおよび図５Ａ～５Ｂは、作業者Ａの顔の模式図である。作業者Ａの視線の向きを視線方向Ｅとし、作業者Ａの顔の向きを顔方向Ｆとする。図４Ａ～４Ｃおよび図５Ａ～５Ｂにおいて、矢印によって視線方向Ｅおよび顔方向Ｆを表す。作業者Ａが真面目に検査を行っている際には、作業者Ａは検査範囲に顔を向けるため、視線方向Ｅおよび顔方向Ｆはほぼ一致する。
　図４Ａは、視線方向Ｅと顔方向Ｆとが乖離している状態を示す。このような状態においては、たとえ視線方向が検査範囲に入っていても目の端から対象物を見ているに過ぎないため、十分な検査が行われていない可能性がある。そのため、目視検査の評価に、図４Ａのように視線方向Ｅと顔方向Ｆとが大きく異なった乖離状態にあるかどうかを用いることができる。
　図４Ｂ、５Ａは、顔方向Ｆを大きくかつ頻繁に動かす状態を示す。図４Ｂでは作業者Ａが顔方向Ｆを左右方向に動かしており、図５Ａでは作業者Ａが顔方向Ｆを上下方向に動かしている。このような状態においては、たとえ視線方向が検査範囲に入っていても作業者Ａが検査に集中していないため、十分な検査が行われていない可能性がある。そのため、目視検査の評価に、図４Ｂ、５Ａのように顔を大きくかつ頻繁に動かす顔振り状態にあるかどうかを用いることができる。
　図４Ｃ、５Ｂは、視線方向Ｅを大きくかつ頻繁に動かす状態を示す。図４Ｃでは作業者Ａが視線方向Ｅを左右方向に動かしており、図５Ｂでは作業者Ａが視線方向Ｅを上下方向に動かしている。このような状態においては、たとえ視線方向が検査範囲に入っていても作業者Ａが検査に集中していないため、十分な検査が行われていない可能性がある。そのため、目視検査の評価に、図４Ｃ、５Ｂのように視線を大きくかつ頻繁に動かす視線振り状態にあるかどうかを用いることができる。
　図６は、本実施形態に係る検査評価装置１１０のブロック図である。図６において、ブロック間の線は主なデータの流れを示しており、図６に示したもの以外のデータの流れがあってよい。図６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。
　検査評価装置１１０は、評価記憶部１１０１、事前検査部１１０２、検査範囲設定部１１０３、顔画像取得部１１０４、顔領域抽出部１１０５、視線方向検出部１１０６、顔方向検出部１１０７、検査評価部１１０８、および評価出力部１１０９を備える。検査評価装置１１０において、事前検査部１１０２、検査範囲設定部１１０３、顔画像取得部１１０４、顔領域抽出部１１０５、視線方向検出部１１０６、顔方向検出部１１０７、検査評価部１１０８、および評価出力部１１０９は、それぞれプロセッサ１１２が実行可能なプログラムとしてメモリ１１３に記憶されている。すなわち、本実施形態に係る検査評価方法の実行時に、プロセッサ１１２は事前検査部１１０２、検査範囲設定部１１０３、顔画像取得部１１０４、顔領域抽出部１１０５、視線方向検出部１１０６、顔方向検出部１１０７、検査評価部１１０８、および評価出力部１１０９として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。また、評価記憶部１１０１は、メモリ１１３または記憶装置１１４の一部である。すなわち、本実施形態に係る検査評価方法の実行時に、メモリ１１３または記憶装置１１４は評価記憶部１１０１として機能する。
　事前検査部１１０２は、対象物Ｂにおける注目すべき箇所を検出するための事前検査を行う。事前検査は対象物Ｂ毎に行われ、対象物Ｂが切り替わったタイミングで改めて行われる。対象物Ｂの切り替えは、対象物Ｂに付されたバーコード、ＲＦＩＤ等によって表される製品ＩＤの変化によって検出可能である。本実施形態では、事前検査部１１０２は超音波検査によって注目すべき箇所の検出を行う。事前検査部１１０２は、超音波センサ１２０を対象物Ｂの検査対象面Ｂ１に沿って駆動し、対象物Ｂへ向けて超音波を照射しながらその反射波を検出する。そして、事前検査部１１０２は、対象物Ｂの検査対象面Ｂ１の各位置において反射波の時間波形のピークを測定することによって、該ピークに対応する対象物Ｂ上の位置および深さに欠陥が存在すると判定する。事前検査部１１０２は、検出した欠陥を注目すべき箇所として決定し、該欠陥の位置、大きさおよび深さをメモリ１１３または記憶装置１１４上に保持する。
　対象物Ｂにおける注目すべき箇所として、欠陥以外に、対象物Ｂにおける複雑な形状（例えば細かい凹凸）の部分等、特に目視検査の際に注目が必要な所定の条件を満たす部分を用いてよい。注目すべき箇所の条件は、予め記憶装置１１４に記録される。
　検査範囲設定部１１０３は、対象物撮像カメラ１２１によって撮像された対象物Ｂの画像上で、事前検査部１１０２によって検出された欠陥を含む領域を目視検査の対象である検査範囲として設定する。具体的には、検査範囲設定部１１０３は、事前検査部１１０２によって検出された欠陥のそれぞれについて、欠陥の位置、大きさ、深さおよび数の少なくとも１つを用いた所定の規則に基づいて検査範囲を設定する。所定の規則は、例えば欠陥が大きいほど、欠陥が深いほど、または単位面積あたりの欠陥の数が大きいほど大きい半径を有する円を提供する。逆に、所定の規則は、例えば欠陥が大きいほど、欠陥が深いほど、または単位面積あたりの欠陥の数が大きいほど小さい半径を有する円を提供してもよい。所定の規則は、欠陥の大きさ、深さおよび数と検査範囲の大きさとの関係を定義するテーブルであり、予め記憶装置１１４に記録される。
　このように、検査範囲設定部１１０３は超音波検査等の事前検査の結果に基づいて、後の視線方向および顔方向を用いた評価を行うための検査範囲を決定する。そのため、検査評価装置１１０は、作業者に欠陥が表面化する蓋然性の高い範囲について集中的に目視検査を行わせることができる。さらに、検査範囲設定部１１０３は事前検査により検出された欠陥の大きさ、深さおよび数の少なくとも１つに基づいて検査範囲を決定するため、検査評価装置１１０はより重大な欠陥について作業者に注意喚起をすることができる。
　さらに、検査範囲設定部１１０３は欠陥の大きさ、深さおよび数の少なくとも１つに基づいて検査範囲の注目度を算出してもよい。具体的には検査範囲設定部１１０３は、各検査範囲について、欠陥が大きいほど、欠陥が深いほど、または単位面積あたりの欠陥の数が大きいほど注目度を高く算出する。そして、検査範囲設定部１１０３は注目度の値に従って検査範囲の大きさを設定する。例えば、検査範囲設定部１１０３は、注目度が高い場合に、注目度が低い場合よりも検査範囲を小さく設定してよい。
　本実施形態では、検査範囲設定部１１０３は事前検査の結果に基づいて検査範囲を決定するが、事前検査を省略し、入力装置によって入力された範囲を検査範囲として用いてもよい。この場合には、検査範囲設定部１１０３はディスプレイ１１１に対象物撮像カメラ１２１によって撮像された対象物Ｂの画像を表示し、入力装置から検査範囲の範囲指定を受け付けることができる。
　そして、検査範囲設定部１１０３は、対象物撮像カメラ１２１によって撮像された対象物Ｂの画像を取得する。検査範囲設定部１１０３は、設定した検査範囲を対象物Ｂの画像に重畳して、ディスプレイ１１１および携帯端末１３０の少なくとも一方を用いて表示する。また、検査範囲設定部１１０３は、プリンタを用いて設定した検査範囲を紙に印刷してよい。作業者Ａは、表示された検査範囲を参照して、少なくとも該検査範囲内に対して目視検査を開始する。
　目視検査の開始後に、顔画像取得部１１０４は、視線検出カメラ１２２によって撮像された作業者Ａ（すなわち、目視検査の評価の対象者）の画像を取得する。視線検出カメラ１２２は、所定の時間毎（例えば０．１秒毎）に作業者Ａの顔を含む領域を撮像し、静止画ファイルである画像としてメモリ１１３または記憶装置１１４上に保持する。顔画像取得部１１０４は、静止画ファイルである画像の代わりに、動画ファイルである画像を用いてもよい。その場合には、動画ファイル中の１つのフレームを１つの画像とみなして、後の顔領域抽出、視線方向検出、顔方向検出、および検査評価を行う。
　顔領域抽出部１１０５は、顔画像取得部１１０４によって取得された画像から、任意の方法によって人の顔を含む領域を抽出する。例えば、顔領域抽出部１１０５は、顔画像取得部１１０４によって取得された画像の各画素の輝度を取得し、互いに隣接する輝度が所定の閾値より大きい画素の集合を顔領域と判定する。顔領域抽出部１１０５は、抽出した顔領域の位置（例えば顔領域の左端、右端、上端、下端の座標）をメモリ１１３または記憶装置１１４上に保持する。顔領域の抽出は、ここに示したものに限られず、画像中から人の顔を含む領域を抽出可能な任意の方法により行われてよい。
　顔領域抽出部１１０５は、任意の顔認識技術を用いて顔領域に写っている人の認識を行ってよい。これにより、検査評価装置１１０は、作業者Ａを自動的に特定することができる。別の方法として、作業者Ａを特定するための作業者ＩＤを入力装置から受け付けてもよい。
　視線方向検出部１１０６は、顔領域抽出部１１０５によって抽出された顔領域から、任意の方法によって視線方向を抽出する。例えば、視線方向検出部１１０６は、顔領域抽出部１１０５によって抽出された顔領域から、テンプレートマッチングによって左右の目の瞳孔の位置を取得する。そして、視線方向検出部１１０６は、左右の目のそれぞれについて、人の顔上の所定の基準点からの瞳孔の相対的な位置に基づいて、視線の方向を算出する。所定の基準点は、例えば角膜上での光の反射点であるプルキンエ像の位置や、目頭の位置等である。視線方向検出部１１０６は、予め記録された所定の基準点からの瞳孔の相対的な位置と視線方向との関係を示すテーブルに基づき、顔領域における所定の基準点からの瞳孔の相対的な位置を用いて視線方向を算出する。瞳孔の相対的な位置と視線方向との関係を示すテーブルは、予め実験やシミュレーションによって決定され、記憶装置１１４に記録される。
　視線方向は、左右の目のそれぞれについて、例えば方位角θおよび仰角φの２つの角度により表される。それに代えて、視線方向は左右の目の視線方向の平均値により表されてもよい。視線方向検出部１１０６は、検出した視線方向をメモリ１１３または記憶装置１１４上に保持する。視線方向の検出は、ここに示したものに限られず、画像中から作業者Ａの視線の方向を検出可能な任意の方法により行われてよい。
　顔方向検出部１１０７は、顔領域抽出部１１０５によって抽出された顔領域から、任意の方法によって顔方向を抽出する。例えば、顔方向検出部１１０７は、顔領域抽出部１１０５によって抽出された顔領域から、テンプレートマッチングによって左右の目（瞳孔）の位置および鼻の位置を取得する。そして、顔方向検出部１１０７は、左右の目の位置の中点と鼻の位置とを結ぶ線を顔の中心線とし、該中心線から顔領域の左端までの距離と該中心線から顔領域の右端までの距離との比率を求める。そして、顔方向検出部１１０７は、予め記録された左右の比率と顔方向との関係を示すテーブルに基づき、顔領域における左右の比率を用いて左右方向の顔方向を算出する。左右の比率と顔方向との関係を示すテーブルは、予め実験やシミュレーションによって決定され、記憶装置１１４に記録される。同様に、顔方向検出部１１０７は、顔の構成部分の位置を用いて上下方向の顔方向を算出する。例えば、左右の目の位置を結ぶ線を顔の水平線とし、該水平線から顔領域の上端までの距離と該水平線から顔領域の下端までの距離との比率を求める。そして、顔方向検出部１１０７は、予め記録された上下の比率と顔方向との関係を示すテーブルに基づき、顔領域における上下の比率を用いて上下方向の顔方向を算出する。
　顔方向は、例えばパン角、チルト角、およびロール角の３つの角度により表される。顔方向検出部１１０７は、検出した顔方向をメモリ１１３または記憶装置１１４上に保持する。顔方向の検出は、ここに示したものに限られず、画像中から作業者Ａの顔の方向を検出可能な任意の方法により行われてよい。
　検査評価部１１０８は、検査範囲設定部１１０３によって設定された検査範囲、視線方向検出部１１０６により検出された視線方向、および顔方向検出部１１０７により検出された顔方向に基づいて検査の評価を行う。検査評価部１１０８は、事前検査部１１０２により事前検査が行われた１つの対象物Ｂに対する目視検査の開始から終了まで、所定の時間毎（例えば０．１秒毎）に、検査範囲、視線方向および顔方向に基づいて以下の判定を行い、その判定に基づいたスコアの蓄積を行う。スコアは検査者による検査の評価を表す値であり、検査評価部１１０８は以下の判定が肯定的か否定的かに応じてスコアを変動させる。本実施形態では、スコアが高いほど低評価であるように設定されており、検査評価部１１０８による判定が否定的な評価の場合にはスコアに所定の値が加算される。逆にスコアが低いほど低評価であるように設定し、検査評価部１１０８による判定が否定的な評価の場合にはスコアに所定の値を減算してもよい。
　（範囲外判定）
　検査評価部１１０８は、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入っていない場合に、作業者Ａが範囲外状態であると判定する。具体的には、検査評価部１１０８は、作業者Ａの顔の所定の点を基点として視線方向Ｅを延長した直線が、対象物Ｂの検査対象面Ｂ１上で検査範囲内に入るか否かを算出する。また検査評価部１１０８は、作業者Ａの顔の所定の点を基点として顔方向Ｆを延長した直線が、対象物Ｂの検査対象面Ｂ１上で検査範囲内に入るか否かを算出する。そして、視線方向Ｅまたは顔方向Ｆの延長線が検査範囲内に入らない場合に、検査評価部１１０８は作業者Ａが範囲外状態であると判定する。視線方向Ｅまたは顔方向Ｆが検査範囲に入っているか否かを判定するために、その他任意の方法を用いてよい。範囲外判定のために、視線方向Ｅおよび顔方向Ｆの一方のみを用いてもよい。
　検査評価部１１０８は、作業者Ａが範囲外状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが範囲外状態である場合に否定的な評価を行う。蓄積スコアは、作業者Ａによる検査の最終的な評価に用いられる。加算スコア値として、実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。
　検査評価部１１０８は、視線方向Ｅが検査範囲に入っていない状態において、視線方向Ｅが検査範囲から外れている度合いに基づいて異なる加算スコア値を用いてよい。例えば、視線方向Ｅと検査範囲との距離が所定の閾値以下の場合には第１の加算スコア値を用い、視線方向Ｅと検査範囲との距離が所定の閾値より大きい場合には第１の加算スコア値より大きい第２の加算スコア値を用いる。このような構成により、視線方向Ｅと顔方向Ｆとの差の大きさに応じて蓄積スコアを細かく制御し、評価を適切に行うことができる。
　（時間外判定）
　検査評価部１１０８は、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入っている時間を算出する。そして、検査範囲に入っている時間が所定の条件（例えば５～１０秒の時間範囲内）を満たさない場合に、検査評価部１１０８は作業者Ａが時間外状態であると判定する。検査評価部１１０８は、作業者Ａが時間外状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが時間外状態である場合に否定的な評価を行う。検査範囲に入っている時間の条件および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。また、検査評価部１１０８は、検査範囲設定部１１０３により算出された検査範囲の注目度に基づいて時間の条件を決定してよい。例えば、検査評価部１１０８は、注目度が大きいほど時間の範囲の下限を大きく設定する。別の方法として、検査評価部１１０８は、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入っている時間と入っていない時間との間の差または比に基づいて、時間外状態の判定を行ってよい。
　（順序外判定）
　検査評価部１１０８は、検査範囲が複数存在する場合に、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入った順序を取得する。そして、検査範囲に入った順序が所定の条件（例えば図３における検査範囲Ｄ２、Ｄ３、Ｄ１の順序）を満たさない場合に、検査評価部１１０８は作業者Ａが順序外状態であると判定する。検査評価部１１０８は、作業者Ａが順序外状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが順序外状態である場合に否定的な評価を行う。検査範囲に入った順序の条件および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。また、検査評価部１１０８は、検査範囲設定部１１０３により算出された検査範囲の注目度に基づいて順序の条件を決定してよい。例えば、検査評価部１１０８は、注目度が大きい順に並べた検査範囲を順序の条件として設定する。
　（乖離判定）
　検査評価部１１０８は、図４Ａのように視線方向Ｅと顔方向Ｆとの差が所定の閾値より大きい場合に、作業者Ａが乖離状態であると判定する。具体的には、検査評価部１１０８は、視線方向Ｅと顔方向Ｆとの差として、顔領域のＸ方向に対する角度差（絶対値）とＹ方向に対する角度差（絶対値）とをそれぞれ求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、Ｘ方向に対する角度差がＸ方向に対する閾値より大きい場合、またはＹ方向に対する角度差がＹ方向に対する閾値より大きい場合に、検査評価部１１０８は作業者Ａが乖離状態であると判定する。視線方向Ｅと顔方向Ｆとの差を判定するために、それらを顔領域のＸ方向およびＹ方向に分離せず、直接比較してよい。視線方向Ｅと顔方向Ｆとの差を判定するために、その他任意の方法を用いてよい。
　検査評価部１１０８は、作業者Ａが乖離状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが乖離状態である場合に否定的な評価を行う。視線方向Ｅと顔方向Ｆとの差の閾値および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。
　検査評価部１１０８は、複数の閾値毎に異なる加算スコア値を用いてよい。例えば、視線方向Ｅと顔方向Ｆとの差が第１の閾値より大きく第２の閾値以下の場合には第１の加算スコア値を用い、視線方向Ｅと顔方向Ｆとの差が第２の閾値より大きい場合には第２の加算スコア値を用いる。このような構成により、視線方向Ｅと顔方向Ｆとの差の大きさに応じて蓄積スコアを細かく制御し、評価を適切に行うことができる。
　（顔振り判定）
　検査評価部１１０８は、図４Ｂ、図５Ａのように顔方向Ｆを所定の基準を満たすように大きくかつ頻繁に動かしている場合に、作業者Ａが顔振り状態であると判定する。具体的には、検査評価部１１０８は、所定の時間前から判定中の画像の撮像時刻までの顔方向Ｆを取得する。次に、検査評価部１１０８は、顔方向ＦのＸ方向に対する移動角度（絶対値）とＹ方向に対する移動角度（絶対値）とをそれぞれ時系列で求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、検査評価部１１０８は、Ｘ方向に対する移動角度がＸ方向に対する閾値より大きい移動、またはＹ方向に対する移動角度がＹ方向に対する閾値より大きい移動が、所定の時間前から判定中の画像の撮像時刻までに発生した回数を算出する。検査評価部１１０８は、算出した回数が所定の閾値より大きい場合に、作業者Ａが顔振り状態であると判定する。顔方向Ｆの動きを判定するために、顔方向Ｆの角度ではなく、顔領域上で顔方向Ｆを表す線の端の移動距離を用いてよい。顔方向Ｆの動きを判定するために、その他任意の方法を用いてよい。
　検査評価部１１０８は、作業者Ａが顔振り状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが顔振り状態である場合に否定的な評価を行う。顔方向Ｆの移動角度の閾値、時間、回数および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。
　（視線振り判定）
　検査評価部１１０８は、図４Ｃ、図５Ｂのように視線方向Ｅを所定の基準を満たすように大きくかつ頻繁に動かしている場合に、判定対象の顔領域が視線振り状態であると判定する。具体的には、検査評価部１１０８は、所定の時間前から判定中の画像の撮像時刻までの視線方向Ｅを取得する。次に、検査評価部１１０８は、視線方向ＥのＸ方向に対する移動角度（絶対値）とＹ方向に対する移動角度（絶対値）とをそれぞれ時系列で求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、検査評価部１１０８は、Ｘ方向に対する移動角度がＸ方向に対する閾値より大きい移動、またはＹ方向に対する移動角度がＹ方向に対する閾値より大きい移動が、所定の時間前から判定中の画像の撮像時刻までに発生した回数を算出する。検査評価部１１０８は、算出した回数が所定の閾値より大きい場合に、作業者Ａが視線振り状態であると判定する。視線方向Ｅの動きを判定するために、視線方向Ｅの角度ではなく、顔領域上で視線方向Ｅを表す線の移動距離を用いてよい。視線方向Ｅの動きを判定するために、その他任意の方法を用いてよい。
　検査評価部１１０８は、作業者Ａが視線振り状態であると判定した場合に、作業者Ａの蓄積スコアに所定の加算スコア値を加算する。すなわち、検査評価部１１０８は、作業者Ａが視線振り状態である場合に否定的な評価を行う。視線方向Ｅの移動角度の閾値、時間、回数および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置によって入力された値を用いてよい。
　検査評価部１１０８は、範囲外判定に加えて、時間外判定、順序外判定、乖離判定、顔振り判定および視線振り判定のうち全部または一部を行ってよい。また、検査評価部１１０８は、範囲外判定において作業者Ａが範囲外状態であると判定された場合にのみ、乖離判定、顔振り判定および視線振り判定を行ってもよい。さらに、検査評価部１１０８は、検査範囲、視線方向および顔方向に基づいて検査の評価が可能なその他の判定を行ってよい。
　検査評価部１１０８は、判定中の対象物Ｂに対する目視検査が終了した際に、該目視検査の開始時刻から終了時刻までに蓄積された蓄積スコアに基づいて検査の評価を行う。目視検査の終了は、検査評価装置１１０が作業者Ａによる入力装置からの終了指示を受けたこと、または対象物Ｂが次のものに切り替わったことにより検出される。検査の評価は、例えば蓄積スコアが所定の閾値以下である場合には第１の評価とし、所定の閾値より大きい場合には第１の評価より否定的な第２の評価としてよい。評価の算出基準としての蓄積スコアの閾値は、予め決定されて記憶装置１１４に記録される。
　検査評価部１１０８が上述の各判定に用いる視線方向Ｅとして、左右の目のそれぞれの視線方向の平均値を用いてよく、または左右の目のどちらか一方の視線方向を用いてよい。あるいは、検査評価部１１０８は左右の目のそれぞれについて判定を行ってもよい。
　上述の各判定において、検査評価部１１０８による算出値と閾値との比較方法は一例であり、算出値および閾値の定義によって比較方法を適宜変更してよい。例えば「閾値以上」を「閾値より大きい」としてよく、あるいは算出値および閾値の符号を逆にして「閾値以下」または「閾値より小さい」としてよい。
　このように、本実施形態に係る検査評価装置１１０は、作業者Ａの視線方向Ｅが検査範囲に入っているか否かだけでなく、作業者Ａの視線方向Ｅおよび顔方向Ｆの乖離および動きに基づいて、目視検査の評価を行う。このような構成により、視線方向Ｅだけに基づいて判定を行うよりも高精度に目視検査の評価を行うことができる。
　検査評価部１１０８は、蓄積スコアを含む情報を、検査評価として所定の形式で評価記憶部１１０１に記録する。図７は、評価記憶部１１０１に記録される例示的な検査評価１１０１ａの模式図である。検査評価１１０１ａは、一または複数のデータファイルとして記録されてよく、あるいは一または複数のデータベースとして記録されてよい。検査評価１１０１ａは、作業者Ａを識別するための作業者ＩＤ、対象物Ｂを識別するための製品ＩＤ、該対象物Ｂに対する目視検査の開始時刻、終了時刻を含む。
　また、検査評価１１０１ａは、検査評価部１１０８により判定された状態を含む。判定された状態は、判定された時刻に関連付けられたリストとして記録されることが望ましい。あるいは判定された状態は、単に開始時刻から終了時刻までに少なくとも１回判定された状態でもよい。
　さらに、検査評価１１０１ａは、検査評価部１１０８により蓄積された蓄積スコア、および該蓄積スコアから判定された評価を含む。検査評価１１０１ａは、ここに示した情報に加えて追加の情報を含んでよい。ここに示した検査評価１１０１ａの形式は一例であり、任意の形式で記録されてよい。
　評価出力部１１０９は、検査評価装置１１０に接続されているディスプレイ１１１、および検査評価装置１１０と通信する携帯端末１３０の少なくとも一方を用いて、検査評価部１１０８により判定された検査評価を監視者に向けて出力する。監視者は、例えば作業者Ａを管理する管理者である。
　図８は、評価出力部１１０９からの検査評価を表示している携帯端末１３０の前面図である。評価出力部１１０９は、作業者Ａの１つの対象物Ｂに対する目視検査において検査評価部１１０８が算出した蓄積スコアが所定の閾値より大きくなったタイミングで、携帯端末１３０に作業者Ａの顔領域および検査評価を含む情報を送信し、携帯端末１３０はそのディスプレイに検査評価画面１３０ａを表示する。監視者は、携帯端末１３０に表示された検査評価画面１３０ａを参照して、作業者Ａに対して注意喚起を行ったり、助言を行ったりすることができる。
　携帯端末１３０は、評価出力部１１０９から受信した情報に基づいて、作業者Ａについて顔領域抽出部１１０５により抽出された顔領域１３０ｂを表示する。また、携帯端末１３０は、評価出力部１１０９から受信した情報に基づいて、検査評価表示１３０ｃを表示する。検査評価表示１３０ｃは、顔領域が撮像された時刻、作業者Ａを識別するための作業者ＩＤ、検査評価部１１０８により判定された状態、および現在の蓄積スコアを表す文字列を含む。携帯端末１３０は、検査評価表示１３０ｃに含まれる状態として、顔領域が範囲外状態、時間外状態、順序外状態、乖離状態、顔振り状態および視線振り状態のうち少なくとも１つに該当する場合にはその状態を表す文字列を表示し、それらのいずれにも該当しない場合には通常と表示する。図９に示した検査評価画面１３０ａは一例であり、表示するタイミング、表示する情報、およびその表示方法は変更されてよい。
　図９は、評価出力部１１０９からの検査評価を表示しているディスプレイ１１１の前面図である。評価出力部１１０９は、検査評価装置１１０が監視者による入力装置から所定の指示を受けると、ディスプレイ１１１に検査評価画面１１１ａを表示させる。監視者は、携帯端末１３０に表示された検査評価画面１３０ａを参照して、作業者Ａによる目視検査の質を確認することができる。
　検査評価画面１１１ａは、作業者ＩＤを入力可能な作業者ＩＤ欄１１１ｂ、時刻範囲を入力可能な時刻欄１１１ｃ、製品ＩＤ毎の検査評価を示す個別評価欄１１１ｄ、および集計した検査評価を示す総合評価欄１１１ｅを含む。評価出力部１１０９は、評価記憶部１１０１から、入力装置によって作業者ＩＤ欄１１１ｂに入力された作業者ＩＤおよび時刻欄１１１ｃに入力された時刻の範囲に該当する検査評価を取得する。評価出力部１１０９は、取得した検査評価をディスプレイ１１１の製品ＩＤ毎に個別評価欄１１１ｄに表示する。個別評価欄１１１ｄには、１つの対象物Ｂに対する目視検査の開始時刻および終了時刻、対象物Ｂの製品ＩＤ、判定された状態、蓄積スコア、評価が表示される。これらに限られず、個別評価欄１１１ｄに検査評価に係るその他の情報を表示してよい。
　また、評価出力部１１０９は、個別評価欄１１１ｄに表示された情報を集計して総合評価欄１１１ｅに表示する。具体的には、評価出力部１１０９は、個別評価欄１１１ｄに含まれる全ての製品ＩＤの数、最も早い開示時刻、最も遅い終了時刻、蓄積スコアの合計値、蓄積スコアの平均値を算出し、総合評価欄１１１ｅに表示する。さらに、評価出力部１１０９は、平均の蓄積スコアに基づいて評価を算出し、総合評価欄１１１ｅに表示する。評価の算出基準は、検査評価部１１０８が用いるものと同様である。
　図８に示した検査評価画面１１１ａは一例であり、表示するタイミング、表示する情報、およびその表示方法は変更されてよい。
　評価出力部１１０９による評価の出力の方法は検査評価装置１１０に接続されたディスプレイ１１１および検査評価装置１１０と通信する携帯端末１３０を用いるものに限られず、ランプ、スピーカ、ロボット等を用いてもよい。例えば、評価出力部１１０９は、蓄積スコアが所定の閾値以上の作業者Ａの近くに配置されたランプを点灯させることができる。このような構成により、その作業者Ａによる目視検査の質が低下していることを監視者に知らせることができる。
　また、出力内容は、監視者に向けたものに限られず、作業者Ａに向けたものでもよい。例えば、評価出力部１１０９は、蓄積スコアが所定の閾値以上の作業者Ａの近くに配置されたディスプレイ１１１、ロボットまたはスピーカから「集中力が落ちています」のようなメッセージまたは音声を出力することができる。このような構成により、目視検査の質が低下していることを直接作業者Ａに知らせることができる。
　図１０は、本実施形態に係る検査評価方法のフローチャートを示す図である。検査評価方法は、例えば検査評価装置１１０上で処理を開始するためのボタン押下等の所定の操作が検知された場合に開始される。
　まず、事前検査部１１０２は、超音波センサ１２０を用いて対象物Ｂ内の欠陥の位置、大きさおよび深さを検出する事前検査を行う（ステップＳ１１）。次に、検査範囲設定部１１０３は、対象物撮像カメラ１２１によって撮像された対象物Ｂの画像上で、ステップＳ１１で検出された欠陥に対して上述の方法によって目視検査の対象とする検査範囲を設定する（ステップＳ１２）。そして、検査範囲設定部１１０３は、設定した検査範囲をディスプレイ１１１またはおよび携帯端末１３０を用いて表示する。
　顔画像取得部１１０４は、視線検出カメラ１２２によって撮像された作業者Ａ（すなわち、目視検査の評価の対象者）の画像を取得する（ステップＳ１３）。顔領域抽出部１１０５は、ステップＳ１３で取得された画像から、上述の方法によって人の顔を含む顔領域を抽出する（ステップＳ１４）。視線方向検出部１１０６は、ステップＳ１４で抽出された顔領域から、上述の方法によって視線方向を抽出する（ステップＳ１５）。顔方向検出部１１０７は、ステップＳ１４で抽出された顔領域から、上述の方法によって顔方向を抽出する（ステップＳ１６）。なお、ステップＳ１５およびＳ１６は任意の順番で行われてよく、あるいは並列で行われてよい。
　検査評価部１１０８は、ステップＳ１２で設定された検査範囲、ならびにステップＳ１５～Ｓ１６で取得された視線方向および顔方向を用いて、図１１を用いて後述する検査評価処理によって目視検査の評価を行う（ステップＳ１００）。目視検査の評価は、上述の範囲外判定、時間外判定、順序外判定、乖離判定、顔振り判定および視線振り判定を含む。検査評価部１１０８は、作業者Ａが範囲外状態、時間外状態、順序外状態、乖離状態、顔振り状態および視線振り状態のいずれの状態に該当するか、あるいはいずれの状態にも該当しないかを判定する。
　ステップＳ１００において作業者Ａが少なくとも１つの状態に該当すると判定された場合に（ステップＳ１７のＹＥＳ）、検査評価部１１０８は作業者Ａの蓄積スコアに該状態に関連付けられた所定の加算スコア値を加算する（ステップＳ１８）。ステップＳ１００においていずれの状態にも該当しないと判定された場合に（ステップＳ１７のＮＯ）、ステップＳ１８を行わない。
　目視検査を終了する場合に（ステップＳ１９のＹＥＳ）、評価出力部１１０９はディスプレイ１１１または携帯端末１３０を用いて、上述の方法によって検査評価部１１０８により判定された検査評価を出力する（ステップＳ２１）。検査評価装置１１０は、例えば作業者Ａによる入力装置からの終了指示を受けたことによって、目視検査を終了する。
　目視検査を終了しない場合であって（ステップＳ１９のＮＯ）、検査対象の対象物Ｂが切り替わった場合に（ステップＳ２０のＹＥＳ）、ステップＳ１１に戻って事前検査から処理を繰り返す。目視検査が終了しない場合であって（ステップＳ１９のＮＯ）、検査対象の対象物Ｂが切り替わらない場合に（ステップＳ２０のＮＯ）、ステップＳ１３に戻って顔画像の取得から処理を繰り返す。
　図１１は、本実施形態に係る検査評価処理のフローチャートを示す図である。検査評価部１１０８は、上述の範囲外判定として視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入っているかどうか判定し、入っていない場合に作業者Ａが範囲外状態であると判定する（ステップＳ１０１）。検査評価部１１０８は、上述の時間外判定として、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入っている時間が所定の条件を満たすかどうか判定し、満たさない場合に作業者Ａが時間外状態であると判定する（ステップＳ１０２）。検査評価部１１０８は、上述の順序外判定として、視線方向Ｅおよび顔方向Ｆの少なくとも一方が検査範囲に入った順序が所定の条件を満たすかどうか判定し、満たさない場合に作業者Ａが順序外状態であると判定する（ステップＳ１０３）。
　検査評価部１１０８は、上述の乖離判定として、視線方向Ｅと顔方向Ｆとの差を算出し、差が所定の閾値より大きい場合に作業者Ａが乖離状態であると判定する（ステップＳ１０４）。検査評価部１１０８は、上述の顔振り判定として、顔方向Ｆの時系列の動きを算出し、動きの大きさおよび回数が所定の閾値よりも大きい場合に作業者Ａが顔振り状態であると判定する（ステップＳ１０５）。検査評価部１１０８は、上述の視線振り判定として、視線方向Ｅの時系列の動きを算出し、動きの大きさおよび回数が所定の閾値よりも大きい場合に作業者Ａが視線振り状態であると判定する（ステップＳ１０６）。ステップＳ１０４～Ｓ１０６は任意の順序で行われてよく、あるいは並行して行われてよい。
　検査評価装置１１０のプロセッサ１１２は、図１０、１１に示す検査評価方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１２は、図１０、１１に示す検査評価方法を実行するためのプログラムをメモリ１１３または記憶装置１１４から読み出し、該プログラムを実行して検査評価装置１１０の各部を制御することによって図１０、１１に示す検査評価方法を実行する。
　本実施形態に係る検査評価システム１００は、検査の対象とする検査範囲および作業者の視線方向に加えて、作業者の顔方向に基づいて目視検査の評価を行う。例えば特許文献１に記載の技術のように作業者の視線方向にのみ基づいて目視検査の評価を行うと、顔を動かさずに目の端から検査範囲を見るだけで、あるいはきょろきょろと見回したりするだけで良い評価が得られる可能性がある。この場合には、実際には目視検査が十分に行われていないため、評価の精度が低い。それに対して、本実施形態では、作業者の視線方向および顔方向に基づいて、顔を動かさなかったり、顔または視線をきょろきょろと動かしたりする場合には否定的な評価とする。これにより、目視検査が十分に行われているかどうかを適切に評価し、従来よりも高精度に評価を行うことができる。また、本実施形態に係る検査評価システム１００は、蓄積スコアに基づいて総合的な評価を行うため、作業者の単発的な行動だけでなく、継続的な行動を評価することができる。
（その他の実施形態）
　図１２は、上述の各実施形態に係る検査評価装置１１０の概略構成図である。図１２には、検査評価装置１１０が対象物上の検査範囲を設定し、作業者の視線方向および顔方向に基づいて該検査範囲に対する目視検査の評価を行う機能を実現するための構成例が示されている。検査評価装置１１０は、対象物上で検査の対象とする検査範囲を設定する検査範囲設定部１１０３と、検査を行う対象者の視線方向を検出する視線方向検出部１１０６と、対象者の顔方向を検出する顔方向検出部１１０７と、検査範囲、顔方向および視線方向に基づいて、検査を評価する検査評価部１１０８と、を備える。
　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能であり、実施形態に記載した構成を適宜組み合わせてよい。上述の実施形態では製品の品質検査の分野に対する適用例を記載したが、本発明はその他の分野にも応用することができる。例えば、小売業界（コンビニエンスストア、スーパーマーケット、飲食店等）における、商品の棚卸に本発明を利用することができる。この場合には、棚卸の対象である商品や棚等を注目すべき領域として設定することによって、上述の検査評価方法を用いて店員の棚卸作業を評価することができる。また例えば、小売業界における、クレジットカードや伝票等の帳票の確認作業に本発明を利用することができる。この場合には、クレジットカードの署名や伝票の記入について確認すべき箇所を注目すべき領域として設定することによって、上述の検査評価方法を用いて店員の確認作業を評価することができる。
　上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（より具体的には、図１０、１１に示す方法をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　検査対象である範囲を設定する検査範囲設定部と、
　前記検査対象の検査を行う対象者の視線方向を検出する視線方向検出部と、
　前記対象者の顔方向を検出する顔方向検出部と、
　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する評価部と、
　を備える検査評価装置。
（付記２）
　前記検査対象の対象物において注目すべき箇所を検出する事前検査部をさらに備え、
　前記検査範囲設定部は、前記注目すべき箇所を含む領域を前記範囲として設定する付記１に記載の検査評価装置。
（付記３）
　前記注目すべき箇所は前記対象物における欠陥である、付記２に記載の検査評価装置。
（付記４）
　前記検査範囲設定部は、前記欠陥の大きさ、深さおよび数の少なくとも一つに基づいて前記範囲の大きさを決定する、付記３に記載の検査評価装置。
（付記５）
　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入っていない場合に、前記検査に対して否定的な評価を行う、付記１～４のいずれか一項に記載の検査評価装置。
（付記６）
　前記評価部は、前記視線方向と前記顔方向との差が所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、付記１～５のいずれか一項に記載の検査評価装置。
（付記７）
　前記評価部は、前記顔方向の動きの大きさが所定の閾値より大きく、かつ前記顔方向の動きの回数が所定の時間内で所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、付記１～６のいずれか一項に記載の検査評価装置。
（付記８）
　前記評価部は、前記視線方向の動きの大きさが所定の閾値より大きく、かつ前記視線方向の動きの回数が所定の時間内で所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、付記１～７のいずれか一項に記載の検査評価装置。
（付記９）
　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入っている時間が所定の条件を満たさない場合に、前記検査に対して否定的な評価を行う、付記１～８のいずれか一項に記載の検査評価装置。
（付記１０）
　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入った順序が所定の条件を満たさない場合に、前記検査に対して否定的な評価を行う、付記１～９のいずれか一項に記載の検査評価装置。
（付記１１）
　前記評価部は、前記範囲、前記顔方向および前記視線方向から算出されたスコアを蓄積し、蓄積された前記スコアに基づいて前記検査を評価する、付記１～１０のいずれか一項に記載の検査評価装置。
（付記１２）
　前記検査評価装置と通信する通信端末および前記検査評価装置に接続されているディスプレイの少なくとも一方を用いて前記評価を出力する出力部をさらに備える、付記１～１１のいずれか一項に記載の検査評価装置。
（付記１３）
　検査対象である範囲を設定する工程と、
　前記検査対象の検査を行う対象者の視線方向を検出する工程と、
　前記対象者の顔方向を検出する工程と、
　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、
　を備える検査評価方法。
（付記１４）
　コンピュータに、
　検査対象である範囲を設定する工程と、
　前記検査対象の検査を行う対象者の視線方向を検出する工程と、
　前記対象者の顔方向を検出する工程と、
　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、
　を実行させるプログラム。
　この出願は、２０１６年７月５日に出願された日本出願特願２０１６－１３３１６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (14)

  1. 　検査対象である範囲を設定する検査範囲設定部と、
    　前記検査対象の検査を行う対象者の視線方向を検出する視線方向検出部と、
    　前記対象者の顔方向を検出する顔方向検出部と、
    　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する評価部と、
    　を備える検査評価装置。
  2. 　前記検査対象の対象物において注目すべき箇所を検出する事前検査部をさらに備え、
    　前記検査範囲設定部は、前記注目すべき箇所を含む領域を前記範囲として設定する請求項１に記載の検査評価装置。
  3. 　前記注目すべき箇所は前記対象物における欠陥である、請求項２に記載の検査評価装置。
  4. 　前記検査範囲設定部は、前記欠陥の大きさ、深さおよび数の少なくとも一つに基づいて前記範囲の大きさを決定する、請求項３に記載の検査評価装置。
  5. 　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入っていない場合に、前記検査に対して否定的な評価を行う、請求項１～４のいずれか一項に記載の検査評価装置。
  6. 　前記評価部は、前記視線方向と前記顔方向との差が所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、請求項１～５のいずれか一項に記載の検査評価装置。
  7. 　前記評価部は、前記顔方向の動きの大きさが所定の閾値より大きく、かつ前記顔方向の動きの回数が所定の時間内で所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、請求項１～６のいずれか一項に記載の検査評価装置。
  8. 　前記評価部は、前記視線方向の動きの大きさが所定の閾値より大きく、かつ前記視線方向の動きの回数が所定の時間内で所定の閾値より大きい場合に、前記検査に対して否定的な評価を行う、請求項１～７のいずれか一項に記載の検査評価装置。
  9. 　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入っている時間が所定の条件を満たさない場合に、前記検査に対して否定的な評価を行う、請求項１～８のいずれか一項に記載の検査評価装置。
  10. 　前記評価部は、前記視線方向および前記顔方向の少なくとも一方が前記範囲に入った順序が所定の条件を満たさない場合に、前記検査に対して否定的な評価を行う、請求項１～９のいずれか一項に記載の検査評価装置。
  11. 　前記評価部は、前記範囲、前記顔方向および前記視線方向から算出されたスコアを蓄積し、蓄積された前記スコアに基づいて前記検査を評価する、請求項１～１０のいずれか一項に記載の検査評価装置。
  12. 　前記検査評価装置と通信する通信端末および前記検査評価装置に接続されているディスプレイの少なくとも一方を用いて前記評価を出力する出力部をさらに備える、請求項１～１１のいずれか一項に記載の検査評価装置。
  13. 　検査対象である範囲を設定する工程と、
    　前記検査対象の検査を行う対象者の視線方向を検出する工程と、
    　前記対象者の顔方向を検出する工程と、
    　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、
    　を備える検査評価方法。
  14. 　コンピュータに、
    　検査対象である範囲を設定する工程と、
    　前記検査対象の検査を行う対象者の視線方向を検出する工程と、
    　前記対象者の顔方向を検出する工程と、
    　前記範囲、前記顔方向および前記視線方向に基づいて、前記検査を評価する工程と、
    　を実行させるプログラム。
PCT/JP2017/024290 2016-07-05 2017-07-03 検査評価装置、検査評価方法およびプログラム WO2018008576A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016133165 2016-07-05
JP2016-133165 2016-07-05

Publications (1)

Publication Number Publication Date
WO2018008576A1 true WO2018008576A1 (ja) 2018-01-11

Family

ID=60912796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024290 WO2018008576A1 (ja) 2016-07-05 2017-07-03 検査評価装置、検査評価方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2018008576A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424201B2 (ja) 2020-05-18 2024-01-30 富士フイルムビジネスイノベーション株式会社 目視点検確認装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349540A (ja) * 2005-06-17 2006-12-28 Matsushita Electric Ind Co Ltd 目視検査支援システム
JP2007163380A (ja) * 2005-12-15 2007-06-28 Denso Corp 目視検査作業管理システム
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
WO2015155843A1 (ja) * 2014-04-08 2015-10-15 富士通株式会社 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349540A (ja) * 2005-06-17 2006-12-28 Matsushita Electric Ind Co Ltd 目視検査支援システム
JP2007163380A (ja) * 2005-12-15 2007-06-28 Denso Corp 目視検査作業管理システム
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
WO2007141857A1 (ja) * 2006-06-08 2007-12-13 Olympus Corporation 外観検査装置
WO2015155843A1 (ja) * 2014-04-08 2015-10-15 富士通株式会社 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424201B2 (ja) 2020-05-18 2024-01-30 富士フイルムビジネスイノベーション株式会社 目視点検確認装置及びプログラム

Similar Documents

Publication Publication Date Title
JP7031588B2 (ja) 不審者検出装置、不審者検出方法およびプログラム
EP2040145B1 (en) Image processing method and input interface apparatus
CN108416235B (zh) 显示界面防偷窥的方法、装置、存储介质及终端设备
KR20160117207A (ko) 화상 해석 장치 및 화상 해석 방법
US11006864B2 (en) Face detection device, face detection system, and face detection method
EP3666177B1 (en) Electronic device for determining degree of conjunctival hyperemia
JP7059054B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10433119B2 (en) Position determination device, position determining method, and storage medium
EP3284395B1 (en) Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
AU2020309094B2 (en) Image processing method and apparatus, electronic device, and storage medium
US20210042971A1 (en) Information processing device, display method, and program storage medium for monitoring object movement
EP1998282A1 (en) Video image information processing device, judging method, and computer program
US8154771B2 (en) Training a user on an accessiblity device
JP4987513B2 (ja) 追跡装置、追跡方法、及び追跡プログラム
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
WO2018008576A1 (ja) 検査評価装置、検査評価方法およびプログラム
JP2004062393A (ja) 注目判定方法及び注目判定装置
CN108319956A (zh) 证件信息的自动识别装置及系统
US10346706B2 (en) Image processing device, image processing method, and non-transitory storage medium storing image processing program
JP6789410B2 (ja) 画像処理装置、制御方法及び制御プログラム
JP7443044B2 (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体
JP7242232B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9041973B2 (en) Support system, control device, image forming apparatus, and support method utilizing cards on which written information is printed
CN111899615B (zh) 实验的评分方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17824180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17824180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP