WO2021229972A1 - 工具システム、工具、基準画像生成方法及びプログラム - Google Patents

工具システム、工具、基準画像生成方法及びプログラム Download PDF

Info

Publication number
WO2021229972A1
WO2021229972A1 PCT/JP2021/015138 JP2021015138W WO2021229972A1 WO 2021229972 A1 WO2021229972 A1 WO 2021229972A1 JP 2021015138 W JP2021015138 W JP 2021015138W WO 2021229972 A1 WO2021229972 A1 WO 2021229972A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
reference image
tool
work
Prior art date
Application number
PCT/JP2021/015138
Other languages
English (en)
French (fr)
Inventor
良介 佐々木
睦裕 山中
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to EP21804824.7A priority Critical patent/EP4151369A4/en
Priority to US17/923,823 priority patent/US20230177753A1/en
Priority to CN202180035099.7A priority patent/CN115605321A/zh
Publication of WO2021229972A1 publication Critical patent/WO2021229972A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/147Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers
    • B25B23/1475Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers for impact wrenches or screwdrivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B21/00Portable power-driven screw or nut setting or loosening tools; Attachments for drilling apparatus serving the same purpose
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25FCOMBINATION OR MULTI-PURPOSE TOOLS NOT OTHERWISE PROVIDED FOR; DETAILS OR COMPONENTS OF PORTABLE POWER-DRIVEN TOOLS NOT PARTICULARLY RELATED TO THE OPERATIONS PERFORMED AND NOT OTHERWISE PROVIDED FOR
    • B25F5/00Details or components of portable power-driven tools not particularly related to the operations performed and not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present disclosure relates generally to tool systems, tools, reference image generation methods and programs, and more specifically to tool systems used for portable tools, portable tools, references for generating reference images used by tool systems. Regarding image generation methods and programs.
  • Patent Document 1 describes a tool system including a portable tool having a drive unit and an image pickup unit operated by power from a battery pack.
  • the image pickup unit is arranged so that the socket attached to the output shaft of the tool fits within the image pickup range, and is a work target (object or place where work is performed using the tool, etc.) when working with the tool. ) Is imaged.
  • the captured image generated by the image pickup unit is used to identify a set work object to which the tool is set (that is, the tool is prepared to perform work on the work object). ..
  • the tool system described in Patent Document 1 includes a specific part.
  • the specific unit compares the captured image generated by the image pickup unit with a plurality of reference images stored in the image storage unit, and identifies the set work target. Further, in Patent Document 1, when the set work target specified by the specific unit does not match the work order in the reference work procedure, the tool performs processing such as stopping the operation of the drive unit.
  • an object of the present invention is to provide a tool system, a tool, a reference image generation method, and a program using an image suitable for specifying a set work target as a reference image.
  • the tool system is used for a plurality of tools.
  • the plurality of tools are portable and have a drive unit operated by power from a power source and an image pickup unit.
  • the tool system includes a reference image generator.
  • the reference image generation unit generates a reference image to be compared with the first captured image.
  • the first captured image is an image taken of a tool set among the plurality of tools when specifying a set work target which is a work target in which any of the plurality of tools is set among the plurality of work targets. It is an image taken by the unit.
  • the reference image generation unit generates the reference image based on the second captured image.
  • the second captured image is an captured image captured by the imaging unit of any of the plurality of tools.
  • the tool system further comprises an output unit. The output unit causes the display unit to display the second captured image when the reference image generation unit generates the reference image.
  • the tool according to one aspect of the present disclosure is used in the tool system and includes the drive unit and the image pickup unit.
  • the reference image generation method includes a reference image generation step.
  • a reference image to be compared with the first captured image is generated based on the second captured image.
  • the first captured image is an captured image captured by the imaging unit of the set tool among the plurality of tools when the set work target, which is the work target in which any of the plurality of tools is set, is specified. be.
  • the plurality of tools are portable and have a drive unit operated by power from a power source and the image pickup unit.
  • the second captured image is an captured image captured by the imaging unit of any of the plurality of tools.
  • the reference image generation step includes a display step. In the display step, when the reference image is generated, the second captured image is displayed on the display unit.
  • the program according to one aspect of the present disclosure is a program for causing one or more processors to execute the reference image generation method.
  • the tool system includes a plurality of tools, a reference image generation unit, and an output unit.
  • the plurality of tools are portable and have a drive unit operated by power from a power source and an image pickup unit.
  • the reference image generation unit generates a reference image to be compared with the first captured image.
  • the first captured image is an image taken of a tool set among the plurality of tools when specifying a set work target which is a work target in which any of the plurality of tools is set among the plurality of work targets. It is an image taken by the unit.
  • the reference image generation unit generates the reference image based on the second captured image.
  • the second captured image is an captured image captured by the imaging unit of any of the plurality of tools.
  • the output unit causes the display unit to display the second captured image when the reference image generation unit generates the reference image.
  • FIG. 1 is a block diagram of a tool system according to an embodiment.
  • FIG. 2A is an external perspective view of the tool of the same tool system as viewed from one direction.
  • FIG. 2B is an external perspective view of the tool of the same tool system as viewed from another direction.
  • FIG. 3 is a sequence diagram showing the operation of the same tool system.
  • FIG. 4 is a schematic view showing an example of a display screen displayed by the tool system of the above.
  • FIG. 5 is a schematic view showing an example in which a trimming area is set on the display screen displayed by the tool system of the above.
  • FIG. 6 is a schematic view showing an example in which a plurality of trimming areas are set on the display screen displayed by the tool system of the above.
  • FIG. 7 is a schematic view showing an example in which a masking area is set on the display screen displayed by the tool system of the above.
  • the tool system 1 includes a plurality of portable tools 2a and 2b (two in the example of FIG. 1).
  • the tool 2 has, for example, a drive unit 24 including a motor and the like.
  • the drive unit 24 is operated by power (electric power or the like) from a power source such as the battery pack 201, for example.
  • Examples of this type of tool 2 include various types of tools such as an impact wrench, a nut runner, an oil pulse wrench, a driver (including an impact driver), a drill or a drill driver.
  • the user can, for example, attach fastener parts (for example, bolts or nuts) to the work (working object) to be worked, or perform machining such as drilling in the work. Can be done.
  • the image pickup unit 5 is mounted on each of the two tools 2a and 2b.
  • the image pickup unit 5 generates a captured image.
  • the image pickup unit 5 includes, for example, a socket 242 (see FIG. 2A) attached to the output shaft 241 (see FIG. 2A) of the tool 2 in the image pickup range (field of view).
  • the tool 2 out of a plurality of work targets is set based on the captured image (first captured image) obtained by the image pickup unit 5 in the operation mode described later. Specify the set work target that is the work target. By specifying the set work target, the tool system 1 can determine whether or not the work performed by the user using the tool 2 is in line with the work procedure. As described above, by using the first captured image obtained by the image pickup unit 5 mounted on the tool 2, for example, it is possible to support or manage the work of the user using the tool 2.
  • the tool system 1 includes a display unit 62, a reference image generation unit 67, and an output unit 66 in addition to the tool 2.
  • the reference image generation unit 67 generates a reference image corresponding to the work target based on the image captured by the image pickup unit 5 provided on the tool 2 (second captured image) in the registration mode described later. do.
  • the output unit 66 causes the display unit 62 to display the second captured image captured by the image pickup unit 5 when the reference image generation unit 67 generates the reference image.
  • the output unit 66 causes the display unit 62 to display the second captured image. Therefore, when the reference image is generated by the reference image generation unit 67, the user or the like of the tool system 1 can confirm the second captured image displayed on the display unit 62. Therefore, in the tool system 1 of the present embodiment, a more suitable image for specifying the set work target can be used as a reference image.
  • the tool system 1 is used, for example, in an assembly line for assembling workpieces in a factory.
  • each of the two tools 2a and 2b included in the tool system 1 is used for tightening tightening parts (for example, bolts or nuts) such as an impact wrench.
  • tightening tightening parts for example, bolts or nuts
  • it is a tool.
  • tightening target points for one work, and the user uses at least one of the two tools 2a and 2b in one workspace to obtain a plurality of tightening targets. It is assumed that the tightening parts are attached to each of the tightening target parts.
  • the "tightening target part" referred to in this disclosure is a part of the work (working object) and is a part to which the tightening part is attached.
  • the tightening part is a bolt
  • the screw hole in which the tightening part is tightened and the portion around the screw hole are the tightening target locations. That is, in the present embodiment, there are a plurality of such parts to be tightened in one work.
  • the "work target” in the present disclosure means an object or a part (location) or the like on which work is performed using the tool 2.
  • the work target in which the tool 2 is set may be referred to as a “set work target”.
  • the "state in which the tool 2 is set” here means a state in which the tool 2 is prepared so that the work can be performed on the work target, and not only the state in which the tool 2 is in contact with the work target but also the tool 2 is pressed. It also includes the state of trying to hit the work target. That is, in the state where the tool 2 is set on the work target, the tool 2 may hit the work target or may be separated from the work target.
  • each of a plurality of tightening target points in one work is a work target.
  • the "captured image” referred to in the present disclosure is an image captured by the imaging unit 5, and includes a still image (still image) and a moving image (moving image).
  • the "moving image” includes an image composed of a plurality of still images obtained by time-lapse photography or the like.
  • the captured image does not have to be the data itself output from the imaging unit 5.
  • the captured image may be subjected to data compression, conversion to another data format, processing to cut out a part from the image captured by the imaging unit 5, focus adjustment, brightness adjustment, contrast adjustment, etc. as necessary. It may be processed.
  • the captured image is an image generated by taking a picture of the work by the imaging unit 5 mounted on the tool 2 with the tool 2 set on the work target. Further, in the present embodiment, as an example, the captured image is a full-color moving image.
  • first image captured image is an image captured by the image pickup unit 5, and is an image captured by the image pickup unit 5 when the user performs work using the tool 2.
  • second captured image is an captured image captured by the imaging unit 5, and is an captured image captured by the imaging unit 5 when a reference image corresponding to a work target is generated.
  • the "reference image” referred to in the present disclosure is an image generated based on the second captured image captured by the imaging unit 5.
  • the “reference image” may include a plurality of frames corresponding to one or more work objects.
  • the frame is a full-color still image.
  • Multiple frames corresponding to one or a plurality of work targets means not only a case where a plurality of frames correspond to a plurality of work targets one-to-one, but also a case where a plurality of frames correspond to one or a plurality of work targets one-to-many. It may also include the case where it corresponds to.
  • the term "mounted” as used in the present disclosure refers to both built-in (including a mode that is integrated so as not to be separated) and external (including a mode that is detachably fixed by using a coupler or the like). including.
  • the "work procedure” referred to in the present disclosure means a work procedure using the tool 2.
  • the work procedure indicates the work order of the one or a plurality of work objects in the work process.
  • the work instruction for one work target is referred to as a "work instruction”
  • the work procedure is information indicating one or a plurality of work instructions in one work process together with the order.
  • the work procedure indicates which of the one or a plurality of work processes the work target corresponds to, and which work in the corresponding work process.
  • the work procedure defines in which order the work is performed for a plurality of work targets in one work.
  • the tool 2 of the present embodiment is a tool used in the tool system 1 and including a drive unit 24 and an image pickup unit 5.
  • the tool 2 is an impact wrench that operates the drive unit 24 by using electric energy. With such a tool 2, the tightening work of attaching the tightening parts to the work target is possible.
  • the tool 2 further has an impact mechanism 25 in addition to the drive unit 24.
  • the tool 2 uses the battery pack 201 as a power source to operate the drive unit 24 with the electric power (electrical energy) supplied from the battery pack 201.
  • the battery pack 201 is included in the component of the tool 2, but it is not essential that the battery pack 201 is included in the component of the tool 2, and the battery pack 201 is included in the component of the tool 2. It does not have to be included.
  • the tool 2 further has a body 20.
  • the drive unit 24 and the impact mechanism 25 are housed in the body 20.
  • the image pickup unit 5, the control unit 3, the storage unit 4, the notification unit 211, and the communication unit 26 included in the tool system 1 are also housed in the body 20.
  • the body 20 of the tool 2 has a body portion 21, a grip portion 22, and a mounting portion 23.
  • the body portion 21 is formed in a tubular shape (here, a cylindrical shape).
  • the grip portion 22 projects from a part of the peripheral surface of the body portion 21 along the normal direction (the radial direction of the body portion 21).
  • the mounting portion 23 is configured so that the battery pack 201 is removable and mounted.
  • the mounting portion 23 is provided at the tip end portion of the grip portion 22.
  • the body portion 21 and the mounting portion 23 are connected by the grip portion 22.
  • the drive unit 24 is housed in the body unit 21.
  • the drive unit 24 has a motor.
  • the drive unit 24 is configured to operate using the electric power supplied to the motor from the battery pack 201, which is a power source, as a power source.
  • the output shaft 241 projects from one end surface of the body portion 21 in the axial direction.
  • the output shaft 241 rotates about the rotation shaft Ax1 along the protruding direction of the output shaft 241 with the operation of the drive unit 24. That is, the drive unit 24 drives the output shaft 241 to rotate the output shaft 241 around the rotation shaft Ax1. In other words, by operating the drive unit 24, torque acts on the output shaft 241 to rotate the output shaft 241.
  • a cylindrical socket 242 for rotating a tightening component (for example, a bolt or a nut) is detachably attached to the output shaft 241.
  • the socket 242 rotates around the output shaft 241 together with the output shaft 241.
  • the size of the socket 242 attached to the output shaft 241 is appropriately selected by the user according to the size of the tightening component.
  • a socket anvil can be attached to the output shaft 241 instead of the socket 242.
  • the socket anvil is also detachably attached to the output shaft 241.
  • a bit for example, a driver bit or a drill bit
  • a bit can be attached via the socket anvil.
  • the tool 2 has an impact mechanism 25 as described above.
  • the impact mechanism 25 applies a striking force in the rotational direction to the output shaft 241.
  • the tool 2 can apply a larger tightening torque to the tightening part.
  • the grip portion 22 is a portion that the user grips when performing work.
  • the grip portion 22 is provided with a trigger switch 221 and a forward / reverse changeover switch 222.
  • the trigger switch 221 is a switch for controlling the on / off of the operation of the drive unit 24, and the rotation speed of the output shaft 241 can be adjusted according to the pull-in amount.
  • the forward / reverse changeover switch 222 is a switch that switches the rotation direction of the output shaft 241 between forward rotation and reverse rotation.
  • the mounting portion 23 is formed in a flat rectangular parallelepiped shape.
  • the battery pack 201 is removably mounted on one side of the mounting portion 23 opposite to the grip portion 22.
  • the battery pack 201 has a resin case 202 formed in a rectangular parallelepiped shape.
  • the case 202 houses a storage battery (for example, a lithium ion battery).
  • the battery pack 201 supplies electric power to the drive unit 24, the control unit 3, the image pickup unit 5, the communication unit 26, the notification unit 211, and the like.
  • the mounting portion 23 is provided with an operation panel 231.
  • the operation panel 231 has, for example, a plurality of pushbutton switches 232 and a plurality of LEDs (Light Emitting Diodes) 233.
  • LEDs Light Emitting Diodes
  • various settings and status confirmations regarding the tool 2 can be performed. That is, for example, the user can change the operation mode of the tool 2 and check the remaining capacity of the battery pack 201 by operating the push button switch 232 of the operation panel 231.
  • the mounting unit 23 is provided with a light emitting unit 234.
  • the light emitting unit 234 includes, for example, an LED.
  • the light emitting unit 234 irradiates the work target with light during the work using the tool 2.
  • the light emitting unit 234 can be turned on / off by operating the operation panel 231. Further, the light emitting unit 234 may be automatically turned on when the trigger switch 221 is turned on.
  • the tool system 1 includes a portable tool 2 as described above. Further, in the present embodiment, the tool system 1 further includes a setting terminal 60.
  • the tool 2 of the present embodiment has at least an operation mode and a registration mode as operation modes.
  • the operation mode is an operation mode when the user performs work using the tool 2.
  • the registration mode is an operation mode for generating a reference image corresponding to the work target.
  • the operation mode can be switched, for example, by operating the operation panel 231.
  • the operation mode may be switched by a DIP switch or the like, which is different from the operation panel 231.
  • the image pickup unit 5, the control unit 3, the storage unit 4, the notification unit 211, and the communication unit 26 are housed in the body 20 of the tool 2.
  • the image pickup unit 5 and the notification unit 211 are housed in the body unit 21.
  • the control unit 3, the storage unit 4, and the communication unit 26 are housed in the grip unit 22 or the mounting unit 23.
  • the image pickup unit 5 is mounted on the tool 2 and generates data as a captured image.
  • the image pickup unit 5 is, for example, a camera having an image pickup element and a lens.
  • the imaging unit 5 is housed in the body 20 (body unit 21) of the tool 2.
  • the image pickup unit 5 is mounted toward the tip end side of the output shaft 241 so as to take an image of a work target during work using the tool 2.
  • the image pickup unit 5 is arranged at the tip end portion of the body portion 21 toward the tip end side (socket 242) of the output shaft 241 so that the socket 242 attached to the output shaft 241 fits within the image pickup range. (See FIGS. 2A and 2B).
  • the optical axis of the image pickup unit 5 is arranged along the rotation axis Ax1 of the output shaft 241.
  • the image pickup unit 5 is arranged so that the optical axis is located within a predetermined distance from the rotation axis Ax1 of the output shaft 241 and the optical axis is substantially parallel to the rotation axis Ax1.
  • the image pickup unit 5 may be capable of generating an captured image for specifying the set work target.
  • the "captured image for specifying the set work target” is an image generated when the work in the state where the tool 2 is set in the work target is photographed by the image pickup unit 5.
  • the captured image may be an image that can specify the set work target, and the work target in which the tool 2 is set may be included in the image capture range of the captured image, or the tool 2 may be set.
  • the work target that has been done does not have to fit.
  • the image pickup unit 5 When the tool 2 is in the operation mode, the image pickup unit 5 generates the first captured image.
  • the first captured image of the present embodiment is an image generated when the work is photographed by the imaging unit 5 mounted on the tool 2 with the tool 2 in the operation mode set as the work target.
  • the work object in which the tool 2 is set may be included in the imaging range of the first captured image, or the work object in which the tool 2 is set may not be included.
  • the image pickup unit 5 outputs the first continuously captured images in time series to the specific processing unit 33 of the control unit 3.
  • the image pickup unit 5 when the tool 2 is in the registration mode, the image pickup unit 5 generates a second captured image.
  • the second captured image of the present embodiment is an image generated when the work is photographed by the imaging unit 5 mounted on the tool 2 with the tool 2 in the registration mode set as the work target.
  • the work object in which the tool 2 is set may be included in the imaging range of the second captured image, or the work object in which the tool 2 is set may not be included.
  • the image pickup unit 5 When the tool 2 is in the registration mode, the image pickup unit 5 outputs a second continuously captured image in time series to the communication unit 26, and causes the communication unit 26 to transmit the second captured image to the setting terminal 60.
  • the notification unit 211 is composed of, for example, an LED.
  • the notification unit 211 is provided at an end portion of the body unit 21 of the body 20 opposite to the output shaft 241 so that the user can easily see the notification unit 211 during work (see FIG. 2B).
  • the communication unit 26 is a wireless communication conforming to a standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark) or low power radio (specified low power radio) that does not require a license. Adopt the method.
  • the communication unit 26 performs wireless communication with the setting terminal 60, but may communicate with the setting terminal 60 by a wired communication method.
  • the control unit 3 includes, for example, a microcontroller having one or more processors and one or more memories as a main configuration.
  • the microcontroller realizes the function as the control unit 3 by executing the program recorded in one or more memories with one or more processors.
  • the program may be pre-recorded in memory, may be recorded and provided on a non-temporary recording medium such as a memory card, or may be provided through a telecommunication line.
  • the above program is a program for making one or more processors function as the control unit 3.
  • the control unit 3 has functions such as a drive control unit 31, an image pickup control unit 32, a specific processing unit 33, a notification control unit 34, a determination unit 35, a registration unit 36, and a reflection processing unit 37.
  • a drive control unit 31 an image pickup control unit 32, a specific processing unit 33, a notification control unit 34, a determination unit 35, a registration unit 36, and a reflection processing unit 37.
  • the control unit 3 goes into a sleep state.
  • the control unit 3 is activated when an operation input is made to the trigger switch 221 or the operation panel 231 during the sleep state.
  • the drive control unit 31 controls the drive unit 24. Specifically, the drive control unit 31 operates the drive unit 24 so as to rotate the output shaft 241 at a rotation speed based on the pull-in amount of the trigger switch 221 and in the rotation direction set by the forward / reverse changeover switch 222. Let me.
  • the drive control unit 31 controls the drive unit 24 so that the tightening torque becomes the torque set value (working set value).
  • the drive control unit 31 has a torque estimation function for estimating the magnitude of the tightening torque.
  • the drive control unit 31 estimates the magnitude of the tightening torque based on the rotation speed of the drive unit 24 (motor) or the like until the estimated value of the tightening torque reaches the seating determination level. ..
  • the drive control unit 31 estimates the magnitude of the tightening torque based on the number of impacts of the impact mechanism 25.
  • the drive control unit 31 determines that the tightening torque has reached the torque set value and stops the drive unit 24 (motor). As a result, the tool 2 can tighten the tightening parts with the tightening torque according to the torque set value.
  • the image pickup control unit 32 is a processing unit that controls the image pickup unit 5 to generate a first image pickup image and a second image pickup image in the image pickup unit 5.
  • the specifying processing unit 33 performs image processing for comparing the first captured image of the imaging unit 5 with the reference image, and identifies the set work target reflected in the first captured image from among a plurality of work targets.
  • the reference image is stored in the storage unit 4 (image storage unit 41).
  • the specific processing unit 33 performs pattern recognition processing on the first captured image using a reference image including a plurality of frames corresponding to a plurality of work targets as template data, and specifies a set work target. do. That is, the specific processing unit 33 identifies the set work target reflected in the first captured image by comparing the first captured image with the reference image including a plurality of frames corresponding to the plurality of work targets. do.
  • the specific processing unit 33 performs image processing (pattern recognition processing) on a moving image format data (first captured image) output from the imaging unit 5 in frame units to specify a set work target.
  • the "pattern recognition process” as used in the present disclosure means an image process that recognizes what is reflected in an image based on the shape of the object reflected in the image.
  • pattern matching processing processing for recognizing an object reflected in an image using a trained model created by machine learning, and the like.
  • the pattern matching process referred to here is a process of comparing the template data with the comparison target (first captured image or the like) using the template data as described above.
  • an appropriate algorithm may be used, for example, a deep learning (deep learning) algorithm may be used.
  • the specific processing unit 33 executes at least one of the restriction and the notification of the operation of the drive unit 24 when the specified work target does not correspond to the work instruction specified in the work procedure. In short, the specific processing unit 33 determines whether or not the work target (set work target) specified by the specific processing unit 33 corresponds to the work instruction specified by the preset work procedure. That is, the specific processing unit 33 determines whether or not the work target specified by the specific processing unit 33 matches the work target to which the work instruction included in the work procedure indicates.
  • the specific processing unit 33 extracts the data of the work procedure corresponding to the set work target from the procedure storage unit 44 of the storage unit 4. Then, the specific processing unit 33 determines whether or not the work target that is the target of the current work instruction defined by the work procedure extracted from the procedure storage unit 44 and the specified work target match. If both match, the specific processing unit 33 determines that the specified work target corresponds to the work instruction specified in the work procedure. If they do not match, the specific processing unit 33 determines that the specified work target does not correspond to the work instruction specified in the work procedure.
  • the specific processing unit 33 limits the operation of the drive unit 24 and notifies the operation. Do at least one of them.
  • the "notification" referred to in the present disclosure includes not only a notification to a user but also a notification to an external terminal (for example, a mobile terminal or the like).
  • the specific processing unit 33 determines that it does not correspond to the work instruction specified in the specified work procedure, the specific processing unit 33 does not operate the drive unit 24 even if the trigger switch 221 is pulled. That is, the operation of the drive unit 24 is permitted only when the specific processing unit 33 determines that the specified work target corresponds to the work instruction specified in the work procedure. Therefore, even if the tool 2 is set on the work target that deviates from the work procedure, the drive unit 24 remains stopped, so that the tightening work becomes impossible. As a result, it is possible to prevent the work from being performed by an erroneous work procedure.
  • the trigger switch 221 may be locked so that it cannot be pulled.
  • the notification control unit 34 operates the notification unit 211.
  • the notification unit 211 functions as a user notification unit that notifies the user that the tool 2 is set on the work target that is out of the work procedure.
  • the specific processing unit 33 executes at least a target identification process for specifying a set work target as a predetermined process based on the first captured image. That is, the specific processing unit 33 executes at least the identification of the set work target as a (predetermined) process. Further, the specific processing unit 33 executes a procedure determination process for comparing the specified work target with the work instruction specified in the work procedure and determining the correspondence between the two as a predetermined process based on the first captured image. do. That is, the specific processing unit 33 executes the determination of the correspondence relationship between the specified work target and the work instruction specified in the work procedure as (predetermined) processing. Further, as a result of the procedure determination process, when the work target does not correspond to the work instruction, the specific processing unit 33 executes the restriction and / or the notification of the operation of the drive unit 24.
  • the notification control unit 34 controls the notification unit 211 provided on the tool 2. It is preferable that the notification control unit 34 lights the notification unit 211 in different modes depending on whether the determination results of the specific processing unit 33 do not match or the determination results of the specific processing unit 33 match. For example, the notification control unit 34 lights the notification unit 211 in red when the determination results of the specific processing unit 33 do not match, and lights the notification unit 211 in green when the determination results of the specific processing unit 33 match. .. As a result, the user can recognize whether or not the work procedure is deviated by visually observing the lighting state of the notification unit 211. The notification control unit 34 may turn on the notification unit 211 when the trigger switch 221 is pulled while the determination results of the specific processing unit 33 do not match.
  • the determination unit 35 is configured to determine whether or not the tightening torque is normal when the tightening component is attached to the tightening target portion.
  • the determination unit 35 determines whether or not the tightening torque is normal based on the work instruction specified in the work procedure.
  • the work instruction specified in the work procedure includes the target torque value corresponding to the work target.
  • the determination unit 35 can determine whether or not the work is being performed with the tightening torque according to the work instruction by comparing the target torque value included in the work instruction with the tightening torque.
  • the determination unit 35 determines that the tightening torque is normal, for example, when the drive control unit 31 stops the drive unit 24 when the number of hits of the impact mechanism 25 reaches the threshold number. Further, when the drive control unit 31 stops the drive unit 24 by turning off the trigger switch 221 before the number of hits of the impact mechanism 25 reaches the threshold value, the determination unit 35 does not have a tightening torque. Judged as sufficient (not normal). Further, the determination unit 35 performs a result storage process in which the determination result is stored in the result storage unit 43 in association with the tightening target portion.
  • the registration unit 36 performs image registration processing, torque registration processing, and information registration processing.
  • the image registration process is a process of storing a reference image including a plurality of frames corresponding to a plurality of work targets in the image storage unit 41 of the storage unit 4.
  • the torque registration process is a process of storing a plurality of target torque values in the torque storage unit 42 of the storage unit 4.
  • the information registration process is a process of storing information regarding the content of a predetermined image process performed by the reference image generation unit 67 when generating the reference image in the information storage unit 45 of the storage unit 4.
  • the registration unit 36 stores, for example, a reference image of each work target input from the setting terminal 60 in the image storage unit 41 in association with the work target.
  • the registration unit 36 may store one reference image in the image storage unit 41 corresponding to one work target, or store two or more reference images corresponding to one work target in the image storage unit 41. It may be stored in 41.
  • the registration unit 36 sets the torque value of each work target input from the setting terminal 60 as the target torque value, and stores the torque value in the torque storage unit 42 in association with the work target.
  • the registration unit 36 obtains information regarding the content of the predetermined image processing performed when the reference image generation unit 67 generates the reference image, which is input from the setting terminal 60, with the reference image and the work procedure. Is stored in the information storage unit 45 in association with.
  • processing information includes, for example, information regarding the luminance adjustment performed when the reference image generation unit 67 generates the reference image.
  • the "information on brightness adjustment” includes information indicating a region in which the brightness adjustment has been performed in the reference image, information indicating how much the brightness value has been adjusted with respect to the brightness value of the second captured image, and the like. ..
  • the reflection processing unit 37 reflects the information (processing information) related to the predetermined image processing performed when the reference image generation unit 67 generates the reference image to the control of the image pickup unit 5.
  • the reflection processing unit 37 adjusts the exposure time and the aperture value when the image pickup unit 5 generates the captured image based on the processing information. For example, when the reference image generation unit 67 performs brightness adjustment to reduce the brightness of the entire reference image when generating the reference image, the reflection processing unit 37 determines the brightness of the first captured image captured by the image pickup unit 5. Adjustments are made to shorten the exposure time in order to reduce the exposure time.
  • the storage unit 4 is composed of, for example, a semiconductor memory, and has the functions of an image storage unit 41, a torque storage unit 42 (target value storage unit), a result storage unit 43, a procedure storage unit 44, and an information storage unit 45.
  • the image storage unit 41, the torque storage unit 42, the result storage unit 43, the procedure storage unit 44, and the information storage unit 45 are composed of one memory in the present embodiment, but may be composed of a plurality of memories. good.
  • the storage unit 4 may be a recording medium such as a memory card that is detachably attached to the tool 2.
  • the image storage unit 41 stores a reference image including a plurality of frames in association with a plurality of work targets.
  • a reference image of one frame may be stored in association with one work object, or a plurality of frames in which one work object is projected at various angles or sizes.
  • the reference image may be associated and stored.
  • the torque storage unit 42 stores a plurality of target torque values (target values) in a one-to-one correspondence with a plurality of work targets.
  • the target torque value is the target value of the tightening torque when the tightening component is attached to the corresponding work target.
  • the result storage unit 43 stores a plurality of work targets in association with the determination results at the plurality of tightening target locations by the determination unit 35. Further, it is preferable that the result storage unit 43 adds a time stamp indicating the working time to the determination result of the determination unit 35 and stores it. This makes it possible to distinguish the determination result of the work target for each work in the assembly line.
  • the procedure storage unit 44 stores data of one or a plurality of work procedures.
  • the work procedure means a work procedure using the tool 2, and as an example, is data that defines in what order the work is performed on a plurality of work targets in one work.
  • the information storage unit 45 stores the processing information in association with the reference image and the work procedure.
  • the setting terminal 60 is a mobile terminal such as a smartphone or a tablet terminal, and includes a communication unit 61, a display unit 62, an operation unit 63, a control unit 64, and a storage unit 65.
  • the communication unit 61 conforms to a standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), or a low-power radio (specified low-power radio) that does not require a license.
  • Adopt a wireless communication method.
  • the communication unit 61 performs wireless communication with the communication unit 26 included in the tool 2.
  • the communication unit 61 is not limited to the communication by the wireless communication method, and may perform the communication with the communication unit 26 of the tool 2 by the wired communication method.
  • the display unit 62 and the operation unit 63 are touch panel displays integrally configured.
  • the control unit 64 includes, for example, a microcontroller having one or more processors and one or more memories as a main configuration.
  • the microcontroller realizes a function as a control unit 64 by executing a program recorded in one or more memories with one or more processors.
  • the program may be pre-recorded in memory, may be recorded and provided on a non-temporary recording medium such as a memory card, or may be provided through a telecommunication line.
  • the above program is a program for making one or more processors function as a control unit 64.
  • the control unit 64 is configured to control the communication unit 61, the display unit 62, and the operation unit 63. Further, the control unit 64 has functions as an output unit 66 and a reference image generation unit 67.
  • the reference image generation unit 67 generates a reference image including a plurality of frames corresponding to one or a plurality of work targets.
  • the reference image generation unit 67 generates a reference image including a plurality of frames based on the second captured image captured by the image pickup unit 5 of the tool 2. Furthermore, the reference image generation unit 67 performs predetermined image processing on the second captured image to generate a reference image. Further, the reference image generation unit 67 can change the content of predetermined image processing for each frame when generating a reference image including a plurality of frames.
  • the "predetermined image processing” referred to in the present disclosure is image processing including trimming, masking, luminance adjustment, and the like.
  • triming as used in the present disclosure means designating a part of a reference image (second captured image) as a trimming area.
  • the “trimming area” is an area to be compared with a part area of the first captured image when the specifying processing unit 33 of the tool 2 specifies a set work target.
  • the portion of the reference image other than the trimming region is not a comparison target with the first captured image.
  • masking as used in the present disclosure means to designate a part of a reference image (second captured image) as a masking area.
  • the “masking area” is an area that is not compared with the first captured image when the specific processing unit 33 of the tool 2 specifies the set work target.
  • the portion of the reference image other than the masking region is to be compared with the first captured image.
  • the “brightness adjustment” as used in the present disclosure is an adjustment for increasing or decreasing the brightness of at least a part of the reference image (second captured image).
  • the brightness adjustment is appropriately performed according to the surrounding environment of the work target when the second captured image is captured. For example, the brightness adjustment is performed when light such as lighting is reflected on the work to be assembled by the user, and "overexposure" in which the brightness value is saturated occurs in at least a part of the reference image.
  • the reference image generation unit 67 may generate a reference image of one frame corresponding to one work target, or may generate a reference image of a plurality of frames corresponding to one work target. good.
  • the reference image generation process by the reference image generation unit 67 will be described in detail in "(3.3) Reference image generation process".
  • the output unit 66 causes the display unit 62 to display the second captured image when the reference image generation unit 67 generates the reference image.
  • the output unit 66 of the present embodiment causes the display unit 62 to display the second captured image received by the communication unit 61.
  • the tool 2a and the display unit 62 are separate bodies. Therefore, the tool system 1 of the present embodiment can display the second captured image while making the tool 2a compact.
  • the storage unit 65 is composed of a semiconductor memory such as a flash memory.
  • the storage unit 65 stores the reference image generated by the reference image generation unit 67.
  • the operation of the tool system 1 when the user performs the assembly work of a certain work on the assembly line will be described as an example.
  • a case where the work to be assembled by the user has two work targets and the user performs the work of attaching the tightening parts to the two work targets by using the tool 2 will be described.
  • the tool system 1 generates a reference image based on the second captured image captured by the imaging unit 5 mounted on the tool 2a. Then, a case where the user performs the work of attaching the tightening parts to the two work targets by using the tool 2b different from the tool 2a will be described.
  • the tool 2a sets the operation mode to the registration mode by the user's operation (S1).
  • the user sets the tip (socket 242) of the tool 2a on the first work target TG1 of the work, and for example, the trigger switch 221 is turned on once, so that the image pickup unit 5 of the tool 2a becomes the first.
  • the work target TG1 is photographed (S2).
  • the tool 2a generates a second captured image corresponding to the first work target TG1 and transmits the second captured image to the setting terminal 60 (S3).
  • the imaging unit 5 photographs the second work target TG2 in the same manner as the first work target TG1 (S4).
  • the tool 2a generates a second captured image corresponding to the second work target TG2, and transmits the second captured image to the setting terminal 60 (S5).
  • the output unit 66 of the setting terminal 60 causes the display unit 62 to display the display screen D1 including the second captured image (S6).
  • FIG. 4 is a diagram showing an example of a display screen D1 displayed on the display unit 62 when the reference image generation unit 67 generates a reference image based on the second captured image.
  • the "screen” such as the display screen D1 in the present disclosure is an image (including text, graph, icon, etc.) displayed on the display unit 62 of the setting terminal 60. Further, the "screen” may be an image projected on the screen by a display device such as a projector.
  • the display screen D1 is a screen for displaying the second captured image when the reference image generation unit 67 generates the reference image based on the second captured image.
  • the display screen D1 includes a first region R1, a second region R2, and a third region R3.
  • the first region R1 is a region for displaying a second captured image.
  • the second area R2 is an area for displaying the number of work targets in a certain work process in which the reference image generated by the reference image generation unit 67 is associated with the reference image.
  • the third area R3 is an area for displaying one or more objects B1 to B4.
  • the objects B1 and B2 are objects for changing the second captured image to be displayed in the first area R1 and changing the work procedure corresponding to the reference image.
  • the object B3 is an object for shifting the display screen D1 to a screen for inputting a target torque value of a work target corresponding to a reference image (a second captured image displayed in the first region R1).
  • the object B4 is an object for registering a reference image generated based on the second captured image in association with a certain work target.
  • the user can see the second captured image included in the display screen D1 displayed on the display unit 62 and confirm whether or not the second captured image captured by the imaging unit 5 is suitable for the reference image. can.
  • the reference image generation unit 67 performs predetermined image processing on the second captured image displayed on the display unit 62 to generate a reference image. The details of the reference image generation process will be described later in the column of "(3.3) Reference image generation process".
  • the reference image generation unit 67 completes the reference image generation process (S7).
  • a reference image including two frames corresponding to each of the two work targets of the work to be assembled by the user is stored in the storage unit 65 of the setting terminal 60.
  • the processing information and the target torque value associated with each generated reference image are stored in the storage unit 65 of the setting terminal 60.
  • the reference image, the processing information, and the target torque value are stored in the storage unit 65 in association with the work procedure in the work process.
  • the tool 2b sets the operation mode to the operation mode by performing a predetermined operation on the operation panel 231 of the tool 2b by the user (S8).
  • the tool 2b is a tool different from the tool 2a on which the image pickup unit 5 that has captured the second captured image is mounted.
  • a reference image including a plurality of frames corresponding to each of the two work targets is not registered in the work to be assembled by the user.
  • the tool 2b requests transmission of the reference image, the processing information corresponding to the reference image, and the target torque value from the communication unit 26 to the setting terminal 60. Is transmitted (S9).
  • the communication unit 61 of the setting terminal 60 receives the transmission request from the tool 2b.
  • the control unit 64 of the setting terminal 60 stores the reference image of each work target stored in the storage unit 65, the processing information corresponding to the reference image, and the data of the target torque value.
  • the communication unit 26 of the tool 2b receives the reference image, the processing information, and the target torque value data of each work target from the setting terminal 60.
  • the registration unit 36 of the control unit 3 performs registration processing of the reference image, the processing information, and the target torque value of each work target (S11). By completing this registration process, the user is ready to assemble the work using the tool 2b.
  • the user uses the tool 2b to perform work on each work target in the order of the first work target TG1 and the second work target TG2 according to the work procedure in the assembly work of a certain work.
  • the user sets the socket 242, which is the tip of the tool 2b, in the first work target TG1 of the work, and for example, the trigger switch 221 is turned on once, so that the image pickup unit 5 corresponds to the first work target TG1.
  • the first captured image is generated.
  • the reflection processing unit 37 of the tool 2b reflects the processing information in the control of the image pickup unit 5 according to the work procedure.
  • the reflection processing unit 37 reflects the processing information corresponding to the first work target TG 1 in the control of the image pickup unit 5.
  • Information about image processing such as brightness adjustment performed on the reference image is reflected in the control of the image pickup unit 5, so that the image pickup unit 5 generates a first image captured image suitable for comparison with the reference image. can do.
  • the specific processing unit 33 performs image processing for comparing the first captured image generated by the imaging unit 5 with the reference image stored in the image storage unit 41, and the set work target is the first work target TG1. (S12). As a result, the drive control unit 31 sets the target torque value corresponding to the first work target TG1 to the torque set value (S13). Further, the notification control unit 34 controls the notification unit 211 to notify that the set work target in which the tool 2b is set is specified as the first work target TG1.
  • the user When the user confirms that the first work target TG1 has been specified based on the notification content of the notification unit 211, the user performs the tightening work of attaching the tightening parts to the first work target TG1 (S14).
  • the determination unit 35 determines whether or not the tightening torque is normal when the tightening component is attached to the first work target TG1, and the determination result (first determination result) is used as the communication unit 26. It is transmitted to the setting terminal 60 via (S15).
  • the control unit 64 stores the first determination result in the storage unit 65 in association with the first work target TG1 (S16). ..
  • the user performs the tightening work of the second work target TG2 by the same work procedure as that of the first work target TG1.
  • the user sets the socket 242, which is the tip of the tool 2b, in the second work target TG2, and turns on the trigger switch 221 once, so that the image pickup unit 5 becomes the second work target TG2.
  • the corresponding first captured image is captured.
  • the reflection processing unit 37 of the tool 2b reflects the processing information in the control of the image pickup unit 5 according to the work procedure.
  • the specific processing unit 33 performs image processing and specifies that the set work target is the second work target TG2 (S17).
  • the drive control unit 31 sets the target torque value corresponding to the second work target TG2 to the torque set value (S18).
  • the notification control unit 34 controls the notification unit 211 to notify that the set work target in which the tool 2b is set is specified as the second work target TG2.
  • the user confirms that the second work target TG2 has been specified based on the notification content of the notification unit 211, and confirms that the second work target TG2 has been specified, the user confirms that the second work target TG2 has been specified.
  • Perform the tightening work to attach the tightening parts (S19).
  • the determination unit 35 determines whether or not the tightening torque in the tightening work in step S19 is normal, and transmits this determination result (second determination result) to the setting terminal 60 via the communication unit 26. (S20).
  • the control unit 64 stores the second determination result in the storage unit 65 in association with the second work target TG2 (S21). ..
  • the tool when the user performs the assembly work on the first work target TG1 and the second work target TG2 of a certain work by using the tool 2b, the tool is similarly applied to the subsequent works.
  • the assembly work is performed with the operation mode of 2b set to the operation mode.
  • the output unit 66 causes the display unit 62 to display the display screen D1.
  • the second captured image corresponding to the first work target TG1 is displayed in the first region R1 of the display screen D1.
  • the image Im1 in the second captured image is an image of the socket 242 set in the first work target TG1.
  • the image Im2 in the second captured image is an image of the second work target TG2.
  • the reference image generation unit 67 performs predetermined image processing according to the operation content according to the user's operation. That is, the user can operate the display screen D1 while checking the second captured image displayed on the display unit 62, and cause the reference image generation unit 67 to perform desired image processing. For example, when the user feels that the second captured image (reference image) displayed on the display unit 62 is dark (low brightness) as a whole, the reference image generation unit 67 performs brightness adjustment to increase the brightness. By making it possible, it is possible to generate a reference image brighter than the original second captured image.
  • the user can perform a predetermined image processing including at least one of trimming and masking on the reference image generation unit 67 by performing a predetermined operation such as dragging or pinching out on the display screen D1.
  • FIG. 5 is a diagram showing an example in which a part of the reference image is set in the trimming area (the area surrounded by the frame Tr1) by the user performing a predetermined operation on the display screen D1.
  • the portion of the reference image other than the trimming area is not a comparison target with the first captured image.
  • the reference images displayed in the first region R1 only the trimming region surrounded by the frame Tr1 is to be compared with the first captured image.
  • the reference image in which the trimming area is set is stored in the storage unit 65 in a state where the incidental information including the coordinate information of the trimming area in the entire reference image is added.
  • incidental information is used when the specific processing unit 33 compares the first captured image with the trimmed reference image. That is, when the setting work target is specified, the specific processing unit 33 sets a part of the region in the first captured image as a region to be compared with the trimming region based on the coordinate information included in the incidental information.
  • each of the first captured image and the second captured image (reference image) is an captured image captured by the imaging unit 5 with the tool 2 set on the work target. Therefore, the coordinates of a part of the region in the first captured image and the coordinates of the trimming region in the reference region substantially match.
  • the specific processing unit 33 sets the specific area in the first captured image as the comparison target of the trimming area based on the coordinate information of the trimming area.
  • the "specific area” is an area of the first captured image in which the pattern recognition process is performed.
  • a region having the same coordinates as the trimming region is defined as a specific region. Then, the specific processing unit 33 identifies the set work target by comparing the trimming region with the specific region in the first captured image.
  • the specific processing unit 33 sets the reference image and the second. It is determined that the captured image of 1 matches. On the other hand, when the degree of similarity between the trimming region in the reference image and the specific region in the first captured image is less than a predetermined value (threshold value), the specific processing unit 33 matches the reference image and the first captured image. Judge that it is not.
  • the incidental information makes it possible for the specific processing unit 33 to perform at least one of movement and rotation of the trimming area with respect to the first captured image when the trimming region and the first captured image are compared.
  • the incidental information also includes coordinate information around (near) the trimming area. Therefore, the specific processing unit 33 can make the specific area in the first captured image wider than the trimming area based on the coordinate information around the trimming area.
  • the area having the same coordinates as the coordinates of the trimming area and the coordinates of the periphery (neighborhood) of the trimming area, that is, the coordinates of the coordinate information included in the incidental information is defined as a specific area.
  • the specific processing unit 33 can perform pattern recognition processing for moving or rotating the trimming region with respect to the first captured image in the specific region of the first captured image. Therefore, even when the shooting position of the first captured image and the shooting position of the reference image are deviated from each other, it is possible to accurately identify the set work target.
  • the incidental information defines at least one of the ranges in which the trimming area can be moved and rotated with respect to the first captured image. That is, the range in which the trimming area can be moved or rotated with respect to the first captured image is limited to the specific area in the first captured image defined by the coordinate information of the incidental information. .. By limiting the moving range and the rotation range of the trimming area, it is possible to reduce the load of the pattern recognition processing applied to the specific processing unit 33.
  • the reference image generation unit 67 can set a plurality of trimming areas for the second captured image (reference image) displayed on the display unit 62.
  • FIG. 6 shows an example in which a user performs a predetermined operation on the display screen D1 and a plurality of trimming areas (a region surrounded by a frame Tr2 and an area surrounded by a frame Tr3) are set in the reference image. It is a figure which shows.
  • the reference image generation unit 67 can set weighting in each trimming area.
  • the image Im3 shows the weighting of the trimming area surrounded by the frame Tr2, and the image Im4 shows the weighting of the trimming area surrounded by the frame Tr3.
  • the “weighting” referred to in the present disclosure indicates to what extent each trimming region contributes when the specific processing unit 33 specifies a set work target. In the present embodiment, when the specific processing unit 33 specifies the set work target, the trimming region having a large weighting contributes more to the specific result. In the present embodiment, the specific processing unit 33 calculates the score for each trimming region by multiplying the similarity between each trimming region and the first captured image and the weighting of each trimming region. Further, the specific processing unit 33 adds points in the plurality of trimming areas, and determines that the first captured image and the reference image match when the total points are equal to or more than a predetermined point.
  • FIG. 7 is a diagram showing an example in which a part of the reference image is set in the masking area (hatching area surrounded by the frame Ma1) by the user performing a predetermined operation on the display screen D1. ..
  • the portion of the reference image other than the masking area becomes a comparison target with the first captured image.
  • the portion other than the masking region surrounded by the frame Ma1 is to be compared with the first captured image.
  • the masking area By setting the masking area, it is possible to exclude an unfavorable area as a comparison target in which the user, lighting, etc. are reflected on the surface of the work to be assembled by the user.
  • the image pickup unit 5 mounted on the tool 2 since the image pickup unit 5 mounted on the tool 2 generates a second captured image (reference image), the tip of the tool 2 (socket 242) or the like is reflected in the reference image. ..
  • a component such as a driver bit whose appearance changes according to the stop angle
  • the image of the component such as the driver bit reflected in the reference image and the first captured image. May change.
  • the reference image generation unit 67 can generate a more suitable reference image for specifying the set work target by setting the masking area.
  • the reference image in which the masking area is set is stored in the storage unit 65 in a state where the auxiliary information which is the coordinate information of the masking area in the entire reference image is added, like the reference image in which the trimming area is set. NS.
  • the above embodiment is only one of the various embodiments of the present disclosure.
  • the above embodiment can be variously modified according to the design and the like as long as the object of the present disclosure can be achieved.
  • Each figure described in the present disclosure is a schematic view, and the ratio of the size and the thickness of each component in each figure does not necessarily reflect the actual dimensional ratio.
  • the function equivalent to that of the tool system 1 according to the above embodiment may be embodied by a reference image generation method, a (computer) program, a non-temporary recording medium on which the program is recorded, or the like.
  • the reference image generation method according to one aspect includes a reference image generation step.
  • the second reference image to be compared with the first captured image when specifying the set work target, which is the work target in which any of the plurality of tools 2a and 2b is set is the second. Generated based on the captured image.
  • the plurality of tools 2a and 2b are portable and have a drive unit 24 operated by power from a power source and an image pickup unit 5.
  • the first captured image is an captured image captured by the imaging unit 5 of the set tools 2a and 2b among the plurality of tools 2a and 2b when the set work target is specified.
  • the second captured image is an captured image captured by the imaging unit 5 of any of the plurality of tools 2a and 2b.
  • the reference image generation step includes a display step. In the display step, the second captured image is displayed on the display unit 62 when the reference image is generated.
  • the program according to one aspect is a program for causing one or more processors to execute the above-mentioned reference image generation method.
  • the specific processing unit 33 of the above embodiment compares the specific region in the first captured image with the trimming region based on the coordinate information of the trimming region.
  • the specific processing unit 33 may perform pattern recognition processing using the trimming region for the entire region of the first captured image without using the coordinate information of the trimming region.
  • the specific processing unit 33 adds the points of the plurality of trimming areas, and when the total points are equal to or more than the predetermined points, the first captured image and the reference image match. Judging. Not limited to this, the specific processing unit 33 determines that the first captured image and the reference image match when the score of any one of the plurality of trimming regions is equal to or higher than a predetermined score. May be good.
  • the specific processing unit 33 calculates the score for each trimming area by multiplying the similarity between each trimming area and the first captured image and the weighting of each trimming area. Not limited to this, the specific processing unit 33 performs some calculation related to the similarity to the similarity, such as adding a weight to the similarity of each trimming area and the first captured image, to give a score for each trimming area. It may be calculated.
  • the reflection processing unit 37 reflects the processing information in the control of the image pickup unit 5 according to the work procedure in the operation mode.
  • the reflection processing unit 37 may reflect the processing information in the control of the image pickup unit 5 regardless of the work procedure.
  • the reflection processing unit 37 may reflect the information on the brightness adjustment in the control of the image pickup unit 5 regardless of the work procedure. good.
  • the tool system 1 in the present disclosure includes a computer system in the control unit 3, the setting terminal 60, and the like.
  • the computer system mainly consists of a processor and a memory as hardware.
  • the function as the tool system 1 in the present disclosure is realized by the processor executing the program recorded in the memory of the computer system.
  • the program may be pre-recorded in the memory of the computer system, may be provided through a telecommunications line, and may be recorded on a non-temporary recording medium such as a memory card, optical disk, hard disk drive, etc. that can be read by the computer system. May be provided.
  • the processor of a computer system is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • An integrated circuit such as an IC or an LSI referred to here is called differently depending on the degree of integration.
  • Integrated circuits such as ICs or LSIs include integrated circuits called system LSIs, VLSIs (Very Large Scale Integration), or ULSIs (Ultra Large Scale Integration).
  • an FPGA Field-Programmable Gate Array
  • a plurality of electronic circuits may be integrated on one chip, or may be distributed on a plurality of chips.
  • a plurality of chips may be integrated in one device, or may be distributed in a plurality of devices.
  • the computer system referred to here includes a microcontroller having one or more processors and one or more memories. Therefore, the microprocessor is also composed of one or a plurality of electronic circuits including a semiconductor integrated circuit or a large-scale integrated circuit.
  • the tool system 1 it is not an essential configuration for the tool system 1 that at least a part of the functions of the tool system 1 are integrated in one housing (body 20), and the components of the tool system 1 are a plurality of housings. It may be dispersedly provided on the body. For example, some functions of the control unit 3 may be provided in a housing different from the body 20 of the tool 2. Further, at least a part of the functions of the control unit 3 and the like may be realized by, for example, a server or a cloud (cloud computing).
  • the usage of the tool system 1 is not limited to the assembly line for assembling the work in the factory, and may be used for other purposes.
  • the tool 2 is an impact wrench
  • the tool 2 may be, for example, a nut runner or an oil pulse wrench.
  • the tool 2 may be, for example, a driver (including an impact driver) used for tightening a screw (tightening part).
  • a bit eg, a screwdriver bit, etc.
  • the tool 2 is not limited to the configuration using the battery pack 201 as the power source, and may be configured to use the AC power source (commercial power source) as the power source.
  • the tool 2 is not limited to an electric tool, and may be an air tool having an air motor (drive unit) operated by compressed air (power) supplied from an air compressor as a power source.
  • each of the plurality of tightening target points in one work is a work target
  • the work target may be a module, a part, a product, or the like having a plurality of tightening target points.
  • the target torque values corresponding to the plurality of tightening points in one work target may be the same value or different values from each other.
  • the reference image may include only one frame corresponding to one work object.
  • the image storage unit 41 of the tool 2 stores a reference image including a plurality of frames corresponding to a plurality of work targets, but the tool uses a reference image including a plurality of frames corresponding to a plurality of work targets. It is not essential for 2 to remember.
  • the setting terminal 60 or the server device may include an image storage unit that stores a reference image including a plurality of frames corresponding to a plurality of work targets.
  • the specific processing unit 33 of the tool 2 accesses the image storage unit of the setting terminal 60 or the server device, and compares the first captured image of the image pickup unit 5 with the reference image stored in the image storage unit. , The process of specifying the set work target may be performed.
  • the tool 2 includes the specific processing unit 33, and the setting terminal 60 or the server device may have the function of the specific processing unit 33.
  • the processing unit of the setting terminal 60 or the server device compares the first captured image with the reference image. The process may be performed and the specific result of the live-action work target may be output to the tool 2.
  • the tool 2 may be provided with a torque sensor for measuring the tightening torque.
  • the drive control unit 31 controls the drive unit 24 so that the tightening torque measured by the torque sensor becomes the torque set value.
  • the determination unit 35 may determine whether or not the tightening torque is normal by comparing the measurement result of the torque sensor with the target torque value. When the measurement result of the torque sensor is within a predetermined range based on the target torque value, the determination unit 35 determines that the tightening torque is normal. When the measurement result of the torque sensor is out of the predetermined range based on the target torque value, the determination unit 35 determines that the tightening torque is insufficient (not normal).
  • the notification unit 211 is not limited to a light emitting unit such as an LED, and may be realized by, for example, an image display device such as a liquid crystal display or an organic EL (ElectroLuminescence) display. Further, the notification unit 211 may perform notification (presentation) by means other than display, and may be configured by, for example, a speaker or a buzzer that generates sound (including voice). In this case, it is preferable that the notification control unit 34 generates different sounds from the notification unit 211 depending on whether the determination result of the specific processing unit 33 does not match or the specific processing unit 33 specifies the live-action work target. ..
  • the notification unit 211 may be realized by a vibrator that generates vibration, a transmitter that transmits a notification signal to an external terminal (portable terminal, etc.) of the tool 2, or the like. Further, the notification unit 211 may have two or more functions such as display, sound, vibration, and communication.
  • the storage unit 4 may store data of predetermined work procedures for a plurality of work targets.
  • the specific processing unit 33 selects a reference image of a frame to be used for image processing (pattern recognition processing) from among reference images including a plurality of frames. Specifically, the specific processing unit 33 preferentially selects a reference image of a frame corresponding to the work target whose work procedure is most recent among the reference images including a plurality of frames. The latest work target is the work target to be worked next to the work target specified last.
  • the specific processing unit 33 performs image processing in which the selected reference image is used as template data and compared with the first captured image. That is, the specific processing unit 33 predicts the work target reflected in the first captured image and selects the reference image based on the work procedure. This makes it possible to shorten the time required for the specific processing unit 33 to specify the work target reflected in the first captured image.
  • the specific processing unit 33 may be configured to perform image processing on the first captured image and determine the type of the socket 242 attached to the tool 2.
  • the "type” here is information for distinguishing parts, and includes at least one information of size (size or length), shape, and material.
  • the specific processing unit 33 is configured to determine the length of the socket 242 attached to the tool 2.
  • the specific processing unit 33 corrects the target torque value based on the length of the socket 242, and sets the corrected target torque value to the torque set value. For example, the specific processing unit 33 corrects the target torque value by multiplying the target torque value corresponding to the set work target by a coefficient based on the length of the socket 242, and sets the corrected target torque value as the torque set value. Set. That is, the specific processing unit 33 controls the drive unit 24 so that the tightening torque becomes the corrected target torque value. This makes it possible to reduce variations in tightening torque due to the length of the socket 242.
  • the specific processing unit 33 may be configured to set the torque set value based on the length (type) of the determined socket 242.
  • the storage unit 4 stores torque values corresponding to various lengths of the socket 242 and one-to-one.
  • the specific processing unit 33 acquires a torque value corresponding to the length of the determined socket 242 from the storage unit 4, and sets a value based on the acquired value as the torque set value. For example, the specific processing unit 33 sets the torque value acquired from the storage unit 4 as the torque set value. As a result, the tightening work can be performed with a torque value corresponding to the type of the socket 242.
  • the specific processing unit 33 specifies the set work target by performing the pattern recognition process
  • the pattern recognition process is a process performed by the specific processing unit 33 to specify the set work target.
  • the specific processing unit 33 determines the correspondence relationship between the first captured image and the reference image, or performs various image processes for searching the reference image corresponding to the first captured image instead of the pattern recognition process.
  • the set work target may be specified.
  • the image pickup unit 5 is not limited to the body unit 21 of the body 20, and may be provided, for example, in the mounting unit 23 of the body 20, the battery pack 201, or the like. Similarly, the arrangement of the control unit 3, the storage unit 4, and the like can be changed as appropriate.
  • the setting terminal 60 is not limited to a mobile terminal that can be carried by the user.
  • the setting terminal 60 may be a server or the like capable of communicating with the communication unit 26 of the tool 2.
  • the tool system 1 may include at least a reference image generation unit 67 and an output unit 66. That is, the tool 2 is not an essential configuration of the tool system 1. Further, in the present embodiment, the tool system 1 is realized by one system including the reference image generation unit 67 and the output unit 66, but may be realized by two or more systems. For example, the functions of the reference image generation unit 67 and the output unit 66 may be distributed and provided in two or more systems. Further, at least one function of the reference image generation unit 67 and the output unit 66 may be distributed in two or more systems. For example, the functions of the reference image generation unit 67 may be distributed and provided in two or more devices. Further, at least a part of the functions of the tool system 1 may be realized by, for example, cloud computing.
  • the tool system (1) is used for a plurality of tools (2a, 2b).
  • the plurality of tools (2a, 2b) are portable and have a drive unit (24) and an image pickup unit (5) that are operated by power from a power source.
  • the tool system (1) includes a reference image generation unit (67).
  • the reference image generation unit (67) generates a reference image to be compared with the first captured image.
  • the first captured image is among a plurality of tools (2a, 2b) when specifying a set work target, which is a work target in which any one of the plurality of tools (2a, 2b) is set among the plurality of work targets. It is an image taken by the image pickup part (5) of the set tool (2a; 2b).
  • the reference image generation unit (67) generates a reference image based on the second captured image.
  • the second captured image is an captured image captured by the imaging unit (5) of any of the plurality of tools (2a, 2b).
  • the tool system (1) further comprises an output unit (66).
  • the output unit (66) causes the display unit (62) to display the second captured image when the reference image generation unit (67) generates the reference image.
  • an image more suitable for specifying the set work target can be used as the reference image.
  • the display unit (62) is separate from the plurality of tools (2a, 2b).
  • the plurality of tools (2a, 2b) do not have a display unit (62). Therefore, the plurality of tools (2a, 2b) can be made compact, and the workability of the plurality of tools (2a, 2b) can be improved.
  • the tool system (1) further includes a communication unit (61) capable of communicating with each of the plurality of tools (2a; 2b) in at least one of wired communication and wireless communication in the second aspect. ..
  • the communication unit (61) receives the second captured image from any of the plurality of tools (2a, 2b).
  • the output unit (66) causes the display unit (62) to display the second captured image received by the communication unit (61).
  • the output unit (66) causes the display unit (62) to display the second captured image received by the communication unit (61). Therefore, it is not necessary to transfer the second captured image to be displayed on the display unit (62) by the output unit (66) via a recording medium such as a USB memory.
  • the reference image generation unit (67) refers to the second captured image displayed on the display unit (62). Performs predetermined image processing to generate a reference image.
  • the image subjected to the predetermined image processing is used as the reference image for the second captured image displayed on the display unit (62), it is more suitable for specifying the set work target.
  • the image can be used as a reference image.
  • the reference image generation unit (67) performs predetermined image processing according to the operation content according to the user's operation.
  • the image obtained by performing predetermined image processing according to the operation content according to the operation of the user with respect to the second captured image displayed on the display unit (62) is used as the reference image.
  • a more suitable image for specifying the set work target can be used as a reference image.
  • the reference image includes a plurality of frames corresponding to one or a plurality of work objects.
  • the reference image generation unit (67) can change the content of predetermined image processing for each frame when generating a reference image including a plurality of frames.
  • the reference image generation unit (67) changes the content of the predetermined image processing for each frame when generating the reference image including a plurality of frames, a predetermined image processing suitable for each frame is performed. It can be carried out.
  • the predetermined image processing includes at least one of trimming and masking.
  • trimming a trimming area to be compared when specifying a set work target is set.
  • Masking sets a masking area that is excluded from the comparison target when specifying the set work target.
  • predetermined image processing including at least one of trimming and masking is performed on the second captured image displayed on the display unit (62). Therefore, the tool system (1) can compare the region of the second captured image suitable for specifying the set work target with the first captured image.
  • incidental information is added to the reference image generated by trimming in the seventh aspect.
  • the incidental information is information for enabling at least one of the movement and rotation of the trimming area with respect to the first captured image when the trimming region and a part of the region in the first captured image are compared. Is.
  • the tool system (1) performs at least one of movement and rotation of the trimming area with respect to the first captured image when comparing a part of the first captured image with the trimming area. Therefore, the tool system (1) can further improve the accuracy when specifying the set work target.
  • At least one of the ranges in which the trimming area can be moved and rotated with respect to the first captured image is defined in the incidental information. ing.
  • the processing load when the tool system (1) specifies the set work area can be reduced. can.
  • the predetermined image processing includes trimming.
  • the reference image generation unit (67) can set a plurality of trimming regions for the second captured image displayed on the display unit (62).
  • the reference image generation unit (67) can set weighting for each of the plurality of trimming regions.
  • the reference image generation unit (67) can set a plurality of trimming areas and can set a weighting for each of the plurality of trimming areas, it is more suitable for specifying a set work target.
  • a reference image can be generated.
  • the reflection processing unit (37) that reflects the information of the predetermined image processing in the control of the image pickup unit (5) is provided. Further prepare.
  • the image pickup unit (5) since the information of the predetermined image processing performed at the time of generating the reference image is reflected in the control of the image pickup unit (5), the image pickup unit (5) is suitable for comparison with the reference image.
  • the first captured image can be captured.
  • Configurations other than the first aspect are not essential configurations for the tool system (1) and can be omitted as appropriate.
  • the tool (2a; 2b) according to the twelfth aspect is used in the tool system (1) according to any one of the first to eleventh aspects, and includes a drive unit (24) and an image pickup unit (5).
  • the second captured image is displayed on the display unit (62) when the reference image is generated. Therefore, the user can confirm the second captured image when generating the reference image.
  • the reference image generation method includes a reference image generation step.
  • the reference image to be compared with the first captured image when specifying the set work target which is the work target in which any of the plurality of tools (2a, 2b) is set, is captured by the second imaging. Generate based on the image.
  • the first captured image is a set work target in which any one of the plurality of tools (2a, 2b) is set.
  • the tool (2a) set out of the plurality of tools (2a, 2b) is set when the set work target is specified. It is an image taken by the image pickup unit (5) of 2b).
  • the plurality of tools (2a, 2b) are portable and have a drive unit (24) and an image pickup unit (5) that are operated by power from a power source.
  • the second captured image is an captured image captured by the imaging unit (5) of any of the plurality of tools (2a, 2b).
  • the reference image generation step includes a display step. In the display step, when the reference image is generated, the second captured image is displayed on the display unit (62).
  • the second captured image is displayed on the display unit (62) when the reference image is generated. Therefore, the user can confirm the second captured image when generating the reference image.
  • the program according to the fourteenth aspect is a program that causes one or more processors to execute the method according to the thirteenth aspect.
  • the second captured image is displayed on the display unit (62) when the reference image is generated. Therefore, the user can confirm the second captured image when generating the reference image.
  • the tool system (1) includes a plurality of tools (2a, 2b), a reference image generation unit (67), and an output unit (66).
  • the plurality of tools (2a, 2b) are portable and have a drive unit (24) and an image pickup unit (5) that are operated by power from a power source.
  • the reference image generation unit (67) generates a reference image to be compared with the first captured image.
  • the first captured image is among a plurality of tools (2a, 2b) when specifying a set work target, which is a work target in which any one of the plurality of tools (2a, 2b) is set among the plurality of work targets. It is an image taken by the image pickup part (5) of the set tool (2a; 2b).
  • the reference image generation unit (67) generates a reference image based on the second captured image.
  • the second captured image is an captured image captured by the imaging unit (5) of any of the plurality of tools (2a, 2b).
  • the output unit (66) causes the display unit (62) to display the second captured image when the reference image generation unit (67) generates the reference image.
  • an image more suitable for specifying the set work target can be used as the reference image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Factory Administration (AREA)
  • Studio Devices (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • Portable Power Tools In General (AREA)

Abstract

本開示の課題は、セット作業対象を特定するのに適した画像を基準画像とすることである。工具システム(1)は、複数の工具(2a,2b)に用いられる。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)とを有する。工具システム(1)は、基準画像生成部(67)と、出力部(66)とを備える。基準画像生成部(67)は、セット作業対象を特定する際に撮像部(5)で撮像される第1の撮像画像と比較される基準画像を、撮像部(5)で撮像される第2の撮像画像に基づいて生成する。出力部(66)は、基準画像生成部(67)が基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。

Description

工具システム、工具、基準画像生成方法及びプログラム
 本開示は、一般に工具システム、工具、基準画像生成方法及びプログラムに関し、より詳細には、可搬型の工具に用いられる工具システム、可搬型の工具、工具システムが用いる基準画像を生成するための基準画像生成方法及びプログラムに関する。
 特許文献1には、電池パックからの動力によって動作する駆動部及び撮像部を有する可搬型の工具を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象(工具を用いて作業が行われる対象となる物又は場所等)を撮像する。
 特許文献1においては、撮像部で生成された撮像画像は、工具がセットされた(つまり、工具が作業対象に対して作業が行えるように準備された)セット作業対象を特定するために用いられる。特許文献1に記載の工具システムは、特定部を備えている。特定部は、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、セット作業対象を特定する。さらに、特許文献1では、特定部で特定されたセット作業対象が、基準作業手順における作業順番と一致しない場合、工具は駆動部の動作を停止させる等の処理を行う。
特開2018-108633号公報
 特許文献1に記載の工具システムでは、セット作業対象を特定するのに適した画像を基準画像とすることが望ましい。
 本開示は上記事由に鑑みてなされており、セット作業対象を特定するのに適した画像を基準画像とする工具システム、工具、基準画像生成方法及びプログラムを提供することを目的とする。
 上記の課題を解決するために、本開示の一態様に係る工具システムは、複数の工具に用いられる。前記複数の工具は、可搬型であって、動力源からの動力によって動作する駆動部と、撮像部とを有する。前記工具システムは、基準画像生成部を備える。前記基準画像生成部は、第1の撮像画像と比較される基準画像を生成する。前記第1の撮像画像は、複数の作業対象のうち前記複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の前記撮像部で撮像される撮像画像である。前記基準画像生成部は、第2の撮像画像に基づいて前記基準画像を生成する。前記第2の撮像画像は、前記複数の工具のいずれかの前記撮像部で撮像される撮像画像である。前記工具システムは、出力部を更に備える。前記出力部は、前記基準画像生成部が前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる。
 本開示の一態様に係る工具は、前記工具システムに用いられ、前記駆動部と前記撮像部とを備える。
 本開示の一態様に係る基準画像生成方法は、基準画像生成ステップを含む。前記基準画像生成ステップでは、第1の撮像画像と比較される基準画像を、第2の撮像画像に基づいて生成する。前記第1の撮像画像は、複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の撮像部で撮像される撮像画像である。前記複数の工具は、可搬型であって、動力源からの動力によって動作する駆動部と、前記撮像部と、を有する。前記第2の撮像画像は、前記複数の工具のいずれかの前記撮像部で撮像される撮像画像である。前記基準画像生成ステップは、表示ステップを含む。前記表示ステップでは、前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる。
 本開示の一態様に係るプログラムは、前記基準画像生成方法を、1以上のプロセッサに実行させるためのプログラムである。
 本開示の一態様に係る工具システムは、複数の工具と、基準画像生成部と、出力部と、を備える。前記複数の工具は、可搬型であって、動力源からの動力によって動作する駆動部と、撮像部とを有する。前記基準画像生成部は、第1の撮像画像と比較される基準画像を生成する。前記第1の撮像画像は、複数の作業対象のうち前記複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の前記撮像部で撮像される撮像画像である。前記基準画像生成部は、第2の撮像画像に基づいて前記基準画像を生成する。前記第2の撮像画像は、前記複数の工具のいずれかの前記撮像部で撮像される撮像画像である。前記出力部は、前記基準画像生成部が前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる。
図1は、一実施形態に係る工具システムのブロック図である。 図2Aは、同上の工具システムの工具における一の方向からみた外観斜視図である。図2Bは、同上の工具システムの工具における他の方向からみた外観斜視図である。 図3は、同上の工具システムの動作を示すシーケンス図である。 図4は、同上の工具システムが表示させる表示画面の一例を示す概略図である。 図5は、同上の工具システムが表示させる表示画面にトリミング領域が設定された一例を示す概略図である。 図6は、同上の工具システムが表示させる表示画面に複数のトリミング領域が設定された一例を示す概略図である。 図7は、同上の工具システムが表示させる表示画面にマスキング領域が設定された一例を示す概略図である。
 以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する。
 (実施形態)
 (1)概要
 まず、本実施形態に係る工具システム1の概要について、図1を参照して説明する。
 本実施形態に係る工具システム1は、複数(図1の例では2つ)の可搬型の工具2a,2bを備えている。以下の説明において、2つの工具2a,2bを区別しないときは、単に工具2という。工具2は、例えば、モータ等を含む駆動部24を有している。駆動部24は、例えば、電池パック201等の動力源からの動力(電力等)によって動作する。この種の工具2としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ(インパクトドライバを含む)、ドリル又はドリルドライバ等、様々な種類の工具がある。ユーザにおいては、この種の工具2を用いることで、例えば、作業対象となるワーク(加工対象物)に対して、締結部品(例えば、ボルト又はナット等)を取り付けたり、ワークに穴あけ等の加工をしたりすることができる。
 本実施形態では、撮像部5が、2つの工具2a,2bのそれぞれに搭載されている。撮像部5は、撮像画像を生成する。撮像部5は、例えば、工具2の出力軸241(図2A参照)に取り付けられたソケット242(図2A参照)を撮像範囲(視野)に含んでいる。これにより、工具2での作業時には、作業対象を撮像する撮像部5にて撮像画像が得られる。
 本実施形態に係る工具システム1は、後述する運用モードのときに、撮像部5で得られた撮像画像(第1の撮像画像)に基づいて、複数の作業対象のうち工具2がセットされた作業対象であるセット作業対象を特定する。工具システム1は、セット作業対象を特定することで、ユーザが工具2を用いて行う作業が作業手順に沿っているか否かを判断すること等が可能となる。このように、工具2に搭載された撮像部5で得られる第1の撮像画像を用いれば、例えば、工具2を用いたユーザの作業の支援又は管理等が実現可能となる。
 ところで、本実施形態に係る工具システム1は、図1に示すように、工具2に加えて、表示部62と、基準画像生成部67と、出力部66とを備えている。
 基準画像生成部67は、後述する登録モードのときに、工具2に設けられた撮像部5によって撮像された撮像画像(第2の撮像画像)に基づいて、作業対象に対応する基準画像を生成する。
 出力部66は、基準画像生成部67が基準画像を生成する際に、撮像部5によって撮像された第2の撮像画像を表示部62に表示させる。
 この構成によれば、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、出力部66は第2の撮像画像を表示部62に表示させる。したがって、基準画像生成部67によって基準画像が生成される際に、工具システム1のユーザ等は、表示部62に表示される第2の撮像画像を確認することができる。そのため、本実施形態の工具システム1は、セット作業対象を特定するのにより適した画像を基準画像とすることができる。
 (2)詳細
 以下、本実施形態に係る工具システム1の詳細な構成について、図1~図2Bを参照して説明する。
 (2.1)前提
 本実施形態に係る工具システム1は、例えば、工場におけるワークの組立作業を行う組立ラインに用いられる。特に、本実施形態では一例として、工具システム1に含まれる2つの工具2a,2bのそれぞれは、例えば、インパクトレンチ等の、締付部品(例えば、ボルト又はナット等)の締め付けに用いられる締付工具であるとする。より詳細には、本実施形態では、1つのワークに対して締付対象箇所が複数あり、ユーザが、1つの作業スペースにおいて、2つの工具2a,2bのうちの少なくとも1つを用いて、複数の締付対象箇所の各々に締付部品を取り付けるケースを想定する。
 本開示でいう「締付対象箇所」は、ワーク(加工対象物)の一部であって、締付部品が取り付けられる部位である。例えば、締付部品がボルトであれば、締付部品が締め付けられるねじ孔、及びねじ孔の周辺の箇所が、締付対象箇所となる。すなわち、本実施形態では、1つのワークに、このような締付対象箇所となる部位が複数存在する。
 また、本開示でいう「作業対象」は、工具2を用いて作業が行われる対象となる物又は部位(箇所)等を意味する。特に、作業対象のうち、工具2がセットされた状態の作業対象を「セット作業対象」ということもある。ここでいう「工具2がセットされた状態」は、工具2が作業対象に対して作業が行えるように準備された状態を意味し、工具2が作業対象に当たっている状態だけでなく、工具2を作業対象に当てようとしている状態も含む。つまり、工具2が作業対象にセットされた状態では、工具2が作業対象に当たっていてもよいし、離れていてもよい。本実施形態では一例として、1つのワークにおける複数の締付対象箇所の各々が、作業対象であるとする。
 また、本開示でいう「撮像画像」は、撮像部5で撮像される画像であって、静止画(静止画像)及び動画(動画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。撮像画像は、撮像部5から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部5で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。本実施形態では一例として、撮像画像は、例えば、作業対象に工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されて生成される画像であるとする。また、本実施形態では一例として、撮像画像は、フルカラーの動画であるとする。
 また、本開示でいう「第1の撮像画像」は、撮像部5で撮像される撮像画像であって、ユーザが工具2を用いて作業を行う際に撮像部5で撮像される撮像画像である。「第2の撮像画像」は、撮像部5で撮像される撮像画像であって、作業対象に対応する基準画像を生成する際に、撮像部5で撮像される撮像画像である。
 また、本開示でいう「基準画像」とは、撮像部5で撮像される第2の撮像画像に基づいて生成される画像である。「基準画像」は、1又は複数の作業対象に対応する複数のフレームを含み得る。本実施形態では一例として、フレームは、フルカラーの静止画であるとする。「1又は複数の作業対象に対応する複数のフレーム」とは、複数の作業対象に複数のフレームが一対一に対応している場合のみならず、1又は複数の作業対象に複数のフレームが一対多に対応している場合も含み得る。
 また、本開示でいう「搭載」は、内蔵(分離できないように一体化されている態様を含む)及び外付け(カプラー等を用いて取外し可能に固定されている態様を含む)の両方の態様を含む。
 また、本開示でいう「作業手順」は、工具2を用いた作業の手順を意味する。例えば、1又は複数の作業対象に対する一連の作業を1つの作業工程とした場合、作業手順は、作業工程における1又は複数の作業対象の作業順番を示している。より詳細には、1つの作業対象に対する作業の指示を「作業指示」とした場合、作業手順は、1つの作業工程における1又は複数の作業指示を、その順番と共に示す情報である。言い換えれば、作業手順は、作業対象が、1又は複数の作業工程のうちいずれの作業工程に対応し、かつ対応する作業工程における何番目の作業であるかを示している。本実施形態では一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを作業手順で規定するとする。
 (2.2)工具の構成
 まず、本実施形態に係る工具システム1における工具2(2a,2b)の構成について、図1、図2A及び図2Bを参照して説明する。本実施形態の2つの工具2a,2bのそれぞれの構成は互いに共通である。
 本実施形態の工具2は、工具システム1に用いられ、駆動部24と、撮像部5とを備える工具である。特に、本実施形態では、工具2が電気エネルギを用い駆動部24を動作させるインパクトレンチである場合を想定する。このような工具2では、締付部品を作業対象に取り付ける締付作業が可能である。工具2は、駆動部24に加えて、インパクト機構25を更に有している。
 ここで、工具2は、電池パック201を動力源として、電池パック201から供給される電力(電気エネルギ)で駆動部24を動作させる。本実施形態では、電池パック201は工具2の構成要素に含まれることとするが、電池パック201が工具2の構成要素に含まれることは必須ではなく、工具2の構成要素に電池パック201が含まれていなくてもよい。
 また、工具2は、ボディ20を更に有している。ボディ20には、駆動部24及びインパクト機構25が収容されている。さらに、工具システム1に含まれる、撮像部5、制御部3、記憶部4、通知部211及び通信部26についても、ボディ20に収容されている。
 工具2のボディ20は、胴体部21と、グリップ部22と、装着部23と、を有している。胴体部21は、筒状(ここでは円筒状)に形成されている。グリップ部22は、胴体部21の周面の一部から、法線方向(胴体部21の径方向)に沿って突出する。装着部23は、電池パック201が取外し可能に装着されるように構成されている。本実施形態では、装着部23は、グリップ部22の先端部に設けられている。言い換えれば、胴体部21と装着部23とが、グリップ部22にて連結されている。
 胴体部21には、少なくとも駆動部24が収容されている。駆動部24は、モータを有している。駆動部24は、動力源である電池パック201からモータに供給される電力を動力として動作するように構成されている。胴体部21の軸方向における一端面からは、出力軸241が突出している。出力軸241は、駆動部24の動作に伴って、出力軸241の突出方向に沿った回転軸Ax1を中心に回転する。つまり、駆動部24は、出力軸241を駆動して回転軸Ax1周りで出力軸241を回転させる。言い換えれば、駆動部24が動作することによって、出力軸241にトルクが作用して出力軸241が回転する。
 出力軸241には、締付部品(例えば、ボルト又はナット等)を回転させるための円筒状のソケット242が、取外し可能に取り付けられる。ソケット242は、出力軸241と共に出力軸241周りで回転する。出力軸241に取り付けられるソケット242のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部24が動作すると、出力軸241が回転してソケット242が出力軸241と共に回転する。このとき、ソケット242が締付部品に嵌め合わされていれば、ソケット242と共に締付部品が回転し、締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具2は、駆動部24の動作により、締付部品を締め付ける又は緩めるといった作業を実現できる。
 また、出力軸241には、ソケット242の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸241に対して取外し可能に取り付けられる。この場合、ソケットアンビルを介してビット(例えば、ドライバビット又はドリルビット等)の装着が可能となる。
 工具2は、上述したようにインパクト機構25を有している。インパクト機構25は、締付トルク(作業値)が所定レベルを超えると、出力軸241に回転方向の打撃力を加える。これにより、工具2は、締付部品に対して、より大きな締付トルクを与えることが可能となる。
 グリップ部22は、ユーザが作業を行う際に握る部分である。グリップ部22には、トリガスイッチ221、及び正逆切替スイッチ222が設けられている。トリガスイッチ221は、駆動部24の動作のオン/オフを制御するためのスイッチであり、引込量に応じて出力軸241の回転数の調節が可能である。正逆切替スイッチ222は、出力軸241の回転方向を正転と逆転とで切り替えるスイッチである。
 装着部23は、扁平な直方体状に形成されている。装着部23におけるグリップ部22とは反対側の一面には、電池パック201が取外し可能に装着される。
 電池パック201は、直方体状に形成された樹脂製のケース202を有している。ケース202は、蓄電池(例えば、リチウムイオン電池)を収容している。電池パック201は、駆動部24、制御部3、撮像部5、通信部26、及び通知部211等に電力を供給する。
 また、装着部23には、操作パネル231が設けられている。操作パネル231は、例えば、複数の押ボタンスイッチ232、及び複数のLED(Light Emitting Diode)233を有している。操作パネル231では、工具2に関する種々の設定及び状態確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル231の押ボタンスイッチ232を操作することにより、工具2の動作モードの変更、及び電池パック201の残容量の確認等を行うことができる。
 さらに、装着部23には、発光部234が設けられている。発光部234は、例えば、LEDを含んでいる。発光部234は、工具2を用いた作業時において、作業対象に向けて光を照射する。発光部234のオン/オフは、操作パネル231の操作で行うことができる。また、発光部234は、トリガスイッチ221がオンした際に、自動的に点灯してもよい。
 (2.3)工具システムの全体構成
 次に、本実施形態に係る工具システム1の全体構成について、図1を参照して説明する。
 工具システム1は、上述したように可搬型の工具2を備えている。また、本実施形態では、工具システム1は、設定端末60を更に備えている。
 (2.3.1)工具
 まず、工具2の構成について、図1、図2A及び図2Bを参照して説明する。ここで、本実施形態の工具2は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具2を用いて作業を行う際の動作モードである。登録モードは、作業対象に対応する基準画像を生成するための動作モードである。動作モードの切り替えは、例えば、操作パネル231に対する操作により行うことができる。動作モードの切り替えは、操作パネル231とは別の、例えばディップスイッチ等により行われてもよい。
 撮像部5、制御部3、記憶部4、通知部211及び通信部26は、工具2のボディ20に収容されている。本実施形態では一例として、撮像部5及び通知部211は、胴体部21に収容されている。制御部3、記憶部4及び通信部26は、グリップ部22又は装着部23に収容されている。
 撮像部5は、工具2に搭載されており、撮像画像としてのデータを生成する。撮像部5は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部5は、工具2のボディ20(胴体部21)に収容されている。撮像部5は、工具2を用いた作業時に作業対象を撮像するように、出力軸241の先端側に向けて搭載されている。
 具体的には、撮像部5は、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、胴体部21の先端部に出力軸241の先端側(ソケット242)に向けて配置されている(図2A及び図2B参照)。撮像部5の光軸は、出力軸241の回転軸Ax1に沿って配置される。ここでは、撮像部5は、出力軸241の回転軸Ax1から所定距離内に光軸が位置し、かつ回転軸Ax1と光軸が略平行となるように配置されている。なお、撮像部5が出力軸241に取り付けられたソケット242が撮像範囲に収まるように撮像画像を生成することは必須ではない。撮像部5は、セット作業対象を特定するための撮像画像を生成することが可能であればよい。「セット作業対象を特定するための撮像画像」とは、作業対象に工具2がセットされた状態のワークを撮像部5で撮影されるときに生成される画像である。上記撮像画像は、セット作業対象を特定することが可能な画像であればよく、上記撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。
 工具2が運用モードのとき、撮像部5は第1の撮像画像を生成する。本実施形態の第1の撮像画像は、作業対象に運用モードの工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されるときに生成される画像である。第1の撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。工具2が運用モードのとき、撮像部5は、時系列で連続する第1の撮像画像を制御部3の特定処理部33に出力する。
 また、工具2が登録モードのとき、撮像部5は、第2の撮像画像を生成する。本実施形態の第2の撮像画像は、作業対象に登録モードの工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されるときに生成される画像である。第2の撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。工具2が登録モードのとき、撮像部5は、時系列で連続する第2の撮像画像を通信部26に出力し、第2の撮像画像を通信部26から設定端末60に送信させる。
 通知部211は、例えば、LEDで構成されている。通知部211は、ユーザが作業中に通知部211を目視しやすいように、ボディ20の胴体部21における出力軸241とは反対側の端部に設けられている(図2B参照)。
 通信部26は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用する。通信部26は、設定端末60との間で無線通信を行うが、設定端末60との間で有線通信方式により通信を行ってもよい。
 制御部3は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3としての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3として機能させるためのプログラムである。
 制御部3は、駆動制御部31、撮像制御部32、特定処理部33、通知制御部34、判定部35、登録部36及び反映処理部37等の機能を有している。制御部3は、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3は、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
 駆動制御部31は、駆動部24を制御する。具体的には、駆動制御部31は、トリガスイッチ221の引込量に基づいた回転速度で、かつ正逆切替スイッチ222によって設定された回転方向に、出力軸241を回転させるよう駆動部24を動作させる。
 また、駆動制御部31は、締付トルクがトルク設定値(作業用設定値)となるように駆動部24を制御する。ここで、駆動制御部31は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部31は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部24(モータ)の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部31は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構25の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部31は、インパクト機構25の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部24(モータ)を停止させる。これにより、工具2は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。
 撮像制御部32は、撮像部5を制御して、第1の撮像画像及び第2の撮像画像を撮像部5に生成させる処理部である。
 特定処理部33は、撮像部5の第1の撮像画像と基準画像とを比較する画像処理を行い、第1の撮像画像に映るセット作業対象を、複数の作業対象のうちから特定する。ここにおいて、基準画像は、記憶部4(画像記憶部41)に記憶されている。
 具体的には、特定処理部33は、第1の撮像画像に対して、複数の作業対象に対応する複数のフレームを含む基準画像をテンプレートデータとしたパターン認識処理を行い、セット作業対象を特定する。つまり、特定処理部33は、第1の撮像画像と、複数の作業対象に対応する複数のフレームを含む基準画像とを比較することによって、第1の撮像画像に映っているセット作業対象を特定する。
 特定処理部33は、例えば、撮像部5から出力される動画形式のデータ(第1の撮像画像)に対して、フレーム単位で画像処理(パターン認識処理)を行い、セット作業対象を特定する。
 本開示でいう「パターン認識処理」とは、ある画像に映る物の形状に基づいて、その画像に映る物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。ここでいうパターンマッチング処理は、上述したようなテンプレートデータを用いて、テンプレートデータと比較対象(第1の撮像画像等)との比較を行う処理である。また、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング(深層学習)のアルゴリズムを用いてもよい。さらに、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応しない場合に、駆動部24の動作の制限と通知との少なくとも一方を実行する。要するに、特定処理部33は、特定処理部33で特定された作業対象(セット作業対象)が、予め設定された作業手順で規定されている作業指示に対応するか否かを判定する。つまり、特定処理部33で特定された作業対象が、作業手順に含まれる作業指示が指示する作業の対象となる作業対象と、一致するか否かを特定処理部33は判定する。
 具体的には、特定処理部33は、セット作業対象に対応する作業手順のデータを、記憶部4の手順記憶部44から抽出する。そして、特定処理部33は、手順記憶部44から抽出した作業手順で規定される現在の作業指示の対象となる作業対象と、特定された作業対象とが一致しているか否かを判定する。両者が一致すれば、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応すると判定する。両者が一致しなければ、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応しないと判定する。
 そして、上述したような判定の結果、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合には、特定処理部33は、駆動部24の動作の制限と通知との少なくとも一方を実行する。本開示でいう「通知」には、ユーザへの通知だけでなく外部端末(例えば、携帯端末等)への通知等を含む。
 具体的には、特定処理部33は、特定された作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221が引かれても駆動部24を動作させない。つまり、特定された作業対象が作業手順で規定される作業指示に対応すると特定処理部33で判定された場合にのみ、駆動部24の動作が許可される。したがって、作業手順から外れた作業対象に工具2がセットされたとしても、駆動部24が停止したままとなるので、締付作業が不可となる。これにより、誤った作業手順で作業が行われることを抑制することができる。特定処理部33は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221がロックされて引けなくなるようにしてもよい。
 また、特定処理部33は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、通知制御部34にて通知部211を動作させる。これにより、通知部211は、ユーザに対して、作業手順から外れた作業対象に工具2がセットされていることを通知するユーザ通知部として機能する。
 要するに、特定処理部33は、第1の撮像画像に基づく所定の処理として、少なくともセット作業対象を特定する対象特定処理を実行する。つまり、特定処理部33は、少なくともセット作業対象の特定を(所定の)処理として実行する。さらに、特定処理部33は、第1の撮像画像に基づく所定の処理として、特定された作業対象を作業手順で規定される作業指示と比較し、両者の対応関係を判定する手順判定処理を実行する。つまり、特定処理部33は、特定された作業対象と、作業手順で規定される作業指示との対応関係の判定を(所定の)処理として実行する。さらには、手順判定処理の結果、作業対象が作業指示に対応しない場合には、特定処理部33は、駆動部24の動作の制限及び/又は通知を実行する。
 通知制御部34は、工具2に設けられた通知部211を制御する。通知制御部34は、特定処理部33の判定結果が不一致である場合と、特定処理部33の判定結果が一致である場合とで、通知部211を異なる態様で点灯させることが好ましい。例えば、通知制御部34は、特定処理部33の判定結果が不一致である場合、通知部211を赤色で点灯させ、特定処理部33の判定結果が一致した場合、通知部211を緑色で点灯させる。これにより、ユーザは、通知部211の点灯状態を目視することによって、作業手順から外れているか否かを認識することができる。通知制御部34は、特定処理部33の判定結果が不一致である状態で、トリガスイッチ221を引かれた場合に、通知部211を点灯させてもよい。
 判定部35は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、判定部35は、作業手順で規定される作業指示に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業手順で規定される作業指示が、作業対象に対応する目標トルク値を含んでいる。これにより、判定部35は、作業指示に含まれる目標トルク値と、締付トルクと、を比較することで、作業指示に従った締付トルクで作業がされているかを判定できる。
 判定部35は、例えば、インパクト機構25の打撃数が閾値回数に達することによって駆動制御部31が駆動部24を停止させた場合、締付トルクが正常であると判定する。また、判定部35は、インパクト機構25の打撃数が閾値回数に達する前に、例えばトリガスイッチ221がオフされることによって駆動制御部31が駆動部24を停止させた場合、締付トルクが不十分(正常ではない)と判定する。また、判定部35は、判定結果を、締付対象箇所と対応付けて結果記憶部43に記憶させる結果記憶処理を行う。
 登録部36は、画像登録処理と、トルク登録処理と、情報登録処理とを行う。画像登録処理は、複数の作業対象に対応する複数のフレームを含む基準画像を記憶部4の画像記憶部41に記憶させる処理である。トルク登録処理は、複数の目標トルク値を記憶部4のトルク記憶部42に記憶させる処理である。情報登録処理は、基準画像生成部67が基準画像を生成する際に行った所定の画像処理の内容に関する情報を、記憶部4の情報記憶部45に記憶させる処理である。
 登録部36は、画像登録処理において、例えば、設定端末60から入力される各作業対象の基準画像を作業対象に対応付けて画像記憶部41に記憶させる。ここで、登録部36は、1つの作業対象に対応して1つの基準画像を画像記憶部41に記憶させてもよいし、1つの作業対象に対応して2以上の基準画像を画像記憶部41に記憶させてもよい。
 登録部36は、トルク登録処理において、例えば、設定端末60から入力される各作業対象のトルク値を目標トルク値とし、作業対象に対応付けてトルク記憶部42に記憶させる。
 登録部36は、情報登録処理において、例えば、設定端末60から入力される、基準画像生成部67が基準画像を生成するときに行った所定の画像処理の内容に関する情報を、基準画像と作業手順に対応付けて情報記憶部45に記憶させる。なお、以下の説明において、所定の画像処理の内容に関する情報のことを、「処理情報」という。処理情報は、例えば、基準画像生成部67が基準画像を生成するときに行った輝度調整に関する情報を含む。「輝度調整に関する情報」とは、基準画像内での輝度調整が行われた領域を示す情報、第2の撮像画像の輝度値に対してどれだけ輝度値が調整されたかを示す情報などを含む。
 反映処理部37は、基準画像生成部67が基準画像を生成するときに行った所定の画像処理に関する情報(処理情報)を、撮像部5の制御に反映させる。反映処理部37は、処理情報に基づいて、撮像部5が撮像画像を生成する際の露光時間や絞り値の調整などを行う。例えば、基準画像生成部67が基準画像を生成する際に基準画像全体の輝度を低下させる輝度調整を行った場合、反映処理部37は、撮像部5が撮像する第1の撮像画像の輝度を低下させるために、露光時間を短くする調整を行う。
 記憶部4は、例えば、半導体メモリで構成されており、画像記憶部41、トルク記憶部42(目標値記憶部)、結果記憶部43、手順記憶部44及び情報記憶部45の機能を有する。画像記憶部41とトルク記憶部42と結果記憶部43と手順記憶部44と情報記憶部45とは、本実施形態では1つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部4は、工具2に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。
 画像記憶部41は、複数のフレームを含む基準画像を複数の作業対象と対応付けて記憶している。画像記憶部41には、1つの作業対象に対して、1つのフレームの基準画像が対応付けて記憶されてもよいし、1つの作業対象を様々な角度又は大きさで映した複数のフレームの基準画像が対応付けて記憶されてもよい。
 トルク記憶部42は、複数の目標トルク値(目標値)を、複数の作業対象と一対一に対応付けて記憶している。目標トルク値とは、対応する作業対象に締付部品を取り付ける際における締付トルクの目標値である。
 結果記憶部43は、複数の作業対象と、判定部35による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部43は、判定部35の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいてワークごとに作業対象の判定結果を区別することが可能となる。
 手順記憶部44には、1又は複数の作業手順のデータが記憶されている。作業手順は、上述したように、工具2を用いた作業の手順を意味し、一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを規定するデータである。
 情報記憶部45は、処理情報を、基準画像及び作業手順と対応付けて記憶している。
 (2.3.2)設定端末
 次に、設定端末60の構成について説明する。
 設定端末60は、例えばスマートフォン、タブレット端末等の携帯端末であり、通信部61と、表示部62と、操作部63と、制御部64と、記憶部65とを備えている。
 通信部61は、例えば、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用する。通信部61は、工具2が備える通信部26との間で無線通信を行う。なお、通信部61は、無線通信方式による通信に限定されず、工具2の通信部26との間で有線通信方式による通信を行ってもよい。
 表示部62及び操作部63は、一体に構成されたタッチパネルディスプレイである。
 制御部64は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部64としての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部64として機能させるためのプログラムである。
 制御部64は、通信部61、表示部62、及び操作部63を制御するように構成されている。また、制御部64は、出力部66及び基準画像生成部67としての機能を有している。
 基準画像生成部67は、1又は複数の作業対象に対応する複数のフレームを含む基準画像を生成する。基準画像生成部67は、工具2の撮像部5によって撮影された第2の撮像画像に基づいて複数のフレームを含む基準画像を生成する。さらに言えば、基準画像生成部67は、第2の撮像画像に対して所定の画像処理を行い、基準画像を生成する。また、基準画像生成部67は、複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更可能である。
 本開示でいう「所定の画像処理」とは、トリミング、マスキング、輝度調整などを含む画像処理である。本開示でいう「トリミング」とは、基準画像(第2の撮像画像)の一部をトリミング領域として指定することである。「トリミング領域」とは、工具2の特定処理部33がセット作業対象を特定する際に、第1の撮像画像の一部の領域と比較される領域である。ここで、トリミング領域が指定された基準画像は、基準画像のうちトリミング領域以外の部分は第1の撮像画像との比較対象にならない。本開示でいう「マスキング」とは、基準画像(第2の撮像画像)の一部をマスキング領域として指定することである。「マスキング領域」とは、工具2の特定処理部33がセット作業対象を特定する際に、第1の撮像画像と比較されない領域である。ここで、マスキング領域が指定された基準画像は、基準画像のうちマスキング領域以外の部分が第1の撮像画像との比較対象となる。本開示でいう「輝度調整」とは、基準画像(第2の撮像画像)の少なくとも一部の輝度を上げる又は下げる調整のことである。輝度調整は、第2の撮像画像が撮像されたときの、作業対象の周囲の環境に応じて適宜行われる。例えば、輝度調整は、ユーザが組立作業を行うワークに照明等の光が反射され、基準画像の少なくとも一部に輝度値が飽和した「白とび」が発生している場合などに行われる。トリミング、マスキング及び輝度調整などを含む画像処理が行われることで、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
 なお、基準画像生成部67は、1つの作業対象に対応して1つのフレームの基準画像を生成してもよいし、1つの作業対象に対応して複数のフレームの基準画像を生成してもよい。基準画像生成部67による基準画像の生成処理については「(3.3)基準画像の生成処理」で詳しく説明する。
 出力部66は、基準画像生成部67が基準画像を生成する際に、第2の撮像画像を表示部62に表示させる。本実施形態の出力部66は、通信部61によって受信された第2の撮像画像を表示部62に表示させる。本実施形態の工具システム1では、工具2aと表示部62とが別体である。そのため、本実施形態の工具システム1は、工具2aをコンパクトにしつつ、第2の撮像画像を表示させることができる。
 記憶部65は、例えばフラッシュメモリ等の半導体メモリで構成されている。記憶部65は、基準画像生成部67によって生成された基準画像を記憶する。
 (3)動作
 以下、本実施形態に係る工具システム1の動作について、図3~7を参照して説明する。
 ここでは、組立ラインにおいて、ユーザがあるワークの組立作業を行う際の工具システム1の動作を例として説明する。ユーザが組立作業を行うワークに2つの作業対象があり、ユーザが工具2を使用して2つの作業対象に締付部品を取り付ける作業を行う場合について説明する。また、以下の説明では、工具システム1は工具2aに搭載された撮像部5で撮像された第2の撮像画像に基づいて基準画像を生成する。そしてユーザが、工具2aとは別の工具2bを使用して2つの作業対象に締付部品を取り付ける作業を行う場合について説明する。
 (3.1)登録モード
 まず、あるワークの組立作業を行う際の工具システム1の動作例について、図3を参照して説明する。ここでは、2つの工具2a,2bは、登録部36による画像登録処理、トルク登録処理及び情報登録処理などが行われていない初期状態であるとする。つまり、初期状態にある工具2a,2bにおいては、画像記憶部41、トルク記憶部42及び情報記憶部45に、第1の作業対象TG1及び第2の作業対象TG2のそれぞれに対応する基準画像、目標トルク値及び処理情報が記憶されていない。
 まず、ユーザの操作によって、工具2aは、動作モードを登録モードに設定する(S1)。次に、ユーザがワークの第1の作業対象TG1に工具2aの先端(ソケット242)をセットし、例えばトリガスイッチ221を1回オン操作することで、工具2aの撮像部5は、第1の作業対象TG1の撮影を行う(S2)。これにより、工具2aは、第1の作業対象TG1に対応する第2の撮像画像を生成し、第2の撮像画像を設定端末60に送信する(S3)。次に、撮像部5は、第1の作業対象TG1と同様に、第2の作業対象TG2の撮影を行う(S4)。これにより、工具2aは、第2の作業対象TG2に対応する第2の撮像画像を生成し、第2の撮像画像を設定端末60に送信する(S5)。
 設定端末60の通信部61が第2の撮像画像を受信すると、設定端末60の出力部66は、第2の撮像画像を含む表示画面D1を表示部62に表示させる(S6)。
 図4は、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、表示部62に表示される表示画面D1の一例を示す図である。本開示でいう表示画面D1等の「画面」は、設定端末60の表示部62に映し出される画像(テキスト、グラフ及びアイコン等を含む)である。また、「画面」は、例えばプロジェクタなどの表示装置によってスクリーン上などに投影される画像であってもよい。
 表示画面D1は、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、第2の撮像画像を表示するための画面である。表示画面D1は、図4に示すように、第1領域R1と、第2領域R2と、第3領域R3と、を含んでいる。第1領域R1は、第2の撮像画像を表示する領域である。第2領域R2は、基準画像生成部67が生成する基準画像を、ある作業工程における何番目の作業対象に対応させるかを表示する領域である。第3領域R3は、1つ以上のオブジェクトB1~B4を表示する領域である。
 具体的には、オブジェクトB1,B2は、第1領域R1に表示させる第2の撮像画像を変更したり、基準画像に対応する作業手順などを変更したりするためのオブジェクトである。オブジェクトB3は、表示画面D1を、基準画像(第1領域R1に表示される第2の撮像画像)に対応する作業対象の目標トルク値を入力するための画面に移行させるためのオブジェクトである。オブジェクトB4は、第2の撮像画像に基づいて生成した基準画像を、ある作業対象に対応付けて登録するためのオブジェクトである。ユーザは、これらのオブジェクトB1~B4を操作することにより、基準画像生成部67が基準画像を生成する処理を進行させることができる。
 ユーザは、表示部62に表示される表示画面D1に含まれる第2の撮像画像をみて、撮像部5で撮像された第2の撮像画像が基準画像に適しているか否かを確認することができる。
 基準画像生成部67は、表示部62に表示された第2の撮像画像に対して、所定の画像処理を行い、基準画像を生成する。基準画像の生成処理の詳細については、「(3.3)基準画像の生成処理」の欄で後述する。
 オブジェクトB4に対する操作が行われるなどの所定の操作がユーザによって行われると、基準画像生成部67は、基準画像の生成処理を完了する(S7)。ここまでの作業で、ユーザが組立作業を行うワークの2つの作業対象のそれぞれに対応する2つのフレームを含む基準画像が設定端末60の記憶部65に記憶されている。また、生成された各基準画像と対応付けられた処理情報及び目標トルク値が設定端末60の記憶部65に記憶されている。また、基準画像、処理情報及び目標トルク値は、作業工程における作業手順とも対応付けられて記憶部65に記憶されている。
 (3.2)運用モード
 次に、工具2bの操作パネル231に対する所定の操作がユーザによって行われることにより、工具2bは動作モードを運用モードに設定する(S8)。ここで、工具2bは、第2の撮像画像を撮像した撮像部5が搭載された工具2aとは別の工具である。
 この時点で工具2bには、ユーザが組立作業を行うワークに2つの作業対象のそれぞれに対応する複数のフレームを含む基準画像が登録されていない。ユーザが工具2bの操作パネル231に対して所定の操作を行うことで、工具2bは、通信部26から設定端末60へ基準画像と、その基準画像に対応する処理情報及び目標トルク値の送信要求を送信する(S9)。設定端末60の通信部61は、工具2bからの送信要求を受信する。工具2bからの送信要求を受信すると、設定端末60の制御部64は、記憶部65に記憶している各作業対象の基準画像と、その基準画像に対応する処理情報及び目標トルク値のデータを通信部61から工具2bへ送信させる(S10)。次に、工具2bの通信部26が、設定端末60から各作業対象の基準画像、処理情報及び目標トルク値のデータを受信する。そして、制御部3の登録部36が各作業対象の基準画像、処理情報及び目標トルク値の登録処理を行う(S11)。この登録処理が完了することにより、ユーザが工具2bを使用してワークの組立作業を行う準備が完了する。
 次に、ユーザは、工具2bを用いて、あるワークの組立作業における作業手順に応じて、第1の作業対象TG1、第2の作業対象TG2の順番で、各作業対象に対する作業を行う。まず、ユーザがワークの第1の作業対象TG1に工具2bの先端であるソケット242をセットし、例えばトリガスイッチ221を1回オン操作することで、撮像部5は第1の作業対象TG1に対応する第1の撮像画像を生成する。このとき、工具2bの反映処理部37は、作業手順に応じて、処理情報を撮像部5の制御に反映させる。例えば、ユーザが次に行う作業が第1の作業対象TG1の締付作業である場合、反映処理部37は、第1の作業対象TG1に対応する処理情報を撮像部5の制御に反映させる。基準画像に対して行われた輝度調整などの画像処理に関する情報が撮像部5の制御に反映されることで、撮像部5は、基準画像と比較するのに適した第1の撮像画像を生成することができる。
 特定処理部33は、撮像部5で生成された第1の撮像画像と、画像記憶部41に記憶されている基準画像とを比較する画像処理を行い、セット作業対象が第1の作業対象TG1であることを特定する(S12)。これにより、駆動制御部31は、第1の作業対象TG1に対応する目標トルク値をトルク設定値に設定する(S13)。また、通知制御部34は、通知部211を制御して、工具2bがセットされているセット作業対象が第1の作業対象TG1と特定されたことを通知させる。
 ユーザは、通知部211の通知内容をもとに第1の作業対象TG1が特定されたことを確認すると、第1の作業対象TG1に締付部品を取り付ける締付作業を行う(S14)。
 判定部35は、締付部品が第1の作業対象TG1に取り付けられた際における締付トルクが正常であるか否かを判定し、この判定結果(第1の判定結果)を、通信部26を介して設定端末60に送信する(S15)。設定端末60の通信部61が工具2bから第1の判定結果を受信すると、制御部64は、第1の判定結果を第1の作業対象TG1に対応付けて記憶部65に記憶させる(S16)。
 また、ユーザは、第1の作業対象TG1と同様の作業手順で、第2の作業対象TG2の締付作業を行う。
 具体的には、ユーザが、第2の作業対象TG2に工具2bの先端であるソケット242をセットし、トリガスイッチ221を1回オン操作することにより、撮像部5は第2の作業対象TG2に対応する第1の撮像画像を撮像する。このとき、工具2bの反映処理部37は、作業手順に応じて、処理情報を撮像部5の制御に反映させる。そして、特定処理部33は、画像処理を行い、セット作業対象が第2の作業対象TG2であると特定する(S17)。そして駆動制御部31は、第2の作業対象TG2に対応する目標トルク値をトルク設定値に設定する(S18)。また、通知制御部34は、通知部211を制御して、工具2bがセットされているセット作業対象が第2の作業対象TG2と特定されたことを通知させる。ユーザは、通知部211の通知内容をもとに第2の作業対象TG2が特定されたことを確認すると、第2の作業対象TG2が特定されたことを確認すると、第2の作業対象TG2に締付部品を取り付ける締付作業を行う(S19)。判定部35は、ステップS19の締付作業における締付トルクが正常であるか否かの判定を行い、この判定結果(第2の判定結果)を、通信部26を介して設定端末60に送信する(S20)。設定端末60の通信部61が工具2bから第2の判定結果を受信すると、制御部64は、第2の判定結果を第2の作業対象TG2に対応付けて記憶部65に記憶させる(S21)。
 以上のようにして、ユーザが工具2bを用いて、あるワークの第1の作業対象TG1及び第2の作業対象TG2に対して組立作業を行うと、以降のワークに対しても同様に、工具2bの動作モードを運用モードに設定した状態で組立作業を行う。
 なお、図3に示すシーケンスは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。
 (3.3)基準画像の生成処理
 次に、基準画像生成部67での基準画像の生成処理について、図4~図7を参照してより詳細に説明する。
 上述のように、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、出力部66は、表示部62に表示画面D1を表示させる。図4の例では、第1の作業対象TG1に対応する第2の撮像画像が、表示画面D1の第1領域R1に表示されている。第2の撮像画像における画像Im1は、第1の作業対象TG1にセットされたソケット242の像である。また、第2の撮像画像における画像Im2は、第2の作業対象TG2の像である。
 基準画像生成部67は、ユーザの操作に応じた操作内容に従って所定の画像処理を行う。つまり、ユーザは、表示部62に表示される第2の撮像画像を確認しつつ、表示画面D1に対する操作を行い、所望の画像処理を基準画像生成部67に行わせることが可能である。例えば、ユーザは、表示部62に表示される第2の撮像画像(基準画像)が全体的に暗い(輝度が低い)と感じた場合、基準画像生成部67に輝度を高くする輝度調整を行わせることにより、元となる第2の撮像画像よりも明るい基準画像を生成させることができる。
 また、ユーザが表示画面D1に対してドラッグ又はピンチアウトなどの所定の操作を行うことにより、基準画像生成部67に、トリミング及びマスキングの少なくとも一方を含む所定の画像処理を行わせることができる。
 図5は、ユーザが表示画面D1に対して所定の操作を行うことにより、基準画像の一部がトリミング領域(枠Tr1で囲まれた領域)に設定された一例を示す図である。トリミング領域が設定されて基準画像が生成されると、その基準画像のうちトリミング領域以外の部分は、第1の撮像画像との比較対象とならない。図5の例では、第1領域R1に表示される基準画像のうち、枠Tr1で囲まれたトリミング領域のみが、第1の撮像画像との比較対象となる。
 トリミング領域が設定された基準画像は、基準画像全体の中でのトリミング領域の座標情報を含む付帯情報が付与された状態で記憶部65に記憶される。このような付帯情報は、特定処理部33が第1の撮像画像とトリミングが行われた基準画像とを比較する際に使用される。すなわち、特定処理部33は、セット作業対象を特定する際に、付帯情報に含まれる座標情報に基づいて、第1の撮像画像における一部の領域を、トリミング領域と比較する領域とする。ここで、第1の撮像画像及び第2の撮像画像(基準画像)の各々は、工具2が作業対象にセットされた状態で撮像部5によって撮像された撮像画像である。そのため、第1の撮像画像における一部の領域の座標と、基準領域におけるトリミング領域の座標とはおおよそ一致する。そのため、特定処理部33は、トリミング領域の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域の比較対象とする。「特定領域」とは、第1の撮像画像のうちパターン認識処理が行われる領域である。ここでは、第1の撮像画像のうち、トリミング領域の座標と同じ座標の領域を、特定領域とする。そして、特定処理部33は、トリミング領域と第1の撮像画像における特定領域とを比較することで、セット作業対象を特定する。
 特定処理部33は、パターン認識処理の結果、基準画像におけるトリミング領域と第1の撮像画像における特定領域との類似度(一致度)が所定の値(閾値)以上であるとき、基準画像と第1の撮像画像とが一致していると判定する。一方、特定処理部33は、基準画像におけるトリミング領域と第1の撮像画像における特定領域との類似度が所定の値(閾値)未満であるとき、基準画像と第1の撮像画像とが一致していないと判定する。
 また、付帯情報は、特定処理部33によって、トリミング領域と第1の撮像画像とが比較されるときに、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行うことを可能とする情報である。付帯情報には、トリミング領域の周囲(近傍)の座標情報も含んでいる。そのため、特定処理部33は、トリミング領域の周囲の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域より広い領域にすることができる。ここでは、第1の撮像画像のうち、トリミング領域の座標及びトリミング領域の周囲(近傍)の座標つまり付帯情報に含まれている座標情報の座標と同じ座標の領域を、特定領域とする。そして、特定処理部33は、第1の撮像画像における特定領域の中で、第1の撮像画像に対してトリミング領域を移動させたり、回転させたりするパターン認識処理を行うことが可能である。したがって、第1の撮像画像の撮影位置と、基準画像の撮影位置とがずれている場合などでも、セット作業対象の特定を精度よく行うことができる。
 また、付帯情報には、第1の撮像画像に対してトリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている。すなわち、第1の撮像画像に対してトリミング領域を移動させたり、回転させたりすることが可能な範囲は、付帯情報の座標情報で規定される第1の撮像画像における特定領域内に限定される。トリミング領域の移動範囲及び回転範囲を限定することで、特定処理部33にかかるパターン認識処理の負荷を低減させることができる。
 また、基準画像生成部67は、表示部62に表示される第2の撮像画像(基準画像)に対して複数のトリミング領域を設定可能である。図6は、ユーザが表示画面D1に対して所定の操作を行い、基準画像のうちに複数のトリミング領域(枠Tr2で囲まれた領域及び枠Tr3で囲まれた領域)が設定された一例を示す図である。
 基準画像生成部67は、基準画像に複数のトリミング領域を設定する場合、各トリミング領域に重み付けを設定可能である。画像Im3は、枠Tr2で囲まれたトリミング領域の重み付けを示し、画像Im4は、枠Tr3で囲まれたトリミング領域の重み付けを示している。本開示でいう「重み付け」とは、特定処理部33がセット作業対象を特定する際に各トリミング領域がどの程度寄与するかを示している。本実施形態では、特定処理部33がセット作業対象を特定する際に、重み付けが大きいトリミング領域のほうが特定結果に大きく寄与する。本実施形態では、特定処理部33は、各トリミング領域及び第1の撮像画像の類似度と、各トリミング領域の重み付けと、を乗算することにより、トリミング領域毎に点数を算出する。さらに、特定処理部33は、複数のトリミング領域の点数を加算していき、合計点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定する。
 また、図7は、ユーザが表示画面D1に対して所定の操作を行うことにより、基準画像の一部がマスキング領域(枠Ma1で囲まれたハッチング領域)に設定された一例を示す図である。マスキング領域が設定されて基準画像が生成されると、その基準画像のうちマスキング領域以外の部分は第1撮像画像との比較対象となる。図7の例では、第1領域R1に表示される基準画像のうち、枠Ma1で囲まれたマスキング領域以外の部分が、第1の撮像画像との比較対象となる。
 マスキング領域が設定されることにより、ユーザが組立作業を行うワークの表面にユーザや照明などが映り込んだ比較対象として好ましくない領域を、比較対象から除外することができる。特に、本実施形態の工具システム1では、工具2に搭載された撮像部5で第2の撮像画像(基準画像)を生成するため、基準画像に工具2の先端(ソケット242)などが映り込む。ここで、工具2の先端にドライバビットなどの、停止角度に応じて見え方の変わる部品が装着されている場合、基準画像と第1の撮像画像とで、映りこむドライバビットなどの部品の像が変わることがある。このような場合に、工具2の先端をマスキング領域に設定することで、特定処理部33がセット作業対象を特定する際の精度を向上させることができる。つまり、基準画像生成部67は、マスキング領域を設定することで、セット作業対象を特定するのにより適した基準画像を生成することができる。
 マスキング領域が設定された基準画像は、トリミング領域が設定された基準画像と同様に、基準画像全体の中でのマスキング領域の座標情報である付帯情報が付与された状態で記憶部65に記憶される。
 (4)変形例
 上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、上記実施形態に係る工具システム1と同等の機能は、基準画像生成方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る基準画像生成方法は、基準画像生成ステップを含む。基準画像生成ステップでは、複数の工具2a,2bのいずれかがセットされた作業対象であるセット作業対象を特定する際に第1の撮像画像と比較される対象となる基準画像を、第2の撮像画像に基づいて生成する。複数の工具2a,2bは、可搬型であって、動力源からの動力によって動作する駆動部24と、撮像部5と、を有する。第1の撮像画像は、セット作業対象を特定する際に複数の工具2a,2bのうちセットされた工具2a,2bの撮像部5で撮像される撮像画像である。第2の撮像画像は、複数の工具2a,2bのいずれかの撮像部5で撮像された撮像画像である。基準画像生成ステップは、表示ステップを含む。表示ステップでは、基準画像を生成する際に、第2の撮像画像を表示部62に表示する。一態様に係るプログラムは、上記の基準画像生成方法を、1以上のプロセッサに実行させるためのプログラムである。
 以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下、上記実施形態と同様の構成については、共通の符号を付して適宜説明を省略する。
 上記実施形態の特定処理部33は、トリミング領域と第1の撮像画像とを比較する際に、トリミング領域の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域との比較対象にする。これに限られず、特定処理部33は、トリミング領域の座標情報を用いずに、第1の撮像画像の全領域に対して、トリミング領域を用いたパターン認識処理を行うようにしてもよい。
 上記実施形態では、特定処理部33が、複数のトリミング領域の点数を加算していき、合計点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定している。これに限られず、特定処理部33は、複数のトリミング領域のうちのいずれかの点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定してもよい。
 また、本実施形態では、特定処理部33が各トリミング領域及び第1の撮像画像の類似度と、各トリミング領域の重み付けと、を乗算することにより、トリミング領域毎に点数を算出する。これに限られず、特定処理部33は、各トリミング領域及び第1の撮像画像の類似度に、重み付けを加算するなど類似度に重み付けを関連させた何らかの演算をすることでトリミング領域毎に点数を算出してもよい。
 上記実施形態では、反映処理部37が運用モードにおいて、作業手順に応じて、処理情報を撮像部5の制御に反映させている。これに限られず、反映処理部37は、作業手順に関わらず、処理情報を撮像部5の制御に反映させてもよい。例えば、基準画像生成部67によって輝度調整が行われて基準画像が生成された場合、反映処理部37は、作業手順に関わらず、その輝度調整に関する情報を撮像部5の制御に反映させてもよい。
 本開示における工具システム1は、制御部3及び設定端末60等にコンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なる。IC又はLSI等の集積回路は、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスも、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
 また、工具システム1の少なくとも一部の機能が、1つの筐体(ボディ20)内に集約されていることは工具システム1に必須の構成ではなく、工具システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、制御部3の一部の機能が、工具2のボディ20とは別の筐体に設けられていてもよい。また、制御部3等の少なくとも一部の機能は、例えば、サーバ又はクラウド(クラウドコンピューティング)等によって実現されてもよい。
 工具システム1の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。
 また、上記実施形態では、工具2がインパクトレンチである場合を説明したが、工具2はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具2は、例えば、ねじ(締付部品)の締付作業に用いられるドライバ(インパクトドライバを含む)であってもよい。この場合、ソケット242の代わりに、ビット(例えばドライバビット等)が工具2に取り付けられる。さらに、工具2は、電池パック201を動力源とする構成に限らず、交流電源(商用電源)を動力源とする構成であってもよい。また、工具2は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気(動力)で動作するエアモータ(駆動部)を有するエア工具であってもよい。
 また、上記の実施形態では、1つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、これに限らない。例えば、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。この場合、1つの作業対象における複数の締付箇所に対応する目標トルク値は、互いに同じ値であってもよいし、互いに異なる値であってもよい。
 また、作業対象は1つのみであってもよい。さらに、基準画像は、1つの作業対象に対応する1つのフレームのみを含んでいてもよい。
 上記実施形態では、工具2の画像記憶部41が複数の作業対象に対応する複数のフレームを含む基準画像を記憶しているが、複数の作業対象に対応する複数のフレームを含む基準画像を工具2が記憶することは必須ではない。設定端末60又はサーバ装置が、複数の作業対象に対応する複数のフレームを含む基準画像を記憶する画像記憶部を備えていてもよい。この場合、工具2の特定処理部33は、設定端末60又はサーバ装置の画像記憶部にアクセスして、撮像部5の第1の撮像画像と画像記憶部に記憶された基準画像とを比較し、セット作業対象を特定する処理を行えばよい。また、工具2が特定処理部33を備えることも必須ではなく、設定端末60又はサーバ装置が特定処理部33の機能を有していてもよい。工具2が撮像部5で撮像された第1の撮像画像を設定端末60又はサーバ装置に出力すると、設定端末60又はサーバ装置の処理部が、第1の撮像画像と基準画像とを比較する画像処理を行い、実写作業対象の特定結果を工具2に出力してもよい。
 また、工具2は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部31は、トルクセンサが測定した締付トルクがトルク設定値となるように、駆動部24を制御する。さらに、判定部35は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定してもよい。判定部35は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。判定部35は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分(正常でない)と判定する。
 また、通知部211は、LED等の発光部に限らず、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部211は、表示以外の手段で通知(提示)を行ってもよく、例えば、音(音声を含む)を発生させるスピーカ又はブザー等で構成されていてもよい。この場合、通知制御部34は、特定処理部33の判定結果が不一致である場合と、特定処理部33が実写作業対象を特定した場合とで、通知部211から異なる音を発生させることが好ましい。また、通知部211は、振動を発生するバイブレータ、又は工具2の外部端末(携帯端末等)に通知信号を送信する送信機等で実現されてもよい。さらには、通知部211は、表示、音、振動又は通信等の機能のうちの2つ以上の機能を併せ持っていてもよい。
 また、記憶部4には、複数の作業対象に対して、予め決められた作業手順のデータが記憶されていてもよい。特定処理部33は、作業手順に基づいて、複数のフレームを含む基準画像のうち画像処理(パターン認識処理)に用いるフレームの基準画像を選択する。具体的には、特定処理部33は、複数のフレームを含む基準画像のうち、作業手順が直近の作業対象に対応するフレームの基準画像を優先的に選択する。直近の作業対象は、最後に特定した作業対象の次に作業予定の作業対象である。特定処理部33は、選択した基準画像をテンプレートデータとして第1の撮像画像と比較する画像処理を行う。つまり、特定処理部33は、作業手順に基づいて、第1の撮像画像に映る作業対象を予測して基準画像を選択する。これにより、特定処理部33が、第1の撮像画像に映る作業対象を特定するのに要する時間の短縮を図ることが可能となる。
 また、特定処理部33は、第1の撮像画像に画像処理を行い、工具2に取り付けられているソケット242の種類を判別するように構成されていてもよい。ここでいう「種類」とは、部品を区別するための情報であり、サイズ(大きさ又は長さ)、形状、及び素材の少なくともいずれか1つの情報を含む。本実施形態では、特定処理部33は、工具2に取り付けられているソケット242の長さを判別するように構成されている。特定処理部33は、ソケット242の長さに基づいて目標トルク値を補正して、補正後の目標トルク値をトルク設定値に設定する。例えば、特定処理部33は、セット作業対象に対応した目標トルク値に、ソケット242の長さに基づいた係数を掛けることによって目標トルク値を補正し、補正後の目標トルク値をトルク設定値に設定する。つまり、特定処理部33は、締付トルクが、補正後の目標トルク値となるように駆動部24を制御する。これにより、ソケット242の長さによる締付トルクのばらつきを低減することが可能となる。
 また、特定処理部33は、判別したソケット242の長さ(種類)に基づいてトルク設定値を設定するように構成されていてもよい。記憶部4には、ソケット242の種々の長さと一対一に対応したトルク値が記憶されている。特定処理部33は、判別したソケット242の長さに対応したトルク値を記憶部4から取得し、取得した値に基づいた値をトルク設定値に設定する。例えば、特定処理部33は、記憶部4から取得したトルク値を、トルク設定値に設定する。これにより、ソケット242の種類に応じたトルク値で締付作業を行うことができる。
 上記実施形態では、特定処理部33がパターン認識処理を行うことによってセット作業対象を特定する場合を例示したが、パターン認識処理は、特定処理部33がセット作業対象を特定するために行う処理の一例である。特定処理部33は、第1の撮像画像と基準画像との対応関係を判定、又は第1の撮像画像に対応する基準画像を探索する各種の画像処理を、パターン認識処理の代わりに行うことによってセット作業対象を特定してもよい。
 また、撮像部5は、ボディ20の胴体部21に限らず、例えば、ボディ20の装着部23、又は電池パック201等に設けられていてもよい。同様に、制御部3及び記憶部4等の配置についても、適宜変更可能である。
 なお、設定端末60は、ユーザが携帯可能な携帯端末に限らない。設定端末60は、工具2の通信部26と通信可能なサーバ等であってもよい。
 工具システム1は、少なくとも基準画像生成部67及び出力部66を備えていればよい。すなわち、工具2は工具システム1の必須構成ではない。また、本実施形態では、工具システム1は、基準画像生成部67及び出力部66を備える1つのシステムで実現されているが、2つ以上のシステムで実現されていてもよい。例えば、基準画像生成部67及び出力部66の機能が、2つ以上のシステムに分散して設けられていてもよい。また、基準画像生成部67及び出力部66の少なくとも1つの機能が、2つ以上のシステムに分散して設けられていてもよい。例えば、基準画像生成部67の機能が2つ以上の装置に分散されて設けられていてもよい。また、工具システム1の少なくとも一部の機能が、例えばクラウドコンピューティングにより実現されていてもよい。
 (まとめ)
 以上説明したように、工具システム(1)は、複数の工具(2a,2b)に用いられる。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)とを有する。工具システム(1)は、基準画像生成部(67)を備える。基準画像生成部(67)は、第1の撮像画像と比較される基準画像を生成する。第1の撮像画像は、複数の作業対象のうち複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に複数の工具(2a,2b)のうちセットされた工具(2a;2b)の撮像部(5)で撮像される撮像画像である。基準画像生成部(67)は、第2の撮像画像に基づいて基準画像を生成する。第2の撮像画像は、複数の工具(2a,2b)のいずれかの撮像部(5)で撮像される撮像画像である。工具システム(1)は、出力部(66)を更に備える。出力部(66)は、基準画像生成部(67)が基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。
 この態様によれば、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができるため、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
 第2の態様に係る工具システム(1)では、第1の態様において、表示部(62)は、複数の工具(2a,2b)とは別体である。
 この態様によれば、複数の工具(2a,2b)は表示部(62)を備えない。そのため、複数の工具(2a,2b)をコンパクトにすることができ、複数の工具(2a,2b)の作業性を向上させることができる。
 第3の態様に係る工具システム(1)は、第2の態様において、複数の工具(2a;2b)の各々と有線通信及び無線通信の少なくとも一方で通信可能な通信部(61)を更に備える。通信部(61)は、複数の工具(2a,2b)のいずれかから第2の撮像画像を受信する。出力部(66)は、通信部(61)によって受信された第2の撮像画像を表示部(62)に表示させる。
 この態様によれば、出力部(66)は、通信部(61)が受信した第2の撮像画像を表示部(62)に表示させる。そのため、出力部(66)が表示部(62)に表示させる第2の撮像画像を、USBメモリ等の記録媒体を介して受け渡す必要がなくなる。
 第4の態様に係る工具システム(1)では、第1から第3のいずれかの態様において、基準画像生成部(67)は、表示部(62)に表示される第2の撮像画像に対して所定の画像処理を行い、基準画像を生成する。
 この態様によれば、表示部(62)に表示された第2の撮像画像に対して、所定の画像処理が行われた画像を基準画像とするため、セット作業対象を特定するのにより適した画像を基準画像とすることができる。
 第5の態様に係る工具システム(1)では、第4の態様において、基準画像生成部(67)は、ユーザの操作に応じた操作内容に従って所定の画像処理を行う。
 この態様によれば、表示部(62)に表示された第2の撮像画像に対して、ユーザの操作に応じた操作内容に従った所定の画像処理が行われた画像を基準画像とするため、セット作業対象を特定するのにより適した画像を基準画像とすることができる。
 第6の態様に係る工具システム(1)では、第4又は第5の態様において、基準画像は、1又は複数の作業対象に対応する複数のフレームを含む。基準画像生成部(67)は、複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更可能である。
 この態様によれば、基準画像生成部(67)は複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更するため、フレーム毎に適した所定の画像処理を行うことができる。
 第7の態様に係る工具システム(1)では、第4から第6のいずれかの態様において、所定の画像処理は、トリミング及びマスキングの少なくとも一方を含む。トリミングは、セット作業対象を特定する際の比較対象となるトリミング領域を設定する。マスキングは、セット作業対象を特定する際の比較対象から除外されるマスキング領域を設定する。
 この態様によれば、表示部(62)に表示される第2の撮像画像に対してトリミング及びマスキングの少なくとも一方を含む所定の画像処理が行われる。そのため、工具システム(1)は、第2の撮像画像のうちセット作業対象を特定するのに適した領域を第1の撮像画像と比較することができるようになる。
 第8の態様に係る工具システム(1)では、第7の態様において、トリミングが行われて生成された基準画像には、付帯情報が付与されている。付帯情報は、トリミング領域と第1の撮像画像における一部の領域とが比較される際に、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行うことを可能とするための情報である。
 この態様によれば、工具システム(1)は、第1の撮像画像の一部とトリミング領域とを比較する際に、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行う。そのため、工具システム(1)は、セット作業対象を特定する際の精度をより高めることができる。
 第9の態様に係る工具システム(1)では、第8の態様において、付帯情報には、第1の撮像画像に対してトリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている。
 この態様によれば、付帯情報に規定された範囲内で、トリミング領域の移動及び回転の少なくとも一方を行うため、工具システム(1)がセット作業領域を特定する際の処理負荷を軽減することができる。
 第10の態様に係る工具システム(1)では、第7から第9のいずれかの態様において、所定の画像処理はトリミングを含む。基準画像生成部(67)は、表示部(62)に表示される第2の撮像画像に対して複数のトリミング領域を設定可能である。基準画像生成部(67)は、複数のトリミング領域の各々に重み付けを設定可能である。
 この態様によれば、基準画像生成部(67)は、複数のトリミング領域を設定可能であり、複数のトリミング領域の各々に重み付けを設定可能であるため、セット作業対象を特定するのにより適した基準画像を生成することができる。
 第11の態様に係る工具システム(1)は、第4から第10のいずれかの態様において、所定の画像処理の情報を、撮像部(5)の制御に反映させる反映処理部(37)を更に備える。
 この態様によれば、基準画像の生成時に行われた所定の画像処理の情報が撮像部(5)の制御に反映されるため、撮像部(5)は、基準画像と比較するのに適した第1の撮像画像を撮像できるようになる。
 第1の態様以外の構成については、工具システム(1)に必須の構成ではなく、適宜省略可能である。
 第12の態様に係る工具(2a;2b)は、第1から第11のいずれかの態様に係る工具システム(1)に用いられ、駆動部(24)と撮像部(5)とを備える。
 この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
 第13の態様に係る基準画像生成方法は、基準画像生成ステップを含む。基準画像生成ステップでは、複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に第1の撮像画像と比較される基準画像を、第2の撮像画像に基づいて生成する。第1の撮像画像は、複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に複数の工具(2a,2b)のうちセットされた工具(2a;2b)の撮像部(5)で撮像される撮像画像である。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)と、を有する。第2の撮像画像は、複数の工具(2a,2b)のいずれかの撮像部(5)で撮像される撮像画像である。基準画像生成ステップは、表示ステップを含む。表示ステップでは、基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。
 この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
 第14の態様に係るプログラムは、第13の態様に係る方法を、1以上のプロセッサに実行させるプログラムである。
 この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
 第15の態様に係る工具システム(1)は、複数の工具(2a,2b)と、基準画像生成部(67)と、出力部(66)と、を備える。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)とを有する。基準画像生成部(67)は、第1の撮像画像と比較される基準画像を生成する。第1の撮像画像は、複数の作業対象のうち複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に複数の工具(2a,2b)のうちセットされた工具(2a;2b)の撮像部(5)で撮像される撮像画像である。基準画像生成部(67)は、第2の撮像画像に基づいて基準画像を生成する。第2の撮像画像は、複数の工具(2a,2b)のいずれかの撮像部(5)で撮像される撮像画像である。出力部(66)は、基準画像生成部(67)が基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。
 この態様によれば、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができるため、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
1 工具システム
2,2a,2b 工具
24 駆動部
37 反映処理部
5 撮像部
60 設定端末
61 通信部
62 表示部
66 出力部
67 基準画像生成部

Claims (15)

  1.  可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する複数の工具に用いられ、
     複数の作業対象のうち前記複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の前記撮像部で撮像される第1の撮像画像と比較される基準画像を生成する基準画像生成部を備え、
     前記基準画像生成部は、前記複数の工具のいずれかの前記撮像部で撮像される第2の撮像画像に基づいて前記基準画像を生成し、
     前記基準画像生成部が前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる出力部を更に備える、
     工具システム。
  2.  前記表示部は、前記複数の工具とは別体である、
     請求項1に記載の工具システム。
  3.  前記複数の工具の各々と有線通信及び無線通信の少なくとも一方で通信可能な通信部、を更に備え、
     前記通信部は、前記複数の工具のいずれかから前記第2の撮像画像を受信し、
     前記出力部は、前記通信部によって受信された前記第2の撮像画像を前記表示部に表示させる、
     請求項2に記載の工具システム。
  4.  前記基準画像生成部は、前記表示部に表示される前記第2の撮像画像に対して所定の画像処理を行い、前記基準画像を生成する、
     請求項1から3のいずれか1項に記載の工具システム。
  5.  前記基準画像生成部は、ユーザの操作に応じた操作内容に従って前記所定の画像処理を行う、
     請求項4に記載の工具システム。
  6.  前記基準画像は、1又は複数の作業対象に対応する複数のフレームを含み、
     前記基準画像生成部は、前記複数のフレームを含む前記基準画像を生成する際にフレーム毎に前記所定の画像処理の内容を変更可能である、
     請求項4又は5に記載の工具システム。
  7.  前記所定の画像処理は、前記セット作業対象を特定する際の比較対象となるトリミング領域を設定するトリミング、及び、前記セット作業対象を特定する際の比較対象から除外されるマスキング領域を設定するマスキングの少なくとも一方を含む、
     請求項4から6のいずれか1項に記載の工具システム。
  8.  前記トリミングが行われて生成された前記基準画像には、付帯情報が付与されており、
      前記付帯情報は、前記トリミング領域と前記第1の撮像画像における一部の領域とが比較される際に、前記第1の撮像画像に対する前記トリミング領域の移動及び回転の少なくとも一方を行うことを可能とするための情報である、
     請求項7に記載の工具システム。
  9.  前記付帯情報には、前記第1の撮像画像に対して前記トリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている、
     請求項8に記載の工具システム。
  10.  前記所定の画像処理は、前記トリミングを含み、
     前記基準画像生成部は、
      前記表示部に表示される前記第2の撮像画像に対して複数のトリミング領域を設定可能であり、
      複数のトリミング領域の各々に重み付けを設定可能である、
     請求項7から9のいずれか1項に記載の工具システム。
  11.  前記所定の画像処理の情報を、前記撮像部の制御に反映させる反映処理部を更に備える、
     請求項4から10のいずれか1項に記載の工具システム。
  12.  請求項1から11のいずれか1項に記載の工具システムに用いられ、
     前記駆動部と、
     前記撮像部と、
    を備える、
     工具。
  13.  可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の前記撮像部で撮像される第1の撮像画像と比較される基準画像を、前記複数の工具のいずれかの前記撮像部で撮像される第2の撮像画像に基づいて生成する基準画像生成ステップ、
    を含み、
      前記基準画像生成ステップは、前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる表示ステップを含む、
     基準画像生成方法。
  14.  請求項13に記載の基準画像生成方法を、1以上のプロセッサに実行させるためのプログラム。
  15.  可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する複数の工具と、
     複数の作業対象のうち前記複数の工具のいずれかがセットされた作業対象であるセット作業対象を特定する際に前記複数の工具のうちセットされた工具の前記撮像部で撮像される第1の撮像画像と比較される基準画像を生成する基準画像生成部を備え、
     前記基準画像生成部は、前記複数の工具のいずれかの前記撮像部で撮像される第2の撮像画像に基づいて前記基準画像を生成し、
     前記基準画像生成部が前記基準画像を生成する際に、前記第2の撮像画像を表示部に表示させる出力部を更に備える、
     工具システム。
PCT/JP2021/015138 2020-05-15 2021-04-12 工具システム、工具、基準画像生成方法及びプログラム WO2021229972A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21804824.7A EP4151369A4 (en) 2020-05-15 2021-04-12 TOOL SYSTEM, TOOL, REFERENCE IMAGE GENERATION METHOD AND PROGRAM
US17/923,823 US20230177753A1 (en) 2020-05-15 2021-04-12 Tool system, tool, method for generating reference image, and program
CN202180035099.7A CN115605321A (zh) 2020-05-15 2021-04-12 工具系统、工具、基准图像生成方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020086342A JP7486071B2 (ja) 2020-05-15 2020-05-15 工具システム、工具、基準画像生成方法及びプログラム
JP2020-086342 2020-05-15

Publications (1)

Publication Number Publication Date
WO2021229972A1 true WO2021229972A1 (ja) 2021-11-18

Family

ID=78510238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015138 WO2021229972A1 (ja) 2020-05-15 2021-04-12 工具システム、工具、基準画像生成方法及びプログラム

Country Status (5)

Country Link
US (1) US20230177753A1 (ja)
EP (1) EP4151369A4 (ja)
JP (1) JP7486071B2 (ja)
CN (1) CN115605321A (ja)
WO (1) WO2021229972A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4219078A1 (en) * 2022-01-27 2023-08-02 Panasonic Intellectual Property Management Co., Ltd. Tool system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023075720A (ja) * 2021-11-19 2023-05-31 パナソニックホールディングス株式会社 インパクト回転工具、インパクト回転工具システム、管理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038716A (ja) * 2014-08-07 2016-03-22 株式会社ナ・デックス 作業監視装置、作業監視システムおよびプログラム
JP2018108633A (ja) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 工具システム
JP2019042860A (ja) * 2017-08-31 2019-03-22 パナソニックIpマネジメント株式会社 工具システム、画像処理方法、及びプログラム
JP2019144965A (ja) * 2018-02-22 2019-08-29 パナソニックIpマネジメント株式会社 工具制御方法、プログラム、工具制御システム、及び工具

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784752B2 (ja) * 2006-06-30 2011-10-05 サクサ株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038716A (ja) * 2014-08-07 2016-03-22 株式会社ナ・デックス 作業監視装置、作業監視システムおよびプログラム
JP2018108633A (ja) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 工具システム
JP2019042860A (ja) * 2017-08-31 2019-03-22 パナソニックIpマネジメント株式会社 工具システム、画像処理方法、及びプログラム
JP2019144965A (ja) * 2018-02-22 2019-08-29 パナソニックIpマネジメント株式会社 工具制御方法、プログラム、工具制御システム、及び工具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4151369A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4219078A1 (en) * 2022-01-27 2023-08-02 Panasonic Intellectual Property Management Co., Ltd. Tool system

Also Published As

Publication number Publication date
US20230177753A1 (en) 2023-06-08
JP2021178397A (ja) 2021-11-18
EP4151369A1 (en) 2023-03-22
CN115605321A (zh) 2023-01-13
JP7486071B2 (ja) 2024-05-17
EP4151369A4 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
WO2022004132A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP7162277B2 (ja) 工具システム
WO2021229972A1 (ja) 工具システム、工具、基準画像生成方法及びプログラム
US20230121849A1 (en) Tool system, tool management method, and program
WO2018123433A1 (ja) 工具システム
JP7008204B2 (ja) 工具システム、画像処理方法、及びプログラム
WO2022014228A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2021090650A1 (ja) 工具システム、基準画像生成方法及びプログラム
JP2019144965A (ja) 工具制御方法、プログラム、工具制御システム、及び工具
US11917319B2 (en) Tool system, tool management method, and program
WO2022004133A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
WO2021090649A1 (ja) 工具システム、工具管理方法及びプログラム
WO2024034302A1 (ja) 工具システム、作業対象特定方法及びプログラム
JP2024075313A (ja) 工具システム、制御方法及びプログラム
EP4252966A1 (en) Decision system, decision method, and program
JP2023113486A (ja) 撮像システム、工具システム、設定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21804824

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021804824

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021804824

Country of ref document: EP

Effective date: 20221215

NENP Non-entry into the national phase

Ref country code: DE