JP7336669B2 - Tool system, tool, work object identification system, work object identification method and program - Google Patents

Tool system, tool, work object identification system, work object identification method and program Download PDF

Info

Publication number
JP7336669B2
JP7336669B2 JP2020120837A JP2020120837A JP7336669B2 JP 7336669 B2 JP7336669 B2 JP 7336669B2 JP 2020120837 A JP2020120837 A JP 2020120837A JP 2020120837 A JP2020120837 A JP 2020120837A JP 7336669 B2 JP7336669 B2 JP 7336669B2
Authority
JP
Japan
Prior art keywords
work
tool
image
captured image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020120837A
Other languages
Japanese (ja)
Other versions
JP2022017963A (en
Inventor
良介 佐々木
昌典 栗田
睦裕 山中
隆之 新居
真介 植田
智史 梶山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020120837A priority Critical patent/JP7336669B2/en
Priority to PCT/JP2021/022466 priority patent/WO2022014228A1/en
Publication of JP2022017963A publication Critical patent/JP2022017963A/en
Application granted granted Critical
Publication of JP7336669B2 publication Critical patent/JP7336669B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25F—COMBINATION OR MULTI-PURPOSE TOOLS NOT OTHERWISE PROVIDED FOR; DETAILS OR COMPONENTS OF PORTABLE POWER-DRIVEN TOOLS NOT PARTICULARLY RELATED TO THE OPERATIONS PERFORMED AND NOT OTHERWISE PROVIDED FOR
    • B25F5/00—Details or components of portable power-driven tools not particularly related to the operations performed and not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Description

本開示は、一般に工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラムに関し、より詳細には、可搬型の工具に用いられる工具システム、可搬型の工具、作業対象特定システム、作業対象特定方法及びプログラムに関する。 TECHNICAL FIELD The present disclosure generally relates to a tool system, a tool, a work object identification system, a work object identification method and a program, and more particularly, a tool system used for a portable tool, a portable tool, a work object identification system, a work object. It relates to a specific method and program.

特許文献１には、電池パックからの動力によって動作する駆動部及び撮像部を有する可搬型の工具を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象（工具を用いて作業が行われる対象となる物又は場所等）を撮像する。 Patent Literature 1 describes a tool system including a portable tool having a drive section and an imaging section which are operated by power from a battery pack. The imaging unit is arranged, for example, so that the socket attached to the output shaft of the tool falls within the imaging range, and when working with the tool, an object to be worked on (an object or place to be worked on using the tool, etc.) ) is imaged.

特許文献１においては、撮像部で生成された撮像画像は、工具がセットされた（つまり、工具が作業対象に対して作業が行えるように準備された）作業対象を特定するために用いられる。工具システムは、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、撮像画像に映る作業対象を特定する。 In Patent Document 1, a captured image generated by an imaging unit is used to identify a work target on which a tool is set (that is, the tool is prepared to work on the work target). The tool system compares the captured image generated by the imaging unit with a plurality of reference images stored in the image storage unit, and identifies the work target shown in the captured image.

特開２０１９－０４２８６０号公報JP 2019-042860 A

特許文献１において、基準画像の数が増えると、撮像画像と複数の基準画像とを比較する処理に長い時間がかかるため、撮像画像に映る作業対象を特定するまでの時間が長くなるという問題がある。 In Patent Literature 1, when the number of reference images increases, it takes a long time to compare the captured image with a plurality of reference images. be.

本開示の目的は、撮像画像に映る作業対象を特定するまでの時間を短縮可能な工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラムを提供することにある。 An object of the present disclosure is to provide a tool system, a tool, a work target identification system, a work target identification method, and a program capable of shortening the time required to identify a work target appearing in a captured image.

本開示の一態様の工具システムは、可搬型の工具と、撮像部と、処理部と、を備える。前記工具は、動力源からの動力により動作する駆動部を有する。前記撮像部は、前記工具に搭載されており、撮像画像を生成する。前記処理部は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。 A tool system according to one aspect of the present disclosure includes a portable tool, an imaging section, and a processing section. The tool has a drive section operated by power from a power source. The imaging unit is mounted on the tool and generates a captured image. The processing unit performs a comparison process of comparing the captured image with one comparison image selected from among a plurality of reference images respectively corresponding to the plurality of work targets, thereby determining the work target shown in the captured image. Perform specific processing to specify. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.

本開示の一態様の工具は、前記工具システムに用いられる。前記工具は、前記駆動部と、前記撮像部と、を備える。 A tool of one aspect of the present disclosure is used in the tool system. The tool includes the driving section and the imaging section.

本開示の一態様の作業対象特定システムは、処理部を備える。前記処理部は、撮像部によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う。前記撮像部は、動力源からの動力により動作する駆動部を有する可搬型の工具に搭載される。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。 A work target identification system according to one aspect of the present disclosure includes a processing unit. The processing unit performs a comparison process of comparing a captured image generated by the imaging unit with one comparison image selected from a plurality of reference images corresponding to a plurality of work objects, respectively. A specific process is performed to identify the work target in the image. The imaging unit is mounted on a portable tool having a driving unit operated by power from a power source. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.

本開示の一態様の作業対象特定方法は、取得ステップと、特定ステップと、を含む。前記取得ステップでは、撮像部から撮像画像を取得する。前記撮像部は、動力源からの動力により動作する駆動部を有する可搬型の工具に搭載される。前記特定ステップでは、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較することによって、前記撮像画像に映る作業対象を特定する。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。 A work target identification method of one aspect of the present disclosure includes an acquisition step and an identification step. In the obtaining step, the captured image is obtained from the imaging unit. The imaging unit is mounted on a portable tool having a driving unit operated by power from a power source. In the identifying step, the work target shown in the captured image is identified by comparing the captured image with one comparison image selected from among a plurality of reference images corresponding to the plurality of work targets. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.

本開示の一態様のプログラムは、１以上のプロセッサに、前記作業対象特定方法を実行させるためのプログラムである。 A program according to one aspect of the present disclosure is a program for causing one or more processors to execute the work target identification method.

本開示によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 Advantageous Effects of Invention According to the present disclosure, it is possible to shorten the time required to identify a work target appearing in a captured image.

図１は、一実施形態に係る工具システムのブロック図である。FIG. 1 is a block diagram of a tool system according to one embodiment. 図２は、同上の工具システムを前方からみた外観斜視図である。FIG. 2 is an external perspective view of the same tool system as seen from the front. 図３は、同上の工具システムを後方からみた外観斜視図である。FIG. 3 is an external perspective view of the same tool system as seen from the rear. 図４は、同上の工具システムの作業対象を模式的に示す平面図である。FIG. 4 is a plan view schematically showing a work target of the same tool system. 図５は、同上の工具システムの動作の一例を示すフローチャートである。FIG. 5 is a flow chart showing an example of the operation of the tool system of the same. 図６は、同上の工具システムの比較例による特定処理を説明する図である。FIG. 6 is a diagram for explaining specific processing according to a comparative example of the tool system of the same. 図７は、同上の工具システムによる特定処理を説明する図である。FIG. 7 is a diagram for explaining identification processing by the same tool system. 図８は、同上の工具システムによる特定処理を説明する図である。FIG. 8 is a diagram for explaining specific processing by the tool system of the same. 図９は、変形例の工具システムの外観斜視図である。FIG. 9 is an external perspective view of a modified tool system.

以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the drawings. Elements common to each other in the embodiments described below are denoted by the same reference numerals, and redundant description of the common elements is omitted.

（実施形態）
（１）概要
まず、本実施形態に係る工具システム１の概要について、図１を参照して説明する。 (embodiment)
(1) Overview First, an overview of a tool system 1 according to this embodiment will be described with reference to FIG.

本実施形態に係る工具システム１は、可搬型の工具２を備えている。工具２は、例えば、モータ等を含む駆動部２４を有している。駆動部２４は、例えば、電池パック２０１等の動力源からの動力（電力等）によって動作する。この種の工具２としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ（インパクトドライバを含む）、ドリル又はドリルドライバ等、様々な種類の工具がある。ユーザにおいては、この種の工具２を用いることで、例えば、作業対象となるワーク（加工対象物）に対して、締結部品（例えば、ボルト又はナット等）を取り付けたり、ワークに穴あけ等の加工をしたりすることができる。 A tool system 1 according to this embodiment includes a portable tool 2 . The tool 2 has a drive section 24 including, for example, a motor. The driving unit 24 operates by power (such as electric power) from a power source such as the battery pack 201, for example. Tools 2 of this type include various types of tools such as, for example, impact wrenches, nut runners, oil pulse wrenches, drivers (including impact drivers), drills or drill drivers. By using this type of tool 2, the user can, for example, attach fastening parts (for example, bolts or nuts) to a work to be worked (object to be processed), or perform processing such as drilling a work. You can do

また、本実施形態に係る工具システム１では、工具２に撮像部５が搭載されている。撮像部５は、撮像画像を生成する。撮像部５は、例えば、工具２の出力軸２４１（図２及び図３参照）に取り付けられたソケット２４２（図２及び図３参照）を撮像範囲（視野）に含んでいる。これにより、工具２での作業時には、作業対象を撮像し撮像部５にて撮像画像が得られる。 In addition, in the tool system 1 according to this embodiment, the tool 2 is equipped with the imaging unit 5 . The imaging unit 5 generates a captured image. The imaging unit 5 includes, for example, a socket 242 (see FIGS. 2 and 3) attached to the output shaft 241 (see FIGS. 2 and 3) of the tool 2 in its imaging range (field of view). As a result, when working with the tool 2 , the work target is imaged and the imaged image is obtained by the imaging unit 5 .

そのため、本実施形態に係る工具システム１では、例えば、撮像部５で得られた撮像画像に基づいて作業対象を特定し、作業対象に対応する作業内容（例えば締め付け作業での締め付けトルクの設定値等）を工具２に設定することができる。また、他の例として、工具システム１では、撮像部５で得られた撮像画像に基づいて、作業対象に対して行った作業の良否判定、作業対象に応じたユーザへの作業指示の通知、又はログ（作業記録）として画像を残すこと等も可能となる。このように、工具２に搭載された撮像部５で得られる画像（撮像画像）を用いれば、例えば、工具２を用いたユーザの作業の支援又は管理等が可能となる。 Therefore, in the tool system 1 according to the present embodiment, for example, the work target is specified based on the captured image obtained by the imaging unit 5, and the work content corresponding to the work target (for example, the set value of the tightening torque in the tightening work) etc.) can be set in the tool 2 . As another example, in the tool system 1, based on the captured image obtained by the imaging unit 5, the quality of the work performed on the work target is judged, the work instruction is notified to the user according to the work target, Alternatively, it is also possible to leave an image as a log (work record). By using the image (captured image) obtained by the imaging unit 5 mounted on the tool 2 in this manner, for example, it is possible to assist or manage the user's work using the tool 2 .

ところで、本実施形態に係る工具システム１は、図１に示すように、処理部３４を備えている。すなわち、工具システム１は、工具２と、撮像部５と、処理部３４とを備えている。工具２は、動力源からの動力によって動作する駆動部２４を有する。撮像部５は、工具２に搭載され、撮像画像を生成する。処理部３４は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。複数の基準画像の各々が比較画像に選択される順番が、工具２を用いて行った作業の作業履歴に応じて変化する。 By the way, the tool system 1 according to this embodiment includes a processing section 34 as shown in FIG. Specifically, the tool system 1 includes a tool 2 , an imaging section 5 and a processing section 34 . The tool 2 has a drive section 24 operated by power from a power source. The imaging unit 5 is mounted on the tool 2 and generates a captured image. The processing unit 34 performs comparison processing for comparing the captured image with one comparison image selected from among a plurality of reference images corresponding to the plurality of work targets, respectively, thereby identifying the work target shown in the captured image. Perform specific processing. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool 2 .

この構成によれば、複数の基準画像の各々が比較画像に選択される順番が作業履歴に応じて変化するので、この順番が固定されている場合に比べて、撮像画像に映る作業対象に対応した基準画像が比較画像に選択されるまでの時間を短くできる。したがって、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this configuration, the order in which each of the plurality of reference images is selected as the comparison image changes according to the work history. It is possible to shorten the time until the selected reference image is selected as the comparison image. Therefore, it is possible to shorten the time required to specify the work target appearing in the captured image.

（２）詳細な構成
以下、本実施形態に係る工具システム１の詳細な構成について、図１～図３を参照して説明する。 (2) Detailed Configuration A detailed configuration of the tool system 1 according to the present embodiment will be described below with reference to FIGS. 1 to 3. FIG.

（２．１）前提
本実施形態に係る工具システム１は、例えば、工場におけるワーク（加工対象物）の組立作業を行う組立ラインに用いられる。 (2.1) Premises The tool system 1 according to the present embodiment is used, for example, in an assembly line for assembling works (objects to be processed) in a factory.

ここにおいて、本開示でいう「作業対象」は、工具２を用いて作業が行われる対象となる物又は部位（箇所）等を意味する。本実施形態では一例として、工具システム１に用いられる工具２は、例えば、インパクトレンチ等の、作業対象としての締付部品（例えば、ボルト又はナット等）の締め付けに用いられる締付工具である。より詳細には、本実施形態では、工具２を用いて１又は複数種類のワークに対する作業を行うケースを想定する。各種類の１つのワークには作業対象が複数あり、ユーザが、工具２を用いて、１つのワークにある複数の作業対象に対して作業を順番に行うケースを想定する。 Here, the “work target” as used in the present disclosure means an object or part (location) or the like on which work is performed using the tool 2 . In this embodiment, as an example, the tool 2 used in the tool system 1 is a tightening tool, such as an impact wrench, used for tightening a tightening component (for example, a bolt or nut) as a work object. More specifically, in this embodiment, it is assumed that the tool 2 is used to work on one or more types of workpieces. One work of each type has a plurality of work targets, and a case is assumed in which the user uses the tool 2 to sequentially work on a plurality of work targets on one work.

本実施形態では、例えば、図４に示すように、複数の作業対象Ｗ１～Ｗ８は、ワークＡ１に設けられた複数のねじ穴又はねじ穴の周辺部位であり、複数のねじ穴には複数のボルト（六角ボルト）がそれぞれ取り付けられる。そして、複数の作業対象Ｗ１～Ｗ８のうち、工具２がセットされている状態の作業対象を「セット作業対象」ということもある。ここでいう「工具２が作業対象にセットされている状態」は、工具２が作業対象に対して作業が行えるように準備された状態を意味する。また、「工具２が作業対象にセットされている状態」は、工具２が、ねじ穴である作業対象Ｗ１～Ｗ８に取り付けられた締付部品に当たっている状態だけでなく、工具２を締付部品に当てようとしている状態、すなわち工具２が締付部品に対して接近している状態も含む。つまり、工具２が作業対象Ｗ１～Ｗ８にセットされている状態では、工具２が締付部品に当たっていてもよいし、離れていてもよい。 In this embodiment, for example, as shown in FIG. 4, the plurality of work targets W1 to W8 are a plurality of screw holes provided in the workpiece A1 or peripheral portions of the screw holes. A bolt (hexagon bolt) is attached to each. Among the plurality of work targets W1 to W8, the work target in which the tool 2 is set is sometimes called the "set work target". Here, "the state in which the tool 2 is set on the work target" means a state in which the tool 2 is prepared to work on the work target. In addition, "the state in which the tool 2 is set on the work target" includes not only the state in which the tool 2 is in contact with the fastening parts attached to the work targets W1 to W8, which are screw holes, but also the state in which the tool 2 is attached to the fastening parts. It also includes the state in which the tool 2 is approaching the fastener. In other words, while the tool 2 is set on the work targets W1 to W8, the tool 2 may be in contact with or away from the fastening component.

また、本開示でいう「撮像画像」は、撮像部５での撮像によって得られる画像であって、静止画（静止画像）及び動画（動画像）を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画（フレーム）にて構成される画像を含む。撮像画像は、撮像部５から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部５で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。 In addition, the “captured image” referred to in the present disclosure is an image obtained by imaging with the imaging unit 5, and includes still images (still images) and moving images (moving images). Furthermore, "moving image" includes an image composed of a plurality of still images (frames) obtained by frame-by-frame shooting or the like. The captured image may not be the data itself output from the imaging unit 5 . For example, the captured image may be subjected to appropriate data compression, conversion to another data format, processing to cut out a part of the image captured by the imaging unit 5, focus adjustment, brightness adjustment, or contrast adjustment as necessary. It may be processed.

また、本開示でいう「基準画像」とは、例えば、撮像部５で作業対象を撮像することによって得られる撮像画像に基づいて生成される画像である。「複数の作業対象にそれぞれ対応する複数の基準画像」とは、１つの作業対象に１つの基準画像が対応している場合のみならず、１つの作業対象に複数の基準画像が対応している場合も含み得る。また、１つの作業対象に対して、この作業対象を様々な角度又は大きさで写した複数の基準画像が対応付けられていてもよい。また、基準画像は、撮像部５による撮像画像に基づいて生成される画像に限定されず、撮像部５以外のカメラで撮像された画像に基づいて生成された画像であってもよい。 A “reference image” as used in the present disclosure is, for example, an image generated based on a captured image obtained by capturing an image of a work target using the imaging unit 5 . "A plurality of reference images respectively corresponding to a plurality of work objects" means not only the case where one work object corresponds to one reference image, but also the case where one work object corresponds to a plurality of reference images. case can also be included. Also, one work target may be associated with a plurality of reference images in which the work target is photographed at various angles or sizes. Further, the reference image is not limited to an image generated based on an image captured by the imaging unit 5, and may be an image generated based on an image captured by a camera other than the imaging unit 5.

また、本開示でいう「搭載」は、内蔵（分離できないように一体化されている態様を含む）及び外付け（カプラー等を用いて取外し可能に固定されている態様を含む）の両方の態様を含む。すなわち、工具２に搭載される撮像部５は、工具２に内蔵されていてもよいし、工具２に外付けされていてもよい。本実施形態の工具２は、撮像部５を内蔵している。 In addition, "mounting" as used in the present disclosure includes both built-in (including a form that is integrated so as not to be separated) and external (including a form that is detachably fixed using a coupler etc.) including. That is, the imaging unit 5 mounted on the tool 2 may be built in the tool 2 or may be externally attached to the tool 2 . The tool 2 of this embodiment incorporates an imaging unit 5 .

また、本開示でいう「特定処理」では、複数の作業対象に対応する複数の撮像画像から選択した比較画像と撮像画像とを比較する比較処理を行うことによって、比較画像に対応する作業対象が撮像画像に映っているか否かを判断する。そして、工具システム１は、特定処理を行って、撮像画像にどの作業対象が映っているかを特定すると、特定処理を終了する。 In addition, in the "specific processing" referred to in the present disclosure, by performing a comparison process of comparing a comparative image selected from a plurality of captured images corresponding to a plurality of work targets with the captured image, the work target corresponding to the comparison image is It is determined whether or not it appears in the captured image. Then, the tool system 1 performs identification processing, identifies which work target is shown in the captured image, and terminates the identification processing.

（２．２）工具システムの構成
図１に示すように、本実施形態に係る工具システム１は、工具２と作業対象特定システム１０とを備える。 (2.2) Configuration of Tool System As shown in FIG. 1 , a tool system 1 according to this embodiment includes a tool 2 and a work target identification system 10 .

（２．２．１）工具の構成
まず、本実施形態に係る工具システム１における工具２の構成について、図１～図３を参照して説明する。工具２は、制御部３ａと、駆動部２４と、インパクト機構２５と、通知部２１１と、電池パック２０１と、を有している（図１参照）。 (2.2.1) Configuration of Tool First, the configuration of the tool 2 in the tool system 1 according to the present embodiment will be described with reference to FIGS. 1 to 3. FIG. The tool 2 has a control section 3a, a drive section 24, an impact mechanism 25, a notification section 211, and a battery pack 201 (see FIG. 1).

本実施形態に係る工具２は、電気エネルギを用いて駆動部２４を動作させる電動工具である。特に、本実施形態では、工具２がインパクトレンチである場合を想定する。このような工具２では、締付部品を作業対象（例えばワークＡ１のねじ穴）に取り付ける取付作業が可能である。 The tool 2 according to this embodiment is a power tool that operates the drive unit 24 using electrical energy. In particular, this embodiment assumes that the tool 2 is an impact wrench. With such a tool 2, it is possible to perform a mounting operation for mounting a tightening part to a work target (for example, a screw hole of the work A1).

ここで、工具２は、電池パック２０１を動力源として、電池パック２０１から供給される電力（電気エネルギ）で駆動部２４を動作させる。本実施形態では、電池パック２０１は工具２の構成要素に含まれることとするが、電池パック２０１が工具２の構成要素に含まれることは必須ではなく、工具２の構成要素に電池パック２０１が含まれていなくてもよい。 Here, the tool 2 uses the battery pack 201 as a power source and operates the drive section 24 with electric power (electrical energy) supplied from the battery pack 201 . In this embodiment, the battery pack 201 is included in the tool 2 , but it is not essential that the tool 2 includes the battery pack 201 . It does not have to be included.

また、工具２は、ボディ２０を更に有している。ボディ２０には、駆動部２４及びインパクト機構２５が収容されている。さらに、本実施形態の工具２では、制御部３ａ及び通知部２１１についても、ボディ２０に収容されている。 Moreover, the tool 2 further has a body 20 . The body 20 accommodates a driving portion 24 and an impact mechanism 25 . Furthermore, in the tool 2 of this embodiment, the control section 3a and the notification section 211 are also housed in the body 20. As shown in FIG.

工具２のボディ２０は、胴体部２１と、グリップ部２２と、装着部２３とを有している。胴体部２１は、筒状（ここでは円筒状）に形成されている。グリップ部２２は、胴体部２１の周面の一部から、法線方向（胴体部２１の径方向）に沿って突出する。グリップ部２２の長手方向における一端は胴体部２１に連結され、グリップ部２２の長手方向における他端には装着部２３が設けられている。装着部２３は、電池パック２０１が取り外し可能に装着されるように設けられている。言い換えれば、胴体部２１と装着部２３とが、グリップ部２２にて連結されている。 A body 20 of the tool 2 has a body portion 21 , a grip portion 22 and a mounting portion 23 . The body portion 21 is formed in a tubular shape (cylindrical shape here). The grip portion 22 protrudes from a portion of the peripheral surface of the body portion 21 along the normal direction (radial direction of the body portion 21). One end in the longitudinal direction of the grip portion 22 is connected to the body portion 21 , and the other end in the longitudinal direction of the grip portion 22 is provided with a mounting portion 23 . Mounting portion 23 is provided so that battery pack 201 is detachably mounted. In other words, the body portion 21 and the mounting portion 23 are connected by the grip portion 22 .

胴体部２１には、少なくとも駆動部２４が収容されている。駆動部２４は、モータを有している。駆動部２４は、動力源である電池パック２０１からモータに供給される電力を動力として動作するように構成されている。胴体部２１の軸方向における一端面からは、出力軸２４１が突出している。出力軸２４１は、駆動部２４の動作に伴って、出力軸２４１の突出方向に沿った回転軸Ａｘ１を中心に回転する。つまり、駆動部２４は、出力軸２４１を駆動して回転軸Ａｘ１周りで出力軸２４１を回転させる。言い換えれば、駆動部２４が動作することによって、出力軸２４１にトルクが作用して出力軸２４１が回転する。 At least the driving portion 24 is accommodated in the body portion 21 . The drive unit 24 has a motor. The drive unit 24 is configured to operate using electric power supplied to the motor from the battery pack 201 as a power source. An output shaft 241 protrudes from one axial end surface of the body portion 21 . The output shaft 241 rotates about a rotation axis Ax1 along the projection direction of the output shaft 241 as the drive unit 24 operates. That is, the drive unit 24 drives the output shaft 241 to rotate the output shaft 241 around the rotation axis Ax1. In other words, when the drive unit 24 operates, torque acts on the output shaft 241 to rotate the output shaft 241 .

出力軸２４１には、締付部品（例えば、ボルト又はナット等）を回転させるための円筒状のソケット２４２が、取り外し可能に取り付けられる。ソケット２４２は、出力軸２４１と共に出力軸２４１周りで回転する。出力軸２４１に取り付けられるソケット２４２のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部２４が動作すると、出力軸２４１が回転してソケット２４２が出力軸２４１と共に回転する。このとき、ソケット２４２が締付部品に嵌め合わされていれば、ソケット２４２と共に締付部品が回転し、作業対象に対して締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具２は、駆動部２４の動作により、作業対象に対して締付部品を締め付ける又は緩めるといった作業を実現できる。 A cylindrical socket 242 is detachably attached to the output shaft 241 for rotating a tightening part (for example, a bolt or nut). The socket 242 rotates around the output shaft 241 together with the output shaft 241 . The size of the socket 242 attached to the output shaft 241 is appropriately selected by the user according to the size of the fastening part. With such a configuration, when the driving portion 24 operates, the output shaft 241 rotates and the socket 242 rotates together with the output shaft 241 . At this time, if the socket 242 is fitted to the tightening part, the tightening part rotates together with the socket 242, and the work of tightening or loosening the tightening part to the work object is realized. Therefore, the tool 2 can realize work such as tightening or loosening the tightening part on the work target by the operation of the drive unit 24 .

また、出力軸２４１には、ソケット２４２の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸２４１に対して取り外し可能に取り付けられる。この場合、ソケットアンビルを介してビット（例えば、ドライバビット又はドリルビット等）の装着が可能となる。 Also, a socket anvil can be attached to the output shaft 241 instead of the socket 242 . The socket anvil is also detachably attached to the output shaft 241 . In this case, it is possible to attach a bit (eg, a driver bit or a drill bit) through the socket anvil.

工具２は、上述したようにインパクト機構２５を有している。インパクト機構２５は、締付トルクが所定レベルを超えると、出力軸２４１に回転方向の打撃力を加える。これにより、工具２は、締付部品に対して、より大きな締付トルクを与えることが可能となる。 The tool 2 has the impact mechanism 25 as described above. The impact mechanism 25 applies an impact force in the rotational direction to the output shaft 241 when the tightening torque exceeds a predetermined level. As a result, the tool 2 can apply a larger tightening torque to the tightening part.

グリップ部２２は、ユーザが作業を行う際に握る部分である。グリップ部２２には、トリガスイッチ２２１（操作部）、及び正逆切替スイッチ２２２が設けられている。トリガスイッチ２２１は、駆動部２４の動作のオン／オフを制御するためのスイッチである。トリガスイッチ２２１には、初期位置とオン位置とがあり、ユーザによってトリガスイッチ２２１がオン位置まで押される又は引かれることで駆動部２４が動作する。また、トリガスイッチ２２１は、引込量（操作量）に応じて出力軸２４１の回転数の調整が可能である。正逆切替スイッチ２２２は、出力軸２４１の回転方向を正転と逆転とで切り替えるスイッチである。 The grip part 22 is a part that a user grips when performing work. The grip portion 22 is provided with a trigger switch 221 (operation portion) and a normal/reverse switching switch 222 . The trigger switch 221 is a switch for controlling ON/OFF of the operation of the driving section 24 . The trigger switch 221 has an initial position and an ON position, and the drive unit 24 operates when the user pushes or pulls the trigger switch 221 to the ON position. Further, the trigger switch 221 can adjust the rotational speed of the output shaft 241 according to the retraction amount (operation amount). The forward/reverse selector switch 222 is a switch that switches the rotation direction of the output shaft 241 between forward rotation and reverse rotation.

装着部２３は、扁平な直方体状に形成されている。装着部２３におけるグリップ部２２とは反対側の一面には、電池パック２０１が取り外し可能に装着される。 The mounting portion 23 is formed in a flat rectangular parallelepiped shape. A battery pack 201 is detachably attached to one surface of the attachment portion 23 opposite to the grip portion 22 .

電池パック２０１は、直方体状に形成された樹脂製のケース２０２を有している。ケース２０２は、蓄電池（例えば、リチウムイオン電池、又は全個体電池等）を収容している。電池パック２０１は、駆動部２４、制御部３ａ、通知部２１１及び作業対象特定システム１０等に電力を供給する。 Battery pack 201 has resin case 202 formed in a rectangular parallelepiped shape. The case 202 houses a storage battery (eg, lithium ion battery, all-solid battery, etc.). The battery pack 201 supplies power to the driving unit 24, the control unit 3a, the notification unit 211, the work target identification system 10, and the like.

また、装着部２３には、操作パネル２３１が設けられている。操作パネル２３１は、例えば、複数の押ボタンスイッチ２３２、及び複数のＬＥＤ（Light Emitting Diode）２３３を有している。操作パネル２３１では、工具２に関する種々の設定及び状況確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル２３１の押ボタンスイッチ２３２を操作することにより、工具２の動作モードの変更、及び電池パック２０１の残容量の確認等を行うことができる。 Further, an operation panel 231 is provided on the mounting portion 23 . The operation panel 231 has, for example, a plurality of pushbutton switches 232 and a plurality of LEDs (Light Emitting Diodes) 233 . On the operation panel 231, various settings regarding the tool 2, status confirmation, and the like can be performed. That is, the user can change the operation mode of the tool 2, check the remaining capacity of the battery pack 201, and the like by operating the push button switch 232 of the operation panel 231, for example.

さらに、装着部２３には、撮影用の発光部２３４が設けられている。発光部２３４は、例えば、ＬＥＤを含んでいる。発光部２３４は、工具２を用いた作業時において、作業対象に向けて光を照射する。発光部２３４のオン／オフは、操作パネル２３１の操作で行うことができる。また、発光部２３４は、トリガスイッチ２２１がオンした際に、自動的に点灯してもよい。 Further, the mounting section 23 is provided with a light emitting section 234 for photographing. The light emitting section 234 includes, for example, an LED. The light emitting unit 234 emits light toward the work target during work using the tool 2 . The light emitting unit 234 can be turned on/off by operating the operation panel 231 . Further, the light emitting section 234 may automatically light up when the trigger switch 221 is turned on.

通知部２１１は、例えば、ＬＥＤで構成されている。通知部２１１は、ユーザが作業中に通知部２１１を目視しやすいように、ボディ２０の胴体部２１における出力軸２４１とは反対側の端部に設けられている（図３参照）。 The notification unit 211 is composed of, for example, an LED. The notification portion 211 is provided at the end of the trunk portion 21 of the body 20 opposite to the output shaft 241 so that the user can easily see the notification portion 211 during work (see FIG. 3).

また、本実施形態に係る工具２は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具２を用いて作業を行う際の動作モードである。登録モードは、作業対象に対応する基準画像を生成するための動作モードである。動作モードの切り替えは、例えば操作パネル２３１の押ボタンスイッチ２３２等に対する操作に基づいて行われてもよいし、操作パネル２３１とは別の、例えばトリガスイッチ２２１やディップスイッチ等に対する操作に基づいて行われてもよい。 Further, the tool 2 according to this embodiment has at least an operation mode and a registration mode as operation modes. The operation mode is an operation mode when the user uses the tool 2 to perform work. The registration mode is an operation mode for generating a reference image corresponding to the work target. The switching of the operation mode may be performed based on, for example, the operation of the push button switch 232 of the operation panel 231, or may be performed based on the operation of the trigger switch 221, the DIP switch, or the like, which is different from the operation panel 231. may be broken.

制御部３ａは、例えば、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、１以上のメモリに記録されているプログラムを１以上のプロセッサで実行することにより、制御部３ａとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、制御部３ａとして機能させるためのプログラムである。 The control unit 3a includes, for example, a microcontroller having one or more processors and one or more memories as a main component. The microcontroller realizes the function as the control unit 3a by executing programs recorded in one or more memories with one or more processors. The program may be recorded in memory in advance, recorded in a non-temporary recording medium such as a memory card and provided, or provided through an electric communication line. In other words, the program is a program for causing one or more processors to function as the control unit 3a.

制御部３ａは、駆動制御部３１、通知制御部３６及びトルク判定部３７等の機能を有している。制御部３ａは、一定時間の間、トリガスイッチ２２１又は操作パネル２３１への操作入力が行われなかった場合、スリープ状態となる。制御部３ａは、スリープ状態中にトリガスイッチ２２１又は操作パネル２３１への操作入力が行われると起動する。 The control unit 3a has functions such as a drive control unit 31, a notification control unit 36, a torque determination unit 37, and the like. The control unit 3a enters a sleep state when no operation input is made to the trigger switch 221 or the operation panel 231 for a certain period of time. The control unit 3a is activated when an operation input to the trigger switch 221 or the operation panel 231 is performed during the sleep state.

駆動制御部３１は、駆動部２４を制御する。具体的には、駆動制御部３１は、トリガスイッチ２２１の引込量に基づいた回転速度で、かつ正逆切替スイッチ２２２によって設定された回転方向に、出力軸２４１を回転させるよう駆動部２４を動作させる。 The drive control section 31 controls the drive section 24 . Specifically, the drive control unit 31 operates the drive unit 24 to rotate the output shaft 241 at a rotation speed based on the amount of retraction of the trigger switch 221 and in the rotation direction set by the forward/reverse selector switch 222 . Let

また、駆動制御部３１は、締付トルクがトルク設定値となるように駆動部２４を制御する。ここで、駆動制御部３１は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部３１は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部２４（モータ）の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部３１は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構２５の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部３１は、インパクト機構２５の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部２４（モータ）を停止させる。これにより、工具２は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。ここにおいて、作業対象に対して行う作業の作業内容（例えばトルク設定値等）は記憶部４（トルク記憶部４２）に予め設定されている。なお、作業対象に対する作業内容はトルク設定値に限定されず、工具２の種類及び工具２を用いた作業の種類等に応じて適宜変更が可能である。 Further, the drive control section 31 controls the drive section 24 so that the tightening torque becomes the torque set value. Here, the drive control section 31 has a torque estimation function for estimating the magnitude of tightening torque. In this embodiment, as an example, the drive control unit 31 estimates the magnitude of the tightening torque based on the rotation speed of the drive unit 24 (motor) until the estimated value of the tightening torque reaches the seating determination level. . When the estimated value of the tightening torque reaches the seating determination level, the drive control unit 31 estimates the magnitude of the tightening torque based on the number of impacts of the impact mechanism 25 . When the number of impacts of the impact mechanism 25 reaches the threshold number of times based on the torque setting value, the drive control unit 31 determines that the tightening torque has reached the torque setting value, and stops the driving unit 24 (motor). As a result, the tool 2 can tighten the tightening component with the tightening torque exactly as the torque setting value. Here, the work contents (for example, torque setting value, etc.) of the work to be performed on the work target are set in advance in the storage section 4 (torque storage section 42). It should be noted that the work content for the work target is not limited to the torque setting value, and can be appropriately changed according to the type of the tool 2, the type of work using the tool 2, and the like.

通知制御部３６は、通知部２１１を制御する。通知制御部３６は、処理部３４による特定処理によって作業対象が特定されていない場合と、特定処理によって作業対象が特定された場合とで、通知部２１１による通知状態を異なる態様とすることが好ましい。例えば、通知制御部３６は、特定処理によって作業対象が特定されていない場合、通知部２１１を消灯させ、特定処理によって作業対象が特定された場合、通知部２１１を緑色で点灯させる。これにより、ユーザは、通知部２１１の点灯状態を目視することによって、作業対象が特定されたか否かを認識することができる。 Notification control unit 36 controls notification unit 211 . The notification control unit 36 preferably makes the notification state of the notification unit 211 different between when the work target is not specified by the specifying process by the processing unit 34 and when the work target is specified by the specifying process. . For example, the notification control unit 36 turns off the notification unit 211 when the work target is not specified by the specifying process, and lights the notification unit 211 in green when the work target is specified by the specifying process. Accordingly, the user can recognize whether or not the work target has been specified by visually checking the lighting state of the notification unit 211 .

トルク判定部３７は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、トルク判定部３７は、作業対象に対する作業内容に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業対象に対する作業内容が目標トルク値を含んでいる。これにより、トルク判定部３７は、作業対象に対する作業内容に含まれる目標トルク値と、締付トルクと、を比較することで、作業対象に応じた締付トルクで作業がされているかを判定できる。 The torque determination unit 37 is configured to determine whether or not the tightening torque is normal when the tightening component is attached to the tightening target location. Here, it is preferable that the torque determination unit 37 determines whether or not the tightening torque is normal based on the work content for the work target. Specifically, the work content for the work target includes the target torque value. As a result, the torque determination unit 37 can determine whether or not the work is being performed with the tightening torque corresponding to the work object by comparing the tightening torque with the target torque value included in the work content for the work object. .

トルク判定部３７は、例えば、インパクト機構２５の打撃数が閾値回数に達することによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが正常であると判定する。また、トルク判定部３７は、インパクト機構２５の打撃数が閾値回数に達する前に、例えばトリガスイッチ２２１がオフされることによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが不十分（正常ではない）と判定する。また、トルク判定部３７は、判定結果を、作業対象（締付対象箇所）と対応付けて結果記憶部４３に記憶させる結果記憶処理を行う。 For example, when the drive control unit 31 stops the drive unit 24 because the number of impacts of the impact mechanism 25 reaches the threshold number of times, the torque determination unit 37 determines that the tightening torque is normal. Further, the torque determination unit 37 determines that when the drive control unit 31 stops the drive unit 24 by turning off the trigger switch 221 before the number of impacts of the impact mechanism 25 reaches the threshold number of times, the tightening torque is Judged as inadequate (not normal). In addition, the torque determination unit 37 performs result storage processing for storing the determination result in the result storage unit 43 in association with the work target (tightening target location).

（２．２．２）作業対象特定システムの構成
次に、作業対象特定システム１０の構成について、図１～図３を参照して説明する。作業対象特定システム１０は、上述した処理部３４を備えている。複数の基準画像の各々が比較画像に選択される順番が、工具を用いて行った作業の作業履歴に応じて変化する。 (2.2.2) Configuration of Work Target Identification System Next, the configuration of the work target identification system 10 will be described with reference to FIGS. 1 to 3. FIG. The work target identification system 10 includes the processing unit 34 described above. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.

また、本実施形態の作業対象特定システム１０は、上述した撮像部５と、処理部３４を含む制御部３ｂと、記憶部４とを有している。 Further, the work target identification system 10 of the present embodiment has the imaging unit 5 described above, the control unit 3b including the processing unit 34, and the storage unit 4. FIG.

制御部３ｂ、記憶部４、及び撮像部５は、工具２のボディ２０に収容されている。本実施形態では一例として、撮像部５は、胴体部２１に収容されている。制御部３ｂ及び記憶部４は、グリップ部２２又は装着部２３に収容されている。すなわち、本実施形態の工具２は上記の工具システム１に用いられ、駆動部２４と、撮像部５とを備えている。 The control unit 3 b , storage unit 4 and imaging unit 5 are housed in the body 20 of the tool 2 . As an example in this embodiment, the imaging unit 5 is housed in the body unit 21 . The control section 3b and the storage section 4 are accommodated in the grip section 22 or the mounting section 23. As shown in FIG. That is, the tool 2 of this embodiment is used in the above-described tool system 1 and includes a driving section 24 and an imaging section 5 .

撮像部５は、撮像画像としてのデータを生成する。撮像部５は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部５は、工具２のボディ２０（胴体部２１）に収容されている。撮像部５は、工具２を用いた作業時に作業対象を撮像するように、出力軸２４１の先端側に向けて搭載されている。 The imaging unit 5 generates data as a captured image. The imaging unit 5 is, for example, a camera having an imaging device and a lens. In this embodiment, as described above, the imaging unit 5 is housed in the body 20 (trunk portion 21) of the tool 2. As shown in FIG. The imaging unit 5 is mounted toward the tip end side of the output shaft 241 so as to image the work target during work using the tool 2 .

具体的には、撮像部５は、出力軸２４１に取り付けられたソケット２４２が撮像範囲に収まるように、出力軸２４１の先端側（ソケット２４２）に向けて、胴体部２１の先端部に配置されている（図２及び図３参照）。撮像部５の光軸は、出力軸２４１の回転軸Ａｘ１に沿って配置される。ここでは、撮像部５は、出力軸２４１の回転軸Ａｘ１から所定距離内に光軸が位置し、かつ回転軸Ａｘ１と光軸が略平行となるように配置されている。なお、出力軸２４１に取り付けられたソケット２４２が撮像範囲に収まるように、撮像部５が撮像画像を生成することは必須ではない。撮像部５は、セット作業対象を特定するための撮像画像を生成することが可能であればよい。「セット作業対象を特定するための撮像画像」とは、作業対象に工具２がセットされた状態のワークが、撮像部５によって撮影されて生成される画像である。本開示における上記撮像画像には、工具２がセットされた作業対象（ワークの少なくとも一部）が映っているものとする。なお、上記撮像画像は、セット作業対象を特定することが可能な画像であればよく、上記撮像画像の撮像範囲には、工具２がセットされた作業対象が収まっていなくてもよい。 Specifically, the imaging unit 5 is arranged at the distal end portion of the body portion 21 toward the distal end side (socket 242) of the output shaft 241 so that the socket 242 attached to the output shaft 241 falls within the imaging range. (see FIGS. 2 and 3). The optical axis of the imaging unit 5 is arranged along the rotation axis Ax<b>1 of the output shaft 241 . Here, the imaging unit 5 is arranged such that the optical axis is positioned within a predetermined distance from the rotation axis Ax1 of the output shaft 241 and the rotation axis Ax1 and the optical axis are substantially parallel. Note that it is not essential for the imaging unit 5 to generate the captured image such that the socket 242 attached to the output shaft 241 is within the imaging range. The imaging unit 5 only needs to be able to generate a captured image for specifying the set work target. The “captured image for specifying the setting work target” is an image generated by capturing the work with the tool 2 set on the work target by the imaging unit 5 . It is assumed that the work target (at least part of the work) on which the tool 2 is set is shown in the captured image in the present disclosure. Note that the captured image may be an image that can identify the set work target, and the work target in which the tool 2 is set does not have to be included in the imaging range of the captured image.

制御部３ｂは、例えば、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、１以上のメモリに記録されているプログラムを１以上のプロセッサで実行することにより、制御部３ｂとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、制御部３ｂとして機能させるためのプログラムである。 The control unit 3b includes, for example, a microcontroller having one or more processors and one or more memories as a main component. The microcontroller realizes the function as the control unit 3b by executing programs recorded in one or more memories with one or more processors. The program may be recorded in memory in advance, recorded in a non-temporary recording medium such as a memory card and provided, or provided through an electric communication line. In other words, the program is a program for causing one or more processors to function as the control unit 3b.

制御部３ｂは、撮像制御部３２、セット検知部３３、処理部３４、及び登録部３５等の機能を有している。制御部３ｂは、一定時間の間、トリガスイッチ２２１又は操作パネル２３１への操作入力が行われなかった場合、スリープ状態となる。制御部３ｂは、スリープ状態中にトリガスイッチ２２１又は操作パネル２３１への操作入力が行われると起動する。 The control unit 3b has functions such as an imaging control unit 32, a set detection unit 33, a processing unit 34, a registration unit 35, and the like. The control unit 3b enters a sleep state when no operation input is made to the trigger switch 221 or the operation panel 231 for a certain period of time. The control unit 3b is activated when an operation input to the trigger switch 221 or the operation panel 231 is performed during the sleep state.

撮像制御部３２は、撮像部５を制御するように構成されている。本実施形態の撮像制御部３２は、制御部３ｂが起動するに伴い、撮像部５に撮影動作を開始させる。 The imaging control section 32 is configured to control the imaging section 5 . The imaging control unit 32 of the present embodiment causes the imaging unit 5 to start the imaging operation as the control unit 3b is activated.

セット検知部３３は、工具２が作業対象にセットされている状態を検知する。本実施形態に係るセット検知部３３は、工具２が運用モードであるときに、工具２が作業対象にセットされているか否かのセット検知処理を行う。 The set detection unit 33 detects a state in which the tool 2 is set on the work target. The set detection unit 33 according to the present embodiment performs set detection processing to determine whether or not the tool 2 is set on the work target when the tool 2 is in the operation mode.

セット検知部３３は、トリガスイッチ２２１の引込量に基づいて、工具２が作業対象にセットされている状態を検知する。具体的には、トリガスイッチ２２１がユーザによって半押しされている場合に、セット検知部３３は、工具２が作業対象にセットされている状態を検知する。本開示の「半押しされている」とは、トリガスイッチ２２１が、初期位置とオン位置との間に位置している状態をいう。具体的には、「半押しされている」とは、トリガスイッチ２２１が初期位置とオン位置との略中間に位置している状態をいう。セット検知部３３は、トリガスイッチ２２１が初期位置とオン位置との間に位置している状態のとき、工具２が作業対象にセットされている状態を検知する。なお、セット検知部３３は、トリガスイッチ２２１が初期位置とオン位置との間に位置している状態であることを、工具２が作業対象にセットされている状態を検知するための複数の条件の１つとしてもよい。また、セット検知部３３は、例えば、距離センサによって検知される工具２と作業対象との間の距離が予め設定された範囲内である場合に、工具２が作業対象にセットされている状態を検知してもよい。また、セット検知部３３は、例えば工具２が物体に押し当てられることで工具２に加わる圧力を検知する圧力センサの検知結果に基づき、圧力の検知結果が所定の閾値以上である場合に、工具２が作業対象にセットされている状態を検知してもよい。 The set detection unit 33 detects a state in which the tool 2 is set on the work target based on the retraction amount of the trigger switch 221 . Specifically, when the trigger switch 221 is half-pressed by the user, the set detector 33 detects that the tool 2 is set on the work target. "Half-pressed" in the present disclosure refers to a state in which the trigger switch 221 is positioned between the initial position and the ON position. Specifically, "half-pressed" refers to a state in which the trigger switch 221 is positioned approximately midway between the initial position and the ON position. When the trigger switch 221 is positioned between the initial position and the ON position, the set detector 33 detects that the tool 2 is set as the work target. Note that the set detection unit 33 detects a state in which the trigger switch 221 is positioned between the initial position and the ON position based on a plurality of conditions for detecting a state in which the tool 2 is set on the work target. may be one of Further, the set detection unit 33 detects a state in which the tool 2 is set on the work target, for example, when the distance between the tool 2 and the work target detected by the distance sensor is within a preset range. may be detected. Further, the set detection unit 33 detects the pressure applied to the tool 2 when the tool 2 is pressed against an object, for example, based on the detection result of a pressure sensor. 2 is set as the work target.

セット検知部３３は、工具２が作業対象にセットされている状態を検知すると、セット検知情報を処理部３４に出力する。なお、セット検知部３３は、工具２が作業対象にセットされている状態を検知しない場合、セット検知情報を処理部３４に出力しない。 The set detection unit 33 outputs set detection information to the processing unit 34 when detecting that the tool 2 is set on the work target. Note that the set detection unit 33 does not output the set detection information to the processing unit 34 when it does not detect that the tool 2 is set on the work target.

本実施形態に係る処理部３４は、セット検知部３３から出力されるセット検知情報を受け取ると、撮像画像に基づいて特定処理を実行する。言い換えると、処理部３４は、作業対象を特定することができる可能性が高いときに、撮像画像に基づいて特定処理を実行する。処理部３４が特定処理を開始するタイミングが遅すぎると、作業対象を特定できないだけでなく、処理部３４による特定処理の実行には０．５秒～１．０秒程度の時間を要するためユーザが工具２を構えたタイミングで特定処理を開始できない場合がある。ユーザが工具２を構えたタイミングで特定処理を開始できない場合、特定処理の完了が遅れ、ユーザの作業リズムを損なう可能性がある。本実施形態の処理部３４は、作業対象を特定することができる可能性が高いとき、すなわちユーザが工具２を構えた最適のタイミングで特定処理を実行することができるため、特定処理の完了が遅れる可能性を低減することができる。また、撮像部５のＡＥ（Automatic Exposure）や、ＡＷＢ（Auto White Balance）等の撮像制御が安定した撮像画像に基づいて特定処理を実行することができるため、特定処理の精度向上を図ることができる。なお、本実施形態に係る処理部３４は、セット検知部３３から出力されるセット検知情報を受け取っていない場合、撮像画像に基づく所定の処理を実行しない。 Upon receiving the set detection information output from the set detection unit 33, the processing unit 34 according to the present embodiment executes specific processing based on the captured image. In other words, the processing unit 34 executes the identification process based on the captured image when there is a high possibility that the work target can be identified. If the timing at which the processing unit 34 starts the specifying process is too late, not only will it be impossible to specify the work target, but the execution of the specifying process by the processing unit 34 will take about 0.5 seconds to 1.0 seconds. may not be able to start the specific process at the timing when the tool 2 is set up. If the specific process cannot be started at the timing when the user holds the tool 2, the completion of the specific process is delayed, which may impair the user's work rhythm. The processing unit 34 of the present embodiment can execute the specifying process when there is a high possibility that the work target can be specified, that is, at the optimum timing when the user holds the tool 2. Therefore, the completion of the specifying process is The possibility of being late can be reduced. In addition, since the specific processing can be executed based on the captured image with stable imaging control such as AE (Automatic Exposure) of the imaging unit 5 and AWB (Auto White Balance), it is possible to improve the accuracy of the specific processing. can. Note that the processing unit 34 according to the present embodiment does not execute predetermined processing based on the captured image when the set detection information output from the set detection unit 33 is not received.

処理部３４は、複数の作業対象のうち工具２がセットされた作業対象（セット作業対象）を特定する特定処理を間欠的に行う。換言すると、工具２が作業対象にセットされたことをセット検知部３３が検知したタイミングで、処理部３４は、セット作業対象を特定する特定処理を行う。つまり、処理部３４は、撮像画像に映るセット作業対象を特定する機能を有する。具体的には、処理部３４は、撮像部５の撮像画像と複数の基準画像とを比較する画像処理を行い、撮像画像に映るセット作業対象を、複数の作業対象のうちから特定する。ここにおいて、複数の作業対象にそれぞれ対応する複数の基準画像は、記憶部４（画像記憶部４１）に記憶されている。 The processing unit 34 intermittently performs identification processing for identifying a work target (set work target) on which the tool 2 is set among a plurality of work targets. In other words, at the timing when the set detection unit 33 detects that the tool 2 has been set as the work target, the processing unit 34 performs the specifying process of specifying the set work target. In other words, the processing unit 34 has a function of identifying the set work target appearing in the captured image. Specifically, the processing unit 34 performs image processing for comparing the captured image of the imaging unit 5 with a plurality of reference images, and identifies the set work target shown in the captured image from among the plurality of work targets. Here, a plurality of reference images respectively corresponding to a plurality of work targets are stored in the storage section 4 (image storage section 41).

具体的には、処理部３４は、撮像画像に対して、複数の作業対象に対応する複数の基準画像をテンプレートデータとしたパターン認識処理を行い、セット作業対象を特定する。つまり、処理部３４は、撮像画像と、複数の作業対象に対応する複数の基準画像とを比較することによって、撮像画像に映っている作業対象（セット作業対象）を特定する。処理部３４は、複数の基準画像から選択した一の比較画像と撮像画像とを比較する比較処理を、撮像画像に映る作業対象が特定されるまで繰り返し行う。ここにおいて、複数の基準画像の各々が比較画像に選択される順番が、工具２を用いて行った作業の作業履歴に応じて変化する。例えば、処理部３４は、複数の基準画像の各々に、工具２を用いて行った作業の履歴に基づく重み係数を設定する。重み係数は、次に作業を行う可能性が高い作業対象の基準画像ほど値が大きくなるような係数である。処理部３４は、工具２を用いて行った過去の作業の履歴に基づいて複数の基準画像に重み係数を設定する。そして、処理部３４は、複数の基準画像の中から重み係数に応じた順番で比較画像を選択する。具体的には、処理部３４は、複数の基準画像のうち重み係数の値が最も大きい基準画像を比較画像として選択し、この比較画像と撮像画像とを比較する比較処理を行う。このように、処理部３４は、複数の基準画像のうち特定処理に使用していない基準画像で重み係数が最も高いもの、つまり次に行われる可能性が高い作業対象の基準画像を比較画像として選択している。したがって、処理部３４は、撮像画像に映る作業対象を特定するまでに行う比較処理の回数を少なくでき、工具２が作業対象にセットされてから作業対象を特定するまでの時間を短縮することができ、処理部３４が行う特定処理の処理量を低減できる。 Specifically, the processing unit 34 performs pattern recognition processing on the captured image using a plurality of reference images corresponding to a plurality of work targets as template data, and identifies a set work target. That is, the processing unit 34 identifies the work target (set work target) shown in the captured image by comparing the captured image with a plurality of reference images corresponding to the plurality of work targets. The processing unit 34 repeats the comparison process of comparing one comparative image selected from a plurality of reference images with the captured image until the work target shown in the captured image is specified. Here, the order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool 2 . For example, the processing unit 34 sets a weighting factor based on the history of work performed using the tool 2 to each of the plurality of reference images. The weighting factor is a factor that increases the value of the reference image to be worked on, which is likely to be worked on next. The processing unit 34 sets weighting coefficients for a plurality of reference images based on the history of past work performed using the tool 2 . Then, the processing unit 34 selects comparison images from among the plurality of reference images in the order according to the weighting factor. Specifically, the processing unit 34 selects a reference image having the largest weighting coefficient value among the plurality of reference images as a comparison image, and performs comparison processing for comparing this comparison image with the captured image. In this way, the processing unit 34 selects the reference image that is not used for the specific process and has the highest weighting coefficient among the plurality of reference images, that is, the reference image that is likely to be performed next, as the comparison image. have selected. Therefore, the processing unit 34 can reduce the number of times of comparison processing performed until specifying the work target shown in the captured image, and shorten the time from when the tool 2 is set to the work target until the work target is specified. It is possible to reduce the processing amount of the specific processing performed by the processing unit 34 .

なお、本開示でいう「パターン認識処理」とは、ある画像に映る物の形状に基づいて、その画像に映る物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。ここでいうパターンマッチング処理は、上述したようなテンプレートデータを用いて、テンプレートデータと比較対象（撮像画像等）との比較を行う処理である。また、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング（深層学習）のアルゴリズムを用いてもよい。 Note that “pattern recognition processing” as used in the present disclosure means image processing for recognizing what an object appears in an image based on the shape of the object appearing in the image. Examples of this type of pattern recognition processing include pattern matching processing and processing for recognizing an object appearing in an image using a learned model created by machine learning. The pattern matching process referred to here is a process of comparing the template data with a comparison target (captured image or the like) using the template data as described above. As a machine learning method, an appropriate algorithm may be used, for example, a deep learning algorithm may be used.

さらに、処理部３４は、特定された作業対象（セット作業対象）に対して行う作業の作業内容を工具２に設定する。具体的には、工具システム１は、処理部３４が特定した作業対象に基づいて、工具２を用いる作業の作業内容を設定する。処理部３４は、セット作業対象に対して行う締め付け作業の目標トルク値をトルク記憶部４２から抽出する。そして、処理部３４は、トルク記憶部４２から抽出した目標トルク値を工具２に設定する。 Furthermore, the processing unit 34 sets the work content of the work to be performed on the identified work target (set work target) in the tool 2 . Specifically, the tool system 1 sets the work content of the work using the tool 2 based on the work target specified by the processing unit 34 . The processing unit 34 extracts from the torque storage unit 42 the target torque value for the tightening work to be performed on the set work target. Then, the processing section 34 sets the target torque value extracted from the torque storage section 42 to the tool 2 .

登録部３５は、工具２の動作モードが登録モードである場合、画像登録処理と、トルク登録処理と、を行う。画像登録処理は、複数の作業対象にそれぞれ対応する複数の基準画像を記憶部４の画像記憶部４１に記憶させる処理である。トルク登録処理は、複数の作業対象にそれぞれ対応する複数の目標トルク値を記憶部４のトルク記憶部４２に記憶させる処理である。 The registration unit 35 performs image registration processing and torque registration processing when the operation mode of the tool 2 is the registration mode. The image registration process is a process of storing a plurality of reference images respectively corresponding to a plurality of work targets in the image storage section 41 of the storage section 4 . The torque registration process is a process of storing a plurality of target torque values respectively corresponding to a plurality of work targets in the torque storage section 42 of the storage section 4 .

また、登録部３５は、画像登録処理において、例えば、撮像部５が作業対象を撮像して生成した静止画像を基準画像として画像記憶部４１に記憶させる。具体的には、工具２の動作モードが登録モードである場合、トリガスイッチ２２１がシャッターボタンとしても機能する。トリガスイッチ２２１がオンすると（オン位置まで押されると）撮像部５が静止画像を生成する。登録部３５は、この静止画像を基準画像として画像記憶部４１に記憶させる。 Further, in the image registration process, the registration unit 35 causes the image storage unit 41 to store, as a reference image, a still image generated by imaging the work target by the imaging unit 5, for example. Specifically, when the operation mode of the tool 2 is the registration mode, the trigger switch 221 also functions as a shutter button. When the trigger switch 221 is turned on (pressed to the on position), the imaging section 5 generates a still image. The registration unit 35 stores this still image in the image storage unit 41 as a reference image.

記憶部４は、例えば、半導体メモリで構成されており、画像記憶部４１、トルク記憶部４２（目標値記憶部）、結果記憶部４３及び履歴記憶部４４の機能を有する。画像記憶部４１とトルク記憶部４２と結果記憶部４３と履歴記憶部４４とは、本実施形態では１つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部４は、工具２に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。 The storage unit 4 is composed of a semiconductor memory, for example, and has functions of an image storage unit 41 , a torque storage unit 42 (target value storage unit), a result storage unit 43 and a history storage unit 44 . The image storage unit 41, the torque storage unit 42, the result storage unit 43, and the history storage unit 44 are composed of one memory in this embodiment, but may be composed of a plurality of memories. Also, the storage unit 4 may be a recording medium such as a memory card that is detachably attached to the tool 2 .

画像記憶部４１は、複数の基準画像を複数の作業対象と対応付けて記憶している。 The image storage unit 41 stores a plurality of reference images in association with a plurality of work targets.

トルク記憶部４２は、複数の目標トルク値（目標値）を、複数の作業対象と一対一に対応付けて記憶している。目標トルク値とは、対応する作業対象に締付部品を取り付ける際における締付トルクの目標値である。 The torque storage unit 42 stores a plurality of target torque values (target values) in a one-to-one correspondence with a plurality of work targets. The target torque value is the target value of the tightening torque when attaching the tightening component to the corresponding work object.

結果記憶部４３は、複数の作業対象と、トルク判定部３７による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部４３は、トルク判定部３７の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいてワークごとに作業対象の判定結果を区別することが可能となる。なお、結果記憶部４３は、作業対象に対して行った締付け作業での締付けトルクの値を、作業対象と対応付けて記憶してもよい。 The result storage unit 43 associates and stores a plurality of work targets and determination results of a plurality of tightening target locations by the torque determination unit 37 . Further, it is preferable that the result storage unit 43 stores the determination result of the torque determination unit 37 with a time stamp indicating the work time added thereto. This makes it possible to distinguish the work target determination result for each work in the assembly line. Note that the result storage unit 43 may store the value of the tightening torque in the tightening work performed on the work object in association with the work object.

履歴記憶部４４は、工具２が行った作業の履歴を記憶する。ユーザが工具２を用いて複数のワークに対する作業を行うと、履歴記憶部４４には、複数の作業対象に対して作業が行われた順番が記憶される。１つのワークにある複数の作業対象に対して作業が行われる順番は、ユーザの熟練度、体格、利き腕などによって変更される可能性がある。工具２を使用するユーザは、１つのワークにある複数の作業対象に対して、当人が作業しやすい順番で作業を行う可能性があるが、履歴記憶部４４には、複数の作業対象に対して作業が行われた順番が記憶される。 The history storage unit 44 stores a history of work performed by the tool 2 . When the user uses the tool 2 to perform work on a plurality of works, the history storage unit 44 stores the order in which work was performed on a plurality of work targets. The order in which work is performed on a plurality of work targets in one work may change depending on the user's skill level, physique, dominant arm, and the like. A user using the tool 2 may work on a plurality of work targets in one workpiece in an order that makes the work easier for the user. The order in which the work was performed is stored.

なお、例えば工具２を使用するユーザが操作パネル２３１等を操作してＩＤ情報を入力すると、工具２から作業対象特定システム１０にＩＤ情報が入力されるので、履歴記憶部４４には、ユーザのＩＤ情報に対応付けて、当該ユーザが行った作業の作業履歴、つまり複数の作業対象に対して作業を行った順番が記憶されてもよい。工具２が複数のユーザによって使用され、履歴記憶部４４にユーザごとの作業履歴が記憶されている場合、複数の基準画像の各々が比較画像に選択される順番が、ユーザごとの作業履歴に応じて変化する。具体的には、処理部３４は、ユーザごとの作業履歴に基づいて、複数の作業対象の各々について作業が行われる確率に応じた重み係数を設定し、画像記憶部４１に複数の撮像画像と、複数の撮像画像に設定した複数の重み係数とを対応付けて記憶させる。処理部３４は、工具２から当該工具２を使用するユーザのＩＤ情報が入力されている状態で、セット検知部３３からセット検知情報が入力されると、特定処理を開始する。ここで、処理部３４は、ＩＤ情報に基づいて当該ユーザの作業履歴に応じて複数の基準画像に設定された重み係数を抽出し、複数の基準画像のうち比較処理を行っていない基準画像の中で重み係数が最も高い基準画像を比較画像に選択し、この比較画像と撮像画像とを比較することによって、比較画像に対応する作業対象が撮像画像に映っているか否かを判断する。 For example, when the user using the tool 2 inputs ID information by operating the operation panel 231 or the like, the ID information is input from the tool 2 to the work target identification system 10. A work history of work performed by the user, that is, the order in which work was performed on a plurality of work targets may be stored in association with the ID information. When the tool 2 is used by a plurality of users and the work history of each user is stored in the history storage unit 44, the order in which each of the plurality of reference images is selected as the comparison image depends on the work history of each user. change by Specifically, based on the work history of each user, the processing unit 34 sets a weighting factor according to the probability that work will be performed on each of a plurality of work targets, and stores a plurality of captured images in the image storage unit 41 . , and a plurality of weighting factors set for a plurality of captured images are stored in association with each other. When the set detection information is input from the set detection unit 33 while the ID information of the user who uses the tool 2 is input from the tool 2 , the processing unit 34 starts the specific process. Here, the processing unit 34 extracts the weighting factors set to the plurality of reference images according to the work history of the user based on the ID information, and extracts the weighting coefficients of the reference images that have not undergone the comparison processing among the plurality of reference images. A reference image having the highest weighting coefficient is selected as a comparison image, and this comparison image is compared with the captured image to determine whether or not the work target corresponding to the comparison image is shown in the captured image.

（３）動作
本実施形態に係る工具システム１の動作について、図５～図８を参照して説明する。 (3) Operation The operation of the tool system 1 according to this embodiment will be described with reference to FIGS. 5 to 8. FIG.

ここでは、組立ラインにおいて、ユーザが複数のワークＡ１の組立作業を行う際の工具システム１の動作を例として説明する。個々のワークＡ１には、複数（図４の例では８つ）の作業対象（例えばねじ穴）があり、ユーザは、工具２を用いて複数の作業対象Ｗ１～Ｗ８に締付部品であるボルトを取り付ける作業を行うこととする。なお、登録モードにおいて、工具２の画像記憶部４１には、複数の作業対象と複数の基準画像とが対応付けて記憶され、工具２のトルク記憶部４２には、複数の作業対象と複数の目標トルク値とが対応付けて記憶されているものとする。 Here, an operation of the tool system 1 when a user performs assembly work for a plurality of works A1 on an assembly line will be described as an example. Each workpiece A1 has a plurality of (eight in the example of FIG. 4) work targets (for example, screw holes), and the user uses the tool 2 to attach bolts, which are fastening parts, to the work targets W1 to W8. will be installed. In the registration mode, the image storage unit 41 of the tool 2 stores a plurality of work targets and a plurality of reference images in association with each other, and the torque storage unit 42 of the tool 2 stores a plurality of work targets and a plurality of reference images. It is assumed that the target torque value is stored in association with the target torque value.

以下に、工具システム１の運用モードの動作例について、図５のフローチャートを参照して説明する。なお、図５に示すフローチャートは、作業対象特定システム１０が行う作業対象特定方法の一例に過ぎず、処理の順序が適宜変更されてもよいし、処理が適宜追加又は省略されてもよい。 An operation example of the operation mode of the tool system 1 will be described below with reference to the flowchart of FIG. The flowchart shown in FIG. 5 is merely an example of the work target identification method performed by the work target identification system 10, and the order of processing may be changed as appropriate, and processing may be added or omitted as appropriate.

ユーザが工具２を用いて作業対象に対する作業を行う場合、ユーザが工具２を作業対象にセットしたか否かをセット検知部３３が検知する（ステップＳ１）。例えばユーザが工具２を作業対象に当てて、トリガスイッチ２２１を半押しすると、セット検知部３３は、トリガスイッチ２２１の引込量に基づいて、工具２が作業対象にセットされていると検知し（ステップＳ１：Ｙｅｓ）、セット検知情報を撮像制御部３２及び処理部３４に出力する。 When the user uses the tool 2 to work on the work target, the set detector 33 detects whether or not the user has set the tool 2 on the work target (step S1). For example, when the user applies the tool 2 to the work target and presses the trigger switch 221 halfway, the set detection unit 33 detects that the tool 2 is set to the work target based on the retraction amount of the trigger switch 221 ( Step S<b>1 : Yes), the set detection information is output to the imaging control section 32 and the processing section 34 .

セット検知部３３から撮像制御部３２にセット検知情報が入力されると、撮像制御部３２は撮像部５を制御して撮像画像を撮像させており、処理部３４は撮像部５から撮像画像の画像データを取得する（ステップＳ２）。ここで、工具２が作業対象にセットされている状態では、撮像部５の撮像画像に、工具２がセットされている作業対象が映っている。 When the set detection information is input from the set detection unit 33 to the imaging control unit 32, the imaging control unit 32 controls the imaging unit 5 to pick up the picked-up image, and the processing unit 34 receives the picked-up image from the imaging unit 5. Image data is acquired (step S2). Here, in a state where the tool 2 is set on the work target, the image captured by the imaging unit 5 shows the work target on which the tool 2 is set.

処理部３４が撮像部５から撮像画像の画像データを取得すると、処理部３４は、複数の基準画像の中から一の基準画像を比較画像として選択する（ステップＳ３）。ここで、処理部３４は、今回の撮像画像に対する特定処理において比較処理に使っていない１以上の基準画像の中で、重み係数が最も高い基準画像を比較画像として選択する。そして、処理部３４は、比較画像と撮像画像とを比較する比較処理を行い（ステップＳ４)、比較処理の結果に基づいて比較画像に対応する作業対象が撮像画像に映っているか否か、つまり撮像画像に映っているもの（セット作業対象）を特定できたか否かを判断する（ステップＳ５）。 When the processing unit 34 acquires the image data of the captured image from the imaging unit 5, the processing unit 34 selects one reference image from among a plurality of reference images as a comparison image (step S3). Here, the processing unit 34 selects the reference image with the highest weighting coefficient as the comparison image from among the one or more reference images that are not used for the comparison processing in the specific processing for the current picked-up image. Then, the processing unit 34 performs comparison processing for comparing the comparison image and the captured image (step S4), and determines whether or not the work target corresponding to the comparison image appears in the captured image based on the result of the comparison processing. It is determined whether or not the object (target for setting work) shown in the captured image has been specified (step S5).

ここで、ステップＳ５において撮像画像に映っているセット作業対象を特定できなかった場合（ステップＳ５：Ｎｏ）、処理部３４は、Ｓ３に戻って比較画像を選択し直す。すなわち、処理部３４は、今回の撮像画像に対する特定処理において比較処理に使っていない１以上の基準画像の中で、重み係数が最も高い基準画像を比較画像として選択し、ステップＳ４以後の処理を繰り返す。 Here, if the setting work target shown in the captured image cannot be specified in step S5 (step S5: No), the processing unit 34 returns to S3 and selects a comparison image again. That is, the processing unit 34 selects the reference image with the highest weighting factor from among the one or more reference images that are not used for the comparison processing in the specific processing for the current picked-up image, and performs the processing after step S4. repeat.

一方、ステップＳ５において撮像画像に映っているセット作業対象を特定できた場合（ステップＳ５：Ｙｅｓ）、処理部３４は、工具２がセットされている作業対象に対応する作業内容（例えば目標トルク値）をトルク記憶部４２から抽出し、この目標トルク値を工具２の制御部３ａに出力する。 On the other hand, if the setting work target shown in the captured image can be identified in step S5 (step S5: Yes), the processing unit 34 determines the work content (for example, target torque value ) is extracted from the torque storage unit 42 , and this target torque value is output to the control unit 3 a of the tool 2 .

工具２の制御部３ａは、処理部３４から目標トルク値が入力されると、目標トルク値を設定し、通知制御部３６を制御して通知部２１１により作業対象が特定されたことを示す通知を行わせる。工具２を使用するユーザが、通知部２１１による通知に基づいて作業対象が特定されたと判断すると、トリガスイッチ２２１をオン位置まで操作し、この操作に応じて制御部３ａが駆動部２４を動作させる。このとき、制御部３ａは、処理部３４から入力された目標トルク値で駆動部２４を動作させることによって、作業対象に対して予め設定された目標トルク値で締付け作業を行うことができる。 When the target torque value is input from the processing unit 34, the control unit 3a of the tool 2 sets the target torque value, controls the notification control unit 36, and notifies the notification unit 211 that the work target has been specified. to do When the user using the tool 2 determines that the work target has been specified based on the notification from the notification unit 211, the trigger switch 221 is operated to the ON position, and the control unit 3a operates the driving unit 24 in response to this operation. . At this time, the control unit 3a operates the driving unit 24 with the target torque value input from the processing unit 34, thereby performing the tightening operation with the preset target torque value for the work object.

なお、作業対象に対する作業が終了すると、トルク判定部３７の判定結果が制御部３ｂに出力され、制御部３ｂが結果記憶部４３にトルク判定部３７の判定結果を記憶させ、履歴記憶部４４に今回の作業が行われた作業対象の情報が記憶される。これにより、ユーザが工具２を用いて作業を行うたびに、複数の作業対象に対して行った作業の履歴情報が更新されるので、処理部３４は、これまでの履歴情報に基づいて次に行われる作業を予測し、複数の基準画像の各々に次に作業が行われる確率に応じた重み係数を設定する。 When the work on the work target is completed, the determination result of the torque determination unit 37 is output to the control unit 3b, and the control unit 3b causes the result storage unit 43 to store the determination result of the torque determination unit 37, and the history storage unit 44 to store the determination result of the torque determination unit 37. Information about the work target on which the current work is performed is stored. As a result, every time the user performs work using the tool 2, the history information of the work performed on a plurality of work targets is updated. The task to be performed is predicted, and a weighting factor is set for each of the plurality of reference images according to the probability that the task will be performed next.

以上のように、特定処理では撮像画像に映っているセット作業対象が特定されるまで、処理部３４が、複数の基準画像から選択した一の比較画像と撮像画像とを比較する比較処理を繰り返すのであるが、本実施形態では、複数の基準画像の各々が比較画像に選択される順番が、工具２を用いて行った作業の作業履歴に応じて変化する。 As described above, in the identification processing, the processing unit 34 repeats the comparison processing of comparing the captured image with one comparison image selected from a plurality of reference images until the setting work target shown in the captured image is identified. However, in this embodiment, the order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool 2 .

図４に示すように８つの作業対象Ｗ１～Ｗ８（例えばねじ穴）がある場合に、８つの作業対象Ｗ１～Ｗ８をそれぞれ撮影した８枚の基準画像Ｐ１～Ｐ８が画像記憶部４１には予め登録されている。 As shown in FIG. 4, when there are eight work targets W1 to W8 (for example, screw holes), eight reference images P1 to P8 obtained by photographing the eight work targets W1 to W8 are stored in the image storage unit 41 in advance. Registered.

ここで、特定処理において８枚の基準画像Ｐ１～Ｐ８の各々が比較画像に選択される順番が固定であると、セット作業対象を特定するまでの時間が長くなる可能性がある。例えば１箇所目の作業では作業対象Ｗ１にボルトを取り付け、２箇所目の作業では作業対象Ｗ２にボルトを取り付け、３箇所目の作業では作業対象Ｗ３にボルトを取り付けるケースを想定する。ここで、図６に示すように、１箇所目、２箇所目、３箇所目のセット作業対象の特定処理を行う場合に、いずれの場合でも基準画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８の順番で比較画像に選択して撮像画像と比較すると、１箇所目の作業対象Ｗ１については１回目の比較処理で作業対象が特定される。一方、２箇所目の作業対象Ｗ２については２回目の比較処理で作業対象が特定され、３箇所目の作業対象Ｗ３については３回目の比較処理で作業対象が特定されることになる。このように、比較画像に選択する順番が固定であると、作業対象が特定されるまでに行う比較処理の回数が増え、作業対象を特定するまでの時間が長くなる可能性がある。 Here, if the order in which each of the eight reference images P1 to P8 is selected as the comparison image in the identification process is fixed, it may take a long time to identify the set work target. For example, it is assumed that a bolt is attached to the work object W1 in the work at the first place, a bolt is attached to the work object W2 in the work at the second place, and a bolt is attached to the work object W3 in the work at the third place. Here, as shown in FIG. 6, when performing the process of specifying the first, second, and third set work targets, in any case, reference images P1, P2, P3, P4, P5, and P6 are used. , P7, and P8 are selected as comparison images and compared with the captured image, the work target W1 at the first location is specified in the first comparison process. On the other hand, the work target W2 at the second location is identified by the second comparison processing, and the work target W3 at the third location is identified by the third comparison processing. If the order of selection for comparison images is fixed in this way, the number of times of comparison processing to be performed until the work target is specified increases, and there is a possibility that the time until the work target is specified becomes longer.

それに対して、本実施形態では、処理部３４は、複数の基準画像Ｐ１～Ｐ８が比較画像に選択される順番を作業履歴に応じて変化させている。上述のように、処理部３４は、過去の作業履歴に基づいて基準画像Ｐ１～Ｐ８の各々に重み係数を設定しており、この重み係数に基づいて比較画像を選択している。図８は、基準画像Ｐ１～Ｐ８の各々に設定された重み係数の一例を示している。図８において基準画像Ｐ１～Ｐ８に向かう矢印に隣接して記載した括弧内の数字が重み係数を示している。ワークに対する１箇所目の作業では作業対象Ｗ１に作業を行う確率が最も高いため、基準画像Ｐ１の重み係数が最も高い値に設定されている。また、１箇所目に作業対象Ｗ１に作業が行われた場合、ワークに対する２箇所目の作業では作業対象Ｗ２に作業を行う確率が最も高いため、基準画像Ｐ２の重み係数が最も高い値に設定されている。１箇所目に作業対象Ｗ１に作業が行われ、２箇所目に作業対象Ｗ２に作業が行われた場合、ワークに対する３箇所目の作業では作業対象Ｗ３に作業を行う確率が最も高いため、基準画像Ｐ３の重み係数が最も高い値に設定されている。 On the other hand, in the present embodiment, the processing unit 34 changes the order in which the plurality of reference images P1 to P8 are selected as comparison images according to the work history. As described above, the processing unit 34 sets a weighting factor for each of the reference images P1 to P8 based on the past work history, and selects the comparison image based on this weighting factor. FIG. 8 shows an example of weighting factors set for each of the reference images P1 to P8. In FIG. 8, the numbers in parentheses written adjacent to the arrows directed to the reference images P1 to P8 indicate the weighting factors. Since the probability of performing work on the work target W1 is the highest in the work on the work at the first location, the weighting factor of the reference image P1 is set to the highest value. In addition, when work is performed on the work target W1 at the first location, the weighting coefficient of the reference image P2 is set to the highest value because the probability of performing work on the work target W2 is the highest in the work at the second location on the work. It is When work is performed on the work target W1 at the first location and work is performed on the work target W2 at the second location, the probability that the work at the work target W3 is performed at the third location is the highest. The weighting factor of image P3 is set to the highest value.

このように基準画像Ｐ１～Ｐ８に重み係数が設定されている状態で、１箇所目の作業では、処理部３４は、図７に示すように基準画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８の順番で比較画像に選択して比較処理を実行する。したがって、１箇所目の作業において工具２が作業対象Ｗ１に設定された場合、比較処理を１回行うだけでセット作業対象が作業対象Ｗ１であると特定できる。 In the state where the weight coefficients are set for the reference images P1 to P8 in this way, in the first operation, the processing unit 34 calculates the reference images P1, P2, P3, P4, P5, and P6 as shown in FIG. , P7 and P8 are selected as comparison images in the order of P7 and P8, and comparison processing is executed. Therefore, when the tool 2 is set as the work target W1 in the work at the first location, it is possible to specify that the set work target is the work target W1 by performing the comparison process only once.

２箇所目の作業では、処理部３４は、図７に示すように基準画像Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８の順番で比較画像に選択して比較処理を実行する。したがって、２箇所目の作業において工具２が作業対象Ｗ２に設定された場合、比較処理を１回行うだけでセット作業対象が作業対象Ｗ２であると特定できる。 In the second operation, the processing unit 34 selects reference images P2, P3, P4, P5, P6, P7, and P8 in the order of reference images P2, P3, P4, P7, and P8 as comparison images and executes comparison processing. Therefore, when the tool 2 is set as the work object W2 in the work at the second place, it is possible to specify that the set work object is the work object W2 by performing the comparison process only once.

３箇所目の作業では、処理部３４は、図７に示すように基準画像Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８の順番で比較画像に選択して比較処理を実行する。したがって、３箇所目の作業において工具２が作業対象Ｗ３に設定された場合、比較処理を１回行うだけでセット作業対象が作業対象Ｗ３であると特定できる。 In the third operation, the processing unit 34 selects reference images P3, P4, P5, P6, P7, and P8 in the order of reference images P3, P4, P5, P6, P7, and P8 as comparison images, and executes comparison processing. Therefore, when the tool 2 is set as the work object W3 in the work at the third place, it is possible to specify that the set work object is the work object W3 by performing the comparison process only once.

以上のように、過去の作業履歴に応じて基準画像Ｐ１～Ｐ８を比較画像に選択する順番が変更されるので、セット作業対象が作業対象Ｗ１～Ｗ８のいずれであるのかを特定するまでの時間を短くできるという利点がある。 As described above, the order in which the reference images P1 to P8 are selected as comparison images is changed according to the past work history. has the advantage of being able to shorten

（４）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。 (4) Modifications The above-described embodiment is merely one of various embodiments of the present disclosure. The above-described embodiment can be modified in various ways according to design and the like, as long as the object of the present disclosure can be achieved. Each drawing described in this disclosure is a schematic drawing, and the ratio of the size and thickness of each component in each drawing does not necessarily reflect the actual dimensional ratio.

また、上記実施形態に係る工具システム１と同等の機能は、作業対象特定方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る作業対象特定方法は、取得ステップ（Ｓ２）と、特定ステップ（Ｓ３～Ｓ５）と、を含む。取得ステップでは、可搬型の工具２に搭載された撮像部５から撮像画像を取得する。工具２は、動力源からの動力により動作する駆動部２４を有する。特定ステップでは、複数の作業対象Ｗ１～Ｗ８にそれぞれ対応する複数の基準画像Ｐ１～Ｐ８の中から選択される一の比較画像と撮像画像とを比較することによって、撮像画像に映る作業対象を特定する。複数の基準画像Ｐ１～Ｐ８の各々が比較画像に選択される順番が、工具２を用いて行った作業の作業履歴に応じて変化する。一態様に係るプログラムは、１以上のプロセッサに、上記の作業対象特定方法を実行させるためのプログラムである。 Also, functions equivalent to those of the tool system 1 according to the above embodiment may be embodied by a work target identification method, a (computer) program, or a non-temporary recording medium recording the program. A work target identification method according to one aspect includes an acquisition step (S2) and identification steps (S3 to S5). In the acquisition step, a captured image is acquired from the imaging unit 5 mounted on the portable tool 2 . The tool 2 has a drive section 24 that operates with power from a power source. In the identification step, by comparing the captured image with one comparison image selected from among a plurality of reference images P1 to P8 corresponding to the plurality of work targets W1 to W8, the work targets shown in the captured images are identified. do. The order in which each of the plurality of reference images P1 to P8 is selected as the comparison image changes according to the work history of the work performed using the tool 2. FIG. A program according to one aspect is a program for causing one or more processors to execute the work target identification method described above.

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。 Modifications of the above embodiment are listed below. Modifications described below can be applied in combination as appropriate.

処理部３４が特定処理を行う際、工具２に設けられたモーションセンサ（例えば３軸加速度センサ又は３軸ジャイロセンサ等）によって検知される工具２の姿勢情報に基づいて、撮像画像に回転補正や歪み補正を行うようにしてもよい。本開示の「歪み補正」とは、撮像画像を部分的に任意の量だけ伸縮させることにより、撮像画像を補正することである。例えば、処理部３４は、長方形の被写体が台形のように映った撮像画像について歪み補正を施すことにより、被写体が長方形に映った撮像画像を得ることができる。 When the processing unit 34 performs the specific processing, based on the posture information of the tool 2 detected by a motion sensor (for example, a 3-axis acceleration sensor or a 3-axis gyro sensor) provided in the tool 2, the captured image is subjected to rotation correction, Distortion correction may be performed. “Distortion correction” in the present disclosure means correcting a captured image by partially expanding or contracting the captured image by an arbitrary amount. For example, the processing unit 34 can obtain a captured image in which a rectangular subject is captured by performing distortion correction on a captured image in which a rectangular subject is captured in a trapezoidal shape.

本開示における工具システム１は、制御部３ａ，３ｂにコンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１又は複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なる。ＩＣ又はＬＳＩ等の集積回路は、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスも、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１又は複数の電子回路で構成される。 The tool system 1 in the present disclosure includes computer systems in the control units 3a, 3b. A computer system is mainly composed of a processor and a memory as hardware. The functions of the tool system 1 in the present disclosure are realized by the processor executing a program recorded in the memory of the computer system. The program may be recorded in advance in the memory of the computer system, may be provided through an electric communication line, or may be recorded in a non-temporary recording medium such as a computer system-readable memory card, optical disk, or hard disk drive. may be provided. A processor in a computer system is made up of one or more electronic circuits, including semiconductor integrated circuits (ICs) or large scale integrated circuits (LSIs). Integrated circuits such as ICs or LSIs are called differently depending on the degree of integration. Integrated circuits such as ICs or LSIs include integrated circuits called system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration). Furthermore, an FPGA (Field-Programmable Gate Array), which is programmed after the LSI is manufactured, or a logic device capable of reconfiguring the bonding relationship inside the LSI or reconfiguring the circuit partitions inside the LSI, can also be adopted as the processor. can. A plurality of electronic circuits may be integrated into one chip, or may be distributed over a plurality of chips. A plurality of chips may be integrated in one device, or may be distributed in a plurality of devices. A computer system, as used herein, includes a microcontroller having one or more processors and one or more memories. Accordingly, the microcontroller also consists of one or more electronic circuits including semiconductor integrated circuits or large scale integrated circuits.

本実施形態では、工具システム１及び作業対象特定システム１０の機能が１つの筐体（ボディ２０）内に集約されているが、工具システム１及び作業対象特定システム１０の機能が、複数の筐体に分散して設けられていてもよい。 In this embodiment, the functions of the tool system 1 and the work object identification system 10 are integrated in one housing (body 20), but the functions of the tool system 1 and the work object identification system 10 are integrated into a plurality of housings. may be provided dispersedly.

例えば、制御部３ａ，３ｂの一部の機能が、工具２のボディ２０とは別の筐体に設けられていてもよい。また、制御部３ａ，３ｂ等の少なくとも一部の機能は、例えば、サーバ又はクラウド（クラウドコンピューティング）等によって実現されてもよい。 For example, some functions of the control units 3 a and 3 b may be provided in a housing separate from the body 20 of the tool 2 . At least part of the functions of the control units 3a, 3b and the like may be implemented by, for example, a server or a cloud (cloud computing).

上記実施形態では、工具２の画像記憶部４１が複数の作業対象Ｗ１～Ｗ８に対応する複数の基準画像Ｐ１～Ｐ８を記憶しているが、複数の作業対象Ｗ１～Ｗ８に対応する複数の基準画像Ｐ１～Ｐ８を工具２が記憶することは必須ではない。工具２と通信可能な外部システム（例えばサーバ装置）が、複数の作業対象Ｗ１～Ｗ８に対応する複数の基準画像Ｐ１～Ｐ８を記憶する画像記憶部を備えていてもよい。この場合、工具２の処理部３４は、外部システムの画像記憶部にアクセスして、撮像部５の撮像画像と、画像記憶部に記憶された基準画像から選択した比較画像とを比較する比較処理を行うことで、セット作業対象を特定する処理を行えばよい。 In the above embodiment, the image storage unit 41 of the tool 2 stores a plurality of reference images P1 to P8 corresponding to the plurality of work objects W1 to W8. It is not essential for the tool 2 to store the images P1-P8. An external system (for example, a server device) that can communicate with the tool 2 may have an image storage section that stores a plurality of reference images P1 to P8 corresponding to a plurality of work objects W1 to W8. In this case, the processing unit 34 of the tool 2 accesses the image storage unit of the external system, and compares the captured image of the imaging unit 5 with a comparison image selected from the reference images stored in the image storage unit. , the processing for specifying the set work target may be performed.

また、工具２が処理部３４を備えることも必須ではなく、工具２と通信可能な外部システム（例えばサーバ装置）が処理部３４の機能を有していてもよい。工具２が撮像部５で撮像された撮像画像を外部システムに出力すると、外部システムの処理部が、撮像画像と比較画像とを比較する比較処理を行い、セット作業対象の特定結果を工具２に出力してもよい。 Moreover, it is not essential that the tool 2 includes the processing unit 34 , and an external system (for example, a server device) that can communicate with the tool 2 may have the function of the processing unit 34 . When the tool 2 outputs the captured image captured by the imaging unit 5 to the external system, the processing unit of the external system performs comparison processing to compare the captured image and the comparison image, and the result of specifying the setting work target is sent to the tool 2. may be output.

また、撮像部５は、ボディ２０の胴体部２１に限らず、例えば、ボディ２０の装着部２３、又は電池パック２０１等に設けられていてもよい。同様に、制御部３ａ，３ｂ及び記憶部４等の配置についても、適宜変更可能である。また、工具２が撮像部５を備えていてもよい。 Further, the imaging unit 5 is not limited to the trunk portion 21 of the body 20, and may be provided, for example, in the mounting portion 23 of the body 20, the battery pack 201, or the like. Similarly, the arrangement of the control units 3a and 3b, the storage unit 4, and the like can be changed as appropriate. Moreover, the tool 2 may be provided with the imaging unit 5 .

また、図９に示すように、作業対象特定システム１０が、工具２に対して外付けされていてもよい。この場合、工具２の制御部３ａと、作業対象特定システム１０の制御部３ｂとは、直接電気的に接続されていてもよいし、通信部を介して通信を行うようにしてもよい。この場合、通信部は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した、無線通信方式を採用するようにしてもよい。また、作業対象特定システム１０が電池パック２０１とは異なる動力源を含むようにし、電池パック２０１とは異なる動力源を撮像部５や制御部３ｂ等の動力源としてもよい。このような作業対象特定システム１０は、作業対象に工具２がセットされている状態を検知した後に、撮像画像に基づいて作業対象を特定することが可能である。 Moreover, as shown in FIG. 9, the work object identification system 10 may be externally attached to the tool 2. FIG. In this case, the control unit 3a of the tool 2 and the control unit 3b of the work target identification system 10 may be directly electrically connected, or may communicate via a communication unit. In this case, the communication unit is, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), or a low-power radio (specified low-power radio) that does not require a license. A wireless communication method may be adopted. Alternatively, the work target identification system 10 may include a power source different from the battery pack 201, and the power source different from the battery pack 201 may be used as the power source for the imaging unit 5, the control unit 3b, and the like. Such a work target identification system 10 can identify a work target based on a captured image after detecting that the tool 2 is set on the work target.

作業対象特定システム１０は、少なくとも、処理部３４を備えていればよい。なお、上記実施形態では、作業対象特定システム１０は、処理部３４を備える１つのシステムで実現されているが、２つ以上のシステムで実現されていてもよい。例えば、処理部３４の機能が、２つ以上のシステムに分散して設けられていてもよい。また、処理部３４の少なくとも１つの機能が、２つ以上のシステムに分散して設けられていてもよい。例えば、処理部３４の機能が２つ以上の装置に分散されて設けられていてもよい。また、作業対象特定システム１０の少なくとも一部の機能が、例えばクラウドコンピューティングにより実現されていてもよい。 The work target identification system 10 only needs to include at least the processing unit 34 . In the above-described embodiment, the work target identification system 10 is realized by one system including the processing unit 34, but may be realized by two or more systems. For example, the functions of the processing unit 34 may be distributed in two or more systems. Also, at least one function of the processing unit 34 may be distributed in two or more systems. For example, the functions of the processing unit 34 may be distributed to two or more devices. Also, at least part of the functions of the work target identification system 10 may be implemented by, for example, cloud computing.

工具システム１の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。 The application of the tool system 1 is not limited to an assembly line for assembling workpieces in a factory, but may be other applications.

また、上記実施形態では、工具２がインパクトレンチである場合を説明したが、工具２はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具２は、例えば、ねじ（締付部品）の締付作業に用いられるドライバ（インパクトドライバを含む）であってもよい。この場合、ソケット２４２の代わりに、ビット（例えばドライバビット等）が工具２に取り付けられる。さらに、工具２は、電池パック２０１を動力源とする構成に限らず、交流電源（商用電源）を動力源とする構成であってもよい。また、工具２は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気（動力）で動作するエアモータ（駆動部）を有するエア工具であってもよい。 Further, in the above embodiment, the case where the tool 2 is an impact wrench has been described, but the tool 2 is not limited to an impact wrench, and may be a nut runner, an oil pulse wrench, or the like. Furthermore, the tool 2 may be, for example, a driver (including an impact driver) used for tightening screws (tightening parts). In this case, instead of the socket 242, a bit (for example a driver bit or the like) is attached to the tool 2. Further, the tool 2 is not limited to a configuration using the battery pack 201 as a power source, and may be configured using an AC power source (commercial power source) as a power source. Moreover, the tool 2 is not limited to an electric tool, and may be an air tool having an air motor (driving unit) that operates with compressed air (power) supplied from an air compressor as a power source.

また、上記実施形態では、１つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。 Further, in the above-described embodiment, a case where each of a plurality of tightening target locations in one work is a work target was described as an example. etc.

また、工具２は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部３１は、トルクセンサが測定した締付トルクがトルク設定値となるように、駆動部２４を制御する。さらに、トルク判定部３７は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定してもよい。トルク判定部３７は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。トルク判定部３７は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分（正常でない）と判定する。 Moreover, the tool 2 may be provided with a torque sensor for measuring tightening torque. In this case, the drive control section 31 controls the drive section 24 so that the tightening torque measured by the torque sensor becomes the torque set value. Furthermore, the torque determination unit 37 may determine whether or not the tightening torque is normal by comparing the measurement result of the torque sensor and the target torque value. The torque determination unit 37 determines that the tightening torque is normal when the measurement result of the torque sensor is within a predetermined range based on the target torque value. The torque determination unit 37 determines that the tightening torque is insufficient (not normal) when the measurement result of the torque sensor is outside a predetermined range based on the target torque value.

また、通知部２１１は、ＬＥＤ等の発光部に限らず、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部２１１は、表示以外の手段で通知（提示）を行ってもよく、例えば、音（音声を含む）を発生させるスピーカ又はブザー等で構成されていてもよい。また、通知部２１１は、振動を発生するバイブレータ、又は工具２の外部端末（携帯端末等）に通知信号を送信する送信機等で実現されてもよい。さらには、通知部２１１は、表示、音、振動又は通信等の機能のうちの２つ以上の機能を併せ持っていてもよい。 Further, the notification unit 211 is not limited to a light emitting unit such as an LED, and may be realized by an image display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. Furthermore, the notification unit 211 may perform notification (presentation) by means other than display, and may be configured by a speaker, buzzer, or the like that generates sound (including voice), for example. Also, the notification unit 211 may be realized by a vibrator that generates vibration, or a transmitter that transmits a notification signal to an external terminal (such as a mobile terminal) of the tool 2 . Furthermore, the notification unit 211 may have two or more functions among functions such as display, sound, vibration, or communication.

上記実施形態において、処理部３４は、機械学習で作成された学習済みモデルを用いて、複数の撮像画像の中から撮像画像の比較処理に使用する比較画像を選択してもよい。すなわち、処理部３４は、前回までに行った作業の履歴情報を学習済みモデルに入力することによって、次に作業が行われると推測される作業対象に対応する基準画像が比較画像として選択される。そして、処理部３４は、学習済みモデルを用いて選択された比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映るセット作業対象を特定する。つまり、処理部３４は、履歴情報に基づいて学習済みモデルが選択した比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。このように、処理部３４は、前回までに行った作業の履歴情報を学習済みモデルに入力することによって、次に作業が行われると推測される作業対象に対応する基準画像を比較画像として選択するので、セット作業対象を特定するまでに行う比較処理の回数を少なくできる。したがって、セット作業対象を特定するのにかかる時間を短縮できる。ここにおいて、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング（深層学習）のアルゴリズムを用いてもよい。 In the above embodiment, the processing unit 34 may select a comparison image to be used for comparison processing of captured images from among a plurality of captured images using a trained model created by machine learning. That is, the processing unit 34 inputs the history information of the work performed up to the previous time into the learned model, so that the reference image corresponding to the work target on which the work is assumed to be performed next is selected as the comparison image. . Then, the processing unit 34 identifies the setting work target shown in the captured image by performing a comparison process of comparing the captured image with the comparison image selected using the trained model. In other words, the processing unit 34 performs a comparison process of comparing the captured image with the comparison image selected by the trained model based on the history information, thereby performing the identification process of identifying the work target shown in the captured image. In this way, the processing unit 34 selects, as a comparison image, the reference image corresponding to the work target on which work is assumed to be performed next by inputting the history information of the work performed up to the previous time into the learned model. Therefore, it is possible to reduce the number of times of comparison processing to be performed until the setting work target is specified. Therefore, it is possible to shorten the time required to specify the set work target. Here, as the machine learning method, an appropriate algorithm may be used, for example, a deep learning algorithm may be used.

上記実施形態において、工具２を用いて１以上の作業対象に行う作業工程が複数ある場合、処理部３４は、複数の基準画像の各々が比較画像に選択される順番を、作業工程ごとの作業履歴に応じて変化させてもよい。この場合、履歴記憶部４４には、複数ある作業工程の各々で、複数の作業対象に対して行った作業の作業履歴に関する履歴情報が記憶される。処理部３４は、例えばユーザが操作パネル２３１を用いて入力した作業工程の情報、又は、外部システムから入力された作業工程の情報に基づいて、現在行っている作業工程を特定し、当該作業工程の履歴情報を履歴記憶部４４から抽出する。そして、処理部３４は、当該作業工程での作業の履歴情報に基づいて、当該作業工程で作業を行う複数の作業対象に対応する複数の基準画像に対して履歴情報に基づく重み係数を設定する。そして、処理部３４は、セット検知部３３からセット検知情報が入力されると、比較処理に使用していない１以上の基準画像の中から重み係数が最も高い基準画像を比較画像として選択して撮像画像との比較処理を行うことで、セット作業対象を特定する処理を行う。このように、処理部３４は、画像記憶部４１に記憶された複数の基準画像から、現在の作業工程に対応した複数の基準画像を抽出し、抽出された複数の基準画像の中から選択した比較画像と撮像画像とを比較しているので、セット作業対象を特定するのに要する時間を短縮できる。 In the above embodiment, when there are a plurality of work processes to be performed on one or more work objects using the tool 2, the processing unit 34 determines the order in which each of the plurality of reference images is selected as the comparison image for each work process. You may change according to a history. In this case, the history storage unit 44 stores history information relating to work histories of work performed on a plurality of work targets in each of a plurality of work processes. The processing unit 34 identifies the current work process based on, for example, work process information input by the user using the operation panel 231 or work process information input from an external system. history information is extracted from the history storage unit 44 . Then, based on the history information of the work in the work process, the processing unit 34 sets weighting coefficients based on the history information for the plurality of reference images corresponding to the work targets to be worked in the work process. . Then, when the set detection information is input from the set detection unit 33, the processing unit 34 selects the reference image having the highest weighting factor from among the one or more reference images not used in the comparison process as the comparison image. By performing a comparison process with the captured image, a process of specifying a set work target is performed. In this manner, the processing unit 34 extracts a plurality of reference images corresponding to the current work process from the plurality of reference images stored in the image storage unit 41, and selects from among the plurality of extracted reference images. Since the comparison image and the captured image are compared, the time required to specify the setting work target can be shortened.

（まとめ）
以上説明したように、第１の態様の工具システム（１）は、可搬型の工具（２）と、撮像部（５）と、処理部（３４）と、を備える。工具（２）は、動力源からの動力により動作する駆動部（２４）を有する。撮像部（５）は、工具（２）に搭載されており、撮像画像を生成する。処理部（３４）は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。複数の基準画像の各々が比較画像に選択される順番が、工具（２）を用いて行った作業の作業履歴に応じて変化する。 (summary)
As described above, the tool system (1) of the first aspect includes a portable tool (2), an imaging section (5), and a processing section (34). The tool (2) has a drive (24) operated by power from a power source. An imaging unit (5) is mounted on the tool (2) and generates a captured image. A processing unit (34) performs comparison processing for comparing the captured image with one comparison image selected from among a plurality of reference images corresponding to the plurality of work targets, thereby determining the work target shown in the captured image. Perform specific processing to specify. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool (2).

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第２の態様の工具システム（１）では、第１の態様において、処理部（３４）は、複数の基準画像の各々に、工具（２）を用いて行った作業の履歴に基づく重み係数を設定する。処理部（３４）は、複数の基準画像の中から重み係数に応じた順番で比較画像を選択する。 In the second aspect of the tool system (1), in the first aspect, the processing unit (34) assigns a weighting factor based on the history of work performed using the tool (2) to each of the plurality of reference images. set. A processing unit (34) selects comparison images from among the plurality of reference images in the order according to the weighting factor.

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第３の態様の工具システム（１）では、第１又は２の態様において、工具（２）は複数のユーザによって使用される。順番は、ユーザごとの作業履歴に応じて変化する。 In the tool system (1) of the third aspect, in the first or second aspects the tool (2) is used by multiple users. The order changes according to the work history of each user.

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第４の態様の工具システム（１）では、第１～３のいずれかの態様において、工具（２）を用いて１以上の作業対象に行う作業工程が複数ある。順番は、作業工程ごとの作業履歴に応じて変化する。 In the tool system (1) of the fourth aspect, in any one of the first to third aspects, there are a plurality of work steps performed on one or more work objects using the tool (2). The order changes according to the work history for each work process.

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第５の態様の工具システム（１）では、第１～４のいずれかの態様において、処理部（３４）は、履歴情報に基づいて学習済みモデルが選択した比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。 In the tool system (1) of the fifth aspect, in any one of the first to fourth aspects, the processing unit (34) compares the comparison image selected by the learned model based on the history information with the captured image. By performing comparison processing, identification processing for identifying the work target appearing in the captured image is performed.

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第６の態様の工具システム（１）では、第１～５のいずれかの態様において、処理部（３４）が特定した作業対象に基づいて、工具（２）を用いる作業の作業内容を設定する。 In the tool system (1) of the sixth aspect, in any one of the first to fifth aspects, the work content of the work using the tool (2) is set based on the work target identified by the processing unit (34) .

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第７の態様の工具（２）は、第１～６のいずれかの態様の工具システム（１）に用いられる。工具（２）は、駆動部（２４）と、撮像部（５）と、を備える。 The tool (2) of the seventh aspect is used in the tool system (1) of any one of the first to sixth aspects. The tool (2) comprises a driving section (24) and an imaging section (5).

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第８の態様の作業対象特定システム（１０）は、処理部（３４）を備える。処理部（３４）は、撮像部（５）によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。撮像部（５）は、可搬型の工具（２）に搭載されている。工具（２）は、動力源からの動力により動作する駆動部（２４）を有する。複数の基準画像の各々が比較画像に選択される順番が、工具（２）を用いて行った作業の作業履歴に応じて変化する。 The work target identification system (10) of the eighth aspect comprises a processing unit (34). A processing unit (34) performs comparison processing for comparing the captured image generated by the imaging unit (5) with one comparison image selected from among a plurality of reference images corresponding to a plurality of work targets. By doing so, identification processing is performed to identify the work target appearing in the captured image. An imaging unit (5) is mounted on a portable tool (2). The tool (2) has a drive (24) operated by power from a power source. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool (2).

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第９の態様の作業対象特定方法は、取得ステップと、特定ステップと、を含む。取得ステップでは、撮像部（５）から撮像画像を取得する。撮像部（５）は、動力源からの動力により動作する駆動部（２４）を有する可搬型の工具（２）に搭載される。特定ステップでは、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較することによって、撮像画像に映る作業対象を特定する。複数の基準画像の各々が比較画像に選択される順番が、工具（２）を用いて行った作業の作業履歴に応じて変化する。 A work target identification method of a ninth aspect includes an acquisition step and an identification step. In the obtaining step, the captured image is obtained from the imaging section (5). The imaging unit (5) is mounted on a portable tool (2) having a driving unit (24) operated by power from a power source. In the identifying step, the work target shown in the captured image is identified by comparing the captured image with one comparison image selected from among a plurality of reference images corresponding to each of the plurality of work targets. The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool (2).

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

第１０の態様のプログラムは、１以上のプロセッサに、第９の態様の作業対象特定方法を実行させるためのプログラムである。 A program according to a tenth aspect is a program for causing one or more processors to execute the work target identification method according to the ninth aspect.

この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。 According to this aspect, it is possible to shorten the time required to specify the work target appearing in the captured image.

上記態様に限らず、実施形態に係る工具システム（１）及び作業対象特定システム（１０）の種々の構成（変形例を含む）は、作業対象特定方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。 Various configurations (including modifications) of the tool system (1) and the work object identification system (10) according to the embodiments are not limited to the above aspects, and may be a work object identification method, a (computer) program, or a program recorded. It can be embodied in a non-temporary recording medium or the like.

第２～第６の態様に係る構成については、工具システム（１）に必須の構成ではなく、適宜省略可能である。 The configurations according to the second to sixth aspects are not essential configurations for the tool system (1), and can be omitted as appropriate.

１ 工具システム
２ 工具
５ 撮像部
１０ 作業対象特定システム
２４ 駆動部
３４ 処理部 REFERENCE SIGNS LIST 1 tool system 2 tool 5 imaging unit 10 work target identification system 24 driving unit 34 processing unit

Claims (10)

動力源からの動力により動作する駆動部を有する可搬型の工具と、
前記工具に搭載されており、撮像画像を生成する撮像部と、
複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う処理部と、を備え、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
工具システム。 a portable tool having a drive unit operated by power from a power source;
an imaging unit that is mounted on the tool and generates a captured image;
identification processing for identifying a work target appearing in the captured image by performing comparison processing for comparing the captured image with one comparative image selected from a plurality of reference images respectively corresponding to the plurality of work targets; a processing unit that performs
The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.
tool system. 前記処理部は、前記複数の基準画像の各々に、前記工具を用いて行った前記作業の履歴に基づく重み係数を設定し、
前記処理部は、前記複数の基準画像の中から前記重み係数に応じた順番で前記比較画像を選択する、
請求項１に記載の工具システム。 The processing unit sets a weighting factor based on a history of the work performed using the tool to each of the plurality of reference images,
The processing unit selects the comparison image from among the plurality of reference images in an order according to the weighting factor.
The tool system of claim 1. 前記工具は複数のユーザによって使用され、
前記順番は、前記ユーザごとの前記作業履歴に応じて変化する、
請求項１又は２に記載の工具システム。 the tool is used by a plurality of users,
The order changes according to the work history for each user,
Tool system according to claim 1 or 2. 前記工具を用いて１以上の作業対象に行う作業工程が複数あり、
前記順番は、前記作業工程ごとの前記作業履歴に応じて変化する、
請求項１～３のいずれか１項に記載の工具システム。 There are a plurality of work processes to be performed on one or more work objects using the tool,
The order changes according to the work history for each work process,
Tool system according to any one of claims 1-3. 前記処理部は、履歴情報に基づいて学習済みモデルが選択した前記比較画像と前記撮像画像とを比較する前記比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う、
請求項１～４のいずれか１項に記載の工具システム。 The processing unit performs the comparison process of comparing the comparison image selected by the trained model based on the history information with the captured image, thereby performing the identification process of identifying the work target shown in the captured image.
Tool system according to any one of claims 1-4. 前記処理部が特定した前記作業対象に基づいて、前記工具を用いる前記作業の作業内容を設定する、
請求項１～５のいずれか１項に記載の工具システム。 setting the work content of the work using the tool based on the work target identified by the processing unit;
Tool system according to any one of claims 1-5. 請求項１～６のいずれか１項に記載の工具システムに用いられ、
前記駆動部と、
前記撮像部と、
を備える、
工具。 Used in the tool system according to any one of claims 1 to 6,
the drive unit;
the imaging unit;
comprising
tool. 動力源からの動力により動作する駆動部を有する可搬型の工具に搭載されている撮像部によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う処理部を備え、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
作業対象特定システム。 One selected from a captured image generated by an imaging unit mounted on a portable tool having a driving unit operated by power from a power source and a plurality of reference images respectively corresponding to a plurality of work targets. A processing unit that performs identification processing for identifying a work target appearing in the captured image by performing comparison processing for comparing with the comparison image of
The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.
Work target identification system. 動力源からの動力により動作する駆動部を有する可搬型の工具に搭載された撮像部から撮像画像を取得する取得ステップと、
複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較することによって、前記撮像画像に映る作業対象を特定する特定ステップと、を含み、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
作業対象特定方法。 an acquisition step of acquiring a captured image from an imaging unit mounted on a portable tool having a driving unit operated by power from a power source;
an identifying step of identifying a work target appearing in the captured image by comparing the captured image with one comparison image selected from among a plurality of reference images respectively corresponding to a plurality of work targets,
The order in which each of the plurality of reference images is selected as the comparison image changes according to the work history of the work performed using the tool.
How to identify what to work on. １以上のプロセッサに、請求項９に記載の作業対象特定方法を実行させるためのプログラム。 A program for causing one or more processors to execute the work target identification method according to claim 9.
JP2020120837A 2020-07-14 2020-07-14 Tool system, tool, work object identification system, work object identification method and program Active JP7336669B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020120837A JP7336669B2 (en) 2020-07-14 2020-07-14 Tool system, tool, work object identification system, work object identification method and program
PCT/JP2021/022466 WO2022014228A1 (en) 2020-07-14 2021-06-14 Tool system, tool, work target identification system, work target identification method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020120837A JP7336669B2 (en) 2020-07-14 2020-07-14 Tool system, tool, work object identification system, work object identification method and program

Publications (2)

Publication Number Publication Date
JP2022017963A JP2022017963A (en) 2022-01-26
JP7336669B2 true JP7336669B2 (en) 2023-09-01

Family

ID=79555449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020120837A Active JP7336669B2 (en) 2020-07-14 2020-07-14 Tool system, tool, work object identification system, work object identification method and program

Country Status (2)

Country Link
JP (1) JP7336669B2 (en)
WO (1) WO2022014228A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024025113A (en) * 2022-08-10 2024-02-26 パナソニックＩｐマネジメント株式会社 Tool system, work object specification method and program
JP2024058943A (en) * 2022-10-17 2024-04-30 パナソニック株式会社 Electric tool power supply system, electric tool system, and electric tool power supply device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101445A (en) 2011-11-08 2013-05-23 Kobe Steel Ltd Production schedule preparation device and production schedule preparation method
JP2019144965A (en) 2018-02-22 2019-08-29 パナソニックＩｐマネジメント株式会社 Tool control method, program, tool control system, and tool

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038716A (en) * 2014-08-07 2016-03-22 株式会社ナ・デックス Work supervisory device, work supervisory system and program
JP7008204B2 (en) * 2017-08-31 2022-01-25 パナソニックＩｐマネジメント株式会社 Tool system, image processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101445A (en) 2011-11-08 2013-05-23 Kobe Steel Ltd Production schedule preparation device and production schedule preparation method
JP2019144965A (en) 2018-02-22 2019-08-29 パナソニックＩｐマネジメント株式会社 Tool control method, program, tool control system, and tool

Also Published As

Publication number Publication date
JP2022017963A (en) 2022-01-26
WO2022014228A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7142247B2 (en) Tool system, tool, work object identification system, work object identification method and program
JP7162277B2 (en) tool system
JP7008204B2 (en) Tool system, image processing method, and program
JP7336669B2 (en) Tool system, tool, work object identification system, work object identification method and program
WO2021090651A1 (en) Tool system, tool control method, and program
US11917319B2 (en) Tool system, tool management method, and program
JP2019144965A (en) Tool control method, program, tool control system, and tool
WO2021090650A1 (en) Tool system, reference pixel generation method, and program
WO2022004133A1 (en) Tool system, tool, work target identification system, work target identification method, and program
WO2021229972A1 (en) Tool system, tool, reference image generation method, and program
WO2024034302A1 (en) Tool system, work target identification method, and program
WO2021090649A1 (en) Tool system, tool management method, and program
JP2024075313A (en) Tool system, control method, and program
WO2022259687A1 (en) Tool system, assessment system, assessment method, and program
US20240116150A1 (en) Electric tool system
JP2023113486A (en) Imaging system, tool system, setting method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230728

R151 Written notification of patent or utility model registration

Ref document number: 7336669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151