JP2024025113A - 工具システム、作業対象特定方法及びプログラム - Google Patents

工具システム、作業対象特定方法及びプログラム Download PDF

Info

Publication number
JP2024025113A
JP2024025113A JP2022128299A JP2022128299A JP2024025113A JP 2024025113 A JP2024025113 A JP 2024025113A JP 2022128299 A JP2022128299 A JP 2022128299A JP 2022128299 A JP2022128299 A JP 2022128299A JP 2024025113 A JP2024025113 A JP 2024025113A
Authority
JP
Japan
Prior art keywords
work
tool
unit
processing
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022128299A
Other languages
English (en)
Inventor
知加 檜垣
和生 土橋
睦裕 山中
康介 多留
康二 植草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022128299A priority Critical patent/JP2024025113A/ja
Priority to PCT/JP2023/025174 priority patent/WO2024034302A1/ja
Publication of JP2024025113A publication Critical patent/JP2024025113A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25BTOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25FCOMBINATION OR MULTI-PURPOSE TOOLS NOT OTHERWISE PROVIDED FOR; DETAILS OR COMPONENTS OF PORTABLE POWER-DRIVEN TOOLS NOT PARTICULARLY RELATED TO THE OPERATIONS PERFORMED AND NOT OTHERWISE PROVIDED FOR
    • B25F5/00Details or components of portable power-driven tools not particularly related to the operations performed and not otherwise provided for
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]

Abstract

【課題】消費電力を低減すること。【解決手段】工具システム1では、可搬型の工具2と、撮像部5と、処理部35と、作業開始検知部300と、を備える。工具2は、動力源から供給される動力で動作する駆動部24を有する。撮像部5は、工具2に搭載されて、工具2の作業対象を撮影する。処理部35は、撮像部5が撮影した撮像画像の画像処理を行い、作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理を行う。作業開始検知部300は、特定処理により作業対象が1以上の対象物のいずれかと特定された状態で、作業対象に対する作業が開始したことを検知する。処理部35は、作業開始検知部300が作業の開始を検知すると、特定処理における撮像画像の画像処理を停止する。【選択図】図1

Description

本開示は、工具システム、作業対象特定方法及びプログラムに関する。より詳細には、本開示は、可搬型の工具を備える工具システム、作業対象特定方法及びプログラムに関する。
特許文献1は、可搬型の工具を備える工具システムを開示する。工具は、作業時に作業対象を撮像するように配置された撮像部と、特定部と、を備える。特定部は、撮像部の撮像画像に対して、複数の作業対象に対応する複数の基準画像をテンプレートデータとしたパターンマッチング処理を行い、工具がセットされた作業対象であるセット作業対象が、複数の作業対象のうちいずれの作業対象であるかを特定する。工具は、特定部が特定したセット作業対象が、基準作業手順における作業順番と一致しない場合、駆動操作されても駆動部を動作させないように構成されている。
特開2021-175593号公報
可搬型の工具は電池駆動のため、消費電力を抑制したいという要望があった。
本開示の目的は、消費電力を低減可能な工具システム、作業対象特定方法及びプログラムを提供することにある。
本開示の一態様の工具システムは、可搬型の工具と、撮像部と、処理部と、作業開始検知部と、を備える。前記工具は、動力源から供給される動力で動作する駆動部を有する。前記撮像部は、前記工具に搭載されて、前記工具の作業対象を撮影する。前記処理部は、前記撮像部が撮影した撮像画像の画像処理を行い、前記作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理を行う。前記作業開始検知部は、前記特定処理により前記作業対象が前記1以上の対象物のいずれかと特定された状態で、前記作業対象に対する作業が開始したことを検知する。前記処理部は、前記作業開始検知部が作業の開始を検知すると、前記特定処理における前記撮像画像の画像処理を停止する。
本開示の一態様の作業対象特定方法は、特定処理ステップと、作業開始検知ステップ、とを含む。前記特定処理ステップでは、可搬型の工具に搭載されている撮像部が作業対象を撮影した撮像画像の画像処理を行い、前記作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する。前記工具は、動力源からの動力により動作する駆動部を有する。前記作業開始検知ステップでは、前記特定処理ステップにより前記作業対象が前記1以上の対象物のいずれかと特定された状態で、前記作業対象に対する作業が開始したことを検知する。前記作業開始検知ステップで作業の開始を検知すると、前記特定処理ステップにおける前記撮像画像の画像処理を停止する。
本開示の一態様のプログラムは、コンピュータシステムに、前記作業対象特定方法を実行させるためのプログラムである。
本開示によれば、消費電力を低減することができる。
図1は、一実施形態に係る工具システムのブロック図である。 図2は、同上の工具システムを前から見た外観斜視図である。 図3は、同上の工具システムを後から見た外観斜視図である。 図4は、同上の工具システムの動作の一例を示すフローチャートである。 図5は、同上の工具システムの動作の一例を示すフローチャートである。 図6は、同上の工具システムの動作の一例を示すフローチャートである。 図7は、同上の工具システムの動作の一例を示すフローチャートである。
以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する。
(実施形態)
(1)概要
まず、本実施形態に係る工具システム1の概要について、図1を参照して説明する。
本実施形態に係る工具システム1は、可搬型の工具2と、撮像部5と、処理部35と、作業開始検知部300と、を備える。
工具2は、動力源から供給される動力で動作する駆動部24を有する。
撮像部5は、工具2に搭載されて、工具2の作業対象を撮影する。
処理部35は特定処理を行う。特定処理は、撮像部5が撮影した撮像画像の画像処理を行い、作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する処理である。
作業開始検知部300は、特定処理により作業対象が1以上の対象物のいずれかと特定された状態で、作業対象に対する作業が開始したことを検知する。
処理部35は、作業開始検知部300が作業の開始を検知すると、特定処理における撮像画像の画像処理を停止する。
工具システム1が備える工具2は、例えば、モータ等を含む駆動部24を有している。駆動部24は、例えば、電池パック201等の動力源からの動力(電力等)によって動作する。この種の工具2としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ(インパクトドライバを含む)、ドリル又はドリルドライバ等、様々な種類の工具がある。
ユーザにおいては、この種の工具2を用いることで、例えば、工場等で複数の部品を組み合わせて製品(完成品又は半製品)を製造する組立作業、又は、建築現場等で複数の建築資材を結合する建築作業等を行うことができる。例えば、ユーザは、工具2を用いることで、ワークに対して、締付部品(例えば、ボルト又はナット等)を取り付けたり、ワークに穴あけ等の加工を施したりすることができる。ここにおいて、本開示でいう工具2の「対象物」は、工具2を用いて作業が行われる対象となる物又は部位(箇所)等を意味する。例えば、工具2の「対象物」は、締付部品を取り付けるワーク、又は、穴あけなどの加工を施すワークを含み、締付部品を締め付ける作業においてはワークに取り付けられる締付部品を含んでもよい。工具2は、複数種類の作業に使用可能であるから、本実施形態の工具システム1には、工具2を用いる複数種類の作業の複数の対象物が予め登録されている。
また、工具2の「作業対象」は、工具2を用いた作業を実行可能な状態に準備された対象物である。例えば、工具2を用いる作業が締付部品をワークに締め付ける締付作業である場合、複数の対象物のうち、締付部品の締付作業を実行可能な状態に準備された対象物が工具2の作業対象となる。つまり、工具2に搭載された撮像部5が撮影した作業対象は、工具2に予め登録された複数の対象物のうち、工具2を用いた作業を実行可能な状態に準備された対象物であり、これから作業が行われる対象物である。なお、複数の対象物のうち、工具2がセットされている状態の対象物を「セット作業対象」ということもある。ここでいう「工具2が対象物にセットされている状態」は、工具2が対象物に対して作業が行えるように準備された状態を意味する。また、「工具2が対象物にセットされている状態」は、工具2が対象物に当たっている状態だけでなく、工具2を対象物に当てようとしている状態、すなわち工具2が対象物に対して接近している状態も含む。また、締付部品を対象物に締め付ける締付作業においては、「工具2が対象物にセットされている状態」は、工具2の先端工具に保持された締付部品が対象物に当たっている状態、又は、工具2の先端工具に保持された締付部品を対象物に当てようとしている状態を含んでもよい。つまり、工具2が対象物にセットされている状態では、工具2が対象物に当たっていてもよいし、離れていてもよい。
また、以下では、ワークの一部であって、締付部品が取り付けられる部位を「締付対象箇所」と言う場合がある。例えば、締付部品がボルトであれば、締付部品が締め付けられるねじ孔、及びねじ孔の周辺の箇所が、締付対象箇所となる。1つのワークに、このような締付対象箇所となる部位が複数存在する場合、1つのワークにおける複数の締付対象箇所の各々が締付対象箇所であり、複数の締付対象箇所の各々が、工具2を用いた作業の対象物である。
また、本開示でいう「撮像画像」は、撮像部5で撮像によって得られる画像であって、静止画(静止画像)及び動画(動画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画(フレーム)にて構成される画像を含む。撮像画像は、撮像部5から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部5で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。本実施形態では、撮像画像は、例えば、フルカラーの動画である。
また、本開示でいう「搭載」は、内蔵(分離できないように一体化されている態様を含む)及び外付け(カプラー等を用いて取外し可能に固定されている態様を含む)の両方の態様を含む。すなわち、工具2に搭載される撮像部5は、工具2に内蔵されていてもよいし、工具2に外付けされていてもよい。本実施形態の工具2は、撮像部5を内蔵している。
ところで、本実施形態に係る工具システム1は、処理部35と、作業開始検知部300と、を備えている。処理部35は、撮像部5が撮影した画像の画像処理を行うことによって、作業対象が予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理を行う。そして、特定処理により作業対象が予め登録された1以上の対象物のいずれかと一致すると特定された状態で、作業開始検知部300が作業の開始を検知すると、処理部35が、特定処理のうち画像の画像処理を停止する。
工具2が作業対象に対する作業を開始した状態では、作業対象を特定する特定処理は不要なので、画像処理を停止することによって工具システム1の消費電力を抑制することができる。
(2)詳細な構成
以下、本実施形態に係る工具システム1の詳細な構成について、図1~図3を参照して説明する。
(2.1)前提
本実施形態に係る工具システム1は、例えば、工場におけるワーク(対象物)の組立作業を行う組立ラインに用いられる。特に、本実施形態では一例として、工具システム1が備える工具2は、例えば、インパクトレンチ等の、締付部品(例えば、ボルト又はナット等)の締め付けに用いられる締付工具である。より詳細には、本実施形態では、1つのワークに対して締付対象箇所が複数あり、ユーザが、1つの作業スペースにおいて、工具2を用いて、複数の締付対象箇所の各々に締付部品を取り付けるケースを想定する。
(2.2)工具システムの構成
図1に示すように、本実施形態に係る工具システム1は、工具2と、工具2の作業対象を特定する作業対象特定システム10とを備える。
(2.2.1)工具の構成
まず、本実施形態に係る工具システム1における工具2の構成について、図1~図3を参照して説明する。工具2は、制御部3aと、駆動部24と、インパクト機構25と、通知部211と、電池パック201とを有している(図1参照)。
本実施形態に係る工具2は、電気エネルギを用いて駆動部24を動作させる電動工具である。特に、本実施形態では、工具2がインパクトレンチである場合を想定する。このような工具2では、締付部品を作業対象に取り付ける取付作業が可能である。
ここで、工具2は、電池パック201を動力源として、電池パック201から供給される電力(電気エネルギ)で駆動部24を動作させる。本実施形態では、電池パック201は工具2の構成要素に含まれることとするが、電池パック201が工具2の構成要素に含まれることは必須ではなく、工具2の構成要素に電池パック201が含まれていなくてもよい。
また、工具2は、図2及び図3に示すように、ボディ20を更に有している。ボディ20には、駆動部24及びインパクト機構25が収容されている。さらに、本実施形態の工具2では、制御部3a及び通知部211についても、ボディ20に収容されている。
工具2のボディ20は、胴体部21と、グリップ部22と、装着部23とを有している。胴体部21は、筒状(ここでは円筒状)に形成されている。グリップ部22は、胴体部21の周面の一部から、法線方向(胴体部21の径方向)に沿って突出する。装着部23は、電池パック201が取り外し可能に装着されるように設けられている。言い換えれば、胴体部21と装着部23とが、グリップ部22にて連結されている。
胴体部21には、少なくとも駆動部24が収容されている。駆動部24は、モータを有している。駆動部24は、動力源である電池パック201からモータに供給される電力を動力として動作するように構成されている。胴体部21の軸方向における一端面からは、出力軸241が突出している。出力軸241は、駆動部24の動作に伴って、出力軸241の突出方向に沿った回転軸Ax1を中心に回転する。つまり、駆動部24は、出力軸241を駆動して回転軸Ax1周りで出力軸241を回転させる。言い換えれば、駆動部24が動作することによって、出力軸241にトルクが作用して出力軸241が回転する。
出力軸241には、締付部品(例えば、ボルト又はナット等)を回転させるための円筒状のソケット242が、取り外し可能に取り付けられる。ソケット242は、出力軸241と共に出力軸241周りで回転する。出力軸241に取り付けられるソケット242のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部24が動作すると、出力軸241が回転してソケット242が出力軸241と共に回転する。このとき、ソケット242が締付部品に嵌め合わされていれば、ソケット242と共に締付部品が回転し、締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具2は、駆動部24の動作により、締付部品を締め付ける又は緩めるといった作業を実現できる。
また、出力軸241には、ソケット242の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸241に対して取り外し可能に取り付けられる。この場合、ソケットアンビルを介してビット(例えば、ドライバビット又はドリルビット等)の装着が可能となる。
工具2は、上述したようにインパクト機構25を有している。インパクト機構25は、締付トルク(作業値)が所定レベルを超えると、出力軸241に回転方向の打撃力を加える。これにより、工具2は、締付部品に対して、より大きな締付トルクを与えることが可能となる。
グリップ部22は、ユーザが作業を行う際に握る部分である。グリップ部22には、トリガスイッチ221(操作ボタン)、及び正逆切替スイッチ222が設けられている。トリガスイッチ221は、駆動部24の動作のオン/オフを制御するためのスイッチである。トリガスイッチ221には、初期位置とオン位置とがあり、ユーザによってトリガスイッチ221がオン位置まで押される又は引かれることで駆動部24が動作する。また、トリガスイッチ221は、引込量(操作量)に応じて駆動部24の動作量、すなわち出力軸241の回転数の調整が可能である。正逆切替スイッチ222は、出力軸241の回転方向を正転と逆転とで切り替えるスイッチである。
装着部23は、扁平な直方体状に形成されている。装着部23におけるグリップ部22とは反対側の一面には、電池パック201が取り外し可能に装着される。
電池パック201は、直方体状に形成された樹脂製のケース202を有している。ケース202は、蓄電池(例えば、リチウムイオン電池)を収容している。電池パック201は、駆動部24、制御部3a、通知部211及び作業対象特定システム10等に電力を供給する。
また、装着部23には、操作パネル231が設けられている。操作パネル231は、例えば、複数の押ボタンスイッチ232、及び複数のLED(Light Emitting Diode)233を有している。操作パネル231では、工具2に関する種々の設定及び状況確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル231の押ボタンスイッチ232を操作することにより、工具2の動作モードの変更、及び電池パック201の残容量の確認等を行うことができる。
さらに、装着部23には、撮影用の発光部234が設けられている。発光部234は、例えば、LEDを含んでいる。発光部234は、工具2を用いた作業時において、作業対象に向けて光を照射する。発光部234のオン/オフは、操作パネル231の操作で行うことができる。また、発光部234は、トリガスイッチ221がオンした際に、自動的に点灯してもよい。
通知部211は、例えば、LEDで構成されている。通知部211は、ユーザが作業中に通知部211を目視しやすいように、ボディ20の胴体部21における出力軸241とは反対側の端部に設けられている(図3参照)。
また、本実施形態に係る工具2は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具2を用いて作業を行う際の動作モードである。登録モードは、工具2を用いて作業対象に対応する基準画像を生成するための動作モードである。動作モードの切り替えは、例えば操作パネル231の押ボタンスイッチ232等に対する操作に基づいて行われてもよいし、操作パネル231とは別の、例えばトリガスイッチ221やディップスイッチ等に対する操作に基づいて行われてもよい。
制御部3aは、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3aとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3aとして機能させるためのプログラムである。
制御部3aは、駆動制御部31、通知制御部36及びトルク判定部37等の機能を有している。制御部3aは、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3aは、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
駆動制御部31は、駆動部24を制御する。具体的には、駆動制御部31は、トリガスイッチ221の引込量に基づいた回転速度で、かつ正逆切替スイッチ222によって設定された回転方向に、出力軸241を回転させるよう駆動部24を動作させる。駆動制御部31が駆動部24を駆動すると、制御部3aは、駆動部24を駆動したことを示す駆動信号を制御部3bに出力する。
また、駆動制御部31は、締付トルクがトルク設定値となるように駆動部24を制御する。ここで、駆動制御部31は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部31は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部24(モータ)の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部31は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構25の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部31は、インパクト機構25の打撃数が、トルク設定値に応じた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部24(モータ)を停止させる。これにより、工具2は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。なお、駆動制御部31のトルク推定機能は、例えば、トルクセンサを用いて締付トルクの推定値を求めてもよいし、駆動部24(モータ)に流れる電流値に基づいて締付トルクの推定値を求めてもよい。
通知制御部36は、通知部211を制御する。通知制御部36は、処理部35による特定処理の判定結果が不一致である場合と、処理部35の判定結果が一致である場合とで、通知部211を異なる態様で点灯させることが好ましい。例えば、通知制御部36は、処理部35の判定結果が不一致である場合、通知部211を赤色で点灯させ、処理部35の判定結果が一致した場合、通知部211を緑色で点灯させる。これにより、ユーザは、通知部211の点灯状態を目視することによって、作業対象が予め登録された複数の対象物のいずれかに一致するか否かを認識することができる。通知制御部36は、処理部35の判定結果が不一致である状態で、トリガスイッチ221を引かれた場合に、通知部211を点灯させてもよい。このように、工具システム1は、特定処理の結果を通知する通知部211を備えているので、ユーザは特定処理の結果を把握することができる。
なお、処理部35が行う特定処理において、作業対象が作業手順で決められた対象物と一致するか否かを更に判定してもよい。本開示でいう「作業手順」は、工具2を用いた作業の手順を意味する。例えば、1又は複数の作業対象に対する一連の作業を1つの作業工程とした場合、作業手順は、作業工程における1又は複数の作業対象の作業順番を示している。より詳細には、1つの作業対象に対する作業の指示を「作業指示」とした場合、作業手順は、1つの作業工程における1又は複数の作業指示を、その順番と共に示す情報である。言い換えれば、作業手順は、作業対象が、1又は複数の作業工程のうちいずれの作業工程に対応し、かつ対応する作業工程における何番目の作業であるかを示している。本実施形態では一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを作業手順で規定する。なお、1つのワークにおける複数の作業対象について、作業手順の順番通りに作業を行うことが必須では無い場合、処理部35は、作業手順から外れているか否かを判定する必要は無く、作業対象が予め登録された複数の対象物のいずれかに一致するか否かを判定すればよい。
トルク判定部37は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、トルク判定部37は、作業手順で規定される作業指示に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業手順で規定される作業指示が、作業対象に対応する目標トルク値を含んでいる。これにより、トルク判定部37は、作業指示に含まれる目標トルク値と、トルク推定機能により推定した締付トルクと、を比較することで、作業指示に従った締付トルクで作業がされているかを判定できる。
トルク判定部37は、例えば、インパクト機構25の打撃数が閾値回数に達することによって駆動制御部31が駆動部24を停止させた場合、締付トルクが正常であると判定する。また、トルク判定部37は、インパクト機構25の打撃数が閾値回数に達する前に、例えばトリガスイッチ221がオフされることによって駆動制御部31が駆動部24を停止させた場合、締付トルクが不十分(正常ではない)と判定する。また、トルク判定部37は、判定結果を、締付対象箇所と対応付けて結果記憶部43に記憶させる結果記憶処理を行う。なお、制御部3aは、トルク判定部37の判定結果に基づいて作業対象に対する作業が完了したと判断すると、作業対象特定システム10に、作業の完了を通知する作業完了信号を出力してもよい。
(2.2.2)作業対象特定システムの構成
次に、作業対象特定システム10の構成について、図1~図3を参照して説明する。作業対象特定システム10は、上述した撮像部5と、制御部3bと、記憶部4と、工具動作検知部26と、距離測定部27と、押圧検知部28とを有している。
制御部3b、記憶部4、撮像部5、工具動作検知部26、距離測定部27及び押圧検知部28は、工具2のボディ20に収容されている。本実施形態では一例として、撮像部5及び距離測定部27は、胴体部21に収容されている。押圧検知部28はグリップ部22の背面側(グリップ部22におけるトリガスイッチ221が配置されている面の反対側の面)に収容されている。制御部3b、記憶部4及び工具動作検知部26は、グリップ部22又は装着部23に収容されている。
撮像部5は、工具2に搭載されている。撮像部5は作業対象を撮影して撮像画像を生成する。言い換えると、撮像部5は、撮像画像としてのデータを生成する。撮像部5は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部5は、工具2のボディ20(胴体部21)に収容されている。撮像部5は、工具2を用いた作業時に作業対象を撮像するように、出力軸241の先端側に向けて搭載されている。これにより、工具2での作業時には、作業対象を撮像し撮像部5にて撮像画像が得られる。
具体的には、撮像部5は、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、出力軸241の先端側(ソケット242)に向けて、胴体部21の先端部に配置されている(図2及び図3参照)。撮像部5の光軸は、出力軸241の回転軸Ax1に沿って配置される。ここでは、撮像部5は、出力軸241の回転軸Ax1から所定距離内に光軸が位置し、かつ回転軸Ax1と光軸が略平行となるように配置されている。なお、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、撮像部5が撮像画像を生成することは必須ではない。撮像部5は、セット作業対象を特定するための撮像画像を生成することが可能であればよい。「セット作業対象を特定するための撮像画像」とは、作業対象に工具2がセットされた状態のワークが、撮像部5によって撮影されて生成される画像である。本開示における撮像画像には、工具2がセットされた作業対象が映っているものとする。なお、撮像画像は、セット作業対象を特定することが可能な画像であればよく、撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていなくてもよい。
工具動作検知部26は、工具2の動き又は姿勢等を検知する。工具動作検知部26は、例えば、加速度センサ及びジャイロセンサ等のモーションセンサ261を含んでいる。本実施形態では、上述したように、工具動作検知部26は、工具2のボディ20(グリップ部22又は装着部23)に収容されている。本実施形態では一例として、工具動作検知部26は、モーションセンサ261として、3軸の加速度センサ及び3軸のジャイロセンサを有している。3軸の加速度センサは、互いに直交する3軸の各々について加速度を検知し、加速度に応じた電気信号を出力する。3軸のジャイロセンサは、互いに直交する3軸の各軸周りの角速度を検知し、角速度に応じた電気信号を出力する。
工具動作検知部26は、例えば、加速度センサの出力に基づいて、重力方向を検知し、重力方向を基準とした工具2の向き等を検知することができる。さらに、工具動作検知部26は、ジャイロセンサの出力に基づいて、工具2の回転を伴う移動時の角速度、又は角速度の積分結果から工具2の回転角度等を検知することができる。一例として、工具動作検知部26では、胴体部21からのグリップ部22の突出方向が下方(重力方向)となるような工具2の姿勢と、胴体部21からのグリップ部22の突出方向が上方となるような工具2の姿勢と、を区別して検知できる。ここで、本開示の「工具2の姿勢」とは、例えば重力方向を基準とした3軸の各軸周りの回転角度(例えばロール角、ピッチ角及びヨー角)によって定まる工具2の向きである。工具動作検知部26は、モーションセンサ261(加速度センサ及びジャイロセンサ)の出力に基づいて、工具2の動きや姿勢を検知し、検知結果を、工具2の動きや姿勢に関する動作情報として制御部3bのセット検知部34に出力する。
距離測定部27は、工具2と作業対象との間の距離を測定する。距離測定部27は、例えば、RADAR(Radio Detection and Ranging)、LiDAR(Light Detection and Ranging)又は超音波センサ等の距離センサ271を含んでいる。LiDARは、例えば赤外線センサである。本実施形態では、上述したように、距離測定部27は、工具2のボディ20(胴体部21)に収容されている。具体的には、撮像部5と同様に、出力軸241の先端側(ソケット242)に向けて、胴体部21の先端部に配置されている。本実施形態では一例として、距離測定部27は、超音波センサを有している。超音波センサは、超音波を発して、例えばワーク(作業対象)で反射された超音波を受信するまでの時間を計測することで、ワーク(作業対象)との距離を測定するタイム・オブ・フライト方式の距離センサである。超音波センサは、測定した距離に応じた電気信号を出力する。
距離測定部27は、距離センサ271の出力に基づいて、ワーク(作業対象)と工具2との間の距離を検知する。距離測定部27は、検知結果を、工具2と作業対象との間の距離に関する距離情報として制御部3bのセット検知部34に出力する。
押圧検知部28は、工具2が作業対象に押し当てられている押圧状態を検知する。本実施形態では、上述したように、押圧検知部28は、工具2のボディ20(グリップ部22)の背面側に収納されている。本実施形態に係る押圧検知部28は、例えば、金属歪みゲージや半導体歪みゲージ等を用いた圧力センサ281を有している。圧力センサ281は、グリップ部22の背面側に加えられる圧力を検知し、検知した圧力に応じた電気信号を出力する。
押圧検知部28は、圧力センサ281の出力に基づいて、工具2が作業対象に押し当てられていることを検知する。ここで、ユーザによって工具2が作業対象に押し当てられている際にグリップ部22の背面側に加わる力は、例えばユーザが工具2を持ち運んでいる際等にグリップ部22の背面側に加わる力より大きい。そのため、押圧検知部28は、圧力センサ281によって検知される圧力が第1閾値圧力以上である場合に、工具2が作業対象に押し当てられていることを検知する。押圧検知部28は、検知結果を、工具2の押し当て情報として制御部3bのセット検知部34に出力する。
制御部3bは、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3bとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3bとして機能させるためのプログラムである。
制御部3bは、撮像制御部32、安定判定部33、セット検知部34、処理部35、登録部38、駆動検知部39及び作業開始検知部300等の機能を有している。制御部3bは、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3bは、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
撮像制御部32は、撮像部5を制御するように構成されている。本実施形態の撮像制御部32は、制御部3bが起動するに伴い、撮像部5に撮影動作を開始させる。
安定判定部33は、撮像部5によって生成される撮像画像が安定しているか否かを判定する。本実施形態に係る安定判定部33は、工具2が運用モードであるときに、撮像画像に含まれる複数のフレームに基づいて、撮像画像が安定しているか否かを判定する安定判定処理を行う。
本実施形態に係る安定判定部33は、複数のフレームの相違度を算出し、相違度が閾値以下である場合に、撮像画像が安定していると判定する。具体的には、安定判定部33は、撮像画像に含まれる最新のフレームと、最新のフレームの1つ前(過去)のフレームとの相違度を算出する。以下の説明において、撮像画像に含まれる最新のフレームのことを第1のフレームということがある。また、最新のフレームの1つ前のフレームのことを第2のフレームということがある。安定判定部33は、第1のフレームにおける特定領域の輝度値(濃度値、階調値)と第2のフレームにおける特定領域の輝度値(濃度値、階調値)とを差分して、相違度を算出する。安定判定部33は、例えば、SSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)を利用して、相違度を算出する。ここで、第1のフレーム及び第2のフレームにおける特定領域は、例えば予め撮像画像内における座標で定められる領域である。第1のフレーム及び第2のフレームにおける特定領域の座標は同じである。また、第1のフレーム及び第2のフレームにおける特定領域の数は1以上であればよいが、安定判定処理の精度を向上させるためには複数であることが望ましい。
安定判定部33は、相違度と閾値を比較して、相違度が閾値以下である場合に、撮像画像が安定していると判定する。安定判定部33は、撮像画像が安定していると判定した場合、安定情報をセット検知部34及び処理部35に出力する。なお、安定判定部33は、相違度が閾値より大きい場合、撮像画像が安定していると判定しない。安定判定部33は、撮像画像が安定していると判定しない場合、安定情報をセット検知部34及び処理部35に出力しない。
駆動検知部39は、駆動部24の動作状態を検知する。駆動検知部39は、例えば制御部3aから入力される駆動信号に基づいて、駆動部24が駆動されていることを検知する。駆動検知部39は、駆動部24が駆動されていることを検知すると、駆動情報を作業開始検知部300及び処理部35に出力する。
セット検知部34は、工具2が作業対象にセットされている状態を検知する。本実施形態に係るセット検知部34は、工具2が運用モードであるときに、工具2が作業対象にセットされているか否かの検知処理を行う。
本実施形態に係るセット検知部34は、工具動作検知部26から出力される動作情報、距離測定部27から出力される距離情報、及び、押圧検知部28から出力される押し当て情報に基づいて、工具2が作業対象にセットされている状態を検知する。
セット検知部34は、工具動作検知部26から出力される動作情報に基づいて、工具2が作業対象にセットされている状態を検知する。セット検知部34は、工具動作検知部26によって検知される工具2の姿勢が所定の姿勢である場合に、工具2が作業対象にセットされている状態を検知する。本開示の「所定の姿勢」とは、例えば、工具2の姿勢と基準姿勢とを比較した際に、工具2の姿勢と基準姿勢との角度差が閾値以下である姿勢のことをいう。具体的には、工具動作検知部26によって検知される3軸の各軸周りの回転角度と、基準姿勢の3軸周りの回転角度との角度差の合計又は平均が閾値以下である姿勢のことをいう。また、「基準姿勢」とは、例えば、胴体部21からのグリップ部22の突出方向が下方(重力方向)となるような工具2の姿勢をいう。本実施形態に係るセット検知部34は、工具動作検知部26によって検知される3軸の各軸周りの回転角度と、基準姿勢の3軸周りの回転角度との角度差の平均が5度以下である場合に、工具2が所定の姿勢であると判定する。なお、以下の説明において、「工具動作検知部26によって検知される3軸の各軸周りの回転角度と、基準姿勢の3軸周りの回転角度との角度差の平均」のことを、単に「工具2の姿勢と基準姿勢との角度差」ということがある。すなわち、本実施形態に係るセット検知部34は、工具動作検知部26によって検知される3軸の各軸周りの回転角度と、基準姿勢の3軸周りの回転角度との角度差の平均が5度以下である場合に、工具2が作業対象にセットされている状態を検知する。なお、セット検知部34は、工具動作検知部26によって検知される3軸の各軸周りの回転角度と、基準姿勢の3軸周りの回転角度との角度差の平均が5度以下であることを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。
また、セット検知部34は、距離測定部27から出力される距離情報に基づいて、工具2が作業対象にセットされている状態を検知する。具体的には、セット検知部34は、距離測定部27によって検知される工具2と作業対象との間の距離が予めの設定の範囲内である場合に、工具2が作業対象にセットされている状態を検知する。なお、セット検知部34は、工具2と作業対象との間の距離が予めの設定の範囲内であることを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。ここで、「工具2と作業対象との間の距離が予めの設定の範囲内である」とは、基準距離から、距離測定部27によって検知される工具2と作業対象との間の距離を差し引いた値の絶対値が閾値距離以下であることをいう。ここで、「基準距離」とは、セット検知部34が、工具2が作業対象にセットされた状態を検知する基準となる距離である。基準距離は、例えば、基準画像の撮像時に距離測定部27によって検知される工具2と作業対象との間の距離であり、基準画像に対応付けられている。また、基準距離は、距離測定部27が有する距離センサ271とソケット242の先端との間の距離より少し大きめの距離であってもよい。なお、以下の説明において、基準距離から、距離測定部27によって検知される工具2と作業対象との間の距離を差し引いた値の絶対値のことを、単に「距離差」ということがある。
また、セット検知部34は、押圧検知部28から出力される押し当て情報に基づいて、工具2が作業対象にセットされている状態を検知する。具体的には、セット検知部34は、押圧検知部28によって検知される、グリップ部22の背面側に加えられる圧力の値が第1閾値圧力以上である場合に、工具2が作業対象にセットされている状態を検知する。なお、セット検知部34は、グリップ部22の背面側に加えられる圧力の値が第1閾値圧力以上であることを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。
また、本実施形態に係るセット検知部34は、トリガスイッチ221の引込量に基づいて、工具2が作業対象にセットされている状態を検知する。具体的には、トリガスイッチ221がユーザによって半押しされている場合に、セット検知部34は、工具2が作業対象にセットされている状態を検知する。本開示の「半押しされている」とは、トリガスイッチ221が、初期位置とオン位置との間に位置している状態をいう。具体的には、「半押しされている」とは、トリガスイッチ221が初期位置とオン位置との略中間に位置している状態をいう。セット検知部34は、トリガスイッチ221が初期位置とオン位置との間に位置している状態のとき、工具2が作業対象にセットされている状態を検知する。又は、セット検知部34は、トリガスイッチ221が初期位置とオン位置との間に位置している状態であることを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。
また、本実施形態に係るセット検知部34は、安定判定部33から取得する安定情報を取得した場合、すなわち撮像画像が安定していると安定判定部33によって判定された場合に、工具2が作業対象にセットされている状態を検知する。又は、セット検知部34は、撮像画像が安定していると安定判定部33によって判定されたことを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。
セット検知部34は、工具2が作業対象にセットされている状態を検知すると、セット検知情報を処理部35に出力する。なお、セット検知部34は、工具2が作業対象にセットされている状態を検知しない場合、セット検知情報を処理部35に出力しない。
本実施形態のセット検知部34は、工具2の姿勢が所定の姿勢であり、距離差が閾値距離以下であり、グリップ部22の背面側に加えられる圧力の値が第1閾値圧力以上であり、撮像画像が安定していることが安定判定部33によって判定され、かつ、トリガスイッチ221が半押しされた場合に、工具2が作業対象にセットされている状態であることを検知する。なお、本実施形態のセット検知部34は、工具2の姿勢が所定の姿勢でない場合、工具2が作業対象にセットされている状態を検知しない。また、本実施形態のセット検知部34は、距離差が閾値距離より大きい場合、工具2が作業対象にセットされている状態を検知しない。また、本実施形態のセット検知部34は、グリップ部22の背面側に加えられる圧力の値が第1閾値圧力より小さい場合、工具2が作業対象にセットされている状態を検知しない。また、本実施形態のセット検知部34は、撮像画像が安定していることが安定判定部33によって判定されない場合、工具2が作業対象にセットされている状態を検知しない。また、本実施形態のセット検知部34は、トリガスイッチ221が半押しされていない場合、工具2が作業対象にセットされている状態を検知しない。
作業開始検知部300は、工具2が作業対象に対する作業を開始したか否かを検知する。作業開始検知部300は、工具2が運用モードであるときに、工具2が作業対象にセットされていることをセット検知部34が検知した状態で、工具2が作業対象に対する作業を開始したか否かの検知処理を行う。
例えば、作業開始検知部300は、作業の開始時に操作される操作ボタンからの入力信号に基づいて、作業が開始したことを検知する。ユーザが作業を開始する際に操作ボタンを操作することによって、作業開始検知部300は、作業が開始したことを検知することができる。このような操作ボタンとしては、例えば、引込量に応じた操作量で駆動部24を動作させるためのトリガスイッチ221がある。工具2が作業対象にセットされている状態で、ユーザによってトリガスイッチ221がオン位置まで操作された場合に、工具2が作業対象に対する作業を開始したと検知する。なお、操作ボタンは、トリガスイッチ221に限定されず、トリガスイッチ221とは別のボタンで構成されてもよい。操作ボタンは、例えば、ユーザが工具2を用いて作業を行う際にユーザの手が触れる位置に設けられた押釦スイッチなどで実現されてもよい。
なお、作業開始検知部300は、工具2が作業対象にセットされている状態で、駆動検知部39から駆動情報が入力されると、工具2が作業対象に対する作業を開始したと検知してもよい。つまり、作業開始検知部300は、駆動検知部39の検知結果に基づいて、作業が開始したことを検知してもよく、駆動部24が動作していることから作業対象に対する作業が開始したことを確実に検知できる。
また、作業開始検知部300は、工具2が作業対象にセットされ、特定処理で作業対象が特定された後に、押圧検知部28が押圧状態を検知すると、作業対象に対する作業が開始したと検知してもよい。特定処理で作業対象が特定された後に、押圧状態が継続していることから、作業開始検知部300は作業対象に対する作業が開始していると判断することができる。また、作業開始検知部300は、工具2が作業対象にセットされている状態で、押圧検知部28の有する圧力センサ281によって検知される圧力が所定の第2閾値圧力以上になると、作業対象に対する作業が開始したと検知してもよい。第2閾値圧力は、工具2を用いた締結作業を行う際に発生する圧力であり、第2閾値圧力は第1閾値圧力よりも高い圧力に設定されている。
なお、作業開始検知部300は、工具2が作業対象にセットされている状態で、駆動検知部39から駆動情報が入力される、ユーザによってトリガスイッチ221がオン位置まで操作される、又は作業対象に加えられる圧力の値が第2閾値圧力以上であれば、作業対象に対する作業が開始したと検知してもよい。
本実施形態に係る処理部35は、安定判定部33から出力される安定情報、及び、セット検知部34から出力されるセット検知情報のうちの少なくとも一方を受け取ると、撮像画像に基づいて所定の処理を実行する。言い換えると、処理部35は、作業対象を特定することができる可能性が高いときに、撮像画像に基づいて特定処理を実行する。処理部35が特定処理を開始するタイミングが早すぎると、作業対象を特定できないだけでなく、処理部35による特定処理の実行には0.5秒~1.0秒程度の時間を要するためユーザが工具2を構えたタイミングで特定処理を開始できない場合がある。ユーザが工具2を構えたタイミングで特定処理を開始できない場合、特定処理の完了が遅れ、ユーザの作業リズムを損なう可能性がある。本実施形態の処理部35は、作業対象を特定することができる可能性が高いとき、すなわちユーザが工具2を構えた最適のタイミングで特定処理を実行することができるため、特定処理の完了が遅れる可能性を低減することができる。また、撮像部5のAE(Automatic Exposure)や、AWB(Auto White Balance)等の撮像制御が安定した撮像画像に基づいて特定処理を実行することができるため、特定処理の精度向上を図ることができる。なお、本実施形態に係る処理部35は、安定判定部33から安定情報、及び、セット検知部34から出力されるセット検知情報のうちの少なくとも一方を受け取っていない場合、撮像画像に基づく所定の処理を実行しない。
処理部35は、所定の処理として、複数の作業対象のうち工具2がセットされたセット作業対象を特定する特定処理を間欠的に行う。つまり、処理部35は、撮像画像に映るセット作業対象を特定する機能を有する。具体的には、処理部35は、撮像部5の撮像画像と複数の基準画像とを比較する画像処理を行い、撮像画像に映るセット作業対象を、複数の対象物のうちから特定する。ここにおいて、複数の基準画像は、記憶部4(画像記憶部41)に記憶されている。
具体的には、処理部35は、撮像画像に対して、複数の対象物に対応する複数の基準画像をテンプレートデータとしたパターン認識処理を行い、セット作業対象を特定する。つまり、処理部35は、撮像画像と、複数の対象物に対応する複数の基準画像とを比較することによって、撮像画像に映っているセット作業対象を特定する。
本開示でいう「パターン認識処理」とは、ある画像に映る物の形状に基づいて、その画像に映る物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。ここでいうパターンマッチング処理は、上述したようなテンプレートデータを用いて、テンプレートデータと比較対象(撮像画像等)との比較を行う処理である。また、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング(深層学習)のアルゴリズムを用いてもよい。
さらに、処理部35は、特定された作業対象が、作業手順で規定される作業指示に対応しない場合に、駆動部24の動作の制限と通知との少なくとも一方を実行する。要するに、処理部35は、処理部35で特定された作業対象(セット作業対象)が、予め設定された作業手順で規定されている作業指示に対応するか否かを判定する。つまり、処理部35で特定された作業対象が、作業手順に含まれる作業指示が指示する作業の対象となる作業対象と、一致するか否かを処理部35は判定する。
具体的には、処理部35は、セット作業対象に対応する作業手順のデータを、記憶部4の手順記憶部44から抽出する。そして、処理部35は、手順記憶部44から抽出した作業手順で規定される現在の作業指示の対象となる作業対象と、特定された作業対象とが一致しているか否かを判定する。両者が一致すれば、処理部35は、特定された作業対象が、作業手順で規定される作業指示に対応すると判定する。両者が一致しなければ、処理部35は、特定された作業対象が、作業手順で規定される作業指示に対応しないと判定する。
そして、上述したような判定の結果、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合には、処理部35は、駆動部24の動作の制限と通知との少なくとも一方を実行する。本開示でいう「通知」には、ユーザへの通知だけでなく外部端末(例えば、携帯端末等)への通知等を含む。
具体的には、処理部35は、特定された作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221が引かれても駆動部24を動作させない。つまり、特定された作業対象が作業手順で規定される作業指示に対応すると処理部35で判定された場合にのみ、駆動部24の動作が許可される。したがって、作業手順から外れた作業対象に工具2がセットされたとしても、駆動部24が停止したままとなるので、締付作業が不可となる。これにより、誤った作業手順で作業が行われることを抑制することができる。処理部35は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221をロックすることで引けなくなるようにしてもよい。
また、処理部35は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、通知制御部36にて通知部211を動作させる。これにより、通知部211は、ユーザに対して、作業手順から外れた作業対象に工具2がセットされている状態を通知するユーザ通知部として機能する。
要するに、処理部35は、安定判定部33から出力される安定情報、及び、セット検知部34から出力されるセット検知情報のうちの少なくとも一方を受け取ると、所定の処理として、少なくともセット作業対象を特定する特定処理を実行する。さらに、処理部35は、所定の処理として、特定された作業対象を作業手順で規定される作業指示と比較し、両者の対応関係を判定する手順判定処理を実行する。さらには、手順判定処理の結果、作業対象が作業指示に対応しない場合には、処理部35は、駆動部24の動作の制限及び通知の少なくとも一方を実行する。
また、処理部35は、作業対象を特定した状態で、作業開始検知部300から作業開始検知情報が入力されると、特定処理における撮像画像の画像処理を停止する。作業対象に対する作業が開始した状態では、作業対象を特定する特定処理を行う必要がないので、処理部35が、特定処理における撮像画像の画像処理を停止することで、工具2の消費電力を抑制することができる。なお、処理部35は、作業対象を特定した状態で、作業開始検知部300から作業開始検知情報が入力されると、特定処理を停止し、かつ撮像部5による撮像処理を停止してもよい。また、処理部35は、作業対象を特定した状態で、作業開始検知部300から作業開始検知情報が入力されると、特定処理、及び、特定処理で特定された作業対象に関する作業内容の設定(例えば目標トルク値の設定等)を停止してもよい。これにより、工具2を用いた作業の途中で、作業対象に対する作業内容の設定が誤って変更される可能性を低減できる。
登録部38は、工具2の動作モードが登録モードである場合、複数の基準画像を記憶部4の画像記憶部41に記憶させる画像登録処理と、複数の目標トルク値を記憶部4のトルク記憶部42に記憶させるトルク登録処理と、を行う。
また、登録部38は、画像登録処理において、例えば、撮像部5が作業対象を撮像して生成した静止画像を基準画像として画像記憶部41に記憶させる。具体的には、工具2の動作モードが登録モードである場合、トリガスイッチ221がシャッターボタンとしても機能する。トリガスイッチ221がオンすると(オン位置まで押されると)撮像部5が静止画像を生成する。登録部38は、この静止画像を基準画像として画像記憶部41に記憶させる。
記憶部4は、例えば、半導体メモリで構成されており、画像記憶部41、トルク記憶部42(目標値記憶部)、結果記憶部43及び手順記憶部44の機能を有する。画像記憶部41とトルク記憶部42と結果記憶部43と手順記憶部44とは、本実施形態では1つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部4は、工具2に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。また、工具2がネットワークに接続可能な通信機能を有する場合、記憶部4は、ネットワーク上のデータサーバにて実現されてもよい。
画像記憶部41は、複数の基準画像を複数の対象物と対応付けて記憶している。
トルク記憶部42は、複数の目標トルク値(目標値)を、複数の対象物と一対一に対応付けて記憶している。目標トルク値とは、対応する対象物に締付部品を取り付ける際における締付トルクの目標値である。
結果記憶部43は、複数の対象物(作業対象)と、トルク判定部37による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部43は、トルク判定部37の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいてワークごとに対象物(作業対象)の判定結果を区別することが可能となる。
手順記憶部44には、1又は複数の作業手順のデータが記憶されている。作業手順は、上述したように、工具2を用いた作業の手順を意味し、一例として、1つのワークにおける複数の対象物について、どの順番で作業を行うかを規定するデータである。
(3)動作
以下、本実施形態に係る工具システム1の動作について、図4~7を参照して説明する。
ここでは、組立ラインにおいて、ユーザが複数のワークA1の組立作業を行う際の工具システム1の動作を例として説明する。各ワークA1には、2つの対象物(第1~第2の対象物)があり、ユーザは、工具2を使用して各対象物に締付部品を取り付ける作業を行うこととする。なお、以下の説明では、複数の作業対象に対する作業を作業手順で決められた順番で実行する場合を例に説明するが、複数の作業対象に対する作業を任意の順番で実行してもよい。
(3.1)登録モード
まず、工具システム1の登録モードの動作例について、図4を参照して説明する。ここでは、工具2は、登録部38による画像登録処理及びトルク登録処理が行われていない初期状態である。つまり、初期状態にある工具2においては、画像記憶部41及びトルク記憶部42に、それぞれ、第1~第2の対象物に対応する第1~第2の基準画像、及び第1~第2の目標トルク値が記憶されていない。
ユーザは、工具2の動作モードを登録モードに設定する(S1)。ユーザは、操作パネル231を操作して第1の対象物に締付部品を取り付ける際における締付トルクのトルク値を入力する(S2)。駆動制御部31は、入力されたトルク値を、第1の対象物についてのトルク設定値に設定する。そして、ユーザは、工具2を第1の対象物(作業対象)にセットし、トリガスイッチ221を引いて第1の対象物に締付部品を取り付ける締付作業を行う(S3)。このとき、作業対象である第1の対象物が撮影され、第1の対象物の静止画像が生成される。
登録部38は、締付作業が完了すると、登録処理(画像登録処理及びトルク登録処理)を行う(S4)。具体的には、登録部38は、ステップS3の締付作業時に生成された第1の対象物の静止画像を、第1の対象物に対応する第1の基準画像として画像記憶部41に記憶させる画像登録処理を行う。また、登録部38は、ステップS3の締付作業時において、締付部品が作業対象である第1の対象物に取り付けられた際におけるトルク設定値を、第1の対象物に対応する第1の目標トルク値としてトルク記憶部42に記憶させるトルク登録処理を行う。つまり、第1の目標トルク値は、第1の基準画像に対応して記憶される。
特に、本実施形態では、処理部35が手順判定処理を実行するので、登録処理において、目標トルク値は作業指示に含めて登録される。言い換えれば、登録処理では、作業手順が登録される。ここでは、第1の対象物に対する作業を指示する作業指示が、作業手順における1番目の作業指示となるように、登録部38にて作業手順の登録が行われる。具体的には、登録部38は、作業手順において作業順番が「1番目」となる作業として、第1の対象物に対する作業を指示する作業指示を登録し、この作業指示には第1の目標トルク値が含まれる。
トルク判定部37は、締付部品が第1の対象物に取り付けられた際における締付トルクが正常であるか否かの第1の判定結果を、第1の対象物に対応付けて結果記憶部43に記憶させる結果記憶処理を行う(S5)。
また、ユーザは、第1の対象物を作業対象とした場合と同様の作業手順で、第2の対象物の締付作業を順に行う。具体的には、ユーザは、操作パネル231を操作して第2の対象物に締付部品を取り付ける際における締付トルクのトルク値を入力し(S6)、工具2を第2の対象物にセットした状態で第2の対象物に締付部品を取り付ける締付作業を行う(S7)。このとき、作業対象である第2の対象物の静止画像が生成され、登録部38が、登録処理(画像登録処理及びトルク登録処理)を行う(S8)。登録部38は、作業手順において作業順番が「2番目」となる作業として、第2の対象物に対する作業を指示する作業指示を登録し、この作業指示には第2の目標トルク値が含まれる。トルク判定部37は、ステップS7の締付作業における締付トルクが正常であるか否かの第2の判定結果を結果記憶部43に記憶させる結果記憶処理を行う(S9)。
ワークA1における全ての対象物についての登録処理が完了したため、ユーザは、操作パネル231を操作して、工具2の動作モードを登録モードから運用モードに切り替える(S10)。工具2の動作モードが登録モードから運用モードに切り替えられることで、登録モードが終了する。
なお、図4に示すシーケンスは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。
(3.2)運用モード
次に、工具システム1の運用モードの動作例について、図5~図7を参照して説明する。
図5~図7に示す処理は、撮像部5によって撮像される撮像画像のフレーム更新ごとに、工具システム1で実行される処理である。撮像画像のフレームが更新されると、セット検知部34は、工具動作検知部26から動作情報を取得する(S21)。次に、セット検知部34は、処理部35の(動作)状態が状態St0であるか否かを確認する(S22)。ここで、本開示の「状態St0」とは、処理部35の状態がアイドル状態であり、特定処理が開始されない状態である。本開示の「状態St1」とは、処理部35の状態がスタンバイ状態であり、特定処理は開始されていないものの、特定処理が開始される可能性がある状態である。本開示の「状態St2」とは、処理部35が特定処理を実行している状態である。
処理部35の状態が状態St0である場合(S22:Yes)、セット検知部34は、動作情報に基づいて、工具2の加速度と加速度の閾値T1とを比較する(S23)。ここで、本実施形態における加速度の閾値T1は、略ゼロである。すなわち、セット検知部34は、工具2が少しでも動いている状態であるか否か、言い換えると、工具2が机や床などに置かれた状態ではないことを確認する。工具2が机や床などに置かれている状態は、工具2が作業対象にセットされている状態ではないことは明らかである。工具2の加速度が閾値T1より大きい場合(S23:Yes)、セット検知部34は、動作情報に基づいて、工具2の加速度と加速度の閾値T3とを比較する(S24)。ここで、本実施形態における加速度の閾値T3は、T1より大きい値であり、ユーザが工具2を持って移動する(ユーザによって工具2が振り回される)際における工具2の加速度に近い値に設定されている。ユーザが工具2を持って移動したり、工具2を振り回したりしている状態は、工具2が作業対象にセットされている状態ではないことは明らかである。
工具2の加速度が閾値T3より小さい場合(S24:Yes)、セット検知部34は、動作情報に基づいて、工具2の姿勢と基準姿勢との角度差と、角度差の閾値T5とを比較する(S25)。本実施形態における角度差の閾値T5は、例えば10度である。工具2の姿勢と基準姿勢との角度差が閾値T5より小さい場合(S25:Yes)、撮影用の発光部234のLEDがオンする(S26)。そして、処理部35の状態は、状態St1、つまりスタンバイ状態となり(S27)、処理は図6のステップS65に進む。なお、工具2の加速度が閾値T1以下である場合(S23:No)、工具2の加速度が閾値T3以上である場合(S24:No)、又は、工具2の姿勢及び基準姿勢の角度差が閾値T5以上である場合(S25:No)、処理は図7のステップS65に進む。
また、ステップS22において、処理部35の状態が状態St0ではない場合、つまり処理部35の状態が状態St1又は状態St2である場合(S22:No)、セット検知部34は、動作情報に基づいて、工具2の加速度と加速度の閾値T2とを比較する(S31)。工具2の加速度が閾値T2より大きい場合(S31:Yes)、セット検知部34は、動作情報に基づいて、工具2の加速度と加速度の閾値T4とを比較する(S32)。工具2の加速度が閾値T4より小さい場合(S32:Yes)、セット検知部34は、動作情報に基づいて、工具2の姿勢及び基準姿勢の角度差と、角度差の閾値T6とを比較する(S33)。工具2の姿勢及び基準姿勢が角度差の閾値T6より小さい場合(S33:Yes)、処理は図6のステップS41に進む。なお、工具2の加速度が閾値T2以下である場合(S31:No)、工具2の加速度が閾値T4以上である場合(S32:No)、又は、工具2の姿勢及び基準姿勢の角度差が閾値T6以上である場合(S33:No)、処理はステップS34に進む。
ここで、処理部35の状態が状態St1又は状態St2のとき、撮影用の発光部234のLEDはオンした状態である。オンしているLEDがオフし(S34)、処理部35の状態は状態St0、つまりアイドル状態となる(S35)。そして、駆動部24が有するモータの状態が状態St3になる(S36)。本開示の「状態St3」は、ユーザによってトリガスイッチ221が引かれても、駆動部24のモータを回転させない状態である。モータの状態が状態St3になった後、処理は図7のステップS65に進む。
なお、本実施形態における加速度の閾値T1,T2は、ヒステリシスを持つように設定されており、閾値T1より閾値T2の方が小さい値となっている。また同様に、加速度の閾値T3,T4はヒステリシスを持つように設定されており、閾値T3より閾値T4の方が大きい値となっている。また同様に、角度差の閾値T5,T6はヒステリシスを持つように設定されており、閾値T5より閾値T6の方が大きい値となっている。
次に、図6を参照しつつ、ステップS41~S56の処理について説明する。安定判定部33は、撮像画像における最新のフレーム(第1のフレーム)を確認する(S41)。また、セット検知部34は、距離測定部27から距離情報を取得し(S42)、押圧検知部28から押し当て情報を取得する(S43)。次に、セット検知部34は、処理部35の状態が状態St1であるか否かを確認する(S44)。処理部35の状態が状態St1である場合(S44:Yes)、セット検知部34は、動作情報に基づいて、工具2の姿勢及び基準姿勢の角度差と、角度差の閾値T7とを比較する(S45)。本実施形態における角度差の閾値T7は、例えば5度である。工具2の姿勢及び基準姿勢の角度差が閾値T7より小さい場合(S45:Yes)、安定判定部33は、撮像画像の最新のフレームと、最新のフレームの1つ前(過去)のフレーム(第2のフレーム)との相違度を算出する。そして、安定判定部33は、安定判定部33が算出した相違度と、相違度の閾値T9とを比較する(S46)。安定判定部33が算出した相違度が閾値T9より小さい場合(S46:Yes)、安定判定部33は、安定情報をセット検知部34及び処理部35に出力する。次に、セット検知部34は、距離情報に基づいて、距離差を算出し、距離差と閾値距離T11とを比較する(S47)。距離差が閾値距離T11より小さい場合(S47:Yes)、セット検知部34は、押し当て情報に基づいて、グリップ部22の背面側に加えられる圧力と、閾値圧力T13とを比較する(S48)。グリップ部22の背面側に加えられる閾値圧力T13より大きい場合(S48:Yes)、セット検知部34は、トリガスイッチ221が半押しされているかを確認する(S49)。トリガスイッチ221が半押しされている場合(S49:Yes)、セット検知部34はセット検知情報を処理部35に出力する。そして、処理部35の状態は状態St2、つまり処理部35が特定処理を実行している状態となり(S50)、処理は図7のステップS61に進む。
なお、角度差が閾値T7以上である場合(S45:No)、相違度が閾値T9以上である場合(S46:No)、距離差が閾値距離T11以上である場合(S47:No)、閾値圧力T13以下である場合(S48:No)、又は、トリガスイッチ221が半押しされていない場合(S49:No)、処理は図7のステップS65に進む。
また、ステップS44において、処理部35の状態が状態St1ではない場合、つまり状態St2である場合(S44:No)、セット検知部34は、動作情報に基づいて、工具2の姿勢及び基準姿勢の角度差と、角度差の閾値T8とを比較する(S51)。工具2の姿勢及び基準姿勢の角度差が閾値T8より小さい場合(S51:Yes)、安定判定部33は、第1のフレームと、第2のフレームとの相違度を算出する。そして、安定判定部33は、安定判定部33が算出した相違度と、相違度の閾値T10とを比較する(S52)。安定判定部33が算出した相違度が閾値T10より小さい場合(S52:Yes)、安定判定部33は、安定情報をセット検知部34及び処理部35に出力する。次に、セット検知部34は、距離情報に基づいて、距離差を算出し、距離差と閾値距離T12とを比較する(S53)。距離差が閾値距離T12より小さい場合(S53:Yes)、セット検知部34は、押し当て情報に基づいて、グリップ部22の背面側に加えられる圧力と閾値圧力T14とを比較する(S54)。グリップ部22の背面側に加えられる圧力が閾値圧力T14より大きい場合(S54:Yes)、セット検知部34は、トリガスイッチ221が半押しされているかを確認する(S55)。トリガスイッチ221が半押しされている場合(S55:Yes)、セット検知部34はセット検知情報を処理部35に出力する。そして、処理は図7のステップS61に進む。
なお、角度差が閾値T8以上である場合(S51:No)、相違度が閾値T10以上である場合(S52:No)、距離差が閾値距離T12以上である場合(S53:No)、圧力が閾値圧力T14以下である場合、又は、トリガスイッチ221が半押しされていない場合(S55:No)、処理部35の状態は、状態St2から状態St1へ移行する(S56)。そして、処理は図7のステップS64に進む。
なお、本実施形態における角度差の閾値T7,T8は、ヒステリシスを持つように設定されており、閾値T7より閾値T8の方が大きい値となっている。また同様に、相違度の閾値T9,T10はヒステリシスを持つように設定されており、閾値T9より閾値T10の方が大きい値となっている。また同様に、閾値距離T11,T12はヒステリシスを持つように設定されており、閾値距離T11より閾値距離T12の方が大きい値となっている。また同様に、閾値圧力T13,T14はヒステリシスを持つように設定されており、閾値圧力T13より閾値圧力T14の方が小さい値となっている。
次に、図7を参照しつつ、ステップS61~S74の処理について説明する。処理部35は、安定判定部33から出力される安定情報、及び、セット検知部34から出力されるセット検知情報のうちの少なくとも一方を受け取ると、撮像画像に基づいて特定処理を実行する(S61)。処理部35がセット作業対象を特定でき、特定された作業対象が作業手順に沿っている場合(S62:Yes)、モータの状態が状態St4に移行する(S63)。本開示の「状態St4」は、ユーザによってトリガスイッチ221が引かれて、トリガスイッチ221がオンすると、駆動部24が有するモータが回転する状態である。モータの状態が状態St4に移行した後、処理はステップS65に進む。
一方で、ステップS62において、処理部35がセット作業対象を特定できなかった場合、又は、特定された作業対象が作業手順に沿っていない場合(S62:No)、モータの状態が状態St3に移行する(S64)。モータの状態が状態St3に移行した後、処理はステップS65に進む。
ステップS65では、処理部35は、工具動作検知部26から出力される動作情報に基づいて、工具2の動きが無い状態が所定時間継続しているか否かを判断する(S65)。工具2の動きが無い状態が所定時間継続していなければ、処理部35は、現在の状態St1又は状態St2を維持する。一方、工具2の動きが無い状態が所定時間継続していると、処理部35は、処理部35の状態を状態St0とし(S66)、特定処理が開始されない状態とする。このように、処理部35は、工具動作検知部26が検知した工具2の動きが所定値以下である状態が所定時間継続した場合、特定処理を停止する。工具2の動きが所定値以下である状態が所定時間継続している状態であれば、作業対象に対する作業が行われないと判断できるので、処理部35は、特定処理を停止することで、工具システム1の消費電力を低減することができる。
次に、ユーザによってトリガスイッチ221が引かれて、トリガスイッチ221がオンすると(S67:Yes)、作業開始検知部300が、トリガスイッチ221の操作信号に基づいて、作業対象に対する作業が開始されたことを検知し(S68)、作業開始検知信号を処理部35に出力する。処理部35は、作業開始検知信号が入力されると、処理部35の状態を状態St0として、特定処理を停止するロック状態とする(S69)。ここにおいて、処理部35は、作業開始検知信号が入力されると、処理部35の状態を状態St0とし、特定処理を停止するロック状態を一定時間(所定の停止時間)継続してもよい。
なお、作業開始検知部300は、作業対象が特定された状態で、押圧検知部28が押圧状態を検知していると、作業対象に対する作業が開始したことを検知してもよい。また、作業開始検知部300は、作業対象が特定された状態で、駆動部24(モータ)が動作(回転)していることを駆動検知部39が検知すると、作業対象に対する作業が開始したと検知してもよい。
なお、作業開始検知部300は、トリガスイッチ221の操作信号、押圧検知部28の検知信号、駆動検知部39の検知信号のうちの1つ又は複数に基づいて、作業対象に対する作業が開始したことを検知してもよい。
ここにおいて、処理部35は、特定処理における撮像画像の画像処理を停止しており、処理部35の機能を一部停止することで、工具2の消費電力を低減することができる。なお、処理部35は、作業開始検知部300が作業の開始を検知すると、撮像部5による撮影動作を更に停止させてもよく、工具2の消費電力を更に低減することができる。
また、トリガスイッチ221がオンすると、処理部35は、モータの状態が状態St4であるか否かを確認する(S70)。状態St4である場合(S70:Yes)、処理部35は、駆動部24が有するモータが回転する締付動作を許可し、モータが回転することにより締付動作が行われる(S71)。このとき、工具2の駆動制御部31は、特定された作業対象に対応する目標トルク値がトルク設定値となるように、駆動部24を制御する。締付動作が完了することにより処理を終了する。
ここで、処理部35は、作業対象に対する作業が終了したか否かを検知する(S73)。処理部35は、例えば、押圧検知部28が検知した圧力に基づいて、工具2を作業対象に押し当てる状態が終了したと検知すると(S73:Yes)、特定処理を停止するロック状態を解除して(S74)、動作を終了する。つまり、処理部35は、特定処理を停止した後で、押圧状態が終了したことを押圧検知部28が検知すると、特定処理を停止するロック状態を解除する。押圧状態が終了すれば、作業対象に対する作業が終了しているので、処理部35は、新たな作業対象を特定する特定処理を再開することができる。また、特定処理を停止した後で、押圧状態が終了するまではロック状態が継続するので、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム1の消費電力を低減することができる。
なお、処理部35は、押圧検知部28が検知した圧力に基づいて、工具2を作業対象に押し当てる状態が終了したと検知したタイミングから所定の停止時間が経過した後に、特定処理を停止するロック状態を解除してもよい。つまり、処理部35は、特定処理を停止してから所定の停止時間が経過すると、特定処理を停止するロック状態を解除してもよい。これにより、作業対象に対する作業が行われている可能性が高い停止期間では特定処理を停止することで、工具システム1の消費電力を低減することできる。
また、ステップS73において、駆動部24(モータ)が動作(回転)を停止したことを駆動検知部39が検知すると、処理部35が、作業対象に対する作業が終了したと検知してもよい。この場合、処理部35は、駆動部24の停止を検知したタイミング、又は駆動部24の停止を検知したタイミングから一定時間(停止時間)が経過した後に、特定処理を停止するロック状態を解除すればよい。つまり、処理部35は、特定処理を停止した後で、駆動部24の動作が停止したことを駆動検知部39が検知すると、特定処理を停止するロック状態を解除すればよい。駆動部24の動作が停止すれば、作業対象に対する作業が終了しているので、処理部35は、新たな作業対象を特定する特定処理を再開することができる。また、特定処理を停止した後で、駆動部24が動作を停止するまではロック状態が継続するので、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム1の消費電力を低減することができる。
また、ステップS73において、工具2から作業対象に対する作業が終了したことを示す作業完了信号が処理部35に入力されると、処理部35が、作業対象に対する作業が終了したと検知してもよい。この場合、処理部35は、作業完了信号が入力されたタイミング、又は作業完了信号が入力されたタイミングから一定時間(停止時間)が経過した後に、特定処理を停止するロック状態を解除すればよい。つまり、処理部35は、特定処理を停止した後で、工具2から作業の完了を通知する作業完了信号が入力されると、特定処理を停止するロック状態を解除すればよい。処理部35は、作業完了信号が入力されるとロック状態を解除するので、新たな作業対象を特定する特定処理を再開することができる。また、特定処理を停止した後で、作業完了信号が入力されるまではロック状態が継続するので、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム1の消費電力を低減することができる。
一方、ステップS70においてモータの状態が状態St4でない場合、つまり状態St3の場合(S70:No)、処理部35は、通知部211を赤色で点灯させる等の警告動作を行い(S72)、動作を終了する。なお、駆動部24が有するモータは回転しない。
なお、図4~図7に示すフローチャートは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。
(4)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
また、本開示における種々のパラメータと各閾値との比較において、閾値等の設定次第で任意に変更できるため、「以上」か「より大きい」かに技術上の差異はない。同様に、本開示における種々のパラメータと各閾値との比較において、「以下」か「より小さい」かに技術上の差異はない。
また、上記実施形態に係る工具システム1と同等の機能は、作業対象特定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る作業対象特定方法は、特定処理ステップと、作業開始検知ステップ、とを含む。特定処理ステップでは、可搬型の工具2に搭載されている撮像部5が作業対象を撮影した撮像画像の画像処理を行い、作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する。工具2は、動力源からの動力により動作する駆動部24を有する。作業開始検知ステップでは、特定処理ステップにより作業対象が1以上の対象物のいずれかと特定された状態で、作業対象に対する作業が開始したことを検知する。作業開始検知ステップで作業の開始を検知すると、特定処理ステップにおける撮像画像の画像処理を停止する。一態様に係るプログラムは、コンピュータシステムに、上記の作業対象特定方法を実行させるためのプログラムである。
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
工具システム1は、撮像部5をステレオカメラ形式として、撮像部5で撮像する画像に基づいて撮像部5と作業対象との間の距離を測定するようにしてもよい。そして、セット検知部34は、基準距離から、撮像部5と作業対象との間の距離を差し引いた値の絶対値が閾値以下である場合に、工具2が作業対象にセットされている状態を検知するようにしてもよい。
処理部35が特定処理を行う際、動作情報に基づいて、撮像画像及び基準画像の少なくとも一方に回転補正や歪み補正を行うようにしてもよい。本開示の「歪み補正」とは、撮像画像(基準画像)を部分的に任意の量だけ伸縮させることにより、撮像画像を補正することである。例えば、処理部35は、長方形の被写体が台形のように映った撮像画像について歪み補正を施すことにより、被写体が長方形に映った撮像画像を得ることができる。
「所定の姿勢」とは、工具動作検知部26によって検知される工具2の姿勢の3軸のうちいずれかの軸周りにおける回転角度と、基準姿勢の回転角度との角度差が閾値以下である姿勢であってもよい。
なお、上記の実施形態では、セット検知部34が、工具動作検知部26、距離測定部27、及び押圧検知部28の検知結果に基づいて工具2に作業対象がセットされている状態であるか否かを検知しているが、工具動作検知部26、距離測定部27、及び押圧検知部28の1つ又は複数に基づいて工具2に作業対象がセットされている状態であるか否かを検知してもよい。すなわち、工具2が工具動作検知部26、距離測定部27、及び押圧検知部28を全て備えることは必須ではなく、工具動作検知部26、距離測定部27、及び押圧検知部28のうちの1つ又は複数を備えていればよい。例えばセット検知部34は、工具動作検知部26の検知結果に基づいて工具2に作業対象がセットされている状態であるか否かを検知してもよく、この場合には距離測定部27及び押圧検知部28は適宜省略可能である。
上記の実施形態では、特定処理により特定されたセット作業対象が、作業手順で決められた次の作業対象と一致しない場合、処理部35は、トリガスイッチ221が引かれても駆動部24を動作させないように構成されているが、処理部35の動作はこれに限定されない。例えば、1つのワークにおける複数の作業対象について、作業手順の順番通りに作業を行うことが必須では無い場合、処理部35は、セット作業対象の順番が作業手順から外れているか否かを判定する必要は無く、トリガスイッチ221の操作に応じて駆動部24を動作させ、セット作業対象に対する作業を行えばよい。
登録モードでの画像登録処理においては、工具動作検知部26で検知された工具2の姿勢(動作情報)についても、撮像部5で生成された基準画像に対応付けて、記憶部4(画像記憶部41)に記憶されてもよい。これにより、基準画像と工具2の姿勢とが対応付けて登録されるので、運用モードにおいて、処理部35は、撮像画像と工具2の姿勢とが特定されれば、これと同じ姿勢に対応付けられた基準画像と撮像画像とを対比すればよい。また、基準画像と対応付けられた工具2の姿勢を基準姿勢としてもよい。
また、登録モードでの画像登録処理においては、距離測定部27で検知された工具2と作業対象との間の距離(距離情報)を基準距離として、撮像部5で生成された基準画像に対応付けて、記憶部4(画像記憶部41)に記憶されてもよい。さらに、登録モードでの画像登録処理においては、押圧検知部28で検知されたグリップ部22に加えられる圧力(押し当て情報)についても、撮像部5で生成された基準画像に対応付けて、記憶部4(画像記憶部41)に記憶されてもよい。
安定判定部33は、第1のフレームと第2のフレームとの一致度(類似度)を算出し、撮像画像が安定しているか否かを判定するようにしてもよい。安定判定部33は、例えば、NCC(Normalized Cross-Correlation)を利用して、第1のフレームと第2のフレームとの一致度を算出する。
また、安定判定部33が安定判定処理を行う際、第1のフレームにおける特定領域の輝度値と、第2のフレーム及び第2のフレームより前(過去)の1以上のフレームにおける特定領域の移動平均された輝度値とを比較して、相違度を算出してもよい。安定判定部33による安定判定処理の負荷は増大するが、安定判定処理の精度が向上するという利点がある。
また、安定判定部33は、第1のフレームに対して、第2のフレームを含む他のフレームをテンプレートデータとしたパターン認識処理を行うことで、安定判定処理を行ってもよい。
本開示における工具システム1又は作業対象特定方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム1又は作業対象特定方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1又は複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1又は複数の電子回路で構成される。
また、工具システム1における複数の機能が、1つの筐体内に集約されていることは工具システム1に必須の構成ではなく、工具システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、工具システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
また、撮像部5は、ボディ20の胴体部21に限らず、例えば、ボディ20の装着部23、又は電池パック201等に設けられていてもよい。同様に、制御部3a,3b及び記憶部4等の配置についても、適宜変更可能である。また、工具2が撮像部5を備えていてもよい。
また、作業対象特定システム10が、工具2に対して外付けされていてもよい。この場合、工具2の制御部3aと、作業対象特定システム10の制御部3bとは、直接電気的に接続されていてもよいし、通信部を介して通信を行うようにしてもよい。この場合、通信部は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用するようにしてもよい。また、作業対象特定システム10が電池パック201とは異なる動力源を含むようにし、電池パック201とは異なる動力源を撮像部5や制御部3b等の動力源としてもよい。
また、安定判定部33は、撮像画像が安定していると判定した場合、安定情報をセット検知部34にだけ出力してもよい。
処理部35は、安定判定部33から出力される安定情報を受け取っていなくとも、セット検知部34から出力されるセット検知情報を受け取ってさえいれば、特定処理を含む所定の処理を行ってもよい。
工具システム1の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。
また、上記実施形態では、工具2がインパクトレンチである場合を説明したが、工具2はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具2は、例えば、ねじ(締付部品)の締付作業に用いられるドライバ(インパクトドライバを含む)であってもよい。この場合、ソケット242の代わりに、ビット(例えばドライバビット等)が工具2に取り付けられる。さらに、工具2は、電池パック201を動力源とする構成に限らず、交流電源(商用電源)を動力源とする構成であってもよい。また、工具2は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気(動力)で動作するエアモータ(駆動部)を有するエア工具であってもよい。
また、上記実施形態では、1つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。作業対象が複数の締付対象箇所を有するモジュール等である場合、1つの作業対象における複数の締付箇所に対応する目標トルク値は、互いに同じ値であってもよいし、互いに異なる値であってもよい。
また、通知部211は、LED等の発光部に限らず、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部211は、表示以外の手段で通知(提示)を行ってもよく、例えば、音(音声を含む)を発生させるスピーカ又はブザー等で構成されていてもよい。この場合、通知制御部36は、処理部35の判定結果が不一致である場合と、処理部35がセット作業対象を特定した場合とで、通知部211から異なる音を発生させることが好ましい。また、通知部211は、振動を発生するバイブレータ、又は工具2の外部端末(携帯端末等)に通知信号を送信する送信機等で実現されてもよい。さらには、通知部211は、表示、音、振動又は通信等の機能のうちの2つ以上の機能を併せ持っていてもよい。
また、記憶部4には、複数の作業対象に対して、予め決められた作業手順のデータが記憶されていてもよい。処理部35は、作業手順に基づいて、複数の基準画像のうち特定処理に用いる基準画像を選択する。具体的には、処理部35は、複数の基準画像のうち、作業手順が直近の作業対象に対応する基準画像を優先的に選択する。直近の作業対象は、最後に特定した作業対象の次に作業予定の作業対象である。処理部35は、選択した基準画像をテンプレートデータとして撮像画像と比較する画像処理を行う。つまり、処理部35は、作業手順に基づいて、撮像画像に映るセット作業対象を予測して基準画像を選択する。これにより、処理部35が、撮像画像に映るセット作業対象を特定するのに要する時間の短縮を図ることが可能となる。
(まとめ)
以上説明した実施形態等から、以下の態様が開示されている。
第1の態様の工具システム(1)では、可搬型の工具(2)と、撮像部(5)と、処理部(35)と、作業開始検知部(300)と、を備える。工具(2)は、動力源から供給される動力で動作する駆動部(24)を有する。撮像部(5)は、工具(2)に搭載されて、工具(2)の作業対象を撮影する。処理部(35)は、撮像部(5)が撮影した撮像画像の画像処理を行い、作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理を行う。作業開始検知部(300)は、特定処理により作業対象が1以上の対象物のいずれかと特定された状態で、作業対象に対する作業が開始したことを検知する。処理部(35)は、作業開始検知部(300)が作業の開始を検知すると、特定処理における撮像画像の画像処理を停止する。
この態様によれば、工具(2)が作業対象に対する作業を開始した状態では、作業対象を特定する特定処理を行う必要が無いので、特定処理における撮像画像の画像処理を停止することによって、工具システム(1)の消費電力を低減することができる。
第2の態様の工具システム(1)では、第1の態様において、処理部(35)は、作業開始検知部(300)が作業の開始を検知すると、撮像部(5)による撮影動作を更に停止させる。
この態様によれば、工具(2)が作業対象に対する作業を開始した状態では、撮像部(5)の撮影動作を停止することで、工具システム(1)の消費電力を更に低減することができる。
第3の態様の工具システム(1)は、第1又は第2の態様において、特定処理の結果を通知する通知部(211)を更に備える。
この態様によれば、工具(2)のユーザが、特定処理の結果を把握することができる。
第4の態様の工具システム(1)では、第1~第3のいずれかの態様において、作業開始検知部(300)は、作業の開始時に操作される操作ボタンからの入力信号に基づいて、作業が開始したことを検知する。
この態様によれば、作業開始検知部(300)は、ユーザが作業の開始時に操作ボタンを操作したことに基づいて作業の開始を検知することができる。
第5の態様の工具システム(1)では、第4の態様において、操作ボタンは、引込量に応じた動作量で駆動部(24)を動作させるためのトリガスイッチ(221)を含む。
この態様によれば、作業開始検知部(300)は、ユーザが作業の開始時にトリガスイッチ(221)を操作したことに基づいて作業の開始を検知することができる。
第6の態様の工具システム(1)は、第1~第5のいずれかの態様において、工具(2)が作業対象に押し当てられている押圧状態を検知する押圧検知部(28)を更に備える。作業開始検知部(300)は、特定処理で作業対象が特定された後に、押圧検知部(28)が押圧状態を検知すると、作業が開始したことを検知する。
この態様によれば、作業開始検知部(300)は、工具(2)が作業対象に押し当てられている押圧状態を押圧検知部(28)が検知した結果に基づいて、作業の開始を検知することができる。
第7の態様の工具システム(1)は、第1~第6のいずれかの態様において、駆動部(24)の動作状態を検知する駆動検知部(39)を更に備える。作業開始検知部(300)は、駆動検知部(39)の検知結果に基づいて、作業が開始したことを検知する。
この態様によれば、作業開始検知部(300)は、駆動部(24)の動作状態に基づいて、作業の開始を検知することができる。
第8の態様の工具システム(1)は、第1~第7のいずれかの態様において、工具(2)の動きを検知する工具動作検知部(26)を更に備える。処理部(35)は、工具動作検知部(26)が検知した工具(2)の動きが所定値以下である状態が所定時間継続した場合、特定処理を停止する。
この態様によれば、工具(2)の動きが所定値以下である状態が所定時間継続した場合は、作業対象に対する作業が行われていないと判断できるので、特定処理を停止することで工具システム(1)の消費電力を低減することができる。
第9の態様の工具システム(1)では、第1~第8のいずれかの態様において、処理部(35)は、特定処理を停止してから所定の停止時間が経過すると、特定処理を停止するロック状態を解除する。
この態様によれば、作業対象に対する作業が行われている可能性が高い期間では特定処理を停止することで、工具システム(1)の消費電力を低減することできる。
第10の態様の工具システム(1)は、第1~第9のいずれかの態様において、工具(2)が作業対象に押し当てられている押圧状態を検知する押圧検知部(28)を更に備える。処理部(35)は、特定処理を停止した後で、押圧状態が終了したことを押圧検知部(28)が検知すると、特定処理を停止するロック状態を解除する。
この態様によれば、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム(1)の消費電力を低減することできる。
第11の態様の工具システム(1)は、第1~第10のいずれかの態様において、駆動部(24)の動作状態を検知する駆動検知部(39)を更に備える。処理部(35)は、特定処理を停止した後で、駆動部(24)の動作が停止したことを駆動検知部(39)が検知すると、特定処理を停止するロック状態を解除する。
この態様によれば、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム(1)の消費電力を低減することできる。
第12の態様の工具システム(1)では、第1~第11のいずれかの態様において、処理部(35)は、特定処理を停止した後で、工具(2)から作業の完了を通知する作業完了信号が入力されると、特定処理を停止するロック状態を解除する。
この態様によれば、作業対象に対する作業が行われている間は特定処理を停止することで、工具システム(1)の消費電力を低減することできる。
第13の態様の作業対象特定方法は、特定処理ステップと、作業開始検知ステップ、とを含む。特定処理ステップでは、可搬型の工具(2)に搭載されている撮像部(5)が作業対象を撮影した撮像画像の画像処理を行い、作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する。工具(2)は、動力源からの動力により動作する駆動部(24)を有する。作業開始検知ステップでは、特定処理ステップにより作業対象が1以上の対象物のいずれかと特定された状態で、作業対象に対する作業が開始したことを検知する。作業開始検知ステップで作業の開始を検知すると、特定処理ステップにおける撮像画像の画像処理を停止する。
この態様によれば、工具(2)が作業対象に対する作業を開始した状態では、作業対象を特定する特定処理を行う必要が無いので、特定処理における撮像画像の画像処理を停止することによって、工具システム(1)の消費電力を低減することができる。
第14の態様のプログラムは、コンピュータシステムに、第13の態様の作業対象特定方法を実行させるためのプログラムである。
この態様によれば、工具(2)が作業対象に対する作業を開始した状態では、作業対象を特定する特定処理を行う必要が無いので、特定処理における撮像画像の画像処理を停止することによって、工具システム(1)の消費電力を低減することができる。
上記態様に限らず、実施形態に係る工具システム1の種々の構成(変形例を含む)は、作業対象特定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
第2~第12の態様に係る構成については、工具システム(1)に必須の構成ではなく、適宜省略可能である。
1 工具システム
2 工具
5 撮像部
24 駆動部
26 工具動作検知部
28 押圧検知部
35 処理部
39 駆動検知部
211 通知部
221 トリガスイッチ
300 作業開始検知部

Claims (14)

  1. 動力源から供給される動力で動作する駆動部を有する可搬型の工具と、
    前記工具に搭載されて、前記工具の作業対象を撮影する撮像部と、
    前記撮像部が撮影した撮像画像の画像処理を行い、前記作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理を行う処理部と、
    前記特定処理により前記作業対象が前記1以上の対象物のいずれかと特定された状態で、前記作業対象に対する作業が開始したことを検知する作業開始検知部、を備え、
    前記処理部は、前記作業開始検知部が作業の開始を検知すると、前記特定処理における前記撮像画像の画像処理を停止する、
    工具システム。
  2. 前記処理部は、前記作業開始検知部が作業の開始を検知すると、前記撮像部による撮影動作を更に停止させる、
    請求項1に記載の工具システム。
  3. 前記特定処理の結果を通知する通知部を更に備える、
    請求項1に記載の工具システム。
  4. 前記作業開始検知部は、前記作業の開始時に操作される操作ボタンからの入力信号に基づいて、前記作業が開始したことを検知する、
    請求項1に記載の工具システム。
  5. 前記操作ボタンは、引込量に応じた動作量で前記駆動部を動作させるためのトリガスイッチを含む、
    請求項4に記載の工具システム。
  6. 前記工具が前記作業対象に押し当てられている押圧状態を検知する押圧検知部を更に備え、
    前記作業開始検知部は、前記特定処理で前記作業対象が特定された後に、前記押圧検知部が押圧状態を検知すると、前記作業が開始したことを検知する

    請求項1に記載の工具システム。
  7. 前記駆動部の動作状態を検知する駆動検知部を更に備え、
    前記作業開始検知部は、前記駆動検知部の検知結果に基づいて、前記作業が開始したことを検知する、
    請求項1に記載の工具システム。
  8. 前記工具の動きを検知する工具動作検知部を更に備え、
    前記処理部は、前記工具動作検知部が検知した前記工具の動きが所定値以下である状態が所定時間継続した場合、前記特定処理を停止する、
    請求項1に記載の工具システム。
  9. 前記処理部は、前記特定処理を停止してから所定の停止時間が経過すると、前記特定処理を停止するロック状態を解除する、
    請求項1に記載の工具システム。
  10. 前記工具が前記作業対象に押し当てられている押圧状態を検知する押圧検知部を更に備え、
    前記処理部は、前記特定処理を停止した後で、前記押圧状態が終了したことを前記押圧検知部が検知すると、前記特定処理を停止するロック状態を解除する、
    請求項1に記載の工具システム。
  11. 前記駆動部の動作状態を検知する駆動検知部を更に備え、
    前記処理部は、前記特定処理を停止した後で、前記駆動部の動作が停止したことを前記駆動検知部が検知すると、前記特定処理を停止するロック状態を解除する、
    請求項1に記載の工具システム。
  12. 前記処理部は、前記特定処理を停止した後で、前記工具から前記作業の完了を通知する作業完了信号が入力されると、前記特定処理を停止するロック状態を解除する、
    請求項1に記載の工具システム。
  13. 動力源からの動力により動作する駆動部を有する可搬型の工具に搭載されている撮像部が作業対象を撮影した撮像画像の画像処理を行い、前記作業対象が、予め登録された1以上の対象物のいずれかと一致するか否かを特定する特定処理ステップと、
    前記特定処理ステップにより前記作業対象が前記1以上の対象物のいずれかと特定された状態で、前記作業対象に対する作業が開始したことを検知する作業開始検知ステップ、とを含み、
    前記作業開始検知ステップで作業の開始を検知すると、前記特定処理ステップにおける前記撮像画像の画像処理を停止する、
    作業対象特定方法。
  14. コンピュータシステムに、請求項13に記載の作業対象特定方法を実行させるための
    プログラム。
JP2022128299A 2022-08-10 2022-08-10 工具システム、作業対象特定方法及びプログラム Pending JP2024025113A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022128299A JP2024025113A (ja) 2022-08-10 2022-08-10 工具システム、作業対象特定方法及びプログラム
PCT/JP2023/025174 WO2024034302A1 (ja) 2022-08-10 2023-07-06 工具システム、作業対象特定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022128299A JP2024025113A (ja) 2022-08-10 2022-08-10 工具システム、作業対象特定方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2024025113A true JP2024025113A (ja) 2024-02-26

Family

ID=89851389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022128299A Pending JP2024025113A (ja) 2022-08-10 2022-08-10 工具システム、作業対象特定方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2024025113A (ja)
WO (1) WO2024034302A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140259599A1 (en) * 2013-03-15 2014-09-18 Honda Motor Co., Ltd. Torque gun with vision system
EP3730250A1 (de) * 2019-04-24 2020-10-28 Adolf Würth GmbH & Co. KG Verfahren zur gefahrenabschaltung von handgeführten werkzeugen und handgeführtes werkzeug
JP2021074811A (ja) * 2019-11-06 2021-05-20 パナソニックIpマネジメント株式会社 工具システム、工具管理方法及びプログラム
JP7142247B2 (ja) * 2020-06-30 2022-09-27 パナソニックIpマネジメント株式会社 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP7336669B2 (ja) * 2020-07-14 2023-09-01 パナソニックIpマネジメント株式会社 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム

Also Published As

Publication number Publication date
WO2024034302A1 (ja) 2024-02-15

Similar Documents

Publication Publication Date Title
JP7142247B2 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP2021175593A (ja) 工具システム
US11762365B2 (en) Tool system
US20230121849A1 (en) Tool system, tool management method, and program
WO2022014228A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP7008204B2 (ja) 工具システム、画像処理方法、及びプログラム
JP7065343B2 (ja) 工具制御方法、プログラム、工具制御システム、及び工具
WO2021229972A1 (ja) 工具システム、工具、基準画像生成方法及びプログラム
WO2021090650A1 (ja) 工具システム、基準画像生成方法及びプログラム
WO2022004133A1 (ja) 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JP7458018B2 (ja) 工具システム、工具管理方法及びプログラム
WO2024034302A1 (ja) 工具システム、作業対象特定方法及びプログラム
JP7486071B2 (ja) 工具システム、工具、基準画像生成方法及びプログラム
WO2021090649A1 (ja) 工具システム、工具管理方法及びプログラム
WO2022259687A1 (ja) 工具システム、判定システム、判定方法及びプログラム
JP2023113486A (ja) 撮像システム、工具システム、設定方法及びプログラム
US20230315058A1 (en) Decision system, decision method, and non-transitory storage medium
US20240116150A1 (en) Electric tool system