(本開示に至る経緯)
車両に使用されるコネクタは、一対の機構(例えば、雄コネクタおよび雌コネクタ)を有し、この一対の機構が嵌合することで車両内の各電気系統を電気的に接続可能にする。近年、車両に搭載される機器の電子化に伴い、1車両あたりの製造に使用されるコネクタの本数が増加しているため、コネクタの嵌合作業の効率化が求められている。
このようなコネクタは、作業者によって行われる嵌合作業により嵌合された後に、コネクタが嵌合時に発する嵌合音の有無、作業者による目視確認等によりコネクタが正常に嵌合されたか否かの嵌合確認作業が行われる。しかし、コネクタが有するロック機構(嵌合状態を保持するための機構)がロック状態にも関わらず、正常に嵌合していない半嵌合状態である場合があるため、作業者は、嵌合確認作業を複数回行う必要があり、たいへん手間だった。
従来、コネクタが正常に嵌合したか否かを判定する方法(以降、「嵌合判定方法」と表記)として、コネクタ嵌合時の音(嵌合音)をマイクで収音し、収音された嵌合音に基づいて、コネクタが正常に嵌合しているか否かを判定する方法がある。しかし、コネクタの嵌合時の振動を作業者の手に装着された加速度センサにより取得するコネクタの嵌合作業は、製造ラインで発生する様々な雑音(振動)を検出する可能性があり、嵌合状態の判定精度が低下する可能性があった。
また、他の嵌合判定方法として、コネクタの嵌合時の振動を取得し、この振動を用いて生成された判断用データと予め記憶された基準データとを比較してコネクタの嵌合状態の良否を判定する方法がある(特許文献1)。このような場合、作業者の手に装着された加速度センサは、作業者の手が周囲の治具、設備、製品等に接触した場合等の様々な振動を検出するため、コネクタの嵌合時の振動のみを検出することが困難であるという課題があった。
以下、適宜図面を参照しながら、本開示に係る嵌合検知判定システムおよび嵌合検知判定方法の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
図1を参照して、実施の形態1に係る嵌合検知判定システム100の全体構成について説明する。図1は、実施の形態1に係る嵌合検知判定システム100の全体構成例を示すブロック図である。
嵌合検知判定システム100は、一対の雄コネクタ13Aと雌コネクタ13Bとが嵌合作業により嵌合したか否かを判定するためシステムである。嵌合検知判定システム100は、振動センサ11と、送信機12と、マイク14と、端末装置P1と、を含んで構成される。
ここで、用語「嵌合」は、一対の機構部品が少なくとも物理的に接触して固定されることを意味する。また、用語「コネクタ」は、車両等に搭載される機器同士を物理的あるいは電気的に接続するために用いられる部品であって、ラッチ等の機構を用いた接続部分を含む。具体的に、本実施の形態1,2におけるコネクタは、ドアの開閉機構、一般的なロック機構等の機構部品を含んでよい。なお、以降で説明する本実施の形態1,2に係る嵌合検知判定システム100,100Aは、一例として、雄コネクタ13Aと雌コネクタ13Bとの嵌合作業において、これらの一対のコネクタのそれぞれが正常に嵌合したか否かを判定する例について説明する。なお、正常な嵌合は、一対のコネクタが電気的に接続可能に嵌合され、かつ振動等で脱落しないように機構部品がロックされた状態を示す。
センサおよび第1のセンサの一例としての振動センサ11は、圧電体に加えられた力を電圧に変換する圧電センサであって、送信機12との間で有線通信可能に接続される。振動センサ11は、コネクタ13の嵌合作業を行う作業者のいずれか一方の手、手の指、腕等に装着されて、コネクタ13の接触時の振動、あるいは嵌合時の振動等を検出する。振動センサ11は、検出された振動を圧電センサにより電圧に変換し、変換された電圧に基づく振動データを生成して、送信機12に送信する。
なお、ここでいう振動データは、圧電センサにより変換されて取得された電圧値の時系列変化を示すデータであって、振動の振幅波形(振動波形)である。
送信機12は、振動センサ11との間で有線通信可能に接続され、端末装置P1との間で無線通信可能に接続される。送信機12は、振動センサ11から送信された振動データを取得して、端末装置P1に送信する。なお、ここでいう無線通信は、例えばBluetooth(登録商標)、NFC(登録商標)等の近距離無線通信、またはWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
コネクタ13は、一対の雄コネクタ13A(図2参照)と、雌コネクタ13B(図2参照)とにより構成される。コネクタ13は、作業者により雄コネクタ13Aと雌コネクタ13Bとが嵌合され、嵌合時に所定の嵌合音を発して嵌合する。
第2のセンサの一例としてのマイク14は、端末装置P1との間で有線通信または無線通信可能に接続されて、雄コネクタ13Aと雌コネクタ13Bとが嵌合した時の嵌合音等の音声を収音し、収音された音声を音声信号に変換して端末装置P1に送信する。
端末装置P1は、送信機12との間で無線通信可能に接続され、マイク14との間で有線通信あるいは無線通信可能に接続される。端末装置P1は、送信機12から送信された振動データに基づいて、コネクタ13の嵌合判定開始のタイミングを判定する。また、端末装置P1は、送信機12から送信された振動データと、マイク14から送信された音声信号とに基づいて、コネクタ13が正常に嵌合したか否かを判定し、嵌合判定結果を出力する。端末装置P1は、通信部20と、プロセッサ21と、メモリ22と、データベースDB1と、を含んで構成される。
通信部20は、送信機12との間で無線通信可能に接続され、マイク14との間で有線通信あるいは無線通信可能に接続されて、データの送受信を実行する。通信部20は、送信機12から送信された振動データと、マイク14から送信された音声信号とをプロセッサ21に出力する。
プロセッサ21は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて構成され、端末装置P1の各部の動作を制御する。プロセッサ21は、メモリ22と協働して、各種の処理および制御を統括的に行う。具体的には、プロセッサ21は、メモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、嵌合前振動判定部21Aおよび嵌合判定部21Bである。
嵌合前振動判定部21Aは、送信機12から送信された振動データ(振動波形)に基づいて、雄コネクタ13Aと雌コネクタ13Bとの先端部が接触した時の接触振動、あるいは、接触してから嵌合が完了するまでの摩擦振動に対応する振動が検出されたか否かを判定する。なお、以降の説明では、上述した雄コネクタ13Aと雌コネクタ13Bとの嵌合が完了するまでに生じる接触振動および摩擦振動等の振動を「嵌合前振動」と称する。嵌合前振動判定部21Aは、振動データを解析し、嵌合前振動に対応する嵌合前振動波形を検出したと判定した場合、嵌合判定の開始を要求する制御指令を生成して、嵌合判定部21Bに出力する。
嵌合判定部21Bは、嵌合前振動判定部21Aから出力された制御指令に基づいて、嵌合前振動判定部21Aが嵌合前振動波形を検出したと判定したタイミングから嵌合判定処理を開始する。嵌合判定部21Bは、送信機12から送信された振動データ(振動波形)に基づく第1の嵌合判定処理と、マイク14から送信された音声信号(嵌合音波形)とに基づく第2の嵌合判定処理とをそれぞれ実行する。嵌合判定部21Bは、第1,第2の嵌合判定処理の結果に基づいて、コネクタ13の嵌合判定を実行して嵌合判定結果を出力する。
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ21の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。メモリ22は、第1,第2の嵌合判定処理に用いられる各種データ(コネクタの嵌合前振動の判定に用いられる嵌合振動波形データ、閾値等)、学習済みデータ等を記録する。
データベースDB1は、例えばHDD(Hard Disk Drive)あるいはSSD(Solid State Drive)等の記憶デバイスを用いて構成される。データベースDB1は、送信機12から送信された振動データ、マイク14から送信された音声信号等を対応付けて記録する。
図2を参照して、コネクタ13の嵌合動作について説明する。図2は、コネクタ13の嵌合動作を説明する図である。なお、図2に示すコネクタ13の構造は、一例であってこれに限定されないことは言うまでもない。
本実施の形態1,2におけるコネクタ13は、雄コネクタ13Aおよび雌コネクタ13Bのように一対の嵌合構造を有するコネクタが嵌合することで、一対のコネクタのそれぞれの接続元である電気機器が互いに電気的に接続可能な構造であればよい。また、雄コネクタ13Aおよび雌コネクタ13Bのそれぞれが有する嵌合状態の保持するためのロック機構は、一例であってこれに限定されない。ロック機構は、例えば、凹部と凸部とを有する機構であってもよい。
雄コネクタ13Aは、先端部の凸部135Aが雌コネクタ13Bの凹部132Bに嵌合することにより、雌コネクタ13Bの接続元である電気機器(不図示)と、雄コネクタ13Aの接続元である電気機器(不図示)とを電気的に接続する。雄コネクタ13Aは、雌コネクタ13Bとの嵌合状態を保持するためのロック機構131Aを有する。
ロック機構131Aは、ラッチ突起部132Aと、ラッチ梁部133Aと、ラッチ操作部134Aとが一体となって構成される。ラッチ突起部132Aは、雌コネクタ13Bが有する突起部131Bに係止して、雄コネクタ13Aと雌コネクタ13Bとの嵌合状態を保持する。ラッチ梁部133Aは、一方にラッチ突起部132A、他方にラッチ操作部134Aのそれぞれを有し、ラッチ突起部132Aとラッチ操作部134Aとの間を接続する。ラッチ操作部134Aは、作業者により押下されると、ラッチ梁部133Aを通じて反対側の位置するラッチ突起部132Aを突起部131Bの上方(紙面上側)に位置するように持ち上げ、ラッチ突起部132Aと突起部131Bとの係止、あるいは係止の解除を可能にする。
雌コネクタ13Bは、先端部の凹部132Bが雄コネクタ13Aの凸部135Aに嵌合することにより、雄コネクタ13Aの接続元である電気機器(不図示)と、雌コネクタ13Bの接続元である電気機器(不図示)とを電気的に接続する。雌コネクタ13Bは、雄コネクタ13Aとの嵌合状態を保持するための突起部131Bを有する。
突起部131Bは、ラッチ突起部132Aと係止することで、雄コネクタ13Aと雌コネクタ13Bとの嵌合状態を保持するための係合突起である。
以下、作業者により行われる嵌合作業について説明する。
まず、作業者は、嵌合作業の対象である一対の雄コネクタ13Aと雌コネクタ13Bとを手に取り、一対の雄コネクタ13Aおよび雌コネクタ13Bのそれぞれの先端部(つまり、凸部135Aと凹部132B)を接触させる。なお、このような接触状態において、一対の雄コネクタ13Aおよび雌コネクタ13Bのそれぞれは、雄コネクタ13Aのラッチ突起部132Aと、雌コネクタ13Bの突起部131Bとが干渉して嵌合しない。
次に、作業者は、ラッチ突起部132Aが突起部131Bに干渉しない位置(つまり、突起部131Bの上方)まで持ち上がるようにラッチ操作部134Aを押下し、ラッチ操作部134Aを押下したまま、雄コネクタ13Aと雌コネクタ13Bとをさらに接近させる。これにより、作業者は、ラッチ操作部134Aが突起部131Bを越え、雄コネクタ13Aの凸部135Aと雌コネクタ13Bの凹部132Bとを嵌合状態にする。ラッチ突起部132Aは、ラッチ操作部134Aへの作業者による押下操作が終わると、凸部135Aが凹部132Bに嵌合する位置で突起部131Bに係止された状態となり、雄コネクタ13Aと雌コネクタ13Bとの嵌合状態を保持する。
図3を参照して、実施の形態1における端末装置P1の動作手順について説明する。図3は、実施の形態1における端末装置P1の動作手順例を示すフローチャートである。
端末装置P1は、振動センサ11により取得され、送信機12から送信された振動データを取得する(St10)。
端末装置P1は、取得された振動データを解析し、作業者が一対の雄コネクタ13Aおよび雌コネクタ13Bのそれぞれの先端部(つまり、凸部135Aと凹部132B)を接触させた時の接触振動、あるいは一対の雄コネクタ13Aおよび雌コネクタ13Bのそれぞれの嵌合が開始されて、雄コネクタ13Aの凸部135Aと雌コネクタ13Bの凹部132Bとの摩擦による摩擦振動を示す嵌合前振動波形(例えば、図4に示す嵌合前振動波形WV21)が検出されたか否かを判定する(St11)。
端末装置P1は、ステップSt11の処理において、嵌合前振動波形が検出されたと判定した場合(St11,YES)、ステップSt12AおよびステップSt12Bの処理に移行して、第1の嵌合判定処理と第2の嵌合判定処理とを開始する。端末装置P1は、振動センサ11により取得され、送信機12から送信された振動データ(つまり、嵌合振動の振動データ)を継続して取得する(St12A)。また、端末装置P1は、マイク14から送信された音声信号(つまり、コネクタ13の嵌合音に基づく音声信号)の取得を開始する(St12B)。
一方、端末装置P1は、ステップSt11の処理において、嵌合前振動波形が検出されないと判定した場合(St11,NO)、ステップSt10の処理に移行し、再度、送信機12から送信された振動データを取得する(St10)。
端末装置P1は、第1の嵌合判定処理として、振動データを解析し、雄コネクタ13Aと雌コネクタ13Bとの嵌合時の嵌合振動波形(例えば、図4,図5に示す嵌合振動波形WV22)を検出する(St13A)。
端末装置P1は、第2の嵌合判定処理として、音声信号を解析し、雄コネクタ13Aと雌コネクタ13Bとの嵌合時の嵌合音に対応する嵌合振動波形(例えば、図4,図5に示す嵌合振動波形WV11)を検出する(St13B)。
端末装置P1は、第1の嵌合判定処理の判定結果と、第2の嵌合判定処理の判定結果とに基づいて、嵌合総合判定を実行する(St14)。端末装置P1は、第1の嵌合判定処理および第2の嵌合判定処理のそれぞれで嵌合振動波形が検出されたか否かを判定する。また、端末装置P1は、第1の嵌合判定処理で嵌合振動波形が検出された時間と、第2の嵌合判定処理で嵌合振動波形が検出された時間とを比較し、これらの時間差が、例えば、所定時間(例えば、0.5秒、1秒)以内であると判定した場合、コネクタ13が正常に嵌合したと判定する。
端末装置P1は、嵌合総合判定の結果、第1の嵌合判定処理および第2の嵌合判定処理でともに嵌合振動波形を検出し、かつ、これらの時間差が所定時間以内であると判定した場合、コネクタ13が正常に嵌合した旨の通知を生成して出力する(St15)。一方、端末装置P1は、嵌合総合判定の結果、第1の嵌合判定処理および第2の嵌合判定処理のいずれか一方で嵌合振動波形を検出していないと判定した場合、あるいは、これらの時間差が所定時間以内でないと判定した場合、コネクタ13が正常に嵌合していない旨の通知を生成して出力する(St15)。
以上により、実施の形態1における端末装置P1は、嵌合前振動波形を検出したタイミングから嵌合判定(つまり、第1の嵌合判定および第2の嵌合判定)を実行することにより、作業者の周囲の環境音、他の要因(例えば、作業者の手と周囲の障害物との接触等)による作業者の手の振動に基づくコネクタ13の嵌合判定をより効果的に抑制し、コネクタ13の嵌合判定精度を向上させることができる。これにより、端末装置P1は、作業者によるコネクタ13の嵌合判定をより効率的に行えるように支援できる。
図4および図5を参照して、端末装置P1によって実行されるコネクタ13の嵌合判定について説明する。図4は、嵌合音波形WV1および振動波形WV2の一例を示す図である。図5は、嵌合判定開始前後の嵌合音波形WV1および振動波形WV2の拡大図である。
嵌合音波形WV1は、マイク14により収音された音声に基づく音声信号を用いて、端末装置P1により生成される。振動波形WV2は、振動センサ11により検出された振動に基づく振動データを用いて、端末装置P1により生成される。
端末装置P1は、ステップSt11の処理において、振動波形WV2から嵌合前振動波形WV21を検出する。なお、嵌合前振動波形WV21の検出方法は、公知の方法が用いられてよく、例えば事前に登録されたコネクタごとの嵌合前振動波形との比較により実行されてもよいし、嵌合音波形の振動の大きさを示す電圧値、音圧値(音圧レベル)等が所定値以上であるか否かの判定により実行されてもよいし、学習済みモデル等を用いた波形解析により実行されてもよい。
端末装置P1は、振動波形WV2から嵌合前振動波形WV21を検出したタイミング(図4に示す時間t10)から、コネクタ13の嵌合判定処理を開始する。端末装置P1は、時間t10以降の振動波形WV2から嵌合振動波形WV22を検出する第1の嵌合判定処理と、時間t10以降の嵌合音波形WV1から嵌合振動波形WV11を検出する第2の嵌合判定処理と、を実行する。
端末装置P1は、第1の嵌合判定処理で嵌合振動波形WV22が検出された時間と、第2の嵌合判定処理で嵌合振動波形WV11が検出された時間との時間差が所定時間(例えば、0.5秒、1秒)以内であると判定した場合、コネクタ13が正常に嵌合したと判定する。なお、図4,図5に示す例において、端末装置P1は、第1の嵌合判定処理および第2の嵌合判定処理のそれぞれで時間t11に嵌合振動波形を検出した例を示す。また、この時間t11における嵌合音波形WV1および振動波形WV2のそれぞれの拡大図を図5に示す。
以上により、実施の形態1における端末装置P1は、第1の嵌合判定処理と第2の嵌合判定処理とで略同じ時間(つまり、所定時間以内)に嵌合振動波形が検出された場合に、コネクタ13が正常に嵌合したと判定するため、作業者の周囲で発生する環境音、作業者の手が障害物に接触した時の他の振動等による誤判定、嵌合判定精度の低下を効率的に抑制できる。
以上により、実施の形態1に係る嵌合検知判定システム100は、一対のコネクタ(つまり、雄コネクタ13Aおよび雌コネクタ13B)を嵌合させる嵌合作業を行う作業者の手または腕に装着され、振動を検出する振動センサ11(第1のセンサの一例)と、一対のコネクタから発生する音を収音するマイク14(第2のセンサの一例)と、振動センサ11およびマイク14との間で互いに通信可能であって、振動に基づく振動波形WV2(第1の振動波形の一例)と音に基づく嵌合音波形WV1(第2の振動波形の一例)とを用いて、コネクタが嵌合しているか否かを判定する端末装置P1と、を備える。端末装置P1は、振動波形WV2(第1の振動波形)から嵌合前振動波形WV21(所定の振動波形の一例)が検出されたと判定した場合、コネクタ13が嵌合しているか否かの判定を開始する。
これにより、実施の形態1に係る嵌合検知判定システム100は、振動センサ11により検出された振動に基づく振動波形WV2から、一対のコネクタ(つまり、雄コネクタ13Aおよび雌コネクタ13B)が接触した接触振動、あるいは接触してから嵌合するまでの間の摩擦振動等に対応する嵌合前振動波形WV21を検出できる。したがって、実施の形態1に係る嵌合検知判定システム100は、嵌合前振動波形WV21を検出したタイミングで、一対のコネクタの嵌合判定を開始できるため、嵌合判定処理を実行する時間を短縮して、嵌合判定処理に要する処理負荷を効果的に抑制したり、作業者の周囲で発生している環境音、他のコネクタの嵌合音等の嵌合判定処理に不要な雑音(振動)の検出をより効果的に抑制したりできる。
また、以上により、実施の形態1に係る嵌合検知判定システム100における端末装置P1は、振動波形WV2(第1の振動波形)から嵌合前振動波形WV21(所定の振動波形)が検出されたと判定したタイミング以降の振動波形WV2(第1の振動波形)と嵌合音波形WV1(第2の振動波形)とに基づいて、コネクタ13が嵌合しているか否かを判定する。これにより、実施の形態1に係る嵌合検知判定システム100は、嵌合前振動波形WV21を検出したタイミングで、一対のコネクタの嵌合判定を開始できるため、作業者の周囲で発生している環境音、他のコネクタの嵌合音等の嵌合判定処理に不要な雑音(振動)等の検出をより効率的に抑制して、嵌合判定精度を向上させることができる。
また、以上により、実施の形態1に係る嵌合検知判定システム100における端末装置P1によって検出される所定の振動波形は、一対のコネクタ同士(つまり、雄コネクタ13Aおよび雌コネクタ13B)が接触する時に発生する嵌合前振動波形WV21である。これにより、実施の形態1に係る嵌合検知判定システム100は、作業者がコネクタ13の嵌合作業を開始したことを示す一対のコネクタ(つまり、雄コネクタ13Aおよび雌コネクタ13B)が接触した接触振動、あるいは接触してから嵌合するまでの間の摩擦振動等に対応する嵌合前振動波形WV21を検出できる。
また、以上により、実施の形態1に係る嵌合検知判定システム100における端末装置P1は、振動波形WV2(第1の振動波形)から一対のコネクタの嵌合時に発生する嵌合振動波形WV22が検出された第1の検出時間(例えば、図4に示す時間t11)と、嵌合音波形WV1(第2の振動波形)から嵌合振動波形WV11が検出された第2の検出時間(例えば、図4に示す時間t11)とを計測し、第1の検出時間と第2の検出時間との時間差が所定時間(例えば、0.5秒、1秒)以内であると判定した場合、コネクタ13が嵌合していると判定する。これにより、実施の形態1に係る嵌合検知判定システム100は、略同じ時間(つまり、所定時間以内)に嵌合振動波形が検出された場合に、コネクタ13が正常に嵌合したと判定するため、作業者の周囲で発生する環境音、作業者の手が障害物に接触した時の他の振動等による誤判定、嵌合判定精度の低下を効率的に抑制できる。
(実施の形態2)
実施の形態1に係る嵌合検知判定システム100は、振動センサ11により取得された振動データに基づいて、作業者によるコネクタ13の嵌合判定開始のタイミングを判定する例を示した。実施の形態2に係る嵌合検知判定システム100Aは、カメラ16により撮像された撮像画像に基づいて、作業者によるコネクタ13の嵌合判定開始のタイミングを判定する例について説明する。
図6を参照して、実施の形態2に係る嵌合検知判定システム100Aの全体構成について説明する。図6は、実施の形態2に係る嵌合検知判定システム100Aの全体構成例を示すブロック図である。なお、図6に示す実施の形態2に係る嵌合検知判定システム100Aの全体構成は、実施の形態1に係る嵌合検知判定システム100と同様の構成に同一の符号を付与し、説明を省略する。
実施の形態2に係る嵌合検知判定システム100Aは、振動センサ11と、送信機12と、手袋15A,15Bのそれぞれと、カメラ16と、端末装置P2と、を含んで構成される。
手袋15A,15Bのそれぞれは、それぞれ異なる色の手袋であって、嵌合作業を行う作業者の両手に着用される。なお、手袋15A,15Bのそれぞれは、2つの手袋15A,15Bのそれぞれを識別可能なマーカが付与されていてもよい。
カメラ16は、端末装置P2との間で有線通信または無線通信可能に接続される。カメラ16は、少なくともレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged-Coupled Device)あるいはCMOS(Complementary Metal-Oxide-Semiconductor)等の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラ16は、撮像された撮像画像を端末装置P2に送信する。
端末装置P2は、送信機12との間で無線通信可能に接続され、カメラ16との間で有線通信あるいは無線通信可能に接続される。端末装置P2は、カメラ16から送信された撮像画像に基づいて、コネクタ13の嵌合判定開始のタイミングを判定する。また、端末装置P2は、送信機12から送信された振動データ、あるいは振動データおよびカメラ16から送信された撮像画像に基づいて、コネクタ13が正常に嵌合したか否かの嵌合判定を実行し、嵌合判定結果を出力する。端末装置P2は、通信部30と、プロセッサ31と、メモリ32と、データベースDB2と、を含んで構成される。
通信部30は、送信機12との間で無線通信可能に接続され、カメラ16との間で有線通信あるいは無線通信可能に接続されて、データの送受信を実行する。通信部30は、送信機12から送信された振動データと、カメラ16から送信された撮像画像(撮像映像)とをプロセッサ31に出力する。
プロセッサ31は、例えばCPU、DSPまたはFPGAを用いて構成され、端末装置P2の各部の動作を制御する。プロセッサ31は、メモリ32と協働して、各種の処理および制御を統括的に行う。具体的には、プロセッサ31は、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、嵌合前動作判定部31Aおよび嵌合判定部31Bである。
嵌合前動作判定部31Aは、カメラ16から送信された撮像画像に画像認識処理を実行し、作業者の両手に着用された手袋15Aと手袋15Bとの間の距離を計測する。嵌合前動作判定部31Aは、計測された距離が所定距離(例えば、数cm)以下であると判定した場合、嵌合判定の開始を要求する制御指令を生成して、嵌合判定部31Bに出力する。なお、嵌合前動作判定部31Aは、画像認識処理により手袋15A,15Bのそれぞれの色を検出して作業者の両手をそれぞれ認識してもよいし、画像認識処理を実行して手袋15A,15Bのそれぞれに付与されたマーカを検出することで作業者の両手をそれぞれ認識してもよいし、画像認識処理を実行して手袋15A,15Bをそれぞれ検出して作業者の両手をそれぞれ認識してもよい。
嵌合判定部31Bは、嵌合前動作判定部31Aから出力された制御指令に基づいて、嵌合前動作判定部31Aが手袋15Aと手袋15Bとの間の距離が所定距離以下であると判定したタイミングから嵌合判定処理を開始する。嵌合判定部31Bは、送信機12から送信された振動データ(振動波形)に基づく第3の嵌合判定処理と、カメラ16から送信された撮像画像に基づく第4の嵌合判定処理とを実行する。なお、嵌合判定部31Bは、第3の嵌合判定処理のみを実行して、コネクタ13の嵌合状態を判定してもよい。
メモリ32は、例えばプロセッサ31の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ31の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ31により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ31の動作を規定するプログラムが書き込まれている。メモリ32は、第3,第4の嵌合判定処理に用いられる各種データ(コネクタの嵌合判定に用いられる嵌合振動波形データ、閾値等)、学習済みデータ等を記録する。
データベースDB2は、例えばHDDあるいはSSD等の記憶デバイスを用いて構成される。データベースDB2は、送信機12から送信された振動データ、カメラ16から送信された撮像画像(撮像映像)を対応付けて記録する。
図7を参照して、実施の形態2における端末装置P2の動作手順について説明する。図7は、実施の形態2における端末装置P2の動作手順例を示すフローチャートである。
端末装置P2は、カメラ16によって撮像され、送信された撮像画像を取得し、取得された撮像画像に基づいて、作業者の両手に着用されている手袋15Aと手袋15Bのそれぞれを認識する画像認識処理を実行する(St20)。
端末装置P2は、画像認識処理結果に基づいて、手袋15Aと手袋15Bとの間の距離(つまり、作業者の両手の距離)を計測する(St21)。
端末装置P2は、計測された手袋15Aと手袋15Bとの間の距離が所定距離(例えば、数cm)以下であるか否かを判定する(St22)。
端末装置P2は、ステップSt22の処理において、計測された手袋15Aと手袋15Bとの間の距離が所定距離以下であると判定した場合(St22,YES)、ステップSt23AおよびステップSt23Bの処理に移行して、第3の嵌合判定処理と第4の嵌合判定処理とを開始する。端末装置P2は、振動センサ11により取得され、送信機12から送信された振動データ(つまり、嵌合振動の振動データ)の取得を開始する(St23A)。また、端末装置P2は、カメラ16から送信された撮像画像を継続して取得する(St23B)。
一方、端末装置P2は、ステップSt22の処理において、計測された手袋15Aと手袋15Bとの間の距離が所定距離以下でないと判定した場合(St22,NO)、ステップSt20の処理に移行し、再度、カメラ16から送信された撮像画像を取得して、画像認識処理を実行する(St20)。
端末装置P2は、第3の嵌合判定処理として、振動データを解析し、雄コネクタ13Aと雌コネクタ13Bとの嵌合時の嵌合振動波形(例えば、図4,図5に示す嵌合振動波形WV22)を検出する(St24A)。
端末装置P2は、第4の嵌合判定処理として、画像認識処理を実行し、雄コネクタ13Aと雌コネクタ13Bとを嵌合させる嵌合動作を検出する(St24B)。ここでいう嵌合動作は、ステップSt22の判定処理に用いられた手袋15Aと手袋15Bとの間の距離よりも、手袋15Aと手袋15Bとの間の距離が小さくなっているか否かに基づいて検出(判定)されてもよい。また、嵌合動作は、画像認識処理により認識された作業者の両手の動き(動線データ)から、コネクタ13の嵌合動作時の作業者の両手の動き(動線データ)が検出されたか否かに基づいて検出(判定)されてもよい。
端末装置P2は、第3の嵌合判定処理の判定結果と、第4の嵌合判定処理の判定結果とに基づいて、嵌合総合判定を実行する(St25)。端末装置P2は、第3の嵌合判定処理で嵌合振動波形が検出されたか否かと、第4の嵌合判定処理で嵌合動作が検出されたか否かを判定する。また、具体的に、端末装置P2は、第3の嵌合判定処理で嵌合振動波形が検出された時間と、第4の嵌合判定処理で嵌合動作が検出された時間とを比較する。端末装置P2は、比較の結果、これらの時間差が、所定時間(例えば、0.5秒、1秒)以内であると判定した場合、コネクタ13が正常に嵌合したと判定する。
端末装置P2は、嵌合総合判定の結果、第3の嵌合判定処理で嵌合振動波形が検出され、かつ、第4の嵌合判定処理で嵌合動作が検出され、さらにこれらが検出された時間が所定時間以内であると判定した場合、コネクタ13が正常に嵌合した旨の通知を生成して出力する(St26)。一方、端末装置P2は、嵌合総合判定の結果、第3の嵌合判定処理で嵌合振動波形が検出されていない、あるいは第4の嵌合判定処理で嵌合動作が検出されていない場合、コネクタ13が正常に嵌合していない旨の通知を生成して出力する(St26)。また、端末装置P2は、第3,第4の嵌合判定処理で嵌合動作が検出され、かつ、これらの時間差が所定時間以内でないと判定した場合、コネクタ13が正常に嵌合していない旨の通知を生成して出力する(St26)。
以上により、実施の形態2における端末装置P2は、作業者によるコネクタ13の嵌合前動作を検出したタイミングから嵌合判定(つまり、第3の嵌合判定および第4の嵌合判定)を実行することにより、作業者の周囲の環境音、他の要因(例えば、作業者の手と周囲の障害物との接触等)による作業者の手の振動に基づくコネクタ13の嵌合判定をより効果的に抑制し、コネクタ13の嵌合判定精度を向上させることができる。これにより、端末装置P2は、作業者によるコネクタ13の嵌合判定をより効率的に行えるように支援できる。
なお、実施の形態2における端末装置P2は、ステップSt23B、ステップSt24BおよびステップSt25の処理を省略してもよい。このような場合、端末装置P2は、ステップSt23Aにおける第3の嵌合判定処理のみを実行し、この第3の嵌合判定処理の結果に基づいて、コネクタ13が嵌合しているか否かを判定する。以下、第3の嵌合判定処理のみを実行して、コネクタ13の嵌合判定を行う手順について説明する。
端末装置P2は、ステップSt22の処理において、計測された手袋15Aと手袋15Bとの間の距離が所定距離以下であると判定した場合(St22,YES)、ステップSt23Aの処理に移行して第3の嵌合判定処理を開始する。端末装置P2は、振動センサ11により取得され、送信機12から送信された振動データ(つまり、嵌合振動の振動データ)の取得を開始する(St23A)。
一方、端末装置P2は、ステップSt22の処理において、計測された手袋15Aと手袋15Bとの間の距離が所定距離以下でないと判定した場合(St22,NO)、ステップSt20の処理に移行し、再度、カメラ16から送信された撮像画像を取得して、画像認識処理を実行する(St20)。
端末装置P2は、第3の嵌合判定処理として、振動データを解析し、雄コネクタ13Aと雌コネクタ13Bとの嵌合時の嵌合振動波形(例えば、図4,図5に示す嵌合振動波形WV22)を検出する(St24A)。
端末装置P2は、嵌合総合判定の結果、第3の嵌合判定処理で嵌合振動波形が検出されたと判定した場合、コネクタ13が正常に嵌合した旨の通知を生成して出力する(St26)。一方、端末装置P2は、嵌合総合判定の結果、第3の嵌合判定処理で嵌合振動波形が検出されていないと判定した場合、コネクタ13が正常に嵌合していない旨の通知を生成して出力する(St26)。
以上により、実施の形態2における端末装置P2は、第4の嵌合処理判定なしにコネクタ13の嵌合判定を実行できる。
以上により、実施の形態2に係る嵌合検知判定システム100Aは、一対のコネクタ(つまり、雄コネクタ13Aおよび雌コネクタ13B)を嵌合させる嵌合作業を行う作業者の手または腕に装着され、振動を検出する振動センサ11(センサの一例)と、作業者の両手を撮像可能なカメラ16と、振動センサ11およびカメラ16との間で互いに通信可能であって、振動に基づく振動波形(例えば、図4に示す振動波形WV2)を用いて、コネクタ13が嵌合しているか否かを判定する端末装置P2と、を備える。端末装置P2は、カメラ16により撮像された撮像画像に基づいて、両手を検出して、作業者の一方の手と他方の手との間の距離を計測し、計測された距離が所定距離(例えば、数cm)以下であると判定した場合、コネクタ13が嵌合しているか否かの判定を開始する。
これにより、実施の形態2に係る嵌合検知判定システム100Aは、カメラ16により撮像された撮像画像に基づいて、作業者の両手を検出し、検出された作業者の一方の手と他方の手との間の距離に基づいて、作業者の両手が所定距離以下まで近付いているか否か(つまり、作業者により一対のコネクタの嵌合作業が開始されたか否か)を判定できる。したがって、嵌合検知判定システム100Aは、作業者により一対のコネクタの嵌合作業が開始されたと判定したタイミングで一対のコネクタの嵌合判定を開始できるため、嵌合判定処理を実行する時間を短縮して、嵌合判定処理に要する処理負荷を効果的に抑制したり、作業者の周囲で発生している環境音、他のコネクタの嵌合音等の嵌合判定処理に不要な雑音(振動)の検出をより効果的に抑制したりできる。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、計測された距離が所定距離(例えば、数cm)以下であると判定したタイミング以降の振動波形(例えば、図4に示す振動波形WV2)に基づいて、コネクタ13が嵌合しているか否かを判定する。これにより、実施の形態2に係る嵌合検知判定システム100Aは、作業者の両手が所定距離以下まで近付いた(つまり、作業者により一対のコネクタの嵌合作業が開始された)タイミングで、一対のコネクタの嵌合判定を開始できるため、作業者の周囲で発生している環境音、他のコネクタの嵌合音等の嵌合判定処理に不要な雑音(振動)等の検出をより効率的に抑制して、嵌合判定精度を向上させることができる。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、撮像画像に基づいて、作業者による一対のコネクタの嵌合動作を検出し、計測された距離が所定距離(例えば、数cm)以下であると判定したタイミング以降の振動波形(例えば、図4に示す振動波形WV2)と撮像画像に基づく嵌合動作の有無とに基づいて、コネクタ13が嵌合しているか否かを判定する。これにより、実施の形態2に係る嵌合検知判定システム100Aは、振動波形(例えば、図4に示す振動波形WV2)だけでなく、作業者の動作解析の結果(つまり、嵌合動作の有無)を用いて一対のコネクタの嵌合判定を実行できるため、嵌合判定精度を向上させることができる。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、振動波形(例えば、図4に示す振動波形WV2)から一対のコネクタの嵌合時に発生する嵌合振動波形(例えば、図4に示す嵌合振動波形WV22)が検出された第1の検出時間(例えば、図4に示す時間t11)と、嵌合動作が検出された第2の検出時間(不図示)とを計測し、第1の検出時間と第2の検出時間との時間差が所定時間(例えば、0.5秒、1秒)以内であると判定した場合、コネクタ13が嵌合していると判定する。これにより、実施の形態2に係る嵌合検知判定システム100Aは、略同じ時間(つまり、所定時間以内)に嵌合振動波形と嵌合動作とが検出された場合に、コネクタ13が正常に嵌合したと判定するため、作業者の周囲で発生する環境音、作業者の手が障害物に接触した時の他の振動等による誤判定、嵌合判定精度の低下を効率的に抑制できる。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおけるカメラ16は、作業者の両手のそれぞれに着用された異なる色の手袋15A,15Bを撮像する。端末装置P2は、撮像された撮像画像から異なる色の手袋15A,15Bをそれぞれ検出して距離を計測する。これにより、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、手袋15A,15Bの色に基づいて、作業者の両手のそれぞれをより的確に検出できる。端末装置P2は、検出された手袋15Aと手袋15Bとの間の距離に基づいて、作業者の両手が所定距離以下まで近付いているか否か(つまり、作業者により一対のコネクタの嵌合作業が開始されたか否か)を判定できる。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおけるカメラ16は、作業者の両手のそれぞれに着用され、所定のマーカ(不図示)を有する手袋15A,15Bを撮像する。端末装置P2は、カメラ16により撮像された撮像画像から所定のマーカを検出して、距離を計測する。これにより、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、手袋15A,15Bのそれぞれが有する所定のマーカに基づいて、作業者の両手をより的確に検出できる。端末装置P2は、検出された手袋15Aと手袋15Bとの間の距離に基づいて、作業者の両手が所定距離以下まで近付いているか否か(つまり、作業者により一対のコネクタの嵌合作業が開始されたか否か)を判定できる。なお、マーカは、手袋15Aと手袋15Bとで同一のマーカであってもよいし、それぞれ異なるマーカであってもよい。また、マーカは、作業者を識別可能に作業者ごとに決まったマーカであってもよい。
また、以上により、実施の形態2に係る嵌合検知判定システム100Aにおけるカメラ16は、作業者の両手のそれぞれに着用された手袋15A,15Bを撮像する。端末装置P2は、撮像された撮像画像を用いて画像認識を行い、手袋15A,15Bを検出して距離を計測する。これにより、実施の形態2に係る嵌合検知判定システム100Aにおける端末装置P2は、カメラ16により撮像された撮像画像に基づいて、作業者の両手に着用された手袋15A,15Bを検出し、検出された手袋15Aと手袋15Bとの間の距離に基づいて、作業者の両手が所定距離以下まで近付いているか否か(つまり、作業者により一対のコネクタの嵌合作業が開始されたか否か)を判定できる。
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。