JP6113631B2 - 作業確認システム - Google Patents

作業確認システム Download PDF

Info

Publication number
JP6113631B2
JP6113631B2 JP2013237595A JP2013237595A JP6113631B2 JP 6113631 B2 JP6113631 B2 JP 6113631B2 JP 2013237595 A JP2013237595 A JP 2013237595A JP 2013237595 A JP2013237595 A JP 2013237595A JP 6113631 B2 JP6113631 B2 JP 6113631B2
Authority
JP
Japan
Prior art keywords
work
image data
image processing
component
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013237595A
Other languages
English (en)
Other versions
JP2015099022A (ja
Inventor
智司 小倉
智司 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Mitsubishi Electric Industrial Systems Corp
Priority to JP2013237595A priority Critical patent/JP6113631B2/ja
Publication of JP2015099022A publication Critical patent/JP2015099022A/ja
Application granted granted Critical
Publication of JP6113631B2 publication Critical patent/JP6113631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は、各種生産ラインなどで作業者による組立作業が正確に実施されているかを確認する作業確認システムに関するものである。
従来では、作業者が、作業指示内容を印字したものを見ることにより、作業ミスの発生を防止していた。または、モニタにより作業内容を表示することにより、作業ミスの確認が行われていた。
また、使用部品の設置棚のランプ点灯などを利用して、部品の使用が誤ることを防止していた。また、使用部品棚の取り出し口に動作センサーを設置し、センサーが動きを検知することで、部品取得の有無を判定していた。
また、作業確認システムに関する従来技術として、たとえば特許文献1,2に係る技術が既に存在する。
特許文献1に係る技術では、作業者の作業を行う際に移動する箇所にマーカを付け、作業を正しく行う際のマーカの時系列順の位置を示す標準位置情報を予め記憶している。そして、カメラで撮影したマーカの移動変化と標準位置情報とを用いて、作業の成否確認が行われている。また、特許文献2に係る技術でも、作業者に取り付けられたマーカを検出し、当該検出結果と目標作業状態とを比較して、作業の成否の確認が行われている。
特開2007−156838号公報 特開2003−167613号公報
しかしながら、特許文献1,2に係る技術のように、作業者にマーカをつけることは、作業者の作業効率の低下を招き、コスト高を招く。また、作業者にマーカをつける作業は、煩雑であり時間も要する。
また、上記のように、使用部品棚の取り出し口に動作センサーを設置することで部品取得の有無を判定する方法では、動作のみの部品未取得および1回の動作での2個部品取得などの誤作業が検知できなかった。
そこで、本発明は、作業者の作業効率低下、コスト高を招くことなく、簡単な方法により作業者の作業動作を確認できる作業確認システムを提供することを目的とする。また、より正確な部品取得作業を確認することができる作業確認システムを提供することを目的とする。
または、本発明に係る作業確認システムは、部品の在庫状態を撮像する撮像装置と、画像処理および部品成否判定を行う画像処理・作業判定装置と、前記部品成否判定の結果を通知する通知装置とを、備えており、前記画像処理・作業判定装置は、前記部品を取り出す作業前における前記部品の第一の在庫状態のみが規定されている基準画像データを保存しており、前記撮像装置は、(a)前記第一の在庫状態から、前記部品を取り出す作業後の、前記部品の第二の在庫状態を撮像し、(b)前記(a)により得られる前記第二の在庫状態を表す画像データを、前記画像処理・作業判定装置に送信し、前記画像処理・作業判定装置は、(c)前記(b)により受信した前記画像データに対して、エッジ抽出処理を実施し、(d)前記エッジ抽出処理の結果に基づいて、前記画像データにおいて形状パターンを特定し、(e)前記(d)後の前記画像データと前記基準画像データとを比較し、前記部品の使用の成否を判定し、前記通知装置は、前記(e)の判定結果を、外部に通知する。
また、本発明に係る作業確認システムは、部品の在庫状態を撮像する撮像装置と、画像処理および部品成否判定を行う画像処理・作業判定装置と、前記部品成否判定の結果を通知する通知装置とを、備えており、前記画像処理・作業判定装置は、前記部品を取り出す作業前における前記部品の第一の在庫状態のみが規定されている基準画像データを保存しており、前記撮像装置は、(a)前記第一の在庫状態から、前記部品を取り出す作業後の、前記部品の第二の在庫状態を撮像し、(b)前記(a)により得られる前記第二の在庫状態を表す画像データを、前記画像処理・作業判定装置に送信し、前記画像処理・作業判定装置は、(c)前記(b)により受信した前記画像データに対して、エッジ抽出処理を実施し、(d)前記エッジ抽出処理の結果に基づいて、前記画像データにおいて形状パターンを特定し、(e)前記(d)後の前記画像データと前記基準画像データとを比較し、前記部品の使用の成否を判定し、前記通知装置は、前記(e)の判定結果を、外部に通知する。
したがって、当該作業確認システムは、簡易な構成および簡単な方法により、センサー等による部品取得成否判定よりも、正確な部品取得作業を確認することができる。
本発明に係る作業確認システムの構成を示すブロック図である。 実施の形態1に係る作業確認システムの動作を説明するためのフローチャートである。 実施の形態1に係る作業確認システムの動作を説明するための図である。 実施の形態1に係る作業確認システムの動作を説明するための図である。 実施の形態2に係る作業確認システムの動作を説明するためのフローチャートである。
本発明は、各種生産ラインなどで作業者による組立作業において作業ミス、組み付け部品の誤使用の確認を、早期かつ確実に発見できる作業確認システムに関するものである。以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
<実施の形態1>
図1は、本実施の形態に係る作業確認システムの構成を示すブロック図である。図1に示すように、本実施の形態に係る作業確認システムは、撮像装置10、画像処理・作業判定装置20および通知装置30から構成されている。
本実施の形態では、撮像装置10は、作業者の作業内容(一連の作業動作)を動的に撮像する。
また、画像処理・作業判定装置20は、画像処理部1、作業判定部2および基準データ記憶部3から構成されている。
画像処理部1は、画像データに対してエッジ抽出処理を行う。そして、当該エッジ抽出処理により、オブジェクトの形状(輪郭)が認識可能となるので、画像処理部1は、当該エッジ抽出処理に基づいて、画像データに含まれるオブジェクトの形状(輪郭)を特定する(シンボル化処理)。基準データ記憶部3には、作業成否の基準となる基準画像データが保存されている。また、作業判定部2では、基準データ記憶部3に保存されている基準画像データを用いて、撮像装置10で撮像された作業者の作業内容が正しいか否かを判定する。
通知装置30は、画像処理・作業判定装置20(より具体的には、作業判定部2)で判定された作業内容の成否(本実施の形態では、作業者の一連の作業動作の成否)を通知する。ここで、当該通知は、音声により通知しても良く、判定結果を視認可能に表示しても良く、外部から判定結果が認識できるものであれば、どのような通知手段を採用しても良い。
ここで、画像処理部1および画像処理・作業判定装置20は通信可能に接続されている。さらに、画像処理・作業判定装置20および通知装置30は、通信可能に接続されている。また、画像処理・作業判定装置20内において、画像処理部1、作業判定部2および基準データ記憶部3も相互に、通信可能に接続されている。
まず、作業確認システムの動作の前準備について説明する。
はじめに、撮像装置10を用いて、熟練者等による正しい一連の作業動作を撮像する。当該撮像された結果は、複数の一連の画像データとして、画像処理・作業判定装置20へと送信される。
画像処理・作業判定装置20では、画像処理部1において、送信された各画像データに対して、エッジ抽出処理を施す。つまり、各画像データには、作業者の動作を示す画像が含まれており、当該作業者の動作形状(輪郭)のエッジを検出する。そして、当該エッジ抽出処理により、画像処理部1は、各画像データにおいて、作業者の動作形状(輪郭)を特定する(シンボル化処理)。
次に、ユーザは、上記シンボル化処理が実施された複数の画像データの中から、特徴的な動作(たとえば、必ず実施される動作で、明確判別される動作)を含む画像データを、少なくとも2以上選択する。そして、当該選択された画像データは、基準画像データとして、基準データ記憶部3に保存する。
ここで、各基準画像データには、上記特徴的な動作(つまり、基準形状)が各々規定されている。また、上記から分かるように、基準データ記憶部3には、複数の基準画像データ(つまり、基準画像データ群)が保存される。また、基準画像データ群は、複数の基準画像データが所定の順序(熟練者の作業の順序に従った順序)で規定されることにより、構成されている。
基準データ記憶部3に基準画像データ群が保存されると、準備は完了する。次に、本実施の形態に係る作業確認システムの動作を、図2に示すフローチャートを用いて説明する。
撮像装置10が、作業者の撮像を開始する(ステップS1)。その後、作業者は、ワーク単位の所定の一連の作業を開始する(ステップS2)。作業者が、一連の作業動作を終了すると、撮像装置10は、当該作業者の作業内容の撮像を終了する(ステップS3)。その後、撮像装置10は、ステップS1〜S3の間に作業者の一連の作業内容(作業動作)を撮像することにより得られる、複数の画像データを、画像処理・作業判定装置20に送信する(ステップS4)。
ここで、ステップS4で送信される複数の画像データから成るデータ群を、作業画像データ群と称する。したがって、当該作業画像データ群は、ステップS1〜S3の間における撮像装置10の撮像の時系列順で、複数の画像データが配列(規定)されることにより構成される。
画像処理・作業判定装置20では、ステップS4により送信された作業画像データ群を受信し、所定の記憶装置(図示せず)の所定の記憶領域に記憶する。そして、画像処理部1において、作業画像データ群を構成する各画像データに対して、エッジ抽出処理を施す(ステップS5)。つまり、各画像データには、作業者の動作を示す画像が含まれているが、画像処理部1では、当該作業者の動作形状(輪郭)のエッジを検出する。そして、当該エッジ抽出処理後のデータに基づいて、画像処理部1は、各画像データにおいて、作業者の動作形状(輪郭)、つまり作業の動作を示す形状パターンを特定する(シンボル化処理であり、ステップS5)。
画像処理部1は、ステップS5後の作業画像データ群を、作業判定部2へ送信する。また、作業判定部2は、基準データ記憶部3に保存されている基準画像データ群を読み出す。そして、作業判定部2は、受信した作業画像データ群と読み込んだ基準画像データ群とを比較する(ステップS6)。
作業判定部2が受信する作業画像データ群は、撮像の時系列順に規定された複数の画像データが含まれている。そして、ステップS5後の各画像データには、作業者の動作を示す様々な形状パターンが特定されている。また、作業判定部2が読み込んだ基準画像データ群は、所定の順序(熟練者の作業動作の時系列順序)で規定された少なくとも2以上の基準画像データが含まれている。そして、各基準画像データには、基準形状(熟練者の作業動作のうちで、必ず実施される特徴的な動作形状)が特定されている。
そこで、ステップS6において作業判定部2は、ステップS5後の各画像データを、撮像の時系列順に参照し、作業画像データ群を構成する複数の画像データにおいて、基準画像データの所定の順序に従って、基準形状と同一視できる形状パターンが含まれているか否かを判断する。
たとえば、図3に示すように、基準画像データ群が、3つの基準画像データBD1,BD2,BD3こら構成されているとする。そして、基準画像データ群で規定されている基準画像データBD1,BD2,BD3の所定の順序は、BD1→BD2→BD3の順であるとする。さらに、シンボル化処理により、基準画像データBD1において基準形状Aが特定されており、基準画像データBD2において基準形状Bが特定されており、基準画像データBD3において基準形状Cが特定されているとする。
一方、図4に示すように、作業画像データ群が、N個の画像データd1,d2・・・dNから構成されているとする。そして、撮像装置10により撮像された時系列的順序が、d1→d2→・・・→dNの順であるとする。さらに、各画像データd1,d2・・・dNにおいて、シンボル化処理により、作業者の動作形状を示す形状パターンが各々特定されている。つまり、d1→d2→・・・→dNの順で画像データd1,d2・・・dNをコマ送りすることにより、撮像装置10により撮像された作業者の一連の動作が再現される。
上記の場合、ステップS6において、作業判定部2は、図4の撮像の時系列順に配列されている画像データd1,d2・・・dNの各形状のパターンと、基準画像データBD1,DB2,DB3において特定されている各基準形状A,B,Cとを比較する。そして、図4に示す作業画像データ群において(撮像の時系列的順序で配列されている複数の画像データd1,d2・・・dNにおいて)、基準形状Aと同一視できる形状パターンを有する第一の画像データ、基準形状Bと同一視できる形状パターンを有する第二の画像データ、および基準形状Cと同一視できる形状パターンを有する第三の画像データが、当該順(上記所定の順序)で含まれているか否かを判断する。ここで、第一の画像データ、第二の画像データおよび第三の画像データは、連続している必要はなく、間欠的であっても良い。
ステップS6の画像比較処理の結果、作業判定部2は、作業画像データ群内において、所定の順序で、各基準形状が含まれていると判断したとする(上記例では、図4に示す作業画像データ群において、上記第一の画像データ、上記第二の画像データおよび上記第三の画像データが、所定の順序に従って含まれているとする)。この場合には、作業判定部2は、ステップS2で実施された作業者の一連の作業内容が正しいことを示す「作業内容:適正」の判定を行う(ステップS7)。そして、画像処理・作業判定装置20は、当該判定結果を通知装置30に送信する。そして、通知装置30は、「作業内容:適正」を示す通知を出力する(ステップS8)。
これに対して、ステップS6の画像比較処理の結果、作業判定部2は、作業画像データ群内において、所定の順序で、各基準形状が含まれていないと判断したとする。たとえば、上記例では、図4に示す作業画像データ群において、上記第一の画像データ、上記第二の画像データおよび上記第三の画像データの少なくとも1以上が欠如している場合、または一の画像データ、上記第二の画像データおよび上記第三の画像データは全て含まれているが、図4に示す作業画像データ群において上記所定の順序に従っていない場合などである。この場合には、作業判定部2は、ステップS2で実施された作業者の一連の作業内容が間違っていることを示す「作業内容:不適」の判定を行う(ステップS7)。そして、画像処理・作業判定装置20は、当該判定結果を通知装置30に送信する。そして、通知装置30は、「作業内容:不適」を示す通知を出力する(ステップS8)。
以上のように、本実施の形態に係る作業確認システムでは、撮像装置10により撮像され、画像処理・作業判定装置20においてエッジ抽出処理およびシンボル化処理が実施された、基準画像データ群および作業画像データ群を比較して、画像処理・作業判定装置20は、作業者の作業の適否を判断している。
このように、本実施の形態に係る作業確認システムでは、作業適否確認に際して、作業者にマーカを付す必要がなく、構成も簡易化されている。したがって、本実施の形態に係る作業確認システムは、作業者の作業効率低下、コスト高を招くことなく、簡単な方法により作業者の作業動作を確認することができる。
また、本実施の形態に係る作業確認システムにより、作業者による作業において、作業終了後、即その作業内容の問題の有無が判明できる。よって、ワークの検査の軽減もしくは削除を行えることができ、作業の効率化および作業品質の向上ができる。
<実施の形態2>
実施の形態1により、作業者の作業動作の成否を判断・確認できる。一方、作業が組立作業等である場合、組み立てるべき部品の適否を判断・確認する方法として、たとえば次のような方法が考えられる。つまり、作業前に、作業者のデータおよびこれから組み立てる部品のデータをバーコードリーダの読み取りにより、当該読み取ったデータと予め管理されているデータと照合して、作業者が作業において適正の部品を使用したかを確認することができる。
一方において、図1に示した構成を有する作業確認システムを用いて、作業者が扱うべき部品の成否を確認・判断することもできる。以下、当該作業確認システム(本実施の形態に係る作業確認システム)について、説明する。ここで、本実施の形態に係る作業確認システムと実施の形態に係る作業確認システムとは、ブロック構成は同じである(図1参照)。
本実施の形態では、撮像装置10は、部品の在庫状態を撮像する。
また、本実施の形態においても、画像処理・作業判定装置20は、画像処理部1、作業判定部2および基準データ記憶部3から構成されている。
画像処理部1は、画像データに対してエッジ抽出処理を行う。そして、当該エッジ抽出処理により、オブジェクトの形状(輪郭)が認識可能となるので、画像処理部1は、当該エッジ抽出処理に基づいて、画像データに含まれるオブジェクトの形状(輪郭)を特定する(シンボル化処理)。また、基準データ記憶部3には、作業成否の基準となる基準画像データが保存されている。また、作業判定部2では、基準データ記憶部3に保存されている基準画像データを用いて、撮像装置10で撮像された作業内容が正しいか否かを判定する。
通知装置30は、画像処理・作業判定装置20(より具体的には、作業判定部2)で判定された作業内容の成否(本実施の形態では、使用部品の成否)を通知する。ここで、当該通知は、音声により通知しても良く、判定結果を視認可能に表示しても良く、外部から判定結果が認識できるものであれば、どのような通知手段を採用しても良い。
ここで、実施の形態1で説明したように、画像処理部1および画像処理・作業判定装置20は通信可能に接続されている。さらに、画像処理・作業判定装置20および通知装置30は、通信可能に接続されている。また、画像処理・作業判定装置20内において、画像処理部1、作業判定部2および基準データ記憶部3も相互に、通信可能に接続されている。
次に、本実施の形態に係る作業確認システムの動作を、図5に示すフローチャートを用いて説明する。
まず、作業確認システムの動作の前準備について説明する。
はじめに、撮像装置10を用いて、作業前の部品の在庫状態(以下、第一の在庫状態と称する)を撮像する。当該撮像された結果は、画像処理・作業判定装置20へと送信される。
画像処理・作業判定装置20では、画像処理部1において、送信された画像データに対して、エッジ抽出処理を施す。つまり、画像データには、部品の状態を示す画像が含まれており、各部品の形状(輪郭)のエッジを検出する。そして、当該エッジ抽出処理により、画像処理部1は、画像データにおいて、部品の載置状態の形状(輪郭)を特定する(シンボル化処理)。そして、シンボル化処理された画像データは、基準画像データとして(つまり、部品の在庫状態が規定されている画像データとして)、基準データ記憶部3に保存する。
基準データ記憶部3に基準画像データが保存されると、準備は完了する。次に、作業確認システムの動作を、図5に示すフローチャートを用いて説明する。
作業者は、作業指示書に従って所定の部品を製品に取り付け等する作業動作を行う(ステップS21)。当該作業動作により、作業者は、部品が格納されている場所から、部品を取り出す。作業者が、当該作業動作を終了すると、撮像装置10は、部品を取り出した後の部品の在庫状態(第二の在庫状態)を撮像する(ステップS22)。その後、撮像装置10は、ステップS22により得られる画像データを、画像処理・作業判定装置20に送信する(ステップS23)。ここで、ステップS23で送信される画像データには、第二の在庫状態が含まれている。
画像処理・作業判定装置20では、ステップS23により送信された画像データを受信し、所定の記憶装置(図示せず)の所定の記憶領域に記憶する。そして、画像処理部1において、当該画像データに対して、エッジ抽出処理を施す(ステップS24)。つまり、画像データには、ステップS21後の部品の在庫状態(第二の在庫状態)を示す画像が含まれているが、画像処理部1では、当該第二の在庫状態における部品の形状(輪郭)のエッジを検出する。そして、当該エッジ抽出処理後のデータに基づいて、画像処理部1は、画像データにおいて、第二の在庫状態にある部品の形状(輪郭)を示す形状パターンを特定する(シンボル化処理であり、ステップS24)。
画像処理部1は、ステップS24後の画像データを、作業判定部2へ送信する。また、作業判定部2は、基準データ記憶部3に保存されている基準画像データ(第一の在庫状態が撮像されている画像データ)を読み出す。そして、作業判定部2は、受信した画像データと読み込んだ基準画像データとを比較する(ステップS25)。
作業判定部2が受信する画像データは、ステップS22で撮像された画像データであり、上記の通り、ステップS24後の画像データには、第二の在庫状態における部品の形状パターンが特定されている。また、作業判定部2が読み込んだ基準画像データには、基準形状(ステップS21前の第一の在庫状態における部品の形状)が特定されている。
そこで、ステップS25において作業判定部2は、ステップS24後の画像データにおける上記形状パターンと、基準画像データの上記基準形状とを比較し、両形状の差異を検出する。
たとえば、上記形状パターンと上記基準形状とが同じ場合、作業者は、ステップS21において、作業指示書に記載されている所定の部品を取り出していないことを意味する(たとえば、(上記所定の部品と異なる部品を取り出し、組み立てた作業が実施されたことを意味する)。したがって、当該場合には、作業判定部2は、ステップS21で実施された作業者の作業内容(部品を取り出し、組み立てた作業)が不適であると判断し、「部品使用:不適」の判定を行う(ステップS26)。そして、画像処理・作業判定装置20は、当該判定結果を通知装置30に送信する。そして、通知装置30は、「部品使用:不適」を示す通知を出力する(ステップS27)。
また、たとえば、作業指示書には、所定の部品を一つ用いた組立作業指示が記載されているとする。そして、ステップS25の比較の結果、上記形状パターンと上記基準形状とが相違しており、当該相違が、所定の部品一つ分が無くなっていることに起因したものであるとする(たとえば、基準データ記憶部3において予め、一つの所定の部品のシンボル化された部品単位画像が登録されており、当該部品単位画像を用いて、上記形状パターンと上記基準形状との相違形状が、所定の部品が一つなくなったことを示すことを、作業判定部2が判断する)。当該場合には、作業判定部2は、ステップS21で実施された作業者の作業内容(上記所定の部品を取り出し、組み立てた作業)が適正であると判断し、「部品使用:適正」の判定を行う(ステップS26)。そして、画像処理・作業判定装置20は、当該判定結果を通知装置30に送信する。そして、通知装置30は、「部品使用:適正」を示す通知を出力する(ステップS27)。
また、上記同様、作業指示書には、所定の部品を一つ用いた組立作業指示が記載されているとする。そして、ステップS25の比較の結果、上記形状パターンと上記基準形状とが相違しており、当該相違が、所定の部品二つ以上分が無くなっていることに起因したものであるとする(たとえば、基準データ記憶部3において予め、一つの所定の部品のシンボル化された部品単位画像が登録されており、当該部品単位画像を用いて、上記形状パターンと上記基準形状との相違形状が、所定の部品が二つ以上なくなったことを示すことを、作業判定部2が判断する)。当該場合には、作業判定部2は、ステップS21で実施された作業者の作業内容(上記所定の部品を取り出し、組み立てた作業)が不適であると判断し、「部品使用:不適」の判定を行う(ステップS26)。そして、画像処理・作業判定装置20は、当該判定結果を通知装置30に送信する。そして、通知装置30は、「部品使用:不適」を示す通知を出力する(ステップS27)。
以上のように、本実施の形態に係る作業確認システムでは、撮像装置10により撮像され、画像処理・作業判定装置20においてエッジ抽出処理およびシンボル化処理が実施された、基準画像データおよび画像データを比較して(つまり、第一の在庫状態と第二の在庫状態とを比較して)、画像処理・作業判定装置20は、作業で取り扱うべき部品の適否を判断している。
したがって、本実施の形態に係る作業確認システムは、簡易な構成および簡単な方法により、センサー等による部品取得成否判定よりも、正確な部品取得作業を確認することができる。
また、本実施の形態に係る作業確認システムにより、作業者による部品取得作業において、作業終了後、即その作業内容の問題の有無が判明できる。よって、ワークの検査の軽減もしくは削除を行えることができ、作業の効率化および作業品質の向上ができる。
1 画像処理部
2 作業判定部
3 基準データ記憶部
10 撮像装置
20 画像処理・作業判定装置
30 通知装置

Claims (1)

  1. 部品の在庫状態を撮像する撮像装置と、
    画像処理および部品成否判定を行う画像処理・作業判定装置と、
    前記部品成否判定の結果を通知する通知装置とを、備えており、
    前記画像処理・作業判定装置は、
    前記部品を取り出す作業前における前記部品の第一の在庫状態のみが規定されている基準画像データを保存しており、
    前記撮像装置は、
    (a)前記第一の在庫状態から、前記部品を取り出す作業後の、前記部品の第二の在庫状態を撮像し、
    (b)前記(a)により得られる前記第二の在庫状態を表す画像データを、前記画像処理・作業判定装置に送信し、
    前記画像処理・作業判定装置は、
    (c)前記(b)により受信した前記画像データに対して、エッジ抽出処理を実施し、
    (d)前記エッジ抽出処理の結果に基づいて、前記画像データにおいて形状パターンを特定し、
    (e)前記(d)後の前記画像データと前記基準画像データとを比較し、前記部品の使用の成否を判定し、
    前記通知装置は、
    前記(e)の判定結果を、外部に通知する、
    ことを特徴とする作業確認システム。
JP2013237595A 2013-11-18 2013-11-18 作業確認システム Expired - Fee Related JP6113631B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013237595A JP6113631B2 (ja) 2013-11-18 2013-11-18 作業確認システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013237595A JP6113631B2 (ja) 2013-11-18 2013-11-18 作業確認システム

Publications (2)

Publication Number Publication Date
JP2015099022A JP2015099022A (ja) 2015-05-28
JP6113631B2 true JP6113631B2 (ja) 2017-04-12

Family

ID=53375728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237595A Expired - Fee Related JP6113631B2 (ja) 2013-11-18 2013-11-18 作業確認システム

Country Status (1)

Country Link
JP (1) JP6113631B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6786322B2 (ja) * 2016-09-16 2020-11-18 株式会社東芝 誤操作防止システム
JP6444563B2 (ja) * 2016-10-13 2018-12-26 三菱電機株式会社 生産支援システム、表示器、生産支援方法、生産支援プログラムおよび記録媒体
CN111328402A (zh) * 2017-10-30 2020-06-23 Nec 飞鼎克株式会社 作业辅助装置、作业辅助方法以及程序
US11209795B2 (en) 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
US10481579B1 (en) 2019-02-28 2019-11-19 Nanotronics Imaging, Inc. Dynamic training for assembly lines
CN113544604A (zh) * 2019-04-19 2021-10-22 纳米电子成像有限公司 流水线的装配误差校正

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2789472B2 (ja) * 1988-09-14 1998-08-20 有限会社はらエーアイ設計 物流拠点における検品方法
JP2005250990A (ja) * 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2008541489A (ja) * 2005-05-19 2008-11-20 サイバーオプティクス コーポレーション 電子アセンブリ機械の部品ピッキング動作を評価するための方法及び装置
JP4784752B2 (ja) * 2006-06-30 2011-10-05 サクサ株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2015099022A (ja) 2015-05-28

Similar Documents

Publication Publication Date Title
JP6113631B2 (ja) 作業確認システム
JP4670455B2 (ja) 工程異常検知システム
JP5783885B2 (ja) 情報提示装置、その方法及びそのプログラム
CN107315011B (zh) 图像处理装置、图像处理方法及存储介质
JP6743868B2 (ja) 情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラム
JP2009037392A (ja) 作業支援システム
JP2008235504A (ja) 組立品検査装置
JP2017187988A (ja) コード認識装置
US20190108605A1 (en) Information processing system, information processing apparatus, information processing method, and program
KR102457013B1 (ko) 화상처리장치, 화상처리방법, 컴퓨터프로그램 및 기록 매체
JP6386311B2 (ja) 携帯情報端末、情報処理方法、及びプログラム
EP2950522B1 (en) Display control method and information processing apparatus
JP2015014882A5 (ja)
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7471878B2 (ja) 映像処理装置
JP2009289046A (ja) 3次元データを用いた作業支援装置及び方法
US9734483B2 (en) Product management device and product management method
JP6631962B2 (ja) 監視装置及び監視システム
JP6805199B2 (ja) 設備監視システム
WO2021129608A1 (zh) 取货机器人、取货方法、计算机可读存储介质
CN111294552A (zh) 图像采集设备确定方法及装置
JP7421925B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6728995B2 (ja) 自動倉庫システムおよび自動倉庫の管理方法
JP4349298B2 (ja) 監視制御装置及び監視制御方法
JP2009266155A (ja) 移動体追跡装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170315

R150 Certificate of patent or registration of utility model

Ref document number: 6113631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees