JP7407777B2

JP7407777B2 - 照合装置および照合方法

Info

Publication number: JP7407777B2
Application number: JP2021142581A
Authority: JP
Inventors: 裕喜竹内; 剛宇田
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2021-09-01
Filing date: 2021-09-01
Publication date: 2024-01-04
Anticipated expiration: 2041-09-01
Also published as: JP2023035594A

Description

特許法第３０条第２項適用掲載年月日令和３年８月２０日掲載アドレスｈｔｔｐ：／／ｇｉｊｕｔｓｕ１２／Ｇｉｋｅｎ／ｉｎｄｅｘ．ｈｔｍｌ

本発明は、照合装置および照合方法に関する。

従来の製造ラインにおいて、作業指示板等が示す識別情報の通りに車体等の部品が流れているかについては作業者の目視点検によって誤欠品の発生を抑制している。このような、製造ラインにおける技術として、所定の繰り返しピッチで連続して生産される部品の画像検査において，その画像検査の実施状態を認識するために、マッチング処理部は、入力された検査画像のフレームから部品を検出し、検出された部品の位置と相関値とを取得し、フレーム間部品対応検出部は、連続する２つのフレーム間で類似する部品の対応を検出し、対応部品位置差分算出部は、対応部品間の検出位置の差分である対応部品位置差分を算出する。対応部品位置差分統計部は、対応部品位置差分を統計した移動量ヒストグラムを作成し、部品移動量推定部は、移動量ヒストグラムから連続するフレーム間での部品の移動量を推定し、画像検査実施状態判定部は、部品の移動量の推定結果から、画像検査が適切に実施されているか否かを判定する技術が開示されている（例えば特許文献１参照）。

特許第５４６４０９２号公報

しかしながら、従来の製造ラインにおける技術では、所定の繰り返しピッチで連続して画像検査をするには、画像処理および判定処理等についての負荷が高く、高度なシステム環境を備えて当該負荷に耐え得る設備が必要となるという課題がある。

本発明は、上述の課題に鑑みてなされたものであって、指示情報が示す部品が搬送ラインに流れているか否かを、処理負荷を抑制しつつ、リアルタイムで照合することができる照合装置および照合方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る照合装置は、部品が搬送経路上の所定位置に搬送されたことを示す信号を受信する受信部と、前記受信部により前記信号が受信された場合に、第１撮像装置により撮像された、前記部品を識別する指示情報の表示媒体に対する第１撮像画像の取得を開始する第１取得部と、前記受信部により前記信号が受信された場合に、第２撮像装置により撮像された、前記部品における所定の対象物に対する第２撮像画像の取得を開始する第２取得部と、前記第１撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第１情報を出力として得、前記第２撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第２情報を出力として得る識別部と、前記第１情報と、前記第２情報とを照合する照合部と、を備えることを特徴とする。

本発明によれば、指示情報が示す部品が搬送ラインに流れているか否かを、処理負荷を抑制しつつ、リアルタイムで照合することができる。

図１は、実施形態に係る照合システムの全体構成の一例を示す図である。図２は、実施形態に係る照合装置のハードウェア構成の一例を示す図である。図３は、実施形態に係る照合装置の機能的なブロック構成の一例を示す図である。図４は、指示情報を示す撮像画像の一例を示す図である。図５は、エンブレムの撮像画像の一例を示す図である。図６は、実施形態に係る照合システムにおいて識別結果を重畳表示させた撮像画像の表示例を示す図である。図７は、実施形態に係る照合システムにおける識別照合処理の流れの一例を示すフローチャートである。図８は、変形例に係る照合装置においてガーニッシュを識別する動作を説明する図である。

以下に、図１～図８を参照しながら、本発明に係る照合装置および照合方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（照合システムの全体構成）
図１は、実施形態に係る照合システムの全体構成の一例を示す図である。図１を参照しながら、本実施形態に係る照合システム１の全体構成について説明する。

図１に示す照合システム１は、搬送ライン３（搬送経路）において、撮像装置により撮像された画像が示す指示情報および部品における所定の対象物から、当該指示情報が示す部品が搬送されているか否かを照合するためのシステムである。図１に示すように、照合システム１は、リミッタスイッチ１１と、第１撮像装置１２ａと、第２撮像装置１２ｂと、照合装置１０と、表示装置１３と、サーバ装置２０と、を含む。

リミッタスイッチ１１は、搬送ライン３上で図１に示す矢印の方向に流れる車体等の部品３０が所定の位置まで到達したことを検知するためのスイッチである。リミッタスイッチ１１は、部品３０が所定の位置まで到達したことを検知した場合、部品３０についての検知信号を、照合装置１０へ送信する。なお、部品３０が搬送ライン３上の所定の位置に到達したことを検知するためのセンサまたはスイッチとしてはリミッタスイッチ１１に限定されるものではなく、例えば、リミッタスイッチ１１の代わりに近接センサまたは光電センサ等を用いて検知するものとしてもよい。

第１撮像装置１２ａは、搬送ライン３に流れる車体等の部品３０を識別する指示情報の表示媒体を撮像する撮像装置である。第１撮像装置１２ａは、撮像した撮像画像を照合装置１０へ送信する。本実施形態では、部品３０は、自動車の車体であるものとし、所定の対象物は、自動車メーカ、または当該自動車メーカおよび車種を特定するエンブレムであるものとし、指示情報の表示媒体は、図１に示すように、数字、アルファベット等で表される指示情報を表示する電光掲示板３１（指示盤の一例）であるものとして説明する。なお、部品３０、所定の対象物、および指示情報の表示媒体は、これらに限定されるものではない。

第２撮像装置１２ｂは、部品３０における所定の対象物であるエンブレムを含む領域を撮像する撮像装置である。第２撮像装置１２ｂは、撮像した撮像画像を照合装置１０へ送信する。

なお、第１撮像装置１２ａおよび第２撮像装置１２ｂによる撮像画像は、静止画データであってもよく、動画データであってもよい。

照合装置１０は、第１撮像装置１２ａで撮像された撮像画像に含まれる指示情報、および第２撮像装置１２ｂで撮像された撮像画像に含まれるエンブレムから、それぞれ文字情報に変換し、当該文字情報を照合する装置である。照合装置１０は、例えば、シングルボードコンピュータによって実現される。なお、照合装置１０はシングルボードコンピュータであることに限定されず、通常のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）またはワークステーション等の情報処理装置であってもよい。照合装置１０は、画像処理プログラム１０１と、学習モデル１０２と、照合プログラム１０３と、を含む。

画像処理プログラム１０１は、第１撮像装置１２ａおよび第２撮像装置１２ｂにより撮像された撮像画像から、指示情報およびエンブレムの画像を抽出する等の画像処理を行うためのプログラムである。

学習モデル１０２は、指示情報の画像に、ラベルとしての所定の文字情報を組み合わせた教師データ（第１教師データ）、およびエンブレムの画像に、ラベルとしての所定の文字情報を組み合わせた教師データ（第２教師データ）を用いて、機械学習の一例である教師あり学習により生成された学習モデルである。当該学習モデルは、例えば、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）等の既存の物体認識アルゴリズムに基づいて生成されるものとすればよい。ここで、所定の文字情報とは、例えば、エンブレムに対応するメーカ名または車種名等の文字情報であるものとする。本実施形態では、指示情報の画像、およびエンブレムの画像から、学習モデル１０２を用いた識別処理の結果として、メーカ名を示す文字情報、および当該結果の信頼性の程度を示す信頼度が得られるものとして説明する。

照合プログラム１０３は、学習モデル１０２を用いた識別処理の結果により得られた、指示情報の画像に対する文字情報と、エンブレムの画像に対する文字情報とを照合するためのプログラムである。

表示装置１３は、照合プログラム１０３による照合結果等を表示する、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶ディスプレイ）またはＯＥＬＤ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－ＬｕｍｉｎｅｓｃｅｎｔＤｉｓｐｌａｙ：有機ＥＬディスプレイ）等の表示装置である。

サーバ装置２０は、照合プログラム１０３による照合結果等を蓄積するサーバ装置である。

（照合装置のハードウェア構成）
図２は、実施形態に係る照合装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係る照合装置１０のハードウェア構成について説明する。

図２に示すように、照合装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０３と、補助記憶装置２０４と、ネットワークＩ／Ｆ２０５と、入力Ｉ／Ｆ２０６と、出力Ｉ／Ｆ２０７と、撮像Ｉ／Ｆ２０８と、を備えている。これらの各部は、バスライン２１０を介して互いにデータ通信が可能となるように接続されている。

ＣＰＵ２０１は、照合装置１０全体の動作を制御する演算装置である。ＲＡＭ２０２は、ＣＰＵ２０１のワークエリアとして使用される揮発性記憶装置である。ＲＯＭ２０３は、ＩＰＬ（ＩｎｉｔｉａｌＰｒｏｇｒａｍＬｏａｄｅｒ）のようなＣＰＵ２０１が最初に実行するプログラム等を記憶する不揮発性記憶装置である。なお、ＣＰＵ２０１、ＲＡＭ２０２およびＲＯＭ２０３は、例えば１つの基板に実装されたＳｏＣ（ＳｙｓｔｅｍｏｎａＣｈｉｐ）として構成されていてもよい。

補助記憶装置２０４は、上述した画像処理プログラム１０１、学習モデル１０２および照合プログラム１０３、ならびにこれらのプログラムで用いられる各種データ等を記憶するＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄＭｕｌｔｉＭｅｄｉａＣａｒｄ）またはｍｉｃｒｏＳＤカード等の補助記憶装置である。

ネットワークＩ／Ｆ２０５は、ネットワーク等に接続してデータ通信するためのインターフェースである。図２に示す例では、ネットワークＩ／Ｆ２０５は、サーバ装置２０に接続されており、照合装置１０における上述の照合結果等をサーバ装置２０へ送信する。また、ネットワークＩ／Ｆ２０５は、例えば、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）／ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）のプロトコルで通信可能にするＥｔｈｅｒｎｅｔ（登録商標）規格のインターフェースである。なお、ネットワークＩ／Ｆ２０５は、有線通信に限定されるものではなく、Ｗｉ－Ｆｉ（登録商標）等に基づく無線通信のインターフェースであってもよい。

入力Ｉ／Ｆ２０６は、リミッタスイッチ１１から検知信号を入力するためのＧＰＩＯ（ＧｅｎｅｒａｌＰｕｒｐｏｓｅＩｎｐｕｔ／Ｏｕｔｐｕｔ）等のインターフェースである。

出力Ｉ／Ｆ２０７は、照合結果等の表示データを表示装置１３へ送信するためのＨＤＭＩ（登録商標）（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）等のインターフェースである。

撮像Ｉ／Ｆ２０８は、第１撮像装置１２ａおよび第２撮像装置１２ｂから撮像画像を受信するためのＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）等のインターフェースである。

なお、図１に示す照合装置１０のハードウェア構成は一例を示すものであり、当該構成に限定されるものではない。例えば、グラフィック処理に特化したＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等を備えているものとしてもよい。

（照合装置の機能的なブロック構成）
図３は、実施形態に係る照合装置の機能的なブロック構成の一例を示す図である。図４は、指示情報を示す撮像画像の一例を示す図である。図５は、エンブレムの撮像画像の一例を示す図である。図６は、実施形態に係る照合システムにおいて識別結果を重畳表示させた撮像画像の表示例を示す図である。図３～図６を参照しながら、本実施形態に係る照合装置１０の機能的なブロック構成および動作について説明する。

図３に示すように、照合装置１０は、第１取得部３０１と、第２取得部３０２と、検知部３０３（受信部）と、抽出部３０４と、識別部３０５と、照合部３０６と、表示制御部３０７と、生成部３０８と、記憶部３０９と、を有する。

第１取得部３０１は、第１撮像装置１２ａにより撮像された、電光掲示板３１の撮像画像（以下、第１撮像画像と称する場合がある）を取得する機能部である。ここで、図４（ｂ）に、第１撮像画像の一例として、第１撮像装置１２ａにより撮像された電光掲示板３１の撮像画像ＩＭＧ２を示している。なお、上述したように、第１撮像装置１２ａが撮像する対象は、指示情報を表示する電光掲示板３１に限定されるものではなく、例えば、図４（ａ）に示すように、部品３０である車体に貼付された、指示情報が印字された指示紙を含む撮像画像ＩＭＧ１（第１撮像画像の一例）であってもよい。また、第１取得部３０１は、後述する検知部３０３から部品３０についての検知信号を受信した旨を受け取った場合、第１撮像装置１２ａにより撮像された第１撮像画像の取得を開始する。なお、検知部３０３により検知信号を受信したタイミングで、第１撮像装置１２ａによる撮像動作の開始、かつ第１取得部３０１による第１撮像画像の取得動作の開始が行われるものとしてもよい。第１取得部３０１は、取得した第１撮像画像を、抽出部３０４へ出力する。第１取得部３０１は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１が実行されることによって実現される。

第２取得部３０２は、第２撮像装置１２ｂにより撮像された、部品３０である車体のエンブレムを含む撮像画像（以下、第２撮像画像と称する場合がある）を取得する機能部である。ここで、図５に、第２撮像画像の一例として、第２撮像装置１２ｂにより撮像された車体のエンブレムを含む撮像画像ＩＭＧ３を示している。また、第２取得部３０２は、後述する検知部３０３から部品３０についての検知信号を受信した旨を受け取った場合、第２撮像装置１２ｂにより撮像された第２撮像画像の取得を開始する。なお、検知部３０３により検知信号を受信したタイミングで、第２撮像装置１２ｂによる撮像動作の開始、かつ第２取得部３０２による第２撮像画像の取得動作の開始が行われるものとしてもよい。第２取得部３０２は、取得した第２撮像画像を、抽出部３０４へ出力する。第２取得部３０２は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１が実行されることによって実現される。

検知部３０３は、リミッタスイッチ１１により搬送ライン３上で部品３０が所定の位置まで到達したことが検知された場合、リミッタスイッチ１１から当該検知信号を受信する機能部である。検知部３０３は、検知信号を受信した場合、当該検知信号を受信した旨を第１取得部３０１および第２取得部３０２へ出力する。検知部３０３は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１等のプログラムが実行されることによって実現される。

抽出部３０４は、第１取得部３０１および第２取得部３０２によりそれぞれ取得された撮像画像から、所定の画像部分を抽出する機能部である。

具体的には、抽出部３０４は、第１取得部３０１により取得された第１撮像画像から、エンブレムを識別する指示情報を含む画像を抽出する。例えば、図４（ｂ）に示す例では、抽出部３０４は、第１取得部３０１から受け取った第１撮像画像である撮像画像ＩＭＧ２から、指示情報を含む画像として抽出画像ＥＩＭＧ２を抽出する。なお、図４（ａ）に示すように、第１撮像画像が、指示情報が印字された指示紙を含む撮像画像ＩＭＧ１である場合、抽出部３０４は、当該撮像画像ＩＭＧ１から、指示情報を含む画像として抽出画像ＥＩＭＧ１を抽出すればよい。

また、抽出部３０４は、第２取得部３０２により取得された第２撮像画像から、エンブレムを含む画像を抽出する。例えば、図５に示す例では、抽出部３０４は、第２取得部３０２から受け取った第２撮像画像である撮像画像ＩＭＧ３から、エンブレムを含む画像として抽出画像ＥＩＭＧ３を抽出する。

抽出部３０４が各撮像画像から所定の画像部分（指示情報およびエンブレム）を抽出する方法としては、例えば、抽出する画像領域が予め設定されているものとしてもよく、または、テンプレートマッチング等の所定のアルゴリズムにより所定の画像部分が抽出されるものとしてもよい。抽出部３０４は、抽出した指示情報の画像、およびエンブレムの画像を、識別部３０５へ出力する。抽出部３０４は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１が実行されることによって実現される。

識別部３０５は、抽出部３０４から受け取った抽出画像を入力として、記憶部３０９に記憶された学習モデル１０２を用いた識別処理により、抽出画像に対応するメーカ名を示す文字情報を出力する機能部である。具体的には、識別部３０５は、抽出部３０４から受け取った指示情報の画像に基づいて、学習モデル１０２を用いた識別処理により、当該指示情報の画像に対応するメーカ名を示す文字情報（以下、第１文字情報と称する場合がある）、および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部３０５は、抽出部３０４から受け取ったエンブレムの画像に基づいて、学習モデル１０２を用いた識別処理により、当該エンブレムの画像に対応するメーカ名を示す文字情報（以下、第２文字情報と称する場合がある）、および当該識別処理の信頼性の程度を示す信頼度を出力する。識別部３０５は、第１文字情報および第２文字情報、ならびにそれぞれの信頼度を、照合部３０６へ出力する。識別部３０５は、例えば、図２に示すＣＰＵ２０１により、学習モデル１０２を用いた識別処理を行うためのプログラムが実行されることによって実現される。

なお、第１文字情報は、メーカ名として説明したが、これに限定されるものではなく、指示情報に対応する文字情報であればよい。また、第２文字情報は、メーカ名として説明したが、これに限定されるものではなく、エンブレム等の所定の対象物を識別する文字情報であればよい。また、第１文字情報および第２文字情報は、文字情報に限定されるものではなく、例えばバイナリデータ等であってもよい。

照合部３０６は、識別部３０５から受け取った第１文字情報（第１情報の一例）と、第２文字情報（第２情報の一例）とが一致するか否かを照合する機能部である。照合部３０６は、照合結果を、表示制御部３０７およびサーバ装置２０へ出力する。また、照合部３０６は、第１文字情報および第２文字情報それぞれに対応する信頼度を、表示制御部３０７およびサーバ装置２０へ出力する。照合部３０６は、例えば、図２に示すＣＰＵ２０１により照合プログラム１０３が実行されることによって実現される。

なお、照合部３０６は、照合結果を、搬送ライン３を制御する上位コンピュータに送信するものとしてもよい。これによって、当該上位コンピュータは、照合結果が不一致である場合に、搬送ライン３を停止させる等、適切な処理を実行することができる。

表示制御部３０７は、照合部３０６から受け取った照合結果等を表示装置１３に表示させる機能部である。表示制御部３０７は、例えば、第２取得部３０２により取得された第２撮像画像に対して、照合結果、およびエンブレムの画像に対応する第２文字情報を重畳させて表示装置１３に表示させる。なお、第２撮像画像に対して、第２文字情報に対応する信頼度を、当該第２文字情報の代わりに、または当該第２文字情報に加えて、重畳させるものとしてもよい。

図６（ａ）に示す例では、表示制御部３０７は、第２取得部３０２により取得された第２撮像画像である撮像画像ＩＭＧ４に対して、照合結果である結果表示部ＲＳＴを重畳させ、エンブレムの画像部分に、第２文字情報「メーカＡ」および信頼度「０．８２」の表示を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部ＳＰＮ１を重畳させて表示装置１３に表示させている。図６（ｂ）では、エンブレムの画像部分に、第２文字情報「メーカＢ」および信頼度「０．８０」を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部ＳＰＮ２を重畳表示させた例を示している。図６（ｃ）では、エンブレムの画像部分に、第２文字情報「メーカＣ」および信頼度「０．９６」を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部ＳＰＮ３を重畳表示させた例を示している。この場合、表示制御部３０７は、照合結果が一致を示す場合（「ＯＫ」の場合）にのみ、重畳表示部ＳＰＮ１～ＳＰＮ３を表示させるものとしてもよい。また、表示制御部３０７は、図６に示すように、例えば、第２文字情報が示すメーカ名に応じて、重畳表示部ＳＰＮ１～ＳＰＮ３の表示色等の態様を異なるように表示させてもよい。

このように、照合結果を表示装置１３に表示させることによって、搬送ライン３の作業者は、照合結果を視覚的に認識することができる。また、第２撮像画像のエンブレムの画像部分に、第２文字情報を重畳して表示させることによって、作業者は、学習モデル１０２により識別された、エンブレムに対応するメーカ名を視覚的に確認することができる。また、第２撮像画像のエンブレムの画像部分に、学習モデル１０２を用いた識別処理の信頼度を重畳して表示させることによって、学習モデル１０２による識別処理の信頼性を確認することができる。また、第２撮像画像のエンブレムの画像部分を囲う表示部を重畳して表示させることによって、学習モデル１０２による識別処理の対象となったエンブレムについて画像上の認識を容易にすることができる。

表示制御部３０７は、例えば、図２に示すＣＰＵ２０１により照合プログラム１０３等のプログラムが実行されることによって実現される。

生成部３０８は、指示情報の画像に、ラベルとして、当該指示情報に対応するメーカ名を組み合わせた教師データ、およびエンブレムの画像に、ラベルとして、当該エンブレムに対応するメーカ名を組み合わせた教師データを用いて、機械学習の一例である教師あり学習により学習モデル１０２を予め生成する機能部である。生成部３０８は、生成した学習モデル１０２を記憶部３０９に記憶させる。生成部３０８は、例えば、図２に示すＣＰＵ２０１により、教師あり学習を実現する学習プログラムが実行されることによって実現される。

記憶部３０９は、画像処理プログラム１０１、学習モデル１０２および照合プログラム１０３、ならびにこれらのプログラムで用いられる各種データ等を記憶する機能部である。なお、上述の図１で示したように、画像処理プログラム１０１、学習モデル１０２を用いたプログラム、および照合プログラム１０３は、別々のプログラムとしているが、これに限定されるものではなく、例えば、１つのプログラムとして構成されているものとしてもよい。記憶部３０９は、図２に示す補助記憶装置２０４によって実現される。

なお、図３に示した照合装置１０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（照合システムの識別照合処理の流れ）
図７は、実施形態に係る照合システムにおける識別照合処理の流れの一例を示す図である。図７を参照しながら、本実施形態に係る照合システム１の識別照合処理の流れについて説明する。

＜ステップＳ１１＞
まず、搬送ライン３を流れる車体である部品３０がリミッタスイッチ１１により検知され、検知部３０３によりリミッタスイッチ１１から検知信号が受信された場合（ステップＳ１１：Ｙｅｓ）、照合装置１０は待機モードから通常の動作モードに復帰し、検知部３０３は、当該検知信号を受信した旨を第１取得部３０１および第２取得部３０２へ出力し、ステップＳ１２へ移行する。部品３０がリミッタスイッチ１１により検知されない場合（ステップＳ１１：Ｎｏ）、検知されるまで待機する。ここで、待機モードとは、例えば省電力状態の動作モードである。

＜ステップＳ１２＞
第１取得部３０１は、検知部３０３から検知信号を受信した旨を受け取った場合、第１撮像装置１２ａにより撮像された第１撮像画像の取得を開始し、取得した第１撮像画像を、抽出部３０４へ出力する。また、第２取得部３０２は、検知部３０３から検知信号を受信した旨を受け取った場合、第２撮像装置１２ｂにより撮像された第２撮像画像の取得を開始し、取得した第２撮像画像を、抽出部３０４へ出力する。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
抽出部３０４は、第１取得部３０１により取得された第１撮像画像から、エンブレムを識別する指示情報を含む画像を抽出して、当該画像を識別部３０５へ出力する。また、抽出部３０４は、第２取得部３０２により取得された第２撮像画像から、エンブレムを含む画像を抽出して、当該画像を識別部３０５へ出力する。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
識別部３０５は、抽出部３０４から受け取った指示情報の画像に基づいて、学習モデル１０２を用いた識別処理により、当該指示情報の画像に対応するメーカ名を示す第１文字情報および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部３０５は、抽出部３０４から受け取ったエンブレムの画像に基づいて、学習モデル１０２を用いた識別処理により、当該エンブレムの画像に対応するメーカ名を示す第２文字情報および当該識別処理の信頼性の程度を示す信頼度を出力する。そして、識別部３０５は、第１文字情報および第２文字情報、ならびにそれぞれの信頼度を、照合部３０６へ出力する。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
照合部３０６は、識別部３０５から受け取った第１文字情報と第２文字情報とが一致するか否かを照合する。照合部３０６は、照合結果を、表示制御部３０７およびサーバ装置２０へ出力する。また、照合部３０６は、第１文字情報および第２文字情報それぞれに対応する信頼度を、表示制御部３０７およびサーバ装置２０へ出力する。そして、ステップＳ１６へ移行する。

＜ステップＳ１６＞
表示制御部３０７は、第２取得部３０２により取得された第２撮像画像に対して、照合結果である結果表示部ＲＳＴを重畳させ、エンブレムの画像部分に、第２文字情報およびその信頼度の表示を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部を重畳させて表示装置１３に表示させる。そして、照合部３０６による照合処理、および表示制御部３０７による表示処理が終了すると、照合装置１０は待機モードへ移行する。そして、識別照合処理を終了する。

以上のように、本実施形態に係る照合装置１０では、検知部３０３が、部品３０が搬送ライン３上の所定位置に搬送されたことを示す検知信号を受信し、第１取得部３０１が、検知部３０３により検知信号が受信された場合に、第１撮像装置１２ａにより撮像された、部品３０を識別する指示情報の表示媒体に対する第１撮像画像の取得を開始し、第２取得部３０２が、検知部３０３により検知信号が受信された場合に、第２撮像装置１２ｂにより撮像された、部品３０におけるエンブレムに対する第２撮像画像の取得を開始し、識別部３０５が、第１撮像画像に含まれる指示情報の画像から、学習モデル１０２を用いた識別処理により第１文字情報を得、第２撮像画像に含まれるエンブレムの画像から、学習モデル１０２を用いた識別処理により第２文字情報を得、照合部３０６が、第１文字情報と、第２文字情報とを照合する。これによって、検知信号が受信された時点から、撮像画像の取得処理が開始されて、照合処理までの一連の処理が実行されるので、指示情報が示す部品３０が搬送ライン３に流れているか否かを、処理負荷を抑制しつつ、リアルタイムで照合することができる。

また、照合装置１０では、抽出部３０４が、第１撮像画像から指示情報の画像を抽出し、第２撮像画像からエンブレムの画像を抽出する。これによって、学習モデル１０２による識別処理の精度を向上させることができる。

また、照合装置１０では、表示媒体は、搬送ライン３において設置された指示情報を表示する電光掲示板３１等の指示盤である。これによって、第１撮像画像から指示情報の画像部分を抽出しやすくなり、より確実に指示情報を認識することができる。

また、照合装置１０では、検知部３０３により検知信号が受信された場合、待機モードから復帰させ、照合部３０６による照合処理が終了すると、待機モードへ移行させる。これによって、照合装置１０としてシングルボードコンピュータ等を採用することができ、処理負荷を低減することができる。

（変形例）
変形例に係る照合システム１について、上述の実施形態に係る照合システム１とは相違する点を中心に説明する。上述の実施形態では、撮像対象となる部品３０の所定の対象物がエンブレムであるものとして説明したが、本変形例では、当該対象物が部品３０のバックドアに備え付けられたガーニッシュであるものとして説明する。

図８は、変形例に係る照合装置においてガーニッシュを識別する動作を説明する図である。図８を参照しながら、本変形例に係る照合装置１０について説明する。

本変形例において、第２撮像装置１２ｂは、図８に示すように、車体である部品３０における所定の対象物としてのガーニッシュを含む領域を撮像する。この場合、部品３０に取り付けられたガーニッシュについては、正しい色のガーニッシュが取り付けられているのかを判定することが重要であるものとし、第１撮像装置１２ａにより撮像される第１画像情報に含まれる指示情報は、所定の対象物としてガーニッシュの色を識別する情報であるものとする。

本変形例において、学習モデル１０２は、指示情報の画像に、ラベルとしての所定の文字情報を組み合わせた教師データ、およびガーニッシュの画像に、ラベルとしての所定の文字情報を組み合わせた教師データを用いて、機械学習の一例である教師あり学習により、生成部３０８により予め生成される。ここで、所定の文字情報とは、例えば、色を示す文字情報であるものとする。

抽出部３０４は、第１取得部３０１により取得された第１撮像画像から、ガーニッシュの色を識別する指示情報を含む画像を抽出する。また、抽出部３０４は、第２取得部３０２により取得された第２撮像画像から、ガーニッシュを含む画像を抽出する。例えば、図８（ａ）に示す例では、抽出部３０４は、第２撮像画像である撮像画像ＩＭＧ１１から、黒色のガーニッシュを含む画像として抽出画像ＥＩＭＧ１１を抽出している。また、図８（ｂ）に示す例では、抽出部３０４は、第２撮像画像である撮像画像ＩＭＧ１２から、白色のガーニッシュを含む画像として抽出画像ＥＩＭＧ１２を抽出している。抽出部３０４は、抽出した指示情報の画像、およびガーニッシュの画像を、識別部３０５へ出力する。

識別部３０５は、抽出部３０４から受け取った抽出画像に基づいて、記憶部３０９に記憶された学習モデル１０２を用いた識別処理により、抽出画像に対応する色を示す文字情報を出力する。具体的には、識別部３０５は、抽出部３０４から受け取った指示情報の画像に基づいて、学習モデル１０２を用いた識別処理により、当該指示情報の画像に対応する色を示す第１文字情報、および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部３０５は、抽出部３０４から受け取ったガーニッシュの画像に基づいて、学習モデル１０２を用いた識別処理により、当該ガーニッシュの画像に対応する色を示す第２文字情報、および当該識別処理の信頼性の程度を示す信頼度を出力する。識別部３０５は、第１文字情報および第２文字情報、ならびにそれぞれの信頼度を、照合部３０６へ出力する。

照合部３０６は、識別部３０５から受け取った第１文字情報と第２文字情報とが一致するか否かを照合する機能部である。照合部３０６は、照合結果を、表示制御部３０７およびサーバ装置２０へ出力する。また、照合部３０６は、第１文字情報および第２文字情報それぞれに対応する信頼度を、表示制御部３０７およびサーバ装置２０へ出力する。

なお、本変形例に係る照合システム１のその他の構成は、上述の実施形態に係る照合システム１の構成と同様である。

このように、本変形例に係る照合装置１０では、部品３０における対象物としてエンブレムではなく、ガーニッシュ等の他の部材を対象物とすることが可能となり、これらの対象物を用いることによっても、指示情報が示す部品３０が搬送ライン３に流れているか否かを、処理負荷を抑制しつつ、リアルタイムで照合することができる。

１照合システム
３搬送ライン
１０照合装置
１１リミッタスイッチ
１２ａ第１撮像装置
１２ｂ第２撮像装置
１３表示装置
２０サーバ装置
３０部品
３１電光掲示板
１０１画像処理プログラム
１０２学習モデル
１０３照合プログラム
３０１第１取得部
３０２第２取得部
３０３検知部
３０４抽出部
３０５識別部
３０６照合部
３０７表示制御部
３０８生成部
３０９記憶部

Claims

部品が搬送経路上の所定位置に搬送されたことを示す信号を受信する受信部と、
前記受信部により前記信号が受信された場合に、第１撮像装置により撮像された、前記部品を識別する指示情報の表示媒体に対する第１撮像画像の取得を開始する第１取得部と、
前記受信部により前記信号が受信された場合に、第２撮像装置により撮像された、前記部品における所定の対象物に対する第２撮像画像の取得を開始する第２取得部と、
前記第１撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第１情報を出力として得、前記第２撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第２情報を出力として得る識別部と、
前記第１情報と、前記第２情報とを照合する照合部と、
を備えた照合装置。
前記第１撮像画像から前記指示情報の画像を抽出し、前記第２撮像画像から前記対象物の画像を抽出する抽出部を、さらに備えた請求項１に記載の照合装置。
前記表示媒体は、前記搬送経路において設置された前記指示情報を表示する指示盤である請求項２に記載の照合装置。
前記部品を識別する指示情報の画像とラベルとを組み合わせた第１教師データ、および、前記部品における所定の対象物の画像とラベルとを組み合わせた第２教師データを用いて、教師あり学習により前記学習モデルを生成する生成部を、さらに備えた請求項１～３のいずれか一項に記載の照合装置。
前記受信部により前記信号が受信された場合、待機モードから復帰させ、前記照合部による照合処理が終了すると、前記待機モードへ移行させる請求項１～４のいずれか一項に記載の照合装置。
部品が搬送経路上の所定位置に搬送されたことを示す信号を受信する受信ステップと、
前記信号を受信した場合に、第１撮像装置により撮像された、前記部品を識別する指示情報の表示媒体に対する第１撮像画像の取得を開始する第１取得ステップと、
前記信号を受信した場合に、第２撮像装置により撮像された、前記部品における所定の対象物に対する第２撮像画像の取得を開始する第２取得ステップと、
前記第１撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第１情報を出力として得、前記第２撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第２情報を出力として得る識別ステップと、
前記第１情報と、前記第２情報とを照合する照合ステップと、
を有する照合方法。