JP7407778B2 - Verification device and display method - Google Patents
Verification device and display method Download PDFInfo
- Publication number
- JP7407778B2 JP7407778B2 JP2021142582A JP2021142582A JP7407778B2 JP 7407778 B2 JP7407778 B2 JP 7407778B2 JP 2021142582 A JP2021142582 A JP 2021142582A JP 2021142582 A JP2021142582 A JP 2021142582A JP 7407778 B2 JP7407778 B2 JP 7407778B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- captured image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims description 65
- 238000000034 method Methods 0.000 title claims description 43
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 27
- 235000021189 garnishes Nutrition 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 14
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 101000879761 Homo sapiens Sarcospan Proteins 0.000 description 4
- 102100037329 Sarcospan Human genes 0.000 description 4
- 101100534121 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spn3 gene Proteins 0.000 description 3
- 101150013335 img1 gene Proteins 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101150071665 img2 gene Proteins 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
特許法第30条第2項適用 掲載年月日 令和3年8月20日 掲載アドレス http://gijutsu12/Giken/index.html
本発明は、照合装置および表示方法に関する。 The present invention relates to a verification device and a display method.
従来の製造ラインにおいて、作業指示板等が示す識別情報の通りに車体等の部品が流れているかについては作業者の目視点検によって誤欠品の発生を抑制している。このような、製造ラインにおける技術として、部品に対する画像検査により,その画像検査の実施状態を知ることを可能とするために、マッチング処理部は、入力された検査画像のフレームから部品を検出し、検出された部品の位置と相関値とを取得し、フレーム間部品対応検出部は、連続する2つのフレーム間で類似する部品の対応を検出し、対応部品位置差分算出部は、対応部品間の検出位置の差分である対応部品位置差分を算出する。対応部品位置差分統計部は、対応部品位置差分を統計した移動量ヒストグラムを作成し、部品移動量推定部は、移動量ヒストグラムから連続するフレーム間での部品の移動量を推定し、画像検査実施状態判定部は、部品の移動量の推定結果から、画像検査が適切に実施されているか否かを判定する技術が開示されている(例えば特許文献1参照)。 In conventional production lines, workers visually inspect whether parts such as vehicle bodies are flowing according to identification information indicated on work instruction boards, etc. to prevent the occurrence of erroneous or missing parts. In order to make it possible to know the implementation status of image inspection by performing image inspection on a component as a technology on a manufacturing line, the matching processing unit detects the component from the frame of the input inspection image, The inter-frame component correspondence detection section detects the correspondence of similar components between two consecutive frames, and the corresponding component position difference calculation section acquires the position and correlation value of the detected components. A corresponding component position difference, which is a difference between detected positions, is calculated. The corresponding component position difference statistics section creates a movement amount histogram that statistics the corresponding component position differences, and the component movement amount estimation section estimates the movement amount of the component between consecutive frames from the movement amount histogram, and performs image inspection. A technique has been disclosed in which the state determination unit determines whether or not the image inspection is being appropriately performed based on the estimation result of the amount of movement of the component (see, for example, Patent Document 1).
しかしながら、従来の製造ラインにおける技術では、画像処理に用いる撮像画像を用いて画像処理および判定処理等を行うものの、当該処理の結果に関する情報について、撮像画像に関連付けて作業者が認識することができないという課題がある。 However, with conventional manufacturing line technology, although image processing and judgment processing are performed using captured images used for image processing, workers cannot recognize information regarding the results of the processing in relation to the captured images. There is a problem.
本発明は、上述の課題に鑑みてなされたものであって、撮像画像に対する処理の結果を当該撮像画像に関連付けて認識することができる照合装置および表示方法を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a matching device and a display method that can recognize the results of processing on a captured image in association with the captured image.
上述した課題を解決し、目的を達成するために、本発明に係る照合装置は、第1撮像装置により撮像された、搬送経路上で搬送される部品を識別する指示情報の表示媒体に対する第1撮像画像を取得する第1取得部と、第2撮像装置により撮像された、前記部品における所定の対象物に対する第2撮像画像を取得する第2取得部と、前記第1撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第1情報を出力として得、前記第2撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第2情報を出力として得る識別部と、前記第1情報と、前記第2情報とを照合する照合部と、前記学習モデルを用いた処理の結果を、前記第2撮像画像に重畳させて表示装置に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the objects, a collation device according to the present invention provides a first image pickup device for displaying instruction information for identifying a component to be conveyed on a conveyance path, which is imaged by a first image pickup device. a first acquisition unit that acquires a captured image; a second acquisition unit that acquires a second captured image of a predetermined object in the component captured by a second imaging device; Using an image of the instruction information as an input, first information corresponding to the instruction information is obtained as an output through identification processing using a predetermined learning model, and an image of the object included in the second captured image is used as an input. an identification unit that outputs second information for identifying the object through identification processing using a learning model; a matching unit that matches the first information with the second information; and processing using the learning model. The present invention is characterized by comprising a display control unit that causes a display device to display the result superimposed on the second captured image.
本発明によれば、撮像画像に対する処理の結果を当該撮像画像に関連付けて認識することができる。 According to the present invention, the results of processing on a captured image can be recognized in association with the captured image.
以下に、図1~図8を参照しながら、本発明に係る照合装置および表示方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。 Embodiments of a verification device and a display method according to the present invention will be described in detail below with reference to FIGS. 1 to 8. Further, the present invention is not limited to the following embodiments, and the constituent elements in the following embodiments include those that can be easily conceived by a person skilled in the art, those that are substantially the same, and those that are within the so-called equivalent range. is included. Furthermore, various omissions, substitutions, changes, and combinations of constituent elements can be made without departing from the gist of the following embodiments.
(照合システムの全体構成)
図1は、実施形態に係る照合システムの全体構成の一例を示す図である。図1を参照しながら、本実施形態に係る照合システム1の全体構成について説明する。
(Overall configuration of verification system)
FIG. 1 is a diagram showing an example of the overall configuration of a verification system according to an embodiment. The overall configuration of a
図1に示す照合システム1は、搬送ライン3(搬送経路)において、撮像装置により撮像された画像が示す指示情報および部品における所定の対象物から、当該指示情報が示す部品が搬送されているか否かを照合するためのシステムである。図1に示すように、照合システム1は、リミッタスイッチ11と、第1撮像装置12aと、第2撮像装置12bと、照合装置10と、表示装置13と、サーバ装置20と、を含む。
The
リミッタスイッチ11は、搬送ライン3上で図1に示す矢印の方向に流れる車体等の部品30が所定の位置まで到達したことを検知するためのスイッチである。リミッタスイッチ11は、部品30が所定の位置まで到達したことを検知した場合、部品30についての検知信号を、照合装置10へ送信する。なお、部品30が搬送ライン3上の所定の位置に到達したことを検知するためのセンサまたはスイッチとしてはリミッタスイッチ11に限定されるものではなく、例えば、リミッタスイッチ11の代わりに近接センサまたは光電センサ等を用いて検知するものとしてもよい。
The
第1撮像装置12aは、搬送ライン3に流れる車体等の部品30を識別する指示情報の表示媒体を撮像する撮像装置である。第1撮像装置12aは、撮像した撮像画像を照合装置10へ送信する。本実施形態では、部品30は、自動車の車体であるものとし、所定の対象物は、自動車メーカ、または当該自動車メーカおよび車種を特定するエンブレムであるものとし、指示情報の表示媒体は、図1に示すように、数字、アルファベット等で表される指示情報を表示する電光掲示板31であるものとして説明する。なお、部品30、所定の対象物、および指示情報の表示媒体は、これらに限定されるものではない。
The
第2撮像装置12bは、部品30における所定の対象物であるエンブレムを含む領域を撮像する撮像装置である。第2撮像装置12bは、撮像した撮像画像を照合装置10へ送信する。
The
なお、第1撮像装置12aおよび第2撮像装置12bによる撮像画像は、静止画データであってもよく、動画データであってもよい。
Note that the images captured by the
照合装置10は、第1撮像装置12aで撮像された撮像画像に含まれる指示情報、および第2撮像装置12bで撮像された撮像画像に含まれるエンブレムから、それぞれ文字情報に変換し、当該文字情報を照合する装置である。照合装置10は、例えば、シングルボードコンピュータによって実現される。なお、照合装置10はシングルボードコンピュータであることに限定されず、通常のPC(Personal Computer)またはワークステーション等の情報処理装置であってもよい。照合装置10は、画像処理プログラム101と、学習モデル102と、照合プログラム103と、を含む。
The
画像処理プログラム101は、第1撮像装置12aおよび第2撮像装置12bにより撮像された撮像画像から、指示情報およびエンブレムの画像を抽出する等の画像処理を行うためのプログラムである。
The image processing program 101 is a program for performing image processing such as extracting instruction information and an emblem image from captured images captured by the
学習モデル102は、指示情報の画像に、ラベルとしての所定の文字情報を組み合わせた教師データ(第1教師データ)、およびエンブレムの画像に、ラベルとしての所定の文字情報を組み合わせた教師データ(第2教師データ)を用いて、機械学習の一例である教師あり学習により生成された学習モデルである。当該学習モデルは、例えば、YOLO(You Only Look Once)等の既存の物体認識アルゴリズムに基づいて生成されるものとすればよい。ここで、所定の文字情報とは、例えば、エンブレムに対応するメーカ名または車種名等の文字情報であるものとする。本実施形態では、指示情報の画像、およびエンブレムの画像から、学習モデル102を用いた識別処理の結果として、メーカ名を示す文字情報、および当該結果の信頼性の程度を示す信頼度が得られるものとして説明する。 The learning model 102 includes teacher data (first teacher data) in which an image of instruction information is combined with predetermined character information as a label, and teacher data (first teacher data) in which an image of an emblem is combined with predetermined character information as a label. This is a learning model generated by supervised learning, which is an example of machine learning, using 2 supervised data). The learning model may be generated based on an existing object recognition algorithm such as YOLO (You Only Look Once). Here, the predetermined character information is, for example, character information such as a manufacturer name or a car model name corresponding to an emblem. In this embodiment, character information indicating the manufacturer's name and reliability indicating the degree of reliability of the result are obtained from the instruction information image and the emblem image as a result of identification processing using the learning model 102. Explain as a thing.
照合プログラム103は、学習モデル102を用いた識別処理の結果により得られた、指示情報の画像に対する文字情報と、エンブレムの画像に対する文字情報とを照合するためのプログラムである。 The matching program 103 is a program for matching the character information for the instruction information image and the character information for the emblem image, which are obtained as a result of the identification process using the learning model 102.
表示装置13は、照合プログラム103による照合結果等を表示する、LCD(Liquid Crystal Display:液晶ディスプレイ)またはOELD(Organic Electro-Luminescent Display:有機ELディスプレイ)等の表示装置である。
The
サーバ装置20は、照合プログラム103による照合結果等を蓄積するサーバ装置である。
The
(照合装置のハードウェア構成)
図2は、実施形態に係る照合装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施形態に係る照合装置10のハードウェア構成について説明する。
(Hardware configuration of verification device)
FIG. 2 is a diagram illustrating an example of the hardware configuration of the verification device according to the embodiment. The hardware configuration of the
図2に示すように、照合装置10は、CPU(Central Processing Unit)201と、RAM(Random Access Memory)202と、ROM(Read Only Memory)203と、補助記憶装置204と、ネットワークI/F205と、入力I/F206と、出力I/F207と、撮像I/F208と、を備えている。これらの各部は、バスライン210を介して互いにデータ通信が可能となるように接続されている。
As shown in FIG. 2, the
CPU201は、照合装置10全体の動作を制御する演算装置である。RAM202は、CPU201のワークエリアとして使用される揮発性記憶装置である。ROM203は、IPL(Initial Program Loader)のようなCPU201が最初に実行するプログラム等を記憶する不揮発性記憶装置である。なお、CPU201、RAM202およびROM203は、例えば1つの基板に実装されたSoC(System on a Chip)として構成されていてもよい。
The CPU 201 is a calculation device that controls the overall operation of the
補助記憶装置204は、上述した画像処理プログラム101、学習モデル102および照合プログラム103、ならびにこれらのプログラムで用いられる各種データ等を記憶するHDD(Hard Disk Drive)、SSD(Solid State Drive)、eMMC(embedded Multi Media Card)またはmicroSDカード等の補助記憶装置である。 The auxiliary storage device 204 includes an HDD (Hard Disk Drive), an SSD (Solid State Drive), an eMMC ( It is an auxiliary storage device such as an embedded Multi Media Card) or a microSD card.
ネットワークI/F205は、ネットワーク等に接続してデータ通信するためのインターフェースである。図2に示す例では、ネットワークI/F205は、サーバ装置20に接続されており、照合装置10における上述の照合結果等をサーバ装置20へ送信する。また、ネットワークI/F205は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)のプロトコルで通信可能にするEthernet(登録商標)規格のインターフェースである。なお、ネットワークI/F205は、有線通信に限定されるものではなく、Wi-Fi(登録商標)等に基づく無線通信のインターフェースであってもよい。
The network I/
入力I/F206は、リミッタスイッチ11から検知信号を入力するためのGPIO(General Purpose Input/Output)等のインターフェースである。
The input I/
出力I/F207は、照合結果等の表示データを表示装置13へ送信するためのHDMI(登録商標)(High-Definition Multimedia Interface)等のインターフェースである。
The output I/
撮像I/F208は、第1撮像装置12aおよび第2撮像装置12bから撮像画像を受信するためのUSB(Universal Serial Bus)等のインターフェースである。
The imaging I/F 208 is an interface such as a USB (Universal Serial Bus) for receiving captured images from the
なお、図1に示す照合装置10のハードウェア構成は一例を示すものであり、当該構成に限定されるものではない。例えば、グラフィック処理に特化したGPU(Graphics Processing Unit)等を備えているものとしてもよい。
Note that the hardware configuration of the
(照合装置の機能的なブロック構成)
図3は、実施形態に係る照合装置の機能的なブロック構成の一例を示す図である。図4は、指示情報を示す撮像画像の一例を示す図である。図5は、エンブレムの撮像画像の一例を示す図である。図6は、実施形態に係る照合システムにおいて識別結果を重畳表示させた撮像画像の表示例を示す図である。図3~図6を参照しながら、本実施形態に係る照合装置10の機能的なブロック構成および動作について説明する。
(Functional block configuration of verification device)
FIG. 3 is a diagram illustrating an example of a functional block configuration of the verification device according to the embodiment. FIG. 4 is a diagram illustrating an example of a captured image indicating instruction information. FIG. 5 is a diagram showing an example of a captured image of an emblem. FIG. 6 is a diagram illustrating a display example of a captured image in which the identification result is displayed in a superimposed manner in the verification system according to the embodiment. The functional block configuration and operation of the
図3に示すように、照合装置10は、第1取得部301と、第2取得部302と、検知部303と、抽出部304と、識別部305と、照合部306と、表示制御部307と、生成部308と、記憶部309と、を有する。
As shown in FIG. 3, the
第1取得部301は、第1撮像装置12aにより撮像された、電光掲示板31の撮像画像(以下、第1撮像画像と称する場合がある)を取得する機能部である。ここで、図4(b)に、第1撮像画像の一例として、第1撮像装置12aにより撮像された電光掲示板31の撮像画像IMG2を示している。なお、上述したように、第1撮像装置12aが撮像する対象は、指示情報を表示する電光掲示板31に限定されるものではなく、例えば、図4(a)に示すように、部品30である車体に貼付された、指示情報が印字された指示紙を含む撮像画像IMG1(第1撮像画像の一例)であってもよい。また、第1取得部301は、後述する検知部303から部品30についての検知信号を受信した旨を受け取った場合、第1撮像装置12aにより撮像された第1撮像画像の取得を開始する。なお、検知部303により検知信号を受信したタイミングで、第1撮像装置12aによる撮像動作の開始、かつ第1取得部301による第1撮像画像の取得動作の開始が行われるものとしてもよい。第1取得部301は、取得した第1撮像画像を、抽出部304へ出力する。第1取得部301は、例えば、図2に示すCPU201により画像処理プログラム101が実行されることによって実現される。
The
第2取得部302は、第2撮像装置12bにより撮像された、部品30である車体のエンブレムを含む撮像画像(以下、第2撮像画像と称する場合がある)を取得する機能部である。ここで、図5に、第2撮像画像の一例として、第2撮像装置12bにより撮像された車体のエンブレムを含む撮像画像IMG3を示している。また、第2取得部302は、後述する検知部303から部品30についての検知信号を受信した旨を受け取った場合、第2撮像装置12bにより撮像された第2撮像画像の取得を開始する。なお、検知部303により検知信号を受信したタイミングで、第2撮像装置12bによる撮像動作の開始、かつ第2取得部302による第2撮像画像の取得動作の開始が行われるものとしてもよい。第2取得部302は、取得した第2撮像画像を、抽出部304へ出力する。第2取得部302は、例えば、図2に示すCPU201により画像処理プログラム101が実行されることによって実現される。
The second acquisition unit 302 is a functional unit that acquires a captured image (hereinafter sometimes referred to as a second captured image) including the emblem of the vehicle body, which is the
検知部303は、リミッタスイッチ11により搬送ライン3上で部品30が所定の位置まで到達したことが検知された場合、リミッタスイッチ11から当該検知信号を受信する機能部である。検知部303は、検知信号を受信した場合、当該検知信号を受信した旨を第1取得部301および第2取得部302へ出力する。検知部303は、例えば、図2に示すCPU201により画像処理プログラム101等のプログラムが実行されることによって実現される。
The detection unit 303 is a functional unit that receives a detection signal from the
抽出部304は、第1取得部301および第2取得部302によりそれぞれ取得された撮像画像から、所定の画像部分を抽出する機能部である。
The
具体的には、抽出部304は、第1取得部301により取得された第1撮像画像から、エンブレムを識別する指示情報を含む画像を抽出する。例えば、図4(b)に示す例では、抽出部304は、第1取得部301から受け取った第1撮像画像である撮像画像IMG2から、指示情報を含む画像として抽出画像EIMG2を抽出する。なお、図4(a)に示すように、第1撮像画像が、指示情報が印字された指示紙を含む撮像画像IMG1である場合、抽出部304は、当該撮像画像IMG1から、指示情報を含む画像として抽出画像EIMG1を抽出すればよい。
Specifically, the
また、抽出部304は、第2取得部302により取得された第2撮像画像から、エンブレムを含む画像を抽出する。例えば、図5に示す例では、抽出部304は、第2取得部302から受け取った第2撮像画像である撮像画像IMG3から、エンブレムを含む画像として抽出画像EIMG3を抽出する。
Further, the
抽出部304が各撮像画像から所定の画像部分(指示情報およびエンブレム)を抽出する方法としては、例えば、抽出する画像領域が予め設定されているものとしてもよく、または、テンプレートマッチング等の所定のアルゴリズムにより所定の画像部分が抽出されるものとしてもよい。抽出部304は、抽出した指示情報の画像、およびエンブレムの画像を、識別部305へ出力する。抽出部304は、例えば、図2に示すCPU201により画像処理プログラム101が実行されることによって実現される。
As a method for the
識別部305は、抽出部304から受け取った抽出画像を入力として、記憶部309に記憶された学習モデル102を用いた識別処理により、抽出画像に対応するメーカ名を示す文字情報を出力する機能部である。具体的には、識別部305は、抽出部304から受け取った指示情報の画像に基づいて、学習モデル102を用いた識別処理により、当該指示情報の画像に対応するメーカ名を示す文字情報(以下、第1文字情報と称する場合がある)、および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部305は、抽出部304から受け取ったエンブレムの画像に基づいて、学習モデル102を用いた識別処理により、当該エンブレムの画像に対応するメーカ名を示す文字情報(以下、第2文字情報と称する場合がある)、および当該識別処理の信頼性の程度を示す信頼度を出力する。識別部305は、第1文字情報および第2文字情報、ならびにそれぞれの信頼度を、照合部306へ出力する。識別部305は、例えば、図2に示すCPU201により、学習モデル102を用いた識別処理を行うためのプログラムが実行されることによって実現される。
The
なお、第1文字情報は、メーカ名として説明したが、これに限定されるものではなく、指示情報に対応する文字情報であればよい。また、第2文字情報は、メーカ名として説明したが、これに限定されるものではなく、エンブレム等の所定の対象物を識別する文字情報であればよい。また、第1文字情報および第2文字情報は、文字情報に限定されるものではなく、例えばバイナリデータ等であってもよい。 Although the first character information has been described as a manufacturer name, it is not limited to this, and may be any character information that corresponds to instruction information. Moreover, although the second character information has been explained as a manufacturer name, it is not limited to this, and may be any character information that identifies a predetermined object such as an emblem. Further, the first character information and the second character information are not limited to character information, and may be, for example, binary data.
照合部306は、識別部305から受け取った第1文字情報(第1情報の一例)と、第2文字情報(第2情報の一例)とが一致するか否かを照合する機能部である。照合部306は、照合結果を、表示制御部307およびサーバ装置20へ出力する。また、照合部306は、第1文字情報および第2文字情報それぞれに対応する信頼度を、表示制御部307およびサーバ装置20へ出力する。照合部306は、例えば、図2に示すCPU201により照合プログラム103が実行されることによって実現される。
The
なお、照合部306は、照合結果を、搬送ライン3を制御する上位コンピュータに送信するものとしてもよい。これによって、当該上位コンピュータは、照合結果が不一致である場合に、搬送ライン3を停止させる等、適切な処理を実行することができる。
Note that the
表示制御部307は、照合部306から受け取った照合結果等を表示装置13に表示させる機能部である。表示制御部307は、例えば、第2取得部302により取得された第2撮像画像に対して、照合結果、およびエンブレムの画像に対応する第2文字情報を重畳させて表示装置13に表示させる。なお、第2撮像画像に対して、第2文字情報に対応する信頼度を、当該第2文字情報の代わりに、または当該第2文字情報に加えて、重畳させるものとしてもよい。また、表示制御部307による、照合部306の照合結果、ならびに、識別部305による識別処理の結果としての第2文字情報および信頼度の表示は、学習モデル102を用いた処理の結果の表示に相当する。
The
図6(a)に示す例では、表示制御部307は、第2取得部302により取得された第2撮像画像である撮像画像IMG4に対して、照合結果である結果表示部RSTを重畳させ、エンブレムの画像部分に、第2文字情報「メーカA」および信頼度「0.82」の表示を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部SPN1を重畳させて表示装置13に表示させている。図6(b)では、エンブレムの画像部分に、第2文字情報「メーカB」および信頼度「0.80」を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部SPN2を重畳表示させた例を示している。図6(c)では、エンブレムの画像部分に、第2文字情報「メーカC」および信頼度「0.96」を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部SPN3を重畳表示させた例を示している。この場合、表示制御部307は、照合結果が一致を示す場合(「OK」の場合)にのみ、重畳表示部SPN1~SPN3を表示させるものとしてもよい。また、表示制御部307は、図6に示すように、例えば、第2文字情報が示すメーカ名に応じて、重畳表示部SPN1~SPN3の表示色等の態様を異なるように表示させてもよい。
In the example shown in FIG. 6A, the
このように、照合結果を表示装置13に表示させることによって、搬送ライン3の作業者は、照合結果を視覚的に認識することができる。また、第2撮像画像のエンブレムの画像部分に、第2文字情報を重畳して表示させることによって、作業者は、学習モデル102により識別された、エンブレムに対応するメーカ名を視覚的に確認することができる。また、第2撮像画像のエンブレムの画像部分に、学習モデル102を用いた識別処理の信頼度を重畳して表示させることによって、学習モデル102による識別処理の信頼性を確認することができる。また、第2撮像画像のエンブレムの画像部分を囲う表示部を重畳して表示させることによって、学習モデル102による識別処理の対象となったエンブレムについて画像上の認識を容易にすることができる。
By displaying the verification results on the
表示制御部307は、例えば、図2に示すCPU201により照合プログラム103等のプログラムが実行されることによって実現される。
The
生成部308は、指示情報の画像に、ラベルとして、当該指示情報に対応するメーカ名を組み合わせた教師データ、およびエンブレムの画像に、ラベルとして、当該エンブレムに対応するメーカ名を組み合わせた教師データを用いて、機械学習の一例である教師あり学習により学習モデル102を予め生成する機能部である。生成部308は、生成した学習モデル102を記憶部309に記憶させる。生成部308は、例えば、図2に示すCPU201により、教師あり学習を実現する学習プログラムが実行されることによって実現される。
The
記憶部309は、画像処理プログラム101、学習モデル102および照合プログラム103、ならびにこれらのプログラムで用いられる各種データ等を記憶する機能部である。なお、上述の図1で示したように、画像処理プログラム101、学習モデル102を用いたプログラム、および照合プログラム103は、別々のプログラムとしているが、これに限定されるものではなく、例えば、1つのプログラムとして構成されているものとしてもよい。記憶部309は、図2に示す補助記憶装置204によって実現される。
The
なお、図3に示した照合装置10の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
Note that the functions of each functional unit of the
(照合システムの識別照合処理の流れ)
図7は、実施形態に係る照合システムにおける識別照合処理の流れの一例を示す図である。図7を参照しながら、本実施形態に係る照合システム1の識別照合処理の流れについて説明する。
(Flow of identification and verification processing of verification system)
FIG. 7 is a diagram illustrating an example of the flow of identification verification processing in the verification system according to the embodiment. Referring to FIG. 7, the flow of the identification verification process of the
<ステップS11>
まず、搬送ライン3を流れる車体である部品30がリミッタスイッチ11により検知され、検知部303によりリミッタスイッチ11から検知信号が受信された場合(ステップS11:Yes)、照合装置10は待機モードから通常の動作モードに復帰し、検知部303は、当該検知信号を受信した旨を第1取得部301および第2取得部302へ出力し、ステップS12へ移行する。部品30がリミッタスイッチ11により検知されない場合(ステップS11:No)、検知されるまで待機する。ここで、待機モードとは、例えば省電力状態の動作モードである。
<Step S11>
First, when the
<ステップS12>
第1取得部301は、検知部303から検知信号を受信した旨を受け取った場合、第1撮像装置12aにより撮像された第1撮像画像の取得を開始し、取得した第1撮像画像を、抽出部304へ出力する。また、第2取得部302は、検知部303から検知信号を受信した旨を受け取った場合、第2撮像装置12bにより撮像された第2撮像画像の取得を開始し、取得した第2撮像画像を、抽出部304へ出力する。そして、ステップS13へ移行する。
<Step S12>
When the
<ステップS13>
抽出部304は、第1取得部301により取得された第1撮像画像から、エンブレムを識別する指示情報を含む画像を抽出して、当該画像を識別部305へ出力する。また、抽出部304は、第2取得部302により取得された第2撮像画像から、エンブレムを含む画像を抽出して、当該画像を識別部305へ出力する。そして、ステップS14へ移行する。
<Step S13>
The
<ステップS14>
識別部305は、抽出部304から受け取った指示情報の画像に基づいて、学習モデル102を用いた識別処理により、当該指示情報の画像に対応するメーカ名を示す第1文字情報および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部305は、抽出部304から受け取ったエンブレムの画像に基づいて、学習モデル102を用いた識別処理により、当該エンブレムの画像に対応するメーカ名を示す第2文字情報および当該識別処理の信頼性の程度を示す信頼度を出力する。そして、識別部305は、第1文字情報および第2文字情報、ならびにそれぞれの信頼度を、照合部306へ出力する。そして、ステップS15へ移行する。
<Step S14>
The
<ステップS15>
照合部306は、識別部305から受け取った第1文字情報と第2文字情報とが一致するか否かを照合する。照合部306は、照合結果を、表示制御部307およびサーバ装置20へ出力する。また、照合部306は、第1文字情報および第2文字情報それぞれに対応する信頼度を、表示制御部307およびサーバ装置20へ出力する。そして、ステップS16へ移行する。
<Step S15>
The
<ステップS16>
表示制御部307は、第2取得部302により取得された第2撮像画像に対して、照合結果である結果表示部RSTを重畳させ、エンブレムの画像部分に、第2文字情報およびその信頼度の表示を含み、当該エンブレムの画像部分を囲う部分を含む重畳表示部を重畳させて表示装置13に表示させる。そして、照合部306による照合処理、および表示制御部307による表示処理が終了すると、照合装置10は待機モードへ移行する。そして、識別照合処理を終了する。
<Step S16>
The
以上のように、本実施形態に係る照合装置10では、第1取得部301が、第1撮像装置12aにより撮像された、搬送ライン3上で搬送される部品30を識別する指示情報の表示媒体に対する第1撮像画像を取得し、第2取得部302が、第2撮像装置12bにより撮像された、部品30におけるエンブレムに対する第2撮像画像を取得し、識別部305が、第1撮像画像に含まれる指示情報の画像から、学習モデル102を用いた識別処理により第1文字情報を得、第2撮像画像に含まれるエンブレムの画像から、学習モデル102を用いた識別処理により第2文字情報を得、照合部306が、第1文字情報と、第2文字情報とを照合し、表示制御部307が、学習モデル102を用いた処理の結果を、第2撮像画像に重畳させて表示装置13に表示させる。これによって、搬送ライン3の作業者等は、第2撮像画像に対する処理の結果を当該第2撮像画像に関連付けて認識することができる。
As described above, in the
また、照合装置10では、表示制御部307が、識別部305によるエンブレムの画像に対する学習モデル102を用いた識別処理の結果を、第2撮像画像に重畳させて表示装置13に表示させる。これによって、第2撮像画像に対する学習モデル102を用いた識別処理の結果を当該第2撮像画像に関連付けて認識することができる。
Further, in the
また、照合装置10では、表示制御部307は、識別部305による識別処理の結果を、第2文字情報に応じた態様で表示装置13に表示させる。これによって、学習モデル102を用いた識別処理の結果を、第2文字情報ごとに区別することができる。
Furthermore, in the
また、照合装置10では、表示制御部307は、識別部305による識別処理の結果として、第2文字情報、または当該識別処理の信頼度のうち少なくともいずれか一方を、表示装置13に表示させる。これによって、第2撮像画像に対する学習モデル102を用いた識別処理の結果の詳細を、当該第2撮像画像に関連付けて認識することができる。
Furthermore, in the
(変形例)
変形例に係る照合システム1について、上述の実施形態に係る照合システム1とは相違する点を中心に説明する。上述の実施形態では、撮像対象となる部品30の所定の対象物がエンブレムであるものとして説明したが、本変形例では、当該対象物が部品30のバックドアに備え付けられたガーニッシュであるものとして説明する。
(Modified example)
The
図8は、変形例に係る照合装置においてガーニッシュを識別する動作を説明する図である。図8を参照しながら、本変形例に係る照合装置10について説明する。
FIG. 8 is a diagram illustrating an operation for identifying a garnish in a verification device according to a modification. Referring to FIG. 8, a
本変形例において、第2撮像装置12bは、図8に示すように、車体である部品30における所定の対象物としてのガーニッシュを含む領域を撮像する。この場合、部品30に取り付けられたガーニッシュについては、正しい色のガーニッシュが取り付けられているのかを判定することが重要であるものとし、第1撮像装置12aにより撮像される第1画像情報に含まれる指示情報は、所定の対象物としてガーニッシュの色を識別する情報であるものとする。
In this modification, the
本変形例において、学習モデル102は、指示情報の画像に、ラベルとしての所定の文字情報を組み合わせた教師データ、およびガーニッシュの画像に、ラベルとしての所定の文字情報を組み合わせた教師データを用いて、機械学習の一例である教師あり学習により、生成部308により予め生成される。ここで、所定の文字情報とは、例えば、色を示す文字情報であるものとする。
In this modification, the learning model 102 uses teacher data that combines an image of instruction information with predetermined text information as a label, and teacher data that combines an image of garnish with predetermined text information as a label. , is generated in advance by the
抽出部304は、第1取得部301により取得された第1撮像画像から、ガーニッシュの色を識別する指示情報を含む画像を抽出する。また、抽出部304は、第2取得部302により取得された第2撮像画像から、ガーニッシュを含む画像を抽出する。例えば、図8(a)に示す例では、抽出部304は、第2撮像画像である撮像画像IMG11から、黒色のガーニッシュを含む画像として抽出画像EIMG11を抽出している。また、図8(b)に示す例では、抽出部304は、第2撮像画像である撮像画像IMG12から、白色のガーニッシュを含む画像として抽出画像EIMG12を抽出している。抽出部304は、抽出した指示情報の画像、およびガーニッシュの画像を、識別部305へ出力する。
The
識別部305は、抽出部304から受け取った抽出画像に基づいて、記憶部309に記憶された学習モデル102を用いた識別処理により、抽出画像に対応する色を示す文字情報を出力する。具体的には、識別部305は、抽出部304から受け取った指示情報の画像に基づいて、学習モデル102を用いた識別処理により、当該指示情報の画像に対応する色を示す第1文字情報、および当該識別処理の信頼性の程度を示す信頼度を出力する。また、識別部305は、抽出部304から受け取ったガーニッシュの画像に基づいて、学習モデル102を用いた識別処理により、当該ガーニッシュの画像に対応する色を示す第2文字情報、および当該識別処理の信頼性の程度を示す信頼度を出力する。識別部305は、第1文字情報および第2文字情報、ならびにそれぞれの信頼度を、照合部306へ出力する。
The
照合部306は、識別部305から受け取った第1文字情報と第2文字情報とが一致するか否かを照合する機能部である。照合部306は、照合結果を、表示制御部307およびサーバ装置20へ出力する。また、照合部306は、第1文字情報および第2文字情報それぞれに対応する信頼度を、表示制御部307およびサーバ装置20へ出力する。
The
なお、本変形例に係る照合システム1のその他の構成は、上述の実施形態に係る照合システム1の構成と同様である。
Note that the other configuration of the
このように、本変形例に係る照合装置10では、部品30における対象物としてエンブレムではなく、ガーニッシュ等の他の部材を対象物とすることが可能となり、これらの対象物を用いることによっても、搬送ライン3の作業者等は、当該他の対象物の第2撮像画像に対する処理の結果を当該第2撮像画像に関連付けて認識することができる。
In this way, in the
1 照合システム
3 搬送ライン
10 照合装置
11 リミッタスイッチ
12a 第1撮像装置
12b 第2撮像装置
13 表示装置
20 サーバ装置
30 部品
31 電光掲示板
101 画像処理プログラム
102 学習モデル
103 照合プログラム
301 第1取得部
302 第2取得部
303 検知部
304 抽出部
305 識別部
306 照合部
307 表示制御部
308 生成部
309 記憶部
1
Claims (6)
第2撮像装置により撮像された、前記部品における所定の対象物に対する第2撮像画像を取得する第2取得部と、
前記第1撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第1情報を出力として得、前記第2撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第2情報を出力として得る識別部と、
前記第1情報と、前記第2情報とを照合する照合部と、
前記学習モデルを用いた処理の結果を、前記第2撮像画像に重畳させて表示装置に表示させる表示制御部と、
を備えた照合装置。 a first acquisition unit that acquires a first image captured by a first imaging device on a display medium of instruction information for identifying a component to be conveyed on a conveyance route;
a second acquisition unit that acquires a second captured image of a predetermined object in the component, captured by a second imaging device;
Using the image of the instruction information included in the first captured image as input, first information corresponding to the instruction information is obtained as an output through identification processing using a predetermined learning model; an identification unit that receives an image of the object as an input and outputs second information that identifies the object through identification processing using the learning model;
a collation unit that collates the first information and the second information;
a display control unit that causes a display device to display a result of the processing using the learning model superimposed on the second captured image;
Verification device equipped with
第2撮像装置により撮像された、前記部品における所定の対象物に対する第2撮像画像を取得する第2取得ステップと、
前記第1撮像画像に含まれる前記指示情報の画像を入力として、所定の学習モデルを用いた識別処理により該指示情報に対応する第1情報を出力として得、前記第2撮像画像に含まれる前記対象物の画像を入力として、前記学習モデルを用いた識別処理により該対象物を識別する第2情報を出力として得る識別ステップと、
前記第1情報と、前記第2情報とを照合する照合ステップと、
前記学習モデルを用いた処理の結果を、前記第2撮像画像に重畳させて表示装置に表示させる表示制御ステップと、
を有する表示方法。 a first acquisition step of acquiring a first captured image for a display medium of instruction information for identifying a component to be conveyed on a conveyance route, which is captured by a first imaging device;
a second acquisition step of acquiring a second captured image of a predetermined object in the component, captured by a second imaging device;
The image of the instruction information included in the first captured image is input, first information corresponding to the instruction information is obtained as an output through identification processing using a predetermined learning model, and the image of the instruction information included in the second captured image is obtained as an output through identification processing using a predetermined learning model. an identification step in which an image of the object is input and second information identifying the object is obtained as an output through identification processing using the learning model;
a collation step of collating the first information and the second information;
a display control step of superimposing a result of the processing using the learning model on the second captured image and displaying it on a display device;
A display method having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021142582A JP7407778B2 (en) | 2021-09-01 | 2021-09-01 | Verification device and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021142582A JP7407778B2 (en) | 2021-09-01 | 2021-09-01 | Verification device and display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023035595A JP2023035595A (en) | 2023-03-13 |
JP7407778B2 true JP7407778B2 (en) | 2024-01-04 |
Family
ID=85503841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021142582A Active JP7407778B2 (en) | 2021-09-01 | 2021-09-01 | Verification device and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407778B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019033174A (en) | 2017-08-08 | 2019-02-28 | 日本電気株式会社 | Identification system, identification method, and program |
-
2021
- 2021-09-01 JP JP2021142582A patent/JP7407778B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019033174A (en) | 2017-08-08 | 2019-02-28 | 日本電気株式会社 | Identification system, identification method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2023035595A (en) | 2023-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101783337B1 (en) | Methods and apparatus to extract text from imaged documents | |
JP6569532B2 (en) | Management system, list creation device, list creation method, management method, and management program | |
CN101035186B (en) | Apparatus and method for detecting digital watermark | |
CN110428028B (en) | Identification and verification method, device, equipment and medium based on quasi-dynamic laser label | |
JP6720694B2 (en) | Image processing program, image processing method, and image processing apparatus | |
CN105303156A (en) | Character Detection Apparatus, Method and program | |
US9679218B2 (en) | Method and apparatus for image matching | |
JP7407778B2 (en) | Verification device and display method | |
JP6123265B2 (en) | Information processing apparatus, vehicle identification method, and vehicle identification program | |
JP7407777B2 (en) | Verification device and method | |
JP2016130979A (en) | Detection device, detection processing program, and detection system | |
JP6674515B2 (en) | Judgment device and judgment method | |
JP7219023B2 (en) | Information processing device and object determination program | |
JP2012212287A (en) | Individual identification device, individual identification method, and program | |
JP5169648B2 (en) | Original image search device and original image search program | |
US20190043213A1 (en) | Systems and methods for testing an automatic perception system | |
JP2007140703A (en) | Method for reading insurance policy, system thereof, and insurance policy recognition system | |
US10225432B2 (en) | Facilitating authentication of a void pantograph | |
JP7481173B2 (en) | Information processing device, information processing method, and program | |
JP2020024111A (en) | Inspection device and inspection method | |
JP2020024110A (en) | Inspection device and inspection method | |
CN106599742A (en) | Car insurance sign identification apparatus | |
US9292238B2 (en) | Method and apparatus for preventing leakage of printout using security paper | |
JP7081108B2 (en) | Identification device, matching method, and matching program | |
JP2023035618A (en) | Anomaly detection device and anomaly detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |