WO2021054478A1 - 良否判定システム、サーバ及びプログラム - Google Patents

良否判定システム、サーバ及びプログラム Download PDF

Info

Publication number
WO2021054478A1
WO2021054478A1 PCT/JP2020/035653 JP2020035653W WO2021054478A1 WO 2021054478 A1 WO2021054478 A1 WO 2021054478A1 JP 2020035653 W JP2020035653 W JP 2020035653W WO 2021054478 A1 WO2021054478 A1 WO 2021054478A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
machine learning
unit
machine
quality
Prior art date
Application number
PCT/JP2020/035653
Other languages
English (en)
French (fr)
Inventor
裕弓 田中
貴史 津田
Original Assignee
株式会社リョーワ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リョーワ filed Critical 株式会社リョーワ
Publication of WO2021054478A1 publication Critical patent/WO2021054478A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a pass / fail judgment system, a server and a program.
  • Patent Document 1 describes a service providing system that provides a service using machine learning by artificial intelligence.
  • This service providing system is a service providing system that provides services using machine learning by artificial intelligence, and is a general model modeled by machine learning by inputting learning data based on information sent from users.
  • Machine learning means for generating various models
  • personalization means for personalizing the general model to a model suitable for the user based on the information sent from the user, and the personalized means.
  • a service providing means for providing a personalized service to the user by using a model is provided, and the information sent from the user is used for both the machine learning and the personalization.
  • An object of the present invention is to provide a quality determination system capable of determining the quality of parts of a transportation machine even when the communication environment of the Internet is restricted.
  • the quality determination system processes images of transport machine parts imaged in advance and creates teaching data for constructing a machine learning model for determining the quality of the transport machine parts.
  • a machine learning model receiver that downloads the machine learning model constructed based on the teaching data by the machine learning model construction service provided as a cloud computing service and constructing the machine learning model, and a pre-shipment machine learning model receiver.
  • the imaging unit includes an imaging unit that captures an image of a component of the transport machine and a transmitting unit that transmits operation information regarding the operating state of the imaging unit.
  • the imaging unit is the machine learning model receiving unit.
  • the transmission unit has a storage unit that stores the downloaded machine learning model and a determination unit that determines the quality of parts of the transportation machine based on the machine learning model stored in the storage unit. ,
  • the operation information is transmitted to the server.
  • the server according to one aspect of the present invention is a server provided in the quality determination system according to one aspect of the present invention.
  • the program according to one aspect of the present invention is a server that processes images of transport machine parts captured in advance and creates teaching data for constructing a machine learning model for determining the quality of the transport machine parts. It has a storage unit that is connected to the Internet via the Internet and stores the machine learning model, and a determination unit that determines the quality of parts of the transportation machine based on the machine learning model.
  • the control device connected to the imaging unit that captures an image of the parts of the transport machine is provided as a cloud computing service, and the machine learning model construction service that constructs the machine learning model constructs the machine learning model based on the teaching data.
  • a receiving means for downloading the machine learning model a first transmitting means for transmitting the downloaded machine learning model to the storage unit, and a second transmitting means for transmitting operation information regarding the operating state of the imaging unit to the server. Make it work.
  • the quality determination method is provided as a cloud computing service and a server for creating teaching data for constructing a machine learning model for determining the quality of parts of a transportation machine, and the machine learning model.
  • the storage unit that stores the machine learning model downloaded by the machine learning model receiving unit, and the machine learning model stored in the storage unit.
  • an image pickup unit having a determination unit for determining the quality of the parts of the transport machine and a camera unit for capturing an image of the parts of the transport machine, a transmission unit for transmitting operation information regarding the operating state of the image pickup unit, and a transmission unit.
  • the step of downloading the machine learning model constructed by the learning model construction service based on the teaching data the step of storing the downloaded machine learning model by the storage unit, and the inspection step before shipment.
  • the camera unit captures an image of the parts of the transport machine
  • the determination unit captures the image of the parts of the transport machine based on the image captured by the camera unit and the machine learning model stored in the storage unit. It includes a step of determining the quality and a step of the transmission unit transmitting the operation information to the server.
  • the present invention it is possible to provide a quality determination system, a server and a program capable of determining the quality of parts of a transportation machine even when the communication environment of the Internet is restricted.
  • the quality determination system 10 (see FIG. 1) according to the embodiment of the present invention can determine the quality of the appearance of the inspection target 14 manufactured by the user's manufacturing equipment 12 by machine learning. The quality of this appearance is judged by the presence or absence of defects.
  • the inspection target 14 is, for example, parts and food of a transportation machine such as an automobile or an aircraft.
  • the pass / fail judgment service by the pass / fail judgment system 10 is provided by the service provider to the user who owns the manufacturing equipment 12.
  • the quality determination system 10 includes a personal computer 20, a server 30, a personal computer 40, a PLC (Programmable Logical Controller) 50, and an imaging unit 60.
  • the personal computer 20, the server 30, and the personal computer 40 are connected to each other via the Internet N.
  • the personal computer 20 is a terminal managed by a user or a service provider who owns the manufacturing equipment 12, and has a teaching data creating unit 202 as shown in FIG.
  • the teaching data creating unit (an example of teaching data creating means) 202 can create teaching data of the inspection target 14 for constructing a machine learning model.
  • the personal computer 20 functions as a teaching data creating means by a program executed by the personal computer 20.
  • the personal computer 20 may be a mobile terminal such as a smartphone.
  • the server 30 is managed by a service provider, and has a preprocessing unit 302, a transmission unit 304, a verification unit 306, and a management unit 308, as shown in FIG.
  • the pre-processing unit (an example of the pre-processing means) 302 pre-processes the teaching data created by the teaching data creating unit 202 and creates the teaching data after the pre-processing.
  • This preprocessing is a process necessary for constructing a highly accurate machine learning model, and is, for example, an optimum filter process for image data.
  • the transmission unit (an example of transmission means) 304 can upload the preprocessed teaching data generated by the user's operation to the machine learning model construction service 80 (see FIG. 1).
  • the machine learning model construction service 80 is provided as a cloud computing service, and a machine learning model can be constructed based on the uploaded teaching data.
  • This machine learning model construction service 80 is, for example, a Cloud AutoML Vision provided by Google Cloud Platform (GCP).
  • GCP Google Cloud Platform
  • the verification unit (an example of verification means) 306 can verify the quality of the trained machine learning model constructed by the machine learning model construction service 80.
  • the management unit 308 can manage the state of the quality determination system 10. Specifically, the management unit 308 can record operation information regarding the operating state of the imaging unit 60 (see FIG. 1). This operation information will be described later.
  • the server 30 functions as a preprocessing means, a transmitting means, a verification means, and a management means by a program executed by the server 30.
  • the personal computer 40 is a higher-level controller of the PLC 50 and is managed by the user. As shown in FIG. 4, the personal computer 40 has a machine learning model receiving unit 402, a control unit 404, a first transmitting unit 406, and a second transmitting unit 408.
  • the machine learning model receiving unit (an example of receiving means) 402 can download the machine learning model constructed by the machine learning model construction service 80. At that time, the machine learning model is downloaded by secure communication.
  • the control unit (an example of the control means) 404 can control the PLC 50 and the imaging unit 60.
  • the first transmission unit (an example of the first transmission means) 406 can transmit the downloaded machine learning model to the imaging unit 60.
  • the second transmission unit (an example of the second transmission means) 408 can transmit the operation information regarding the operation state of the image pickup unit 60 to the server 30.
  • This operation information is, for example, information on the time from when the imaging unit 60 starts capturing an image to when it ends.
  • the operation information may be information on the number of images captured by the imaging unit 60.
  • the personal computer 40 functions as a receiving means, a controlling means, a first transmitting means, and a second transmitting means by a program executed by the personal computer 40. Further, one personal computer 40 is not limited to having all of the machine learning model receiving unit 402, the control unit 404, the first transmitting unit 406, and the second transmitting unit 408, and each unit is not limited to having all of them. , It may exist separately in a plurality of personal computers connected to each other.
  • the PLC 50 is a controller that is managed by the user and controls the manufacturing equipment 12 that manufactures the inspection target 14, as shown in FIG.
  • the imaging unit 60 is managed by the user and installed in the manufacturing equipment 12.
  • the imaging unit 60 can capture an image of the inspection target 14 before shipment manufactured by the manufacturing equipment 12.
  • the imaging unit 60 includes a camera unit 602, a storage unit 604, and a determination unit 606.
  • the camera unit 602 can capture an image of the inspection target 14 and acquire the captured image data.
  • the storage unit 604 can store the machine learning model transmitted from the first transmission unit 406 of the personal computer 40.
  • the determination unit 606 can determine the presence or absence of defects in the inspection target 14, that is, the quality of the inspection target 14 based on the image data of the inspection target 14 captured by the camera unit 602 and the machine learning model stored in the storage unit 604. ..
  • the determination unit 606 can perform arithmetic processing by the machine learning model at high speed, and is at least configured by, for example, a GPU (Graphics Processing Unit).
  • the pass / fail determination system 10 operates according to the following steps S1 to S7. However, if possible, the steps S1 to S7 may be performed in a different order or may be performed in parallel.
  • the teaching data creation unit 202 (see FIG. 2) of the personal computer 20 (see FIG. 1) creates a plurality of image data of the inspection target 14 as teaching data based on the image data of the inspection target 14 imaged by the imaging unit 60.
  • the teaching data is a plurality of image data of the inspection target 14 including the specified defect and a plurality of image data of the inspection target 14 not including the specified defect.
  • the types of defects include, for example, scratches, voids, stains, foreign matter contamination, and the like, and the defects to be inspected differ depending on the inspection target 14.
  • the created images of the plurality of inspection targets 14 are stored in a storage means (not shown) and transmitted to the server 30.
  • the teaching data may be manually created based on the image data of the inspection target 14 prepared in advance, instead of being created by the teaching data creating unit 202.
  • Step S2 The preprocessing unit 302 (see FIG. 3) of the server 30 preprocesses the image of the inspection target 14 generated by the personal computer 20 and creates teaching data after the preprocessing.
  • the transmission unit 304 uploads the preprocessed teaching data to the machine learning model construction service 80 by the operation of the user. Since the service provider, not the user, preprocesses the teaching data that requires know-how, the user can easily introduce the pass / fail judgment system 10 based on the machine learning model.
  • Step S3 The preprocessing unit 302 (see FIG. 3) of the server 30 preprocesses the image of the inspection target 14 generated by the personal computer 20 and creates teaching data after the preprocessing.
  • the transmission unit 304 uploads the preprocessed teaching data to the machine learning model construction service 80 by the operation of the user. Since the service provider, not the user, preprocesses the teaching data that requires know-how, the user can easily introduce the pass / fail judgment system 10 based on the machine learning model.
  • a machine learning model is constructed by the machine learning model construction service 80.
  • the accuracy of the constructed machine learning model is verified by the verification unit 306 of the server 30. If the accuracy is poor, the process returns to the previous step S2, and the preprocessing unit 302 preprocesses the image of the inspection target 14 by a different method. (Step S4)
  • the machine learning model receiving unit 402 downloads the trained machine learning model constructed by the machine learning model construction service 80. (Step S5)
  • the storage unit 604 (see FIG. 5) of the imaging unit 60 stores the machine learning model downloaded by the machine learning model receiving unit 402. (Step S6)
  • the control unit 404 controls the PLC 50 and the imaging unit 60, and determines the quality of the inspection target 14 manufactured by the manufacturing equipment 12 (see FIG. 1). Specifically, in the inspection process before shipment, the camera unit 602 (see FIG. 5) of the imaging unit 60 images the image of the inspection target 14, and the determination unit 606 stores the captured image and the storage unit 604. Based on the machine learning model, it is inspected whether or not the inspection target 14 has a defect, and if there is no defect, it is determined as a non-defective product, and if there is a defect, it is determined as a defective product. (Step S7)
  • the control unit 404 (see FIG. 4) of the personal computer 40 transmits the operation information regarding the operating state of the imaging unit 60 to the server 30.
  • the transmitted operation information is stored in a storage unit (not shown) of the server 30, and the operation state of the quality determination system 10 is centrally managed or monitored by the server 30.
  • the machine learning model is stored not in the cloud but in the storage unit 604 (see FIG. 5) of the imaging unit 60, so that the personal computer 40 is connected to the Internet N. It is possible to determine whether the appearance of the inspection target 14 is good or bad even when there are restrictions on the communication environment such that the communication speed is not satisfied or the predetermined communication speed cannot be obtained. Depending on the function of the imaging unit 60, the quality determination system 10 can determine the quality of the internal state of the inspection target 14 instead of the appearance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

インターネットの通信環境に制約がある状態であっても、輸送機械の部品の良否を判定できる良否判定システム、サーバ及びプログラムを提供する。　良否判定システム１０は、予め撮像された輸送機械の部品１４の画像を処理し、機械学習モデルを構築するための教示データを作成するサーバ３０と、機械学習モデル構築サービス８０が構築した機械学習モデルをダウンロードする機械学習モデル受信部４０２と、出荷前の検査工程にて、輸送機械の部品１４の画像を撮像する撮像部６０と、撮像部６０の稼働状態に関する稼働情報を送信する送信部４０８と、を備え、撮像部６０が、機械学習モデル受信部４０２がダウンロードした機械学習モデルを記憶する記憶部６０４と、記憶部６０４に記憶された機械学習モデルに基づいて、輸送機械の部品１４の良否を判定する判定部６０６と、を有し、送信部４０８が、稼働情報をサーバ３０に送信する。

Description

良否判定システム、サーバ及びプログラム
　本発明は、良否判定システム、サーバ及びプログラムに関する。
　特許文献１には、人工知能による機械学習を利用したサービスを提供するサービス提供システムが記載されている。このサービス提供システムは、人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、ユーザから送られてくる情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用する。
特開２０１６－４８４１７号公報
　本発明は、インターネットの通信環境に制約がある状態であっても、輸送機械の部品の良否を判定できる良否判定システムを提供することを目的とする。
　本発明の一態様に係る良否判定システムは、予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする機械学習モデル受信部と、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部と、前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備え、前記撮像部が、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部と、を有し、前記送信部が、前記稼働情報を前記サーバに送信する。
　本発明の一態様に係るサーバは、本発明の一態様に係る良否判定システムが備えるサーバである。
　本発明の一態様に係るプログラムは、予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバにインターネットを介して接続されるとともに前記機械学習モデルを記憶する記憶部及び該機械学習モデルに基づいて前記輸送機械の部品の良否を判定する判定部を有し、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部に接続された制御装置を、クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする受信手段、ダウンロードした前記機械学習モデルを前記記憶部に送信する第１の送信手段、前記サーバに前記撮像部の稼働状態に関する稼働情報を送信する第２の送信手段、として機能させる。
　本発明の一態様に係る良否判定方法は、輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスに接続された機械学習モデル受信部と、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部及び前記輸送機械の部品の画像を撮像するカメラ部を有する撮像部と、前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備えた良否判定システムの良否判定方法であって、前記サーバが、予め撮像された輸送機械の部品の画像を処理し、前記教示データを作成するステップと、前記機械学習モデル受信部が、機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードするステップと、前記記憶部が、ダウンロードされた前記機械学習モデルを記憶するステップと、出荷前の検査工程にて、前記カメラ部が、前記輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定するステップと、前記送信部が、前記稼働情報を前記サーバに送信するステップと、を含む。
　本発明によれば、インターネットの通信環境に制約がある状態であっても、輸送機械の部品の良否を判定できる良否判定システム、サーバ及びプログラムを提供できる。
本発明の一実施の形態に係る良否判定システムの構成図である。 同良否判定システムが備えるパーソナルコンピュータの説明図である。 同良否判定システムが備えるサーバの説明図である。 同良否判定システムが備えるパーソナルコンピュータの説明図である。 同良否判定システムが備える撮像部の説明図である。 同良否判定システムの動作を示すフロー図である。
　続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。
　本発明の一実施の形態に係る良否判定システム１０（図１参照）は、機械学習により、ユーザの製造設備１２にて製造された検査対象１４の外観の良否を判定することができる。この外観の良否は、欠陥の有無により判定される。検査対象１４は、例えば、自動車や航空機等の輸送機械の部品及び食品である。
　この良否判定システム１０による良否判定サービスは、サービス提供会社によって、製造設備１２を保有するユーザに対して提供される。
　良否判定システム１０は、図１に示すように、パーソナルコンピュータ２０、サーバ３０、パーソナルコンピュータ４０、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）５０及び撮像部６０を備えている。
　パーソナルコンピュータ２０、サーバ３０、及びパーソナルコンピュータ４０はインターネットＮを介して互いに接続されている。
　パーソナルコンピュータ２０は、製造設備１２を保有するユーザ又はサービス提供会社によって管理される端末であり、図２に示すように、教示データ作成部２０２を有している。
　教示データ作成部（教示データ作成手段の一例）２０２は、機械学習モデルを構築するための検査対象１４の教示データを作成できる。
　なお、パーソナルコンピュータ２０は、パーソナルコンピュータ２０にて実行されるプログラムによって、教示データ作成手段として機能する。パーソナルコンピュータ２０は、スマートフォン等の携帯端末であってもよい。
　サーバ３０は、サービス提供会社によって管理され、図３に示すように、前処理部３０２、送信部３０４、検証部３０６及び管理部３０８を有している。
　前処理部（前処理手段の一例）３０２は、教示データ作成部２０２が作成した教示データを前処理し、前処理後の教示データを作成する。この前処理は、精度が高い機械学習モデルを構築するために必要な処理であり、例えば画像データに対する最適なフィルタ処理である。
　送信部（送信手段の一例）３０４は、ユーザの操作により生成された前処理後の教示データを機械学習モデル構築サービス８０（図１参照）にアップロードできる。
　ここで、機械学習モデル構築サービス８０は、クラウドコンピューティングサービスとして提供され、アップロードされた教示データに基づいて、機械学習モデルを構築できる。この機械学習モデル構築サービス８０は、例えば、Ｇｏｏｇｌｅ　Ｃｌｏｕｄ　Ｐｌａｔｆｏｒｍ（ＧＣＰ）にて提供されるＣｌｏｕｄ　ＡｕｔｏＭＬ　Ｖｉｓｉｏｎである。
　検証部（検証手段の一例）３０６（図３参照）は、機械学習モデル構築サービス８０が構築した学習済みの機械学習モデルの良否を検証できる。
　管理部（管理手段の一例）３０８は、良否判定システム１０の状態を管理できる。詳細には、管理部３０８は、撮像部６０（図１参照）の稼働状態に関する稼働情報を記録できる。この稼働情報については後述する。
　なお、サーバ３０は、サーバ３０にて実行されるプログラムによって、前処理手段、送信手段、検証手段及び管理手段として機能する。
　パーソナルコンピュータ（制御装置の一例）４０は、ＰＬＣ５０の上位コントローラであり、ユーザによって管理される。
　パーソナルコンピュータ４０は、図４に示すように、機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を有している。
　機械学習モデル受信部（受信手段の一例）４０２は、機械学習モデル構築サービス８０が構築した機械学習モデルをダウンロードできる。その際、機械学習モデルのダウンロードは、セキュア通信によりなされる。
　制御部（制御手段の一例）４０４は、ＰＬＣ５０及び撮像部６０を制御できる。
　第１の送信部（第１の送信手段の一例）４０６は、ダウンロードした機械学習モデルを撮像部６０に送信できる。
　第２の送信部（第２の送信手段の一例）４０８は、撮像部６０の稼働状態に関する稼働情報をサーバ３０に送信できる。この稼働情報は、例えば、撮像部６０が画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、撮像部６０が撮像した画像の枚数の情報であってもよい。
　なお、パーソナルコンピュータ４０は、パーソナルコンピュータ４０にて実行されるプログラムによって、受信手段、制御手段、第１の送信手段及び第２の送信手段として機能する。
　また、１台のパーソナルコンピュータ４０が機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を全て有していることに限定されるものではなく、各部が、互いに接続された複数のパーソナルコンピュータに分かれて存在していてもよい。
　ＰＬＣ５０は、ユーザによって管理され、図１に示すように、検査対象１４を製造する製造設備１２を制御するコントローラである。
　撮像部６０は、ユーザによって管理され、製造設備１２に設置される。撮像部６０は、製造設備１２によって製造された出荷前の検査対象１４の画像を撮像できる。
　撮像部６０は、図５に示すように、カメラ部６０２、記憶部６０４及び判定部６０６を有している。
　カメラ部６０２は、検査対象１４の画像を撮像し、撮像した画像データを取得できる。
　記憶部６０４は、パーソナルコンピュータ４０の第１の送信部４０６から送信された機械学習モデルを記憶できる。
　判定部６０６は、カメラ部６０２が撮像した検査対象１４の画像データ及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４の欠陥の有無、すなわち、検査対象１４の良否を判定できる。判定部６０６は、機械学習モデルによる演算処理を高速に行うことができ、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）により少なくとも構成されている。
　次に、良否判定システム１０の動作（検査対象１４の良否判定方法）について説明する。良否判定システム１０は、図６に示すように、以下のステップＳ１～Ｓ７に従って動作する。ただし、可能な場合には、各ステップＳ１～Ｓ７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
（ステップＳ１）
　パーソナルコンピュータ２０（図１参照）の教示データ作成部２０２（図２参照）が、撮像部６０が撮像した検査対象１４の画像データに基づいて、教示データとなる検査対象１４の画像データを複数作成する。
　教示データは、規定の欠陥を含む検査対象１４の複数の画像データ及び規定の欠陥を含まない検査対象１４の複数の画像データである。なお、欠陥の種類には、例えば、傷、ボイド、汚れ、及び異物混入等があり、検査対象とすべき欠陥は、検査対象１４によって異なる。
　作成された複数の検査対象１４の画像は、図示しない記憶手段に記憶され、サーバ３０に送信される。
　教示データは、教示データ作成部２０２によって作成されることに代えて、予め準備された検査対象１４の画像データに基づいて手作業により作成されてもよい。
（ステップＳ２）
　サーバ３０の前処理部３０２（図３参照）が、パーソナルコンピュータ２０が生成した検査対象１４の画像を前処理し、前処理後の教示データを作成する。
　その後、ユーザの操作により、送信部３０４が、前処理後の教示データを機械学習モデル構築サービス８０にアップロードする。
　ノウハウが必要な教示データの前処理をユーザではなくサービス提供業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム１０を導入できる。
（ステップＳ３）
　機械学習モデル構築サービス８０によって機械学習モデルが構築される。
　構築された学習済みの機械学習モデルは、サーバ３０の検証部３０６によってモデルの精度が検証される。
　なお、精度が悪い場合には、前ステップＳ２に戻り、前処理部３０２は、検査対象１４の画像を異なる方法で前処理する。
（ステップＳ４）
　ユーザの操作により、パーソナルコンピュータ４０の機械学習モデル受信部４０２（図４参照）が、機械学習モデル構築サービス８０によって構築された学習済みの機械学習モデルをダウンロードする。
（ステップＳ５）
　撮像部６０の記憶部６０４（図５参照）が、機械学習モデル受信部４０２によってダウンロードされた機械学習モデルを記憶する。
（ステップＳ６）
　パーソナルコンピュータ４０の制御部４０４（図４参照）がＰＬＣ５０及び撮像部６０を制御し、製造設備１２（図１参照）にて製造された検査対象１４の良否を判定する。
　詳細には、出荷前の検査工程にて、撮像部６０のカメラ部６０２（図５参照）が検査対象１４の画像を撮像し、判定部６０６が、撮像された画像及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
（ステップＳ７）
　パーソナルコンピュータ４０の制御部４０４（図４参照）が、撮像部６０の稼働状態に関する稼働情報をサーバ３０に送信する。送信された稼働情報はサーバ３０の記憶部（不図示）に記憶され、良否判定システム１０の稼働状態がサーバ３０にて一元的に管理又は監視される。
　このように、本実施の形態に係る良否判定システム１０は、機械学習モデルがクラウド上ではなく撮像部６０の記憶部６０４（図５参照）に記憶されるので、パーソナルコンピュータ４０がインターネットＮに接続されていなかったり所定の通信速度が得られなかったりするような通信環境に制約がある状態であっても、検査対象１４の外観の良否を判定できる。
　なお、良否判定システム１０は、撮像部６０の機能によっては、検査対象１４の外観ではなく、内部の状態の良否を判定することも可能である。
　以上、本発明の実施の形態を説明したが、本発明は、前述の形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
１０　良否判定システム
１２　製造設備
１４　検査対象
２０　パーソナルコンピュータ
３０　サーバ
４０　パーソナルコンピュータ
６０　撮像部
８０　機械学習モデル構築サービス
２０２　教示データ作成部
３０２　前処理部
３０４　送信部
３０６　検証部
３０８　管理部
４０２　機械学習モデル受信部
４０４　制御部
４０６　第１の送信部
４０８　第２の送信部
６０２　カメラ部
６０４　記憶部
６０６　判定部
Ｎ　インターネット

Claims (6)

  1. 　予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
    　クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードする機械学習モデル受信部と、
    　出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部と、
    　前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備え、
    　前記撮像部が、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、
    　前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部と、を有し、
    　前記送信部が、前記稼働情報を前記サーバに送信する良否判定システム。
  2. 　請求項１記載の良否判定システムにおいて、
    　前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報である良否判定システム。
  3. 　請求項１記載の良否判定システムにおいて、
    　前記稼働情報が、前記撮像部が撮像した前記画像の枚数の情報である良否判定システム。
  4. 　請求項２又は３記載の良否判定システムが備えるサーバ。
  5. 　予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバにインターネットを介して接続されるとともに前記機械学習モデルを記憶する記憶部及び該機械学習モデルに基づいて前記輸送機械の部品の良否を判定する判定部を有し、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部に接続された制御装置を、
    　クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする受信手段、
    　ダウンロードした前記機械学習モデルを前記記憶部に送信する第１の送信手段、
    　前記サーバに前記撮像部の稼働状態に関する稼働情報を送信する第２の送信手段、として機能させるプログラム。
  6. 　輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
    　クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスに接続された機械学習モデル受信部と、
    　前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部及び前記輸送機械の部品の画像を撮像するカメラ部を有する撮像部と、
    　前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備えた良否判定システムの良否判定方法であって、
    　前記サーバが、予め撮像された輸送機械の部品の画像を処理し、前記教示データを作成するステップと、
    　前記機械学習モデル受信部が、機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードするステップと、
    　前記記憶部が、ダウンロードされた前記機械学習モデルを記憶するステップと、
    　出荷前の検査工程にて、前記カメラ部が、前記輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定するステップと、
    　前記送信部が、前記稼働情報を前記サーバに送信するステップと、を含む良否判定方法。
PCT/JP2020/035653 2019-09-22 2020-09-21 良否判定システム、サーバ及びプログラム WO2021054478A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019172373A JP7006954B2 (ja) 2019-09-22 2019-09-22 良否判定システム、サーバ及び良否判定方法
JP2019-172373 2019-09-22

Publications (1)

Publication Number Publication Date
WO2021054478A1 true WO2021054478A1 (ja) 2021-03-25

Family

ID=74883588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035653 WO2021054478A1 (ja) 2019-09-22 2020-09-21 良否判定システム、サーバ及びプログラム

Country Status (2)

Country Link
JP (1) JP7006954B2 (ja)
WO (1) WO2021054478A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114556A (ja) * 1994-10-13 1996-05-07 Nippon Chemicon Corp ニューラルネットを使用する電子部品の検査方式
JP2008147443A (ja) * 2006-12-11 2008-06-26 Olympus Corp 工程管理システム及び工程管理方法
JP2018152063A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 学習結果識別装置、学習結果識別方法、及びそのプログラム
JP2019091249A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2019101807A (ja) * 2017-12-04 2019-06-24 大日本印刷株式会社 デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6435740B2 (ja) * 2014-09-22 2018-12-12 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
JP6798619B2 (ja) * 2017-07-31 2020-12-09 富士通株式会社 情報処理装置、情報処理プログラム及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114556A (ja) * 1994-10-13 1996-05-07 Nippon Chemicon Corp ニューラルネットを使用する電子部品の検査方式
JP2008147443A (ja) * 2006-12-11 2008-06-26 Olympus Corp 工程管理システム及び工程管理方法
JP2018152063A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 学習結果識別装置、学習結果識別方法、及びそのプログラム
JP2019091249A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2019101807A (ja) * 2017-12-04 2019-06-24 大日本印刷株式会社 デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
JP7006954B2 (ja) 2022-01-24
JP2021051404A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
US11663732B2 (en) System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis
US9229445B2 (en) Mobility product traceability building system and production line operation controlling method
KR102509265B1 (ko) 공장 생산을 관리하기 위해 사물 인터넷 네트워크를 이용하기 위한 시스템 및 방법
US10572944B1 (en) Claims damage estimation using enhanced display
CA2976582C (fr) Procede et dispositif de controle de l'etat d'un moteur d'aeronef a distance
CN110726724A (zh) 缺陷检测方法、系统和装置
JP2002312518A (ja) 航空機の不適合部品の管理システムおよびその方法
JP6996413B2 (ja) 解析装置および解析プログラム
CN110866310B (zh) 装配过程的自动监督和检查
TW202004574A (zh) 人工智慧複檢系統及其方法
CN112238455B (zh) 一种机器人的参数调整方法、参数调整装置及服务器
WO2021054478A1 (ja) 良否判定システム、サーバ及びプログラム
CN111527387A (zh) 用于识别构件的损伤的方法和系统
CN116783625A (zh) 用于在制造电路板期间进行光学质量控制的方法和设备
WO2021100483A1 (ja) モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
WO2021221030A1 (ja) 良否判定システム、良否判定方法、サーバ及びプログラム
CN108416562A (zh) 物流回单验证方法及装置
CN113168295A (zh) 用于在物品上进行印刷的校准测试的装置和方法
JP2022043134A5 (ja)
CN113409317B (zh) 缺陷检测方法、电子装置、装置及计算机可读存储介质
JP2019144107A (ja) 情報処理装置、端末装置、情報処理方法、およびプログラム
KR102473141B1 (ko) 인공지능 기반 plc 모듈을 활용한 양품/불량품 판별 방법 및 시스템
CN109446016B (zh) 一种增强现实技术ar功能测试方法、装置及系统
KR20220121933A (ko) 영상정보 분석을 이용한 하자 보수 정보 처리 방법
CN115984845A (zh) 一种物体识别方法、系统及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866474

Country of ref document: EP

Kind code of ref document: A1