JP6931402B2 - ディスプレイの品質検出方法、装置、電子機器及び記憶媒体 - Google Patents

Description

本願は２０１８年０７月０２日に中国特許局に提出した、出願番号が２０１８１０７０９１８９．Ｘで、出願人が北京百度綱訊科技有限公司、発明の名称が「ディスプレイの品質検出方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。
本願は、コンピュータ技術の分野に関し、特にディスプレイの品質検出方法、装置、電子機器及び記憶媒体に関する。

科学技術の発展に伴い、情報表示技術は人々の生活の中での役割が日増しに増え、ディスプレイもその小さな体積や、軽量、低電力、高解像度、高輝度、及び幾何学的変形がないなどといった多くの特徴で広く使われている。しかし、ディスプレイの生産過程では、技術や生産環境に起因して、ディスプレイに表示欠陥、例えば、点欠陥、線欠陥、面欠陥などが存在する可能性がある。したがって、ディスプレイの品質検出は生産過程における重要な要素になっている。

従来の技術において、ディスプレイの品質検出は主に人力による検出又は機械補助付きの人力による検出方法を採用する。具体的には、人力による検出方法とは、業界の専門家が生産環境から採集した写真を視覚的に観察して判断することに依存する方法である。機械補助付きの人力による検出方法とは、まず業界専門家の経験に基づいた品質検出システムを利用し、検出対象のディスプレイに表示された画像を検出し、次に業界の専門家が欠陥の疑いがある画像の写真を検出して判断する方法である。

しかしながら、人力による検出方法であっても、機械補助付きの人力による検出方法であっても、人間の主観的な影響要素が大きく、検出精度が低く、システムの性能も悪く、事業的な拡張能力が低い。

本願は、従来のディスプレイの欠陥検出方法において、人間の主観的な影響要素が大きく、検出精度が低く、システムの性能も悪く、事業的な拡張能力が低いという問題を克服するディスプレイの品質検出方法、装置、電子機器及び記憶媒体を提供する。

本願発明の第１の態様では、ディスプレイの品質検出方法を提供し、ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信するステップであって、前記品質検出要求には、前記ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれるステップと、前記ディスプレイ画像に対して、画像前処理を行うステップであって、前記画像前処理はエッジ裁断、シザリング、回転、縮小、拡大といった処理の１つ又は複数を含むステップと、前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得るステップであって、前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであるステップと、前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するステップと、を含む。

本態様では、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムに基づいて履歴欠陥ディスプレイ画像を訓練して得られた欠陥検出モデルを用いて前処理後のディスプレイ画像を欠陥検出し、ディスプレイ画像に対応するディスプレイの品質の良否を判定する。欠陥検出モデルによって得られた欠陥検出結果の分類精度が高くてインテリジェント化能力が強いため、システム性能を向上させ、ビジネス拡張能力が高くなる。

第１の態様の１つの可能な実施態様では、前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって前記候補領域損失、前記領域種別損失、前記領域境界損失、及び前記ピクセルインスタンス損失の合計損失値がプリセット損失閾値を満たす結果であることを含み、前記候補領域損失は、前記履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を指し、前記ピクセルインスタンス損失は、前記履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失を指す。

本態様では、履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行って得られた欠陥検出モデルの分類精度が高く、検出システムの性能を向上させることができる。

第１の態様の他の可能な実施態様では、前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得る前記ステップは、ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定するステップと、前処理後の前記ディスプレイ画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含む。

本態様では、ロードバランスポリシーに基づいて検出モデルサーバーを選択することで、サーバーでのロードバランスを実現し、ディスプレイ画像の検出効率を向上させ、ディスプレイ品質検出システムの性能を向上させることができる。

第１の態様の別の可能な実施態様では、前記欠陥検出結果は欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含み、前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定する前記ステップは、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するステップを含む。

本態様では、生産段階情報に合わせてディスプレイの品質の良否を確定することができ、人間の主観的な影響を受けた判断結果を回避し、検出精度をある程度向上させることができる。

第１の態様の別の可能な実施態様では、前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定した後、前記方法は、さらに、前記ディスプレイが品質の悪いディスプレイであると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作と、前記欠陥検出結果をコントローラによりログとして生産データベースに記憶する操作と、コントローラによって前記コンソールに生産制御命令を送信して、欠陥を除去する操作と、前記ディスプレイ画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行することを含む。

本態様におけるディスプレイの品質検出方法は、ディスプレイの生産ラインで一定時間作動した後、上記の欠陥検出と欠陥位置決めの正確性を人工的にデータベース内の情報を介して再検出し、そして、上記訓練のデータベースを更新し、欠陥検出モデルを再訓練し、欠陥検出精度を向上させることができる。

本願発明の第２の態様は、ディスプレイの品質検出装置を提供し、ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信するためのものであり、前記品質検出要求には、前記ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれる受信モジュールと、前記ディスプレイ画像に対して、画像前処理を行い、前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得るためのものであり、前記画像前処理は、エッジ裁断、シザリング、回転、縮小、拡大といった処理の中の１つ又は複数を含み、前記欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造及びインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである処理モジュールと、前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものである確定モジュールと、を含む。

第２の態様の１つの可能な実施態様では、前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって前記候補領域損失、前記領域種別損失、前記領域境界損失、及び前記ピクセルインスタンス損失の合計損失値がプリセット損失閾値を満たす結果であることを含み、前記候補領域損失は、前記履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を指し、前記ピクセルインスタンス損失は、前記履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失を指す。

第２の態様の他の可能な実施態様では、前記処理モジュールは、具体的にロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定し、前処理後の前記ディスプレイ画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力して欠陥検出結果を得るためのものである。

第２の態様の別の可能な実施態様では、前記欠陥検出結果は、欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含み、前記確定モジュールは、具体的には、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものである。

第２の態様の別の可能な実施態様では、前記処理モジュールはさらに、前記確定モジュールが前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定した後に、前記ディスプレイが品質の悪いディスプレイであると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作と、前記欠陥検出結果をコントローラによりログとして生産データベースに記憶する操作と、コントローラによって前記コンソールに生産制御命令を送信して、欠陥を除去する操作と、前記ディスプレイ画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行するためのものである。

本願発明の第３の態様は、プロセッサ、メモリ、及び前記メモリに記憶されるとともに前記プロセッサで実行可能なコンピュータプログラムを含む電子機器を提供し、前記プロセッサは前記コンピュータプログラムを実行すると、上記の第１の態様及び第１の態様の各実現可能な実施態様のいずれか１つに記載の方法を実現する。

本願発明の第４の態様は、コンピュータで実行される時、コンピュータに第１の態様及び第１の態様の各実現可能な実施態様のいずれか１つに記載の方法を実行させる命令が記憶されている記憶媒体を提供する。

本願発明で提供されるディスプレイ品質検出方法、装置、電子機器、及び記憶媒体は、ディスプレイの生産ラインに配置されたコンソールから送信された、ディスプレイの生産ラインでの画像採取機器によって採取されたディスプレイ画像を含む品質検出要求を受信して、当該ディスプレイ画像に対して、画像前処理を行い、前処理後のディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得、且つ当該欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定する。これにより、上記の欠陥検出モデルは、ディープコンボリューションネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであるので、当該欠陥検出モデルを利用して得られた欠陥検出結果は分類精度が高く、システム性能を向上させ、事業的な拡張能力が高くなり、従来のディスプレイ欠陥検出方法において、人間の主観的影響要素が大きいために、検出精度が低く、システムの性能が悪く、事業的な拡張能力が低いという諸問題を解決する。

本願の実施例に係るディスプレイ品質検出システムの構成図である。 本願の実施例に係るディスプレイ品質検出方法の実施例１のフローチャートである。 本願の実施例に係るディスプレイ品質検出方法の実施例２のフローチャートである。 本願の実施例に係るディスプレイ品質検出装置の実施例の構成図である。

本願発明の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明する。当然のことながら、記載される実施例は本願の実施例の一部にすぎず、そのすべての実施例ではない。当業者により、本願における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本願の保護範囲に属する。

本願の実施例に係るディスプレイ品質検出方法は、ディスプレイ品質検出システムに適用される。図１は、本願の実施例に係るディスプレイ品質検出システムの構成図である。図１に示すように、ディスプレイ品質検出システムは、ディスプレイの生産ラインに配置された画像採取機器１１、コンソール１２、サーバー群１３、コントローラ１４、データベース１５、及び訓練器１６などの複数の異なる機器を含む。画像採取機器１１は、ディスプレイの生産ラインでのディスプレイ画像を採取し、コンソール１２は、画像採取機器１１が採取したディスプレイ画像を受信し、当該ディスプレイ画像をサーバー群１３中の検出モデルサーバー１３０に送信する。検出モデルサーバー１３０は、受信したディスプレイ画像を自ら動作している欠陥検出モデルに入力し、欠陥検出結果を得る。コントローラ１４は、検出モデルサーバー１３０による欠陥検出結果を受信し、且つ生産段階情報と合わせてビジネス応答を提供し、コントローラ１４は更に、欠陥検出結果をログとしてデータベース１５に記憶できる。なお、画像採取機器１１が採取したディスプレイ画像は更に、欠陥検出モデル訓練の初期データとしてデータベース１５に直接記憶されてもよい。訓練器１６は、データベース内の履歴欠陥ディスプレイ画像を抽出した後、ディープコンボリューションネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して欠陥検出モデルを得る。

一実施例において、上記データベース１５は、生産データベース１５１及び訓練データベース１５２を含んでよい。生産データベース１５１は、コントローラ１４から送信された欠陥検出結果と、画像採取機器１１が採取したディスプレイ画像とを受信して記憶することができ、訓練データベース１５２は、生産データベース１５１から抽出された履歴欠陥ディスプレイ画像と対応する元のディスプレイ画像を記憶し、訓練器１６が訓練によってより精度の高い欠陥検出モデルを得るようにすることができる。

一実施例において、本願の実施例における訓練器１６は、欠陥検出モデルの訓練ツールとしてハードウェア及び／又はソフトウェア機能によって実現される訓練エンジンであってよい。

本願の実施例のディスプレイ品質検出システムには、プロセッサ、メモリなどの他のエンティティモジュールが含まれてもよく、本実施例はこれに限定されない。

以下、まず、本願の実施例に適用される応用シーンについて簡単に説明する。

現在、３Ｃ産業（３Ｃ産業とは、コンピュータ、通信、消費性電子という３種の科学技術製品を組み合わせて応用される情報家電産業を指す）全体のスマートオートメーションのレベルは低く、携帯ディスプレイなどのディスプレイ業界に対する調査分析によると、大部分のメーカーが携帯ディスプレイに対して採用する検出方法は２種類に分けられる。つまり、人力による検出方法と機械補助の人力による検出方法である。

そのうち、人力による検出方法とは、業界の専門家が生産環境から採集された画像を視覚的に観察して判断することに依存する方法であり、当該方法は人間の主観的な影響要素が大きく、検出効率が低く、しかも人の目に対するダメージが大きい。それ以外に、ディスプレイの工房がだいたいはダストフリー環境であり、従業員が入る前にクリーンな状態になるための準備とクリーン服の着装をしなければならないので、従業員の健康や安全にも悪影響を及ぼす可能性がある。

機械補助の人力による検出方法は、液晶モジュール検出機器による検出方法とも言えるが、具体的な原理としては、まず、一定の判断能力を持つ品質検出システムによって欠陥のない画像をフィルタリングしてから、業界の専門家によって欠陥があると思われる画像を検出して判断する。機械補助の人力による検出方法において、多くの品質検出システムは専門家のシステムと特徴エンジニアリングシステムにより発展されてなり、専門家が経験を品質検出システムに基づいて、一定の自動化能力を持たせることを指す。このため、機械補助の人力による検出方法は精度が低く、システムの性能が悪く、メーカーのすべての検出基準をカバーすることができないだけでなく、効率が低く、しかも判定では漏れや過ちが出やすく、検出後の画像データの再利用は難しい。なお、上記の品質検出システムでは、特徴と判定ルールは業界の専門家の経験に基づいてマシンに搭載させられ、事業規模の発展とともに更新することが難しいので、生産技術の発展に従って、品質検出システムの検出精度がますます低くなり、最悪の場合、完全に利用できない状態にまで低下する可能性がある。さらに、品質検出システムの特徴はすべて第三者のサプライヤーによってハードウェアに予め搭載されるため、アップグレードする時、生産ラインを非常に大きく改革する必要があるだけでなく、価格も高く、安全性、規格化、拡張性などの面でも明らかに不足し、ディスプレイの生産ラインの最適化とアップグレードにおいても不利で、事業的な拡張能力も低くなる。

以上のように、人力による検出方法と機械補助の人力による検出方法には、効率が低く、誤判定が発生しやすいだけでなく、この２つの方法で発生した工業データの記憶、管理、二次採掘と再利用も容易ではない。

本願の実施例は、人工知能技術のコンピュータ視覚における最新の発展に基づいて、自動化、高精度のディスプレイ品質検出方法を研究開発し、画像採取機器がディスプレイの生産ラインでリアルタイムに採集したディスプレイ画像を用いてリアルタイムにディスプレイの表面品質を検出して判定し、現有の画像採取機器が採取したディスプレイに品質問題があると検出した場合、当該品質問題のピクチャ内における位置と所属する種別及び種別のインスタンスを確定する。

なお、本願の実施例は、人の目、コンピュータの視覚を利用してディスプレイ検出を行う可能な全てのシーンに適用することができ、本実施例でのディスプレイは、プラズマディスプレイ、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ，ＬＣＤ）、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＬＥＤ）ディスプレイ、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＯＬＥＤ）ディスプレイなどのいずれか１種を含むことができる。本願の実施例は、上記のいくつかのディスプレイに限定されるものではなく、他のディスプレイを含むこともあるが、ここでは説明を省略する。

一実施例において、本願の実施例における品質問題は、点欠陥、線欠陥、面欠陥及びムラなど異なる種類の欠陥問題を含むが、それらに限定されない。ここでは１つずつ紹介しない。一実施例において、ムラとは、ディスプレイの明るさが不均一であることによる様々な痕跡現象である。

以下、具体的な実施例に合わせて本願の技術的解決方法を詳細に説明する。なお、以下のいくつかの具体的な実施例は、互いに組み合わせることができ、同様又は類似の概念、又はプロセスについては、いくつかの実施例では説明を省略する可能性がある。

本願の実施例では、「複数」は２つ以上を指す。「及び／又は」は、関連するオブジェクトの関連関係を記述し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在するという３つの状況を表すことができる。符号「／」は、一般的に前後関連するオブジェクトが「又は」の関係であることを表す。

図２は本願の実施例に係るディスプレイ品質検出方法の実施例１のフローチャートである。図２に示すように、本願の実施例において、当該ディスプレイ品質検出方法は、以下のステップを含んでよい。

ステップ２１では、ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信する。当該品質検出要求には、ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれる。

本願の実施例において、ディスプレイの生産ラインには、画像採取機器、コンソール、サーバー群、コントローラ、データベースなどの複数の異なる機器が配置されている。画像採取機器は高精度の画像採取カメラであってよく、ディスプレイの生産過程で、画像採取機器の角度、光線、フィルター、倍率、フォーカスなどを調整することによってディスプレイの生産ラインにあるディスプレイに対応するディスプレイ画像を複数採取することができる。

ディスプレイの生産ラインでの画像採取機器がディスプレイ画像を採取した後、ディスプレイの生産ラインに配置されたコンソールは、上記の画像採取機器が採取したディスプレイ画像を含む品質検出要求を、ディスプレイの生産ラインに欠陥検出モデルが配置されたサーバー群に送信し、これによってサーバー群における当該品質検出要求を受信したサーバーが受信したディスプレイ画像を処理する。

ステップ２２では、上記ディスプレイ画像に対して、画像前処理を行う。当該画像前処理は、エッジ裁断、シザリング、回転、縮小、拡大といった処理の中の１つ又は複数を含む。

本願の実施例では、ディスプレイの生産ラインに配置された画像採取機器は通常、高精度のカメラであるため、当該画像採取機器を用いて採取されたディスプレイ画像は、サイズが大きいか、ピクセルが高いか、あるいは位置が不適切かなどの画像である可能性がある。したがって、コンソールから送信される品質検出要求に含まれるディスプレイ画像を受信すると、実際の状況に応じて、ディスプレイ画像を前処理する必要がある。

例えば、ディスプレイ画像のエッジエリアが大きい場合には、ディスプレイ画像をエッジ裁断処理し、ディスプレイ画像の有用な部分を残すことができ、あるいは、ディスプレイ画像のサイズが大きい場合には、ディスプレイ画像をシザリング、縮小処理することで、欠陥検出モデルに送り込まれたディスプレイ画像を完全に検出し、ディスプレイプロミネンスの検出精度を高めることができる。又は、ディスプレイ画像の中のある領域の検出に重点を置く必要があれば、ディスプレイ画像中の当該領域を拡大するなどの処理を行い、前処理後のディスプレイ画像を検出基準に適合させることができる。

本願の実施例に係るディスプレイ品質検出方法は、ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、上記のディスプレイ画像をエッジ裁断、又は／及びシザリング、又は／及び回転、又は／及び縮小、又は／及び拡大するなどの画像前処理により、欠陥検出モデルに送り込まれたディスプレイ画像を検出基準に適合させることができ、この後にあるディスプレイ画像の欠陥検出のために、基礎を築いて、ディスプレイの品質検出精度を向上させる。

ステップ２３では、前処理後の上記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得る。当該欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである。

一実施例において、品質検出要求を受信したサーバーは、品質検出要求のうち前処理後のディスプレイ画像をサーバーで動作している欠陥検出モデルに入力し、欠陥検出モデルにより欠陥検出を行い、更に欠陥検出結果を得る。

なお、サーバーで動作する欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである。つまり、ディスプレイの生産ラインでのディスプレイ画像を欠陥検出モデルの入力とし、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いてディスプレイ画像での特徴（すなわち、ディスプレイ画像に存在する欠陥）を欠陥検出モデルの出力として抽出し、更に欠陥検出モデルを訓練する。

具体的には、インスタンスセグメンテーションとは、機械が自動的に画像から目標検出方法で異なる実例を確定し、更にセマンティックセグメンテーション法で異なるインスタンス領域内でピクセル毎にマークすることを指す。セマンティックセグメンテーションは同じ欠陥種別に属する異なるインスタンスを区別しないが、インスタンスセグメンテーションはどのピクセルが具体的にどの種類の欠陥のどのインスタンスに属するかを区別する必要がある。したがって、本願の実施例では、欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて大量の履歴欠陥ディスプレイ画像を訓練して得られたものであり、すなわち、まず、履歴欠陥ディスプレイ画像に存在する異なる欠陥インスタンスを確定し、更にピクセルの角度から画像中の欠陥及び欠陥に対応する具体的なインスタンスを分割し、且つディスプレイにおいてマークし、最後に分類統計、組み合わせ訓練を行って得られたものである。

１つの例示として、本願の実施例における欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであり、以下のように説明できる。欠陥検出モデルとは、履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、ピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって当該候補領域損失、当該領域種別損失、当該領域境界損失及び当該ピクセルインスタンス損失の合計損失値がプリセット損失閾値を満たす結果である。候補領域損失とは、履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、領域種別損失とは、選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、領域境界損失とは、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値を指し、ピクセルインスタンス損失とは、履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失値を指す。

本願の実施例では、欠陥検出モデルは、コンボリューションニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ＣＮＮｓ）構造を基礎とし、コンボリューションニューラルネットワーク構造は、主にコンボリューション層、プーリング層、全接続層などから構成され、コンボリューションニューラルネットワークのグラニュラリティとヒエラルキーチョイスは、実際の状況に応じて確定するが、本願の実施例はこれに限定されない。コンボリューション層のコンボリューション操作とは、ウエートの異なるコンボリューションカーネルを利用して、ディスプレイ画像、又は少なくとも一回のコンボリューション処理を経て得られた画像特徴図をスキャンしてコンボリューションし、様々な種類の特徴を抽出し、１つの画像特徴図を新たに得る過程である。コンボリューションカーネルとは、ウエートマトリックスであり、すなわち、コンボリューション時に使用されるウエートを１つのマトリックスで表示し、当該マトリックスは対応する画像領域と同じ大きさで、その行、列はすべて奇数であり、１つのウエートマトリックスである。プーリング層のプーリング操作とは、コンボリューション層から出力された特徴図を減次元し、特徴図中の主要な特徴を保留することである。ＣＮＮネットワークにおいて、全接続層は、コンボリューション層によって生成された特徴図を固定長（一般的には入力画像データセットにおける画像種別数）の特徴ベクトルにマッピングし、当該特徴ベクトルは、入力画像のすべての特徴の組み合わせた情報を含み、つまり、画像に最も特徴のある画像特徴が保留されて、これによって画像分類タスクを完了する。

本願の実施例は、このようなコンボリューション、プーリング、全接続操作を有するディープニューラルネットワークモデルを利用することができ、ディスプレイの生産ラインで画像採取機器によって採取されたディスプレイ画像の変形、ファジー、照明変化などの特徴に対して高いロバスト性を有し、分類タスクに対して汎用性がより高い。

本実施例では、インスタンスセグメンテーションアルゴリズムは、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムに基づいてインスタンスセグメンテーションのネットワークブランチを増加させるＭａｓｋ ＲＣＮＮアルゴリズムであってよい。このネットワークブランチは、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムに対して抽出された特徴図であり、二等分補間の方法に基づいて特徴図をディスプレイ画像の元の画像サイズに復元し、各ピクセルについて、属するインスタンスを予測し、予測のピクセルインスタンスを得る。各ピクセルの予測結果に対して、実際のピクセルインスタンスとクロスエントロピー計算を行い、ピクセルインスタンスの損失を得る。その後、当該ピクセルインスタンス損失をＦａｓｔｅｒ ＲＣＮＮアルゴリズムの損失と組み合わせて、組み合わせ訓練を行い、欠陥検出モデルを得る。

Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムは、Ｍａｓｋ ＲＣＮＮアルゴリズムの基礎である。当該Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムは、まず、コンボリューションニューラルネットワーク構造のコンボリューション操作を利用し、その特徴図を得、そしてディスプレイ画像の選択された欠陥領域に特定の欠陥が含まれているかどうかを計算し、欠陥があれば、選択された欠陥領域と実際の欠陥領域との損失値（候補領域損失）を計算することができる。一方、コンボリューションニューラルネットワークを用いて特徴抽出を行い、そして選択された欠陥領域における欠陥種別と欠陥境界を予測し、さらに選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値（領域種別損失）、及び選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値（領域境界損失）を算出することができる。ディスプレイ画像の選択された欠陥領域に特定の欠陥が含まれていない場合には、分類しない。

以上から分かるように、欠陥検出モデルは、履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行った結果であり、候補領域損失、領域種別損失、領域境界損失、ピクセルインスタンス損失を含む損失関数が得られ、当該損失関数は、欠陥検出モデルの訓練段階で、コンボリューションニューラルネットワークの出力結果と実際の値との差を評価し、そして各ニューロン間のウエート値を損失関数の値で更新する。コンボリューションニューラルネットワークの訓練目的は損失関数値を最小化することである。

欠陥検出モデルの出力結果とディスプレイ画像にマークされた欠陥結果との誤差値がプリセット損失閾値より小さい場合には、訓練を停止する。当該プリセット損失閾値とは、ディスプレイのビジネス要求に適合する値である。

なお、本願の実施例では、異なる生産シーン及びディスプレイ画像の特徴に対して、上記欠陥検出モデルを訓練するために必要なディープコンボリューションニューラルネットワークの深さや、各層のニューロン数、及びコンボリューション層、プーリング層の組織形態は異なる可能性があり、実際の状況に応じて判断することができ、本実施例はこれを限定しない。

ステップ２４では、上記欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定する。

本願の実施例では、欠陥検出モデルに基づいて欠陥検出結果を得た後、当該欠陥検出結果に基づいて上記ディスプレイ画像に対応するディスプレイの品質の良否を確定することができる。

本願の１つの実施例では、上記の欠陥検出結果は、欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含んでよい。

本実施例では、ディスプレイ画像に欠陥がある場合、当該欠陥検出モデルによって得られる欠陥検出結果には、欠陥種別（ディスプレイにはいくつかの種類の欠陥が存在する）、欠陥インスタンス（ディスプレイでの欠陥は具体的にどの種類の欠陥のどちらに属するか、つまり、各種類の欠陥が具体的にいくつかあるかを知ることができる）、欠陥位置（各欠陥の具体的な位置）が含まれる。つまり、本願の実施例の欠陥検出モデルは、ディスプレイ画像にいくつかの種類の欠陥タイプと、各種類の欠陥の具体的な数とを検出することができる。

これに応じて、当該ステップ２４（上記欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定する）は、以下のステップに置き換えられることができる。

生産段階情報及び上記欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定する。

具体的には、ディスプレイのメーカー、ディスプレイの生産環境やディスプレイの種類などさまざまな生産段階情報によってディスプレイの品質検出の過程で異なる欠陥検出結果を得る可能性がある。例えば、液晶ディスプレイについては、薄膜トランジスタ加工、カラーフィルター加工、ユニット組み立て、モジュール組み立てなどの生産段階を通過するのが一般的である。ＬＥＤディスプレイについては、パッチ、プラグイン、ウェーブソルダー、後溶接、テスト、モジュール組み立てなどの段階を通過する。異なる種類のディスプレイについては、通過する生産段階が異なるため、上記で得られた欠陥検出結果を分析する際には、各ディスプレイの生産段階情報に合わせてディスプレイの品質の良否を確定する必要がある。

本願の実施例に係るディスプレイの品質検出方法は、ディスプレイの生産ラインに配置されたコンソールから送信された、ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像を含む品質検出要求を受信し、ディスプレイ画像に対して、画像前処理を行い、前処理後のディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得、当該欠陥検出結果に基づいてディスプレイの画質の良否を確定する。これによって、上記欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであるので、当該欠陥検出モデルを用いて得られた欠陥検出結果は分類精度が高くて、インテリジェント化能力が高く、システム性能を向上させ、ビジネス拡張能力が高い。

上記実施例のうえで、図３は、本願の実施例に係るディスプレイの品質検出方法の実施例２のフローチャートである。図３に示すように、本実施例では、上記ステップ２３（前処理後の上記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得る）を、以下のステップで実現することができる。

ステップ３１では、ロードバランスポリシーに従い、処理リソースをベアする検出モデルサーバーを確定する。

本願の実施例では、ディスプレイの生産ラインにサーバー群が配置され、当該サーバー群にはサーバーの数が複数であってよく、各サーバーではいずれも欠陥検出モデルが動作している。一実施例において、各サーバーで動作する欠陥検出モデルはいずれも同じであるため、各サーバーは、いずれもコンソールから送信された品質検出要求を受信することができ、さらに、自体のベアする欠陥検出モデルを利用してディスプレイ画像を品質検出することができる。

１つの例示として、ディスプレイの生産ラインに配置された画像採取機器は、リアルタイムにディスプレイ画像を採取するので、コンソールは、リアルタイムにサーバー群の中のいずれかのサーバーに品質検出要求を送信することができる。

一実施例において、サーバー群における各サーバーで動作する欠陥検出モデルは同じであるため、サーバーでの欠陥検出モデルの検出効率を向上させ、欠陥検出モデルのロードバランスを確保するために、前処理されたロードバランスポリシーに基づいてサーバー群から処理リソースをベアする検出モデルサーバーを確定することができ、即ち、ディスプレイの生産ラインでの欠陥検出モデルの配置状況によってリアルタイムにロードバランスとスケジューリングを行うことができる。

ステップ３２では、前処理後の上記ディスプレイ画像を、上記検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得る。

本願の実施例では、サーバー群から処理リソースをベアする検出モデルサーバーが確定された後、前処理後の上記ディスプレイ画像を当該検出モデルサーバーで動作する欠陥検出モデルに入力し、当該欠陥検出モデルを用いて前処理後のディスプレイ画像での欠陥を検出し、さらに欠陥検出結果を得ることができる。一実施例において、当該欠陥検出モデルは、訓練モジュールが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである。

本願の実施例に係るディスプレイ品質検出方法は、ロードバランスポリシーに従って処理リソースをベアする検出モデルサーバーを確定し、前処理後のディスプレイ画像を上記検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得ることにより、サーバーでのロードバランスを実現し、ディスプレイ画像の検出効率を向上させ、ディスプレイ品質検出システムの性能を向上させる。

本願の実施例に係るディスプレイ品質検出方法には、上記ステップ２３（上記欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定する）の後に、以下のステップが含まれてもよい。

上記ディスプレイが品質の悪いディスプレイであると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作と、上記欠陥検出結果をコントローラによってログとして生産データベースに記憶する操作と、コントローラによって上記コンソールに生産制御命令を送信して、欠陥を除去する操作と、上記ディスプレイ画像と上記欠陥検出結果を上記欠陥検出モデルに入力して、上記欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行する。

本願の実施例では、テスト担当者は、ディスプレイの生産シーン及び生産段階情報に基づいて、ディスプレイが品質の悪いディスプレイであると確定した場合の解決策を予め設定してよい。例えば、コントローラによって生産管理者にアラーム情報を送信すること、及び／又は、上記欠陥検出結果をコントローラにより生産データベースにログとして記憶すること、及び／又は、コントローラによってコンソールに生産制御命令を送信して、欠陥を除去すること、及び／又は、上記ディスプレイ画像及び上記欠陥検出結果を上記欠陥検出モデルに入力して上記欠陥検出モデルを最適化することなどがある。

具体的には、１つの例示として、上記欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイが品質の悪いディスプレイであり、つまり、ディスプレイには欠陥があると確定された場合、アラーム情報を送信することによって、生産管理者が欠陥の種類と位置をタイムリーに位置決めし、解決策を出すことができる。

他の例示として、上記欠陥検出結果に基づいてディスプレイに欠陥があると確定した場合、コントローラによって上記欠陥検出結果をログとして生産データベースに記憶し、つまり、ディスプレイの欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置をログとして生産データベースに記憶することができ、さらに訓練データベースにフィルタリングして、訓練モジュール（訓練エンジンなどのソフトプログラムであってよい）により、欠陥のあるディスプレイ画像に基づいて上記欠陥検出モデルを更新することができる。

別の例示として、上記欠陥検出結果に基づいてディスプレイに欠陥があると確定された場合、コントローラによってコンソールに生産制御命令を送信して、欠陥を除去してもよい。すなわち、欠陥検出モデルをベアする検出モデルサーバーは、コントローラによって欠陥の発生原因を確定することができ、さらに対応する生産プロセスを調整する。すなわち、検出モデルサーバーは、コントローラによってコンソールに生産制御命令を送信し、ディスプレイでの欠陥を除去し、悪いディスプレイの出現確率を減らすことができる。

別の例示として、上記欠陥検出結果に基づいてディスプレイに欠陥があると確定した場合には、上記ディスプレイ画像と上記欠陥検出結果を直接に上記欠陥検出モデルに入力し、上記欠陥検出モデルを最適化してもよい。つまり、直接に悪いディスプレイに対応するディスプレイ画像を欠陥検出モデルの入力として、悪いディスプレイの欠陥検出結果を欠陥検出モデルの出力とすることで、当該欠陥検出モデルを最適化し、さらに欠陥検出モデルの検出精度を向上させる。

なお、本願の実施例は、ディスプレイが悪いと確定されたときに、検出モデルサーバーが実行可能な上記１つ又は複数の操作に限定されず、実際の状況に応じて確定することができるが、ここでは説明を省略する。

一実施例において、ディスプレイの生産ラインに配置された画像採取機器、コンソール、サーバー群、コントローラ、データベースなどの複数の異なる機器に対して、ディスプレイ品質検出方法に対応する操作ステップを上記複数の異なる機器に分散して実行してもよい。例えば、画像採取機器は、ディスプレイ画像を採取し、コンソールはロードバランスポリシーに基づいて画像採取機器が採取したディスプレイ画像をサーバー群の中の検出モデルサーバーに送信し、検出モデルサーバーで動作する欠陥検出モデルによってディスプレイ画像に対してプリセットされた前処理を行った後、欠陥検出を行って、欠陥検出結果を出す。検出モデルサーバーは、欠陥検出結果をコントローラに送信することができ、コントローラが実際のビジネスシーンに合わせて、且つビジネスリクエストに応じて、上記欠陥検出結果に基づいて実際のビジネスシーンの要件に合致する応答を行い、例えば、アラーム情報を送信すること、ログを記憶すること、生産制御命令を制御することなどがあり、一方、コントローラは更に欠陥検出結果及び上記応答の処理行為をログとして生産データベースに記憶してもよく、これによって訓練モジュールが、訓練データベース中のディスプレイ画像と欠陥検出結果に基づいて上記の得られた欠陥検出モデルを更新し、当該訓練データベースで記憶されたのは生産データベースからフィルタリングされた欠陥のあるディスプレイ画像や対応する欠陥検出結果などのデータである。

なお、毎回最適化された欠陥検出モデルは、ビジネスシーン及び生産段階情報に従い、欠陥検出モデルが動的に拡張して一般化される目的を達成するために、サーバーで動作している欠陥検出モデルを小流量オンラインで徐々に置換することができる。本願の実施例のディスプレイ品質検出方法は、ディスプレイの生産ラインで一定時間実行された後、人工的にデータベース内の情報を介して、上記欠陥検出と欠陥位置決めの正確性を再検出し、次に上記訓練データベースを更新し、欠陥検出モデルを再訓練し、欠陥検出精度を向上させることができる。

以下は、本願の装置の実施例であり、本願の方法の実施例を実行するために用いることができる。本願の装置の実施例において開示されていない詳細については、本願の方法の実施例を参照されたい。

図４は本願の実施例に係るディスプレイ品質検出装置の実施例の構成図である。図４に示すように、本願の実施例に係るディスプレイ品質検出装置は、受信モジュール４１と、処理モジュール４２と、確定モジュール４３とを含むことができる。

当該受信モジュール４１は、ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信するためのものであり、品質検出要求には、ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれる。

処理モジュール４２は、ディスプレイ画像に対して画像前処理を行い、前処理後のディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得るためのものである。画像前処理は、エッジ裁断、シザリング、回転、縮小、及び拡大の中の１つ又は複数の処理を含む。欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである。

確定モジュール４３は、欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものである。

一実施例において、欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて、履歴欠陥ディスプレイ画像を訓練して得られたものであることは、欠陥検出モデルが、履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失の合計損失値が前処理損失閾値を満たす結果であることを含み、候補領域損失は、履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、領域種別損失は、選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、領域境界損失は、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を指し、ピクセルインスタンス損失は、履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失を指す。

本願の１つの可能な実施形態では、処理モジュール４２は、具体的にロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定し、前処理後のディスプレイ画像を検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得るためのものである。

本願の他の可能な実施形態では、欠陥検出結果は、欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含む。

確定モジュール４３は、具体的に、生産段階情報及び欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものである。

本願の別の実施形態では、処理モジュール４２は、更に確定モジュール４３が、欠陥検出結果に基づいてディスプレイ画像に対応するディスプレイの品質の良否を確定した後に、ディスプレイが品質の悪いディスプレイであると確定した場合には、 コントローラによって生産管理者にアラーム情報を送信する操作と、欠陥検出結果をコントローラによりログとして生産データベースに記憶する操作と、コントローラによってコンソールに生産制御命令を送信して、欠陥を除去する操作と、ディスプレイ画像と欠陥検出結果を欠陥検出モデルに入力して、欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行するためのものである。

本実施例のディスプレイ品質検出装置は、図２及び図３に示す方法の実施例の実施形態を実行するために使用されることができる。具体的な実施形態と技術的効果は類似しているため、ここでは説明を省略する。

本願の実施例は、プロセッサ、メモリ、及びメモリに記憶されてプロセッサで実行可能なコンピュータプログラムを含む電子機器を提供し、プロセッサは、プログラムを実行すると、上記図２及び図３に示す方法の実施例に示すディスプレイ品質検出方法の各ステップを実行する。

本願は更に、コンピュータで実行されるときに、図２及び図３に示す方法の実施例の方法を実行するように命令が記憶された記憶媒体を提供する。

本願はさらに、記憶媒体に記憶されたコンピュータプログラムを含むプログラム製品を提供する。ディスプレイ品質検出装置の少なくとも１つのプロセッサは、記憶媒体から当該コンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、当該プログラムを実行することにより、ディスプレイ品質検出装置に図２及び図３に示す方法の実施例の方法を実行させる。

当業者は、上記方法の実施例の全て又は一部のステップを実現するためには、プログラムが関連するハードウェアを命令することによって達成してよいことを理解することができる。前述のプログラムは、コンピュータ読取可能記憶媒体に記憶されることができる。当該プログラムは、実行される時に、上記方法の実施例を含むステップを実行し、上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はディスクなど、プログラムコードを記憶することができる各種の媒体を含む。

最後に、以上の各実施例は、本願の技術的解決手段のみを説明するために使用されたものであり、本願発明の範囲を制限するためのものではない。前述の各実施例を参照して本願を詳細に説明したが、当業者は、依然として上記の各実施例に記載された技術的解決手段を修正したり、又はその一部又は全部の技術的特徴に同等の置き換えをしたりしてもよい。その修正又は置き換えは、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではない。

Claims (10)

1. ディスプレイの品質検出方法であって、
   ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信するステップであって、前記品質検出要求には、前記ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれるステップと、
   前記ディスプレイ画像に対して、画像前処理を行うステップであって、前記画像前処理はエッジ裁断、シザリング、回転、縮小、拡大といった処理のうちの１つ又は複数を含むステップと、
   前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得るステップであって、前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであるステップと、
   前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するステップと、を含み、
   前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって前記候補領域損失、前記領域種別損失、前記領域境界損失、及び前記ピクセルインスタンス損失の合計損失値がプリセット損失閾値を満たす結果であることを含み、
   前記候補領域損失は、前記履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、
   前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、
   前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を指し、
   前記ピクセルインスタンス損失は、前記履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失を指すことを特徴とするディスプレイの品質検出方法。
2. 前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得る前記ステップは、
   ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定するステップと、
   前処理後の前記ディスプレイ画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含むことを特徴とする請求項１に記載の方法。
3. 前記欠陥検出結果は欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含み、
   前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定する前記ステップは、
   生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するステップを含むことを特徴とする請求項１又は２に記載の方法。
4. 前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定した後、前記方法は、さらに、
   前記ディスプレイが品質の悪いディスプレイであると確定すると、
   コントローラによって生産管理者にアラーム情報を送信する操作と、
   前記欠陥検出結果をコントローラによりログとして生産データベースに記憶する操作と、
   コントローラによって前記コンソールに生産制御命令を送信して、欠陥を除去する操作と、
   前記ディスプレイ画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行することを含むことを特徴とする請求項１又は２に記載の方法。
5. ディスプレイの品質検出装置であって、
   ディスプレイの生産ラインに配置されたコンソールから送信された品質検出要求を受信するためのものであり、前記品質検出要求には、前記ディスプレイの生産ラインでの画像採取機器が採取したディスプレイ画像が含まれる受信モジュールと、
   前記ディスプレイ画像に対して、画像前処理を行い、前処理後の前記ディスプレイ画像を欠陥検出モデルに入力して欠陥検出結果を得るためのものであり、前記画像前処理は、エッジ裁断、シザリング、回転、縮小、拡大といった処理の中の１つ又は複数を含み、前記欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造及びインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものである処理モジュールと、
   前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものである確定モジュールと、を含み、
   前記欠陥検出モデルが、ディープコンボリューションニューラルネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイ画像を訓練して得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイ画像の候補領域損失、領域種別損失、領域境界損失、及びピクセルインスタンス損失に対して組み合わせ訓練を行い、これによって前記候補領域損失、前記領域種別損失、前記領域境界損失、及び前記ピクセルインスタンス損失の合計損失値がプリセット損失閾値を満たす結果であることを含み、
   前記候補領域損失は、前記履歴欠陥ディスプレイ画像における選択された欠陥領域と実際の欠陥領域との間の損失値を指し、
   前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を指し、
   前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を指し、
   前記ピクセルインスタンス損失は、前記履歴欠陥ディスプレイ画像における予測のピクセルインスタンスと実際のピクセルインスタンスとの間の損失を指すことを特徴とするディスプレイの品質検出装置。
6. 前記処理モジュールは、ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定し、前記ディスプレイ画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力して欠陥検出結果を得るためのものであることを特徴とする請求項５に記載の装置。
7. 前記欠陥検出結果は、欠陥種別、及び／又は、欠陥インスタンス、及び／又は、欠陥位置を含み、
   前記確定モジュールは、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定するためのものであることを特徴とする請求項５又は６に記載の装置。
8. 前記処理モジュールはさらに、前記確定モジュールが前記欠陥検出結果に基づいて前記ディスプレイ画像に対応するディスプレイの品質の良否を確定した後に、前記ディスプレイが品質の悪いディスプレイであると確定すると、
   コントローラによって生産管理者にアラーム情報を送信する操作と、
   前記欠陥検出結果をコントローラによりログとして生産データベースに記憶する操作と、
   コントローラによって前記コンソールに生産制御命令を送信して、欠陥を除去する操作と、
   前記ディスプレイ画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作と、の中の１つ又は複数の操作を実行するためのものであることを特徴とする請求項５又は６に記載の装置。
9. プロセッサ、メモリ、及び前記メモリに記憶され、プロセッサで実行可能なコンピュータプログラムを含む電子機器であって、
   前記プロセッサは、前記コンピュータプログラムを実行する際に、前記請求項１〜４のいずれか１項に記載の方法を実現することを特徴とする電子機器。
10. 記憶媒体であって、コンピュータで実行されるときに、コンピュータに請求項１〜４のいずれか１項に記載の方法を実行させる命令が記憶されていることを特徴とする記憶媒体。

Images