JP6921241B2 - ディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体 - Google Patents

Description

本願は２０１８年０７月０２日に中国特許局に出願した、出願番号は２０１８１０７１０５３７．５、出願人は北京百度網訊科技有限公司、出願の名称は「ディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は参照する形でここに組み込まれる。
本願は、コンピュータ技術分野に関し、特にディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体に関する。

情報表示技術は人々の生活の中での役割が日増しており、ディスプレイスクリーンもその小さい体積、軽量、低電力、高解像度、高輝度、及び無幾何学的変形など多くの特徴で広く使われている。しかし、ディスプレイスクリーンの生産過程では、さまざまの原因で、生産したディスプレイスクリーンに表示欠陥、例えば、点欠陥、線欠陥、面欠陥などが存在する可能性がある。したがって、ディスプレイスクリーンの品質検査は生産過程における重要な要素である。

従来の技術において、ディスプレイスクリーンの品質検査は主に人力による検査または機械補助付きの人力による検査方法を採用する。具体的には、人力による検査方法とは、業界の専門家によって、生産環境から採集した画像を肉眼で見て判断することである。機械補助付きの人力による検査方法とは、まず業界専門家の経験に基づいた品質検査システムを利用し、検査対象のディスプレイスクリーン画像を検査し、次に業界の専門家が欠陥の疑いがある画像を検査して判断することである。

しかしながら、人力による検査方法と機械補助付きの人力による検査方法はいずれも人の主観的な影響要素が大きいため、検査精度が低く、システムの性能が悪く、サービス拡張能力が低い。

本願は、従来のディスプレイスクリーンの欠陥検出方法において、人の主観的な影響要素が大きいため、検査精度が低く、システムの性能が悪く、サービス拡張能力が低いという問題点を克服するディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体を提供する。

本願の第１の態様によるディスプレイスクリーン品質検査方法は、ディスプレイスクリーンの生産ライン上に配置されたコンソールから送信された品質検査要求を受信するステップであって、前記品質検査要求には、前記ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれるステップと、前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得るステップであって、前記欠陥検出モデルは、ディープデコンボリューションニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものであるステップと、前記の欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥と、該欠陥に対応する欠陥の種類と、前記欠陥に対応する位置とを確定するステップとを含む。
選択可能な一態様として、前記方法は、前記ディスプレイスクリーンに対応するメーカー、生産環境、及びディスプレイスクリーンの種類を示す生産段階情報及び前記欠陥検出結果に基づいて、前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定することをさらに含む。

本態様では、ディープデコンボリューションニューラルネットワーク構造とオブジェクト検出アルゴリズムに基づいて履歴欠陥ディスプレイスクリーン画像に対してトレーニングして得た欠陥検出モデルを用いてディスプレイスクリーン画像に対して欠陥検出を行い、ディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥、前記欠陥に対応する欠陥種類、及び、前記欠陥に対応する位置を確定する。当該欠陥検出モデルによって得られた欠陥検出結果の分類精度が高く、スマート化能力が強く、システム性能が向上し、サービス拡張能力が高くなる。

選択可能な一態様として、前記欠陥検出モデルは、ディープデコンボリューションニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、前記候補領域損失、前記領域種別損失、前記領域境界損失の合計損失値がプリセットされた損失閾値を満たす結果であることを含み、前記候補領域損失は、前記履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を意味する。

本態様では、ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行って得た欠陥検出モデルは分類精度が高く、検出システムの性能が高くなる。

選択可能な一態様として、前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、さらに、前記ディスプレイスクリーン画像に対してトリミング、カッティング、回転、縮小、拡大といった処理のうちの１つまたは複数を含む画像プリプロセッシングを行う。選択可能な一態様として、前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得ることは、ロードバランスポリシーに基づいてプロセッシングリソースを受ける検出モデルサーバーを確定することと、前記ディスプレイスクリーン画像を前記検出モデルサーバー上で動作する前記欠陥検出モデルに入力し、欠陥検出結果を得ることとを含む。

本態様では、取得したディスプレイスクリーン画像に対して画像プリトリートメントすることで、トリートメント後のディスプレイスクリーン画像を検査基準に合わせ、後に来るディスプレイスクリーン画像の欠陥検出の土台とし、ディスプレイスクリーン品質検査の精度を引き上げる。

選択可能な一態様として、前記方法は、前記ディスプレイスクリーンに対応するメーカー、生産環境、及びディスプレイスクリーンの種類を示す生産段階情報及び前記欠陥検出結果に基づいて、前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定することをさらに含む。

本態様では、種類が異なるディスプレイスクリーンは異なる生産段階を通過し、欠陥検出結果を分析する時、各ディスプレイスクリーンの生産段階の情報を合わせてディスプレイスクリーンの品質の良し悪しを確定することで、ディスプレイスクリーン品質を確定する時の精度を向上させることができる。

選択可能な一態様として、前記生産段階情報及び欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定した後、さらに、前記ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定された場合、コントローラを通じて生産管理者にアラーム情報を送信すること、前記欠陥検出結果を前記コントローラによりログとして生産データベースに保存すること、前記コントローラを介して前記コンソールに生産制御命令を送信し、欠陥を除去すること、前記ディスプレイスクリーン画像と前記欠陥検出結果を前記欠陥検出モデルに入力し、前記欠陥検出モデルを最適化することのうちの１つまたは複数を実行することを含む。

本態様では、ディスプレイスクリーン品質検査方法は、ディスプレイスクリーンの生産ライン上で一定時間作動した後、上記の欠陥検出と欠陥位置確定の正確性を人力によってデータベース内の情報を介して再検査し、上記トレーニングのデータベースを更新し、欠陥検出モデルを再トレーニングすることで、欠陥検出精度を向上させる。

本願の第２の態様によるディスプレイスクリーン品質検査装置は、ディスプレイスクリーンの生産ライン上に配置されたコンソールから送信された品質検査要求を受信し、前記品質検査要求には、前記ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれる受信モジュールと、前記ディスプレイスクリーン画像をディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーンの画像をトレーニングして得られた欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥、前記欠陥に対応する欠陥種類、及び前記欠陥に対応する位置を確定するための確定モジュールと、を含む。

本態様で提供されるディスプレイスクリーン品質検査装置の技術的効果は、前記ディスプレイスクリーン品質検査方法の技術的効果と同じである。

選択可能な一態様として、前記欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得られたものであることは、前記欠陥検出モデルが、前記履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、前記候補領域損失、前記領域種別損失、前記領域境界損失の合計損失値がプリセットされた損失閾値を満たす結果であることを含み、前記候補領域損失は、前記履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を意味する。

選択可能な一態様として、前記処理モジュールはさらに、前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、前記ディスプレイスクリーン画像に対してトリミング、カッティング、回転、縮小、拡大といった処理のうちの１つまたは複数を含む画像プリプロセッシングを行うために用いられる。選択的に、前記処理モジュールは、具体的に、ロードバランスポリシーに基づいてプロセッシングリソースを受ける検出モデルサーバーを確定し、前記検出モデルサーバー上で動作する前記欠陥検出モデルに前記ディスプレイスクリーン画像を入力して欠陥検出結果を得るために用いられる。

選択可能な一態様として、前記確定モジュールはさらに、前記ディスプレイスクリーンに対応するメーカー、生産環境、及び前記ディスプレイスクリーンの種類を示す生産段階情報及び前記欠陥検出結果に基づいて、前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定するために用いられる。選択的に、前記処理モジュールはさらに、前記確定モジュールが前記欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定した後、前記ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定した場合、コントローラを通じて生産管理者にアラーム情報を送信すること、前記欠陥検出結果を前記コントローラによりログとして生産データベースに保存すること、前記コントローラを介して前記コンソールに生産制御命令を送信し、欠陥を除去すること、前記ディスプレイスクリーン画像と前記欠陥検出結果を前記欠陥検出モデルに入力し、前記欠陥検出モデルを最適化することのうちの１つまたは複数を実行するために用いられる。

本願の第３の態様による電子機器は、プロセッサと、メモリと、前記メモリに記憶されてプロセッサによって実行されるコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する時、上記の第１の態様及び第１の態様の各実現可能な態様のいずれか１項に記載の方法を実行する。

本願の第４の態様による記憶媒体はコンピュータ上で動作するときに、コンピュータに第１の態様及び第１の態様の各実現可能な態様のいずれか１項に記載の方法を実行させるコマンドが記憶されてある。

本願は、ディスプレイスクリーンの生産ライン上に配置されたコンソールから送信されたディスプレイスクリーンの生産ライン上に配置されたディスプレイスクリーン画像採取機器が採取したディスプレイスクリーン画像を含む品質検出要求を受信することと、当該ディスプレイスクリーン画像をディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得た欠陥検出モデルに入力して欠陥検出結果を得ることと、欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥、欠陥に対応する欠陥種類、及び欠陥に対応する位置確定することとを含むディスプレイスクリーン品質検査方法、装置、電子機器、及び記憶媒体を提供する。当該技術的解決手段は欠陥検出精度が高く、システム性能が良く、業務拡張能力が高い。

本願の実施例に係るディスプレイスクリーン品質検査システムの構造図である。 本願の実施例に係るディスプレイスクリーン品質検査方法の実施例１のフローチャートである。 本願の実施例に係るディスプレイスクリーン品質検査方法の実施例２のフローチャートである。 本願の実施例に係るディスプレイスクリーン品質検査方法の実施例３のフローチャートである。 本願の実施例に係るディスプレイスクリーン品質検査方法の実施例３のフローチャートである。 本願の実施例に係るディスプレイスクリーン品質検査装置の実施例の構造図１である。 本願の実施例に係るディスプレイスクリーン品質検査装置の実施例の構造図２である。

本願の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願の実施例を参照しながら、本願の実施例による技術的解決手段について明瞭、且つ完全に説明する。当然のことながら、記載される実施例は本願の実施例の一部にすぎず、すべての実施例ではない。当業者が、創造的な労働をすることなく獲得したその他のすべての実施例はいずれも本願の保護範囲に属する。

本願の実施例に係るディスプレイスクリーン品質検査方法は、ディスプレイスクリーン品質検査システムに適用され、図１は、本願の実施例に係るディスプレイスクリーン品質検査システムの構造図である。図１に示すように、当該ディスプレイスクリーン品質検査システムは、ディスプレイスクリーン生産ラインに配置された画像採取機器１１、コンソール１２、サーバーグループ１３、コントローラ１４、データベース１５、トレーニング装置１６などの複数の異なる機器を含む。そのうち、画像採取機器１１は、ディスプレイスクリーン生産ライン上のディスプレイスクリーン画像を採取し、コンソール１２は、画像採取機器１１が採取したディスプレイスクリーン画像を受信し、当該ディスプレイスクリーン画像をサーバーグループ１３における検出モデルサーバー１３０に送信し、検出モデルサーバー１３０は、受信したディスプレイスクリーン画像を自身で実行している欠陥検出モデルに入力し、欠陥検出結果を得、コントローラ１４は、検出モデルサーバー１３０による欠陥検出結果を受信し、生産段階情報と合わせてサービス応答を提供し、コントローラ１４はまた、欠陥検出結果をログとしてデータベース１５に記憶できる。また、画像採取機器１１が採取したディスプレイスクリーン画像は、欠陥検出モデルトレーニングのオリジナルデータとしてデータベース１５に直接記憶されることができる。トレーニング装置１６は、データベース内の履歴欠陥ディスプレイスクリーン画像を読み取った後、ディープコンボリューションネットワーク構造とインスタンスセグメンテーションアルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして欠陥検出モデルを得る。

選択的に、上記データベース１５は、生産データベース１５１とトレーニングデータベース１５２とを含んでもよく、生産データベース１５１は、コントローラ１４から送信された欠陥検出結果と、画像採取機器１１が採取したディスプレイスクリーン画像とを受信し、保存することができ、トレーニングデータベース１５２は、生産データベース１５１から読み取られた履歴欠陥ディスプレイスクリーン画像と対応するオリジナルディスプレイスクリーン画像を記憶することで、トレーニング装置１６がトレーニングして検出精度の高い欠陥検出モデルを得るようにすることができる。

選択的に、本願の実施例におけるトレーニング装置１６は、欠陥検出モデルのトレーニングツールとして、ハードウェア及び／またはソフトウェア機能によって実現されるトレーニングエンジンであってもよい。

本願の実施例のディスプレイスクリーン品質検査システムはさらに、プロセッサ、メモリなどの他のエンティティモジュールを含んでもよく、本実施例はこれに限定されない。

なお、まず本願の実施例が適用される応用シーンについて簡単に説明する。

現在の段階では、３Ｃ産業（３Ｃ産業とは、コンピュータ、通信、消費性電子の三大科学技術製品を組み合わせて応用する情報家電産業を指す）全体のスマートオートメーションのレベルが低く、携帯電話ディスプレイスクリーンなどのディスプレイスクリーン業界に対する調査と分析によると、大部分のメーカーが携帯電話ディスプレイスクリーン対して２種類の検査方法、つまり、人力による検査方法と機械補助付きの人力による検査方法を採用していることがわかる。

そのうち、人力による検査方法とは、業界の専門家に寄り掛かり、生産環境から採集された画像を肉眼で観察して判断する方法であり、当該方法は人間の主観的な影響要素が大きく、検出効率が低く、しかも人の目に対するダメージが大きい。また、ディスプレイスクリーンの生産現場が一般的にクリーン環境であり、作業者が入る前に清潔準備し、クリーン服の着装をしなければならないため、作業者の健康や安全にも悪影響を及ぼす可能性がある。

機械補助付きの人力による検査方法は、液晶モジュールグループ検出機器ベースの検出方法とも呼ばれ、具体的な原理としては、まず、一定の判断能力を有する品質検査システムによって欠陥のない画像をフィルタリングしてから、業界の専門家によって欠陥があると思われる画像を検査して判断する。機械補助付きの人力による検査方法において、品質検査システムは大半専門家システムと特徴エンジニアリングシステムから発展したもので、専門家が経験を品質検査システムに硬化し、一定の自動化能力を持たせることを示す。このため、機械補助付きの人力による検査方法は精度が低く、システム性能が悪く、メーカーのすべての検査基準をカバーすることができないだけでなく、効率も低く、判断が漏れるか誤審しやすく、検出後の画像データの再利用も難しいである。また、上記の品質検査システムでは、特徴と判定ルールは業界の専門家の経験に基づいてマシンに硬化され、サービスの発展とともに交代し難いため、生産技術の発展に従い、品質検査システムの検出精度がますます低くなり、最悪の場合、完全に利用できない状態にまで下がる可能性がある。さらに、品質検査システムの特徴はすべて第三者のサプライヤーによってハードウェアに予め硬化されたため、アップグレードする時、生産ラインを非常に大きく改革する必要があるだけでなく、価格も高く、安全性、規格化、拡張性などの面でも明らかに不足し、ディスプレイスクリーン生産ラインの最適化とアップグレードに不利で、サービス拡張能力も低い。

以上のように、人力による検査方法と機械補助付きの人力による検査方法は、効率が低く、誤判断が発生しやすいだけでなく、この２つの方法により発生した工業データの保存、管理、再掘削も容易ではない。

本願の実施例は、コンピュータ視覚における人工知能技術の最新の発展に基づき、自動化的、高精度のディスプレイスクリーン品質検査方法を研究開発し、画像採取機器がディスプレイスクリーンの生産ラインでリアルタイムに採集したディスプレイスクリーン画像を用いて、リアルタイムでディスプレイスクリーンの表面品質を検査して判断し、現在の画像採取機器が採取したディスプレイスクリーンに品質問題があると検出された場合、ピクチャ内における当該品質問題の位置と所属する種類及び種類のインスタンスを確定する。

なお、説明すべきなのは、本願の実施例は、人の目、コンピュータの視覚を利用してディスプレイスクリーンを検査できる全てのシーンに適用することができ、本実施例のディスプレイスクリーンは、プラズマディスプレイスクリーン、液晶ディスプレイスクリーン（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ，ＬＣＤ）、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＬＥＤ）ディスプレイスクリーン、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＯＬＥＤ）ディスプレイスクリーンなどのいずれかを含むことができる。本願の実施例は、上記のいくつかのディスプレイスクリーンに限定されるものではなく、他のディスプレイスクリーンを含んでもよいが、ここではその説明は省略する。

選択的に、本願の実施例における品質問題は、点欠陥、線欠陥、面欠陥及びムラなどの異なる種類の欠陥問題を含んでもよく、ただし、それらに限定されないが、ここでは逐一紹介しない。ムラとは、ディスプレイスクリーンの明るさが不均一で発生する様々な痕跡現象である。

以下、具体的な実施例と合わせて本願の技術的解決方法を詳細に説明する。以下のいくつかの具体的な実施例は、互いに結合することができ、同様の、または類似の概念、またはプロセスについては、いくつかの実施例において説明を省略する可能性がある。

本願の実施例では、「複数」は２つ以上を意味する。「及び／または」は、関連するオブジェクトの関連関係を記述し、３つの関係が存在し得ることを表し、例えば、Ａ及び／またはＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの状況を表すことができる。符号「／」は、一般的に前後関連するオブジェクトが「または」の関係であることを表す。

図２は本願の実施例に係るディスプレイスクリーン品質検査方法の実施例１のフローチャートである。図２に示すように、本願の実施例において、当該ディスプレイスクリーン品質検査方法は、以下のステップを含むことができる。

ステップ２１：ディスプレイスクリーン生産ラインに配置されたコンソールから送信された品質検査要求を受信し、当該品質検査要求には、ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれる。

選択的に、本願の実施例において、ディスプレイスクリーン生産ラインには、画像採取機器、コンソール、サーバーグループ、コントローラ、データベースなどの複数の機器が配置されている。画像採取機器は高精度の画像採取カメラとすることができ、ディスプレイスクリーンの生産過程で、画像採取機器の角度、光線、フィルター、倍鏡、フォーカスなどを調整することによってディスプレイスクリーンの生産ラインにあるディスプレイスクリーンに対応するディスプレイスクリーン画像を複数採取することができる。

ディスプレイスクリーンの生産ライン上の画像採取機器がディスプレイスクリーン画像を採取した後、ディスプレイスクリーンの生産ライン上に配置されたコンソールは、ディスプレイスクリーン生産ライン上の欠陥検出モデルが配置されているサーバーグループに上記の画像採取機器が採取したディスプレイスクリーン画像を含む品質検査要求を送信することで、サーバーグループにおいて当該品質検査要求を受信したサーバーが受信したディスプレイスクリーン画像を処理することができる。

ステップ２２：上記のディスプレイスクリーン画像をディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得た欠陥検出モデルに入力して、欠陥検出結果を得る。

選択的に、品質検査要求を受信したサーバーは、品質検査要求におけるディスプレイスクリーン画像をサーバー上で実行する欠陥検出モデルに入力し、欠陥検出モデルが欠陥検出を行うことで、欠陥検出結果を得る。

説明すべきなのは、サーバーで実行する欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものである。つまり、ディスプレイスクリーン生産ラインでのディスプレイスクリーン画像は、欠陥検出モデルの入力とし、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いてディスプレイスクリーン画像の特徴を読み取って（即ち、ディスプレイスクリーン画像に存在する欠陥）、欠陥検出モデルの出力とし、欠陥検出モデルに対してトレーニングする。

具体的には、オブジェクト検出は、機械が自動的にオブジェクト検出方法を用いて画像からディスプレイスクリーンにおける他の位置でのオブジェクトと異なるオブジェクト、及び当該オブジェクトに対応するエリアフレームを確定することであり、エリアフレームは、ディスプレイスクリーンでのオブジェクトが位置するエリアの範囲である。説明すべきなのは、オブジェクト検出は、ディスプレイスクリーンの欠陥がある位置、当該欠陥が属する欠陥種類を区分することができるため、本願の実施例で、欠陥検出モデルはディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて大量の履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものであり、つまり、まず履歴欠陥ディスプレイスクリーン画像における異なる欠陥を確定し、次に方位またはエリアの角度から画像における欠陥、及び欠陥に対応する具体的な種類をセパレートし、ディスプレイスクリーン画像でマークを付けて標識し、最後にそれを分類統計し、組み合わせトレーニングを行ってから得たものである。

例示的に、本願の実施例での欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものであり、具体的に以下のように解釈できる。

欠陥検出モデルは、履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、当該候補領域損失、当該領域種別損失、当該領域境界損失の合計損失値がプリセット損失閾値を満たすようにした結果である。

そのうち、候補領域損失は、履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、領域種別損失は、選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、領域境界損失は、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を意味する。

本願の実施例では、欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク（Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，Ｄｅｅｐ ＣＮＮｓ）構造を基礎とし、コンボリューションニューラルネットワーク構造は、主にコンボリューション層、プール層、全接続層などから構成され、コンボリューションニューラルネットワークのグラニュラリティと層の選択は、実際の状況に応じて確定してもよく、本願の実施例はこれに対して限定しない。コンボリューション層のコンボリューションオペレーションとは、ウエートが異なるコンボリューションカーネルを利用し、ディスプレイスクリーン画像、または少なくとも一回のコンボリューション処理を経て得られた画像特徴図に対してスキャンコンボリューションし、様々な種類の特徴を読み取り、一つの画像特徴図を改めて得るプロセスである。そのうち、コンボリューションカーネルとは、ウェイトマトリックスであり、すなわち、コンボリューションの時に用いられるウェイトを１つのマトリックスで表示し、当該マトリックスは対応する画像領域と大きさが同じてあり、その行、列はすべて奇数であり、１つのウェイトマトリックスである。プール層のプール動作とは、コンボリューション層が出力した特徴図に対して減次元し、特徴図における主要な特徴を保留することである。ＣＮＮネットワークにおいて、全接続層は、コンボリューション層によって生成された特徴図を固定長さ（一般的には入力画像データセットにおける画像種類数）の特徴ベクトルにマッピングし、当該特徴ベクトルは、入力画像のすべての特徴の組み合わせ情報を含み、つまり、画像に最も特徴のある画像特徴を保留し、それにより画像分類タスクを完了する。

本願の実施例は、このようなコンボリューション、プール、全接続動作を有するディープニューラルネットワークモデルを利用し、ディスプレイスクリーン生産ライン上で画像採取機器が採取したディスプレイスクリーン画像の変形、ファジー、光照などの特徴に対して高いロバスト性を有し、分類タスクに対する汎用性がより高い。

選択的に、本実施例では、オブジェクト検出アルゴリズムは、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムを利用することができ、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムはまず、コンボリューショナルニューラルネットワーク構造のコンボリューションオペレーションを利用し、その特徴図を得てから、ディスプレイスクリーン画像の選択された欠陥領域に特定の欠陥が含まれているかどうかを計算する。欠陥が含まれている場合は、選択された欠陥領域と実際の欠陥領域との間の損失値（候補領域損失）を計算することができる一方、コンボリューショナルニューラルネットワークを用いて特徴読み取りを行ってから、選択された欠陥領域における欠陥種類と欠陥境界を予測し、選択された欠陥領域における欠陥種類と実際の欠陥種類との損失値（領域種別損失）と、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値（領域境界損失）を計算することができる。ディスプレイスクリーン画像の選択された欠陥領域に特定の欠陥が含まれていない場合は、分類しない。

具体的には、本実施例では、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムと候補領域ネットワークを融合する方式を利用することができる。当該候補領域ネットワークは、ディスプレイスクリーン画像の原図における領域に特定のオブジェクト（欠陥）が含まれているかどうかを取得し、原図を含むある領域にオブジェクトが含まれている場合に、原図をＦａｓｔｅｒ ＲＣＮＮアルゴリズムによって読み取られた特徴図と対応させ、特徴図での当該領域で、当該オブジェクトの種類、及びディスプレイスクリーンにおける当該領域の位置を予測する。

以上から分かるように、欠陥検出モデルは、履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行った結果であり、候補領域損失、領域種別損失、領域境界損失を含む損失関数を得ることができ、当該損失関数は、欠陥検出モデルのトレーニング段階で、ディープコンボリューションニューラルネットワークの出力結果と実際の値との差を評価し、各ニューロン間のウェイト値を損失関数の値で更新するために用いられる。ディープコンボリューションニューラルネットワークのトレーニング目的は損失関数値を最小化することである。

欠陥検出モデルの出力結果とディスプレイスクリーン画像にマークされた欠陥結果との誤差値がプリセット損失閾値より小さい場合には、トレーニングを停止する。当該プリセット損失閾値は、ディスプレイスクリーンのサービス要求に適合する値である。

なお、本願の実施例では、異なる生産シーンとディスプレイスクリーン画像の特徴について、上記欠陥検出モデルをトレーニングするために必要なディープコンボリューショナルニューラルネットワークの深さや、各層のニューロン数、及びコンボリューション層、プール層の組織形態はいずれも異なる可能性があり、実際の状況に応じて確定することができ、本実施例はこれに対して限定しない。

ステップ２３：欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンでの欠陥、欠陥に対応する欠陥種類、及び欠陥に対応する位置を確定する。

選択的に、本願の実施例では、欠陥検出モデルに基づいて欠陥検出結果を得た後、当該欠陥検出結果に基づいて上記のディスプレイスクリーン画像に対応するディスプレイスクリーンでの欠陥、欠陥に対応する欠陥種類、及び欠陥に対応する位置を確定することができる。

本実施例では、ディスプレイスクリーン画像に欠陥がある場合、当該欠陥検出モデルによって得られる欠陥検出結果には、欠陥種類（ディスプレイスクリーン上に何種類の欠陥が存在するか）、欠陥位置（各欠陥の具体的な位置）が含まれることができる。つまり、本願の実施例の欠陥検出モデルは、ディスプレイスクリーン画像にある欠陥種類の数、及び各種類の欠陥の具体的な数を検出することができる。

図３は本願の実施例に係るディスプレイスクリーン品質検査方法の実施例２のフローチャートであり、図３に示すように、本実施例では、当該ステップ２３（欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンでの欠陥、欠陥に対応する欠陥種類、及び欠陥に対応する位置を確定する）の後、ディスプレイスクリーンに対応するメーカー、生産環境、及びディスプレイスクリーンの種類を示す生産段階情報、及び上記欠陥検査結果に基づいて、ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定するステップ２４をさらに含むことができる。

具体的には、異なるディスプレイスクリーンのメーカー、ディスプレイスクリーンの生産環境やディスプレイスクリーンの種類などのさまざまな生産段階情報によってディスプレイスクリーンの品質検査の過程で異なる欠陥検出結果を得る可能性がある。例えば、液晶ディスプレイスクリーンについては、薄膜トランジスタオペレーション、カラーフィルタオペレーション、ユニットフィッティング、モジュールフィッティングなどの生産段階を通過するのが一般的である。ＬＥＤディスプレイスクリーンについては、パッチ、プラグイン、ウェーブソルダー、後溶接、テスト、モジュール組立などの段階を通過する。異なる種類のディスプレイスクリーンについては、通過する生産段階が異なるため、上記で得られた欠陥検出結果を分析する際には、各ディスプレイスクリーンの生産段階情報を合わせてディスプレイスクリーンの品質の良し悪しを確定する必要がある。

本願の実施例に係るディスプレイスクリーン品質検査方法は、ディスプレイスクリーンの生産ラインに配置されたコンソールから送信されたディスプレイスクリーンの生産ライン上の画像採取機器が採取したディスプレイスクリーン画像を含む品質検出要求を受信することにより、ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得、当該欠陥検出結果に基づいてディスプレイスクリーン上の欠陥、欠陥に対応する欠陥種類、欠陥に対応する位置及び／またはディスプレイスクリーンの品質良し悪しを確定する。上記の欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得られたものであるため、当該欠陥検出モデルを用いて得られた欠陥検出結果は分類精度が高く、インテリジェント化能力が高く、システム性能が向上し、サービス拡張能力も高い。

図４は、本願の実施例に係るディスプレイスクリーン品質検査方法の実施例３のフローチャートである。本願の実施例では、図２に示す実施例に基づいてディスプレイスクリーン品質検査方法に対してさらに説明する。図４に示すように、本実施例に係るディスプレイスクリーン品質検査方法は、上述ステップ２２（上記のディスプレイスクリーン画像を欠陥検出モデルに入力し欠陥検出結果を得る）の前に、上述ディスプレイスクリーン画像に対してトリミング、カッティング、回転、縮小、拡大といった処理のうちの１つかまたは複数を含む画像プリトリートメントを行うステップ３１をさらに含むことができる。

選択的に、本願の実施例では、ディスプレイスクリーン生産ラインに配置された画像採取機器は通常、高精度のカメラであるため、当該画像採取機器を用いて採取されたディスプレイスクリーン画像は、サイズが大きいか、ピクセルが高いか、あるいは位置が不適切かなどの画像である可能性がある。したがって、コンソールから送信される品質検査要求に含まれるディスプレイスクリーン画像を受信した後、実際の状況に応じて、ディスプレイスクリーン画像をプリトリートメントする必要がある。

例えば、ディスプレイスクリーン画像のフリンジエリアが大きい場合には、ディスプレイスクリーン画像をトリミング処理し、ディスプレイスクリーン画像の有用な部分を残しても良いし、あるいは、ディスプレイスクリーン画像のサイズが大きい場合には、ディスプレイスクリーン画像をカッティング、縮小処理することで、欠陥検出モデルに送り込んだディスプレイスクリーン画像が完全に検出されるようにし、ディスプレイスクリーン欠陥の検出精度を高めることができる。または、ディスプレイスクリーン画像におけるある領域を重点に検査する必要があれば、ディスプレイスクリーン画像における当該領域を拡大するなどの処理を行い、プリトリートメント後のディスプレイスクリーン画像が検査基準に適合するようにすることができる。

本願の実施例に係るディスプレイスクリーン品質検査方法は、ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、上記のディスプレイスクリーン画像に対するトリミング、または／及びカッティング、または／及び回転、または／及び縮小、または／及び拡大するなどの画像プリトリートメントにより、欠陥検出モデルに送り込んだディスプレイスクリーン画像を検出基準に適合させることができ、後にくるディスプレイスクリーン画像の欠陥検査のために、基礎を定め、ディスプレイスクリーンの品質検査精度を向上させる。

図５は、選択的に上述実施例に重ねて適用される、本願の実施例に係るディスプレイスクリーン品質検査方法の実施例３のフローチャートである。図５に示すように、本実施例では、上述ステップ２２（上記のディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る）を、以下のステップを通じて実現することができる。

ステップ４１：ロードバランスポリシーに従い、プロセッシングリソースを受ける検出モデルサーバーを確定する。

選択的に、本願の実施例では、ディスプレイスクリーン生産ライン上にサーバーグループが配置され、当該サーバーグループには複数のサーバーがあってもよく、各サーバー上で欠陥検出モデルが動作している。選択的に、各サーバーで動作する欠陥検出モデルはすべて同じであるため、各サーバーはいずれも、コンソールから送信された品質検査要求を受信することができ、さらに、自身が受ける欠陥検出モデルを利用してディスプレイスクリーン画像に対して品質検査を行なうことができる。

例示的に、ディスプレイスクリーン生産ラインに配備された画像採取機器は、リアルタイムでディスプレイスクリーン画像を採取するため、コンソールも、リアルタイムでサーバーグループのいずれかのサーバーに品質検査要求を送信することができる。

選択的に、サーバーグループにおける各サーバーで動作する欠陥検出モデルは同じであるため、サーバー上の欠陥検出モデルの検出効率を向上させ、欠陥検出モデルのロードバランスを保証するために、プリセットされたロードバランスポリシーに基づいてサーバーグループからプロセッシングリソースを受ける検出モデルサーバーを確定することができ、即ち、ディスプレイスクリーン生産ライン上の欠陥検出モデルの配置状況によってリアルタイムでロードバランスとスケジューリングを行うことができる。

ステップ４２：上記ディスプレイスクリーン画像を、上記検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得る。

選択的に、本願の実施例では、サーバーグループからプロセッシングリソースを受ける検出モデルサーバーを確定した後、ディスプレイスクリーン画像を当該検出モデルサーバー上で動作する欠陥検出モデルに入力し、当該欠陥検査モデルを用いてディスプレイスクリーン画像上の欠陥を検出し、さらに欠陥検出結果を得ることができる。選択的に、当該欠陥検出モデルは、トレーニングモジュールが、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーンの画像をトレーニングして得たものである。

本願の実施例に係るディスプレイスクリーン品質検査方法は、ロードバランスポリシーに従ってプロセッシングリソースを受ける検出モデルサーバーを確定し、ディスプレイスクリーン画像を上記検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得ることにより、サーバー上のロードバランスを実現し、ディスプレイスクリーン画像の検査効率を向上させ、ディスプレイスクリーン品質検査システムの性能を向上させる。

選択的に、本願の実施例に係るディスプレイスクリーン品質検査方法は、上記ステップ２３（上記欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定する）の後、さらに以下のステップをさらに含んでもよい。

上記ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定されたら、コントローラを通じて生産管理者にアラーム情報を送信すること、上記欠陥検出結果をコントローラでログとして生産データベースに保存すること、コントローラを介してコンソールに生産制御命令を送信し、欠陥を除去すること、上記ディスプレイスクリーン画像と上記欠陥検出結果を上記欠陥検出モデルに入力し、上記欠陥検出モデルを最適化することのうち１つまたは複数を実行する。

選択的に、本願の実施例では、テスト担当者は、ディスプレイスクリーンの生産シーン及び生産段階情報に基づいて予め、ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると判定された場合の解決策、例えば、コントローラを介して生産管理者にアラーム情報を送信し、及び／または、上述欠陥検出結果をコントローラにより生産データベースにログとして保存し、及び／または、コントローラを介してコンソールに生産制御命令を送信して欠陥を除去し、及び／または、上記欠陥検出モデルなどを最適化するために、上記ディスプレイスクリーン画像及び上記欠陥検出結果を上記欠陥検出モデルに入力するなどを設定してもよい。

具体的には、例示的に、上記欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンが品質の悪いディスプレイスクリーンである、つまり、ディスプレイスクリーンに欠陥があると確定された場合、アラーム情報を送信することで、生産管理者が欠陥の種類と位置を迅速に特定し、解決策を出すことができる。

例示的に、上記欠陥検出結果に基づいてディスプレイスクリーンに欠陥があると確定された場合、コントローラを介して上記欠陥検出結果をログとして生産データベースに保存し、つまり、ディスプレイスクリーンの欠陥種類、及び／または、欠陥インスタンス、及び／または、欠陥位置をログとして生産データベースに保存し、さらにトレーニングデータベースにフィルタリングし、トレーニングモジュール（トレーニングエンジンなどのソフトプログラムであってもよい）が、欠陥のあるディスプレイスクリーン画像に基づいて上記欠陥検出モデルを更新することができる。

例示的に、上記欠陥検出結果に基づいてディスプレイスクリーンに欠陥があると確定された場合、コントローラを介してコンソールに生産制御命令を送信して欠陥を解消することもできる。すなわち、欠陥検出モデルを受ける検出モデルサーバーは、コントローラを介して欠陥の発生原因確定し、さらに対応する生産プロセスを調整することができ、すなわち、検出モデルサーバーは、コントローラを介してコンソールに生産制御命令を送信し、ディスプレイスクリーン上の欠陥を除去し、品質の悪いディスプレイスクリーンの出現確率を減らすか、または、上記の欠陥検出結果に基づいて、ディスプレイスクリーンに欠陥があると確定された場合に、コントローラを介して業務応答装置に命令を送信し、品質の悪いディスプレイスクリーンの流出を低減することができ、例えば、コントローラを介してアームにスナップコマンドを送信し、欠陥のあるディスプレイスクリーンをスナップし出すようすることができる。

例示的に、上記欠陥検出結果に基づいてディスプレイスクリーンに欠陥があると確定された場合に、上記ディスプレイスクリーン画像と上記欠陥検出結果を直接に上記欠陥検出モデルに入力し、上記欠陥検出モデルを最適化することができ、つまり、直接に品質の悪いディスプレイスクリーンに対応するディスプレイスクリーン画像を欠陥検出モデルの入力とし、品質の悪いディスプレイスクリーンの欠陥検出結果を欠陥検出モデルの出力とすることで、当該欠陥検出モデルを最適化し，さらに欠陥検出モデルの検出精度を向上させる。

なお、説明すべきなのは、本願の実施例は、ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定されたときに、検出モデルサーバーが実行可能な動作は上記１つまたは複数の動作に限定されず、実際の状況に応じて確定することができるが、ここでは説明を省略する。

選択的に、ディスプレイスクリーンの生産ラインに配置された画像採取機器、コンソール、サーバーグループ、コントローラ、データベースなど複数の異なる装置に対し、ディスプレイスクリーン品質検査方法に対応する操作ステップを上記複数の異なる機器に分散して実行することもできる。例えば、画像採取機器は、ディスプレイスクリーン画像を採取し、コンソールはロードバランスポリシーに基づいて画像採取機器が採取したディスプレイスクリーン画像をサーバーグループにおける検出モデルサーバーに送信し、検出モデルサーバー上で動作する欠陥検出モデルによってディスプレイスクリーン画像に対してプリセットされたプリトリートメントを行った後、欠陥検出を行なって欠陥検出結果を提供する。検出モデルサーバーは、欠陥検出結果をコントローラに送信し、コントローラが実際のサービスシーンに合わせ、サービス必要に応じて、上記欠陥検出結果に基づいて実際のサービスシーンの要求に合致する応答を行い、例えば、アラームを提供し、ログを記憶し、生産制御命令をコントロールする一方で、コントローラは欠陥検出結果及び上記応答の処理行為をログとして生産データベースに記憶することで、トレーニングモジュールが、生産データベースにおけるディスプレイスクリーン画像と欠陥検出結果に基づいて上記で得られた欠陥検出モデルを更新することができる。当該トレーニングデータベースで保存されたのは生産データベースからフィルタリングされた欠陥のあるディスプレイスクリーン画像と対応する欠陥検出結果などのデータである。

説明すべきなのは、最適化された各欠陥検出モデルは、サービスシーン及び生産段階情報に従い、欠陥検出モデルが動的に一般化される目的を達成するために、サーバー上で動作している欠陥検出モデルをスモールクオンティティーオブフローで徐々に置換することができる。本願の実施例のディスプレイスクリーン品質検査方法は、ディスプレイスクリーン生産ライン上で一定時間実行された後、人力によってデータベース内の情報を介して、上記欠陥検出と欠陥位置確定の正確性を再検査し、上記トレーニングデータベースを更新し、欠陥検出モデルを再トレーニングすることで、欠陥検出精度を向上させることができる。

以下は、本願の装置の実施例であり、本願の方法の実施例を実行するために用いられることができる。本願の装置の実施例において開示されていない具体的な内容については、本願の方法の実施例を参照できる。

図６は、本願の実施例に係るディスプレイスクリーン品質検査装置の実施例の構造図１である。図６に示すように、本願の実施例に係るディスプレイスクリーン品質検査装置は、受信モジュール５１と、処理モジュール５２と、確定モジュール５３とを含むことができる。

そのうち、当該受信モジュール５１は、ディスプレイスクリーン生産ライン上に配置されたコンソールから送信された品質検査要求を受信するためのものであり、品質検査要求には、ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれる。

処理モジュール５２は、ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得るためのものであり、欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものである。

確定モジュール５３は、欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーン上の欠陥、欠陥に対応する欠陥種類、及び欠陥に対応する位置を確定するためのものである。

選択的に、欠陥検出モデルは、ディープコンボリューショナルニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得られたものであり、欠陥検出モデルは、履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、候補領域損失、領域種別損失、領域境界損失の合計損失値がプリセッティング損失閾値を満たす結果である。

そのうち、候補領域損失は、履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、領域種別損失は、選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、領域境界損失は、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間との間の損失を意味する。

選択的に、本願の１つの可能な実施形態において、処理モジュール５２はさらに、ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、ディスプレイスクリーン画像に対して画像プリトリートメントするために用いられる。そのうち、画像プリトリートメントは、トリミング、カッティング、回転、縮小、拡大といった処理のうちの１つまたは複数を含む。

選択的に、本願のもう１つの可能な実施形態において、処理モジュール５２は、具体的にロードバランスポリシーに基づいてプロセッシングリソースを受ける検出モデルサーバーを確定し、ディスプレイスクリーン画像を検出モデルサーバー上で動作する欠陥検出モデルに入力し、欠陥検出結果を得るために用いられる。

選択的に、本願のもう１つの可能な実施形態では、確定モジュール５３はさらに、ディスプレイスクリーンに対応するメーカー、生産環境、及びディスプレイスクリーンの種類を示す生産段階情報及び欠陥検出結果に基づき、ディスプレイスクリーン画像に対応するディスプレイスクリーン品質の良し悪しを確定するために用いられる。

選択的に、本願のもう１つの可能な実施形態では、処理モジュール５２はさらに、確定モジュール５３が、欠陥検出結果に基づいてディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定した後に、ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定された場合に、コントローラを通じて生産管理者にアラーム情報を送信すること、欠陥検出結果をコントローラによりログとして生産データベースに保存すること、コントローラを介してコンソールに生産制御命令を送信し、欠陥を除去すること、ディスプレイスクリーン画像と欠陥検出結果を欠陥検出モデルに入力し、欠陥検出モデルを最適化することのうちの１つまたは複数を実行するために用いられる。

本実施例のディスプレイスクリーン品質検査装置は、図２〜図５に示す方法の実施例の実施形態を実行するために用いられることができ、具体的な実施形態と技術効果は類似するものであるため、ここでは説明を省略する。

図７は、本願の実施例に係るディスプレイスクリーン品質検査装置の実施例の構造図２であり、図７に示すように、当該ディスプレイスクリーン品質検査装置はメモリ６１と少なくとも１つのプロセッサ６２からなる電子機器であってもよい。

メモリ６１は、プログラムコマンドを記憶するために用いられる。

プロセッサ６２は、プログラムコマンドを実行する時、上述図２〜図５に示す方法の実施例に示すディスプレイスクリーン品質検査方法の各ステップを実現するために使用され、具体的な実現原理は上述実施例を参照することができ、ここでは説明を省略する。

当該電子機器はさらに、入力／出力インターフェース６３を含むことができる。

入力／出力インターフェース６３は、単独の出力インターフェースと入力インターフェースとを含んでもよく、入力と出力が統合された統合インターフェースであってもよい。そのうち、出力インターフェースは、データを出力するためのものであり、入力インターフェースは、入力されたデータを取得するためのものであり、上記出力したデータは、上記方法の実施例における出力の総称であり、入力されたデータは、上記方法の実施例における入力の総称である。

本願はまた、コンピュータ上で動作するときに、コンピュータが図２〜図５に示す方法の実施例の方法を実行するようにする命令が記憶された記憶媒体を提供する。

本願はさらに、記憶媒体に記憶されたコンピュータプログラムを含むプログラム製品を提供する。ディスプレイスクリーン品質検査装置の少なくとも１つのプロセッサは、記憶媒体から当該コンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、当該コンピュータプログラムを実行することで、ディスプレイスクリーン品質検査装置に図２〜図５に示す方法の実施例の方法を実行させる。

当業者は、上述した方法の実施例の全てまたは一部のステップを実現するには、プログラム命令に関連するハードウェアによって達成してもよいことを理解することができる。前述のプログラムは、コンピュータ読取可能記憶媒体に記憶されることができる。当該プログラムは、実行される時に、上述した各方法の実施例を含むステップを実行し、上述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなど、各種のプログラムコードを記憶することができる媒体を含む。

以上は、本願の具体的な実施形態であり、本願の保護範囲はこれに制限されなく、本技術領域に詳しいいかなる当業者が、本願で公開された技術範囲内において容易に思い付くすべての変形や置換は、いずれも本願の保護範囲内に包括される。よって、本願の保護範囲は以下の特許請求の範囲を基準とする。

Claims (14)

1. ディスプレイスクリーンの生産ライン上に配置されたコンソールから送信された品質検査要求を受信するステップであって、前記品質検査要求には、前記ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれるステップと、
   前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得るステップであって、前記欠陥検出モデルは、ディープコンボリューションニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーン画像をトレーニングして得たものであるステップと、
   前記の欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥、前述欠陥に対応する欠陥の種類、及び前記欠陥に対応する位置を確定するステップと、を含み、
   前記欠陥検出モデルが、前記履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、前記候補領域損失、前記領域種別損失、前記領域境界損失の合計損失値がプリセットされた損失閾値を満たす結果である、ことを特徴とするディスプレイスクリーン品質検査方法。
2. 前記候補領域損失は、前記履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、
   前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、
   前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を意味することを特徴とする、請求項１に記載のディスプレイスクリーン品質検査方法。
3. 前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、さらに、前記ディスプレイスクリーン画像に対してトリミング、カッティング、回転、縮小、拡大といった処理のうちの１つまたは複数を含む画像プリプロセッシングを行うことを含むことを特徴とする、請求項２に記載のディスプレイスクリーン品質検査方法。
4. 前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得ることは、
   ロードバランスポリシーに基づいてプロセッシングリソースを受ける検出モデルサーバーを確定することと、
   前記ディスプレイスクリーン画像を前記検出モデルサーバー上で動作する前記欠陥検出モデルに入力し、欠陥検出結果を得ることとを含むことを特徴とする、請求項１〜３のいずれか１項に記載のディスプレイスクリーン品質検査方法。
5. 前記方法は、
   前記ディスプレイスクリーンに対応するメーカー、生産環境、及びディスプレイスクリーンの種類を示す生産段階情報及び前記欠陥検出結果に基づいて、前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定することをさらに含むことを特徴とする、請求項１〜３のいずれか１項に記載のディスプレイスクリーン品質検査方法。
6. 前記生産段階情報及び欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定した後、さらに、
   前記ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定された場合、
   コントローラを通じて生産管理者にアラーム情報を送信すること、
   前記欠陥検出結果を前記コントローラによりログとして生産データベースに保存すること、
   前記コントローラを介して前記コンソールに生産制御命令を送信し、欠陥を除去すること、
   前記ディスプレイスクリーン画像と前記欠陥検出結果を前記欠陥検出モデルに入力し、前記欠陥検出モデルを最適化することのうちの１つまたは複数を実行することを含むことを特徴とする、請求項５に記載のディスプレイスクリーン品質検査方法。
7. ディスプレイスクリーンの生産ライン上に配置されたコンソールから送信された品質検査要求を受信し、前記品質検査要求には、前記ディスプレイスクリーン生産ライン上の画像採取機器が採取したディスプレイスクリーン画像が含まれる受信モジュールと、
   前記ディスプレイスクリーン画像をディープコンボリューションニューラルネットワーク構造とオブジェクト検出アルゴリズムを用いて履歴欠陥ディスプレイスクリーンの画像をトレーニングして得られた欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、
   前記欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの欠陥、前記欠陥に対応する欠陥種類、及び前記欠陥に対応する位置を確定するための確定モジュールと、を含み、
   前記欠陥検出モデルが、前記履歴欠陥ディスプレイスクリーン画像の候補領域損失、領域種別損失、領域境界損失に対して組み合わせトレーニングを行い、前記候補領域損失、前記領域種別損失、前記領域境界損失の合計損失値がプリセットされた損失閾値を満たす結果である、ことを特徴とするディスプレイスクリーン品質検査装置。
8. 前記候補領域損失は、前記履歴欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、
   前記領域種別損失は、前記選択された欠陥領域における予測の欠陥種類と実際の欠陥種類との間の損失値を意味し、
   前記領域境界損失は、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失を意味することを特徴とする、請求項７に記載のディスプレイスクリーン品質検査装置。
9. 前記処理モジュールはさらに、前記ディスプレイスクリーン画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、
   前記ディスプレイスクリーン画像に対してトリミング、カッティング、回転、縮小、拡大といった処理のうちの１つまたは複数を含む画像プリプロセッシングを行うために用いられることを特徴とする、請求項７に記載のディスプレイスクリーン品質検査装置。
10. 前記処理モジュールは、具体的に、ロードバランスポリシーに基づいてプロセッシングリソースを受ける検出モデルサーバーを確定し、前記検出モデルサーバー上で動作する前記欠陥検出モデルに前記ディスプレイスクリーン画像を入力して欠陥検出結果を得るために用いられることを特徴とする、請求項７〜９のいずれか１項に記載のディスプレイスクリーン品質検査装置。
11. 前記確定モジュールはさらに、前記ディスプレイスクリーンに対応するメーカー、生産環境、及び前記ディスプレイスクリーンの種類を示す生産段階情報及び前記欠陥検出結果に基づいて、前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定するために用いられることを特徴とする、請求項７〜９のいずれか１項に記載のディスプレイスクリーン品質検査装置。
12. 前記処理モジュールはさらに、前記確定モジュールが前記欠陥検出結果に基づいて前記ディスプレイスクリーン画像に対応するディスプレイスクリーンの品質の良し悪しを確定した後、前記ディスプレイスクリーンが品質の悪いディスプレイスクリーンであると確定した場合、
    コントローラを通じて生産管理者にアラーム情報を送信すること、
    前記欠陥検出結果を前記コントローラによりログとして生産データベースに保存すること、
    前記コントローラを介して前記コンソールに生産制御命令を送信し、欠陥を除去すること、
    前記ディスプレイスクリーン画像と前記欠陥検出結果を前記欠陥検出モデルに入力し、前記欠陥検出モデルを最適化することのうちの１つまたは複数を実行するために用いられることを特徴とする、請求項１１に記載のディスプレイスクリーン品質検査装置。
13. 少なくとも１つのプロセッサとメモリを含む電子機器であって、
    前記メモリはコンピュータ実行命令を記憶し、
    前記少なくとも１つのプロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行することで、請求項１〜６のいずれか１項に記載のディスプレイスクリーン品質検査方法を実行することを特徴とする電子機器。
14. コンピュータ実行命令が記憶された記憶媒体であって、
    前記コンピュータ実行命令がプロセッサによって実行される時、請求項１〜６のいずれか１項に記載のディスプレイスクリーン品質検査方法を実現することを特徴とする記憶媒体。

Images