JP7080266B2

JP7080266B2 - 輸送におけるａｉベースの検査

Info

Publication number: JP7080266B2
Application number: JP2020019668A
Authority: JP
Inventors: マリア・テレザゴンザレスディアズ，; ディパンジャンゴシュ，; アドリアノアランテス，; 美智子吉田; 滋郎橋爪; チェタングプタ，; ファウィスサマソン，
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2019-03-15
Filing date: 2020-02-07
Publication date: 2022-06-03
Anticipated expiration: 2040-02-07
Also published as: EP3709241A1; US11210770B2; US20200294220A1; JP2020149673A

Description

本開示は一般に、輸送検査システムに関し、より詳細には輸送システムにおける人工知能（ＡＩ）ベースの検査の利用に関する。

輸送業界での課題の１つが、資産を良好な状態に維持して、事故及び休止時間を回避することである。潜在的な欠陥を積極的に識別し、有効な保守管理プロセスによってこうした資産の劣化の影響を軽減することが必要不可欠になる場合がある。しかし、機器の適切な検証及び追跡がなされない場合、この保守管理は効果的ではない。

資産の検査を利用して、欠陥を積極的に見つけ出し、また保守管理プロセスを合理化する。検査は、機器の状態を監視し、評価するための１組のタスクを含む。この検査プロセスでは、視覚情報、機器設定、動作条件、各事象、欠陥の識別を容易にするデジタル記録など、様々な要素を適切にデータ収集することが必要である。評価の質は、保守管理計画の効率、修理時間、及びコストに直接の影響を及ぼす。したがって、高い検査品質を実現するためには、最先端のツール及び技法で強化された適切なプロセスが必要である。

輸送業界では、検査はほとんど手作業となり、通常は外観検査を目視で実行して、構造のばらつき、表面の問題、又は他の機能不良症状を識別する、人間のオペレータに頼っている。オペレータは、自らの知識、判定、及び限られた記録を使用して、機器の状況を分析する。したがって、こうした問題の識別は、矛盾したものになり、オペレータの技量及び経験に依存する場合がある。既存の自動化システムは、通常、固定カメラポイント、センサ、又は／及びアドホックなインターフェースを有する計測手段に基づいたツールを使用する。輸送環境の動的な要求条件として、手動検査又は固定された構成では十分でない場合がある。

関連技術の既存の自動化システムは、一般に、カメラ、センサ、又は／及び他のアドホックなインターフェースを有する固定計測手段に基づいたツールを使用する。たとえば、関連技術の輸送プロジェクトでは、カメラポイント及びセンサを備えた、沿道、円弧状、又はスタンドのユニットなど、固定インフラストラクチャを必要としてきた。車両又は列車が、プラットフォームを横切って移動し、関連技術のシステムが、画像、ビデオ、及びセンサの読取り値などの情報を収集する。このような関連技術の実装形態において開発された視覚認識モデルは、特定の構成要素又は欠陥に限定されており、各モデルはマルチタスク処理することができず、すなわち、同じモデル又はシステムは、車両の単一画像を使用して、様々な構成要素でのすべての欠陥を識別することができない。さらに、同じモデルは、車両の単一画像を使用して、様々な構成要素において生じる可能性のあるあらゆる欠陥を位置特定することができない。したがって、関連技術でのこのタイプの検査システムは、あまり拡張性が高くはなく、既定の区域に限定される。

従来の自動視覚分析は、許容できる確度を実現するための高度な調整を必要とする専用の視覚認識モデルを含む。しかし、こうしたモデルは、表面、テクスチャ、又は形状が著しく変化する場合に、良好な性能を実現しない。最近の研究では、品質だけでなく、様々なタイプの欠陥に対する結果の一般化を改善するためのＡＩ手法が探究されてきた。

輸送業界では、関連技術の既存のＡＩ手法は、画像分類技法を使用して欠陥を識別することを主に目的としている。しかし、このような関連技術の実装形態の確度は、分析領域の影響を非常に受ける。たとえば、画像のサイズ又はばらつきと比較して欠陥領域が著しく小さい場合、欠陥の識別は困難である。したがって、この方法は、許容できる品質で様々なタイプの欠陥に一般化するために、大規模なデータセットを必要とする。

製造業界では、金属製品、照明、織物、又は食品の検査を対象とした関連技術の実装形態は、欠陥を検出するだけでなく、こうした欠陥を位置特定する専用のメカニズムを必要としてきた。こうした関連技術の手法は、画像を分析し、ターゲットの物体を位置特定し、次いで欠陥が存在するかどうか識別する。ターゲット画像は特定の物体を含むので、ある１つの位置特定ステップでは、識別確度が既に改善される。しかし、様々な物体及び構成要素を含んでいて分析領域が広い画像では、ある１つの位置特定ステップでは高い品質を達成するのに十分ではない。

最後に、他の領域においては、関連技術の実装形態では、風景画像（広角な視界及び物体の多様性）での（車両及び部品を含む）きめ細かい物体を識別するＡＩを用いる方法が必要とされてきた。しかし、このような関連技術の実装形態は、欠陥識別問題に対処できてこなかった。

したがって、欠陥分析のための関連技術の実装形態は、互いに連携して機能することがない。関連技術のモデルは、車両内の限られた構成要素、又はある特定のタイプの欠陥のみを識別することに限定される。関連技術のモデルでは、各構成要素又は欠陥を識別するために、専用のデータ収集が必要となる。たとえば、自動車の画像が与えられる場合、関連技術のモデルは、タイヤを識別する能力をもつことになる。別の欠陥識別モデルは、欠陥が存在するかどうかを識別するためにのみ、タイヤに限定された別のデータ収集が必要になる。このような関連技術のシステムの結果としては、構成要素並びに欠陥を識別するための各モデルのライブラリを必要とするので、この検査の拡張性は高くないということである。さらに、輸送領域での１つのシステムから得られる知識を、別の領域に移すことはできない。たとえば、へこみに関連する欠陥の知識は、自動車から航空機には移せない。

本明細書に記載の例示的な実装形態は、視覚的な欠陥識別用のシステムを開発することにより、非効率的な手動検査プロセス及び動的環境での欠陥識別の品質の低さに対処する。本明細書に記載の例示的な実装形態の解決策は、検査計画の枠組み及び高度なＡＩベースの分析を統合する。本明細書において提案する例示的な実装形態は、各資産からの、拡張性の高い一貫した様々なデータ収集を容易にする、系統的な検査ガイダンスから恩恵を受ける。視覚分析は、資産の欠陥に関連する一群のデータからトレーニングされた、拡張性の高い３レベルの欠陥識別メカニズムを使用する。本明細書に記載の例示的な実装形態は、許容できる識別性能を実証するだけでなく、複数の輸送資産全体にわたって欠陥を位置特定し、また一般化する。

本開示の各態様は、物体を欠陥分析するための方法を含み、この方法は、複数の異なる物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、複数の異なる物体の複数の区画の画像を用いて機械学習モデルである第２のモデルをトレーニングし、複数の異なる物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、決定済みの視点から物体の複数の画像を取り込むことにより、複数の画像を提示するようにカメラシステムに命令し、第１のモデルを適用して物体の複数の画像を受信し、画像から物体の対象領域を決定することと、第２のモデルを適用して画像上の対象領域に基づいて物体の位置特定済みの区域を識別することと、第３のモデルを適用して画像のうち位置特定済みの画像において欠陥を識別することとを含むことができる。

本開示の各態様は、物体を欠陥分析するための命令を記憶するコンピュータプログラムを含み、このコンピュータプログラムは、複数の異なる物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、複数の異なる物体の複数の区画の画像を用いて機械学習モデルである第２のモデルをトレーニングし、複数の異なる物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、決定済みの視点から物体の複数の画像を取り込むことにより、複数の画像を提示するようにカメラシステムに命令し、物体の複数の画像を受信し、第１のモデルを適用して画像から物体の対象領域を決定することと、第２のモデルを適用して画像上の対象領域に基づいて物体の位置特定済みの区域を識別することと、第３のモデルを適用して画像のうち位置特定済みの画像において欠陥を識別することとを含むことができる。コンピュータプログラムを、持続的なコンピュータ読取り可能な媒体に記憶し、１つ又は複数のプロセッサによって実行することができる。

本開示の各態様は、物体を欠陥分析するように構成された機器を含むことができ、この機器は、複数の異なる物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、複数の異なる物体の複数の区画の画像を用いて機械学習モデルである第２のモデルをトレーニングし、複数の異なる物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、決定済みの視点から物体の複数の画像を取り込むことにより、複数の画像を提示するようにカメラシステムに命令し、物体の複数の画像を受信し、第１のモデルを適用して画像から物体の対象領域を決定し、第２のモデルを適用して画像上の対象領域に基づいて物体の位置特定済みの区域を識別し、第３のモデルを適用して画像のうち位置特定済みの画像において欠陥を識別するように構成されたプロセッサを含む。

例示的な実装形態による、システムの動作フローを示す。例示的な実装形態による、編成サービスによって調整されたデータの収集及び分析のサービスを示す、システムアーキテクチャを示す。例示的な実装形態による、検査計画サービスのプランナ及びコントローラのモジュールを示す。例示的な実装形態による、Ａの記述子及びＢの記述子についての属性の例を示す。図５（ａ）は例示的な実装形態による、タスク計画を示し、図５（ｂ）は例示的な実装形態による、マップ計画を示す。例示的な実装形態による、プランナの例示的なフローを示す。例示的な実装形態による、コントローラの例示的なフローを示す。例示的な実装形態による、モデルビルダー及び欠陥アナライザを含む、検査分析サービスを示す。例示的な実装形態による、画像を有する資産欠陥ライブラリを示す。例示的な実装形態による、欠陥アナライザの例示的なフローを示す。例示的な実装形態による、３レベルの欠陥識別プロセスの例示的なフローを示す。例示的な実装形態による、モデルビルダーモジュールの例を示す。例示的な実装形態による、検査編成装置サービスの一例を示す。例示的な実装形態での使用に適した例示的なコンピュータ装置を備えた、例示的なコンピューティング環境を示す。

以下の詳細な説明は、本出願の各図及び例示的な実装形態の詳細をさらに提示する。各図の間での重複する要素の参照番号及び説明は、明確にするために省略される。説明全体を通して使用される用語は、例として提示されるものであり、限定することを意図するものではない。たとえば「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態に応じて、実装形態のある特定の態様へのユーザ又は管理者の制御を伴う全自動又は半自動の実装形態を含んでもよい。ユーザインターフェース若しくは他の入力手段を用いてユーザが選択を実行することができ、又は所望のアルゴリズムを用いて選択を実装することができる。本明細書に記載の例示的な実装形態は、単独で又は組み合わせて利用することができ、例示的な実装形態の機能は、所望の実装形態による任意の手段を用いて実装することができる。

本明細書に記載の例示的な実装形態は、最先端の技術を分析に統合することによって、高品質の欠陥評価を実現するための検査システムを含む。このシステムは、自動化された外観検査を実装して、人間による資産状態の評価を強化する。このシステムは、関連する資産の画像の自動ガイド付き検査と、識別及び位置特定の技法を使用する、欠陥の高品質分析とを可能にすることによって、既存の自動化システムを強化する。

図１には、例示的な実装形態による、システムの動作フローが示してある。この検査システムは、編成装置によって調整された計画及び分析のサービスに関与する。検査要求１０１に応答して、検査計画１１０のライブラリを管理して、検査タイプ及び資産タイプに基づいて検査ガイドラインを自動的に生成する検査計画サービスを含むガイド付き検査１０２が存在する。この計画には、データ収集を実行するためのタスク、アクション、及び経路が記述されている。ガイド付き検査プロセス中に撮影される画像及びビデオは、検査分析１０３とデータライブラリモデル１２０とに提供される。

検査分析サービス１０３は、資産からの様々な欠陥を自動的に位置特定及び識別するために、３レベルの位置特定メカニズムを用いて資産欠陥ライブラリ１３０を管理する。編成装置は、計画及び分析のサービス全体にわたってシステムフロー及びデータ共有を制御する。検査分析１０３から欠陥が決定されると、実行すべき保守管理を示す推奨システム１０４に、この欠陥が提供される。

検査の動作フローは、図１に示す通り、以下のように進めることができる。

（１）システムは、新規の検査要求１０１を受信し、次いで、検査計画サービス（ＩＰＳ）が、検査計画１１０をロードして、関連する視点を自動的に認識する。この検査計画は、ターゲットの視点、経路、及び実行すべきアクションを含む、資産からのデータ収集を支援する。オペレータは、検査計画を実行し、分析サービスに写真を送信する。このシステムでのオペレータは、人間、人間のグループ、ロボット、ロボットのグループ、又は他の任意のデータ収集装置若しくはデータ収集機器である。

（２）検査分析サービス（ＩＡＳ）１０３は、資産から収集された画像／ビデオをガイド付き検査１０２から受信する。このサービスは、欠陥を検出するだけでなく、欠陥を位置特定する欠陥識別メカニズムを使用する。この識別メカニズムは、対象となる一群の豊富な資産、構成要素、及び欠陥でトレーニングされてきた、モデル１２０からのＡＩベースのモデルを組み合わせる。

（３）欠陥分析が完了すると、このシステムは、追加の画像が分析に必要かどうか判定する。必要に応じて、オペレータは、さらに検査を進めるよう通知され、ガイド付き検査１０２に戻って、新規の検査を実施する。そうでない場合、この分析は完了したとみなされる。

（４）最後に、資産の将来の検査モニタリング、及び／又は保守管理の推奨１０４のために、また、資産、資産欠陥、計画のライブラリ１３０を充実させるために、検査結果がデジタル記録として記憶される。

図２には、例示的な実装形態による、編成サービスによって調整されたデータ収集及び分析サービスを示す、システムアーキテクチャが示してある。検査システムは、これまでのセクションで説明した動作フローを容易にする３つの主要サービスを含む。各構成要素の概要を以下のように説明する。

検査計画サービス（ＩＰＳ）２００は、検査のタイプ、資産のタイプ、又は検出された欠陥に基づいて、オペレータ２０４をガイドするための自動検査計画を容易にする。このサービスは、オペレータ又はロボット２０４によって実行される資産の検査計画を管理し、また検査のタイプ、資産のタイプ、又は重点区域に基づいて、一貫性のある自動で拡張性の高い検査の実行を容易にするための計画のライブラリを含む、検査ライブラリ２０２を管理する。ＩＰＳ２００は、プランナ２０３とコントローラモジュール２０１を統合することによって、ガイド付き検査を調整する。プランナ２０３は、検査を完了しなければならないタスクを有する計画を規定する。コントローラ２０１は、計画に基づいて実行を規定し、オペレータは、必要となるタスクを調整及び実行する。

検査分析サービス（ＩＡＳ）２１０。このサービスは、画像から不要な領域を取り除くことによって偽陽性検出を減らす３レベルの欠陥識別メカニズムに基づいて分析を実行するように構成された、欠陥アナライザモジュール２１３を呼び出すことによって、資産状態の分析を実行する。このアナライザは、欠陥識別のために、ＡＩベースのメカニズムを実行する。このメカニズムは、対象となる階層型領域の識別を実行する。第１のステップでは、識別モデル２１１を使用して、所与の画像に基づいてターゲット資産領域が識別される。続いて第２のステップでは、構成要素領域が、資産領域から識別される。このメカニズムは、画像をターゲット資産領域にまで自動的に低減させ、それに続いて対象となる区域の領域にまで別の低減がされる。対象となる区域とは、構成要素（自動車のタイヤ若しくはバンパ、列車若しくは飛行機のドア）、車両の前端部、車両の後端部、又は車台を含むことができるが、ただしそれだけに限定されないセクションを示す。最後に、このアナライザは、欠陥が存在するかどうか判定する。存在する場合、アナライザ２１３は、それが存在する場所、すなわち、どの資産区域の領域なのかを決定する。ＩＡＳは、モデルビルダーモジュール２１４を使用して、入力トレーニングデータセットとして資産欠陥ライブラリ２１２を使用しながら、欠陥の識別及び位置特定用のモデルを生成する。資産欠陥ライブラリ２１２は、ＡＩ技法に基づく識別及び位置特定モデルを容易にするために、対象となる資産及びその欠陥に関連する画像を含む。

検査編成装置サービス（ＩＯＳ）２２０。このサービスは、検査取得及び分析ワークフローを調整する。この構成要素は、両方の構成要素間でのリアルタイムの通信を容易にし、検査データ（たとえば、画像、結果、及び他の検査データのエンティティ）の記憶、アクセス、及び追跡を扱う。ＩＯＳ２２０は、各サービス間でメッセージを仲介する通知ブローカ、２つのサービス間でのデータフローを管理するデータフローマネージャ２２２、及び検査資産を管理する検査資産ライブラリ２２３を含む。

図３には、例示的な実装形態による、検査計画サービスのプランナ３０２及びコントローラ３０１のモジュールが示してある。検査計画サービス（ＩＰＳ）３００は、対象となる視点（たとえば、自動車の側部、列車のドア、又は飛行機の翼など）として、資産からの画像収集を支援する役割を担う。このサービス３００の主な課題は、寸法、位置、又は区域など様々な特性に基づいて、視点の動的検査計画及びガイダンスを支援することである。

こうした動的な要求条件に対処するために、システムは、検査計画フレームワークを使用して、この要件条件に従って検査実行を自動的に調整し、再構成し、ガイドする。ガイド付き検査は、検査計画のライブラリ３０３によって容易になり、このライブラリは、検査のタイプ、たとえば定期的なのか専用なのか、資産タイプ、たとえばコンパクトカーなのか大型トラックなのか、又は重点区域、たとえばタイヤなのかバンパなのかに基づいて、一貫してオペレータが画像を収集するのを支援する。

コントローラ３０１は、検査計画を識別しなければならない、検査タイプ、資産タイプ、重点区域、メタデータなどのデータ入力を含む新規の検査要求の通知を受信する。検査計画ライブラリ３０３を管理するプランナ３０２は、コントローラ３０１から要求された計画をロードする。コントローラ３０１は、事前にロードされた計画を使用して、実行計画を生成し、それをオペレータ３０４に送信する。オペレータ３０４は、計画を実行し、画像を収集する。最後に、画像は、編成サービス３１０に送信される。

検査プランナ３０２は、自動車、列車、又は飛行機など、対象となる資産の既知のシナリオの検査ライブラリ３０３を構築する。ライブラリ３０３は、検査記述子、タスク計画、及び割当て計画といった、一群の計画である。こうした計画は、検査のタイプ、資産のタイプ、又は重点区域に基づいて、オペレータの自動検査ガイダンスを容易にする。

検査記述子は、対象となる資産をカテゴリとして記述するための、複数の属性を必要とする。たとえば、検査システムは、コンパクトカー用のある記述子、及び大型トラック用の別の記述子を有する。この属性ａ_ｍは、所望の実装形態に従って、車両の寸法、関連する視点（側部、上部、又は下部）、対象となると区域（ドア、タイヤ、又はトランク）、取り込む写真の数などを表す、入力要素を符号化する。

図４には、例示的な実装形態による、Ａの記述子及びＢの記述子についての属性の例が示してある。たとえば、Ａと表される記述子タイプは、前後左右の４つの側面のポイントからのデータ収集を必要とする、コンパクトカーの定期検査を指す（図４の左部分を参照）。別の記述子タイプＢは、４つの視点、すなわち左側の２つの視点と右側の２つの視点の代わりに、６つの側面のポイントからのデータを必要とする、大型トラックの定期検査を指す（図４の右部分を参照）。図４では、記述子Ａは、（太字で強調表示された）寸法属性が記述子Ｂとは異なり、これは、指示された寸法に基づいて、各視点に到達するように様々な距離及び経路に沿ってオペレータが移動する必要があることを意味する。

図５（ａ）及び図５（ｂ）には、例示的な実装形態による、タスク計画及びマップ計画がそれぞれ示してある。図５（ａ）に示すように、タスク計画は、検査Ｉ_ｉを完了しなければならない１組のタスクｔ_Ｋを有する。各タスクは、ターゲットの視点ｖｐ_ｉに到達するための１組のステップである（たとえば、右に移動、まっすぐに移動）。タスクはまた、この視点で実行すべきアクションａｃ_ｉ（たとえば、画像を取り込み、又は送信する）を含む。このシステムは、タスク計画を使用して、図５（ｂ）に示すように要約マップ計画を構築し、このマップ計画は、各視点ｖｐ_ｉに到達するのに必要とされる経路ｐ_Ｋを詳述する。オペレータは、この視点に到達すると、計画に示されたアクションを実行し、たとえば画像を取り込む。

図５（ａ）及び図５（ｂ）の例では、タスク計画は、各視点での画像を取り込むための一連のタスクを記述する。各ステップ及びマップ計画を計算するために、このサービスは、４つの側面の検査区域を仮定する。記述子に基づいて、このサービスは、資産の寸法、ターゲットポイントの数、側面ごとのポイントの数、及び起点を使用して、様々な経路を計算し、それぞれのポイントに到達する。たとえば、図５（ｂ）においては、（資産の各側面に１つの）４つの視点が存在し、このサービスは、起点からｖｐ_１に到達し、ｖｐ_２に移動し、その後ｖｐ_３に移動するなどの経路ｐ_１を計算する。

検査計画サービス３００は、各タスクによってガイドされたデータ取込みを実行し、マップに従って各視点に到達し、アクションを実行することのできるオペレータ３０４に計画を割り当てる。オペレータ３０４は、現在の位置に従って各経路を調整することができ、計画が示すように、視点及びアクションが完了する。

図６には、例示的な実装形態による、プランナの例示的なフローが示してある。プランナモジュール３０２は、システムが実行することのできる検査計画ライブラリ３０３を管理する。このプランナは、記述子、タスク、及び割当て計画の作成及び検索を支援する。新規の検査計画が受信されると、プランナ３０２は、図６に示すように、６０１において検査記述子を定義し、６０２において視点及びアクションを有するタスクを定義する。次いで、このプランナは、６０３においてタスク計画を作成し、これをライブラリ３０３に記憶する。６０４において、プランナ３０２は、利用可能なオペレータ及び機能を定義し、これを使用して、割当て計画６０５を作成し、この計画をライブラリ３０３に記憶する。

図７には、例示的な実装形態による、コントローラの例示的なフローが示してある。コントローラ３０１は、編成装置３１０から検査要求を受信する。この検査要求は検査タイプを含む。コントローラ３０１は、プランナ３０２を呼び出して、７０１及び７０２において、タスク、マップ、及び割当て計画を検索する。タスクを実行する前に、コントローラ３０１は、７０３において、オペレータ３０４用の実行計画を生成する。この実行計画は、以下のステップを含むターゲットマップを確立する。
１．視点に到達するための要約マップ計画を使用する、位置及び経路の計算。
２．各視点に到達するための経路距離の計算。
３．各視点においてアクションを実行するための、カメラ又は照明などの機能／装置の選択。

コントローラ３０１は、この実行計画をオペレータ３０４に提出する。各オペレータ３０４は、割当て済みのステップ及びアクションを実行する。実行が完了すると、コントローラ３０１は、検査ジョブが終了したことを編成装置３１０に通知する。

図８には、例示的な実装形態による、モデルビルダー及び欠陥アナライザを含む、検査分析サービスが示してある。データ取得後の視覚評価の一環として、検査分析サービス８００は欠陥を識別する。欠陥は、所望の実装形態に従って、損傷したドア、へこんだドアなど、既知の又は予想される状況からのターゲット資産の形状、表面、又は位置のずれとして定義される。欠陥領域は、特性及び粒度が異なる場合がある。たとえば、欠陥によっては、異なる形状、すなわちへこみ又は衝突のような表面に、この区域を変換する。他の欠陥によっては、もっぱら亀裂又は割れ目のようなわずかな変化でこの区域を変更する。こうした欠陥の多様性により、画像分類のような単純な識別技法を適用することが難しくなる。したがって、欠陥分析は、この欠陥を識別する前に不要な領域を取り除くための、専用のアルゴリズムを必要とする。

図８に示すように、検査分析サービス８００は、モデルビルダー８０１及び欠陥アナライザ８０２を含む。このモデルビルダー８０１は、編成装置から通知を受信し、資産欠陥ライブラリ８０４を使用して新規のモデルを生成する。欠陥識別モデル８０３は、欠陥分析モジュール８０２からさらに使用するために記憶される。欠陥アナライザ８０２は、画像の分析を実行する要求を編成装置から受信する。欠陥アナライザ８０２は、欠陥識別モデル８０３を使用してその分析を実行する。その結果は、編成装置８１０に送信して戻される。各モジュールのさらなる詳細を、以下に説明する。

図９には、例示的な実装形態による、画像を有する資産欠陥ライブラリが示してある。具体的には、図９には、欠陥の位置特定及び分類の技法に基づいてモデルをトレーニングするのに使用される、画像９０１を有するライブラリ９００の一例が示してある。検査分析サービスは、３つのタイプの収集、すなわち共通の資産収集９１０、専用の資産区域収集９２０、及び資産欠陥画像収集９３０を有するライブラリ９００を含む。

共通の資産収集９１０は、色、構造、表面、及び角度の広範囲にわたるばらつきを有する、自動車、トラック、飛行機などの対象となる資産からの画像の視点を収集する。各画像はまた、資産が位置する区域を示すための座標（ｘ－ｙ）を含む。専用の資産区域収集９２０は、自動車のタイヤ又はバンパ、列車の前端部、又は車両の車台など、対象となる特定の資産区域を収集する。共通の資産収集９１０と同様に、各画像はまた、物体が存在する座標ラベルを含む。資産欠陥収集９３０は、亀裂、傷、孔、又はへこみ、及び色、構造、表面、視点といったそのばらつきなど、欠陥の広範囲にわたる例を有するターゲット資産及び資産構成要素の広範囲にわたるデータセットを収集する。図９に示すように、資産欠陥画像９０１は、それによって、タイヤの欠陥画像から、タイヤの画像、及び自動車の画像まで、画像の段階的な変化を有することができる。

図１０には、例示的な実装形態による、欠陥アナライザの例示的なフローが示してある。欠陥アナライザ８０２は、検査計画サービスによって送信される画像の分析を調整する役割を担うモジュールである。欠陥アナライザ８０２は、各画像をロードし、分析アルゴリズムを呼び出す。このアルゴリズムが、さらに多くの重点区域を分析する必要があると判定した場合、編成装置８１０は、専用のデータ取得を要求するよう通知される。そうでない場合、アナライザ８０２は欠陥結果を送信し、この分析が正常に終了したことを編成装置サービスに通知する。

１０００において、このアナライザは、要求において指定された入力画像をロードする。１００１において、識別メカニズムは、資産欠陥ライブラリでトレーニングされたモデルをロードする。１００２において、ロードされたモデルは、入力画像に欠陥が存在するかどうかについて予測を実行する。１００３において、モデルの結果に基づいて提示された画像に欠陥が存在するかどうかについて判定がなされる。欠陥が存在する場合（はい）、このフローは１００４に進んで、欠陥が位置特定される座標を予測し、欠陥が存在しない場合（いいえ）、このフローは１００５に進む。

１００５において、予測の信頼性レベルが低いことに起因して、さらに多くの写真が必要なるかどうかについてアナライザによって判定される。必要になる場合（はい）、このフローは１００６に進み、重点区域を有する新規の検査要求を作成する。必要でない場合（いいえ）、１００７において、その結果が編成装置に送信される。

例示的な実装形態では、重要な区域を最初に位置特定し、したがって誤った欠陥の結論を避けるために、３レベルの欠陥識別メカニズムを開発することによって、欠陥の多様性及び特性の複雑さに対処する。識別メカニズムは、２段階の位置特定プロセスと、それに続く分類ステップとを含む。このパイプラインは、単純な物体の位置特定又は欠陥分類法に勝る、著しい改善を実証してきた。

図１１には、例示的な実装形態による、３レベルの欠陥識別プロセスの例示的なフロー、並びに結果の例が示してある。３レベルの欠陥識別プロセスは、以下を含む。

資産位置特定１１００は、対象となる資産領域（たとえば、ターゲットの機器区域、自動車、飛行機など）として、資産区域全体を識別する位置特定アルゴリズムである。位置特定アルゴリズムは資産が存在するかどうかを予測し、存在する場合、この方法は、結果に示すように資産が存在する領域Ｒ_１の座標を予測する。この予測は、資産欠陥ライブラリからの事前トレーニング済みモデルを使用して実行される。

対象となる資産領域Ｒ_１が識別された後、欠陥識別での第２のステップは、資産区域位置特定１１０１であり、これは資産区域の領域Ｒ_２の位置特定を含む。この位置特定ステップは、入力画像として領域Ｒ_１を使用する。新規の領域Ｒ_２は、自動車のドア、飛行機の翼、又は列車の前端部側など、特定の区域を表すことが予想される。この位置特定ステップは、対象となる資産区域の領域が存在するかどうかを予測する。存在する場合、このフローは、領域Ｒ_２の座標の予測に進む。

資産区域欠陥分類１１０２は、入力として区域Ｒ_２を使用して、欠陥が存在するかどうかを評価する分類法である。基本となる前提は、Ｒ_２が、既知の形状、構造、位置、又は質感を有する、特定の資産の構成要素又は部分に属することである。分類モデルは、欠陥のある構成要素領域と欠陥のない構成要素領域の特性を学習してきた。したがって、欠陥分類子は、Ｒ_２の違いが欠陥につながるかどうか判定する。

前述の各方法を実行することから、主な３つのタイプの結果が生成される。すなわち、ａ）既存の入力画像が欠陥を有する場合の欠陥、ｂ）欠陥を有する領域Ｒ_２の位置特定、及びｃ）予測の信頼性レベルである。

図１２には、例示的な実装形態による、モデルビルダーモジュールの例が示してある。モデルビルダーモジュールは、資産の入力画像を分析し、起こり得る欠陥を予測するのに必要とされるモデル１２１０を生成する。このビルダーは、資産欠陥ライブラリ１２２０をトレーニングデータセットとして使用して、位置特定及び分類の方法を使用して欠陥の特徴を学習する。利用できる位置特定及び分類の方法の例には、高速な領域ベースの畳み込みネットワーク（Ｒ－ＣＮＮ）及び畳み込みニューラルネットワーク（ＣＮＮ）が含まれる。このモジュールの課題の１つは、複数のタイプの欠陥に一般化する特徴を抽出することである。この課題に対処するために、ビルダーは、以下に説明するような３つの異なるモデルを実装する。

資産位置特定モデル１２１１は、共通の物体の大規模なパブリックデータセットを使用してトレーニングされる。この共通物体収集１２２１には、自動車、飛行機、又は列車からの画像が含まれているので、システムは、トレーニング済みモデルを再使用して、ターゲット資産（たとえば、自動車、飛行機、又は列車）を位置特定することができる。このモデルはまた、前述の通り資産領域Ｒ_１を識別する。

専用の資産区域又は資産モデル１２１２は、対象となる専用の物体１２２２の特徴（たとえば、車両など特定の輸送領域に関連する資産構成要素）を学習し、資産欠陥収集１２２３を生成する。このシステムは、資産の位置特定モデルを拡張して、専用の領域を識別及び位置特定する。この新規のモデルは、前述の通り、Ｒ_２と表される専用の構成要素を位置特定することができる。

欠陥分類モデル１２１３は、欠陥がある場合と欠陥がない場合での構成要素領域Ｒ_２を使用する。特定の視界区域に画像が縮小されているので、この方法は、良好な状態の画像と損傷を示す画像との間のばらつきを高性能に予測できる、関連した特徴を学習するように構成される。

図１３には、例示的な実装形態による、検査編成装置サービスの一例が示してある。検査編成装置１３００は、データの収集及び分析のリアルタイムな統合を容易にする。このサービスは、通知モジュール１３０１を実装していて、各構成要素の全体にわたってメッセージを送信し、検査ワークフローを調整する。さらに、データフローマネージャモジュール１３０２が、データのアクセス及び記憶を処理して、検査、資産、及び結果に関係するデータを管理する。

編成装置は、検査資産ライブラリ１３０３において資産状態の監視を実現する目的で、各構成要素全体にわたって使用及び共有されるデータを管理する。この編成装置は、３つのタイプのデータエンティティを管理することができる。
１．検査情報：検査要求、収集画像、及び状況。フォーマットの例は以下の通りである。

２．分析情報：分析結果、欠陥位置特定、信頼性レベル、及び分析状況。例示的なフォーマットは以下の通りである。

３．資産情報：資産及び資産状態。例は以下の通りである。

図１３でのフローは、以下の手順を含むことができる。検査編成装置１３００によって新規の検査要求が受信されると、通知ブローカ１３０１は、検査計画サービス（たとえば、ロボットカメラシステムを含む実装形態用のロボットデータ取得サービス１３１０）に通知する。この検査計画サービスは、通知ブローカ１３０１に画像を戻す。検査計画サービスによる動作が完了すると、通知ブローカによって分析要求が検査分析サービス１３２０に送信される。次いで、検査編成装置１３００は分析要求を送信し、専用の新規検査に通知を提示することにより、検査分析１３２０が要求した専用の検査の相互作用を調整する。結果、要求、及び画像は、検査資産ライブラリ１３０３に記憶される。

例示的な実装形態は資産の維持管理を対象としているが、任意の輸送システムに拡張することができる。たとえば、車両レンタルシステムにおいては、例示的な実装形態は、レンタルの前後での車両の状態を検査及び追跡することができる。産業機械システムにおいては、例示的な実装形態は、産業機械の状態を検査及び追跡することができる。車両製造システムにおいては、例示的な実装形態は、製造ライン上の車両の状態を検査することができる。車両保険システムにおいては、例示的な実装形態は、事故後の損傷状態を検査及び追跡することができる。政府の規制では、例示的な実装形態は、道路上での政府の規制を満たすため、車両、列車、又は飛行機を検査することができる。このような領域では、検査実施の成熟度が依然として低い。検査は大抵が手動なので、追跡及び検証が最小限に抑えられている。このシステムは外観検査プロセスを自動化し、マネージャが、起こり得る問題の識別を加速し、事業運営を改善するのを支援することができる。

図１４には、例示的な実装形態での使用に適した例示的なコンピュータ装置を備えた、例示的なコンピューティング環境が示してある。コンピューティング環境１４００内のコンピュータ装置１４０５は、１つ又は複数の処理ユニット、コア、すなわちプロセッサ１４１０、メモリ１４１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部記憶装置１４２０（たとえば、磁気記憶装置、光学記憶装置、ソリッドステート記憶装置及び／若しくは有機記憶装置）、並びに／又はＩ／Ｏインターフェース１４２５を含むことができ、これらのいずれも、情報を伝達するための通信メカニズム又はバス１４３０上で結合するか、又はコンピュータ装置１４０５に埋め込むことができる。

コンピュータ装置１４０５は、入力／ユーザインターフェース１４３５及び出力装置／インターフェース１４４０に通信可能なように結合することができる。入力／ユーザインターフェース１４３５と出力装置／インターフェース１４４０のいずれか一方、又はその両方は、有線又は無線のインターフェースとすることができ、取外し可能とすることができる。入力／ユーザインターフェース１４３５は、入力するのに使用することのできる物理的又は仮想的な装置、構成要素、センサ、又はインターフェース（たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソルコントロール、マイクロホン、カメラ、点字、モーションセンサ、光学読取り装置など）を含んでもよい。出力装置／インターフェース１４４０は、表示装置、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実装形態では、入力／ユーザインターフェース１４３５及び出力装置／インターフェース１４４０は、コンピュータ装置１４０５に埋め込むこともでき、又はそれと物理的に結合することもできる。他の例示的な実装形態では、他のコンピュータ装置は、コンピュータ装置１４０５用の入力／ユーザインターフェース１４３５及び出力装置／インターフェース１４４０の各機能の役割を果たしてもよく、又はそうした機能を提供してもよい。タッチスクリーン表示装置、テレビ表示装置、又は他の任意の形式の表示装置を含む例示的な実装形態においては、表示装置は、ユーザインターフェースを提示するように構成される。

コンピュータ装置１４０５の例には、それだけには限定されないが、高度なモバイル装置（たとえば、スマートフォン、車両及び他の機械での装置、人間及び動物が運ぶ装置など）、モバイル装置（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯用テレビ、ラジオなど）、並びに可搬用に設計されていない装置（たとえば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つ又は複数のプロセッサが内部に組み込まれている、且つ／又は結合されているテレビ、ラジオなど）が含まれ得る。

コンピュータ装置１４０５は、同じ又は異なる構成の１つ又は複数のコンピュータ装置を含む、任意の数のネットワーク構成要素、装置、及びシステムと通信するために、外部記憶装置１４４５及びネットワーク１４５０に（たとえば、Ｉ／Ｏインターフェース１４２５を介して）通信可能なように結合することができる。コンピュータ装置１４０５又は接続された任意のコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又は別のラベルの役割を果たし、そのサービスを提供し、又はそう呼ぶことができる。

Ｉ／Ｏインターフェース１４２５は、それだけには限定されないが、コンピューティング環境１４００における少なくともあらゆる接続済みの構成要素、装置、及びネットワークとの間で情報をやり取りするための、任意の通信又はＩ／Ｏの、プロトコル又は規格（たとえばイーサネット（登録商標）、８０２．１１ｘ、ユニバーサル・シリアル・バス、ＷｉＭａｘ、モデム、移動体通信網プロトコルなど）を使用する有線インターフェース及び／又は無線インターフェースを含むことができる。ネットワーク１４５０は、任意のネットワーク又は各ネットワークの組合せ（たとえば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話ネットワーク、移動体通信網、衛星ネットワークなど）とすることができる。

コンピュータ装置１４０５は、一時的な媒体及び非一時的な媒体を含む、コンピュータ使用可能又はコンピュータ読取り可能な媒体を使用することができ、且つ／又はそれを使用して通信することができる。一時的な媒体には、伝送媒体（たとえば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一時的な媒体には、磁気媒体（たとえば、ディスク及びテープ）、光媒体（ＣＤ－ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶装置）、並びに他の不揮発性の記憶装置又はメモリが含まれる。

いくつかの例示的なコンピューティング環境においては、コンピュータ装置１４０５を使用して、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能な命令を実装することができる。コンピュータ実行可能な命令を、一時的な媒体から取り出し、持続的な媒体に記憶し、またそこから取り出すことができる。実行可能命令は、任意のプログラミング、スクリプティング、及び機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ＶｉｓｕａｌＢａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうち１つ又は複数から生成することができる。

メモリ１４１５は、図２に示す検査ライブラリ、検査資産ライブラリ、及びデータライブラリ、並びにプロセッサ１４１０にロードするための、本明細書に記載の各フローを管理するように構成されてもよい。

プロセッサ１４１０は、自然環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット１４６０、アプリケーション・プログラミング・インターフェース（ＡＰＩ）ユニット１４６５、入力ユニット１４７０、出力ユニット１４７５、及び、様々なユニットが互いに、ＯＳと、また他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム１４９５を含む、１つ又は複数のアプリケーションを採用することができる。説明される各ユニット及び各要素は、設計、機能、構成、又は実装形態が異なっていてもよく、提示された説明に限定されるものではない。プロセッサ１４１０は、メモリ１４１５からロードされる命令を実行するように構成された物理的なプロセッサ又は中央処理装置（ＣＰＵ）の形式とすることができる。

例示的な実装形態によっては、情報又は実行命令をＡＰＩユニット１４６５が受信すると、この情報又は実行命令を、１つ又は複数の他のユニット（たとえば、論理ユニット１４６０、入力ユニット１４７０、出力ユニット１４７５）に伝達してもよい。場合によっては、前述のいくつかの例示的は実装形態において、各ユニット間の情報フローを制御し、ＡＰＩユニット１４６５、入力ユニット１４７０、出力ユニット１４７５が提供するサービスを監督するように、論理ユニット１４６０を構成してもよい。たとえば、１つ又は複数のプロセス又は実装のフローは、論理ユニット１４６０単独によって、又はＡＰＩユニット１４６５と連携して制御されてもよい。入力ユニット１４７０は、例示的な実装形態で説明する計算用の入力を取得するように構成されてもよく、出力ユニット１４７５は、例示的な実装形態で説明する計算に基づいて出力するように構成されてもよい。

プロセッサ１４１０は、物体の複数の画像を受信するために、図９～１２に示すように、画像から物体の対象領域を決定するように構成された第１のモデルを適用することと、画像上の対象領域に基づいて物体の位置特定済みの区域を識別するように構成された第２のモデルを適用することと、画像のうち位置特定済みの画像において欠陥を識別するように構成された第３のモデルを適用こととによって、物体の欠陥分析を実行するように構成することができる。図９～１１に示すように、第１のモデルは、資産位置特定１１００など、複数の様々な物体の画像に対してトレーニングされた機械学習モデルとすることができ、第２のモデルは、資産構成要素位置特定１１０１など、複数の様々な物体の様々な区域の画像に対してトレーニングされた機械学習モデルとすることができ、第３のモデルは、資産区域欠陥分類１１０２など、複数の様々な物体の欠陥の画像に対してトレーニングされた機械学習モデルとすることができる。

プロセッサ１４１０は、図５（ａ）、図５（ｂ）、及び図６に示すように、決定済みの視点から物体の複数の画像を取り込むことによって、複数の画像を提示するためにカメラシステムに指示するように構成することができる。所望の実装形態に応じて、各視点は、図３～７に示すように、第１のモデルのトレーニング済みデータに基づいて決定することができる。図５（ａ）及び図５（ｂ）に示すように、プロセッサ１４１０は、タスクリストを用いてカメラシステムに命令するための、決定済みの視点及び命令を含むマップ計画を生成するように構成することができる。このカメラシステムは、所望の実装形態に応じて、物体の画像を手動で撮影する人間が操作するカメラ、又はマップ計画及び命令に従って複数のカメラの位置、向き、及びアクションを制御するように構成されたロボットシステムとすることができる。所望の実装形態によれば、このようなアクションには、それだけには限定されないが、カメラシステムからの画像のタイミング及び送信、利用されるフラッシュの量、取り込まれる画像の数などが含まれ得る。

コンピュータ内の動作のアルゴリズム及び記号的表現の観点から、詳細な説明の一部分を提示する。こうしたアルゴリズムの説明及び記号的表現は、データ処理技術での当業者が使用して、その革新の本質を他の当業者に伝えるための手段である。アルゴリズムとは、所望の最終状態又は最終結果に至る、一連の定義済みステップである。例示的な実装形態では、実行される各ステップでは、目に見える結果を実現するために、具体的な量を物理的に操作することが必要となる。

別段の具体的な言及がない限り、この考察から明らかなように、説明全体を通して、「処理」、「コンピューティング」、「計算」、「判定」、「表示」などの用語を利用する考察では、コンピュータシステム又は他の情報処理装置のアクション及び処理を含むことができ、こうした装置が、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として表されるデータを処理し、コンピュータシステムのメモリ若しくはレジスタ又は他の情報記憶装置、伝送装置若しくは表示装置内の物理的な量として同様に表される他のデータに変換することが理解される。

例示的な実装形態はまた、本明細書における各動作を実行するための機器に関してもよい。この機器は、所望の目的のために特別に構築されてもよく、又は１つ若しくは複数のコンピュータプログラムによって選択的に起動若しくは再構成される、１つ若しくは複数の汎用コンピュータを含んでもよい。このようなコンピュータプログラムは、コンピュータ読取可能な記憶媒体又はコンピュータ読取可能な信号媒体など、コンピュータ読取可能な媒体に記憶されてもよい。コンピュータ読取可能な記憶媒体は、たとえば、光ディスク、磁気ディスク、リードオンリメモリ、ランダムアクセスメモリ、ソリッドステートのデバイス及びドライブ、又は電子情報を保存するのに適した他の任意のタイプの有形又は非一時的な媒体だがそれに限定されない、有形の媒体を含んでもよい。コンピュータ読取可能な信号媒体には、搬送波などの媒体が含まれ得る。本明細書において提示されるアルゴリズム及び表示装置は、特定のコンピュータ又は他の機器に本質的に関連するものではない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む、純粋なソフトウェア実装形態を含むことができる。

本明細書での各例によるプログラム及びモジュールとともに、様々な汎用システムを使用してもよく、又は、さらに専用の機器を構築して、所望の方法ステップを実行することが好都合となると分かる場合がある。さらに、例示的な実装形態は、特定のプログラミング言語を参照して説明されるものではない。様々なプログラミング言語を使用して、本明細書に記載の例示的な実装形態の教示を実装してもよいことが理解されよう。プログラミング言語の命令は、１つ又は複数の処理装置、たとえば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてもよい。

当技術分野で知られているように、前述の各動作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組合せによって実行することができる。例示的な実装形態の様々な態様は、回路及び論理デバイス（ハードウェア）を使用して実装してもよく、プロセッサによって実行されると、本出願の実装形態を実行する方法をこのプロセッサが実行できるようにする、機械読取り可能な媒体（ソフトウェア）に記憶された各命令を使用して、他の態様を実装してもよい。さらに、本出願の例示的な実装形態によっては、ハードウェアのみで実行してもよいものがあるが、例示的な実装形態によっては、ソフトウェアのみで実行してもよいものがある。さらに、説明した様々な機能は、単一のユニットで実行することもでき、又は任意のいくつかの方式でいくつかの構成要素にわたって分散することもできる。こうした方法は、ソフトウェアによって実行されると、コンピュータ読取り可能な媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。必要なら、こうした命令は、圧縮及び／又は暗号化された形式で媒体に記憶することができる。

さらに、本出願の教示の仕様及び実施を考察することによって、本出願の他の実装形態が当業者に明らかとなろう。説明した例示的な実装形態の様々な態様及び／又は構成要素は、単独で又は任意の組合せで使用されてもよい。本明細書及び例示的な実装形態は、単なる例とみなすべきものであり、本出願の真の範囲及び精神は、添付の特許請求の範囲で示してある。

１０１…検査要求１０２…ガイド付き検査１０３…検査分析１０４…推奨システム１１０…検査計画１２０…モデル１３０…ライブラリ２０１…コントローラ２０２…検査ライブラリ２０３…プランナ２０４…オペレータ２１１…識別モデル２１２…資産欠陥ライブラリ２１３…アナライザ２１４…モデルビルダーモジュール２２２…データフローマネージャ２２３…検査資産ライブラリ３００…検査計画サービス３０１…コントローラ３０２…プランナ３０３…ライブラリ３０４…オペレータ３１０…編成装置

Claims

物体を欠陥分析するための方法であって、
複数の異なる前記物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、
複数の異なる前記物体の複数の区域の画像を用いて機械学習モデルである第２のモデルをトレーニングし、
複数の異なる前記物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、
決定済みの視点から前記物体の前記複数の画像を取り込むことにより、前記複数の画像を提示するようにカメラシステムに命令し、
前記物体の複数の画像を受信し、
前記第１のモデルを適用して前記画像から前記物体の対象領域を決定することと、
前記第２のモデルを適用して前記画像上の前記対象領域に基づいて前記物体の位置特定済みの区域を識別することと、
前記第３のモデルを適用して前記画像のうち前記位置特定済みの画像において欠陥を識別することと
を含む、物体を欠陥分析するための方法。
前記第１のモデルのトレーニング済みデータに基づいて前記視点を決定することをさらに含む、請求項１に記載の物体を欠陥分析するための方法。
前記決定済みの視点及び前記カメラシステムに命令するための命令を含むマップ計画を生成することをさらに含む、請求項１に記載の物体を欠陥分析するための方法。
前記カメラシステムが、複数のカメラの位置、向き、及びアクションを制御するように構成されたロボットシステムである、請求項１に記載の物体を欠陥分析するための方法。
物体を欠陥分析するための命令を記憶する、非一時的なコンピュータ読取可能な媒体であって、前記命令が、
複数の異なる前記物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、
複数の異なる前記物体の複数の区域の画像を用いて機械学習モデルである第２のモデルをトレーニングし、
複数の異なる前記物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、
決定済みの視点から前記物体の前記複数の画像を取り込むことにより、前記複数の画像を提示するようにカメラシステムに命令し、
前記物体の複数の画像を受信し、
前記第１のモデルを適用して前記画像から前記物体の対象領域を決定することと、
前記第２のモデルを適用して前記画像上の前記対象領域に基づいて前記物体の位置特定済みの区域を識別することと、
前記第３のモデルを適用して前記画像のうち前記位置特定済みの画像において欠陥を識別することと
を含む、非一時的なコンピュータ読取可能な媒体。
前記第１のモデルのトレーニング済みのデータに基づいて前記視点を決定することをさらに含む、請求項５に記載の非一時的なコンピュータ読取可能な媒体。
前記決定済みの視点及び前記カメラシステムに命令するための命令を含むマップ計画を生成することをさらに含む、請求項５に記載の非一時的なコンピュータ読取可能な媒体。
前記カメラシステムが、複数のカメラの位置、向き、及びアクションを制御するように構成されたロボットシステムである、請求項５に記載の持続的なコンピュータ読取り可能な媒体。
物体を欠陥分析するように構成された機器であって、
複数の異なる前記物体の画像を用いて機械学習モデルである第１のモデルをトレーニングし、
複数の異なる前記物体の複数の区域の画像を用いて機械学習モデルである第２のモデルをトレーニングし、
複数の異なる前記物体の欠陥の画像を用いて機械学習モデルである第３のモデルをトレーニングし、
決定済みの視点から前記物体の前記複数の画像を取り込むことにより、前記複数の画像を提示するようにカメラシステムに命令し、
前記物体の複数の画像を受信し、
前記第１のモデルを適用して前記画像から前記物体の対象領域を決定し、
前記第２のモデルを適用して前記画像上の前記対象領域に基づいて前記物体の位置特定済みの区域を識別し、
前記第３のモデルを適用して前記画像のうち前記位置特定済みの画像において欠陥を識別する
ように構成されたプロセッサを含む、物体を欠陥分析するように構成された機器。