JP7253503B2 - モバイル・デバイス障害状態の検出のためのシステムおよび方法 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１６年４月２８日付の出願に係る発明の名称を「モバイル・デバイス障害状態の検出のためのシステムおよび方法」とする米国仮特許出願第６２／３２９，１５９号に基づく完全な利益および優先権を主張し、２０１７年２月２７日付の出願に係る発明の名称を「デバイスの健全性を監視および追跡するためのシステムおよび方法」とする米国仮特許出願第６２／４６４，３６６号に基づく完全な利益および優先権を主張し、および、２０１７年２月２６日付の出願に係る発明の名称を「ディスプレイの欠陥を検出するためのシステムおよび方法」とする米国仮出願第６２／４６３，７２５号に基づく完全な利益および優先権を主張するところの、２０１７年４月２８日付の出願に係る発明の名称を「モバイル・デバイス障害状態を検出するためのシステムおよび方法」とする米国非仮出願第１５／５８２，４７１号の一部継続出願であって、これらの開示はすべての目的のために参照により本明細書に完全に組み込まれるものとする。

［技術分野］
本発明は、モバイル・デバイスにおける障害状態を検出するシステムおよび方法に関する。より具体的には、本発明は、ひび割れ、傷またはその他の点では損傷のある画面などの障害をモバイル・デバイスが有することを検出するとともに、サード・パーティによって適切な措置が講じられるように、動作しているか否かの当該画面のステータスを報告するシステムおよび方法を提供するものである。

今日におけるモバイル電子機器の利用は広範なものであり、日常生活でかかるデバイスを利用する人が増えている。かかるデバイスの例には、携帯電話、スマート・ウォッチ、携帯情報端末（ＰＤＡ）、デジタル・カメラ、「モノのインターネット」用のインテリジェント・デバイスおよびラップトップ・コンピュータが含まれる。モバイル・デバイスの利用の増加に伴い、かかるデバイスに保険と費用対効果の高い保証とを提供する必要性もまた高まりつつある。重要な点として、スマート・モバイル・デバイスはユーザの生産性と生活の質とを向上させることができるが、水によるダメージ、衝撃によるダメージおよびその他の形態の予期しない使用または誤用などの様々な原因によるダメージを受けやすい。モバイル・デバイスのディスプレイ（本明細書では代替可能に「画面」とも特定される）は、高度な形態のガラスなどのより一層耐久性が高いまたは丈夫な物質で構成されているところ、依然として破壊や破損を起こしやすいことがよく知られている。ユーザのモバイル・デバイスが破損した場合、動作するモデルを入手すべく保証規定に基づく交換または保険による補償が破損したデバイスの所有者によって求められることが多い。

この業界を悩ませている１つの問題は詐欺である。紛失または盗難の疑いのあるモバイル・デバイスに対する不正な請求が行われることに関連する産業が成長してきている。この問題は、デバイスの障害状態が存在する可能性が高い中古モバイル・デバイス市場に対する保険へのニーズの高まりと相まってさらに複雑な様相を呈する。不正請求の結果として毎年無数のドル札が失われている。例えば、モバイル・デバイスのユーザは、デバイスを落としたり誤用したりしてディスプレイ／画面にひび割れが生じると、代替モデルを入手するために当該事故後にサード・パーティの損害保険に申し込むことが考えられる。また、一部の心無い人は、実際にデバイス自体を破損してしまった場合、購入したデバイスが破損した状態で郵送された、と主張することが考えられる。さらに、詐欺的な売り手は、イーベイ（登録商標）などのウェブサイトで顧客に完璧に良い状態の電話を示す写真を提示しておきながら（ディスプレイのひび割れがあるなど）欠陥のあるデバイスを販売することも考えられる。さらに悪いことに、モバイル・デバイスの所有者と、被保険者のデバイスが破損していると主張する「修理」施設との間で共謀が発生することも考えられ、実際には何の欠陥もなかったにもかかわらずデバイスに修理が必要だったと主張して修理施設が保険金を顧客との間で山分けしないとも限らない。

かかる請求の真実性を確認するために採用されている現在のシステムおよび方法は、不正を検出して抑止するうえで特に精緻というわけではなくまた検出および抑止に成功しているわけでもない。なぜなら、現在の方法によっては、第三者がモバイル・デバイスの状態を遠隔で評価して保証または保険の請求が正当なものであるか否かを判定することは困難または不可能であるからである。したがって、従来技術に関連するこれらのおよびその他の問題を克服するシステムおよび方法へのニーズが存在する。さらには、モバイル・デバイスに障害状態が存在する（または存在しない）と判定してかかる情報をサード・パーティ・エンティティに報告することができるシステムおよび方法を提供することへのより一般的なニーズが存在する。

以下の技術的開示は例示的かつ説明的なものにすぎず、特許請求の範囲に記載された発明を必ずしも限定するものではない。

本明細書で使用する「モバイル・デバイス」、「モバイル電子デバイス」、または「デバイス」という用語は、一般に、場所を移動することが可能であり、故障または損傷が生じ得るコンポーネント（ディスプレイ、画面等）を有する電子デバイスを指す。モバイル・デバイスは、ラップトップ・コンピュータ、デスクトップ・コンピュータ、モバイル加入者通信デバイス、携帯電話、スマート・ウォッチ、携帯情報端末（ＰＤＡ）、データ・タブレット、デジタル・カメラ、ビデオ・カメラ、ビデオ・ゲーム・コンソール、メディア・プレーヤー、全地球測位システム（ＧＰＳ）、ユニバーサル・シリアル・バス（ＵＳＢ）キー、モバイル・ウェポン、スマート・ウォッチもしくはジュエリー、組み込み電子機器およびこれらの組み合わせなどのスタンドアロン・デバイスであってもよい。モバイル電子デバイスは、別のシステムまたはデバイスと統合された任意の電子デバイスであってもよい。例えば、ステレオ、全地球測位システム、または車両内に含まれる他の電子機器を本発明とあわせて利用することができる。本発明の方法を実装するソフトウェアは、インターネット、ＳＭＳテキスト・メッセージにより、アプリ配布ストアとの無線通信により、あるいは本発明に係る方法を実行するために任意の他の適切な方法かつ任意の適切な時点で、権限を有するユーザによって随時、間接的または直接的にモバイル・デバイスに（１）インストールされまたは（２）ダウンロードされることができる。例えば、ソフトウェアは、購入後にデバイスにインストールされてもよく、デバイスの購入後、またはさらにはデバイスに損傷が生じるか、もしくはその他の点では故障状態となった後で、ダウンロードされてもよい。モバイル・デバイスは、紛失や盗難に対して保険をかけることができ、本発明のシステムおよび方法は、モバイル・デバイスの保険証券の一部として、またはこれに追加して機能してもよい。

モバイル・デバイス障害状態を検出するシステムおよび方法が提示されるところ、このシステムおよび方法は、モバイル・デバイス上で動作するソフトウェアによって障害状態を検出することを含む。障害状態であると主張されている状態（ひび割れのある画面／ディスプレイ等）をもつモバイル・デバイスを有するユーザは、故障していると主張されている当該モバイル・デバイスにアプリケーション（後述する障害状態テスト・アプリケーション（ＦＳＴＡ）等）をインストールすることを要求されてもよい。ＦＳＴＡは、モバイル・デバイスに障害状態（ひび割れまたは損傷が生じた画面／ディスプレイ等）があるとの主張の真正性を評価するための信頼できる方法を提供する。ＦＳＴＡは、モバイル・デバイスのユーザとやり取りを行って、モバイル・デバイスが実際に故障しているか否かを評価するのに利用されるセンサ測定値およびユーザ入力を取得する。そして、障害／非障害状態の判定は（モバイル・デバイスに対して行われたテストが信頼できる結果を提供するように）セキュアな態様によりサード・パーティ（当該モバイル・デバイスに対して保険の適用を行うことを求められている保険会社等）に対して表示および／または送信することができる。一実施形態においては、モバイル・デバイス内のＦＳＴＡによって送信されるデータは、モバイル・デバイスのユーザによる改ざんやなりすましを防ぐために暗号化され、受信者またはサーバ内で実行されているソフトウェアによって然るべく復号される。モバイル・デバイス内のＦＳＴＡはさらに、モバイル・デバイスのディスプレイまたは筐体などのモバイル・デバイスの少なくとも一部の画像をキャプチャし、キャプチャされた画像の任意選択的な前処理を行い、前処理後の当該キャプチャされた画像をホスト・サーバに送信する際にユーザを支援するように構成され、この前処理後キャプチャ画像に対してホスト・サーバは畳み込みニューラル・ネットワークの利用等によるさらなる分析を行うように構成されており、そして、かかる分析は、モバイル・デバイスから受信した前処理後キャプチャ画像の分析からモバイル・デバイス欠陥を検出および特定する。

別の実施形態においては、モバイル・デバイスのタッチセンサ式ディスプレイに障害状態が存在するかを判定する方法が提供されるところ、この方法は、ディスプレイにタッチするようにユーザに対して指示することと；当該タッチした点を表示されたパターンに従ってドラッグするようにユーザに対して指示することと；塗りつぶされたエリアによってディスプレイを照明してユーザによってタッチされたエリアを確認することと；タッチした点がディスプレイ中をドラッグされる際に当該タッチした点のユーザの接触から測定された複数の圧力値を測定することと；測定された圧力値を所定の基準と比較することによって、当該複数の圧力値から、モバイル・デバイスのディスプレイに障害が発見されるか否かを判定することとを含む。任意の所望の結果が生成され、モバイル・デバイスのメモリに格納され、または、ホスト・サーバへの送信のためにフォーマットされてもよい。テスト結果は、ＦＳＴＡへのユーザ入力から、または、センサの測定値からモバイル・デバイスによって取得された任意の情報、または、タイミング、テストの完了の程度もしくは他のパラメータなどの他のデータを含んでいてもよく、モバイル・デバイス内の少なくとも１つの障害の状態のステータスをさらに含んでいてもよい。本発明の方法は、テスト結果をホスト・サーバに送信する前に当該テスト結果を暗号化することをさらに含んでいてもよい。判定の結果、テスト結果および／または他の情報はサード・パーティに報告されてもよく、サード・パーティは、モバイル・デバイスの所有者、保険代理店、潜在的な買い手、モバイル・デバイスの譲受人、法執行機関および紛失したデバイスの回収エンティティの少なくとも１つを含む。サード・パーティは、任意の適切な技術によって、判定の結果または任意の種類のテスト結果を通知されてもよく、そして、一態様においては、サード・パーティはホスト・サーバにアクセスしてモバイル・デバイス内に障害の状態が存在するか否かを判定し、この障害の状態はモバイル・デバイスからのテスト結果を含んでいてもよい。

また、モバイル・デバイスのタッチセンサ式ディスプレイ内に障害状態が存在するかを判定する方法が提供されるところ、この方法は、複数の領域ディスプレイにタッチするようにユーザに対して指示する工程と、塗りつぶされたエリアによってディスプレイを照明してユーザによってタッチされたエリアを確認する工程と、ユーザが各エリアにそれぞれタッチする際に測定されるモバイル・デバイスからの複数の磁力計測定値を蓄積する工程と、測定された磁力計測定値を所定の基準と比較することによって、モバイル・デバイスのディスプレイに障害が発見されるか否かを、当該複数の磁力計測定値から判定する工程と、を含む。他の実施形態においては、任意の所望の結果が生成され、モバイル・デバイスのメモリに格納され、または、ホスト・サーバへの送信のためにフォーマットされてもよい。テスト結果は、ＦＳＴＡへのユーザ入力から、または、センサの測定値からモバイル・デバイスによって取得された任意の情報、または、タイミング、テストの完了の程度もしくは他のパラメータなどの他のデータを含んでいてもよく、モバイル・デバイス内の少なくとも１つの障害の状態のステータスをさらに含んでいてもよい。本発明の方法は、テスト結果をホスト・サーバに送信する前に当該テスト結果を暗号化することをさらに含んでいてもよい。判定の結果、テスト結果および／または他の情報はサード・パーティに報告されてもよく、サード・パーティは、モバイル・デバイスの所有者、保険代理店、潜在的な買い手、モバイル・デバイスの譲受人、法執行機関および紛失したデバイスの回収エンティティの少なくとも１つを含む。サード・パーティは、任意の適切な技術によって、判定の結果または任意の種類のテスト結果を通知されてもよく、そして、一態様においては、サード・パーティはホスト・サーバにアクセスしてモバイル・デバイス内に障害の状態が存在するか否かを判定し、この障害の状態はモバイル・デバイスからのテスト結果を含んでいてもよい。

本発明の追加的な実施形態は、モバイル・デバイスを備えたシステムを提供するところ、このデバイスは、メモリと通信するプロセッサと、タッチセンサ式ディスプレイおよびデータ入力インタフェースを備えた、当該プロセッサと通信するユーザ・インタフェースと、ホスト・サーバに対して通信インタフェースを提供するように構成された、前記プロセッサと通信する通信モジュールと、を備え、このホスト・サーバはデータベースをさらに備えている。モバイル・デバイスのメモリは、プロセッサによって実行されたときに、モバイル・デバイスに、ディスプレイにタッチするようにユーザに対して指示する工程と、当該タッチした点を表示されたパターンに従ってドラッグするようにユーザに対して指示する工程と、塗りつぶされたエリアによってディスプレイを照明してユーザによってタッチされたエリアを確認する工程と、タッチした点がディスプレイ中をドラッグされる際に当該タッチした点のユーザの接触から測定された複数の圧力値を測定する工程と、測定された圧力値を所定の基準と比較することによって、当該複数の圧力値から、モバイル・デバイスのディスプレイに障害が発見されるか否かを判定する工程と、を実行させる命令を含む。システム実施形態の様々な態様においては、任意の所望の結果が生成され、モバイル・デバイスのメモリに格納され、または、ホスト・サーバへの送信のためにフォーマットされてもよい。テスト結果は、ＦＳＴＡへのユーザ入力から、もしくは、センサの測定値からモバイル・デバイスによって取得された任意の情報、または、タイミング、テストの完了の程度もしくは他のパラメータなどの他のデータを含んでいてもよく、モバイル・デバイス内の少なくとも１つの障害の状態のステータスをさらに含んでいてもよい。本発明の方法は、テスト結果をホスト・サーバに送信する前に当該テスト結果を暗号化することをさらに含んでいてもよい。判定の結果、テスト結果および／または他の情報はサード・パーティに報告されてもよく、サード・パーティは、モバイル・デバイスの所有者、保険代理店、潜在的な買い手、モバイル・デバイスの譲受人、法執行機関および紛失したデバイスの回収エンティティのうちの少なくとも１つを含む。サード・パーティは、任意の適切な技術によって、判定の結果または任意の種類のテスト結果を通知されてもよく、そして、一態様においては、サード・パーティはホスト・サーバにアクセスしてモバイル・デバイス内に障害の状態が存在するか否かを判定し、この障害の状態はモバイル・デバイスからのテスト結果を含んでいてもよい。

また、ホスト・サーバに通信可能に接続されたモバイル・デバイスを備えたシステムが提供される。モバイル・デバイスは、メモリと通信するプロセッサと、タッチセンサ式ディスプレイおよびデータ入力インタフェースを備えた、当該プロセッサと通信するユーザ・インタフェースと、ホスト・サーバに対して通信インタフェースを提供するように構成された、前記プロセッサと通信する通信モジュールと、を備え、このホスト・サーバは、データベースに通信可能に接続されたサーバ・プロセッサと、サーバ通信インタフェースと、サーバ・ユーザ・インタフェースと、サーバ・メモリとを備えている。サーバは、保険代理店、モバイル・デバイスの修理代理店、モバイル・デバイス販売業者、広告代理店、モバイル・デバイスの保証再販業者、モバイル・デバイスの権限を有するユーザおよびこれらの組み合わせなどのサード・パーティによって遠隔でアクセスされてもよい。ホスト・サーバのデータベースは、分析されたモバイル・デバイスにそれぞれ対応する画像の分析に基づく統計値を保持してもよく、また、前述したサード・パーティのいずれかによるさらなる分析またはレビューのためにそれらの統計値を利用可能にしてもよい。

モバイル・デバイスのメモリは、プロセッサによって実行されたときに、モバイル・デバイスに、モバイル・デバイスの表示部がミラーの反射面に対向するようにモバイル・デバイスを配置することをモバイル・デバイスのユーザに対して指示する工程と、最適な画像キャプチャのためにモバイル・デバイスの位置および表示を調整する追跡キャリブレーション機能を行う工程と、モバイル・デバイスの明るさ設定およびカメラ感度設定を変更して画像キャプチャを最適化する工程と、モバイル・デバイスがミラーに対して許容可能な向きに向いていると判定したうえでミラーから反射されたモバイル・デバイスの画像をキャプチャする工程と、欠陥分析のためのサーバへの送信のために当該キャプチャされた画像をフォーマットする工程と、を行わせる命令を含む。

本発明の追跡キャリブレーション機能は任意の所望の態様にて実現されてもよく、モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することと、検索された周囲照明パラメータに基づいてモバイル・デバイスのディスプレイの明るさパラメータを調整することと、分析された周囲照明設定から、モバイル・デバイスのカメラの感度パラメータを調整することと、モバイル・デバイスから得られたカメラ・データから、モバイル・デバイスが最適な配置から外れていると判定することと、をさらに含んでいてもよく、モバイル・デバイスを移動してミラーに対するモバイル・デバイスの最適な配置をユーザが得るための方向が計算され、かつ、この方向が、ミラーにおいてユーザにより判読可能な態様で、モバイル・デバイス上に表示される。

カメラ感度は、ミラー／反射装置に対するモバイル・デバイスの配置を最適化するために調整されてもよく、モバイル・デバイスがミラー／反射装置に対して許容し得る位置にある場合には、キャプチャされた画像の質を最大化するためにさらに調整されてもよい。モバイル・デバイスの異なるオペレーティング・システム（例えばｉＯＳおよびＡＮＤＲＯＩＤ（登録商標）オペレーティング・システム）が、カメラ感度調整を実現する様々な方法を提供し得る。例えば、モバイル・デバイスのカメラの感度パラメータを調整することは、カメラのＩＳＯ設定を調整することおよびカメラのシャッター・スピードを調整することをさらに含んでいてもよい。モバイル・デバイスのカメラの感度パラメータを調整することは、モバイル・デバイスのカメラに関連づけられた露出補正値を調整することをさらに含んでいてもよい。

モバイル・デバイスのディスプレイは、さらなる画像処理においてディスプレイのエッジの判定を支援する画像を表示するように構成されてもよい。例えば、一実施形態は、モバイル・デバイスのディスプレイ上に１つまたは複数の基準マークを表示することと、モバイル・デバイスから取得されたカメラ・データから、基準マークのうちの１つまたは複数を感知することとを提供する。１つまたは複数の基準マークを感知して画像内の基準マークのモーメント、向きおよび配置を判定することにより、モバイル・デバイスの画面上の基準マークの既知の表示と比較されたときに、画像における基準マークの位置の検出からディスプレイのエッジが推論されてもよい。

モバイル・デバイスのカメラおよび／またはセンサからデータを取得することは、任意の所望の態様にて実現されてもよい。例えば、モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することは、モバイル・デバイスにインストールされたオペレーティング・システムに関連づけられたＡＰＩからパラメータを取得することをさらに含んでいてもよい。

モバイル・デバイスのカメラによってキャプチャされた画像は、ディスプレイにおける欠陥を検出するためのさらなる処理に先立って任意の所望の態様にて前処理されてもよい。例えば、キャプチャされた画像をフォーマットすることは、キャプチャされた画像をポートレート・モードに回転させることと、当該画像をトリミングすることとをさらに含んでいてもよい。キャプチャされた画像が取得された際のモバイル・デバイスの向きによっては、回転は必要でない場合もある。さらに、キャプチャされた画像の回転は、キャプチャされた画像をデスキューするために少量だけ実現されてもよい。追加的に、回転および／またはトリミングは好ましくはモバイル・デバイスのプロセッサによって実現されてもよく、あるいは、代替的には、キャプチャされた画像がホスト・サーバに送信されたときにはホスト・サーバのサーバ・プロセッサによって実現されてもよい。

キャプチャされた画像は、回転およびトリミング（行われる場合）などの追加的な前処理によって、ホスト・サーバへの送信のためにフォーマットされることができる。モバイル・デバイスは、ホスト・サーバと通信可能に接続され、例えば無線通信プロトコルによってモバイル・ネットワーク・オペレータと通信可能に接続され、さらにモバイル・ネットワーク・オペレータはインターネットなどのネットワークに接続されており、さらにこのネットワークはホスト・サーバの通信インタフェースと接続されている。代替的には、モバイル・デバイスは、ホスト・サーバとＷｉ－Ｆｉ（登録商標）接続またはＢｌｕｅｔｏｏｔｈ（登録商標）接続などの無線プロトコルによって直接的に通信をしてもよい。いずれにせよ、キャプチャされた画像はモバイル・デバイス、ホスト・サーバ、または両者の組み合わせにおいてさらに処理されてもよい。

前述のとおり、ホスト・サーバは、キャプチャされた画像内で特定可能なモバイル・デバイス欠陥を検出することを促進するために、モバイル・デバイスからのキャプチャされたおよび／または前処理された画像のさらなる処理を行ってもよい。処理は、サーバ・プロセッサ内で、サーバ・プロセッサと接続されたニューラル・ネットワーク内で、または、これらの組み合わせにより完結してもよい。例えば、サーバ・メモリは、サーバ・プロセッサによって実行されると、サーバに、サーバ通信インタフェースからキャプチャされた画像を受信する工程と、キャプチャされた画像から、モバイル・デバイス画面に対応するサブ画像を抽出する工程と、サブ画像の奥行きを矩形のアスペクトに変換する工程と、変換されたサブ画像を所定の入力画像データ設定に再サンプリングする工程と、再サンプリングされた、変換されたサブ画像を事前に訓練されたニューラル・ネットワークに対して提示して１つまたは複数のデバイス欠陥を特定する工程と、モバイル・デバイスの前記画面に対応する欠陥の表示をニューラル・ネットワークから取得する工程と、を行わせる命令を含んでいてもよい。

ニューラル・ネットワークから欠陥の表示を取得することは、事前に訓練されたニューラル・モデルにおける欠陥クラスを活性化させるモバイル・デバイス画面の部分を示す徴候をニューラル・ネットワークから取得することをさらに含んでいてもよい。かかる徴候は、欠陥クラスを活性化させるモバイル・デバイスの部分を囲むような態様で描画される色付き多角形を含んでいてもよい。かかる徴候はまた、当該欠陥クラスと関連づけられている蓋然性が最も高いエリアに対応するヒート・マップを含んでいてもよく、この欠陥の蓋然性はヒート・マップにおける割り当てられた色と相関している。例えば、ヒート・マップにおける赤色は欠陥を含む蓋然性が最も高いエリアを示し、オレンジ色および黄色は蓋然性がより低く、緑色はさらに蓋然性が低く、ライト・ブルーはこれよりもさらに蓋然性が低く、青／黒／透明は欠陥を含むエリアと相関する蓋然性は最も低くなる。分類は、任意の所望の態様にて行われてもよい。例えば、ニューラル・ネットワークから欠陥の表示を取得することは、クラス活性化マッピングを用いて、モバイル・デバイスのディスプレイにおける障害の局所エリアを特定することをさらに含んでいてもよい。

本発明のニューラル・ネットワークは、データが分類のためにネットワークの入力に適用される前に任意の所望の態様にて事前に訓練されていてもよい。関連性を有する分野における当業者は、ニューラル・ネットワークがバックプロパゲーションなどの任意の所望または従来の訓練手法を用いて訓練されてもよいことを理解するであろう。例えば、事前に訓練されたニューラル・ネットワークを訓練することは、サーバ内のデータベースに格納された訓練用データを用いて実現されてもよく、訓練用データは、少なくとも、デバイス画面訓練用画像と、デバイス画面訓練用画像にそれぞれ対応している特定された欠陥とを含む。訓練データベースに格納された特定された欠陥は、モバイル・デバイスのディスプレイ上の欠陥を含む本発明の態様によってまたは実際にはその筐体などモバイル・デバイスの任意の他の態様によって特定可能なモバイル・デバイス欠陥に対応する。これらの検出可能な欠陥は、例えば、モバイル・デバイスのディスプレイのひび割れまたはスクラッチ；モバイル・デバイスの筐体の模様、ひび割れ、欠け、傷または折れ；ベゼルのひび割れ；モバイル・デバイスの筐体の摩耗した部位；モバイル・デバイスのディスプレイ上のスタック・ピクセルまたはデッド・ピクセル；モバイル・デバイスのディスプレイにおけるＬＣＤブリード；モバイル・デバイスのディスプレイにおけるピンク色の欠陥；モバイル・デバイスのディスプレイを遮蔽している物体（ユーザの身体部位、ステッカーまたは他の物品）；対応するモバイル・デバイスについて予想されるアスペクト比に対応していないモバイル・デバイス画面の検出されたアスペクト比；モバイル・デバイスの予想利用プロファイルに対応していないモバイル・デバイスの摩耗パターン；モバイル・デバイスのディスプレイ上の反射；モバイル・デバイスのディスプレイ上の汚れ；モバイル・デバイスについて予想される製造業者に対応していないモバイル・デバイスの画像において発見されたロゴまたはその他の識別子；モバイル・デバイス上のつなぎ目の分離；モバイル・デバイスの欠けているコンポーネント；およびモバイル・デバイスのキャプチャされた画像から判定され得る任意の他のタイプの欠陥を含んでいてもよい。モバイル・デバイスによって検出されることを意図した前述した欠陥はいずれもニューラル・ネットワーク訓練実装形式における欠陥クラスに割り当てられてもよい。

本発明の実施形態がモバイル・デバイスのキャプチャされた画像を提示されると、分析結果が訓練用データを拡張するためにデータベースに格納されてもよく、これによりニューラル・ネットワークの追加的な再訓練がその欠陥検出パフォーマンスを改善することができる。訓練用データはまた、ニューラル・ネットワークが前回欠陥検出に失敗したような場合には、モバイル・デバイスのキャプチャされた画像における欠陥を特定するために手動で修正されてもよい。さらに、訓練用データはまた、ニューラル・ネットワークが前回欠陥が存在すると示したが誤検出の結果、何の欠陥も特定されるべきではなかったような場合には、モバイル・デバイスのキャプチャされた画像を特定するために手動で修正されてもよい。このように、データベースに格納された訓練用データは、モバイル・デバイスのキャプチャされた画像に対応する新たな訓練用画像と、モバイル・デバイスのキャプチャされた画像に関連づけられた対応する特定された欠陥、または実際には欠陥が存在しないにもかかわらず欠陥を含むと誤って特定されたエリアとによって任意の所望の態様にて拡張されてもよい。訓練用データがデータベースにおいてアップデートされると、事前に訓練されたニューラルは、任意の所望の時点でまたは決まったスケジュールで周期的に、あるいは、所定の数の拡張された画像がデータベースに追加された後で、拡張された訓練用データによって再訓練されてもよい。

分類システムは、画像データの任意の所望のピクセル、ボクセルおよび／または色設定にて動作してもよく、例えば、所定の入力画像データ設定は、３２０×５４４ピクセルのピクセル構成を含んでいてもよい。ニューラル・ネットワークは、より詳細に後述するが畳み込みニューラル・ネットワーク（ＣＮＮ）アーキテクチャを含む任意の所望のアーキテクチャを備えていてもよい。さらに、ニューラル・ネットワークは、サーバ・メモリに格納されたソフトウェアによって、サーバ・プロセッサと通信可能に接続された外部ハードウェアによって、あるいは、格納されたソフトウェアと外部ハードウェアとの組み合わせによるなど、任意の所望の態様にて実装されてもよい。外部ハードウェアの非限定的な一例は、専用のニューラルネットワーク・プロセッサまたはニューラル・ネットワーク動作を行うように構成されたＧＰＵ（グラフィックス・プロセッシング・ユニット）を含み得る。

本発明の方法は、モバイル・デバイス、ホスト・サーバ、外部ニューラル・ネットワーク・ハードウェアおよびサーバならびに／またはこれらに通信可能に接続されたプロセッサの全部または一部において実行されてもよい。

本発明のより完全な理解は、以下の例示的な図面に関連して考慮される場合、詳細な説明および特許請求の範囲を参照することにより導出され得る。

本発明の例示的な方法のフローチャートを示す図である。 ユーザに対するインストラクションおよびプロンプトを含むモバイル・デバイスの例示的なディスプレイを示す図である。 ユーザに対するインストラクションおよびプロンプトを含むモバイル・デバイスの別の例示的なディスプレイを示す図である。 正常かつ完全に塗りつぶされた本発明の例示的なモバイル・デバイスのディスプレイの一態様を示す図である。 ディスプレイにおいてひび割れが検出された表示を含む本発明の例示的なモバイル・デバイスのディスプレイを示す図である。 ユーザがテストを終了または続行することを指示されている、本発明のモバイル・デバイスのディスプレイの一実施形態を示す図である。 本発明の好ましい実施形態を記述したフローチャートを示す図である。 本発明のシステム実施形態のブロック図である。 モバイル・デバイスのディスプレイを「塗りつぶす」際にユーザが従うべきプロンプトおよびパターンをもつ、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 部分的に「塗りつぶされた」ディスプレイをもつ、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 一態様においては、ディスプレイが部分的に塗りつぶされた、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 一態様においては、プロンプトがユーザに対して提示されている、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 一態様においては、プロンプトがユーザに対して提示されている、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 じっとして動かないようにする旨のプロンプトがユーザに対して提示されている、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 キャプチャが完了したことを示すプロンプトがユーザに対して提示される、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 デバイス欠陥を特定する画像キャプチャおよび画像分析を説明する本発明の処理フロー図である。 最初にアプリをモバイル・デバイスにインストールせずにデバイス欠陥を特定する画像キャプチャおよび画像分析を説明する本発明の処理フロー図である。 例示的な画像キャプチャ処理のより一層の詳細を提供する、本発明の処理フロー図である。 例示的な画像前処理方法に関するより一層の詳細を提供する、本発明の処理フロー図である。 モバイル・デバイスのディスプレイ上の欠陥のある、モバイル・デバイスの例示的なディスプレイを示す図である。 閾値技術が適用された後の図１９の例示的な画像を示す図である。 図１９におけるキャプチャされた画像の表示部分に対応する、モバイル・デバイスのディスプレイの例示的な透視変換されたサブ画像を示す図である。 図１９のデバイスに対応するディスプレイの多角形に囲まれた欠陥を特定する、本発明の例示的な出力を示す図である。 本発明の畳み込みニューラル・ネットワークへの入力のための例示的なデバイス画像を示す図である。 図２０Ｃに示すデバイス画像に対応する欠陥可能性エリアを特定するヒート・マップ出力を示す図である。 図２０Ｃに示すデバイス画像に対応するディスプレイの多角形に囲まれた欠陥を示す図である。 本発明の畳み込みニューラル・ネットワークへの入力のための例示的なデバイス画像を示す図である。 図２０Ｆに示すデバイス画像に対応する欠陥可能性エリアを特定するヒート・マップ出力を示す図である。 図２０Ｆに示すデバイス画像に対応するディスプレイの多角形に囲まれた欠陥を示す図である。 コーナー基準マーカーを示す、本発明のモバイル・デバイスの例示的なディスプレイを示す図である。 図２１に示すディスプレイの画像のテンプレート一致修正を説明する図である。 モバイル・デバイスに関連づけられたディスプレイのエッジを判定するのに用いられる、図２１における表示画像から取得されたテンプレート一致させたコーナー・マーカーを示す図である。 本発明のシステムに関する１つの畳み込みニューラル・ネットワーク配置構成を記述したデータ・フローのあるブロック図である。 ネットワーク訓練用データからのニューラル・ネットワーク訓練と、訓練されたニューラル・ネットワークを用いて欠陥を特定するネットワーク推論プロセスと、を記述する包括的フロー図である。

図８に示す例示的なシステムは、揮発性メモリ、不揮発性メモリ（フラッシュ・メモリ等）またはこれらの組み合わせを含み得るメモリ８２０に接続されたプロセッサ８１０を備えたモバイル・デバイス８００を備えている。通信モジュール８３０は、ホスト・サーバ８６０などの１つまたは複数のサーバおよび他のエンティティとアンテナ８５０を介して無線通信をするための無線送受信機８４０を備えているが、当業者であれば、無線接続に代わるまたはこれに対する追加的な接続を提供するために有線接続が確立されてもよいことを理解するであろう。モバイル・デバイスはまた、プロセッサ８１０に接続されたユーザ・インタフェース８７０を備えている。モバイル・デバイス８００は、バッテリ（図示せず）などの任意の適切な電源を備えていてもよい。モバイル・デバイス８００は、モバイル・デバイスの位置を特定するための地理位置情報を提供するための全地球測位システム（ＧＰＳ）などの任意の他の所望のコンポーネントを備えていてもよい。モバイル・デバイス８００のコンポーネントの一部または全部が汎用加入者識別モジュールおよび／または取り外し可能なユーザ識別モジュールなどのハードウェア識別モジュール（図示せず）を備え（またはこれらと通信するようにされ）ていてもよい。ハードウェア識別モジュールは、プロセッサ８１０に接続されていてもよく、モバイル・デバイス８００のハードウェアが変更されたか否かを判定するための所定の識別子と比較対照されることができる識別子を備えていてもよい。ハードウェア識別モジュール（および所定の識別子）は、電子シリアル番号、ローカル・エリアＩＤ識別子、集積回路識別子、国際移動加入者識別子、認証キー識別子および／またはオペレータ固有緊急番号識別子などの任意の適切な識別子を含み得る。この識別子は、メモリ８２０に格納され所定の識別子との比較対照のためにホスト・サーバ８６０に送信されてもよい。

本明細書（の全体または部分）において記載されている方法を含むモバイル・デバイス８００の機能は、モバイル・デバイス８００のメモリ８２０に格納されたコンピュータ読取り可能な命令をプロセッサ８１０が実行することによって実装されてもよい。メモリ８２０は、ソフトウェア・アプリケーション、ユーザによってインストールされたまたはサード・パーティによってインストールされた「アプリ」、アプレットおよび組み込みオペレーティング・コードを含む任意のコンピュータ読取り可能な命令およびデータを格納してもよい。

追加的に、ソフトウェア・アプリケーションは、最小限の前提となるハードウェア機能をもって動作するように構成されてもよい。例えば、アプリケーションは、モバイル・デバイスがネットワーク接続を確立する前に開始されてもよい。かかる状況は、例えば、モバイル・デバイス内のＳＩＭカードにソフトウェア・アプリケーションがインストールされている場合に提供されてもよく、アプリケーションはモバイル・デバイス・オペレーティング・システムのその他のソフトウェアよりも前に起動する。代替的にまたは追加的に、リンクまたはＵＲＬ（ユニバーサル・リソース・ロケータ）などのデータ要素がＳＩＭカード上に存在していてもよく、当該ＵＲＬまたはリンクを用いつつブラウザなどのアプリケーションを起動することにより、当該リンクまたはＵＲＬによって参照されるアプリケーションがリモート・サーバからモバイル・デバイスへロードされおよび／または当該リモート・サーバから直接的に実行されてもよい。

本発明のソフトウェア実行方法は、デバイスとともに提供されまたは権限を有するユーザによってモバイル・デバイスにダウンロードされ、および／あるいは、ホスト・サーバ８６０のメモリ１６にさらに常駐しサーバ・プロセッサ１４によって実行可能とされてもよい。モバイル・デバイス８００およびホスト・サーバ８６０の機能はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲートアレイ（ＦＰＧＡ）および／もしくは複雑なプログラマブル・ロジック・デバイス（ＣＰＬＤ）、グラフィックス・プロセッシング・ユニット（ＧＰＵ）ならびにニューラル・ネットワーク処理もしくはシミュレーション回路などの機械可読命令を格納した様々なハードウェア・コンポーネントによって実装されてもよい。本発明の態様に係るシステムは、ソフトウェアおよび／またはハードウェア・コンポーネントの任意の所望の組み合わせとともに動作してもよい。

プロセッサ８１０は、メモリ８２０に格納されている命令を読み出して実行し、モバイル・デバイス８００の動作を制御する。同様に、サーバ・プロセッサ１４は、サーバ・メモリ１６に格納された命令を読み出して実行し、ホスト・サーバ８６０の動作を制御する。集積回路マイクロプロセッサ、マイクロコントローラ、および／またはデジタル信号プロセッサ（ＤＳＰ）などの任意の数およびタイプのプロセッサが、本発明とともに使用され得る。メモリ８２０は、命令、データ、モバイル・デバイス８００から送信された（またはモバイル・デバイス８００によって受信された）メッセージおよび任意の他の適切な情報を格納し、サーバ・メモリ１６は、命令、データ、ホスト・サーバ８６０から送信された（またはホスト・サーバ８６０によって受信された）メッセージおよびその他の適切な情報を同様に格納する。本発明とともに動作するメモリ８２０およびサーバ・メモリ１６は、ハード・ドライブ、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリまたはその他のタイプの揮発性および／または不揮発性メモリなどの異なるメモリ・ストレージ・デバイスの任意の組み合わせを含み得る。データは、メモリ８２０またはサーバ・メモリ１６に任意の所望の方法で格納することができる。

通信インタフェース８３０は、ホスト・サーバ８６０などの１つもしくは複数のサーバまたは他の適切なエンティティと通信する。同様に、ホスト・サーバの通信インタフェース１８は、モバイル・デバイス８００、インターネットなどの一般的なネットワークまたは任意のその他の適切なエンティティと通信するように構成されている。任意の適切な通信デバイス、コンポーネント、システムおよび方法が本発明とともに使用されてもよい。例えば、無線送受信機８４０は、汎用パケット無線サービス（ＧＰＲＳ）、モバイル通信用グローバル・システム（ＧＳＭ）、ＧＳＭ進化型高速データ・レート（ＥＤＧＥ）、パーソナル通信サービス（ＰＣＳ）、高度携帯電話システム（ＡＭＰＳ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、時分割同期ＣＤＭＡ（ＴＤ－ＳＣＤＭＡ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、および／または時分割多元接続（ＴＤＭＡ）などの任意の数およびタイプのセルラ・プロトコルを用いて通信するように構成されてもよい。本発明とともに動作するモバイル・デバイスには、ＩＳＯ１４４４３プロトコル、ＩＳＯ１８０００－６プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、ＺＩＧＢＥＥ（登録商標）プロトコル、Ｗｉｂｒｅｅプロトコル、Ｗｉ－Ｆｉ（登録商標）プロトコル、ＩＥＥＥ８０２．１５プロトコル、ＩＥＥＥ８０２．１１プロトコル、ＩＥＥＥ８０２．１６プロトコル、超広帯域（ＵＷＢ）プロトコル、ＩｒＤＡプロトコルおよびこれらの組み合わせなどの任意の他の無線通信プロトコルの方法を用いて通信するための無線送受信機（および関連するコンポーネント）を代替的に（または追加的に）備えていてもよく、さらに、ホスト・サーバ８６０の通信インタフェース１８は、モバイル・デバイス８００または任意の他のデバイスと通信するためにかかるプロトコルで動作するように構成されてもよい。アンテナ８５０は、任意のフォーマットをもつ任意の無線信号を送信および受信するように構成されてもよく、異なる無線プロトコルを使用して送信および受信する複数の異なるアンテナを備えていてもよい。

通信モジュール８３０は、有線インターネット接続、無線インターネット接続、携帯電話ネットワーク接続（データ・リンク接続を含む）、無線ＬＡＮ接続、無線ＷＡＮ接続、光接続、ＦＩＲＥＷＩＲＥ（登録商標）接続、ＴＨＵＮＤＥＲＢＯＬＴ（登録商標）接続、ＬＩＧＨＴＮＩＮＧ（登録商標）ポート接続、ｅ－ＳＡＴＡ接続、ＵＳＢ接続、モバイル・デバイス同期ポート接続、電源接続および／もしくはセキュリティ・ケーブルなど任意の他の接続形式を使用してサーバ８６０または別のデバイスと通信することができる。通信モジュール８３０は、１つまたは複数のコンパニオン・デバイスと、および、紛失または盗難にあったモバイル・デバイス８００の追跡／位置特定に役立つ任意の数の他のデバイスと通信して、（例えば、モバイル・デバイスとコンパニオン・デバイス間の通信リンクが正常であるか否かを監視することによって）モバイル・デバイス８００の位置またはステータスを監視するために使用することができる。

モバイル・デバイス８００は、ユーザ・インタフェース８７０を備えている。ユーザ・インタフェース８７０は、コマンド、データおよびユーザからの他の適切な入力を受信するための任意の数の入力デバイス（図示せず）およびモバイル・デバイス８００からのデータ、通知およびその他の適切な情報をユーザに提供するための任意の数の出力デバイス（図示せず）を備えていてもよい。同様に、ホスト・サーバ８６０はユーザ・インタフェース１５を備えており、コマンド、データおよびユーザまたはサード・パーティからの他の適切な入力を受信するための任意の数の入力デバイス（図示せず）と、ホスト・サーバ８６０からのデータ、通知、およびその他の適切な情報をユーザ／サード・パーティに提供するための任意の数の出力デバイス（図示せず）とを備えていてもよい。

ユーザが命令およびデータをモバイル・デバイス８００およびホスト・サーバ８６０に入力することができるように、タッチ・パッド、タッチ画面、マウス／トラックボール／トラックパッド、マイクロフォンおよび／または英数字キーパッドなどの任意の数の入力デバイスがユーザ・インタフェース８７０，１５に備えられていてもよい。本出願の目的のための用語「タッチ画面」は、いつユーザがディスプレイに近接する場所への物理的接続を適用するかを判定することができるタッチ・インタフェースと一体化されているかこれと近接されているディスプレイを含み得る。タッチ画面は、ユーザのインタラクションからパラメータを測定できるセンサを有していてもよく、かかるセンサは、画面への「タッチ」の移動に起因する静電容量、抵抗、圧力または差分の測定値を測定してもよい。ユーザ・インタフェース８７０は、現在のユーザがデバイスを使用する権限を有するか否かを判定するために、ユーザが（ディスプレイに仮想的に実装されているかまたはキー・スイッチの物理的な配列としての）キーパッドのキーに及ぼす圧力と、複数のキー押下の時間間隔とを検出するように構成されてもよい。ユーザ・インタフェース８７０はまた、ユーザが音声データをモバイル・デバイス８００に提供することを可能にするマイクロフォンを備えていてもよく、また、モバイル・デバイスが静止画像または動画像をキャプチャすることを可能とする１つまたは複数のカメラを備えていてもよい。同様に、ホスト・サーバ８６０のユーザ・インタフェース１５は、ユーザが音声データをホスト・サーバ８６０に提供することを可能にするマイクロフォンを備えていてもよく、また、サーバ８６０が静止画像または動画像をキャプチャすることを可能とする１つまたは複数のカメラを備えていてもよい。一実施形態においては、モバイル・デバイス８００は、デバイスの動作中にユーザに対向する前面カメラ８７４と、モバイル・デバイスの反対側に設けられた背面カメラ８７２とを備えている。モバイル・デバイス８００は、ユーザ・インタフェース８７０を介した音声入力を処理するための音声認識ソフトウェアを備えていてもよい。ユーザ・インタフェース８７０および同様にサーバ・ユーザ・インタフェース１５はまた、情報（映像およびテキストなど）を視覚的に表示するための表示画面および／または聴覚出力を提供するためのスピーカーなどの任意の数の適切な出力デバイスを備えていてもよい。モバイル・デバイスのディスプレイは、静電容量センシング、圧力センシング、ゲル変位センシング、抵抗センシングなど当業者によって利用される任意の適切なまたは従来のタッチ送信技術などの任意の適切な手段によってユーザによるタッチを感知するように構成されていてもよい。モバイル・デバイス８００は、単語、フレーズ、トーン、録音された音楽または任意の他のタイプの聴覚出力をスピーカーを介してユーザに提供するように構成されていてもよい。前述のとおり、ユーザ・インタフェース８７０は、権限をもたないユーザがモバイル・デバイス８００を使用しようと試みたときに情報を提供し、および／または、モバイル・デバイス８００の動作を妨げたりするためにアクティブにすることができる。例えば、ディスプレイの照明レベルはモバイル・デバイスへ注意を喚起するために変化させてもよく、不快なおよび／またはうるさい音をスピーカーで再生することができる。

モバイル・デバイス８００は、指紋スキャナー、虹彩スキャナー、網膜スキャナー、および／または呼気分析器などの生体情報を受信するように構成された１つまたは複数の生体認証デバイスを備えていてもよい。マイクロフォンやカメラなどの入力デバイスを使用して、音声分析や顔認識などの生体分析を実行してもよい。さらに、モバイル・デバイスは、磁場を測定するための磁力計（電子コンパスで使用される類のもの）、姿勢を測定するためのＭＥＭＳまたは他のタイプのジャイロスコープ、およびモバイル・デバイスの動きの変化を測定するための加速度計を備えていてもよい。

ユーザ・インタフェース８７０，１５によって提供または受信される情報は、任意の適切な形式の情報とされてもよい。例えば、聴覚形式で情報をユーザに伝達するユーザ・インタフェースは、ユーザに対して最初にデータ・ヘッダーを提供し、これに続いてデータを識別するためのデータ値を提供してもよい。ユーザ・インタフェース８７０，１５は、情報が聴覚的にまたは視覚的に提供されるか否かに関わらず、任意の数の所望の言語で情報を提供してもよい。

ユーザ・インタフェース８７０，１５はまた、機械読取り可能な形式でユーザに情報を提供し、受信してもよい。本発明の例示的な一実施形態においては、例えば、モバイル・デバイス８００のユーザ・インタフェース８７０は、デュアルトーン・マルチ周波数（ＤＴＭＦ）トーンを使用してメッセージを送受信してもよい。モバイル・デバイス８００およびホスト・サーバ８６０は、任意の標準フォーマット（ＭＳワード文書、ＡｄｏｂｅＰＤＦファイル、ＡＳＣＩＩテキスト・ファイル、ＪＰＥＧまたはその他の標準フォーマットなど）および他の独自フォーマットの機械読取り可能データを送信、受信および処理するように構成することができる。意図しない受信者および／または不適切な使用からデータを保護するために、ユーザ・インタフェース８３０，１５との間の機械読取り可能データを暗号化してもよい。代替的な実施形態においては、ユーザはモバイル・デバイス８００の機能の一部または全部の使用を可能にするためにパスコードを入力する必要がある。人間であるまたは人間でないユーザが本発明とともに動作している１つまたは複数のデバイスとやり取りをすることができるように、任意の他のユーザ・インタフェース機能が利用されてもよい。

モバイル・デバイス８００は、任意の他の適切な機能、コンポーネントおよび／またはシステムを備えていてもよい。例えば、モバイル・デバイス８００は、カメラやマイクロフォンなどのそのコンポーネントの一部または全部をオフにすることで、そのバッテリの寿命を保つように構成されてもよい。コンポーネントは、セキュリティ侵害イベントに応じて、および権限を有するユーザまたはセキュリティ機関からのコマンドに応じて、選択的にシャットダウンすることができる。代替的には、例えば、権限をもたないユーザに対してはモバイル・デバイス８００の有用性を制限するために、モバイル・デバイス８００は、そのコンポーネントを過度に使用してバッテリをできるだけ早く消耗させるように構成することもできる。

モバイル・デバイス８００は、データを保護したり、アクセスを制限したり、またはその他の所望のセキュリティ機能を提供したりするための１つまたは複数のセキュリティ対策を実装するように構成されてもよい。例えば、モバイル・デバイス８００は、送信されたデータおよび／またはデバイス自体に格納もしくはそれによって作成されたデータを暗号化してもよい。かかるセキュリティ対策は、ハードウェア、ソフトウェアまたはこれらの組み合わせを使用して実装されてもよい。公開鍵／秘密鍵暗号化システム、データ・スクランブル手法、ハードウェアおよびソフトウェア・ファイアウォール、耐タンパー性または対タンパー性のメモリ・ストレージ・デバイスまたはデータを保護するための任意の他の方法または技術など、データ暗号化またはデータ保護のあらゆる方法を本発明とともに利用してもよい。同様に、パスワード、生体認証、アクセス・カードもしくはその他のハードウェア、または任意のその他のシステム、デバイスおよび／もしくは方法を用いて、本発明とともに動作する任意のデバイスへのアクセスを制限するようにしてもよい。

ホスト・サーバ８６０は、モバイル・デバイス８００を監視して不正使用から保護するとともにセキュリティ侵害イベントまたは不正行為の試みに関連する損害を軽減するために、モバイル・デバイス８００、権限を有するユーザ、権限のないユーザ、セキュリティ機関（特に保険代理店）およびその他のエンティティと通信する。ホスト・サーバ８６０は、任意の数の個別のコンピュータ・システム、プロセッサおよびメモリ・ストレージ・デバイスならびに人間のオペレータ（例えば、モバイル・デバイスの紛失／盗難を報告する、権限を有するユーザからの呼び出しに応答するため）および任意の他の適切なエンティティを含み得る。ホスト・サーバ８６０は、モバイル・デバイス８００を監視および追跡し、セキュリティ侵害イベントが発生した場合にはモバイル・デバイス８００に命令を提供するために、権限を有するユーザおよびモバイル・デバイス８００に関する情報を格納する１つまたは複数のデータベース８８０を備えていてもよく、あるいはこれと通信するようにしてもよい。

例えば、データベース８８０はモバイル・デバイスの利用プロファイルを格納して、ホスト・サーバ８６０のソフトウェアが、モバイル・デバイスの継続利用が所定の閾値に従い利用プロファイルから逸脱するか否か、またはモバイル・デバイス８００内で障害状態につながる紛失イベントをモバイル・デバイスが発生させたか否かを検出できるようにしてもよい。ホスト・サーバ８６０は、モバイル・デバイス８００から情報を受信し、処理し、および（例えば、データベース８８０に）格納してもよい。ホスト・サーバ８６０は、前述のように、モバイル・デバイス８００の位置と場所を追跡するために、モバイル・デバイスによってキャプチャされた環境パラメータを受信および処理するなど、目的を達成するため任意のタイプのデータを任意のフォーマットで扱うようにしてもよい。データベース８８０はまた、モバイル・デバイス８００が有効な場所で動作しているか否かを判定するために使用することができる場所情報（例えば、前述の「ホワイトリスト」および「ブラックリスト」）を格納してもよい。データベース８８０はまた、ニューラル・ネットワーク訓練用データを格納してもよく、その場合にはモバイル・デバイスにおける欠陥の例示的な画像が特定された欠陥クラス、出力または状態としかるべく対応付けられる。ニューラル・ネットワーク訓練用データは、デバイスの欠陥の認識の精度を向上させるために、拡張されあるいはその他の点では修正されてもよい。さらに、データベース８８０は、モバイル・デバイス８００に関連する識別情報と動作履歴情報とともに、モバイル・デバイス８００の健全性および動作の分析の結果を格納してもよい。このようにして、モバイル・デバイスの動作分析は、サーバ８６０によって経時的に追跡および分析されてもよく、モバイル・デバイス８００の少なくとも１つのコンポーネントの継続中の故障を示すトレンドが特定される。

ホスト・サーバ８６０と通信するデータベース８８０はまた、モバイル・デバイス８００が紛失または盗難された場合、またはモバイル・デバイス８００上のデータが（例えば、ウイルスまたはその他の悪意のあるプログラムによって）破壊された場合、リカバリのためモバイル・デバイス８００からのアーカイブ・データを格納してもよい。ホスト・サーバ８６０の機能は、１つまたは複数のコンピュータ・システム上で動作するソフトウェア／ハードウェアを介して、および／または、１人または複数人の人間のオペレータなどによって、自動的または半自動的に実行されてもよい。

ホスト・サーバ８６０は、ホスト・サーバ８６０の動作を（少なくとも部分的に）制御するために、メモリ１６に格納されたコンピュータ読取り可能な命令を検索して実行する１つまたは複数のシステム・プロセッサ１４を備えていてもよい。任意の数およびタイプの従来のコンピュータ、コンピュータ・システム、コンピュータ・ネットワーク、コンピュータ・ワークステーション、ミニコンピュータ、メインフレーム・コンピュータまたは集積回路マイクロプロセッサもしくはマイクロコントローラ等のコンピュータ・プロセッサが、本発明とともに用いられることができる。本発明の態様に従って使用されるコンピュータ・システムには、オペレーティング・システム４３（例えば、ＷＩＮＤＯＷＳ（登録商標）ＮＴ／９５／９８／２０００／ＸＰ／Ｖｉｓｔａ／７／８／１０、ＯＳ２、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＳＯＬＡＲＩＳ（登録商標）、ＭａｃＯＳ（登録商標）等）ならびに典型的にコンピュータに関連づけられている様々な従来のサポートソフトウェアおよびドライバが含まれ得る。ある実施形態においては、専用アプリケーションが、本発明の方法を実行するためにシステム・プロセッサによって完全にもしくは部分的に提供または実行されてもよい。

ニューラル・ネットワーク４７は、畳み込みニューラル・ネットワーク（ＣＮＮ）アーキテクチャを含んでもよく、また、メモリ・デバイス１６に格納されたソフトウェアによって、サーバ・プロセッサ１４に接続された外部ハードウェア（ハードウェア・アクセラレータまたはグラフィックス・プロセッシング・ユニット（ＧＰＵ）等）を介して、あるいは、格納されたソフトウェアと外部ハードウェアとの組み合わせによって、実装されてもよい。

ホスト・サーバ８６０は、インターネット上のウェブサイトを介しておよび／または電話ネットワークを介してなど任意の所望の方法でアクセスされてもよい。ホスト・サーバ８６０は、任意の数の人間のオペレータ、コンピュータ・システム、携帯電話、モバイル・コンピューティング・デバイス、対話型音声応答（ＩＶＲ）システムならびにユーザ、セキュリティ機関、コンピューティング・デバイスまたは他のエンティティと通信をするための任意の他の適切なシステムおよびデバイスを含み得る。ホスト・サーバ８６０は、紛失または盗難されたモバイル・デバイスの権限のないユーザと、モバイル・デバイスにインストールされた障害状態テスト・アプリケーション（あるいは本明細書に用いられる「ＦＳＴＡ」）との直接的な通信を含め、モバイル・デバイスを介してまたは他の通信方法を介してのいずれにおいても通信をすることができる。ホスト・サーバ８６０は、当該権限のないユーザに対して、モバイル・デバイスが紛失または盗難されていることを通知し、リカバリ情報（配送先住所等）を当該権限のないユーザに提供し、テスト結果および損害請求情報をサード・パーティである保険会社に転送し、保険金請求の開始を容易にしてもよい。ホスト・サーバ８６０はまた、モバイル・デバイス８００と通信して、ソフトウェア・アップデートを提供し、アーカイブ用のデータを受信し、保護すべきファイルや他のデータを特定し、本発明の任意のその他の態様を実行する。

ホスト・サーバ８６０は、権限を有するユーザ、電気通信サービス・プロバイダー、モバイル・デバイス監視／追跡サービス・プロバイダー、セキュリティ機関、保険代理店、モバイル・デバイスの修理代理店、モバイル・デバイス販売業者、広告代理店、モバイル・デバイスの保証再販業者、モバイル・デバイスの権限を有するユーザおよび／またはその他の所望のエンティティなどの任意のサード・パーティによって（ローカルまたは遠隔で）制御されるか、これとともに動作してもよい。例えば、権限を有するユーザおよびセキュリティ機関は、ホスト・サーバ８６０と通信するか、ホスト・サーバ８６０を介して通信し、モバイル・デバイス８００にインストールされた障害状態テストアプリケーション（ＦＳＴＡ）とやり取りして、デバイスが保険金請求の対象となり得るような障害を発生させたことを確認してもよい。ホスト・サーバ８６０は、紛失／盗難されたモバイル・デバイス８００をどのように返却すべきかについての通知を提供し、セキュリティ侵害イベントを検出し、モバイル・デバイスで障害状態が発生したことを検出し、および、モバイル・デバイスの機能が変更されるべきか否かを判定し、ならびに（もしそうであれば）、モバイル・デバイス８００の機能を変更する方法を決定するように構成されていてもよい。ホスト・サーバ８６０は、他の任意の所望のシステム、デバイス、人間のオペレータまたは他のエンティティとともに動作してもよい。

ＦＳＴＡは、テストされたモバイル・デバイスから情報を収集してサード・パーティに中継するか、デバイス・テストの結果とともにサーバ８６０のメモリ１６に格納（４５）してもよい。デバイス・データ４５は、モバイル・デバイス４６の１つまたは複数の画像に一意に紐づけられ、サーバ・プロセッサ１４によって分析されてもよい。デバイス画像データは、ｊｐｅｇ、ＴＩＦＦ、ＧＩＦ、ＥＰＳ、ＰＮＧ、ＰＤＦ、スケーラブル・ベクター・グラフィックス、ビットマップまたは任意の他の従来または非従来の画像データ形式を含むがこれらに限るものではない任意のフォーマットで格納されてもよい。デバイス・データ４５および対応するデバイス画像４６はまた、データベース８８０に格納されてもよい。デバイス・タイプ、製造業者、モデル番号、シリアル番号、製造日、ハードウェア構成リスト、メモリ容量、ソフトウェア・マニフェスト、動作可能な機能のリスト、動作不能な機能のリスト、電子シリアル番号、ＥＳＮ、ＩＭＥＩ番号、国際モバイル機器識別子番号、ＩＭＳＩ番号、国際モバイル加入者ＩＤ番号、ＵＩＭＩＤ番号、およびユーザＩＤモジュール識別子、テスト結果、障害状態など、サード・パーティに中継される情報は任意の適切なデータを含み得る。ＳＩＭカードを利用するモバイル・デバイス（携帯電話で一般的に使用される交換可能な加入者識別モジュール等）が、格納されたデバイス設定パラメータの少なくとも１つが当該デバイスのＳＩＭ内にＩＭＳＩ番号を含むことを判定する際に、本発明の実施形態とあわせてさらに用いられることができる。

本発明の追加的な実施形態においては、障害状態（ひび割れが生じた画面／ディスプレイ等）の疑いのあるモバイル・デバイスを有するユーザは、当該故障の疑いのあるモバイル・デバイスにアプリケーション（先に言及したところの障害状態テスト・アプリケーション等）をインストールすることを要求されるようにしてもよい。ＦＳＴＡは当該主張されているモバイル・デバイス上の障害状態（ひび割れが生じたまたは破損した画面／ディスプレイ等）の真正性を評価するための信頼できる方法を提供する。ＦＳＴＡは、モバイル・デバイスのユーザとやり取りを行ってモバイル・デバイスが本当に故障しているのか否かを評価するのに利用されるセンサ測定値およびユーザ入力を取得する。そして、障害状態／非障害状態の判定は、表示されおよび／または（モバイル・デバイスに対して行われたテストが信頼できる結果を提供することができるように）セキュアな態様にてサード・パーティ（モバイル・デバイスに対して保険の適用を求められている保険会社等）に送信されることができる。一実施形態においては、モバイル・デバイス内のＦＳＴＡによって送信されたデータは、モバイル・デバイスのユーザによる改ざんやなりすましを防ぐために暗号化され、受信者またはサーバ８６０内で実行されているソフトウェアによって然るべく復号される。

モバイル・デバイスをテストする本発明の実施形態はまた、壊れたガラスについてモバイル・デバイスをテストすることよりもさらに幅広い目的を有する。例えば、画面が完全に塗りつぶされる（この点については以下においてより完全な形で述べるものとする）際にデジタイザ全体がテストされることができるであろう。さらに、暗くなったディスプレイ／画面が、ポイント・テスト（例えば、センサは動作しているがＬＣＤが壊れている可能性がある）によってテストされることも考えられる。同様に、ユーザからの入力が正確であることを検証するために、一実装形式においては、通常の塗りつぶしモードでは、ユーザはテストをごまかすために画面全体を塗りつぶそうと試みるかもしれないものの、ユーザはテストを完了するポイントを見ることはできないようにすることも考えられる。また、色をテストすることも考えられる。例えば、ユーザは２つの表示された緑色を押し、さらに２つの赤色を押し、最後に２つの青色を押す（一例として）ことを指示されることも考えられる。さらに、ミラーにおける、または第２のデバイスによってのいずれかである撮影されたモバイル・デバイスの画像の分析は、畳み込みニューラル・ネットワークなどのニューラル・ネットワークによるなどして、障害の等級を視覚的に判定するために分析され得るキャプチャされた画像データを提供してもよい。このようにして様々な欠陥が検出されてもよく、例えば、モバイル・デバイスのディスプレイのひび割れ、傷；モバイル・デバイスの筐体の模様、ひび割れ、欠け、傷または折れ；ベゼルのひび割れ；モバイル・デバイスの筐体の摩耗した部位；モバイル・デバイスのディスプレイ上のスタック・ピクセルまたはデッド・ピクセル；モバイル・デバイスのディスプレイにおけるＬＣＤブリード；モバイル・デバイスのディスプレイにおけるピンク色の欠陥；モバイル・デバイスのディスプレイを遮蔽している物体（ユーザの身体部位、ステッカーまたは他の物品等）；対応するモバイル・デバイスのタイプについて予想されるアスペクト比に対応していないモバイル・デバイス画面の検出されたアスペクト比；モバイル・デバイスの予想利用プロファイルに対応していないモバイル・デバイスの摩耗パターン；モバイル・デバイスのディスプレイ上の反射；モバイル・デバイスのディスプレイ上の汚れ；モバイル・デバイスについて予想される製造業者に対応していないモバイル・デバイスの画像において発見されたロゴまたはその他の識別子；モバイル・デバイス上のつなぎ目の分離；モバイル・デバイスの欠けているコンポーネント；およびモバイル・デバイスのキャプチャされた画像から判定され得る任意の他のタイプの欠陥等を含む欠陥が検出されてもよい。

さらに、一実施形態においては、モバイル・デバイスを販売する会社が、デバイスのオーナーに新モデルを提供することができるように、現役のデバイスが障害状態（ひび割れが生じたディスプレイ等）を引き起こしたか否かを直ちに知りたいことがある。このことは、とりわけ、モバイル・ネットワーク・オペレータ（ＭＮＯ）が、契約上義務付けられた期間にわたってサービスプランの月額料金の支払いによって減額される販売用デバイスを提供するような場合に関連する可能性がある、なんとなれば、ＭＮＯは役務提供契約を更新し延長することができることから利益があり、他方、デバイスの製造業者も故障したものと交換するために新デバイスを販売できることから利益がある。本発明の実施形態の追加的なまたは代替的なシステム実装形式は、以下を包含する。
－ モバイル・デバイス保険：本発明の実施形態は、中古モバイル・デバイス保険市場における電話の状態の検証を提供するとともに、モバイル・デバイス・ハードウェアの証明可能な状態／機能（例えば、ひびの入っていない画面についてはモバイル・デバイスに対して完全な保険を適用するが、画面にひびが入っているがその他の点では機能しているデバイスはガラス破損を除いてデバイスを保険対象としてもよい）に関連する選択型保険または変額保険条項をサポートする能力を提供する。同様に、本発明の実施形態は、（例えば、ＩＭＥＩ情報などのモバイル・デバイスＩＤ情報またはテストの一部として本明細書に記載されている他のデータの送信により）点検されている電話が、保険がかけられた電話である旨の検証を提供する。さらに、本発明の実施形態は、虚偽の請求を減らすために、画面の修理のために返却される前にモバイル・デバイスが補償対象の正しいデバイスであることを特定する際に用いられてもよい。かかる事態は、例えば、修理会社が壊れたデバイスを実は修理せずその代わりに支払われた保険金を電話に保険をかけた人物と詐欺的に山分けするような場合に、保険をかけたデバイスについて生じ得る。
－ モバイル・デバイスの譲渡：本発明の実施形態は、テストされた電話が占有／所有権の移転において実際に引き渡されたものであることを検証するために利用されてもよい。
－ リース返却状態の検証：本発明の態様は、リース返却の条件の判定を提供する（例えば、リースされたモバイル・デバイスがリース終了時に返却されなければならない場合、または、モバイル・デバイスの状態が所定の合意された状態（すなわち、リース返却時にはディスプレイはひびが入っていてはいけない）を下回る場合、カスタマーは超過した摩耗／破損について追加料金を支払わなければならない）。
－ 購入／出荷状態の検証：ＦＳＴＡは、販売業者が完全に信頼されない場合、デバイスをオンラインで（例えば、イーベイ（登録商標）で）購入するカスタマーによる検証に用いることも考えられる。また、ＦＳＴＡは、損傷の現在のレベル、すなわち、ディスプレイにひびが入っているとしてどの程度であるのか、を突き止めるために用いられることも考えられる（様々な実施形態において、カスタマーまたは会社が、分かっている画面状態が許容可能でない程度にまではひどく損傷を受けていないのであれば追加的な料金を支払うであろう、と予想される）。追加的に、本発明の実施形態は、モバイル・デバイスが発送されたときに許容可能な状態にあったという倉庫による証明を提供する。ある人物が別のソースから中古モバイル・デバイスを購入するような状況においてＦＳＴＡが検証者として用いられる場合、買い手は売り手に対して、信頼できる画面検証者アプリをインストールすることを要求してもよく、買い手のＥメールアドレスまたはＳＭＳナンバーをＦＳＴＡに入力して確認を行い、ＦＳＴＡがテストを実行して結果を買い手に送信し、これにより、中古デバイスが既知の障害（ひび割れが生じた画面等）をもたないことを検証する。さらに、これは、デバイスが期待どおりに動作していることを出荷前に検証したい売り手によっても望まれ得るであろうから、売り手は故障したデバイスを受領者に送付したと非難されることがない。
－ 法的地位の判定：本発明の態様は、モバイル・デバイスが紛失／盗難／未払い料金の対象になっていないことを確認する際に、サード・パーティ（または警察データベース）との協力をサポートしてもよい。

本明細書において提供されるいくつかの実施形態には、提示されるいくつかのシステムベースの使用シナリオとともに、圧力センサによるテスト、磁力計によるテストまたはピクセルによるテストを実行するＦＳＴＡを含む、障害状態評価を実行するためのものがある。ＦＳＴＡテストの各タイプが個別にひび割れを判定することができるように設計されている一方、精度の向上等の任意の目的のために、様々なタイプのひび割れ検出手法が適宜組み合わせられてもよい。好ましい実施形態においては、ＦＳＴＡはモバイル・デバイスにインストールされてモバイル・デバイス内で常駐して実行されるが、当業者であれば、ＯＴＡ（オーバー・ジ・エアー）アプリケーション、Ｗｅｂサイトを介して展開され接続されたモバイル・デバイスにサイドロードされる、店内のハードウェア（例えばラズベリーパイ（登録商標））または専用の店内デバイスを介してロードされる、または、モールや店舗の自動販売機からロードして実行される、など、他の態様でＦＳＴＡが実行されてもよいことを理解するであろう。さらに、ＦＳＴＡおよびシステム実装の実施形態の全部または一部は、保険、デバイス下取りまたはモバイル・デバイス診断のオンライン見積りを提供するエンティティが利用するアプリのライブラリに備えられてもよい。

圧力センサによるテスト：圧力センサを備えたモバイル・デバイスにおいては、ＦＳＴＡは、モバイル・デバイスのディスプレイへのタッチから圧力センサの測定値を取得するように構成されている。画面の特定のエリアにタッチする、画面の複数のエリアに同時にタッチする、または画面の複数のエリアにわたってタッチをドラッグする（または任意の他の所望の組み合わせ）ようにユーザに対して指示をすることにより、ＦＳＴＡはタッチから圧力測定値のコレクションを取得して、ディスプレイ／画面にひびが入っているか否かを判定することができる。典型的にはユーザの指による押下が「タッチ」を発生させるが、当業者であれば、本発明の実施形態においては、ディスプレイに対して「タッチ」を実行する際に、指に加えてまたは指に代えて任意の身体の部分または機械式スタイラスが用いられてもよいことを理解するであろう。

図１に示す好ましい一実施形態においては、ユーザが（ＦＳＴＡアプリがまだインストールされていなかった場合にはＦＳＴＡアプリをインストール（１０５）したうえで）ＦＳＴＡアプリを実行し（１１０）、ユーザは、最も適切な圧力測定値を取得するうえで所望されるところに従い最初に左の指、次に右の指で、または最初に右の指、次に左の指で、またはおおむね同時に両指で、のいずれかにより、２本の指でディスプレイにタッチするようにＦＳＴＡによって指示される（１１５）。ＦＳＴＡは各タッチゾーンの圧力測定値を検出し、ＦＳＴＡが各エリアにおいて十分な測定圧力でのタッチを検出するとＦＳＴＡはディスプレイにイルミネーション１２５を表示し、２本の指を画面を横切るようにドラッグさせて画面を「塗りつぶす」ようにユーザに対して指示する（１２０）ことによりテストは続行される。ユーザは、（ＦＳＴＡが画面のすべてのエリアが適切なドラッグ・タッチを受け付けたことを検出した後）画面全体がＦＳＴＡアプリにより「塗りつぶされる」まで両指を任意の方向に単純にドラッグするように、または好ましくは、２本の指によるタッチによって画面を「塗りつぶす」際に特定のパスに従うように指示されてもよい。図２は例示的なディスプレイ２００を示し、プロンプト２０５と、ユーザがディスプレイ２００を「塗りつぶす」際に従うべきパターン２１０とが示されている。蛇行パターンが示されているが、モバイル・デバイスのタイプ、圧力センサの構成またはその他の要因に応じて代替的なパターンが用いられてもよい。図３は、指によるタッチのパターン２１０とディスプレイ２００を埋めるカラー３１０とを含む部分的に「塗りつぶされた」ディスプレイ２００とを示し、ここでは２本指タッチ３１５がパターン２１０に従ったものとして示されている。図４は、正常かつ完全に塗りつぶされたディスプレイ２００の一態様を示し、パターン・プロンプト２１０の全エリアが覆われている状態が示されている。本明細書に示す実施形態は、終了の基準として、完全に塗りつぶされたディスプレイを示しているが、様々な実施形態は、ディスプレイの単なる一部分を塗りつぶす可能性、ディスプレイのどの部分も塗りつぶさない可能性、あるいは障害状態（例えばひび割れ）が検出されたらディスプレイの全体を塗りつぶすまたは覆うことなく直ちにテストを停止する可能性も想定する。

代替的にまたは組み合わせて、ＦＳＴＡはゲームのような態様でプロンプトを提示し、ユーザに対して、例えば、指をドラッグして１つの表示されたオブジェクトを別のオブジェクトへ向かって移動させるように指示し（例えば、ウサギの画像をニンジンへ向けて移動させる、または子供のパズルのような迷路を誰かが通ることを助ける、または、複数のブロックを押しながらスライドさせ正しい順番に並べて絵を完成させる）またはディスプレイ中を移動させたアイテムを「キャプチャ」して、それにより画面の所望のセクションをタッチするようにユーザに対して指示してもよい。代替的にまたは組み合わせて、３本または４本の指をディスプレイ上にかなり大きく離して配置し、指示された場所に向かって一緒にドラッグするなど、２本を超える本数の指がディスプレイで同時的に用いられてもよい。

ＦＳＴＡは、テストを完了する際にユーザの進捗状況を監視し、必要であれば、ユーザに対してテストを完了または終了するように指示する（１３０）。テストが完了すると、ＦＳＴＡは蓄積された圧力データを分析して、ディスプレイ２００にひび割れが存在する可能性があると判定するために所定の閾値が満たされたことを示すタッチ圧力の測定値の変化などの異常を判定しようと試みる。一実施形態においては、タッチされたエリアのうちの１つの圧力測定値が所定の閾値を超えて下落した場合、ひび割れなどのディプレイ異常が存在すると判定されてもよい。様々な実施形態においては、所定の下落閾値は５％、１０％、または５０％を含み得る）。他の実施形態においては、１つの指によるタッチからの圧力がその前回までの値の所定量を下回る程度に下落した場合、ディスプレイにおける不連続が発生している可能性が高い（一例として、所定量はその平均測定値の１０％または５０％とされてもよい）。さらなる別の実施形態においては、複数の指によるタッチどうしの圧力測定値の差は経時的に比較され、圧力測定値どうしの差が所定の差分閾値を超えて変動する場合、ディスプレイにおいてひび割れが存在すると判定されてもよい。さらなる別の実施形態においては、複数の指によるタッチのうち少なくとも１つにおける圧力測定値の下落とそれに続く上昇は、ディスプレイにおけるひび割れの存在を示唆することが考えられる。さらなる実施形態においては、複数の指によるタッチのうち少なくとも１つにおける圧力測定値の上昇とそれに続く下落がディスプレイにおけるひび割れの存在を示唆することも考えられる。

分析が完了した後で、適切なテスト結果が表示されおよび／または、中央サーバ８６０および／または保険代理店、モバイル・ネットワーク・オペレータ、モバイル・デバイスの製造業者またはモバイル・デバイスの障害状態が重要である任意のエンティティなどのサード・パーティに（任意選択的には、モバイル・デバイスＩＤ情報および蓄積されたテスト・データとともに）送信される（１３５）。一実施形態においては、図５は、ディスプレイにひび割れが検出された表示５１０を示す。図６は、ユーザがテストを終了または継続するように指示されている（６１０）一実施形態を示す。

前述のとおり、ユーザが前述したような動作を指示されている間に、ＦＳＴＡはタッチ（またはスワイプ／ドラッグ）されたゾーンの各々の圧力データを経時的に蓄積および格納する。そのようにする際、ＦＳＴＡは、所定の方法を用いて、モバイル・デバイスのディスプレイに１つまたは複数のひび割れが存在することを示唆する可能性のある累積圧力測定値の異常を分析することができる。例えば、感圧ディスプレイ（特定のｉＰｈｏｎｅ（登録商標）モデル等）を備えたモバイル・デバイスの場合、ＦＳＴＡは、指パッドが画面の不連続部（ひび割れなど）を通過したときに、顕著な圧力低下異常を記録および特定してもよい。そして、ＦＳＴＡは適切なアクションを実行してユーザにステータスを報告するか、代替的には、前述のように外部エンティティにステータスを報告してもよい。

磁力計によるテスト。別の実施形態においては、モバイル・デバイス８００は、磁力計測定値を蓄積するためにＦＳＴＡによってアクセスされ得る磁力計を備えており、モバイル・デバイスのユーザによる指示されたタッチとともに、ＦＳＴＡは、ユーザが画面のあるエリアを押した際に磁力計によって感知される圧力変化に起因する画面のひび割れなどの障害状態を検出してもよい。典型的にはユーザの指による押下が「タッチ」を発生させるが、当業者であれば、本発明の実施形態においては、ディスプレイに対して「タッチ」を実行する際に、指に加えてまたは指に代えて任意の身体の部分または機械式スタイラスが用いられてもよいことを理解するであろう。

図７に示す好ましい一実施形態においては、ユーザが（ＦＳＴＡアプリがまだインストールされていなかった場合にはＦＳＴＡアプリをインストール７０５したうえで）ＦＳＴＡアプリを実行し（７１０）、ユーザは、ＦＳＴＡによって指示される（７２０）ところに従い、個別の指によるタッチから埋められる必要があるであろうユーザに提示されたパターン（図９の９１５も参照されたい）に従ってディスプレイ２００にタッチする（図９の９１０も参照されたい）ようにＦＳＴＡによって指示される（７１５）。本実施形態においては、ＦＳＴＡは、ユーザによって各指示されたエリア９１５が押されるたびに磁力計の測定値を測定および蓄積し、十分な圧力が加えられると、ディスプレイ２００の各エリアは「塗りつぶされ」（７２５）てユーザ・フィードバックが提供される（図１０、部分的に塗りつぶされたセクション１０１０、およびパターン１０１５の塗りつぶされていない部分を参照されたい）。ディスプレイの塗りつぶしの間、ＦＳＴＡは各タッチゾーン７２５の磁力計の測定値を検出および蓄積し、ディスプレイ２００の所定量が塗りつぶされるまでテストが進行する。様々な実施形態においては、実質的にすべての画面は「塗りつぶされ」る必要がある。代替的な実施形態においては、画面エリアのサブセットを塗りつぶす必要があり、そして、追加的な実施形態においては、ひび割れが検出されたことが磁力計の測定値によって示唆されるまでテストが続行されるだけである。

図９は、例示的なディスプレイ２００を示し、プロンプト９０５およびユーザがディスプレイ２００を「塗りつぶす」際に従うべきパターン９１０が示されている。図１０は、部分的に「塗りつぶされた」ディスプレイ２００を示し、残りの指によるタッチ・エリアが完成されるべきことを示すパターン９１０と、ディスプレイ２００を埋めるべきカラー１００５とが示されており、ここでは指によるタッチが十分な圧力があるものとして登録されている。図１１は、部分的に塗りつぶされた（１１０５）ディスプレイ２００の一態様を示し、定義されたグリッドエリア９１０の塗りつぶしを完了させたか否かをユーザに質問するプロンプト１１１５が示されている。図１２は、ユーザが塗りつぶしを完了した旨のオプションを選択した場合に、および、定義された９１０が必要なエリアを塗りつぶしが十分に完了されなかった場合（部分的に１２０５に示す）、もう一度やり直すか、または定義されたグリッドエリアをタッチすることを終了してもよい旨のプロンプト１２１５がユーザに対して提示されることを示している。図１３はさらに、ディスプレイ２００上に提示される情報１３１５の一実施形態を示し、ひび割れが検出されたことを示している。

本明細書に示す実施形態は、終了基準として完全に塗りつぶされたディスプレイを示しているが、磁力計の読取りアプローチを利用する様々な実施形態は、ディスプレイの一部のみを塗りつぶす可能性、ディスプレイの一部を塗りつぶさない可能性、あるいは、障害状態（例えばひび割れ）が検出されるとディスプレイ全体を塗りつぶすことなくまたは覆うことなく直ちにテストを停止する可能性も想定するものである。また、本明細書の様々な実施形態においては、ひび割れ状態が検出されると、モバイル・デバイスは、（独自の前方カメラを用いて）ミラーにおけるデバイスの写真を撮影してモバイル・デバイスのディスプレイにおけるひび割れの状態を記録するようにユーザに対して指示するように構成されてもよい。

代替的にまたは組み合わせて、ＦＳＴＡは、ゲームのような態様でプロンプトを提示してもよく、ユーザに対して、例えば、画面の様々なセクションを押してゲームの目的を達成するように、あるいは、ディスプレイ中を移動するアイテムを「壁で囲む」ように指示してもよく、これにより、ユーザに対して、画面の所望のセクションをタッチするように指示してもよい。代替的には、磁力計による測定に係る実施形態は、ひび割れがディスプレイに存在するか否かを判定するテストの精度を向上しまたはテストの実施期間を短縮すべく、上述した圧力センサ手法と組み合わせて用いられてもよい。

図７に戻り、ＦＳＴＡはテストの完了についてユーザの進捗状況を監視し、必要であれば、ユーザ７３０に対してテストを完了または終了するように指示する。テストが完了すると、磁力計データの分析（７３５）が実施されてディスプレイにひび割れが存在する可能性が高いか否かが判定され、そして、適切なテスト結果が表示されならびに／または中央サーバ８６０および／もしくは保険代理店、モバイル・ネットワーク・オペレータ、モバイル・デバイスの製造業者もしくはモバイル・デバイスの障害状態が重要である任意のエンティティなどのサード・パーティに送信される（７３５）。

ユーザが前述のように指示された押下を行っている間、ＦＳＴＡは定義されたタッチ・エリア（グリッド９１０等）のタッチゾーンごとに磁力計データを経時的に蓄積して格納する。そうすることで、ＦＳＴＡは、所定の方法を用いてモバイル・デバイスのディスプレイに１つまたは複数のひび割れが存在することを示唆し得る累積磁力計測定値の異常を分析することができる。例えば、２つ以上の蓄積された磁力計の測定値の間の事前定義されたパーセンテージ（例えば、５％、１０％または５０％）を超える磁力計の測定値の偏差または変化は、ディスプレイにひび割れが存在することを示唆し得る。そして、ＦＳＴＡは適切なアクションを実行して、ユーザにステータスを報告するか、代替的には上記のごとく外部エンティティにステータスを報告してもよい。

ピクセルテスト。一実施形態においては、ユーザは、モバイル・デバイスのアプリケーションとやり取りを行うことによってモバイル・デバイスの画面のひび割れが存在することをインタラクティブに検証して、１つまたは複数のピクセルが正しく発光していないことを示す。ユーザが正しい情報を提供していることを検証するために、アプリケーションは、デバイスの状態を正しく評価するためにポジティブなレスポンスだけでなくネガティブなレスポンスを要求する情報を提供してもよい。例えば、一実施形態においては、画面は複数領域に分割されまたはモザイクにされることが考えられる。そして、アプリケーションは、各画面セクションを（必要であれば異なる色で）で照明することも考えられる。また、各セクションにおいて均一に発光するピクセルを示さないいずれかのセクションを押下するようにユーザに要求することも考えられる。そして、不均一に発光するピクセルを有するとユーザによって示されたエリアは、より小さい領域にモザイク状にされることも考えられる。そして、インタラクションは疑わしい領域が十分に小さなサイズで特定されるまで繰り返される。そして、アプリケーションは、「緑色のピクセルが表示されるか注意してください。」などのプロンプトを提供することができ、それにより、ユーザがそれを見たときにユーザがクリックするように要求することができる。所定の期間が経過しても押下が発生しない場合、当該エリアは機能していないと推定される。さらに、ユーザの入力の真正性を判定するために、画面の「既知の良好な」エリア（モザイク化テストの間にユーザがアクティブでありかつ機能していると先に示したもの）に１つのピクセルを提示させることができ、仮にユーザがピクセルを肯定的に見た旨のレスポンス・パッドを押さない場合には、ユーザの入力は疑わしいと判断されることができる。このプロセスは、ユーザの入力の真正性を判定するために反復的に用いられてよいだけでなく、画面の任意の機能していないエリアの範囲を精度よく提示するために用いられることも考えられる。本実施形態は、ユーザが発光したピクセルを見た旨のレスポンスをどこで提供したかが判定される既知の良好なエリアと、発光が見られなかったエリアとの「エッジ」を判定することができるようにすることによってこれを可能にする。何らかの故障エリアが画面上のランダムな（または若干ずらした）場所をもってする追加的なピクセルテストによって「移動する」か否かを判定するための追加的なピクセル検証が実施されることができ、これにより、ディスプレイのエリアが故障しているというユーザの主張の真正性（例えば、ひび割れがより大きくなるかもしれないのにひび割れが「動き」をみせない）を評価することができる。

このように、ひび割れのあるエリア、スタック・ピクセルもしくはデッド・ピクセルまたは故障しているディスプレイ・インタフェースが提示されることができ、モバイル・デバイスの修理／交換の費用を評価するためもしくは保険請求の可否を判定するためまたは任意の他の所望の目的のために用いられることができる。追加的な一実施形態においては、ＦＳＴＡをインストールしたうえで第２のモバイル・デバイスが利用され、当該ＦＳＴＡは第１の疑義のあるモバイル・デバイスにインストールされたＦＳＴＡと同期され（Ｂｌｕｅｔｏｏｔｈ（登録商標）ペアリングによる等）ている。このシナリオにおいては、第２のモバイル・デバイスのカメラが、疑義のあるモバイル・デバイスにおいて表示を試みられたピクセル（および／または領域）が視認可能であるか否かを評価するために疑義のあるモバイル・デバイスのディスプレイの写真または映像をキャプチャするために用いられる。このため、画面の完全テストが自動化されることができ、ユーザが必要な（および正確な）入力を提供することに依存することなく、故障しているまたは故障していない画面／ディスプレイのエリアに関して迅速な判定がなされる。

ニューラル・ネットワークによるデバイスの欠陥の検出

本出願の実施形態は、モバイル・デバイスからのキャプチャされた画像、映像および／または音声ファイルを分析して欠陥を特定するために、および、欠陥種別のさらなる分析を支援するためのヒート・マップなどの分析情報を提供するために、畳み込みニューラル・ネットワーク（ＣＮＮ）アーキテクチャを利用する。関連性を有する分野における当業者であれば、本発明の態様を実装するために多くの異なるＣＮＮアーキテクチャが利用されてもよいことを理解するであろう。１つの例示的なＣＮＮアーキテクチャは、Ｔｅｎｓｏｒｆｌｏｗ（登録商標）で実装されるＩｎｃｅｐｔｉｏｎモデルによって実現されてもよく、解説的な例は、例えば、ｈｔｔｐｓ：／／ｗｗｗ．ｔｅｎｓｏｒｆｌｏｗ．ｏｒｇ／ｔｕｔｏｒｉａｌｓ／ｉｍａｇｅ＿ｒｅｃｏｇｎｉｔｉｏｎにおいて開示されており、その開示はすべての目的のために参照により本明細書に組み込まれるものとする。本発明の代替的な実装形式は、深層残差ネットワーク（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）（解説はｈｔｔｐｓ：／／ｂｌｏｇ．ｗａｙａ．ａｉ／ｄｅｅｐ－ｒｅｓｉｄｕａｌ－ｌｅａｒｎｉｎｇ－９６１０ｂｂ６２ｃ３５５から入手可能であり、すべての目的のために参照により本明細書に組み込まれるものとする）によって、およびまたは、Ｔｏｒｃｈ（例および解説テキストはｈｔｔｐ：／／ｔｏｒｃｈ．ｃｈ／ｄｏｃｓ／ｔｕｔｏｒｉａｌｓ．ｈｔｍｌで公開されている。その開示はすべての目的のために参照により本明細書に完全に組み込まれるものとする）のような環境において実装される畳み込みネットワーク・アーキテクチャによって、実装されてもよい。また、ニューラル・ネットワーク・アーキテクチャ一般についての入門的バックグラウンドおよび特に畳み込みニューラル・ネットワーク（ＣＮＮ）については、Ｍｉｃｈａｅｌ Ａ．Ｎｉｅｌｓｅｎ著「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」（Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｐｒｅｓｓ、２０１５；ｈｔｔｐ：／／ｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｄｅｅｐｌｅａｒｎｉｎｇ．ｃｏｍより入手可能。その開示はすべての目的のために参照により本明細書に完全に組み込まれるものとする）において提供されている。

一般的に、ＣＮＮは画像分類タスク用に成功裏に利用されてきているモデル・アーキテクチャの一種である。ＣＮＮは画像の未加工ピクセル・データに一連のフィルタを適用してより高レベルの特徴を抽出および学習するものであり、このモデルは分類に用いられることができる。ＣＮＮは典型的には３つのコンポーネント、すなわち、（１）畳み込み層、（２）プーリング層および（３）密結合／完全結合層を含む。

畳み込み層は、指定された数の畳み込みフィルタを画像に適用する。畳み込み層は画像内の各特定されたサブリージョンに対して一連の数学的演算を行い、出力特徴マップにおいて単一の値を生成する。畳み込み層はその後典型的にはＲｅＬＵ（正規化線形ユニット）活性化関数を出力に適用してモデルに非線形性を導入するが、様々な実施形態においては、ロジスティック・シグモイド関数または双曲正接活性化関数が利用されてもよい。

プーリング層は、処理時間を短縮するために、畳み込み層によって抽出された画像データをダウンサンプリングして特徴マップの寸法を縮小する。実際には、プーリング機能は、ある位置におけるネットの出力を近隣の出力のサマリ統計量によって置換する。一般的に用いられるプーリング・アルゴリズムはｍａｘ ｐｏｏｌｉｎｇであり、これは特徴マップのサブリージョンを抽出し、それらの最大値を維持しつつ他のすべての値を破棄し、これにより矩形隣接区画内での最大出力を報告する。他の可能なプーリング機能は、矩形隣接区画の平均値、矩形隣接区画のＬ２ノルムまたは中央ピクセルからの距離に基づく加重平均値を含む。

密結合（完全結合）層は、畳み込み層によって抽出された特徴とプーリング層によってダウンサンプリングされたものとに対して分類を行う。密結合層においては、層における各ノードは先行する層の各ノードと結合されている。

上記において導入したとおり、ＣＮＮは、特徴抽出を行う複数の畳み込みモジュールを積み上げて構成されており、各モジュールが畳み込み層と、これに続くプーリング層とからなり、最後の畳み込みモジュールには、分類を行う１つまたは複数の密結合層が続いている。ＣＮＮにおける最後の密結合層は、モデル内の各目標クラス（モデルが予見し得るすべての可能なクラス）について単一のノードを含み、各ノードについて活性化関数をもつ。ＣＮＮは、所与の画像について数値を、どの程度当該画像が各目標クラスに属する可能性が高いか、という相対的測定値として解釈することを可能にする。本発明の様々な実施形態においては、目標クラスは、ディスプレイのひび割れ、筐体の傷またはひび割れ、ディスプレイ上のＬＣＤブリード、ディスプレイ上に現れるピンク色、ディスプレイ上のスタック・ピクセルおよびこれらの様々な組み合わせなどのモバイル・デバイスの欠陥を含み得る。

ニューラル・ネットワーク分析手法を用いる一実施形態においては、ひび割れまたはその他の種類のモバイル・デバイスに関連する欠陥を画像分析によって特定するためのシステムおよび方法が提供される。図１６に記載されたプロセス１６００を参照すると、ＦＳＴＡがテストされるべきことが望まれるモバイル・デバイス８００にインストールされる（１６１０）（図１４および図１５にも、ミラーなどの反射面に映ったモバイル・デバイスの画像をキャプチャするためのユーザ・プロンプトおよびガイダンスが示されている）。準備が完了したら、モバイル・デバイス８００のユーザは、デバイス欠陥テストを開始する（１６１５）。図１７に関して説明したプロセスによって、モバイル・デバイス８００のディスプレイの画像がキャプチャされ（１６２０）、当該画像をポートレート・モードに回転することによりおよび／またはスキューを減らすための微回転によりおよび／または当該画像を所望のアスペクト比にトリミングすることにより、キャプチャされた画像が任意選択的に前処理される（１６２５）。当該キャプチャされた（および任意選択的に前処理された）画像がその後サーバ（サーバ８６０等）にアップロードされ（１６３０）、図１８に関してさらに論じられるとおり、何らかのひび割れまたは他のタイプの欠陥が存在するか否かを判定するために当該アップロードされた画像が処理される（１６３５）。代替的にまたは組み合わせて、さらなる分析および報告のために、画面のひび割れまたは欠陥の程度および特徴が処理ステップ１６３５によって特徴づけられる。何らかの潜在的な欠陥の分析（１６３５）が完了すると、モバイル・デバイス８００が適切な動作状態にあるか否かの評価などの任意の必要な目的のために、結果として得られた情報が任意のユーザへのプレゼンテーション、保存または表示のためにフォーマットされる（１６４０）。プロセスはその後終了する（１６４５）。

図１７は、図１６におけるステップ１６２０において導入した、モバイル・デバイスの画像をキャプチャするための本発明のプロセス１７００を示す。画像キャプチャ処理は１７０５で始まり、ここでは、ＦＳＴＡはモバイル・デバイス８００内の照明センサからの周囲照明を分析する（１７０７）。そして、１７０９において、モバイル・デバイスの正面カメラ（例えば、図１４、８７４）がモバイル・デバイスのディスプレイ（例えば、図１４、１４００）上に表示された追跡画像に最適に追従することができるように、モバイル・デバイス８００の画面明るさおよびカメラ感度が調整され、ユーザは、デバイス８００を、モバイル・デバイスのディスプレイがミラーなどの反射装置に対向するようにして位置１７１５へ移動させるように指示される。ＦＳＴＡの追跡アルゴリズムはモバイル・デバイスを特定して、モバイル・デバイス８００のディスプレイから、モバイル・デバイスが画像をキャプチャするうえで最適な位置にあると判定されるまでモバイル・デバイス１７２０を移動／回転させるようにユーザに対してガイダンスを提供する。このプロセスの一部として、ユーザは、モバイル・デバイスを反射装置の表面に対して回転、傾斜、移動または整列させるように指示されてもよい。ＦＳＴＡはデバイスの正面カメラ（例えば、図１４、８７４）から取得されたデータを用いてモバイル・デバイスがいつ画像キャプチャのために許容し得る整列状態とされたかを判定し（１７２５）、そのうえでＦＳＴＡは正面カメラの感度１７３０を最適な画像キャプチャのために修正する。一実施形態においては、画像キャプチャ感度は、反射面の前方におけるモバイル・デバイスの配置の追跡の間に用いられた初期感度とは異なってもよい。モバイル・デバイス８００のオペレーティング・システムによっては、カメラ感度を調整するためにモバイル・デバイス内で異なるパラメータが修正されてもよい。一実施形態においては、感度はモバイル・デバイス８００におけるカメラに関連する露出補正値を変更することによって調整される。別の実施形態においては、所望の感度を実現するために、モバイル・デバイス８００におけるカメラに関連するシャッター・スピードおよびＩＳＯ値が調整されてもよい。その後、白色画面または所定の基準マークをもつ画面などのキャプチャ画像がモバイル・デバイス８００のディスプレイに出力されてもよい（１７３５）。そして、画像がモバイル・デバイス８００の正面カメラ（例えば、図１４、８７４）によってキャプチャされる。

関連性を有する分野における当業者はまた、本発明のモバイル・デバイス８００の背面カメラ８７２は、例えばモバイル・デバイス筐体の裏面などを含むモバイル・デバイス８００の別の面の画像を記録するために反射面に対向しているときに用いられてもよいことを理解するであろう。このようにして、筐体における欠陥が、筐体の欠陥、摩耗パターン、欠け、ひび割れ等を検出するために本発明の光学的ニューラル・ネットワーク分析によって分析されてもよい。

図１６に戻って、キャプチャされた画像が前処理され（１６２５）およびホスト・サーバにアップロードされ（１６３０）た後で、サーバ８６０において画像分析が開始（１６３５）してもよい。図１８は、本発明に係る画像分析の実施形態を示し、かかる分析は、サーバ８６０によって実行されてもよい。キャプチャされた画像がサーバ８６０によって受信される（１８１０）と、キャプチャされた画像は、画像ファイルのサイズを小さくして処理効率を向上させるために任意選択的にダウンサイジングされまたは再サンプリングされてもよい。例示的なキャプチャされた画像は図１９に見ることができ、ここではモバイル・デバイス８００が、そのディスプレイ１４００を示し、ユーザによって扱われている。モバイル・デバイス８００のディスプレイ１４００のエッジは代替的な方法によって、キャプチャされた画像１８１５において位置が特定される。

ディスプレイ１４００に対応するエッジを発見するための第１の方法においては、画像閾値技術がキャプチャされた画像（図１９に示す例）に適用されて閾値修正された画像が生成される（閾値技術が適用された後の図１９の画像の例が図２０において把握し得る）。任意選択的な閾値技術が関連性を有する分野における当業者によく理解されているところであり例示的なチュートリアルがｈｔｔｐｓ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．３．１／ｄ７／ｄ４ｄ／ｔｕｔｏｒｉａｌ＿ｐｙ＿ｔｈｒｅｓｈｏｌｄｉｎｇ．ｈｔｍｌに開示されており、その開示はすべての目的のために参照により完全に本明細書に組み込まれるものとする。次に、閾値処理された画像において輪郭が発見され、ここでは輪郭は、すべての連続的な点を（境界に沿って）結合した、画像において同じ色または強度をもつ、定義された曲線を含む。輪郭は形状分析およびオブジェクト検出認識において有用なツールであるので、輪郭はモバイル・デバイスのディスプレイ１４００に対応するキャプチャされた画像のエリアの特定を支援するために用いられてもよい。輪郭分析技術は関連性を有する分野における当業者において広く理解されているところであり、例示的なチュートリアルはｈｔｔｐｓ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．３．１／ｄ４／ｄ７３／ｔｕｔｏｒｉａｌ＿ｐｙ＿ｃｏｎｔｏｕｒｓ＿ｂｅｇｉｎ．ｈｔｍｌに開示されており、その開示はすべての目的のために参照により完全に本明細書に組み込まれるものとする。閾値処理された画像において輪郭が判定されると、４つの点を有する輪郭が分析され、分析中のモバイル・デバイスの既知のアスペクト比と比較される。デバイス・データ４５はデバイスのタイプを特定するものであるので、そのディスプレイ・アスペクト比は、既存のルックアップ・データから（またはデバイス製造業者から外部的に）特定され得るものであり、また、閾値処理されたキャプチャされた画像において発見された４点輪郭のアスペクト比との比較において用いられてもよい。分析中の特定のモバイル・デバイスに対して定義されたディスプレイ・アスペクト比に対してアスペクト比において十分に類似している（例えば、アスペクト比が製造業者のアスペクト比データの所定の許容値内である）閾値処理された画像において輪郭が特定されると、閾値処理された画像においてマッチする輪郭の頂点２０００の位置が取得され、キャプチャされた画像内でディスプレイのエッジは、これにより、ディスプレイ１４００のコーナーに対応する４つの頂点内にあるエリアとして同定される。特定のモバイル・デバイス製造業者に関連するディスプレイの特定の幾何学的特徴（例えば、丸みを帯びたコーナー、ディスプレイに食い込む切り欠き等）によっては、エッジ境界画像は、製造業者のデバイス仕様の既知の幾何学的許容値を用いてさらに精緻化されてもよい。

ディスプレイ１４００に対応するエッジの位置を特定する第２の技術においては、所定の色（図２１において引用符号２１０１ないし２１０４で示すとおり）をもつ基準マークが画像キャプチャの直前にモバイル・デバイス８００のディスプレイ１４００に出力される（図１７、１７３５）。基準マーク２１０１ないし２１０４の配置はディスプレイ１４００の各コーナーの頂点に近接して表示され、画像分析技術が、キャプチャされた画像内でモバイル・デバイスのディスプレイのエッジを判定するために適用されてもよい。カラー・レンジを用いて画像の複数部分が抽出され、そして、基準マークの色が既知であるので、基準マークの色の事前定義された許容値内で出現する画像の要素が抽出された画像において出現する。次に、基準マーク２１０１ないし２１０４の各形状に一致する多角形が、テンプレートマッチング手法によって、例えば、図２４内で形状２３０１ないし２３０４の位置を特定することで画像内で発見され、キャプチャされた画像における対応するコーナーの頂点の位置が、キャプチャされた画像におけるコーナーの頂点の各位置（図２２を参照）によって判定されることができる。上述したばかりの第１のエッジ検出技術と同様に、キャプチャされた画像におけるディスプレイのエッジは、そのようにして、ディスプレイ１４００のコーナーに対応する４つの頂点内のエリアとして同定される。代替的な実施形態においては、モバイル・デバイスのディスプレイの中央に配置された基準マークを表示したうえで（例えば、関連づけられた仕様をもつ既知のモバイル・デバイスの製造業者データベースから検索された）デバイスに関連づけられたディスプレイ幾何学形状のアスペクト比とあわせて用いるなど、モバイル・デバイスのコンポーネントの特定を支援するために任意の種類の基準マークが用いられてもよく、そのうえで、当該基準マークを中央とする探索境界を同定したうえで関連づけられたモバイル・デバイスの幾何学形状（およびアスペクト比）を用いて外側境界に適合するように拡張することによってディスプレイ・エッジが精緻化されてもよい。この方法は、さらに精緻化されてもよく、モバイル・デバイスのディスプレイ上に出力された基準マークが既知の寸法に拡大縮小される場合（各辺が１センチメートルなど既知の寸法をもつ十字など）、エッジは、画像における基準マークスケールの描画されたサイズをもつスケール係数を取得することによって演繹されてもよく、そのうえで、当該スケール係数をモバイル・デバイスのディスプレイ・エッジについての製造業者の仕様の寸法に適用することによって、ディスプレイの外側境界に近い許容値が特定されることができる。さらに、直交する幾何形状を有するエッジ（矩形の辺等）がより好適に発見されることができるように画像をデスキューするために基準マークの形状（互いに直交する直線等）が用いられてもよい。

当業者はさらに、本出願において用いられているところの用語「ディスプレイ」または「画面」が、一般的にはモバイル・デバイスが視覚的画像を出力してもよいエリアを包含するが、本発明の他の実装形式においては、「ディスプレイ」または「画面」は、モバイル・デバイスの追加的な所望のセクションを含んでもよく、ここでは視覚的に検出可能な欠陥が発見されてもよいことを理解するであろう。より具体的には、一部の携帯電話モデルにおいては、第１のエリアが、アクティブなディスプレイ・エリアに近接しかつこれの上方に存在していてもよく、また、第２のエリアが、破損しやすい素材（硬化ガラスなど）によって覆われているモバイル・デバイスの当該アクティブなディスプレイ・エリアに近接しかつこれの下方に存在していてもよい。これらの近接した第１のエリアおよび第２のエリアが視覚的な出力を生み出すことができない（例えば、第１のエリアにスピーカー／カメラ／センサ・オリフィスをもちかつ第２のエリアにホーム・ボタンまたはマイクロフォン・オリフィスをもつ旧型ｉＰｈｏｎｅ（登録商標）デバイスにおける等）こともある一方、これらのエリアの一部分はそれでもなお破損することもあり、モバイル・デバイスの「ディスプレイ」または「画面」の画像分析をこれらの近接した第１のエリアと第２のエリアとに拡張してこれらのエリアにおける損傷についても検出することが本発明の１つの特徴である。他の実施形態においては、ディスプレイのアクティブな部分から取り除かれた「切欠きエリア」がディスプレイ分析に含まれてもよく、そのことについて言えば、視覚的欠陥検出が望まれるモバイル・デバイスの表面の任意の所望のエリアが含まれてもよい。モバイル・デバイスの追加的なテスト・エリアは、したがって、モバイル・デバイスの背面、モバイル・デバイスのロゴ・エリア、モバイル・デバイスの側面エリア、モバイル・デバイスのベゼルエリアまたは視覚的欠陥検出が所望される任意の他のエリア、に属していてもよい。一実施形態においては、モバイル・デバイスのロゴ・エリア（例えば、ｉＰｈｏｎｅ（登録商標）モデル上の「Ａｐｐｌｅ」ロゴ）に一定程度近接し、またはその他の点ではこれを覆い、もしくはこれに接するように発見される傷やひび割れなどの多数の欠陥が判定されてもよく、そして、欠陥分析のうえで出力されてもよい。さらに、本発明の様々な実施形態においては、ひび割れ、くぼみまたは穴開きなどのモバイル・デバイスのベゼルの特定の欠陥は、モバイル・デバイスの画像の視覚的分析によって検出されてもよい。モバイル・デバイスの画像は、モバイル・デバイスの任意の表面を反射装置の前に保持してカメラを具備するバディー・デバイスまたはコンパニオン・デバイスによって画像をキャプチャする、またはモバイル・デバイスをモバイル・デバイスの各表面の画像（および／または映像表現）をキャプチャする据付カメラまたは他のデバイスの前に配置する／前で回転させるなどして、任意の所望の方法で取得されてもよく、任意選択的にモバイル・デバイスの３Ｄ画像表現を作成してもよい。さらに、欠陥は任意の種類の視覚的に検出可能な問題を含んでもよく、ひび割れおよび傷に加えて、ディスプレイの明るさのばらつき、色のばらつき（望ましからざるピンク色等）、ＬＣＤブリード、色不具合および任意の他の所望のタイプの視覚的な欠陥がまた検出および特定されてもよい。追加的に、ひび割れ／傷の深さ、幅および／またはその他の視覚的外観基準は、特定されたひび割れ／傷と関連づけられることができ、モバイル・デバイスの価値に対する特定されたひび割れ／傷の影響を分類するのを支援するために強度レベルつきで報告されることができる。

ディスプレイ１４００のエッジがキャプチャされた画像におけるコーナーの頂点の位置から演繹されることができるようになったので、ディスプレイ・エリアに対応するキャプチャされた画像のエリアが、サブ画像として抽出されることができ、単一のステップにおいて矩形形状に変換されることができる。これは、一実施形態においては、当業者に知られた技術によって画像においてディスプレイ形状のモーメントを計算して、ディスプレイ部分を矩形画像に透視変換することによって実現される（透視変換の実装の例は、ｈｔｔｐｓ：／／ｗｗｗ．ｐｙｉｍａｇｅｓｅａｒｃｈ．ｃｏｍ／２０１４／０８／２５／４－ｐｏｉｎｔ－ｏｐｅｎｃｖ－ｇｅｔｐｅｒｓｐｅｃｔｉｖｅ－ｔｒａｎｓｆｏｒｍ－ｅｘａｍｐｌｅ／において見ることができ、その開示はすべての目的のために参照により完全に本明細書に組み込まれるものとする）。

キャプチャされた画像からのディスプレイ１４００に対応するサブ画像が取得されると、サブ画像のピクセル寸法が本発明のニューラル・ネットワーク４７への入力として許容し得るように、追加的なリサイジング／再スケーリング／再サンプリングが行われる。サブ画像は、任意の所望のピクセル構成に再サンプリングされることができ、一実施形態においては、画像は、３２０×５４４ピクセル構成（この例では、幅×高さであり、サブ画像のポートレート方向に対応する）に再サンプリングされる。透視変換されたサブ画像の例が、図１９に示すキャプチャされた画像１４００のディスプレイ部分に対応する、図２０Ａの引用符号１４００Ａで示されている。欠陥１９００は画像１４００および画像１４００Ａの両方において出現している。

ステップ１８３０は、モバイル・デバイス８００における欠陥および特に、モバイル・デバイスのディスプレイ１４００における欠陥を特定するためにニューラル・ネットワークによって再スケーリングされたサブ画像の分析を示す。再スケーリングされかつ透視変換されたサブ画像（例えば、図２０Ａにおける１４００Ａ）は、ディスプレイおよび付随する欠陥クラスを含む訓練用データを用いて欠陥を検出するようにあらかじめ訓練された畳み込みニューラル・ネットワークの入力に適用される。ネットワークが画像を分析すると、図２０Ｂに示す色付き多角形１９００Ａをもつような欠陥を特定する出力が生成される。色付き多角形は、ニューラル・ネットワークによって発見された欠陥に注意を喚起し、そして、前述したように、ヒート・マップなどの追加的な出力および分析が特定のネットワーク・アーキテクチャに基づいて提供されてもよい。より一層例示的な例は図２０Ｃないし図２０Ｅに従うものであり、ここでは欠陥（図２０Ｃ、１９００）をもつ入力サブ画像（図２０Ｃ、１４００Ａ）が本発明のニューラル・ネットワーク４７に入力され多角形で囲まれた欠陥（図２０Ｅ、１９００Ａ）とディスプレイ・サブ画像（図２０Ｃ、１４００Ａ）において検出された欠陥（図２０Ｃ、１９００）についての活性化クラスに対応するヒート・マップ１９００Ｄを記述したヒート・マップ出力バージョン（図２０Ｄ、１４００Ｄ）とをもつ出力（図２０Ｅ、１４００Ｂ）が生成される。別の例が、出力を生成する（図２０Ｇ、１４００Ｇ）第２の入力サブ画像（図２０Ｆ、１４００Ｆ）、検出された欠陥クラス（図２０Ｇ、１９００Ｇ）の位置を示すヒート・マップ、および、欠陥が多角形（図２０Ｈ、１９００Ｈ）で囲まれた出力（図２０Ｈ、１４００Ｈ）とともに提供される。関連性を有する分野における当業者であれば、多くの他のタイプの出力が可能であり、前述したような異なる欠陥タイプが適切に訓練されたＣＮＮアーキテクチャによって検出されてもよいことを理解するであろう。

図１６Ａは、本発明の別の実施形態を示しているところ、図１６に関して説明されるある種の分析ステップが同様に実装されてもよいが、図１６Ａに関する本発明の実施形態は、代替的な手法を利用する。より具体的には、一実施形態においては、本発明は、最初に障害状態テスト・アプリケーション（ＦＳＴＡ）をインストールする必要なしにモバイル・デバイスに関連する欠陥が検出されることを可能にする。より具体的には、ステップ１６１０Ａにおいて、テスト対象のモバイル・デバイスと、モバイル・デバイスに接続するためのソフトウェアおよび必要な通信回路を備え、モバイル・デバイス内で欠陥が発見され得るか否かを判定するテストを遠隔で実行するように特に構成されたウェブ・サーバなどの遠隔診断サービス（ＲＤＳ）との間で接触が開始される。かかる接触は、モバイル・デバイスからウェブ・アドレス、すなわちデバイス診断サーバに対応するウェブ・アドレスへのデータベースの接続によることを含む任意の所望の態様にて開始されてもよく、モバイル・デバイス・ユーザは識別情報を入力するように指示され、特定のモバイル・デバイスのためのユーザ・テスト・プロファイルが作成され、ウェブ・サーバに関連づけられたデータベースに、診断結果とともに格納されてもよい。当該デバイス。接続が開始されて要求された情報がモバイル・デバイス・ユーザによって入力されると、モバイル・デバイス８００のユーザは、遠隔診断サービスに対して、欠陥テストが開始されることを示す。一実施形態においては、図１６に関して説明したステップと同様の態様で遠隔診断サービスが画像キャプチャ処理１６２０Ａを開始する。しかしながら、代替的実施形態は、モバイル・デバイスまたはコンパニオン・デバイス上のウェブカメラを起動してテスト中のモバイル・デバイスの画像を直接的にまたはコンパニオン・デバイスによってキャプチャすることを含み、同様に、テスト中のモバイル・デバイスに対して、ＲＤＳから動作するブラウザがそのデバイスの背面カメラを開けて反射面を考慮して正面カメラまたは背面カメラのいずれかから画像をキャプチャすることができる。テスト対象のモバイル・デバイスとともにコンパニオン・デバイスが用いられる場合、デバイス間通信がデバイスに対して画像を表示およびキャプチャするように命令することを可能にするために、ウェブソケット接続が２つのデバイス間で開始されてもよい。このようにして、テスト中のモバイル・デバイスは、反射装置に映る自デバイスの写真をキャプチャするためにＲＤＳによってモバイル・デバイス上のブラウザを介して遠隔で指示されてもよい。したがって、ＲＤＳは、ウェブカメラから、モバイル・デバイス自体の正面カメラおよび背面カメラのいずれかから、またＲＤＳと通信するコンパニオン・デバイスからの、および、ＲＤＳが画像キャプチャを開始し得る他の方法による画像キャプチャを容易にすることができる。キャプチャされた画像は、ＲＤＳとモバイル・デバイスとの間の通信リンク（あらかじめ確立されたウェブ・サーバへの接続等）を介して伝達（１６３０Ａ）され、ここではＲＤＳが、図１６の１６３５、１６４０で示すステップと類似の態様において分析を開始する。関連性を有する分野における当業者であれば、ＲＤＳはまた、ネットワークを介してモバイル・デバイスと対話できるインテリジェント・エージェントをもって実装されてもよく、これにより、試験を実施してかかるモバイル・デバイスに関する欠陥分析をサポートするための情報を取得するようにしてもよいことを理解するであろう。

追加的な欠陥テスト（例えば、１６４２Ａ）が、ＲＤＳと関連づけられているか、またはＦＳＴＡがテストを実施するためにインストールされているかを問わず、テスト中のモバイル・デバイスの態様を用いて実施されてもよい。例えば、いくつかのテストが（ＦＳＴＡによって、または、モバイル・デバイスとＲＤＳとの接続を介して遠隔で、のいずれかにより）実行され、例えば：（１）振動テスト（例えば、デバイスの振動アジテータが機能していることを判定する）、（２）スピーカー・テスト、（３）画面タッチ・テスト、（４）正面カメラ・テスト、（５）背面カメラ・テスト、（５）画面圧力テスト、（６）加速度計テスト、（７）ジャイロスコープ・テスト、（８）稼働能力、充電時間、バッテリが膨張しているか否か（したがって潜在的な欠陥／危険状態を示唆しているか否か）を含むバッテリ状態、および（９）一意の指紋またはモバイル・デバイスのＩＤとの紐づけを含む混合モデル／由来の認識、を判定する。さらに、本発明の態様は、モバイル・デバイスに関連する欠陥を判定するための音響分析を提供する。

音響解析によって、振動信号（音声信号または既知の周波数機械振動等）が、作成され、モバイル・デバイスに適用され、そして、モバイル・デバイスのマイクロフォンが結果として検出され得るものに「耳を傾ける」。マイクロフォンからの当該キャプチャされた音声信号は、さらに、モバイル・デバイスにある種の欠陥が存在し得るか否かを判定するために分析されることができる。例えば、所定の信号は、モバイル・デバイスのスピーカーから（または代替的には、モバイル・デバイス内に配置されたアジテータによって惹起された振動または振動パターンによって）出力されてもよく、そのうえで、モバイル・デバイスは、モバイル・デバイス（またはコンパニオン・デバイス）に関連づけられたマイクロフォンを介して、モバイル・デバイスのマイクロフォンによって受信される音声シグネチャに耳を傾ける。１つのバージョンにおいては、様々な周波数の単純な音声テストが、スピーカー／マイクロフォンのペアが所望の周波数レンジで機能しているか否かを特定することも考えられる。さらに、マイクロフォンによってキャプチャされた音声信号のスペクトル分析が、スピーカーまたはマイクロフォンにおけるある種の欠陥を特定してもよい。スペクトル分析はさらに、音の伝播が分類された製造業者同一見本を介した理想伝播と比較されてもよく、モバイル・デバイスに取り付けられたガラスのひび割れなどの欠陥は、マイクロフォンから受信された音声信号から演繹され得る音声伝播の不連続またはガタガタ音を発生させ得る。ある種の機械的振動パターンがまた、デバイスのマイクロフォンの受信された音声パターンによって感知され得るモバイル・デバイス内で緩みが生じているパーツによる共振周波数ガタガタ音を発見することを試みるために、アジテータによって作り出されてもよい。かかるスペクトル分析は、モバイル・デバイスと関連づけられ得る欠陥に対応するある種の音声異常を特定するために事前に訓練されたニューラル・ネットワーク実装形式と調和的に行われてもよい。

図１７に関して論じたプロセスによって、モバイル・デバイス８００のディスプレイの画像がキャプチャされ（１６２０）、当該画像をポートレート・モードに回転することによりおよび／またはスキューを減らすための微回転により、および／または当該画像を所望のアスペクト比にトリミングすることにより、キャプチャされた画像が任意選択的に前処理される（１６２５）。当該キャプチャされた（および任意選択的に前処理された）画像がその後サーバ（サーバ８６０等）にアップロードされ（１６３０）、図１８に関してさらに論じられるように、何らかのひび割れまたは他のタイプの欠陥が存在するか否かを判定するために当該アップロードされた画像が処理される（１６３５）。代替的にまたは組み合わせて、さらなる分析および報告のために、画面のひび割れまたは欠陥の程度および特徴が処理ステップ１６３５によって特徴づけられる。何らかの潜在的な欠陥の分析１６３５が完了すると、モバイル・デバイス８００が適切な動作状態にあるか否かの評価などの任意の必要な目的のために、結果として得られた情報が任意のユーザへのプレゼンテーション、保存または表示のためにフォーマットされる（１６４０）。プロセスはその後終了する（１６４５）。

図２４は、本発明の畳み込みニューラル・ネットワーク（ＣＮＮ）アーキテクチャのブロック図２４００に係る１つの例示的なデータ・フローを示す。デバイス画像またはデータ２４０５の提示に先立って、デバイス・ディスプレイにおける傷、ひび割れおよび折れなどの欠陥を含む特定のデバイス欠陥クラスを認識するようにＣＮＮのコンポーネントが訓練されている。一実施形態においては、ダウンスケールされかつ再サンプリングされたデバイス画像（例えば、図１８のステップ１８２０により得られる画像ファイル）は、デバイスに関連する画像を処理するのに用い得る任意の任意選択的デバイス・データ（デバイスに関連づけられた一意の識別子等。デバイスに関連づけられたＩＭＥＩを含むが、これに限定されない。）とともに、ニューラル・ネットワークの入力層２４１０に提示される（２４０５）。入力層は、ブロック２４２０に通信可能に接続されており、ＣＮＮにおいて従来実装されているように、少なくとも１つの畳み込み層と、プーリング層と、完全結合層とを含む。訓練されたＣＮＮは、入力データに対して動作して、何らかの検出された欠陥クラス２４３０を示す出力に対応する出力を生成する。動作は、ブロック２４３０の出力の分析の時点で終了してもよく、あるいは、第２の入力層２４４０への入力による追加的な処理に続いてもよい。ブロック２４３０における欠陥は、ブロック２４５０に提示されてもよく、デコンボリューション層、逆プーリング層および完全結合層がさらに、欠陥の位置が特定された場所に対応する入力画像の特徴を処理および強調する。出力層２４６０は、診断画像２４７０の形式で出力を提供し、これは、データベースに格納されてもよく（例えば、図８、８８０）、また、データベース８８０において、ネットワーク２４００によって分析されたデバイス画像を特定するデバイス・データと関連づけられてもよい。

一般的には、ＣＮＮモデルのパフォーマンスと学習能力とを増大させるために、ＣＮＮにおける異なるネットワーク層の数は、選択的に増加させることができる。入力層から出力層までの間の別個の中間層の数は非常に大きくなることができ、これにより、ＣＮＮモデルのアーキテクチャの複雑度を増大させることができる。本開示は、デバイス欠陥を特定しおよび／またはモバイル・デバイスの画像内に位置を特定された欠陥の存在を示唆する視覚的マップを作成するために学習ＣＮＮモデルを利用している。開示された実施形態と整合的に、ＣＮＮシステム２４００は、欠陥（図２０Ｅのデバイス・ディスプレイ１４００Ｂにおける特定された欠陥１９００Ａまたは図２０Ｈのディスプレイ１４００Ｈの特定された欠陥１９００Ｈ等）を示す出力を生成するように構成されていてもよい。代替的には、本発明の実施形態は、ＣＮＮシステム２４００が、検出された欠陥クラスの可能性に対応する画像のエリアに対応するヒート・マップ（図２０Ｄのデバイス・ディスプレイ１４００Ｄにおける特定されたヒート・マップ１９００Ｄまたは図２０Ｇのディスプレイ１４００Ｇの特定されたヒート・マップ１９００Ｇ等）を示す出力を生成するように構成されていてもよいことを想定している。さらなる説明のため、図２０Ｃにおける画像１４００Ａは、ネットワーク２４００のデバイス画像／データ２４０５として提示されることが考えられ、また、図２０Ｄおよび／または図２０Ｅは、ＣＮＮ２４００の出力から取得されることが考えられる。同様に、図２０Ｆの画像１４００Ｆは、ネットワーク２４００のデバイス画像／データ２４０５として提示されることが考えられ、また、図２０Ｇおよび／または図２０Ｈは、ＣＮＮ２４００の出力から取得されることが考えられる。上記説明のとおり、特定の実施形態によっては、出力はネットワーク２４００のブロック２４３０またはブロック２４７０のいずれかから取得されてもよい。

本明細書で使用する場合、そして前述したとおり、開示された本発明のシステムおよび方法によって用いられるＣＮＮモデルとは、畳み込みニューラル・ネットワークのフレームワークに基づいて定式化され、適合されまたは修正された任意のニューラル・ネットワーク・モデルをいうものであってもよい。例えば、本開示の実施形態においてデバイス欠陥を特定するために用いられるＣＮＮモデルは、入力層と出力層との間に、１つまたは複数の畳み込み／デコンボリューション層、非線形演算子層、プーリングもしくはサブサンプリング層、完全結合層、最終損失層、デコンボリューション層ならびに／または逆プーリングもしくはアップサンプリング層などの中間層を選択的に含んでいてもよい。

代替的な実施形態においては、ＣＮＮモデルからの出力は、ブロック２４３０の後でさらなる処理を要することなくデコンボリューション層なしでヒート・マップまたは特定の欠陥の特定のいずれかを生成するために、訓練されてもよい。したがって、一実施形態においては、出力は、本発明のニューラル・ネットワークの出力層を訓練することによるクラス活性化マップによって作成され、そして、一実施形態においては、ヒート・マップは前述のとおり出力されてもよい。一態様においては、ヒート・マップは、本発明の訓練されたニューラル・ネットワークによって出力されている画像の各セクションについてマッピング関数を取得することによって生成される。画像の各サブセクション内のマッピング関数は、訓練されたネットワークが画像データにおける欠陥を検出したときに、特定の欠陥クラスを特定するために画像のサブセクションについてのスコアを用いてもよい。本発明の一実装形式においては、ヒート・マップは、ＣＮＮモデル自体における特定の層から取得されてもよい。ニューラル・ネットワーク訓練の分野における当業者が理解するように、例えば、ｓｏｆｔｍａｘ関数がＣＮＮ欠陥分類器の最終層において用いられてもよく、また、結果として得られる層要素スコアを算出することによりヒート・マップを生成し、出力を画像データの形に生成して、これをテスト画像に対応するエリアに重ね合わせてヒート・マップを特定するために用いられてもよい。代替的には、一実施形態においては、ＣＮＮは、入力データ画像のアスペクトを削減または除去してもよく、異なる畳み込み層を適用してもよく、畳み込み層のうちの１つの出力をキャプチャしてもよく、（全画像にわたって出力してもよく）、そして、画像の各部分についてスコアを生成してもよく、このスコアがさらに欠陥活性化マップを生成する。活性化の所定のレベルを超えるエリアは、テスト画像上で発見された欠陥を特定するために、出力画像データにおいて特定の色に変換されてもよく、例えば、赤色に変換されてもよい（例えば、テスト画像におけるディスプレイひび割れに対応する画像のエリアに付された色を読み取る）。さらなる態様としては、ネットワーク出力層において、閾値（所定の色閾値と対比される）が、画像の赤色部分を見つけるために画像データに対し適用されてもよく、そして、より一層具体的に欠陥エリアを特定すべく最小外接矩形が、赤色エリアの周囲に配置されてもよい。

図２５は、本発明の一実施形態についてのフロー図２５００の概要を提示しており、３つの段階、すなわち、訓練準備段階２５２５、ネットワーク訓練段階２５２６およびネットワーク推論段階２５２７を含む。前に簡単に説明したように、デバイス欠陥を特定するための開示されたシステムおよび方法は一般的に順次説明するいくつかのステージを含み、例えば、訓練用データセットを用いてＣＮＮモデルを「訓練」および「学習」させる訓練ステージおよび訓練されたＣＮＮモデルが訓練用データセットを用いてデバイス欠陥（および／または欠陥クラス）を特定するためのデータを入力する予測または推論ステージが含まれる。前述のとおり、前述した訓練ステージは一般的に、図２５に記載したとおりネットワーク訓練２５２６と相関する。本明細書で使用する場合、ＣＮＮモデルを「訓練する」とは、ＣＮＮモデルにおける少なくとも１つの層の１つまたは複数のパラメータを決定することをいう。例えば、ＣＮＮモデルの畳み込み層は、少なくとも１つのフィルタまたはカーネルを含んでいてもよい。少なくとも１つのフィルタのカーネルの重み、サイズ、形状および構造などの１つまたは複数のパラメータが、例えば、バックプロパゲーションベースの訓練プロセスによって決定されてもよい。さらに、一般的に、前述した図２４に関する記述は、図２５に示すようなネットワーク推論２５２７と相関する。本明細書に記載の実施形態に関して使用される場合、ＣＮＮモデルから「予測する」とは、一実施形態においては、デバイスのディスプレイの画像を含む、デバイス２５１０の任意の所望のタイプの処理された画像を用いてデバイスの画像からデバイス欠陥を特定することをいう。

訓練準備段階２５２５においては、訓練用入力２５２０は、ＣＮＮニューラル・ネットワーク・コンポーネント（例えば、図８、４７）の訓練に用いるために準備されかつ処理される。ネットワーク・モデルが訓練に用いるために選択される（２５０５）。かかるモデル選択は、例えば、畳み込みニューラル・ネットワーク・アーキテクチャおよび適切な処理レイヤ・コンフィギュレーションの特定を含み得る。ニューラル・ネットワーク・コンポーネント・モデル（図８、４７）は初期レイヤ設定、初期接続設定、重みのセットおよびバイアスのセットで初期化される。デバイス画像２５１０および各予想結果（関連性を有する分野における当業者には「グランド・トゥルース」データとしても知られる）２５１５に加えて、各それぞれのデバイス画像についての識別情報など、他のパラメータ（以下に詳述する）が訓練用データ２５２０としての入力のために設定されてもよい。一実施形態においては、訓練用データ２５２０はまた、実際に欠陥のあるデバイスまたは偽装された欠陥デバイスについてのデータを含み得る。別の実施形態においては、訓練用データ２５２０は、例えば、理論的にあり得る欠陥タイプ状況に基づいてコンピュータにより生成された画像として合成的に作成されてもよく、モデル・テスト目的のために考案されてもよい。

様々な実施形態において、そして、図１８のプロセス１８００と文脈において同様の態様において、準備段階２５２５は、訓練用データ２５２０におけるすべての撮像データを共通グリッドサイズおよびグリッド間隔に再サンプリングすることを含む。そして、画像ピクセル値が、任意選択的に、訓練用データ２７２０におけるすべての画像データにわたって共通のスケールに再サンプリングされることができ、それによりネットワークに提供された訓練用データに基づいて学習パフォーマンスとコンバージェンスとを改善させることができる。データ準備の後で訓練用データおよびテスト・データは、デバイス画像を表し、それぞれ、グランド・トゥルース・データを含む特定された欠陥に対応する。

ネットワーク訓練段階２５２６は、訓練用データ２５２０がステップ２５０５から構成されかつ初期化されたニューラル・ネットワーク・モデル（入力は設定しない）に対して提示されることによって開始する。ニューラル・ネットワーク・コンポーネント（図８、４７）は結果を患者画像データから推定して（２５３５）、推定結果、例えば、特定された欠陥クラス、を生成する。そして、ステップ２５３５から推定された結果とデバイス画像２５１０に対応する予想された結果２５１５との比較が行われ、予想結果２５１５と推定結果２５３５との差分に基づいてエラー・マップ（「訓練エラー」）が生成される。エラー・マップは、評価基準２５４５と対比される。例えば、平均絶対誤差関数（ＭＡＥ）または平均二乗誤差（ＭＳＥ）関数のような損失関数は、エラー基準が満たされるか否かを判定するために用いられることができる。当業者は、モデル予測の平均絶対誤差（ＭＡＥ）もしくはＬ_１ノルムＪ（θ^＊）＝ａｒｇ ｍｉｎ_θ｜｜Ｙ＝Ｙ^＊｜｜_１または平均二乗誤差（ＭＳＥ）もしくはＬ_２ノルムＪ（θ^＊）＝ａｒｇ ｍｉｎ_θ｜｜Ｙ＝Ｙ^＊｜｜_２などの、様々な損失関数に精通しており、式中、θ^＊はＹとＹ^＊との差を最小にするパラメータの選択を含む。バックプロパゲーション・アルゴリズムは、モデル・パラメータまたは重みに対するエラー関数の勾配を算出するために用いられてもよい。そして、θは、θ^＊に収斂する確率的勾配降下アルゴリズムを反復的に用いてアップデートされてもよい。

エラーがエラー閾値基準を満たさない場合、例えば、学習アルゴリズム（例えば、正則化勾配降下最適化アプローチ）に従いエラーを最小化するために、ニューラル・ネットワーク（図８、４７）のモデル・パラメータ（例えば、重みおよびバイアス）がアップデートされる（２５５０）とともに、訓練用データがニューラル・ネットワークの新たに付与されたモデル・パラメータとともにニューラル・ネットワーク（図８、４７）に対して再提示される（２５３０）。

一実施形態においては、基準が満たされるか否かを判定する（２５４５）ことは、訓練用画像とは異なる（がしかしあらかじめ特定された欠陥をもたない）１つまたは複数のテスト・デバイス画像をかかるテスト・デバイス画像にそれぞれ対応する欠陥の推定値を生成するように現在構成されているものとしてのネットワーク・モデルに対して提示することを含む。そして、結果として得られる欠陥分類は、ネットワーク・パラメータ・モデルの質を評価するためにグランド・トゥルース／予想欠陥分類と比較されることができる。このテスト・データについての予想欠陥と予測欠陥との差が「テスト・エラー」である。いずれにせよ、ステップ２５５０からステップ２５３０まで、ステップ２５３５および２５４０まで、ステップ２５４５までの繰り返しは、エラー閾値基準が満たされるまで続き、満たされると訓練プロセス２５２５が終結し（２５５５）、訓練されたニューラル・ネットワーク・コンポーネント・モデルは、実デバイスのキャプチャされた画像および対応するデータ（図８、４５、４６）との使用の準備が整う。

代替的実施形態においては、ニューラル・ネットワーク（図８、４７）は、複数のステップで訓練されてもよく、ニューラル・ネットワークの様々な部分が、特定の欠陥分類を実現すべく別個の訓練用データセットを用いて訓練されてもよい。例えば、本発明の畳み込みニューラル・ネットワークは、多数のジェネリック・ビジュアル・オブジェクト・クラスを認識するように事前に訓練されていてもよく、その場合、ネットワークの最終層は、画面欠陥（例えば、モバイル・デバイスのひび割れまたは損傷のあるディスプレイ）などの特定の可視的アイテムを特定するように再訓練されてもよい。本発明の１つのバージョンにおいては、欠陥（例えば、ディスプレイひび割れ）に関する特性は、訓練用画像に関連づけられた訓練用データにおいて提供されていてもよく、そして、訓練用データ画像においてかかるひび割れが存在する箇所の座標なしで様々な実施形態において提供されてもよく、そして、さらなる他の実施形態においては、欠陥（例えば、ディスプレイひび割れ）を示す訓練用データ画像は、出力層の訓練が最適化されるように画像内のひび割れのあるエリアを特定する座標を付されている。多数のビジュアル・クラスを用いてネットワークを訓練したうえで検出されるべき特定の欠陥を用いて当該ネットワークの最終層を再訓練するなど、複数の訓練に合格することを利用することは、訓練用データ２５６０がアップデートされまたは新たな欠陥タイプもしくはアップデートされた訓練例の量によって変更される場合には、ネットワーク全体を再訓練することよりも効率面で利点をもつ実施形態を提供し得る。

訓練されると、ニューラル・ネットワーク・コンポーネント・モデル（図８、４７）は、サーバ・メモリ（例えば、図８、１６）などのメモリに格納され、ネットワーク・コンポーネント（図８、４７）の非一時的メモリに格納され、または、データベース（例えば、図８、８８０）に格納されてもよい。そして、訓練されたネットワーク・モデルは、欠陥分析が望まれるモバイル・デバイス画像および／またはデータ（図８、４５、４６）を提示された際に、有用な出力（例えば、デバイスに関連づけられた分類された欠陥）を算出するためにネットワーク推論ステップ２５２７において用いられてもよい。訓練されたニューラル・ネットワークは、例えば、特定の訓練されたネットワーク構成について格納された重みおよびバイアスをロードすることによって構成される（２５６５）。患者データ入力が訓練されかつ構築されたニューラル・ネットワーク・コンポーネント（図８、４７）に対して提示されて、予測結果を取得する。好ましい実施形態においては、予測結果は、特定された欠陥を用いた欠陥分類および表示されたヒート・マップを用いたデバイス分類の１つを含む。このように、関心のあるデバイスについて、デバイス画像および／またはデータ２５６０が訓練されかつ構築されたニューラル・ネットワーク・モデルに提示されて（２５７０）予測結果を生成する（２５７５）。さらなる実施形態においては、予測結果は、モバイル・デバイスの保険適用可能性またはモバイル・デバイスについての保険金請求の妥当性を判定するのに用いられるなど、任意の所望のエンティティによって順次レビューを受ける（２５８０）。

以上説明した特定の実装形式は、本発明およびその最良の形態を例示するものであり、その他の点ではいかなる形においても本発明の範囲を限定することを意図するものではない。実際、簡潔にするために、従来のデータ・ストレージ、データ送信およびシステムの他の機能的態様については詳細に説明されていないことがある。様々な図に示されている方法には、より多くのステップ、より少ないステップまたは他のステップを含み得るものである。追加的に、ステップは、本発明の範囲から逸脱することなく、任意の適切な順序で実行されてもよい。さらに、様々な図に示されている接続線は、様々な要素間の例示的な機能的関係および／または物理的接続を表すことを意図したものである。多くの代替的または追加的な機能的関係または物理的接続が実際のシステムに存在していてもよい。

本発明の範囲を逸脱することなく開示された実施形態に変更および修正を加えることができる。これらおよび他の変更または修正は、添付の特許請求の範囲に示されるように、本発明の範囲に包含されることが意図されている。

Claims (31)

1. モバイル・デバイスに実行可能なプログラムをインストールすることと、
   前記モバイル・デバイスの表示部がミラーの反射面に対向するように前記モバイル・デバイスを配置することを前記モバイル・デバイスのユーザに対して指示することと、
   最適な画像キャプチャのために前記モバイル・デバイスの位置および表示を調整する追跡キャリブレーション機能を行うことと、
   前記モバイル・デバイスの明るさ設定およびカメラ感度設定を変更して画像キャプチャを最適化することと、
   前記モバイル・デバイスが前記ミラーに対して許容可能な向きに向いていることを判定したうえで、
   前記ミラーから反射された前記モバイル・デバイスの画像をキャプチャすることと、
   前記キャプチャされた画像を処理して前記モバイル・デバイスのディスプレイおよび筐体において欠陥が特定され得るか否かを判定することと、
   を含み、
   前記欠陥が、前記モバイル・デバイスの筐体上の模様、ひび割れ、欠け、傷および折れ、ベゼルのひび割れ、ならびに前記モバイル・デバイスの筐体の摩耗した部位のうちの少なくとも１つを含み、
   前記キャプチャされた画像を処理して前記モバイル・デバイスの前記ディスプレイにおいて欠陥が特定され得るか否かを判定することが、
   前記キャプチャされた画像から、前記モバイル・デバイス画面に対応するサブ画像を抽出することと、
   前記サブ画像の奥行きを矩形のアスペクトに変換することと、
   前記変換されたサブ画像を所定の入力画像データ設定に再サンプリングすることと、
   前記再サンプリングされた、変換されたサブ画像を事前に訓練されたニューラル・ネットワークに対して提示して１つまたは複数のデバイス欠陥を特定することと、
   前記モバイル・デバイスの前記画面に対応する前記１つまたは複数のデバイス欠陥のうち第１の欠陥の表示を前記ニューラル・ネットワークから取得することと、
   をさらに含み、
   前記ニューラル・ネットワークから前記欠陥の表示を取得することが、前記事前に訓練されたニューラル・モデルにおける欠陥クラスを活性化させる前記モバイル・デバイス画面の部分を示す徴候であって、前記欠陥クラスと関連づけられている蓋然性が最も高いエリアに対応するヒート・マップを含む徴候を前記ニューラル・ネットワークから取得することをさらに含む、方法。
2. ホスト・サーバへの送信のために前記判定するステップの結果をフォーマットすることをさらに含む、請求項１に記載の方法。
3. 前記追跡キャリブレーション機能が、
   前記モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することと、
   前記検索された周囲照明パラメータに基づいて前記モバイル・デバイスの前記ディスプレイの明るさパラメータを調整することと、
   分析された周囲照明設定から、前記モバイル・デバイスのカメラの感度パラメータを調整することと、
   前記モバイル・デバイスから得られたカメラ・データから、前記モバイル・デバイスが最適な配置から外れていると判定することと、をさらに含み、そのうえで、
   前記モバイル・デバイスを移動して前記ミラーに対する前記モバイル・デバイスの最適な配置を前記ユーザが得るための方向が計算され、かつ、
   前記方向が、前記ミラーにおいて前記ユーザにより判読可能な態様で、前記モバイル・デバイス上に表示される、
   請求項１に記載の方法。
4. 前記モバイル・デバイスの前記カメラの感度パラメータを調整することが、
   前記カメラのＩＳＯ設定を調整することと、
   前記カメラのシャッター・スピードを調整することと、
   をさらに含む、請求項３に記載の方法。
5. 前記モバイル・デバイスの前記カメラの感度パラメータを調整することが、前記モバイル・デバイスの前記カメラに関連づけられた露出補正値を調整することをさらに含む、請求項３に記載の方法。
6. 前記モバイル・デバイスの前記ディスプレイ上に１つまたは複数の基準マークを表示することと、
   前記モバイル・デバイスから取得されたカメラ・データから、前記基準マークのうちの１つまたは複数を感知することと、
   をさらに含む、請求項３に記載の方法。
7. 前記モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することが、前記モバイル・デバイスにインストールされたオペレーティング・システムに関連づけられたＡＰＩから前記パラメータを取得することをさらに含む、請求項３に記載の方法。
8. 前記キャプチャされた画像を処理することが、
   前記キャプチャされた画像をポートレート・モードに回転させることと、
   前記画像をトリミングすることと、
   をさらに含む、請求項１に記載の方法。
9. 前記回転させるステップおよび前記トリミングするステップが前記モバイル・デバイスのプロセッサによって行われ、かつ、
   前記回転されてトリミングされた画像がさらに、ホスト・サーバへの送信のためにフォーマットされる、請求項８に記載の方法。
10. 第１の欠陥の表示を前記ニューラル・ネットワークから取得することが、クラス活性化マッピングを用いて、前記モバイル・デバイスの前記ディスプレイにおける障害の局所エリアを特定することをさらに含む、請求項１に記載の方法。
11. 前記モバイル・デバイスに通信可能に接続されたサーバによって、前記キャプチャされた画像を受信することをさらに含み、かつ、
    前記キャプチャされた画像の前記処理が、前記サーバのプロセッサによって行われる、
    請求項１に記載の方法。
12. 前記サーバ内のデータベースに格納された訓練用データを用いて前記事前に訓練されたニューラル・ネットワークを訓練することをさらに含み、かつ、前記訓練用データが、少なくともデバイス画面訓練用画像と、前記デバイス画面訓練用画像にそれぞれ対応する特定された欠陥とを含む、請求項１に記載の方法。
13. 前記データベースに格納された前記訓練用データが、前記モバイル・デバイスのキャプチャされた画像に対応する新たな訓練用画像と、前記モバイル・デバイスの前記キャプチャされた画像に関連づけられた対応する特定された欠陥とによって拡張される、請求項１２に記載の方法。
14. 前記拡張された訓練用データによって前記事前に訓練されたニューラル・ネットワークを再訓練することをさらに含む、請求項１３に記載の方法。
15. 前記所定の入力画像データ設定が、３２０×５４４ピクセルのピクセル構成を含む、請求項１に記載の方法。
16. 前記デバイス欠陥が、更に、
    前記モバイル・デバイスの前記ディスプレイにおけるひび割れ、
    前記モバイル・デバイスの前記ディスプレイにおける１つまたは複数のスタック・ピクセル、
    前記モバイル・デバイスの前記ディスプレイにおける１つまたは複数のデッド・ピクセル、
    前記モバイル・デバイスの前記ディスプレイ上のＬＣＤブリード、
    前記モバイル・デバイスの前記ディスプレイ上のピンク色の欠陥、および
    これらの組み合わせ
    のうちの１つまたは複数を含む、請求項１に記載の方法。
17. モバイル・デバイスを備えたシステムにおいて、前記デバイスが、
    メモリと通信するプロセッサと、
    タッチセンサ式ディスプレイおよびデータ入力インタフェースを備えた、前記プロセッサと通信するユーザ・インタフェースと、
    ホスト・サーバに対して通信インタフェースを提供するように構成された、前記プロセッサと通信する通信モジュールと、
    を備え、
    前記ホスト・サーバが、データベースに通信可能に接続されたサーバ・プロセッサと、サーバ通信インタフェースと、サーバ・ユーザ・インタフェースと、サーバ・メモリとを備え、かつ、
    前記モバイル・デバイスの前記メモリが、前記プロセッサによって実行されたときに、前記モバイル・デバイスに、
    前記モバイル・デバイスの表示部がミラーの反射面に対向するように前記モバイル・デバイスを配置することを前記モバイル・デバイスのユーザに対して指示する工程と、
    最適な画像キャプチャのために前記モバイル・デバイスの位置および表示を調整する追跡キャリブレーション機能を行う工程と、
    前記モバイル・デバイスの明るさ設定およびカメラ感度設定を変更して画像キャプチャを最適化する工程と、
    前記モバイル・デバイスが前記ミラーに対して許容可能な向きに向いていると判定したうえで、
    前記ミラーから反射された前記モバイル・デバイスの画像をキャプチャする工程と、
    欠陥の分析のための前記ホスト・サーバへの送信のために前記キャプチャされた画像をフォーマットする工程と、
    を行わせる命令を含み、
    前記欠陥が、前記モバイル・デバイスの筐体上の模様、ひび割れ、欠け、傷および折れ、ベゼルのひび割れ、ならびに前記モバイル・デバイスの筐体の摩耗した部位のうちの少なくとも１つを含み、
    前記サーバ・メモリが、
    前記サーバ・プロセッサによって実行されると、前記ホスト・サーバに、
    前記サーバ通信インタフェースから前記キャプチャされた画像を受信する工程と、
    前記キャプチャされた画像から、前記モバイル・デバイスの画面に対応するサブ画像を抽出する工程と、
    前記サブ画像の奥行きを矩形のアスペクトに変換する工程と、
    前記変換されたサブ画像を所定の入力画像データ設定に再サンプリングする工程と、
    前記再サンプリングされた、変換されたサブ画像を事前に訓練されたニューラル・ネットワークに対して提示して１つまたは複数の前記欠陥を特定する工程と、
    前記モバイル・デバイスの前記画面に対応する前記欠陥の表示を前記ニューラル・ネットワークから取得する工程と、
    を行わせる命令を含み、
    前記ニューラル・ネットワークから前記欠陥の表示を取得することが、前記事前に訓練されたニューラル・モデルにおける欠陥クラスを活性化させる前記モバイル・デバイス画面の部分を示す徴候であって、前記欠陥クラスと関連づけられている蓋然性が最も高いエリアに対応するヒート・マップを含む徴候を前記ニューラル・ネットワークから取得することをさらに含む、システム。
18. 前記追跡キャリブレーション機能が、
    前記モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することと、
    前記検索された周囲照明パラメータに基づいて前記モバイル・デバイスの前記ディスプレイの明るさパラメータを調整することと、
    分析された周囲照明設定から、前記モバイル・デバイスの前記カメラの感度パラメータを調整することと、
    前記モバイル・デバイスから得られたカメラ・データから、前記モバイル・デバイスが最適な配置から外れていると判定することと、をさらに含み、そのうえで、
    前記モバイル・デバイスを移動して前記ミラーに対する前記モバイル・デバイスの最適な配置を前記ユーザが得るための方向が計算され、かつ、
    前記方向が、前記ミラーにおいて前記ユーザにより判読可能な態様で、前記モバイル・デバイス上に表示される、
    請求項１７に記載のシステム。
19. 前記モバイル・デバイスの前記カメラの感度パラメータを調整することが、
    前記カメラのＩＳＯ設定を調整することと、
    前記カメラのシャッター・スピードを調整することと、
    をさらに含む、請求項１８に記載のシステム。
20. 前記モバイル・デバイスの前記カメラの感度パラメータを調整することが、前記モバイル・デバイスの前記カメラに関連づけられた露出補正値を調整することをさらに含む、請求項１８に記載のシステム。
21. 前記モバイル・デバイスの前記ディスプレイ上に１つまたは複数の基準マークを表示することと、
    前記モバイル・デバイスから取得されたカメラ・データから、前記基準マークのうちの１つまたは複数を感知することと、
    をさらに含む、請求項１８に記載のシステム。
22. 前記モバイル・デバイスから１つまたは複数の周囲照明パラメータを検索することが、前記モバイル・デバイスにインストールされたオペレーティング・システムに関連づけられたＡＰＩから前記パラメータを取得することをさらに含む、請求項１８に記載のシステム。
23. 前記キャプチャされた画像をフォーマットすることが、
    前記キャプチャされた画像をポートレート・モードに回転させることと、
    前記画像をトリミングすることと
    をさらに含む、請求項１７に記載のシステム。
24. 前記欠陥の表示を前記ニューラル・ネットワークから取得することが、クラス活性化マッピングを用いて、前記モバイル・デバイスの前記ディスプレイにおける障害の局所エリアを特定することをさらに含む、請求項１７に記載のシステム。
25. 前記ホスト・サーバ内のデータベースに格納された訓練用データを用いて前記事前に訓練されたニューラル・ネットワークを訓練することをさらに含み、かつ、前記訓練用データが、少なくともデバイス画面訓練用画像と、前記デバイス画面訓練用画像にそれぞれ対応する特定された欠陥とを含む、請求項１７に記載のシステム。
26. 前記データベースに格納された前記訓練用データが、前記モバイル・デバイスのキャプチャされた画像に対応する新たな訓練用画像と、前記モバイル・デバイスの前記キャプチャされた画像に関連づけられた対応する特定された欠陥とによって拡張される、請求項２５に記載のシステム。
27. 前記拡張された訓練用データによって前記事前に訓練されたニューラル・ネットワークを再訓練することをさらに含む、請求項２６に記載のシステム。
28. 前記所定の入力画像データ設定が、３２０×５４４ピクセルのピクセル構成を含む、請求項１７に記載のシステム。
29. 前記欠陥が、更に、
    前記モバイル・デバイスの前記ディスプレイにおけるひび割れ、
    前記モバイル・デバイスの前記ディスプレイにおける１つまたは複数のスタック・ピクセル、
    前記モバイル・デバイスの前記ディスプレイにおける１つまたは複数のデッド・ピクセル、
    前記モバイル・デバイスの前記ディスプレイ上のＬＣＤブリード、
    前記モバイル・デバイスの前記ディスプレイ上のピンク色の欠陥、および
    これらの組み合わせ
    のうちの１つまたは複数を含む、請求項１７に記載のシステム。
30. 前記ニューラル・ネットワークが畳み込みニューラル・ネットワーク・アーキテクチャを含む、請求項１７に記載のシステム。
31. 前記ニューラル・ネットワークが、
    前記サーバ・メモリに格納されたソフトウェアによって、
    前記サーバ・プロセッサに通信可能に接続された外部ハードウェアによって、または、
    格納されたソフトウェアと外部ハードウェアとの組み合わせによって実装され得る、請求項１７に記載のシステム。

Images