JP7110414B2 - 画像に基づく車両損傷判定方法、装置および電子デバイス - Google Patents

Description

本出願は、コンピュータ画像データ処理技術の分野に関し、詳細には、画像に基づく車両損傷判定方法、装置および電子デバイスに関する。

交通事故が発生した後、通常、保険会社の査定員が現場で処理を行い、写真撮影などの手段によって請求用の証拠を集めるのを待つ必要がある。近年の車両台数の増加につれて、交通事故の件数も増加している。車両の請求および損傷判定サービスは、通常、現場で専門の保険スタッフによって処理される必要があり、このことが結果的に、高い費用、長い待ち時間、および低い効率性を招く可能性がある。

現在、当業界におけるいくつかの処理方法では、車両の所定の被損傷範囲カテゴリを取得するために交通事故現場の画像を使用することによって自動分析が行われている。たとえば、特許文献１による「Method and System for Analyzing Vehicle Insurance Claim Picture」と題された開示によれば、従来の畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）を使用して、モバイル端末によってアップロードされた請求写真を分析し、被損傷範囲カテゴリを識別し、分析結果に基づいて警告情報を生成するためのアルゴリズムが開示されている。しかしながら、この方法では、車両のフロント、側面、または後部など、単に被損傷範囲カテゴリは判定されるが、具体的な損傷種類は識別されない。識別された被損傷範囲の警告情報は、主に、人間によって判定された損傷と比較するために保険会社スタッフが使用し、保険会社スタッフの損傷判定および計算に役立つように参考情報として機能する。加えて、このアルゴリズムは、ＣＮＮにおいて一般に使用されるオブジェクト識別アルゴリズムのみを使用する。車両損傷の最終判定は、依然として人間によって行われている。結果として、人件費と時間的費用が比較的高い。加えて、車両損傷承認基準は、保険会社によっても、また主観によっても異なるので、車両損傷判定結果が大きく変わることがあり得、信頼性は比較的低くなり得る。

中国特許出願公開第１０５６７８６２２号明細書

本出願は、自動車部分の被損傷範囲である部分および損傷程度などの具体的な情報を迅速に、正確に、信頼性高く検出するために、画像に基づく車両損傷判定方法、装置、および電子デバイスを提供することを目的とし、ユーザに対するより正確で信頼性高い損傷判定結果、整備計画情報、および迅速で効率的な車両損傷判定処理を提供し、それによって、ユーザサービス経験を大幅に改善する。

本出願において提供される画像に基づく車両損傷判定方法、装置および電子デバイスは、次のように実装される。

画像に基づく車両損傷判定方法が提供され、この方法は、自動車部分に対応する自動車部分画像を取得するステップと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査するステップと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成するステップとを含む。

画像に基づく車両損傷判定装置が提供され、この装置は、自動車部分に対応する自動車部分画像を取得するように構成されている画像収集モジュールと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを記憶し、構成要素損傷識別モデルを使用することによって自動車部分画像を検査するように構成されている検査モジュールと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成するように構成されている損傷判定処理モジュールとを含む。

画像に基づく車両損傷判定装置が提供され、この装置は、プロセッサと、プロセッサによって実行され得る命令を記憶するように構成されているメモリとを含み、命令を実行すると、プロセッサは、次の動作、すなわち、自動車部分に対応する自動車部分画像を取得することと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査することと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成することとを実施する。

コンピュータ可読記憶媒体が提供され、このコンピュータ可読記憶媒体は、コンピュータ命令を記憶し、命令が実行されると、次のステップ、すなわち、自動車部分に対応する自動車部分画像を取得するステップと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査するステップと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成するステップとが実施される。

電子デバイスが提供され、この電子デバイスは、プロセッサと、プロセッサによって実行され得る命令を記憶するように構成されているメモリとを含み、命令を実行すると、プロセッサは、次の動作、すなわち、自動車部分に対応する自動車部分画像を取得することと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査することと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成することとを実施する。

本出願において提供される画像に基づく車両損傷判定方法、装置および電子デバイスによれば、被損傷範囲および損傷種類などの情報をより広範囲に信頼性高く識別する訓練モデルが構築され得、自動車部分の被損傷範囲、および被損傷範囲に対応する損傷種類が、自動車部分の正確で広範囲な損傷判定に必要な情報を取得するためにこのモデルを使用することによって検出され得る。さらには、本出願の実施形態では、保険スタッフおよび車両所有者に実用上の参考値とともにより正確で信頼性高い損傷判定情報を提供するために、自動車部分の修理計画が、識別された被損傷範囲および損傷種類を含む情報を使用することによって作成される。本出願の実施形態では、迅速で、広範囲で、正確で、信頼性高い車両損傷識判定処理に対する保険会社または車両所有者の要件を満たし、車両損傷判定処理結果の正確性および信頼性を改善し、ユーザサービス経験を改善するために、修理計画が、具体的な車両損傷情報、自動車部分価格ライブラリ、および整備処理方法に基づいて自動的に作成され得る。

本出願の実施形態または既存の技術における技術的解決策についてより明瞭に説明するために、次に、添付の図面について簡潔に説明して、実施形態または既存の技術について説明する。次の説明における添付の図面は、単に本出願のいくつかの実施形態を示しているにすぎず、当業者なら創造的な努力なしにこれらの図面に基づいて他の図面をなお導き出すことができることは、明らかである。

本出願の一実施形態による、画像に基づく車両損傷判定方法の流れ図である。 本出願の別の実施形態による、画像に基づく車両損傷判定方法の概略流れ図である。 本出願の一実施形態による、自動車部分画像を識別するためのニューラルネットワークのネットワーク構造の概略図である。 本出願の一実施形態による、画像に基づく車両損傷判定装置のモジュールの概略構造図である。 本出願の一実施形態による、電子デバイスの概略構造図である。 本出願の一実施形態による、車両損傷判定の処理シナリオの概略図である。 本出願の一実施形態による、車両修理を計画するためのコンピュータ実装方法の一例を示す流れ図である。

当業者が本出願における技術的解決策をより良く理解する助けになるように、次に、本出願の実施形態の添付の図面を参照して、本出願の実施形態における技術的解決策について、明瞭かつ完全に説明する。説明する実施形態は、ほんの一部であり、本出願の実施形態のすべてというわけでないことは明らかである。創造的な努力なしに本出願の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本出願の保護範囲内に入るものとする。

図１は、本出願の一実施形態による、画像に基づく車両損傷判定方法の流れ図である。本出願は、次の実施形態または添付の図面に示されている方法動作ステップまたは装置構造を提供するが、この方法または装置は、従来のまたは非創造的な努力に基づいて、より多くの動作ステップもしくはモジュールユニット、または組合せ後のより少ない動作ステップもしくはモジュールユニットを含んでいてもよい。論理上、必要な因果関係のないステップまたは構造においては、これらのステップの実行シーケンス、または装置のモジュール構造を、本出願の実施形態または添付の図面に示されている実行シーケンスまたはモジュール構造に限定するものではない。実際の装置、サーバ、または端末製品アプリケーション（ＡＰＰ）では、方法またはモジュール構造を、実施形態または添付の図面に示されている方法もしくはモジュール構造（たとえば、並列プロセッサもしくはマルチスレッド型処理環境、またはさらには分散型処理実装環境およびサーバクラスタ実装環境）に基づいて順次または並行して行ってもよい。

擦り事故など、存在する実際の交通事故では、当事者が現場を離れることができる前に、通常、保険会社の査定員が現場の写真を撮影するのを待つ必要がある。そのため、しばしば交通渋滞が発生することがあり、多くの時間を浪費することがあり、損傷判定結果に関する情報を取得するための時間が比較的長いことがあり得る。本出願の実施形態では、交通事故が発生した場合、通常、関与する当事者車両所有者は、自分の車両、または関与する他の車両の損傷または請求状況を知りたいと望む。そのような場合に、車両所有者は、交通事故現場の写真を証拠として撮影することができる。加えて、迅速に、広範囲に、正確に、信頼性高く車両損傷判定処理するように当事者車両所有者のニーズを満たすために、ＡＰＰを使用することによって、および撮影された写真に基づいて、車両損傷および請求状況などの自動評価を行うことができる。

明確にするために、次の実施形態については、当事者車両所有者が、モバイルＡＰＰを使用することによって車両損傷判定サービスを要求するという特定の適用シナリオを使用することによって説明する。諸実施形態の適用シナリオでは、車両所有者は、交通事故現場において、モバイルデバイス（モバイルフォンなど）を使用することによって車両の被損傷場所の写真を撮影し、次いで、その写真（または画像）を、ＡＰＰを使用することによってアップロードすることができる。写真をアップロードすると、車両所有者は、車両のフロントバンパ、左フロントドア、またはテールライトなどの自動車部分に関する情報を選択または入力することができる。車両所有者によってアップロードされた単一の自動車部分の写真を取得した後、クラウドサーバは、機械学習アルゴリズムに基づいて、写真の中の自動車部分の被損傷範囲場所および損傷種類を識別することができる。次いで、クラウドサーバは、ルールエンジンを展開し、車両のモデル、場所、および修理店などの修理方針情報に基づいて、種々の価格決めスキームデータベースを呼び出し、自動車部分の少なくとも１つの修理計画を作成することができる。修理計画は、車両所有者に返信され得、車両所有者は、車両損傷判定結果を迅速に取得することができる。ユーザが保険会社従業員である場合、修理計画は、保険会社に、直接、返信されても、または修理計画が、直接、表示されてもよいことは確実である。しかしながら、この解決策の趣旨が、車両損傷判定、たとえば、保険会社もしくは修理店の自動的な車両損傷判定、または４Ｓストアもしくは他のサービスプロバイダによって提供されるセルフサービスの車両損傷判定サービスの他の実装シナリオにも適用可能であることを当業者なら理解することができる。

具体的には、一実施形態が図１に示されている。本出願による画像に基づく車両損傷判定方法の一実施形態では、この方法は、次のステップを含むことができる。

Ｓ１．自動車部分に対応する自動車部分画像を取得する。

サーバは、クライアントまたは第三者サーバ（保険会社のサーバなど）から単一の自動車部分の自動車部分画像を取得することができる。この実装形態実施形態では、先の自動車部分画像は、自動車部分の画像と見なすことができる。この実装形態実施形態における自動車部分画像は、様々なグラフィックスおよび画像の一般名とすることができ、概して、視覚効果を有する写真を示し、通常、紙、ネガ、フォト、テレビ、プロジェクタ、またはコンピュータ画面などの媒体上の写真を含むことができる。この実装形態実施形態の適用シナリオでは、自動車部分画像をアップロードするとき、車両所有者は、自動車部分画像、たとえばフロントバンパ、左フロンドドア、またはテールライトの自動車部分画像の構成要素情報を指定することができる。クライアントまたはサーバの側は、取得した自動車部分画像の対応する自動車部分の情報にタグ付けすることができることは確実である。自動車部分は、通常、たとえばフロントバンパ、左フロンドドア、またはテールライトなどの車両の構成要素である。

オプションの実施形態では、自動車部分画像の画像品質が所定の処理要件に達しているかどうかをさらに判定することができる。画像品質が比較的悪く、たとえば、写真がぼやけていて識別できない場合、自動車部分画像は破棄してよく、ユーザが写真を撮影する際の解像度に影響するピント調節および照明などの要因を考慮するようにユーザに促すためのフィードバックが、モバイルＡＰＰに返信され得る。

Ｓ２．あらかじめ構築された自動車部分損傷識別モデルを使用して自動車部分画像を解析することによって、自動車部分の被損傷範囲および損傷種類を判定する。

自動車部分画像を取得した後、クラウドサーバ側は、画像の中の自動車部分の被損傷範囲および損傷種類を識別するために、あらかじめ構築された自動車部分損傷識別モデルを使用することによって自動車部分画像を解析することができる。この実施形態における被損傷範囲は、通常、車両上の損傷を受けている部分である。被損傷自動車部分は、複数の被損傷範囲を含む場合があり、各被損傷範囲は、損傷種類（たとえば、重度の擦り傷、または軽度の変形）に対応する。この実施形態では、処理されることになる画像の中の被損傷範囲の場所領域が、損傷種類を識別するために解析され得る。この実施形態における損傷種類は、軽度の擦り傷、重度の擦り傷、軽度の変形、中程度の変形、重度の変形、損傷、および分解要求検査などの種類を含むことができる。

この実施形態では、設計済みの機械学習アルゴリズムを事前に使用して、画像の中の自動車部分の被損傷範囲および損傷種類を識別するのに使用される構成要素損傷識別モデルを構築することができる。サンプル訓練の後、構成要素損傷識別モデルは、自動車部分画像の中の自動車部分の被損傷範囲および損傷種類を識別することができる。この実施形態では、構成要素損傷識別モデルは、ディープニューラルネットワークのネットワークモデルまたは変換されたネットワークモデルを使用することができ、サンプル画像訓練の後に構築される。本出願において提供される方法の別の実施形態では、構成要素損傷識別モデルは、プーリング層、全結合層などに関して畳み込みニューラルネットワーク（ＣＮＮ）および領域提案ネットワーク（ＲＰＮ：region proposal network）に基づいて構築可能である。そのため、本出願の方法の別の実施形態では、構成要素損傷識別モデルは、次を含む。

Ｓ２０１．サンプルデータ訓練の後、畳み込み層および領域提案層のネットワークモデルに基づいて構築されたディープニューラルネットワーク。

畳み込みニューラルネットワークは、通常、活性化層などの他の層に関して畳み込み層（ＣＮＮ）を主に含むニューラルネットワークであり、主に画像識別に使用される。この実施形態におけるディープニューラルネットワークは、畳み込み層および他の重要層（プーリング層、データ正規化層、及び活性化層など）を含むことができ、領域提案ネットワーク（ＲＰＮ）に関して構築される。畳み込みニューラルネットワークは、通常、画像処理の際、２次元の離散畳み込み演算を人工ニューラルネットワークと組み合わせる。畳み込み演算は、特徴を自動的に抽出するのに使用され得る。領域提案ネットワーク（ＲＰＮ）は、（任意のサイズの）画像から抽出される特徴を入力として使用し（畳み込みニューラルネットワークによって抽出された２次元の特徴が使用され得る）、長方形のターゲット提案ボックスの組を出力することができる。各ボックスは、オブジェクトスコアを有する。混乱を避けるために、この実施形態では、使用される畳み込みニューラルネットワーク（ＣＮＮ）は、畳み込み層（ＣＮＮ）と呼ぶことができ、領域提案ネットワーク（ＲＰＮ）は、領域提案層（ＲＰＮ）と呼ぶことができる。本出願の別の実施形態では、構成要素損傷識別モデルは、サンプルデータ訓練の後、ＣＮＮネットワークまたはＲＰＮが改良された後に得られる変換されたネットワークモデルに基づいて構築されたディープＣＮＮをさらに含むことができる。

先の実施形態において使用されたモデルおよびアルゴリズムは、同一のモデルまたはアルゴリズムを選択することができる。具体的には、たとえば、構成要素識別モデルにおいては、畳み込みニューラルネットワークおよび領域提案ネットワークに基づく複数のモデルおよび変換形、たとえば、Faster R-CNN、YOLO、Mask-FCNが使用され得る。畳み込みニューラルネットワーク（ＣＮＮ）は、任意のＣＮＮモデル、たとえば、ResNet、Inception、VGG、およびそれらの変換形を使用することができる。概して、ニューラルネットワークにおける畳み込みネットワーク（ＣＮＮ）部分は、オブジェクト識別において比較的優れた能力を有する発展型ネットワーク構造、たとえば、InceptionまたはResNetネットワークを使用することができる。一例としてＲｅｓＮｅｔネットワークを使用すると、入力が写真である場合、出力は、被損傷範囲、対応する損傷カテゴリ（損傷カテゴリは、損傷種類を判定するのに使用される）、および信頼度（信頼度は、損傷種類の信憑性の程度を示すパラメータである）を含む複数の写真領域とすることができる。Faster R-CNN、YOLO、Mask-FCNなどは、畳み込み層を含むディープニューラルネットワークであり、この実施形態において使用され得る。この実施形態において使用されるディープニューラルネットワークは、領域提案層およびＣＮＮ層に関して、自動車部分画像の中の被損傷範囲、損傷種類、および被損傷範囲の場所領域を検出することができる。

本出願の一実施形態では、自動車部分画像が、自動車部分画像の中の自動車部分の被損傷範囲および損傷種類を識別するために、個々のアルゴリズムサーバを使用することによって解析され得ることに留意すべきである。たとえば、サービスサーバは、自動車部分の自動車部分画像を取得し、修理計画を出力するように構成されている。アルゴリズムサーバもまた、構築された構成要素損傷識別モデルを記憶し、サービスサーバ上の自動車部分画像を解析および識別し、自動車部分の被損傷範囲および損傷種類を判定するように構成され得る。先の処理もまた、同一のサーバによって行うことができることは確実である。

Ｓ３．自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成する。

自動車部分の被損傷範囲および損傷種類を判定した後、アルゴリズムサーバは、先の情報および所定の処理ルールに基づいて、自動車部分の修理計画を作成することができる。たとえば、２０１６年式メーカＡ１のＢ１モデル車両の左フロントパネルに、軽度の変形があって、鈑金処理を要し、２０１０年式メーカＡ２のＢ２モデル車両の左フロントドアに、重度の擦り傷および重度の変形があって、交換処理を要し、２０１３年式メーカＡ３のＢ３モデル車両のフロントバンパに、軽度の擦り傷があって、吹き付け塗装を要し、点検のために左ヘッドライトを分解する必要がある、などである。

本出願における方法の別の実施形態では、車両損傷判定における価格見積もりについてユーザのニーズを満たすために、修理計画は、自動車部分修理の推定価格に関する情報をさらに含むことができ、それによりユーザは、修理価格情報を知り、より適切な修理オプションを選択し、ユーザ要求を満たし、ユーザ経験を改善することができるようになる。そのため、本出願における方法の別の実施形態では、方法は、次のステップをさらに含むことができる。

Ｓ３００．自動車部分の修理方針に関する情報を取得する。

それに対応して、修理計画は、修理方針に対応する推定修理価格をさらに含むことができ、推定修理価格は、自動車部分の被損傷範囲、損傷種類、および修理方針、修理方針に含まれる自動車部分の価格、ならびに修理サービスの費用を含む情報に基づいて計算される、自動車部分の推定修理価格である。

図２は、本出願における方法の別の実施形態の概略流れ図である。特定の実施形態では、自動車部分のモデル、自動車部分の選択された修理場所、修理店（４Ｓストアまたは一般的な総合修理店）などの修理方針に関する情報に基づいて種々の価格ライブラリを呼び出し、仮修理処理方法および対応する推定修理価格を含む自動車部分の修理計画を作成するように、計算ルールを設計することができる。修理方針に関する情報は、ユーザによって選択可能である。たとえば、ユーザは、修理場所を（たとえば、市レベルまたは県レベルの区域に基づいて）選択し、４Ｓストアまたは総合修理店を選択し、車両ブランドおよびモデルを入力することができる。その後、アルゴリズムサーバは、自動車部分の修理方針、ならびに識別された被損傷範囲および損傷種類に関する情報に基づいて、次の修理計画を取得することができる。

２０１３年式メーカＡ３のＢ３モデル車両のフロントバンパに、軽度の擦り傷があって、吹き付け塗装を要し、その地域の４Ｓストアにおける推定修理費用は、６００人民元である。

別の実施形態では、事故現場における車両の被損傷自動車部分、損傷種類、および損傷の程度などの情報もまた、従来の車両保険会社の請求経験に基づいて取得可能であり、エンジンモジュールが、４Ｓストアにおける修理時間および費用などの情報に関して生成されることは確実である。実際の処理に使用されるＡＰＰが、自動車部分の被損傷範囲および損傷種類を識別すると、エンジンモジュールが呼び出されて、自動車部分の損傷判定結果を出力することができる。

修理方針に関する情報は、修正または差替え可能である。たとえば、ユーザが、修理のために４Ｓストアを選択することができる場合、対応する修理方針および対応する修理計画が存在する。ユーザが、修理のために総合修理店を選択した場合、別の対応する修理方針が存在し、それに応じて別の修理計画が作成される。

損傷判定には通常、２つの情報、すなわち、損傷評価と価格評価とを含めることができることを理解すべきである。本出願のこの実施形態では、自動車部分の出力された修理計画が修理費用に関する情報を含んでいない場合、損傷判定は、損傷評価とすることができる。自動車部分の出力された修理計画が修理費用に関する情報を含んでいる場合、損傷評価および価格評価がともに行われる。２つの修理計画は、車両損傷判定処理に含まれている。

本出願のこの実施形態において提供される画像に基づく車両損傷判定方法によれば、被損傷範囲および損傷種類などの情報をより広範囲に信頼性高く識別する訓練モデルが構築され得、自動車部分の被損傷範囲、および被損傷範囲に対応する損傷種類が、自動車部分の正確で広範囲な損傷判定に必要な情報を取得するために、このモデルを使用することによって検出され得る。さらには、本出願のこの実施形態では、保険スタッフおよび車両所有者に実用上の参考値とともにより正確で信頼性高い損傷判定情報を提供するために、自動車部分の修理計画が、識別された被損傷範囲および損傷種類を含む情報を使用することによって作成される。本出願の別の実施形態では、迅速で、広範囲で、正確で、信頼性高い車両損傷識判定処理に対する保険会社または車両所有者の要件を満たし、車両損傷判定処理結果の正確性および信頼性を改善し、ユーザサービス経験を改善するために、修理計画および推定修理費用が、より具体的な車両損傷情報、自動車部分価格ライブラリ、および修理処理方法に基づいて自動的に作成され得る。

別の実装シナリオでは、取得した自動車部分画像は、複数の被損傷範囲を含んでいてもよい。本出願における方法の別の実施形態では、ディープニューラルネットワークモデルは、各被損傷範囲、および各被損傷範囲の損傷程度（損傷種類）を識別するように設定され得る。具体的には、一実施形態では、現在処理されている自動車部分画像が少なくとも２つの被損傷範囲を含んでいる場合、構成要素損傷識別モデルが、次のことを行うように構成されている。

Ｓ２００．自動車部分画像に基づいて、自動車部分の被損傷範囲、および被損傷範囲に対応する１以上の損傷種類を識別する。

Ｓ２１０．１以上の損傷種類のうち、損傷程度が最も高い損傷種類に対応する被損傷範囲を自動車部分の被損傷範囲として選択する。それに対応して、最も高い損傷程度の損傷種類は、自動車部分の判定された損傷種類である。

各損傷種類は通常、それぞれの修理計画に対応する。たとえば、重度の変形は交換に対応し、軽度の変形は鈑金を要し、軽度の擦り傷は吹き付け塗装を要する。ユーザに対しては、最終的に、１つの修理計画が１つの構成要素について出力され得る。複数の部分が損傷している場合、最も悪い状態で損傷を受けている部分の修理方法が、構成要素全体の最終処理方法として使用される。概して、車両の自動車部分を全体と見なすことができる。自動車部分上の複数の範囲が損傷している場合、最も重度の損傷を処理することが適切である。この実施形態では、１つの修理計画が、損傷をすべて修理するように選択可能である。たとえば、ある被損傷範囲の損傷種類は、重度の損傷で交換を要し、別の被損傷範囲の損傷種類は、中程度の変形で鈑金を要する。この場合には、鈑金の必要がなく、交換を行うことができる。

先の実施形態では、単一の自動車部分画像の中の複数の被損傷範囲が、モデル訓練中に識別可能である。特定のサンプル訓練中、写真が入力として使用された場合、複数の写真領域および対応する損傷カテゴリが出力される。選択されたニューラルネットワークパラメータは、マーク付けされたデータを使用することによって行われるミニバッチ勾配降下訓練の後に取得可能である。たとえば、ミニバッチ＝３２であるとき、３２の訓練写真が、入力として使用される。マーク付けされたデータは、対応する種類の領域および画像にマーク付けし、実際の車両損傷写真に手動でマーク付けすることによって取得され得る。ニューラルネットワークの入力は、写真であり、出力領域は、その写真の中の被損傷範囲の数に関係している。具体的には、たとえば、１つの被損傷範囲が存在する場合、１つの写真領域が出力であってよく、Ｋ個の被損傷範囲が存在する場合、Ｋ個の写真領域が出力であってよく、被損傷範囲が１つも存在しない場合、写真領域は１つも出力されない。

損傷判定処理においては、自動車部分画像は、ニューラルネットワークに入力される。複数の被損傷範囲が存在する場合、被損傷範囲を含む複数の写真領域が検出され、写真領域が解析され、写真領域の損傷種類が判定され、写真領域に対応する被損傷範囲および損傷種類は、個別に出力される。さらには、この実施形態では、損傷種類のうち、最も高い損傷程度を示す損傷種類に対応する被損傷範囲が、自動車部分の被損傷範囲として選択され得る。それに対応して、最も高い損傷程度の損傷種類は、自動車部分の判定された損傷種類である。図３は、本出願の一実施形態による自動車部分画像を検査するためのニューラルネットワークのネットワーク構造の概略図である。

別の実装シナリオでは、単一の構成要素の複数の写真を取得した場合、被損傷範囲および損傷カテゴリが、複数の写真の解析結果を組み合わせて、より信頼性高い結果を取得するために、それらの写真から個別に検出され得る。そのため、本出願における方法の別の実施形態では、自動車部分の少なくとも２つの自動車部分画像が取得される場合、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用する自動車部分画像の解析は、次のステップを含む。

Ｓ２０．各自動車部分画像の被損傷範囲および損傷種類を判定するために、構成要素損傷識別モデルを使用することによって自動車部分画像を個別に検査する。

Ｓ２１．自動車部分の被損傷範囲および損傷種類を判定するために、所定のルールに基づいて、各自動車部分画像に対応する被損傷範囲および損傷種類を解析する。

この方法の解析するステップは、カスタマイズ可能である。たとえば、各自動車部分画像の被損傷範囲および損傷種類を判定するために、最も高い損傷程度の損傷種類が、自動車部分の出力損傷種類および対応する被損傷範囲として選択され得る。たとえば、１枚がリアバンパの側面から撮影され、もう１枚がリアバンパのフロントから撮影された２枚の写真を取得したと仮定する。フロントから撮影された写真を識別する解析結果では、リアバンパは、右側が軽度に変形している。しかしながら、側面から撮影された写真を識別することによって取得した解析結果では、リアバンパは、軽度な変形よりも重度の損傷種類を伴って損傷を受けている。フロントから撮った写真は、広範囲ではなく、側面から撮った写真は、リアバンパのより実際の損傷状況を示している。そのため、２枚の写真の解析結果は、リアバンパが損傷しているこの実施形態において提供される解決策を使用することによって組み合わせることができ、それにより出力される結果は、より信頼性高くなる。

先の画像に基づく車両損傷判定方法に基づいて、本出願は、画像に基づく車両損傷判定装置をさらに提供する。この装置は、本出願による方法を使用する、システム（分散型システムを含む）、ソフトウェア（アプリケーション）、モジュール、コンポーネント、サーバ、クライアントなどを含むことができる。装置は、必要な実装ハードウェアをさらに含むことができる。同一の発明概念に基づき、本出願の一実施形態による装置について、次の記載において説明する。問題解決のための装置の実装スキームは、方法のものと同様である。そのため、本出願における装置の特定の実施形態については、方法の実施形態を参照することができる。繰り返しの詳細については、個別に説明しない。後述の「ユニット」または「モジュール」という用語は、所定の機能のソフトウェアおよび／またはハードウェアの組合せとして実施され得る。次の実施形態において説明される装置は、ソフトウェアによって実施されることが好ましいが、装置はまた、ハードウェア、またはソフトウェアとハードウェアとの組合せによって実施されてもよい。具体的には、図４は、本出願の一実施形態による、画像に基づく車両損傷判定装置のモジュールの概略図である。図４に示されているように、装置は、自動車部分に対応する自動車部分画像を取得するように構成されている画像収集モジュール１０１と、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを記憶し、構成要素損傷識別モデルを使用することによって自動車部分画像を検査するように構成されている検査モジュール１０２と、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成するように構成されている損傷判定処理モジュール１０３とを含むことができる。

方法を参照すると、装置は、別の方式でさらに実施され得る。たとえば、構成要素損傷識別モデルは、サンプルデータ訓練の後、畳み込み層および領域提案層のネットワークモデルに基づいて構築されたディープニューラルネットワークとすることができる。あるいは、装置は、修理方針収集モジュールをさらに含み、または損傷判定処理モジュール１０３を直接使用して、自動車部分の修理方針に関する情報を取得し、推定修理価格を含む修理計画を作成することができる。詳細については、方法実施形態における関連の説明を参照することができ、したがって、ここでは、再度、説明しない。

本出願における方法または装置は、コンピュータプログラムおよび必要なハードウェアを使用することによって実施され得、デバイスにおいて構成設定され得、それにより画像に基づく車両損傷判定結果が、迅速に信頼性高く出力され得る。そのため、本出願は、サーバ側において使用され得る画像に基づく車両損傷判定装置をさらに提供することができ、この装置は、プロセッサと、プロセッサによって実行され得る命令を記憶するように構成されているメモリとを含むことができる。命令を実行すると、プロセッサは、次の動作、すなわち、自動車部分に対応する自動車部分画像を取得することと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査することと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成することとを実施する。

特定の実際の処理にあたっては、装置は、ＧＰＵ（グラフィック処理ユニット）などの他の処理ハードウェアをさらに含むことができる。先の方法において説明したように、装置の別の実施形態では、命令を実行すると、プロセッサは、次の動作、すなわち、自動車部分の修理方針に関する情報を取得することをさらに実施することができる。

それに対応して、修理計画は、修理方針に対応する推定修理価格をさらに含むことができ、推定修理価格は、自動車部分の被損傷範囲、損傷種類、および修理方針、ならびに修理方針における自動車部分の製品および／または修理サービスに対応する価格決め情報を含む情報に基づいて計算される、自動車部分の推定修理価格である。

装置の別の実施形態では、構築された構成要素損傷識別モデルの命令は、サンプルデータ訓練の後、畳み込み層および領域提案層のネットワークモデルに基づいて構築されたディープニューラルネットワークのアルゴリズム処理命令を含むことができる。

装置の別の実施形態では、命令を実行すると、現在処理されている自動車部分画像が少なくとも２つの被損傷範囲を含んでいることを確認した場合、プロセッサは、構成要素損傷識別モデルの命令を実行して、次の動作、すなわち、自動車部分画像に基づいて、自動車部分の被損傷範囲、および被損傷範囲に対応する損傷種類を識別することと、損傷種類のうち、最も高い損傷程度を示す損傷種類に対応する被損傷範囲を自動車部分の被損傷範囲として選択することであって、それに対応して、最も高い損傷程度の損傷種類が、自動車部分の判定された損傷種類である、選択することとを実施する。

装置の別の実施形態では、プロセッサが命令を実行すると、自動車部分の少なくとも２つの自動車部分画像が取得される場合、自動車部分の被損傷範囲および損傷種類を判定するために、プロセッサによって、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査することは、各自動車部分画像の被損傷範囲および損傷種類を判定するために、構成要素損傷識別モデルを使用することによって自動車部分画像を個別に検査することと、自動車部分の被損傷範囲および損傷種類の結果を判定するために、所定のルールに基づいて、自動車部分画像に対応する被損傷範囲および損傷種類に対して組合せ選択を行うこととを含む。

本出願のこの実施形態において提供される画像に基づく車両損傷判定装置によれば、被損傷範囲および損傷種類などの情報をより広範囲に信頼性高く識別する訓練モデルが構築され得、自動車部分の被損傷範囲、および被損傷範囲に対応する損傷種類が、自動車部分の正確で広範囲な損傷判定に必要な情報を取得するために、このモデルを使用することによって検出され得る。さらには、本出願のこの実施形態では、保険スタッフおよび車両所有者に実用上の参考値とともにより正確で信頼性高い損傷判定情報を提供するために、自動車部分の修理計画が、識別された被損傷範囲および損傷種類を含む情報を使用することによって作成される。本出願の別の実施形態では、迅速で、広範囲で、正確で、信頼性高い車両損傷識判定処理に対する保険会社または車両所有者の要件を満たし、車両損傷判定処理結果の正確性および信頼性を改善し、ユーザサービス経験を改善するために、修理計画および推定修理費用が、より具体的な車両損傷情報、自動車部分価格ライブラリ、および修理処理方法に基づいて自動的に作成され得る。

本出願の先の実施形態における方法または装置は、コンピュータプログラムを使用することによってサービス論理部を実装し、記憶媒体の中にサービス論理部を記録することができ、記憶媒体は、本出願の実施形態において説明する解決策の効果を実施するために、コンピュータによって読み取られ、実行され得る。そのため、本出願は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ命令を記憶し、命令が実行されると、次のステップ、すなわち、自動車部分に対応する自動車部分画像を取得するステップと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査するステップと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成するステップとが実施される。

コンピュータ可読記憶媒体は、情報を記憶するように構成されている物理装置を含むことができる。この装置は、通常、情報をデジタル化した後、情報を電気、磁気、光学などの方式で記憶する。この実施形態におけるコンピュータ可読記憶媒体は、情報を電気方式で記憶するための装置、たとえばＲＡＭおよびＲＯＭなどの様々なメモリと、情報を磁気方式で記憶するための装置、たとえばハードディスク、フロッピディスク、磁気テープ、コアメモリ、バブルメモリ、およびＵＳＢフラッシュディスクと、情報を光学方式で記憶するための装置、たとえばＣＤまたはＤＶＤとを含むことができる。量子メモリおよびグラフェンメモリなどの他の可読記憶媒体が存在することは確実である。

装置または方法は、迅速な、画像に基づく車両損傷判定処理を実施するために、画像処理のための電子デバイスに使用され得る。電子デバイスは、個別のサーバであっても、または複数のアプリケーションサーバを含むシステムクラスタであっても、または分散型システムにおけるサーバであってもよい。図５は、本出願の一実施形態による電子デバイスの概略構造図である。一実施形態では、電子デバイスは、プロセッサと、プロセッサによって実行され得る命令を記憶するように構成されているメモリとを含むことができる。命令を実行すると、プロセッサは、次の動作、すなわち、自動車部分に対応する自動車部分画像を取得することと、自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって自動車部分画像を検査することと、自動車部分の被損傷範囲および損傷種類を含む情報に基づいて自動車部分の修理計画を作成することとを実施する。

図６は、本出願の一実施形態による車両損傷判定の処理シナリオの概略図である。図６におけるクライアントは、ユーザのモバイル端末であり、別の実施シナリオにおいては、ＰＣまたは別の端末デバイスとすることができる。本出願において提供される画像に基づく車両損傷判定方法、装置および電子デバイスによれば、被損傷範囲および損傷種類は、ディープ学習技術を使用することによって検出され、被損傷範囲は、画像マッチング方法を使用することによって正確に位置特定され得、損傷判定精度は、マルチ画像検査結果を使用することによって改善し得る。画像検査技術と、自動車部分価格ライブラリと、修理ルールとを組み合わせて、修理計画および価格評価が自動的に作成される。本出願の別の実施形態では、迅速で、広範囲で、正確で、信頼性高い車両損傷識判定処理に対する保険会社または車両所有者の要件を満たし、車両損傷判定の正確性および信頼性を改善し、ユーザサービス経験を改善するために、修理計画および推定修理費用が、より具体的な車両損傷情報、自動車部分価格ライブラリ、および修理処理方法に基づいて自動的に作成され得る。

先の実施形態では、装置、電子デバイス、およびコンピュータ可読記憶媒体のいくつの実施形態について説明しているが、それらは、方法または装置の実施形態の関連の説明に基づいて、他の形でさらに実施可能であることに留意すべきである。詳細については、方法または装置の実施形態の関連の説明を参照されたい。冗長を避けるために、ここでは詳細について説明しない。

本出願は、データモデル構築、およびデータ収集、交換、計算、および画像品質処理などの判定、畳み込みニューラルネットワーク、領域提案ネットワーク、および畳み込みニューラルネットワークと領域提案ネットワークとの組合せを使用することによって生成されるディープニューラルネットワーク、推定修理価格の計算方法、ならびに同一の構成要素の複数の自動車部分画像の処理方法の説明を含んでいるが、本出願は、業界通信規格、規格データモデル、コンピュータ処理および記憶ルール、または本出願の実施形態において説明する事例に従うように限定するものではない。諸実施形態において独自に定義した方式でまたは説明した実施形態に基づいてわずかに修正されるいくつかの業界規格または実施解決策もまた、同一の、均等の、類似の、または変形した、ただし予想される実施効果を実施することができる。データ収集、記憶、判定、および処理のこれらの修正形態または変換した方法を使用することによって得られる実施形態もなお、本出願のオプションの実施形態の範囲内に入れることができる。

１９９０年代においては、技術の改善がハードウェアにおける改善（たとえば、ダイオード、トランジスタ、またはスイッチなどの回路構造における改善）であるか、またはソフトウェアにおける改善（方法手順における改善）であるかを明確に決定することができる。しかしながら、今日では、技術進歩に伴って、多くの方法における改善は、ハードウェア回路構造における直接的な改善と見なすことができる。設計者は、しばしば、改善された方法をハードウェア回路の中にプログラミングすることによって対応するハードウェア回路構造を取得する。そのため、方法手順における改善がハードウェア実体モジュールを使用することによって実施できないとは言えない。たとえば、プログラマブル論理デバイス（ＰＬＤ：programmable logic device）（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array））は、そのような集積回路であり、論理機能は、コンポーネントプログラミングに基づいてユーザによって決定される。設計者は、デジタルシステムをＰＬＤの中にプログラミングによって「集積化」し、専用の集積回路チップを設計し製造するのにチップメーカを必要としない。加えて、集積化回路チップは、現在、手作業で製造されておらず、このプログラミングは、ほとんど、「論理コンパイラ」ソフトウェアを使用することによって実施されている。それは、プログラムの開発および書込み中に使用されるソフトウェアコンパイラに似ている。コンパイルされることを待つ元のコードはまた、特定のプログラミング言語により書き込まれる必要がある。それは、ハードウェア記述言語（ＨＤＬ：hardware description language）と呼ばれる。１つのＨＤＬが存在するだけでなく、ＡＢＥＬ（Advanced Boolean表現言語）、ＡＨＤＬ（Alteraハードウェア記述言語）、Confluence、ＣＵＰＬ（Cornell Universityプログラミング言語）、ＨＤＣａｌ、ＪＨＤＬ（Javaハードウェア記述言語）、Ｌａｖａ、Ｌｏｌａ、ＭｙＨＤＬ、ＰＡＬＡＳＭ、およびＲＨＤＬ（Rubyハードウェア記述言語）などの複数のＨＤＬが存在する。ＶＨＤＬ（超高速集積回路ハードウェア記述言語）およびＶｅｒｉｌｏｇが、現在、最も頻繁に使用されている。また、論理方法手順を実装するハードウェア回路を得るためには、方法手順を、先のハードウェア記述言語を使用することによって論理的にプログラミングし、集積回路の中にプログラミングすることが必要なだけであることを当業者は理解すべきである。

コントローラは、任意の適切な方式で実施され得る。たとえば、コントローラは、マイクロプロセッサ、プロセッサ、プロセッサ（マイクロプロセッサ）によって実行され得るコンピュータ可読プログラムコード（たとえば、ハードウェアまたはファームウェア）を記憶するコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路（ＡＳＩＣＳ）、プログラマブル論理コントローラ、および埋込み型マイクロコントローラの形態で実施され得る。コントローラには、限定するものではないが、次のマイクロコントローラ、すなわち、ＡＲＣの６２５Ｄ、AtmelのAT91SAM、MicrochipのPIC18F26K20、およびSilicone LabsのC8051F320が含まれる。メモリコントローラは、メモリの制御論理部として実装され得る。また、コンピュータ可読プログラムコードのみを使用することによってコントローラを実装することに加えて、方法ステップが、論理的にプログラミングされ得、それによりコントローラは、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、埋込み型マイクロコントローラなどの形態で同一の機能を実施することは、当業者なら知っている。そのため、コントローラは、ハードウェア構成要素と見なすことができ、コントローラに含まれ、様々な機能を実施するように構成されている装置もまた、ハードウェア構成要素における構造と見なすことができる。あるいは、様々な機能を実施するように構成されている装置は、方法を実施するソフトウェアモジュールとハードウェア構成要素における構造との両方と見なすことができる。

様々な実施形態において説明したシステム、装置、モジュール、またはユニットは、具体的には、コンピュータチップもしくは実体によって実施され、または特定の機能を有する製品によって実施され得る。典型的な実施デバイスは、コンピュータである。具体的には、コンピュータは、パーソナルコンピュータ、ラップトップコンピュータ、車載ヒューマンコンピュータ対話デバイス、セルラフォン、カメラフォン、スマートフォン、パーソナルデジタルアシスタント、メディアプレイヤ、ナビゲーションデバイス、電子メールデバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスのうちのいずれかの組合せとすることができる。

本出願は、実施形態または流れ図において説明した方法動作ステップを提供するが、従来式または非創造的な方法に基づいて、より多くのまたはより少ない動作ステップを含めることができる。実施形態に挙げられているステップシーケンスは、単に複数のステップ実行シーケンスのうちの１つにすぎず、一意の実行シーケンスを表すものではない。実際の装置または端末製品の実行にあたっては、ステップは、実施形態または添付の図面に示された方法（たとえば、並列プロセッサまたはマルチスレッド型処理環境、さらには分散型データ処理環境）に基づいて順次または並行して行われてもよい。「含む(include)」、「含んでいる(contain)」という用語、または他の任意の変形は、非排他的包含を網羅することを意味し、それにより一連の要素を含む処理、方法、製品、またはデバイスが、それらの要素を含むだけでなく、明示的に挙げられていない他の要素も含むことになり、または処理、方法、製品、もしくはデバイスに固有の要素をさらに含むことになる。これ以上の限定事項がない場合、同一のまたは均等の他の要素が、それらの要素を含む処理、方法、製品、またはデバイスにさらに含められ得る。

説明を容易にするために、装置については、機能の観点から様々なモジュールに装置を分割することによって説明する。本出願の実施中に、モジュールの機能が、１つもしくは複数のソフトウェアおよび／もしくはハードウェアにおいて実施され得、または同一の機能を実施する複数のサブモジュールもしくはサブユニットが、連帯で実施され得ることは確実である。説明した装置実施形態は、ほんの一例にすぎない。たとえば、ユニット分割は、単なる論理的機能分割であり、実際の実施形態においては他の分割であってもよい。たとえば、複数のユニットまたは構成要素が、組み合わせられ、もしくは別のシステムに一体化され得、またはいくつかの機能は、無視しても、もしくは行わなくてもよい。加えて、表示され、または論じられている相互結合もしくは直接結合または通信接続は、いくつかのインタフェースを使用することによって実施され得る。装置またはユニット間の間接的な結合または通信接続は、電子的、機械的、または他の形態で実施され得る。

また、コンピュータ可読プログラムコードのみを使用することによってコントローラを実装することに加えて、方法ステップが、論理的にプログラミング可能であり、それによりコントローラは、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、埋込み型マイクロコントローラなどの形態で同一の機能を実施することは、当業者なら知っている。そのため、コントローラは、ハードウェア構成要素と見なすことができ、コントローラに含まれ、様々な機能を実施するように構成されている装置もまた、ハードウェア構成要素における構造と見なすことができる。あるいは、様々な機能を実施するように構成されている装置は、方法を実施するソフトウェアモジュールとハードウェア構成要素における構造との両方と見なすことができる。

本開示については、本開示の実施形態による方法、デバイス（システム）、およびコンピュータプログラム製品の流れ図および／またはブロック図を参照して説明している。コンピュータプログラム命令が、流れ図および／またはブロック図の中の各処理および／またはブロック、ならびに流れ図および／またはブロック図の中の処理および／またはブロックの組合せを実施するために使用され得ることを理解すべきである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、埋込み型プロセッサ、または他の任意のプログラマブルデータ処理デバイスのプロセッサに提供されて機械を生成することができ、それによりコンピュータまたは他の任意のプログラマブルデータ処理デバイスのプロセッサによって実行される命令は、流れ図の中の１以上の処理および／またはブロック図の中の１以上のブロックにおける特定の機能を実施するための装置を生成することになる。

これらのコンピュータプログラム命令は、コンピュータまたは他の任意のプログラマブルデータ処理デバイスに特定の方式で動作するように指示することができるコンピュータ可読メモリに記憶され得、それによりコンピュータ可読メモリに記憶された命令は、命令装置を含むアーチファクトを生成することになる。命令装置は、流れ図の中の１以上の処理および／またはブロック図の中の１以上のブロックにおける特定の機能を実施する。

これらのコンピュータプログラム命令は、コンピュータまたは別のプログラマブルデータ処理デバイスにロードされ得、それにより一連の動作およびステップが、コンピュータまたは別のプログラマブルデバイスにおいて行われ、それによってコンピュータ実装処理が生成される。そのため、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、流れ図の中の１以上の処理および／またはブロック図の中の１以上のブロックにおける特定の機能を実施するためのステップを提供する。

典型的な構成では、コンピューティングデバイスは、１以上の中央処理ユニット（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース、およびメモリを含む。

メモリは、非持続的メモリ、ランダムアクセスメモリ（ＲＡＭ）、および／または読取り専用メモリ（ＲＯＭ）もしくはフラッシュメモリ（フラッシュＲＡＭ）などの不揮発性メモリをコンピュータ可読媒体に含むことができる。メモリは、コンピュータ可読媒体の一例である。

コンピュータ可読媒体は、持続的媒体および非持続的媒体、または任意の方法もしくは技術を使用することによって情報を記憶することができる可動式媒体および可動でない媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータとすることができる。コンピュータ記憶媒体には、限定するものではないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、別のタイプのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは別のメモリ技術、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶部、カセット磁気テープ、テープもしくはディスク記憶デバイスまたは他の磁気記憶デバイス、あるいはコンピューティングデバイスによってアクセス可能な情報を記憶するように構成され得る他の任意の非伝送媒体が含まれる。本明細書において定義されているように、コンピュータ可読媒体は、一時的媒体、たとえば変調データ信号および搬送波を含まない。

本出願の実施形態が、方法、システム、またはコンピュータプログラム製品として提供され得ることを当業者なら理解するべきである。そのため、本出願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアとの組合せによる実施形態の形態を使用することができる。その上、本出願は、コンピュータが使用可能なプログラムコードを含む１以上のコンピュータが使用可能な記憶媒体（限定するものではないが、ディスクメモリ、ＣＤ－ＲＯＭ、および光メモリなどを含む）において実装されるコンピュータプログラム製品の形態を使用することができる。

本出願は、コンピュータによって実行されるコンピュータ実行可能命令、たとえばプログラムモジュールの一般的な文脈で説明することができる。概して、プログラムモジュールは、特定のタスクを実行しまたは特定の抽象データ型を実装するためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本出願はまた、通信ネットワークを使用することによって接続されているリモート処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。分散型コンピューティング環境では、プログラムモジュールは、記憶デバイスを含むローカルとリモートの両方のコンピュータ記憶媒体にあってよい。

本明細書における実施形態はすべて、漸進的な形で記載されており、実施形態の中の同一または類似の部分については、これらの実施形態を参照することができ、各実施形態は、他の実施形態との相違に焦点を合わせている。特に、システム実施形態は、基本的に方法実施形態と同様であり、そのため、簡潔に説明している。関連の部分については、方法実施形態における部分的な説明を参照されたい。本明細書の説明においては、「一実施形態(an implementation)」、「いくつかの実施形態(some implementations)」、「一例(an example)」、「特定の例(a specific example)」、および「いくつかの例(some examples)」のような参照用語に関する説明は、実施形態または例を参照して説明した特定の特徴、構造、材料、または特性が、本出願の少なくとも１つの実施形態または例に含まれていることを意味する。本明細書においては、用語の例示的な表現は、必ずしも同一の実施形態または例に対するものではない。加えて、説明した特定の特徴、構造、材料、または特性は、実施形態または例の任意の１以上において適切な方式で組合せ可能である。その上、互いに矛盾しない限り、本明細書に説明した種々の実施形態または例および種々の実施形態または例の特性を当業者なら統合し、または組み合わせることができる。

先の説明は、本出願の単なる実施形態にすぎず、本出願を限定することを意図するものではない。当業者に対しては、本出願は、様々な修正形態および変更形態を有することができる。本出願の趣旨および原理から逸脱することなく作成された任意の修正形態、均等の置換形態、または改良形態も、本出願の特許請求の範囲の範囲内に入るものとする。

図７は、本開示の一実施形態による車両修理計画を作成するためのコンピュータ実装方法７００の一例を示す流れ図である。提示を明確にするために、後に続く説明では、概して、本明細書における他の図の文脈で方法７００について説明する。しかしながら、方法７００が、適宜、たとえば、任意のシステム、環境、ソフトウェア、およびハードウェア、またはシステムと、環境と、ソフトウェアと、ハードウェアとの組合せによって行われてもよいことは理解されよう。いくつかの実施形態では、方法７００の様々なステップを、並行して、組合せで、ループで、または任意の順序で実行してもよい。

ステップ７０２においては、車両損傷データが受信される。車両には、車、トラック、船舶、電車、ヘリコプタ、および／または飛行機など、任意の種類の自家用または公共用の車両を含めることができる。いくつかの実施形態では、車両損傷データは、車両運転者または車両所有者などのユーザから受信される。車両運転者は、被損傷車両に関与する事故現場において、モバイルデバイス（モバイルフォンなど）を使用することによって車両の被損傷場所の１枚または複数枚の写真（または画像）を撮影することができる。車両運転者は、写真を直接、アップロードする、または車両所有者に写真を送信してそれらをアップロードすることができる。たとえば、ユーザは、収集した写真をアップロードするために、車両修理を支援するように構成されているアプリケーションにアクセスすることができる。アプリケーションは、伝送されるデータ量を最小限に抑えて帯域幅要件を最小限に抑えるために、画像を自動的に処理するように構成され得る。画像の処理は、損傷識別に無関係である特徴（たとえば、背景特徴）を削除するために、画像のフィルタリングを含むことができる。画像の処理は、伝送帯域幅要件を最小限に抑えるために、グレースケール画像への変換を含むことができる。画像の処理は、伝送帯域幅要件を最小限に抑えるために、所定のファイルサイズへの圧縮を含むことができる。写真に加えて、ユーザは、ユーザ識別子（たとえば、氏名およびパスワード）、およびアップロードされた写真に関連するデータを提供することができる。データは、損傷を受けた自動車部分の指示（たとえば、車両のフロントバンパ、左フロントドア、またはテールライト）、車両所有者、保険情報、損傷を受けた車両に関連する他の当事者の保険情報、事故状態、事故の場所および時間を含むことができる。ステップ７０２から、方法７００はステップ７０４に進む。

ステップ７０４においては、車両損傷データは、データ品質が許容範囲であり、十分であるかどうかを判定するように処理される。車両損傷データが品質閾値を下回り、または車両損傷データの一部が欠けている場合、ステップ７０４から、方法７００はステップ７０６に進む。

ステップ７０６においては、追加の処理損傷データが、ユーザに要求される。たとえば、ユーザは、画像処理を可能にする特定の規格に適合する追加の写真を提供するように指示され得る。いくつかの実施形態では、ユーザは、アップロードされた写真に関連する追加のデータを提供するように指示され得る。ステップ７０６から、方法７００はステップ７０２に戻る。

車両損傷データが品質閾値を上回る場合、ステップ７０４から、方法７００はステップ７０８に進む。７０８においては、受信した車両損傷データは、ユーザ識別子に基づいてユーザ情報を読み出し、特定のモデルに基づいて自動車部分の１以上の被損傷範囲場所およびそれぞれの１以上の損傷種類を識別するように処理される。モデルは、画像の中の車両部分の被損傷範囲および損傷種類を識別するために、あらかじめ構築された車両部分損傷識別モデルを使用することによって車両画像を解析するための１以上の画像処理技法を行うように構成され得る。被損傷範囲は、車両上の損傷を受けている部分を含む。被損傷車両部分は、複数の被損傷範囲を含む場合があり、各被損傷範囲は、損傷種類（たとえば、重度の擦り傷、または軽度の変形）に対応する。いくつかの実施形態では、処理されることになる画像の中の被損傷範囲の場所領域が、損傷種類を識別するために解析され得る。損傷種類には、軽度の擦り傷、重度の擦り傷、軽度の変形、中程度の変形、重度の変形、損傷、および分解要求検査を含めることができる。いくつかの実施形態では、損傷種類は、軽度の損傷と、中程度の損傷と、重度の損傷とを区別するために、スコア（たとえば、１、２、３）を使用して定量化することができる。車両部分損傷識別モデルは、図１～図３を参照して説明したように、機械学習アルゴリズム、畳み込みニューラルネットワーク（ＣＮＮ）、および領域提案ネットワーク（ＲＰＮ）を含むことができる。いくつかの実施形態では、損傷の識別は、損傷の重症度に基づく損傷ランク付けの作成を含むことができる。たとえば、車両が複数の被損傷範囲を含む場合、車両の全体的な損傷は、被損傷範囲の損傷スコアを使用してランク付けされ得る。ステップ７０８から、方法７００はステップ７１０に進む。

ステップ７１０においては、修理計画が、識別された被損傷範囲場所および損傷種類に基づいて作成される。修理計画は、ルールエンジンを使用して作成され得る。ルールエンジンは、ルールセットに基づいて、識別された損傷を修復することができる修理サービスを含む被損傷車両部分の少なくとも１つの修理計画を作成するために、車両のモデル、場所、および利用可能な修理店に関連する修理方針に基づいて種々の価格決めスキームデータベースを呼び出すことができる。ルールは、フロントエンドルールおよびバックエンドルールを含むことができる。フロントエンドルールは、修理計画を判定するのに必要な最小限の種類の情報種類など、契約要件を示すことができる。これらの契約に基づく機能は、人件費、特定の仕事ごとに支払われるべき時間、または修理計画によってカバーされる作業の他の任意の側面を含むことができる。バックエンドルールは、修理計画が、識別された損傷と整合するかどうかを示すことができる（たとえば、フロントエンド衝突の場合には、システムは、修理を要すると示されたリアのテールライト組立部にフラグを立てることになる）。修理計画は、可能な修理サービスおよび場所に対応する費用推定と時間推定を含むことができる。いくつかの実施形態では、修理計画の作成は、譲渡推定を作成するために、最初の失効通知（ＦＮＯＬ：first notice of loss）処理の一部として、１以上の車両修理店への譲渡データの送信を含む。譲渡データには、限定するものではないが、損傷情報、顧客氏名、連絡先情報、保険請求番号、譲渡日、失効日、失効種類、失効種類詳細、失効記載、現在の車両場所、車両を送ることができる場所、控除可能額、車両種類、年式／製造／モデル、車両識別番号（ＶＩＮ：vehicle identification number）、ナンバープレート番号、レッカー車会社情報、損傷情報、以前の損傷情報、および車両安全状況（運転可能／運転不可能）を含めることができる。ステップ７１０から、方法７００はステップ７１２に進む。

ステップ７１２においては、修理計画は、車両に関連するユーザおよび／または保険業者に送信される。修理計画の送信は、車両修理を支援するように構成されているアプリケーションによる解釈可能な修理計画コードの生成を含むことができる。計画コードは、帯域幅要件を最小限に抑え、可視化処理の速度を上げるために、伝送されるデータ量を最小限に抑えるようにフォーマットされ得る。アプリケーションは、修理計画が再検討される準備ができていることを示すための、ユーザに対する警告を生成するように構成され得る。アプリケーションは、モバイルデバイスのユーザに対して修理計画をアプリケーションのグラフィカルユーザインタフェースにおいて表示するように構成され得る。ステップ７１２から、方法７００はステップ７１４に進む。

ステップ７１４においては、修理計画の承認が、ユーザおよび／または保険業者から受信され得る。修理計画の承認は、ユーザ、保険業者、および／または第三者に、金銭的責任が受諾されるかどうかを示すことができる。修理計画の承認は、修理店の選択、および提案された修理計画に挙げられている可能な修理サービスの少なくとも一部を含むことができる。修理計画の承認は、修理計画を開始するための好ましいタイミングを含むことができる。ステップ７１４から、方法７００はステップ７１６に進む。

ステップ７１６においては、修理計画の承認の受信に応答して、修理計画が、開始される。修理計画の開始は、修理工程を行うための選択された車両修理店への作業譲渡データの送信を含むことができる。車両修理店と通信することの利点は、請求および／または修理の過程中に、情報のうちのいずれかが変わったとき、リアルタイム更新を提案できることであり、顧客の修理を早めることができる。ステップ７１６の後、方法７００は終了する。

本開示の実施形態は、対応するデータ共有効率を改善するとともに、帯域幅要件を最小限に抑え、車両修理計画作成処理の速度を上げるために、伝送されるデータ量を最小限に抑えることによってコンピューティングリソースを低減させることができる。

本明細書に説明した実施形態および動作は、本明細書において開示される構造を含むデジタル電子回路機構、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、あるいはそれらのうちの１以上の組合せにおいて実施され得る。動作は、１以上のコンピュータ可読記憶デバイスにおいて記憶されたデータ、または他のソースから受信したデータに対してデータ処理装置によって行われる動作として実施され得る。データ処理装置、コンピュータ、またはコンピューティングデバイスは、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、もしくは前述の複数のものまたは組合せを含む、データを処理するための装置、デバイス、および機械を包含することができる。装置は、専用論理回路機構、たとえば、中央処理ユニット（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むことができる。装置はまた、問題のコンピュータプログラムの実行環境を生成するコード、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム（たとえば１つのオペレーティングシステム、またはオペレーティングシステムの組合せ）、クロスプラットフォームランタイム環境、仮想機械、またはそれらのうちの１つもしくは複数の組合せを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散型コンピューティングおよびグリッドコンピューティングインフラストラクチャなど、種々の様々なコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（たとえば、プログラム、ソフトウェア、ソフトウェアアプリケーション、ソフトウェアモジュール、ソフトウェアユニット、スクリプト、またはコードとしても知られている）は、コンパイル型言語またはインタープリタ型言語、宣言型言語または手続き型言語を含む任意の形態のプログラミング言語の形態で記述され得、それは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他のユニットとして含む、任意の形態で展開され得る。プログラムは、他のプログラムもしくはデータを保持するファイルの一部（たとえば、マークアップ言語ドキュメントに記憶されている１以上のスクリプト）に、問題のプログラムに専用の単一のファイルに、または複数の協調ファイル（たとえば、１以上のモジュール、サブプログラム、またはコード部を記憶するファイル）に記憶され得る。コンピュータプログラムは、１つのサイトに位置する、または複数のサイトにわたって分散され、通信ネットワークによって相互接続されている、１つのコンピュータにおいてまたは複数のコンピュータにおいて実行され得る。

コンピュータプログラムを実行するためのプロセッサは、例として、汎用マイクロプロセッサと専用のマイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の１以上のプロセッサを含む。概して、プロセッサは、読取り専用メモリ、もしくはランダムアクセスメモリ、またはその両方から、命令およびデータを受信することになる。コンピュータの必須要素は、命令に従ってアクションを行うためのプロセッサ、ならびに命令およびデータを記憶するための１以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１以上の大容量記憶デバイスを含む、あるいはその大容量記憶デバイスからデータを受信する、もしくはその大容量記憶デバイスにデータを転送する、またはその両方を行うように動作可能に結合されることになる。コンピュータは、別のデバイス、たとえばモバイルデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯型記憶デバイスに埋め込むことができる。コンピュータプログラムの命令およびデータを記憶するのに適したデバイスには、例として、半導体メモリデバイス、磁気ディスク、および磁気光学ディスクを含む、不揮発性のメモリ、媒体およびメモリデバイスが含まれる。プロセッサおよびメモリは、専用論理回路機構によって補完され、またはその中に組み込まれていてもよい。

モバイルデバイスは、ハンドセット、ユーザ機器（ＵＥ）、モバイル電話（たとえば、スマートフォン）、タブレット、ウェアラブルデバイス（たとえば、スマートウォッチおよびスマートメガネ）、人体の中の埋込み型デバイス（たとえば、バイオセンサ、人工内耳）、または他の種類のモバイルデバイスを含み得る。モバイルデバイスは、ワイヤレスで（たとえば、無線周波数（ＲＦ）信号を使用して）、（後述する）様々な通信ネットワークと通信することができる。モバイルデバイスは、モバイルデバイスの現在の環境の特性を決定するためのセンサを含むことができる。センサは、カメラ、マイクロフォン、近接センサ、ＧＰＳセンサ、モーションセンサ、加速度計、周囲光センサ、水分センサ、ジャイロスコープ、コンパス、気圧計、指紋センサ、顔認識システム、ＲＦセンサ（たとえば、Ｗｉ－Ｆｉおよびセルラ無線）、熱センサ、または他の種類のセンサを含むことができる。たとえば、カメラは、可動式または固定式のレンズ、フラッシュ、画像センサ、および画像プロセッサを備える前方または後方カメラを含むことができる。カメラは、顔および／または虹彩認識のための細部をキャプチャすることができるメガピクセルカメラとすることができる。データプロセッサ、およびメモリに記憶され、またはリモートでアクセスされる認証情報と相まって、カメラは、顔認識システムを形成することができる。顔認証システムまたは１つもしくは複数のセンサ、たとえば、マイクロフォン、モーションセンサ、加速度計、ＧＰＳセンサ、もしくはＲＦセンサは、ユーザ認証に使用され得る。

ユーザとの対話を可能にするために、諸実施形態は、表示デバイスおよび入力デバイス、たとえば情報をユーザに表示するための液晶ディスプレイ（ＬＣＤ）または有機発光ダイオード（ＯＬＥＤ）／仮想現実（ＶＲ）／拡張現実感（ＡＲ）ディスプレイ、ならびにユーザがコンピュータに入力を提供することができるタッチ画面、キーボード、およびポインティングデバイスを有するコンピュータにおいて実施され得る。他の類のデバイスを使用して、同様にユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することができる。加えて、コンピュータは、たとえば、ユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信した要求に応答して、ウェブページを送信することによって、ユーザが使用するデバイスとの間でドキュメントを送受信することによってユーザと対話することができる。

実施形態は、任意の形態または媒体の有線またはワイヤレスのデジタルデータ通信（またはそれらの組合せ）、たとえば通信ネットワークによって相互接続されたコンピューティングデバイスを使用して実施され得る。相互接続されたデバイスの例は、通常、通信ネットワークを介して対話する、互いとは概してリモートのクライアントおよびサーバである。クライアント、たとえばモバイルデバイスは、サーバとのまたはサーバを介した取引自体、たとえば購入、販売、支払い、寄付、送付、もしくは融資の取引を行うこと、またはそれを承認することを実行することができる。そのような取引は、アクションと応答が時間的に近接するように、たとえば、ある人がアクションと応答とがほぼ同時に起こることを知覚し、その人のアクションに続く応答の時間差が１ミリ秒（ｍｓ）未満もしくは１秒（ｓ）未満になる、または応答がシステムの処理限度を考慮して意図的に遅れることがないように、リアルタイムとすることができる。

通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、無線アクセスネットワーク（ＲＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、および広域ネットワーク（ＷＡＮ）が含まれる。通信ネットワークは、インターネットのすべてもしくは一部、別の通信ネットワーク、または通信ネットワークの組合せを含むことができる。情報は、ロングタームエボリューション（ＬＴＥ）、５Ｇ、ＩＥＥＥ８０２、インターネットプロトコル（ＩＰ）、または他のプロトコルもしくはプロトコルの組合せを含む様々なプロトコルおよび規格に従って、通信ネットワークにおいて伝送され得る。通信ネットワークは、接続されたコンピューティングデバイス間で音声、映像、バイオメトリック、もしくは認証データ、または他の情報を伝送することができる。

個別の実施形態として説明した特徴は、単一の実施形態において組合せで実施されても、一方、単一の実施形態として説明した特徴は、個別にまたは任意の適切な副組合せで複数の実施形態において実施されてもよい。特定の順序で説明され特許請求されている動作は、特定の順序を実行しなくてはならないことも、または例示のすべての動作を実行しなくてはならないことも要求されているものと理解すべきではない（いくつかの動作はオプションとすることができる）。適宜、マルチタスキングまたは並列処理（またはマルチタスキングと並列処理の組合せ）が実行され得る。
［付記項１］
車両損傷を判定するための画像に基づく方法であって、
自動車部分に対応する自動車部分画像を取得するステップと、
前記自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって前記自動車部分画像を検査するステップと、
前記自動車部分の前記被損傷範囲および前記損傷種類を含む情報に基づいて前記自動車部分の修理計画を作成するステップと
を含む、画像に基づく方法。
［付記項２］
前記自動車部分の修理方針に関する情報を取得するステップであって、それに対応して、前記修理計画は、前記修理方針に対応する推定修理価格をさらに含むことができ、前記推定修理価格は、前記自動車部分の前記被損傷範囲、前記損傷種類、および前記修理方針を含む前記情報に基づいて、かつ、前記修理方針における前記自動車部分の製品および／または修理サービスに対応する価格データを問い合わせした後に、計算される、前記自動車部分の推定修理価格である、ステップをさらに含む、
付記項１に記載の方法。
［付記項３］
前記構成要素損傷識別モデルが、
サンプルデータ訓練の後に、かつ、畳み込みニューラルネットワークおよび領域提案ネットワークを含むネットワークモデルに基づいて、構築されたディープニューラルネットワークを含む、付記項１に記載の方法。
［付記項４］
前記構成要素損傷識別モデルが、
入力として、自動車部分画像を受信し、
被損傷範囲を含む１以上の画像領域を検出し、
前記検出された画像領域を解析し、
前記画像領域の損傷種類を判定し、
出力として、前記画像領域に対応する１以上の被損傷範囲および損傷種類を生成する
ように構成されている、付記項３に記載の方法。
［付記項５］
前記複数の画像領域の数が、前記自動車部分画像の中の被損傷範囲の数に関係している、付記項４に記載の方法。
［付記項６］
前記サンプルデータ訓練が、マーク付けされたデータを使用するミニバッチ勾配降下訓練を行うことを含み、前記マーク付けされたデータが、対応する損傷種類のマーク付けされた損傷領域を伴う画像を含む、付記項３から５のいずれか一項に記載の方法。
［付記項７］
現在処理されている自動車部分画像が少なくとも２つの被損傷範囲を含んでいることが確認された場合、前記構成要素損傷識別モデルは、
前記自動車部分画像に基づいて、前記自動車部分の前記被損傷範囲および前記被損傷範囲に対応する損傷種類を識別することと、
前記損傷種類のうち、最も高い損傷程度を示す損傷種類に対応する被損傷範囲を前記自動車部分の前記被損傷範囲として選択することであって、それに対応して、前記最も高い損傷程度の前記損傷種類が、前記自動車部分の判定された損傷種類である、選択することと
を行うように構成されている、付記項２から６のいずれか一項に記載の方法。
［付記項８］
前記自動車部分の少なくとも２つの自動車部分画像が取得される場合、前記自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって前記自動車部分画像を前記検査するステップが、
各自動車部分画像の被損傷範囲および損傷種類を判定するために、前記構成要素損傷識別モデルを使用することによって前記自動車部分画像を個別に検査するステップと、
前記自動車部分の前記被損傷範囲および前記損傷種類の結果を判定するために、所定のルールに基づいて、前記自動車部分画像に対応する前記被損傷範囲および前記損傷種類に対して組合せ選択を行うステップと
を含む、付記項７に記載の方法。
［付記項９］
前記自動車部分の前記被損傷範囲および前記損傷種類の結果を判定するステップが、出力として、前記最も高い損傷程度の前記自動車部分の損傷種類および対応する被損傷範囲を選択するステップを含む、付記項８に記載の方法。
［付記項１０］
前記取得された自動車部分画像が、前記自動車部分画像の対応する自動車部分のタグ情報を含み、前記タグ情報が、自動車の構成要素を指定する、付記項１に記載の方法。
［付記項１１］
前記取得された自動車部分画像の品質が所定の処理要件に達することを判定するステップをさらに含む、付記項１に記載の方法。
［付記項１２］
前記損傷種類が、軽度の擦り傷、重度の擦り傷、軽度の変形、中程度の変形、重度の変形、損傷、および分解要求検査を含む、付記項１に記載の方法。
［付記項１３］
車両損傷を判定するための装置であって、プロセッサと、前記プロセッサによって実行可能である命令を記憶するように構成されているメモリとを備え、前記命令を実行すると、前記プロセッサが、付記項１から１２のいずれか一項に記載の方法による動作を実施する、装置。
［付記項１４］
コンピュータ命令を記憶するコンピュータ可読記憶媒体であって、前記命令が実行されると、付記項１から１２のいずれか一項に記載の方法によるステップが実施される、コンピュータ可読記憶媒体。

１０１ 画像収集モジュール、１０２ 検査モジュール、１０３ 損傷判定処理モジュール、７００ 方法

Claims (14)

1. 車両損傷を判定するための画像に基づく方法であって：
   クラウドサーバによってモバイルデバイスから自動車部分に対応する自動車部分画像を取得するステップであって、前記自動車部分画像が、前記モバイルデバイスを用いて撮影されてモバイルアプリケーションを用いて前記クラウドサーバにアップロードされた車両の被損傷場所の画像を備える、ステップと；
   前記クラウドサーバによって、あらかじめ構築されている構成要素損傷識別モデルであってディープニューラルネットワークを備える構成要素損傷識別モデルを用いて自動車部分画像を検査し、被損傷範囲、前記被損傷範囲の損傷程度および前記自動車部分の損傷種類を判定する、ステップと；
   前記クラウドサーバによって、画像検査技術、自動車部分価格ライブラリおよび修理ルールを組み合わせることを介して、前記被損傷範囲、前記被損傷範囲の前記損傷程度および前記自動車部分の前記損傷種類を含む情報に基づいて、前記自動車部分のための修理計画を作成するステップであって、前記修理計画が、前記被損傷範囲を修理可能な修理サービスを含む、ステップと；
   前記クラウドサーバによって、作成した前記修理計画を前記モバイルデバイスに返信するステップ、および
   修理工程を行うために作業譲渡データを車両修理店へ送信することによって、作成した前記修理計画を開始するステップ、
   のうちの１以上と；
   を備え、
   現在処理されている自動車部分画像が少なくとも２つの被損傷範囲を含んでいることが確認された場合、前記構成要素損傷識別モデルは、
   前記自動車部分画像に基づいて、前記自動車部分の前記被損傷範囲および前記被損傷範囲に対応する損傷種類を識別することと、
   前記損傷種類のうち、最も高い損傷程度を示す損傷種類に対応する被損傷範囲を前記自動車部分の前記被損傷範囲として選択することであって、それに対応して、前記最も高い損傷程度の前記損傷種類が、前記自動車部分の判定された損傷種類である、選択することと、
   を行うように構成されていることを特徴とする方法。
2. 前記自動車部分の修理方針に関する情報を取得するステップであって、それに対応して、前記修理計画は、前記修理方針に対応する推定修理価格をさらに含むことができ、前記推定修理価格は、前記自動車部分の前記被損傷範囲、前記損傷種類、および前記修理方針を含む前記情報に基づいて、かつ、前記修理方針における前記自動車部分の製品および／または修理サービスに対応する価格データを問い合わせした後に、計算される、前記自動車部分の推定修理価格である、ステップをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記構成要素損傷識別モデルが、サンプルデータ訓練の後に、かつ、畳み込みニューラルネットワークおよび領域提案ネットワークを含むネットワークモデルに基づいて、構築されたディープニューラルネットワークを含むことを特徴とする請求項１に記載の方法。
4. 前記構成要素損傷識別モデルが、
   入力として、自動車部分画像を受信し、
   被損傷範囲を含む１以上の画像領域を検出し、
   前記検出された画像領域を解析し、
   前記画像領域の損傷種類を判定し、
   出力として、前記画像領域に対応する１以上の被損傷範囲および損傷種類を生成する
   ように構成されていることを特徴とする請求項３に記載の方法。
5. 複数の前記画像領域の数が、前記自動車部分画像の中の被損傷範囲の数に関係していることを特徴とする請求項４に記載の方法。
6. 前記サンプルデータ訓練が、マーク付けされたデータを使用するミニバッチ勾配降下訓練を行うことを含み、前記マーク付けされたデータが、対応する損傷種類のマーク付けされた損傷領域を伴う画像を備えることを特徴とする請求項３から５のいずれか１項に記載の方法。
7. 前記自動車部分の少なくとも２つの自動車部分画像が取得される場合、前記自動車部分の被損傷範囲および損傷種類を判定するために、構築された構成要素損傷識別モデルを使用することによって前記自動車部分画像を検査するステップが、
   各自動車部分画像の被損傷範囲および損傷種類を判定するために、前記構成要素損傷識別モデルを使用することによって前記自動車部分画像を個別に検査するステップと、
   前記自動車部分の前記被損傷範囲および前記損傷種類の結果を判定するために、所定のルールに基づいて、前記自動車部分画像に対応する前記被損傷範囲および前記損傷種類に対して組合せ選択を行うステップと、
   を備えることを特徴とする請求項１に記載の方法。
8. 前記自動車部分の前記被損傷範囲および前記損傷種類の結果を判定するステップが、出力として、前記最も高い損傷程度の前記自動車部分の損傷種類および対応する被損傷範囲を選択するステップを備えることを特徴とする請求項７に記載の方法。
9. 前記取得された自動車部分画像が、前記自動車部分画像の対応する自動車部分のタグ情報を含み、前記タグ情報が、自動車の構成要素を指定することを特徴とする請求項１に記載の方法。
10. 前記取得された自動車部分画像の品質が所定の処理要件に達することを判定するステップをさらに備えることを特徴とする請求項１に記載の方法。
11. 前記損傷種類が、軽度の擦り傷、重度の擦り傷、軽度の変形、中程度の変形、重度の変形、損傷、および分解要求検査を備えることを特徴とする請求項１に記載の方法。
12. 車両損傷を判定するための装置であって、プロセッサと、前記プロセッサによって実行可能である命令を記憶するように構成されているメモリとを備え、前記命令を実行すると、前記プロセッサが、請求項１から１１のいずれか１項に記載の方法による動作を実施することを特徴とする装置。
13. コンピュータ命令を記憶するコンピュータ可読記憶媒体であって、前記命令が実行されると、請求項１から１１のいずれか１項に記載の方法によるステップが実施されることを特徴とするコンピュータ可読記憶媒体。
14. モバイルデバイスと通信するクラウドサーバを備える画像に基づく車両損傷判定装置であって、
    前記クラウドサーバが、プロセッサと、前記プロセッサによって実行されることが可能な命令を格納するように構成されたメモリと、を備え、
    前記命令を実行すると、前記プロセッサは：
    車両の被損傷場所の画像を得るステップと；
    あらかじめ構築されている構成要素損傷識別モデルであってディープニューラルネットワークを備える構成要素損傷識別モデルを用いて、前記画像における被損傷範囲場所、損傷程度および自動車部分の損傷種類を識別するステップと；
    画像検査技術、自動車部分価格ライブラリおよび修理ルールを組み合わせることによって、識別した前記被損傷範囲場所、前記損傷程度および前記自動車部分の前記損傷種類を含む情報に基づいて、前記自動車部分のための修理計画を作成するステップであって、前記修理計画が、前記被損傷範囲を修理可能な修理サービスを含む、ステップと；
    前記クラウドサーバによって、作成した前記修理計画を前記モバイルデバイスに返信するステップ、および
    修理工程を行うために作業譲渡データを車両修理店へ送信することによって、作成した前記修理計画を開始するステップ、
    のうちの１以上と；
    を備える工程を行い、
    前記モバイルデバイスは、プロセッサと、前記プロセッサによって実行されることが可能な命令を格納するように構成されたメモリと、を備え、
    前記命令を実行すると、前記プロセッサは、
    前記モバイルデバイスにインストールされたモバイルアプリケーションによって、車両損傷判定サービスを要求するステップであって、
    前記モバイルデバイスを用いて、車両の被損傷場所の画像を取得するステップ、
    前記モバイルアプリケーションを用いて、前記クラウドサーバに前記画像をアップロードするステップ、および、
    前記クラウドサーバから、取得した画像における自動車部分のための修理計画を受信するステップ、
    を備える、ステップ、
    を備える工程を行い、
    現在処理されている自動車部分画像が少なくとも２つの被損傷範囲を含んでいることが確認された場合、前記構成要素損傷識別モデルは、
    前記自動車部分画像に基づいて、前記自動車部分の前記被損傷範囲および前記被損傷範囲に対応する損傷種類を識別することと、
    前記損傷種類のうち、最も高い損傷程度を示す損傷種類に対応する被損傷範囲を前記自動車部分の前記被損傷範囲として選択することであって、それに対応して、前記最も高い損傷程度の前記損傷種類が、前記自動車部分の判定された損傷種類である、選択することと、
    を行うように構成されていることを特徴とする車両損傷判定装置。

Images