JP6873237B2 - 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス - Google Patents

Description

本出願は、コンピュータ画像データ処理技術の分野に属し、詳細には、画像ベースの車両損害評価方法および装置、ならびに電子デバイスに関する。

交通事故が発生すると、多くの場合、事故現場に行って撮影をして請求の根拠を処理および要求する保険会社の請求査定人を待つ必要がある。近年における自動車の所有者の増加に伴い、年間交通事故数は高止まりしている。しかしながら、車両損害評価請求サービス処理は、多くの場合、プロの保険スタッフによる現場での処理に依存することになり、高い費用、長い待機期間、および低い処理効率をもたらすことになり得る。

今日では、交通事故現場画像を自動的に分析して所定の自動車損傷部分の所定の分類を取得するいくつかの処理方法が存在している。例えば、「Analysis Method And System For Vehicle Insurance Claims Settlement Photos」と題する公開番号CN105678622Aの発明は、従来の畳み込みニューラルネットワーク(CNN)を使用して、損傷部分分類を識別するためにモバイル端末によってアップロードされた請求決済写真を分析し、分析結果に基づいて通知情報を生成するアルゴリズムを開示している。しかしながら、前述の方法は、車のフロント、サイド、またはリアなどの車両損傷部分の分類を単純に決定しているだけである。具体的な損傷タイプは識別していない。識別した損傷部分の通知情報は、手作業の損害評価で手動で比較するために保険会社のスタッフによって主に使用され、損害評価計算において保険会社のスタッフに役立つ参考情報として使用される。加えて、アルゴリズムは、CNNの一般的なオブジェクト識別アルゴリズムのみを使用している。最終的な車両損害評価の結果さえも手作業の検証に依存している。マンパワーおよび時間コストが比較的大きなものとなっており、異なる保険会社は車両損害評価のために異なる基準を有している。さらに、人間の主観的要因に影響を受けて、車両損害評価の結果は大きく変化し、信頼性は比較的低い。

本出願は、画像ベースの車両損害評価方法および装置ならびに電子デバイスを提供して、損傷車両部品の損傷部分および度合いに関する具体的な情報を迅速、正確に、かつ確実に識別することを目的としている。損害評価の結果はより正確かつ信頼性の高いものとなり得るし、車両損害評価処理は迅速かつ効率的に行われ得るし、ユーザエクスペリエンスはかなり改善される。

本出願において提供している画像ベースの車両損害評価方法および装置ならびに電子デバイスは以下のように実施される。

画像ベースの車両損害評価方法を提供しており、方法は、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを含む。

画像ベースの車両損害評価装置を提供しており、装置は、処理対象画像を取得するように構成される、画像獲得モジュールと、処理対象画像を調査し、処理対象画像中の車両部品を識別するように構成される、第1の部品識別モジュールと、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するように構成される、第2の部品識別モジュールと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するように構成される、損傷識別モジュールと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するように構成される、損傷計算モジュールとを含む。

画像ベースの車両損害評価装置を提供しており、画像ベースの車両損害評価装置は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、命令を実行すると、プロセッサは、次のステップ、すなわち、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを実施する。

コンピュータ可読記憶媒体を提供しており、コンピュータ可読記憶媒体は、コンピュータ命令を記憶し、命令が実行されると、次のステップ、すなわち、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを実施する。

電子デバイスを提供しており、電子デバイスは、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、命令を実行すると、プロセッサは、次のステップ、すなわち、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを実施する。

画像ベースの車両損害評価システムを提供しており、画像ベースの車両損害評価システムは、I/Oインターフェースと、メモリと、中央処理ユニットと、画像プロセッサとを含み、I/Oインターフェースは、処理対象画像を取得して整備プランを出力するように構成され、中央処理ユニットは、画像プロセッサに結合されるとともに、処理対象画像を調査し、処理対象画像中の車両部品を識別し、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定し、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別し、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するように構成され、中央処理ユニットは、処理対象画像中の決定した損傷部品と損傷部品に対応する決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成するようにさらに構成される。

本出願において提供した画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイスに基づいて、処理対象画像に含まれる損傷部品を識別することができ、その後、損傷部品における損傷部分と各損傷部分に対応する損傷タイプとを構築した損傷識別モデルに基づいて識別することができる。したがって、車両部品の車両損害評価情報を、正確、包括的、かつ確実に取得することができる。本出願の実施ソリューションにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、損傷度などを識別し得る。加えて、類似の車両部品の局所的詳細画像に対して、部品タイプも正確に決定し得る、そのため、画像ベースの車両損害評価の結果がより信頼性の高いものとなり、計算により取得される車両損害評価に関する情報の信頼性が改善されており、車両損害評価処理の結果の精度および信頼性が改善されており、ユーザエクスペリエンスを改善している。

本出願の実施形態におけるまたは既存の技術における技術的ソリューションをより明確に説明するために、実施形態または既存の技術を説明するのに必要な添付の図面を以下で簡単に説明している。以下の説明における添付の図面が本出願において記載している一部の実施形態を示しているに過ぎず、当業者が創造的努力無しにこれらの添付の図面から他の図面をさらに導出し得ることは明白であろう。

本出願の実施形態による、画像ベースの車両損害評価方法を図示しているフローチャートである。 本出願の実施形態による、局所的画像中の車両部品を識別する例示的なプロセスを図示している概略図である。 本出願による、部品画像を識別する処理プロセスを図示している概略図である。 本出願による、部品画像を使用して局所的画像中の部品をマッチングする特定のシナリオを図示している概略図である。 本出願の実施形態による、損傷識別モデルのネットワーク機構を図示している概略図である。 本出願の実施形態による、部品識別モデルのネットワーク機構を図示している概略図である。 本出願の別の実施形態による、画像ベースの車両損害評価方法の方法の手順を図示している概略図である。 本出願による、損傷部品、損傷部品における損傷部分および損傷タイプを決定するための方法を図示している概略図である。 本出願の実施形態による、画像ベースの車両損害評価装置のモジュール構造を図示している概略図である。 本出願の別の実施形態による、画像ベースの車両損害評価装置のモジュール構造を図示している概略図である。 本出願の実施形態による、第2の部品識別モジュールのモジュール構造を図示している概略図である。 本発明の実施形態による、電子デバイスを図示している概略構造図である。 本出願の実施形態による、車両損害評価の処理シナリオを図示している概略図である。 本開示の実施形態による、整備プランを生成するためのコンピュータ実施方法の例を図示しているフローチャートである。

当業者に本出願における技術的ソリューションをより良く理解してもらうべく、本出願の実施形態における添付の図面を参照して、本出願の実施形態における技術的ソリューションを以下に明確かつ十分に説明している。説明した実施形態が本出願の実施形態のすべてではなく一部に過ぎないことは明白であろう。創造的努力無しで本出願の実施形態に基づいて当業者によって得られるすべての他の実施形態は本出願の保護範囲に含まれるものとする。

図1は、本出願の実施形態による、画像ベースの車両損害評価方法を図示しているフローチャートである。本出願は、以下の実施形態または添付の図面に示した、方法における動作ステップもしくは装置の構造を提供している。しかしながら、従来通りにまたは創造的努力無しに、方法または装置は、より多い動作ステップを含み得るもしくは局所的な組合せをした後により少ない動作ステップを含み得る、または、装置は、より多いモジュールユニットを含み得るもしくは局所的な組合せをした後により少ないモジュールユニットを含み得る。必然的な因果関係を論理的に有していないステップまたは構造については、これらのステップの実行の順序またはデバイスのモジュール構造は、本出願の実施形態または添付の図面に示した実行順序またはモジュール構造に限定されない。方法またはモジュール構造を、実際の装置、サーバ、または端末製品に適用する場合には、方法またはモジュール構造は、実施形態または添付の図面に示した方法またはモジュール構造(例えば、分散処理またはサーバクラスタリングの実施環境さえも含む、パラレルプロセッサまたはマルチスレッド処理の環境)に基づいて、順次実行され得るまたは並列して実行され得る。

今日では、傷がつく事故などの実際の交通事故を処理する場合には、現地に来て、現場を評価する前に現場の画像を撮る、保険会社の請求査定人を一般的に待つ必要がある、そのため、しばしば行き来がごちゃごちゃとしたものとなり、多くの時間を浪費して、損害評価結果情報を取得する待機期間を長引かせることになる。しかしながら、本出願の実施形態によれば、交通事故が発生した際に、関係する車両所有者は、その者が所有する車両またはもう一方の関係する所有者の車両の損害または損害評価状況を知ることを一般的に望む。この場合には、関係する所有者は、交通事故現場の写真を撮り得る。その写真は、事故現場の証拠として使用され得るし、加えて、写真は、端末アプリ(アプリケーション、application)による自動的な車両損害評価および請求状況アクセスのためにさらに使用され得る。そのため、迅速、包括的、正確、かつ信頼性の高い車両損害評価処理についての関係する車両所有者の要件は満たされる。

明確にするために、車両所有者がモバイル端末アプリを使用して車両損害評価サービスについて要求する特定の適用シナリオを以下の実施形態において説明する。本実施形態の適用シナリオにおいては、車両所有者は、交通事故現場において、モバイル端末(例えば、携帯電話)を使用して、損傷車両部分および車両全体を撮影し得る。いくつかのケースにおいては、車両所有者は、運転免許証、ユーザ識別情報などをさらに撮影し得るその後、車両所有者ユーザは、端末アプリケーションによって撮影した写真(画像)をアップロードする。車両損害評価のための処理対象画像を取得した後に、クラウドサーバは、損傷部品、損傷部品における1つまたは複数の損傷部分、および対応する損傷タイプをまず識別し得る。その後、本出願の実施ソリューションに基づいて取得される、より正確で、信頼性の高く、包括的な車両損害評価のための情報に基づいて、ルールエンジンは、車両モデル、位置、修理業者などの整備方針情報に基づいて異なる価格データベースを呼び出し、少なくとも1つの整備プランを最終的に生成するように設計され得る。車両所有者が迅速に車両損害評価の結果を取得することができるように、整備プランを車両所有者ユーザに返信し得る。当然のことながら、ユーザが保険会社スタッフである場合には、ユーザは、保険会社に整備プランを返信し得る、または、整備プランの結果を直接表示し得る。しかしながら、本ソリューションの骨子を、保険会社もしくは修理業者の自動的な車両損害評価、または公認の販売特約店もしくは他のサービス提供業者によって提供されるセルフサービスの車両損害評価サービスなどといった、車両損害評価の他の実施シナリオに適用し得ることは、当業者であれば理解できよう。

特定の実施形態を図1に示している。本出願は、画像ベースの車両損害評価方法の実施形態を提供している。方法は、以下のステップを含み得る。

S1: 処理対象画像を取得する。

サーバは、クライアントまたは第三者サーバ(例えば、保険会社のサーバ)から車両損害評価のための処理対象画像を取得し得る。処理対象画像は、車両所有者または保険会社スタッフによって現場で撮影された複数の画像に関する画像情報を一般的に含む。処理対象画像は、車両の画像、事故現場の画像などを含み得るし、当然のことながら、ユーザによってアップロードされた、運転免許証、ユーザ識別情報、および周辺環境(信号燈、ランドマークなど)情報の画像も含み得る。これらの処理対象画像が単一の部品についての複数の写真であるかどうかは一般的に分からない。本実施形態においては、処理対象画像は、様々な画像および写真を含み得るし、一般的に、紙面の上の画像、フィルムまたは写真上の画像、テレビ上の画像、プロジェクタまたはコンピュータスクリーン上の画像などを含み得る、視覚上の効果を有する画像である。

処理対象画像が複数のタイプの画像情報を含む場合には、処理対象画像は画像分類アルゴリズムを使用して分類され、車両損害評価処理情報に関連している画像が車両損害評価処理のための画像として選択される。例えば、分類は、損傷部分および損傷タイプを識別するのに役立つ車両損害評価処理のための画像を識別するために、画像分類アルゴリズムを使用して行われ得る。処理対象画像の具体的な分類は、シナリオ処理要件に基づいて分類および設定され得る。例えば、車両損害評価処理のための画像は、車両画像を含む必要がある。したがって、処理対象画像は、車両全体のパノラマビューの画像、複数の部品を含むハーフビューの画像、および車両部品詳細の画像などに分類され得る。車両損害評価処理における車両部品または損傷部分の識別に関連しない画像は、別々に分類され得る、または、例えば、識別写真、事故地点における信号燈の写真、ドライバの写真などといった、対応するカテゴリに分類され得る。画像分類アルゴリズムは、分類した画像を使用して訓練された、ResNet(Residual Network、残差ネットワーク)などの、畳み込みニューラルネットワーク(CNN)モデルを使用し得る。

随意的な実施形態においては、処理対象画像の画像品質がさらに調査され得るし、画像品質が要件を満たしていない処理対象画像は削除され得る。特に、処理対象画像の画像品質が所定の処理要件を満足しているかどうか決定し得る。画像品質が比較的低品質である場合には、例えば、写真がぼやけていて識別できない場合には、部品画像は破棄され得るし、フィードバックをモバイル端末アプリに送信して、画像撮影中にピントおよび照明などといった鮮明さに提供を与える要因に注意を払うようにユーザに指示する。画像品質は、不鮮明度閾値、情報エントロピー値などに基づいて決定され得る。

別の実施形態においては、処理対象画像を取得した後に、または、前述の画像品質決定および画像分類のうちの少なくとも1つを処理した後に、重複排除処理が、類似度が所定の閾値に達している処理対象画像に対してさらに行われ得る。そのため、同一の角度で繰り返し撮影された高い類似度を有する画像は削除され得るし、高い画像品質を有する処理対象画像は処理のために選択される。

S2: 処理対象画像を調査し、処理対象画像中の車両部品を識別する。

本実施形態のシナリオにおいては、処理対象画像を取得した後に、クラウドサーバは、事前に構築された部品識別モデルを使用して処理対象画像を調査して、処理対象画像に含まれる車両部品を識別し得る。1つの処理対象画像が1つまたは複数の車両部品を含んでいると識別された場合には、処理対象画像中の車両部品の位置領域(本明細書では部品領域と称し得る)に関する情報が計算を経て決定される。本実施形態においては、車両部品は、一般的に、例えば、フロントバンパー、左フロントドア、リアテールランプなどといった、車両に関する部品である。

本実施形態においては、画像中の車両部品を識別するための部品識別モデルが、専用に設計された機械学習アルゴリズムを使用して事前に構築され得る。部品識別モデルをサンプル画像に対して訓練した後に、どの車両部品が部品画像に含まれているかを識別し得る。本実施形態においては、ディープニューラルネットワークのネットワークモデルまたは変異型ネットワークモデルを、サンプル画像を使用して訓練して、部品識別モデルを構築し得る。例えば、部品識別モデルは、入力モデルによって訓練された全結合層、損傷サンプル画像などに関連する、畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)および領域提案ネットワーク(Region Proposal Network、RPN)に基づいて構築および生成され得る。したがって、本出願の方法の別の実施形態においては、処理対象画像を調査して車両部品を識別するために、以下の識別モデルを使用する。

S201: 畳み込み層および領域提案層のネットワークモデルに基づく、サンプルデータの訓練を経て構築および生成される、ディープニューラルネットワーク。

処理対象画像については、車両部品を識別することができる画像に基づいて、部品タイプがディープニューラルネットワークを使用して識別される。畳み込みニューラルネットワークは、畳み込み層(CNN)と活性化層などの他の重要な層とから主に構成され、画像識別のために主に使用される、ニューラルネットワークを一般的には指す。本実施形態において説明したディープニューラルネットワークは、畳み込み層および他の重要な層(入力モデルによって訓練された損傷サンプル画像、いくつかの正規化層、および活性化層など)を含み、領域提案ネットワークとともにネットワークを確立し得る。畳み込みニューラルネットワークは、画像処理における2次元離散畳み込み演算を人工ニューラルネットワークと一般的に組み合わせている。畳み込み演算は、自動的な特徴抽出のために使用され得る。画像(任意のサイズ)から抽出された特徴(畳み込みニューラルネットワークを使用して抽出された2次元的特徴であり得る)が、領域提案ネットワーク(RPN)に入力され得るし、領域提案ネットワークは、矩形のターゲット提案ボックスのセットを出力する。各ボックスは、1つのオブジェクトについてのスコアを含む。混乱を避けるために、本実施形態においては、畳み込みニューラルネットワーク(CNN)を畳み込み層(CNN)と称し得るし、領域提案ネットワーク(RPN)を領域提案層(RPN)と称し得る。本出願の他の実施形態においては、部品識別モデルは、畳み込みニューラルネットワークまたは領域提案ネットワークに基づく改善された変形ネットワークモデル、およびサンプルデータの訓練を経て構築および生成されるディープ畳み込みニューラルネットワークをさらに含み得る。

前述の実施形態において使用されるモデルおよびアルゴリズムは、同一のタイプのモデルまたはアルゴリズムであり得る。特に、例えば、畳み込みニューラルネットワークおよび領域提案ネットワークに基づく様々なモデルおよび変異型が、Faster R-CNN、YOLO、およびMask-FCNなどといった、部品識別モデルに適用され得る。ResNet、Inception、VGGなどといった任意のCNNモデル、およびResNet、Inception、VGGなどの変異型が、畳み込みニューラルネットワーク(CNN)に対して使用され得る。一般的に、オブジェクト識別においてうまく機能する、InceptionまたはResNetなどの成熟したネットワーク構造が、ニューラルネットワークにおける畳み込みネットワーク(CNN)部分に対して使用され得る。例えば、ResNetネットワークにおいては、入力が画像である場合には、出力は、複数の部品領域、ならびにそれらの対応する部品分類および信頼性レベル(信頼性レベルは本明細書では識別車両部品の信憑度を示すパラメータである)であり得る。Faster R-CNN、YOLO、Mask-FCNなどはすべて、畳み込み層を含み、本実施形態に適用され得る、ディープニューラルネットワークである。本実施形態において使用されるディープニューラルネットワークは、領域提案層およびCNN層に関連して処理対象画像中の車両部品を識別し、処理対象画像中の車両部品の部品領域を決定し得る。

本出願の実施形態においては、別個のアルゴリズムサーバが部品識別モデルを実施して処理対象画像を調査し処理対象画像中の車両部品を識別するために使用され得ることに留意されたい。例えば、サービスサーバは、ユーザによってアップロードされた処理対象画像を取得し整備プランを出力するようにセットアップされる。加えて、アルゴリズムサーバは、構築された部品識別モデルを記憶し、サービスサーバ内の処理対象画像を調査および識別し、処理対象画像中の車両部品を決定するようにさらにセットアップされ得る。当然のことながら、前述の処理は、同一のサーバによっても実行され得る。

S3: 識別車両部品を含む部品画像と車両部品を識別するのに失敗した処理対象画像中の局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定する。

本発明の本実施形態においては、取得した処理対象画像には一般的に様々なタイプが存在する。いくつかの画像Tuについては、例えば、部品の局所的詳細画像について、部品タイプおよび部品位置をアルゴリズムモデルなどを使用して直接識別することはできない。これらの画像は本明細書では局所的画像と称し得る。したがって、本出願の本実施形態においては、局所的画像中の車両部品は、アルゴリズムモデルと識別車両部品を含む他の画像とを使用して識別され得る。例えば、前述のディープニューラルネットワークによって識別された第1の車両部品を含む部品に基づいて画像マッチングを行い、どの部品画像が局所的画像に関する情報を含んでいるかを計算する。最終的には、局所的画像中の車両部品(前述の識別車両部品における部品タイプであり得る)を画像マッチングの結果に基づいて決定する。

特に、ある例においては、ユーザによってアップロードされた10のうち6つ画像は、車両そのものに関する情報を含み、残りは、識別についての画像である。6つの処理対象画像からの画像P1は、車両の部品の局所的詳細画像である。構築された部品識別モデルは、画像P1中の部品タイプおよび部品位置を識別することはできないが、残りの5つの処理対象画像に含まれる車両部品を識別する。この場合には、画像P1は、5つの画像中の位置領域が画像P1の画像情報と一致しているかどうかを計算および決定することで、残りの5つの画像P2、P3、P4、P5の各々とマッチングされ得るし、例えば、一致度が最高である、最低の一致度の要件を満たすといった、要件を満足する。マッチングのために使用されるデータは、例えば、RGB、勾配、階調などといった、画像ピクセルの視覚特徴データであり得るし、当然のことながら、他の画像データ情報もあり得る。画像マッチングの後に、P2に含まれる車両部品のローカル位置が画像P1中の車両部品のローカル位置に最も類似し最小類似度についての要件を満足していると識別される。この場合には、P2中の対応する位置における車両部品が、画像P1中の識別車両部品として使用され得る。

直交座標系における従来の画像変換は、乗算のために画像をベクトルに変換することなどといった、線形変換であり得る。しかしながら、車両損害評価処理においては、損傷部品は、通常の状態における画像情報と比較して変形している可能性がある、または、非損傷部品と比較して交換対象となる。本出願において提供した方法の別の実施形態においては、アフィン変換ベースの画像データ処理がそのような実施シナリオに提供される。したがって、部品画像は、特にそれが損傷部品の画像である場合には、より正確に識別される。アフィン変換は、アフィン結合を満足する変換を指し、並進を加味した線形変換として理解され得る。線形変換は並進を表すことはできないが、アフィン変換は並進を表すことができる。

局所的画像Tu中の部品タイプおよび部品位置を別の画像Tkを使用して識別する場合には、画像u中の部品タイプおよび部品位置を取得するために、Tu内の各画像uをTk内の画像とマッチングして、uに含まれるその位置を含む画像kをTkから見つけ出し、uとkとの間のアフィン変換を識別する。図2は、本出願による、局所的画像中の車両部品を識別する実施プロセスを図示している概略図である。図2に示しているように、実施プロセスの特定のステップは、以下のステップを含む。

S30: 畳み込みニューラルネットワークを使用して局所的画像の第1の畳み込み特徴データを抽出し、所定のアルゴリズムを使用して局所的画像の第1の局所的特徴点セットを抽出する。

本実施形態においては、部品画像uの第1の畳み込み特徴データxを抽出し得る。例えば、畳み込みニューラルネットワークNpが構築され、畳み込みニューラルネットワークNpにおけるプーリング層の最終出力ベクトルが部品画像uの畳み込みネットワーク特徴として使用される。

第1の局所的特徴点セットをスケール不変特徴変換(scale-invariant feature transform、SIFT)を使用して取得することができ、画像uの第1の局所的特徴点セットyを抽出している。本出願の実施形態においては、SIFTは、画像の局所的特徴データとして使用される。当然のことながら、他の特徴データ、例えば、FAST(加速化断片試験による特徴抽出、コーナー検出方法)などの特徴も別の実施形態では使用され得る。

S31: 第1の畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を取得する。

複数のサンプリング領域は、画像マッチングのために使用される部品画像から選択され得る。例えば、各サンプリング領域のサイズは、部品画像または切り取られた部品画像と同一のサイズに設定され、サンプリング領域は、部品画像の左上隅からシーケンシャルに選択される。サンプリング領域のセットは、部品画像のサンプリング領域のすべてを取得した後に、形成され得る。その後、各サンプリング領域の畳み込み特徴データを算出し、前述の第1の畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが第1の畳み込み特徴データと最も類似しているサンプリング領域を取得して類似領域として使用する。

別の実施形態においては、第1の畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較して、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を取得することは、部品画像について、スライドウィンドウを使用して部品画像中のスライドウィンドウ領域の第2の畳み込み特徴データを抽出することと、第2の畳み込み特徴データセットを取得することであって、第2の畳み込み特徴データは、畳み込み特徴データxを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して取得される、ことと、第2の畳み込み特徴データセットから、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を選択することとを含む。

特定の例においては、Tk中の各画像tについては、異なるサイズのスライドウィンドウが、第1の畳み込み特徴データxを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して、部品画像中の異なる領域の第2の畳み込み特徴データを抽出するために使用され得る。第2の畳み込み特徴データが第1の畳み込み特徴データxと最も類似している領域rが、すべての領域から選択される。類似度はコサイン類似度を使用して計算され得る。

S32: 所定のアルゴリズムを使用して類似領域の第2の局所的特徴点セットを抽出し、第1の局所的特徴点セットと第2の局所的特徴点セットとをマッチングして一致する点のペアを取得し、アフィン変換における一致する点のペアの位置誤差を最小化することによって局所的画像と部品画像との間のアフィン変換を取得する。

uの局所的特徴点セットをrの局所的特徴点セットとマッチングして、一致する点のペアのグループを取得し、その後、アフィン変換における一致する点のペアの位置誤差を最小化することによってアフィン変換が得られる。

別の実施形態においては、類似領域の画像領域範囲を、より大きな範囲においてより多くの局所的特徴データを取得するために、所定の方式でさらに拡張することができ、マッチング処理の信頼性を改善している。それに対応するように、第2の局所的特徴点セットは、画像領域範囲が拡張された類似領域の抽出した局所的特徴点セットを含む。

所定の方式で類似領域の画像領域範囲を拡張する方式は、処理要件に基づいてカスタマイズされ得る。本出願の実施形態においては、類似領域の画像領域範囲を所定の方式で拡張することは、以下のことを含み得る。

類似領域の左側、右側、上側、および下側が所定の割合で拡張される。あるいは、類似領域の画像領域範囲は、十分な数の第2の局所的特徴点を含むように、所定の割合の範囲内で拡張される。例えば、対応する第1の局所的特徴点の二倍の数を含む。例えば、特徴拡張のデータ要件を満たし得るとともに計算量を適切に制御し得るように、類似領域の画像領域範囲は50%ほど拡張され得るし、類似領域rの各サイドは50%ほど拡張される(画像は正方形画像となるように一般的に事前処理される)。

S33: 局所的画像中の車両部品として、部品画像中にあるとともに最小の位置誤差を有する画像領域に対応する部品を選択する。

S32において最小のマッチング誤差を有する画像領域は、部品画像uのマッチング画像kとして選択され、部品画像uについてのものであるとともに対応するアフィン変換によってkにおいて取得される、対応する領域に対応する部品タイプは、部品画像u中の部品タイプとして使用される。

前述の実施形態において提供した処理方法を使用して、部品の局所的詳細画像などの処理対象画像中の特定の部品タイプを単一の画像に基づいて決定することができない場合には、そのような局所的詳細画像は、部品の局所的詳細画像の部品タイプを決定するために、部品タイプおよび部品位置が既知である別の処理対象画像とマッチングされ得る。特に、例示的な実施形態においては、Siameseネットワーク(Siamese network)のネットワーク構造を使用して、画像SIFTおよびCNN特徴に基づいて、画像マッチングが行われ、対応する位置における部品タイプを取得して局所的画像中の第2の車両部品を決定するために、マッチングが行われる画像間のアフィン変換を取得し得る。図3は、本出願による、部品画像を識別する処理プロセスを図示している概略図である。図4は、部品画像をマッチングに使用して局所的詳細画像の部品タイプを決定する特定のシナリオを図示している概略図である。図4においては、傷のみを局所的画像から見て取ることができるが、部品を識別することはできない。局所的画像を車両部品が識別され終えている部品画像とマッチングした後に、図4中の局所的画像中の損傷部分を含む部品がフロントバンパーであることが識別される。

S4: 処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別する。

処理対象画像を取得した後に、クラウドサーバサイドは、事前に構築された損傷識別モデルを使用して部品画像を調査して、処理対象画像中の損傷部分および損傷タイプを識別し得る。本実施形態においては、損傷部分は、一般的に、車両上の損傷を受けている部分である。損傷車両部品は、複数の損傷部分を含み得るし、各損傷部分は、損傷タイプ(例えば、重度の傷または軽度の変形)に対応する。本実施形態においては、処理対象画像中の損傷部分の位置領域(位置領域は本明細書では損傷領域と称し得るし、損傷部分または損傷領域に対応する特定の損傷領域の画像領域データが損傷部分のエンティティデータ情報を示していることは理解できよう)が識別され得るし、損傷領域が損傷タイプを識別するために調査され得る。本実施形態においては、損傷タイプは、軽度の傷、重度の傷、軽度の変形、中度の変形、重度の変形、損傷、および調査のために分解を必要とするなどのタイプを含み得る。

本実施形態においては、画像中の損傷部分および損傷タイプを識別するために使用される損傷識別モデルは、専用に設計された機械学習アルゴリズムを使用して事前に構築され得る。サンプルの訓練の後に、損傷識別モデルは、処理対象画像中の1つまたは複数の損傷部分および対応する損傷タイプを識別し得る。本実施形態においては、損傷識別モデルは、ディープニューラルネットワークのネットワークモデルまたは変異型ネットワークモデルを使用してサンプルの訓練によって構築および生成され得る。本出願によって提供した方法の別の実施形態においては、損傷識別モデルは、入力モデルによって訓練された全結合層と損傷サンプル画像とに関連する畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)および領域提案ネットワーク(Region Proposal Network、RPN)に基づいて構築され得る。したがって、本出願の方法の別の実施形態においては、処理対象画像を調査して損傷部分および損傷タイプを識別するために、以下の識別モデルを使用する。

301: 畳み込み層および領域提案層のネットワークモデルに基づく、サンプルデータに基づいて訓練の後に構築される、ディープニューラルネットワーク。

畳み込みニューラルネットワークは、畳み込み層(CNN)と活性化層などの他の構造とから主に構成され、画像認識のために主に使用される、ニューラルネットワークを一般的には指す。本実施形態においては、ディープニューラルネットワークは、畳み込み層および他の重要な層(入力モデルによって訓練された損傷サンプル画像、いくつかの正規化層、および活性化層など)を含み、領域提案ネットワーク(RPN)とともにネットワークを確立し得る。畳み込みニューラルネットワークは、画像処理における2次元離散畳み込み演算を人工ニューラルネットワークと一般的に組み合わせている。画像(任意のサイズ)から抽出された特徴(畳み込みニューラルネットワークを使用して抽出された2次元的特徴であり得る)が、領域提案ネットワーク(RPN)に入力され得るし、領域提案ネットワークは、矩形のターゲット提案ボックスのセットを出力する。各ボックスは、1つのオブジェクトのスコアを含む。同様に、混乱を避けるために、本実施形態においては、畳み込みニューラルネットワーク(CNN)を畳み込み層(CNN)と称し得るし、領域提案ネットワーク(RPN)を領域提案層(RPN)と称し得る。本出願の別の実施形態においては、損傷識別モデルは、畳み込みニューラルネットワークまたは領域提案ネットワークに基づく改善された変形ネットワークモデル、およびサンプルデータの訓練を経て構築および生成されるディープ畳み込みニューラルネットワークをさらに含み得る。

前述の実施形態においては、単一の損傷サンプル画像中の複数の損傷部分が、モデル訓練中に識別され得る。特に、サンプルの訓練においては、入力は画像であり、出力は複数の画像領域および対応する損傷タイプである。ニューラルネットワークの厳選されたパラメータが、マーキングデータを使用してミニバッチ最急降下法(mini-batch gradient descent)訓練を経て取得され得る。例えば、ミニバッチ=32である場合には、32個の訓練画像が訓練のための入力として同時に使用される。マーキングデータは、領域および対応するタイプでマーキングされた画像であり、実車両損傷画像を手動でマーキングすることによって取得され得る。このニューラルネットワークにおいては、入力は画像であり、出力領域は画像中の損傷部分の数量に関連する。特に、例えば、損傷部分が1つ存在する場合には1つの画像領域が出力される、または、損傷部分がk個存在する場合にはk個の画像領域が出力され得る、または、損傷部分が存在しない場合には出力される画像領域はゼロである。

前述の実施形態において使用されるモデルおよびアルゴリズムは、同一のタイプのモデルまたはアルゴリズムであり得る。特に、例えば、畳み込みニューラルネットワークおよび領域提案ネットワークに基づく様々なモデルおよび変異型が、Faster R-CNN、YOLO、およびMask-FCNなどといった、部品識別モデルに適用され得る。ResNet、Inception、VGGなどといった任意のCNNモデル、およびResNet、Inception、VGGなどの変異型が、畳み込みニューラルネットワーク(CNN)のために使用され得る。一般的に、オブジェクト識別においてうまく機能する、InceptionまたはResNetなどの成熟したネットワーク構造が、ニューラルネットワークにおける畳み込みネットワーク(CNN)部分のために使用され得る。例えば、ResNetにおいては、入力が画像である場合には、出力は、損傷部分およびその対応する損傷分類(損傷分類は損傷タイプを決定するために使用される)ならびに信頼性レベル(信頼性レベルは本明細書では損傷タイプの信憑度を示すパラメータである)を含む複数の画像領域であり得る。Faster R-CNN、YOLO、Mask-FCNなどはすべて、畳み込み層を含み、本実施形態において使用され得る、ディープニューラルネットワークである。領域提案層およびCNN層に基づいて、本実施形態において使用されるディープニューラルネットワークは、部品画像中の損傷部分、損傷タイプ、および損傷部分の位置領域を識別し得る。

本出願の実施形態においては、独立したアルゴリズムサーバが処理対象画像を調査し処理対象画像中の損傷部分および損傷タイプを識別するために使用され得ることに留意されたい。例えば、サービスサーバは、ユーザによってアップロードされた処理対象画像を取得し整備プランを出力するようにセットアップされる。加えて、アルゴリズムサーバは、構築した損傷識別モデルを記憶し、サービスサーバの処理対象画像を検出および識別し、処理対象画像中の損傷部分、損傷タイプ、および損傷領域などの情報を決定するようにさらにセットアップされ得る。当然のことながら、処理対象画像を取得して、損傷部分、損傷タイプ、および損傷領域を識別する前述の処理も1つのサーバによって行われ得る。

複数のタイプの訓練データが、前述の部品識別モデルおよび損傷識別モデルにおいて使用され得る。例えば、ある実施形態においては、部品識別モデルは、マーキングデータを含む部品サンプル画像を使用して訓練されるように設定される。部品サンプル画像は少なくとも1つの損傷部品を含み、損傷部品は少なくとも1つの損傷部分を含む。

損傷識別モデルは、損傷サンプル画像がモデル訓練のために入力された際の少なくとも1つの損傷部分位置および損傷部分に対応する損傷タイプ、ならびに損傷タイプの信憑度を示す信頼性レベルのデータ情報を出力するように設定される。

S2における部品識別モデルを使用して、車両部品を調査するプロセスと、S4における損傷識別モデルを使用して、損傷部分、損傷タイプ、および損傷領域を検出する処理とが並列して行われ得ることに留意されたい。すなわち、同一のアルゴリズムサーバまたは対応するアルゴリズムサーバが、処理対象画像を処理するとともにS2およびS4における画像処理および計算を実行するために使用され得る。当然のことながら、本出願においては、S2における車両部品を識別するプロセスをまず実行することもできる、または損傷部分を識別するプロセスをまず実行することもできる。図5および図6に示しているように、図5は、本出願の実施形態による、損傷識別モデルのネットワーク機構を図示している概略構造図である。図6は、本出願の実施形態による、部品識別モデルのネットワーク機構を図示している概略図である。実際の端末アプリの実施プロセスにおいては、部品識別モデルのネットワークモデル機構は、損傷識別モデルのネットワークモデル機構と基本的に同一である。部品識別モデルにおいては、損傷識別モデルにおける損傷領域は部品領域となり、損傷タイプは部品タイプとなる。図5および図6に示した本出願のネットワークモデル構造に基づく、別の改良型、変異型、または変形型ネットワークモデルをさらに含み得る。しかしながら、本出願の別の実施形態においては、部品識別モデルまたは損傷識別モデルのうちの少なくとも1つが畳み込み層および領域提案層に基づいたネットワークモデルである。サンプルデータに基づいて訓練の後にディープニューラルネットワークを構築する実施形態は、本出願の実施形態範囲に含まれるものとする。

S5: 損傷部分および部品領域に従って処理対象画像中の損傷部品を決定し、損傷部品の損傷部分および損傷タイプを決定する。

処理対象画像に含まれる車両部品情報、ならびに処理対象画像中の損傷部分、損傷タイプ、および損傷領域に関する情報を取得した後に、車両部品における損傷部品がさらに識別および検出され得る。本実施形態の実施形態においては、前述の識別プロセスを経た計算によって取得された部品領域および損傷領域は、損傷部品を位置決定するためにさらに分析され得る。特に、損傷部品は、処理対象画像にある損傷領域の位置領域および部品領域の位置領域に基づいて決定され得る。例えば、画像P1において、P1において識別した損傷領域がP1において識別された部品領域に含まれる(識別された部品領域のエリアは損傷領域のエリアより一般的に大きい)場合には、P1中の部品領域に対応する車両部品を損傷部品とみなし得る。あるいは、画像P2中に、P2において識別した損傷領域とP2において識別された部品領域との間に重複エリアが存在する場合には、P2中の部品領域に対応する車両部品を損傷部品とみなし得る。

特定の例においては、画像Pにおいて、車両部品が、S2において左フロントドアおよび左フロントフェンダーとして識別され、2つの車両部品の部品領域は、信頼性レベル(p1, p2)に対応する(r1, r2)における画像Pにそれぞれ位置する。S3においては、画像P中に軽度の傷(損傷タイプのうちの1つ)が存在し、画像P中の軽度の傷の損傷領域がr3であり、信頼性レベルがp3であると識別される。画像位置領域の対応付けを処理した後に、軽度の傷領域r3がフロント左ドアの部品領域r1において識別される。したがって、損傷部品がフロント左ドアであり、損傷部品の損傷領域がr3であると識別される。単一の画像P中の損傷部品の損傷タイプが軽度の傷であり、信頼性レベルはp1*p3である。

当然のことながら、左フロントフェンダーが損傷を受けていると識別された場合にも、前述の例に基づいて、画像P中の損傷部品が左フロントフェンダーをさらに含むと決定され得るし、フロント左フェンダーの損傷部分および損傷タイプも計算され得る。

損害評価処理中において、処理対象画像は、配備された畳み込みニューラルネットワークへの入力である。複数の損傷部分が存在する場合には、損傷部分を含む複数の画像領域を識別し、画像領域を調査し、画像領域の損傷タイプを決定し、各画像領域に対応する損傷部分および損傷タイプを別々に出力する。さらに、本実施形態においては、損傷タイプにおける最高損傷度を有する損傷に対応する損傷部分が損傷部品における損傷部分として選択され得る。それに対応するように、最高損傷度を有する損傷タイプが損傷部品の損傷タイプとして決定される。

本出願において提供した画像ベースの車両損害評価方法に基づいて、処理対象画像に含まれる損傷部品を識別することができ、その後、損傷部品における損傷部分と各損傷部分に対応する損傷タイプとを構築した損傷識別モデルに基づいて識別することができる。したがって、車両部品の車両損害評価情報を、正確、包括的、かつ確実に取得することができる。本出願の実施ソリューションにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、および1つまたは複数の損傷度などを識別し得る。加えて、類似の車両部品の局所的詳細画像については、部品タイプも正確に決定し得る。計算を経て取得された車両損害評価のための情報の信頼性を改善している。画像ベースの車両損害評価の結果は、より信頼性の高く正確なものとなり、結果の信頼性およびユーザサービスエクスペリエンスを改善している。

さらに、車両損害評価のための情報を取得した後に、ユーザにフィードバックされることになる損害評価結果をさらに生成し得る。したがって、本出願における方法は、以下をさらに含み得る。

S6: 損傷部品、損傷部分、および損傷タイプを含む情報に基づいて整備プランを生成する。

図7は、本出願による、画像ベースの車両損害評価方法の別の実施形態における方法の手順を図示している概略図である。本実施形態における車両損害評価のための情報を、処理対象画像中の車両部品を識別し、損傷部品を決定し、損傷部分および損傷タイプを識別することによって取得した後に、整備プランがそのような情報に基づいて生成され得る。整備プランには、損害評価結果が、1つの損傷部品に対して詳述され得る、または車両全体の複数の損傷部品に対して詳述され得る。本出願の実施ソリューションにおいては、車両整備プランを損傷部品、損傷部品における損傷部分、損傷タイプに基づいて生成する。そのようなプランは、保険業務要員および車両所有者に、より正確、より信頼性の高い、かつ現実的な参考値を有する損害評価情報を提供し得る。本出願の整備プランにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、損傷レベルなどが、迅速、包括的、正確、かつ信頼性の高い車両損害評価処理についての保険会社または車両所有者の要件を満たし、車両損害評価処理結果の精度および信頼性を改善し、ユーザサービスエクスペリエンスを改善するように、より包括的かつ正確な損害評価情報を迅速に取得するために識別され、その後、整備プランが自動的に生成され得る。

本実施形態においては、各損傷タイプは、1つの整備プランに対応するように設定され得る。例えば、重度の変形は部品置換に相当し、軽度の変形には金属メッキが必要であり、軽度の傷にはスプレー塗装が必要である。ユーザに対しては、損傷部品についての最終出力が整備プランとなり得る。1つの損傷部品に複数の損傷部分が存在する場合には、最も重度の損傷を受けている部分に対する整備ソリューションが、部品全体に対する最終処理ソリューションとして使用され得る。一般的に、車両の1つの部品は全体としてみなされる。複数の部分が損傷している場合には、最も重度の損傷を受けている部分に対して処理ソリューションを適用するのが比較的合理的である。本実施形態においては、1つの整備プランが、損傷部品におけるすべての損傷部分を修理するために選択され得る。例えば、損傷部品については、損傷部分の損傷タイプは損傷部分が部品置換を必要とする重度の損傷であり、別の損傷部分の損傷タイプは中度の変形であり、その損傷部分は金属メッキを必要とする。この場合には、部品置換処理が、金属メッキ処理の代わりに選択され得る。

一般的に、損害評価が損傷評価および費用評価といった2つの情報を含み得ることを理解されたい。本出願の本実施形態においては、出力される整備プランが整備費用に関する情報を含んでいない場合には、整備プランを損害評価部分に分類し得るし、出力される整備プランが整備費用に関する情報を含んでいる場合には、計算処理が損害評価および価格評価の両方に対して行われていると見なし得る。したがって、本実施形態における各整備プランは、車両損害評価の処理結果の1つである。

特定の例においては、アルゴリズムサーバが処理対象画像中の損傷部品、損傷部品の損傷部分および損傷タイプを識別した後に、アルゴリズムサーバは、所定の処理ルールに従って前述の情報に基づいて車両部品の整備プランを生成し得る。例えば、2016年に製造業者A1によって製造されたB1モデルの車両の左フロントフェンダーが、少し変形しているため、金属メッキ処理が必要である。2010年に製造業者A2によって製造されたB2モデルの車両の左フロントドアが、かなり傷ついているとともにかなり変形しているため、部品置換処理が必要である。2013年に製造業者A3によって製造されたB3モデルの車両のフロントバンパーが、少し傷ついているため、スプレー塗装処理が必要である。左フロントランプは、調査のために分解を必要であるなどである。

本出願における方法の別の実施形態においては、車両損害評価における費用情報のためのユーザの要求を満足するために、整備プランは、ユーザが整備費用情報を把握してより適切な整備処理方法を選択することができるように、車両部品整備のための概算整備費用に関する情報をさらに含み得る。したがって、ユーザ要件を満足するとともに、ユーザエクスペリエンスを改善している。したがって、本出願における方法の別の実施形態においては、方法は、以下をさらに含み得る。

S601: 車両部品の整備方針に関する情報を取得する。

それに対応するように、整備プランは、整備方針に対応する概算整備費用をさらに含み得る。概算整備費用は、車両部品の概算整備費用であり、それは、車両部品における損傷部分、損傷タイプ、および整備方針を含む情報に基づいて計算され、データは、整備方針における車両部品に対応する製品価格および/または整備方針における車両部品に対する整備サービスを含む。

特定の実施形態においては、計算ルールは、車両部品の車両モデルなどの整備方針に関する情報、および車両部品について選択した整備工場(公認の販売特約店または普通の一般修理業者のいずれか)に基づいて、異なる価格データベースを呼び出すように設計され得る。整備方針に関する情報をユーザの選択に基づいて決定し得る。例えば、ユーザは、(例えば、市町村レベルまたは地区レベルで)整備場所を選択し、公認の販売特約店または一般修理業者を選択し、車両ブランドおよびモデルを入力し得る。その後、アルゴリズムサーバは、車両部品の整備方針情報、識別した損傷部分、および識別した損傷タイプに基づいて以下の整備プランを取得し得る。

2013年に製造業者A3によって製造されたB3モデルの車両のフロントバンパーが、少し傷ついているため、スプレー塗装処理が必要である。地域公認の販売特約店において概算整備費用は600元である。

当然のことながら、別の実施形態においては、エンジンモジュールが、公認の販売特約店における修理の作業時間および費用などの情報と、損傷部品、損傷タイプ、および損傷度などの、請求決済の際に従来の自動保険会社によって用意される情報とに基づいて、確立される。実際の処理アプリケーションが車両部品の損傷部分および損傷タイプを識別する際には、エンジンモジュールを、車両部品の損害評価結果を出力するために呼び出し得る。

上記の整備方針に関する情報は修正および置換され得る。例えば、ユーザは、整備のために公認の販売特約店を選択し得る。この場合には、選択は、整備方針および整備プランに対応し得る。ユーザが整備のために一般修理業者に変更した場合には、選択は、別の整備方針および別の整備プランに対応する。

本出願は、サンプルに基づいて損傷識別モデルの訓練プロセスの特定の実施形態をさらに提供している。特に、特定の方法の別の実施形態においては、図8に示しているように、損傷部品、損傷部品の損傷部分および損傷タイプが、以下の方式で決定され得る。

S410: 損傷部分を含む処理対象画像のセットを取得する。

S420: 畳み込みニューラルネットワークを使用してセット内の処理対象画像の特徴ベクトルを抽出し、特徴ベクトルに基づいて同一の車両部品についての画像クラスタリング処理を行い、損傷部品を決定する。

S430: 同一の損傷部品に属する損傷部分をまとめて、損傷部分の損傷クラスタ特徴データを取得する。

S440: 損傷クラスタ特徴データに基づいて、損傷部品に含まれる損傷部分および損傷部分に対応する損傷タイプを決定する。

特定の例においては、任意の識別した損傷部品pは、1つまたは複数の画像において識別された(損傷タイプ、位置、および信頼性レベルを含む)1つまたは複数の損傷部分に対応する。画像はクラスタ化され、画像距離が、畳み込みネットワークを使用して抽出される画像の特徴ベクトルを使用して、例えば、Nsにおいて畳み込みネットワークにおける訓練のためのモデルに入力される損傷サンプル画像の最終出力ベクトルを使用して、計算され得る。同一のクラスタtに属する画像中の損傷部分(上位K個の損傷部分が信頼性レベルに基づいて選択され、Kは15であり得る)は、まとめられて、特徴Ftとして使用される。さらに、クラスタ中の上位C個(Cは5であり得るし、特徴はクラスタ中の重み付き損傷部分の数量に基づいてランク付けされ、加重値は損傷部分の信頼性レベルである)の特徴(Ft1、Ft2、…)が、マルチクラス分類勾配ブースティング決定木GBDTに入力される特徴として選択される。マルチクラス勾配ブースティング決定木(GBDT)モデルは、損傷タイプおよび損傷度を最終的に出力するために使用される。GBDTモデルは、マーキングデータを使用して最急降下法訓練によって得られ得る。

損傷画像がモデル訓練中に使用されるサンプル画像であり得ることは理解できよう。ユーザの実際の実施においては、損傷画像は、処理対象画像であり得る。前述の画像クラスタは、同一の部品を含む画像を主にクラスタリングしている。クラスタリングの目的は、損傷部品における損傷部分とほぼ同一の部分を有する撮影した画像を識別することにある。処理対象画像中の取得した損傷部品、対応する損傷部分、および対応する損傷タイプは、S2およびS3において取得された損傷部品、損傷部分、および損傷タイプに基づいて前述の実施形態において決定される。

さらに、別の実施形態においては、同一の損傷部品に属する損傷部分をまとめることは、画像クラスタ中の同一の損傷部品に属する処理対象画像から信頼性レベルの降順でK個の処理対象画像中の損傷部分を選択しまとめることを含み得る、ここで、K≧2である。

まとめた後に、上位K個の信頼性レベルが処理のために選択される。特に、識別処理の速度は、大量のサンプル画像に基づいて訓練中に改善され得る。本実施形態におけるモデル訓練の実施シナリオにおいては、Kは10から15までとなり得る。

別の実施形態においては、損傷部分の損傷クラスタ特徴データは、まとめた画像クラスタから、損傷部分の加重値の降順でC個の処理対象画像の損傷クラスタリング特徴データを選択することを含み得る、ここで、C≧2であり、加重値の重み因子は損傷部分の信頼性レベルである。本実施形態におけるモデル訓練の実施シナリオにおいては、Cは3から5までとなり得る。

いくつかの他の実施形態においては、損傷クラスタリング特徴データによる、損傷部品に含まれる損傷部分および損傷部分に対応する損傷タイプを決定することは、所定のマルチクラス分類勾配ブースティング決定木モデルのための入力データとして損傷クラスタリング特徴データを使用して損傷部分および損傷タイプを識別することを含む。

処理のための処理対象画像がモデル訓練中に使用されるサンプル画像であり得ることは理解できよう。例えば、S410において取得した損傷部分を含む訓練サンプル画像のセットにおいては、または、画像クラスタ中の同一の損傷部品に属する訓練サンプル画像においては、K個の訓練サンプル画像中の損傷部分が、信頼性レベルの降順で選択され、その後、まとめられる。モデル訓練の実施プロセスについては、処理対象画像の説明を参照されたい。その詳細を本明細書では再び説明しない。

前述の実施ソリューションにおいては、処理速度をさらに早め得る一方で、信頼性および損害評価結果の精度を改善している。

画像は、複数の角度からの現実感のある複数の照明モデルにおける車両の3次元モデルを描画することによって生成される。図面によって生成された画像は、訓練データおよびマーキングデータに追加される。ある実施形態においては、部品識別モデルまたは損傷識別モデルのうちの少なくとも1つに対して使用される訓練サンプル画像は、コンピュータシミュレーションによって生成された損傷車両部品の図面によって取得された画像情報を含み得る。実際の現場において撮影された画像は訓練のためにマーキングされ、その結果、モデル訓練効果をさらに改善し得るし、モデルパラメータを最適化し得るし、識別精度を改善し得る。

本出願において提供した画像ベースの車両損害評価方法に従って、処理対象画像に含まれる損傷部品を識別することができ、その後、損傷部品における複数の損傷部分と各損傷部分に対応する損傷タイプとを構築した損傷識別モデルに基づいて識別することができる。したがって、車両部品の車両損害評価を、正確、包括的、かつ確実に取得することができる。さらに、本出願の実施ソリューションにおいては、車両整備プランは、保険業務要員および整備方針を提供するために、損傷部品、損傷部品における損傷部分、損傷タイプ、整備プランに関する情報に基づいて生成され、保険請求オペレータおよび車両所有者ユーザにとって現実的な参考値を有するより正確かつ信頼性の高い損害評価情報を提供する。本出願の実施ソリューションにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、1つまたは複数の損傷度などが、より包括的かつ正確な損害評価情報を迅速に取得するために識別され得る。その後、整備プランが、迅速、包括的、正確、かつ信頼性の高い車両損害評価処理についての保険会社または車両所有者の要件を満たし、車両損害評価処理結果の精度および信頼性を改善し、ユーザサービスエクスペリエンスを改善するように、自動的に生成され得る。

前述の画像ベースの車両損害評価方法に基づいて、本発明は、画像ベースの車両損害評価装置をさらに提供している。前記装置は、本出願における方法を使用するシステム(分散システムを含む)、ソフトウェア(アプリケーション)、モジュール、コンポーネント、サーバ、クライアントなどを使用するとともに、必要な実施ハードウェアを含む、装置であり得る。同一の革新的な概念に基づいて、本出願の実施形態において提供した装置を以下の実施形態において説明する。装置によって問題を解決する実施ソリューションは、方法の実施ソリューションと同様である。したがって、本出願の装置の特定の実施形態については、前述の方法の実施形態を参照されたい。繰り返しの説明をさらに提供することはしない。前述における、「ユニット」または「モジュール」という用語は、所定の機能のソフトウェアおよび/またはハードウェアの組合せを実施し得る。以下の実施形態において説明した装置はソフトウェアによって実装されることが望ましいが、ハードウェアまたはソフトウェアとハードウェアとの組合せによって装置を実装することも可能である。特に、図9は、本出願の実施形態による、画像ベースの車両損害評価装置のモジュール構造を図示している概略図である。図9に示しているように、装置は、処理対象画像を獲得するように構成される、画像獲得モジュール101と、処理対象画像を調査し、処理対象画像中の車両部品を識別するように構成される、第1の部品識別モジュール102と、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するように構成される、第2の部品識別モジュール103と、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するように構成される、損傷識別モジュール104と、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するように構成される、損傷計算モジュール105とを含み得る。

本出願において提供した画像ベースの車両損害評価装置に従って、処理対象画像に含まれる損傷部品を識別することができ、その後、損傷部品における損傷部分と各損傷部分に対応する損傷タイプとを構築した損傷識別モデルに基づいて識別することができる。したがって、車両部品の車両損害評価情報を、正確、包括的、かつ確実に取得することができる。本出願の実施ソリューションにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、1つまたは複数の損傷度などを識別し得る。加えて、類似の車両部品の局所的詳細画像については、部品タイプも正確に決定することができ、計算によって得られる車両損害評価に関する情報の信頼性を改善している。画像ベースの車両損害評価の結果はより信頼性の高いものとなり、精度および車両損害評価の結果の信頼性を改善するとともに、ユーザサービスエクスペリエンスを改善している。

図10は、本出願による、画像ベースの車両損害評価装置の別の実施形態におけるモジュール構造を図示している概略図である。図10に示しているように、別の実施形態においては、装置は、処理対象画像中の決定した損傷部品と損傷部品に対応する決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成するように構成される、損害評価処理モジュール105をさらに含み得る。

図11は、本出願による、第2の部品識別モジュール103の実施形態におけるモジュール構造を図示している概略図である。図11に示しているように、第2の部品識別モジュールは、畳み込みニューラルネットワークを使用して局所的画像の第1の畳み込み特徴データを抽出し、所定のアルゴリズムを使用して局所的画像の第1の局所的特徴点セットを抽出するように構成される、特徴抽出モジュール1031と、第1の畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を取得するように構成される、領域マッチングモジュール1032と、所定のアルゴリズムを使用して類似領域の第2の局所的特徴点セットを抽出し、第1の局所的特徴点セットと第2の局所的特徴点セットとをマッチングして一致する点のペアを取得し、アフィン変換における一致する点のペアの位置誤差を最小化することによって局所的画像と部品画像との間のアフィン変換を取得するように構成される、アフィン変換処理モジュール1033と、局所的画像中の車両部品として、部品画像中にあるとともに最小の位置誤差を有する画像領域に対応する部品を選択するように構成される、部品決定モジュール1034とを含み得る。

部品画像について、部品画像中のスライドウィンドウ領域の第2の畳み込み特徴データは、スライドウィンドウを使用して抽出され得るし、第2の畳み込み特徴データセットは、そのようなデータから取得され得る、ここで、第2の畳み込み特徴データは、第1の畳み込み特徴データを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して取得され、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域は、第2の畳み込み特徴データセットから選択され、類似度は、コサイン類似度を使用して計算する。

前述の方法を参照して、装置は、別の実施形態をさらに含み得る。例えば、処理対象画像は、畳み込み層および領域提案層を含むネットワークモデルに基づくサンプルデータの訓練を経て構築および生成されるディープニューラルネットワークを使用して調査される。画像クラスタ内にあるとともに同一の損傷サンプル部品に属する処理対象画像から、K個の処理対象画像中の損傷部分が選択される。これらの画像は信頼性度合いの降順で選択され、選択した画像はさらにまとめられる。類似領域の画像領域範囲は所定の方式などで拡張され、加えて、車両部品の整備方針に関する情報も概算修理費用などを含む整備プランを生成するために取得され得る。詳細については、前述の方法の実施形態の関連説明を参照すればよいため、詳細をここで列挙することはしない。

本出願の前述の方法または装置は、必要なハードウェアに関連してコンピュータプログラムを使用して実装され得るし、デバイスのアプリケーションに配備され得るし、画像ベースの車両損害評価の結果を迅速かつ確実に出力し得る。したがって、本出願は、画像ベースの車両損害評価装置をさらに提供しており、装置は、サーバサイドに存在し得るし、プロセッサとプロセッサ実行可能命令を記憶するように構成されるメモリとを含み得る。命令を実行すると、プロセッサは、以下の動作、すなわち、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを含む動作を実施する。

特定の実際の処理においては、装置は、例えば、GPU(Graphics Processing Unit、グラフィック処理ユニット)といった、他の処理ハードウェアをさらに含み得る。前述の方法において説明したように、装置の別の実施形態においては、命令を実行すると、プロセッサは、次のステップ、すなわち、処理対象画像中の決定した損傷部品と損傷部品に対応する決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成するステップをさらに実施する。

画像ベースの車両損害評価装置の別の実施形態においては、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定する命令を実行すると、プロセッサは、次のステップ、すなわち、畳み込みニューラルネットワークを使用して局所的画像の第1の畳み込み特徴データを抽出し、所定のアルゴリズムを使用して局所的画像の第1の局所的特徴点セットを抽出するステップと、第1の畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を取得するステップと、所定のアルゴリズムを使用して類似領域の第2の局所的特徴点セットを抽出し、第1の局所的特徴点セットと第2の局所的特徴点セットとをマッチングして一致する点のペアを取得し、アフィン変換における一致する点のペアの位置誤差を最小化することによって局所的画像と部品画像との間のアフィン変換を取得するステップと、局所的画像中の車両部品として、部品画像中にあるとともに最小の位置誤差を有する画像領域に対応する部品を選択するステップとを実施する。

装置の別の実施形態においては、本ソリューションは、処理精度を改善するためにさらに最適化され得る。特に、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定する命令を実行すると、プロセッサは、以下のステップ、すなわち、部品画像について、スライドウィンドウを使用して部品画像中のスライドウィンドウ領域の第2の畳み込み特徴データを抽出し、第2の畳み込み特徴データセットを取得するステップであって、第2の畳み込み特徴データは、第1の畳み込み特徴データを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して取得される、ステップ、第2の畳み込み特徴データセットから、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を選択するステップであって、類似度はコサイン類似度を使用して計算される、ステップ、または、所定の割合で類似領域の画像領域範囲を拡張するステップであって、所定の割合の値域は50%を含み、それに対応するように、第2の局所的特徴点セットは画像領域範囲が拡張された類似領域の抽出した局所的特徴点セットを含む、ステップ、または、スケール不変特徴変換を使用して第1の局所的特徴データおよび第2の局所的特徴データを抽出するステップの少なくとも1つを実施する。

画像ベースの車両損害評価装置の別の実施形態においては、処理対象画像は、畳み込み層および領域提案層を含むネットワークモデルに基づくサンプルデータの訓練を経て構築および生成されるディープニューラルネットワークといった識別モデルを使用して調査され得る。

前述の方式において説明したように、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとは、損傷部分を含む処理対象画像のセットを取得することと、畳み込みニューラルネットワークを使用してセット内の処理対象画像の特徴ベクトルを抽出し、特徴ベクトルに基づいて同一の車両部品についての画像クラスタリング処理を行い、損傷部品を決定することと、同一の損傷部品に属する損傷部分をまとめて、損傷部分の損傷クラスタリング特徴データを取得することと、損傷クラスタリング特徴データに基づいて、損傷部品に含まれる損傷部分と損傷部分に対応する損傷タイプとを決定することとを行う方式を使用して決定され得る。

前述の方法を参照して、装置は、別の実施形態をさらに含み得る。方法の特定の実施形態および実施プロセスについては、前述の方法の関連実施形態の説明を参照されたい。その詳細を本明細書では再び説明することはしない。

本出願の実施形態において提供した画像ベースの車両損害評価装置を使用して、処理対象画像に含まれる損傷部品を識別することができ、その後、損傷部品における複数の損傷部分と各損傷部分に対応する損傷タイプとを構築した損傷識別モデルに基づいて識別することができる。したがって、車両部品の車両損害評価情報を、正確、包括的、かつ確実に取得することができる。さらに、本出願の実施ソリューションにおいては、車両整備プランは、保険業務要員および整備方針を提供するために、損傷部品、損傷部品における損傷部分、損傷タイプ、整備プランに関する情報を含む情報に基づいて生成され、保険請求オペレータおよび車両所有者ユーザにとって現実的な参考値を有するより正確かつ信頼性の高い損害評価情報を提供する。本出願の実施ソリューションにおいては、1つまたは複数の画像中の1つまたは複数の損傷部品、損傷部品における1つまたは複数の損傷部分、1つまたは複数の損傷度などが、より包括的かつ正確な損害評価情報を迅速に取得するために識別され得る。その後、整備プランが、迅速、包括的、正確、かつ信頼性の高い車両損害評価処理についての保険会社または車両所有者の要件を満たし、車両損害評価処理結果の精度および信頼性を改善し、ユーザサービスエクスペリエンスを改善するように、自動的に生成され得る。

本出願の前述の実施形態における方法または装置は、サービスロジックを実装し、コンピュータプログラムを使用して記憶媒体上にサービスロジック記録し得る。記憶媒体は、本出願の実施形態において説明した本ソリューションの効果を達成するように、コンピュータによって読み出され実行され得る。したがって、本出願は、コンピュータ可読記憶媒体をさらに提供している。コンピュータ可読記憶媒体は、コンピュータ命令を記憶する。命令が実行されると、以下のステップ、すなわち、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と未識別車両部品を含む局所的画像との間で画像マッチングを行うことによって、処理対象画像から局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを実施し得る。

コンピュータ可読記憶媒体は、情報を記憶するための物理装置を含み得る。一般的に、情報は、デジタル化され、その後、電気的方式、磁気的方式、光学的方式などでメディアに記憶される。本実施形態におけるコンピュータ可読記憶媒体は、例えば、RAMまたはROMなどのメモリといった、電気的方式で情報を記憶する装置、ハードディスク、フロッピーディスク、磁気テープ、磁気コアメモリ、磁気バブルメモリ、またはUSBフラッシュドライブなどといった、磁気的方式で情報を記憶する装置、CDまたはDVDなどといった、光学的方式で情報を記憶する装置を含み得る。当然のことながら、例えば、量子メモリおよびグラフェンメモリといった、他の形式のコンピュータ可読記憶媒体も存在する。

前述の装置または方法は、画像処理のために電子デバイスに適用され、画像ベースの車両損害評価処理の高速処理を実施し得る。電子デバイスは、スタンドアロンサーバであり得る、または複数のアプリケーションサーバを含むシステムクラスタであり得る、または分散システム内のサーバであり得る。

図12は、本発明による、電子デバイスの実施形態を図示している概略構造図である。ある実施形態においては、電子デバイスは、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み得るし、命令を実行すると、プロセッサは、処理対象画像を取得するステップと、処理対象画像を調査し、処理対象画像中の車両部品を識別するステップと、識別車両部品を含む部品画像と未識別車両部品を含む局所的画像との間で画像マッチングを行うことによって、処理対象画像から局所的画像中の車両部品を決定するステップと、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別するステップと、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するステップとを実施する。

図13は、本出願の実施形態による、車両損害評価の処理シナリオを図示している概略図である。図13におけるクライアントは、ユーザのモバイル端末である。別の実施シナリオにおけるクライアントはまた、PCまたは別の端末デバイスであり得る。本出願において提供した画像ベースの車両損害評価方法および装置ならびに電子デバイスに基づいて、損傷部分および損傷タイプがディープラーニング技術を使用して識別され、損傷部分が画像マッチング方法を使用して正確に示される。したがって、損害評価の精度を、マルチ画像認識の結果に基づいて、改善することを可能としている。整備プランおよび概算費用が、画像認識技術、車両部品価格データベース、および整備ルールに基づいて、自動的に生成される。本出願のいくつかの実施ソリューションにおいては、整備プランおよび概算整備費用が、より具体的な車両損傷情報、車両部品価格データベース、整備処理方法などに基づいて、自動的に生成され得る。したがって、迅速、包括的、正確、かつ信頼性の高い車両損害評価処理についての保険会社または車両所有者の要件を満足することができ、それによって、車両損害評価の結果の精度および信頼性を改善し、ユーザサービスエクスペリエンスを改善している。

前述の方法および装置は、ユーザが撮影した損傷車両画像をアップロードすることによって正確かつ信頼性の高い車両損害評価情報を迅速に取得することができるように、複数の自動画像ベース車両損害評価サービスシステムに適用され得る。したがって、ユーザの要求を満足し、ユーザのサービス利用エクスペリエンスを改善している。したがって、本出願は、画像ベースの車両損害評価システムをさらに提供している。特に、システムは、I/Oインターフェースと、メモリと、中央処理ユニットと、画像プロセッサとを含み得る、ここで、I/Oインターフェースは、処理対象画像を取得して整備プランを出力するように構成され、中央処理ユニットは、画像プロセッサに結合されるとともに、処理対象画像を調査し、処理対象画像中の車両部品を識別し、識別車両部品を含む部品画像と処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、局所的画像中の車両部品を決定し、処理対象画像を調査し、処理対象画像中の損傷部分および損傷タイプを識別し、識別車両部品、識別した損傷部分、および識別した損傷タイプに基づいて、処理対象画像中の損傷部品と損傷部品に対応する損傷部分および損傷タイプとを決定するように構成され、中央処理ユニットは、処理対象画像中の決定した損傷部品と損傷部品に対応する決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成するようにさらに構成される。

前述の実施形態は、装置、電子デバイス、コンピュータ可読記憶媒体、およびシステムの説明を提供しているが、前述の関連する方法または装置の実施形態の説明に基づいて、装置、電子デバイス、コンピュータ可読記憶媒体、およびシステムは別の実施形態をさらに含み得ることに留意されたい。詳細については、関連する方法または装置の実施形態の説明を参照すればよいため、詳細をここで再び列挙することはしない。

本出願の内容は、画像品質処理と、畳み込みニューラルネットワークと、領域提案ネットワークと、畳み込みニューラルネットワークおよび領域提案ネットワーク、概算整備費用の計算方法、GBDTモデルによって損傷部分および損傷タイプを獲得する処理方法、SIFTによる局所的特徴データの抽出、データ獲得、交換、計算、ならびにアフィン変換処理プロセスにおける決定を組み合わせることによって生成されるディープニューラルネットワークとの説明に言及している。しかしながら、本出願は、本発明の実施形態において説明した、業界通信規格、基準データモデル/アルゴリズム、コンピュータ処理およびストレージルール、または状況に準拠しなければならないケースに合わせることに限定されない。いくつかの業界標準、自己定義された方式、または実施形態において説明した実施形態に基づく変更後に取得される実施ソリューションも、前述の実施形態と同一、同等、同様、または予測可能な変形の実施の効果を実施し得る。変更または変形におけるデータ獲得方法、記憶方法、決定方法、処理方法などの実施であっても本出願の随意的な実施ソリューションの範囲に含まれ得る。

1990年代においては、技術の改善は、ハードウェア改善(例えば、ダイオード、トランジスタ、およびスイッチなどの回路構造の改善)とソフトウェア改善(方法の手順の改善)との間で明確に区別することが可能であった。しかしながら、技術の進歩に伴い、今日では、多くの方法の手順の改善をハードウェア回路構造の直接的な改善として扱うことができるようになった。設計者は、改善した方法の手順をハードウェア回路にプログラムすることによって、対応するハードウェア回路構造のほぼすべてを得る。したがって、方法の手順の改善がハードウェアエンティティモジュールを使用して実装することはできないとは言えない。例えば、プログラマブルロジックデバイス(Programmable Logic Device、PLD)(例えば、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA))がそのような集積回路である。プログラマブルロジックデバイスの論理機能は、ユーザによって実行されるコンポーネントプログラミングによって決定される。設計者は、チップ製造業者に専用の集積回路を設計および製造するように要求することなく、プログラミングを独自に行ってデジタルシステムを単一のPLDに「統合」する。加えて、集積回路チップを手動で製造する代わりに、プログラミングは、「ロジックコンパイラ(logic compiler)」というソフトウェアによってほとんどが実施され、プログラム開発において使用されるソフトウェアコンパイラと同様である。コンパイル処理する前に存在する元のコードはまた、ハードウェア記述言語(Hardware Description Language、HDL)と称する、特定のプログラミング言語で書かれる必要がある。ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java(登録商標) Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardwar
e Description Language)などといった、2つ以上のタイプのHDLが存在する。現時点、VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)およびVerilogが最も一般的に使用されている。方法の手順がいくつかの前述のハードウェア記述言語を使用してローカルでプログラムされているならば論理的な方法の手順を実装するハードウェア回路を容易に得ることができることも当業者は理解されたい。

コントローラは、任意の適切な方式を使用して実装され得る。例えば、コントローラは、マイクロプロセッサまたはプロセッサであり得るし、(マイクロ)プロセッサ、ロジックゲート、スイッチ、特定用途向け集積回路(Application-Specific Integrated Circuit、ASIC)、プログラマブルロジックコントローラ、または組み込みマイクロコントローラによって実行されるコンピュータ可読プログラムコード(例えば、ソフトウェアまたはファームウェア)を記憶するコンピュータ可読媒体であり得る。コントローラの例としては、ARC625D、Atmel AT91SAM、Microchip PIC18F26K20、およびSilicone Labs C8051F320といった、マイクロコントローラを含み得るがこれらに限定されない。メモリコントローラはまた、メモリの制御ロジックの一部として実装され得る。当業者も知っての通り、コントローラを純粋なコンピュータ可読プログラムコードの方式で実装することが可能であり、コントローラが論理ゲート、スイッチ、特定用途向け集積回路、プログラマブルロジックコントローラ、組み込みマイクロコントローラなどの形式で同一の機能をさらに実装することができるように方法におけるステップを論理的にプログラムすることが可能である。したがって、コントローラはまた、ハードウェアコンポーネントにおける構造とみなされ得る。あるいは、様々な機能を実施するように構成された装置も、方法を実施するためのソフトウェアモジュールおよびハードウェアコンポーネントにおける構造の両方とみなされ得る。

前述の実施形態において説明したシステム、装置、モジュール、またはユニットは、コンピュータチップまたはエンティティによって特に実装され得る、または、特定の機能を有する製品によって実装され得る。典型的な実施デバイスがコンピュータである。特に、コンピュータは、例えば、パーソナルコンピュータ、ラップトップコンピュータ、車載マンマシンインタラクションデバイス、セルラ電話、カメラ電話、携帯情報端末、メディアプレーヤ、ナビゲーションデバイス、電子メールデバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスの任意の組合せであり得る。

本出願は、ある実施形態において方法の動作ステップまたはフローチャートを提供しているが、従来の手段または非独創的な手段に基づくより多くの動作ステップまたはより少ない動作ステップを含み得る。実施形態において列挙した一連のステップは、複数のステップ実行シーケンスのうちの1つに過ぎず、一意の実行シーケンスを表しているわけではない。実際には、装置または端末製品がステップを実行する場合には、その実行は、実施形態に示したシーケンスまたは添付の図面に示した方法で行われ得る、または、並列して(例えば、並列して処理する環境において、マルチスレッド処理環境において、またはさらに分散データ処理環境においても)行われ得る。さらに、「含む」、「備える」といった用語またはそれらの任意の他の類型は、多くの要素を含むプロセス、方法、物品、またはデバイスが、これらの要素を含むだけでなく明示的に記載していない他の要素も含むように、またはそのようなプロセス、方法、製品、もしくはデバイスに本来備わっている要素をさらに含むように、非排他的な包含をカバーすることを意図している。さらなる制約が存在しない場合には、要素を含むプロセス、方法、製品、またはデバイスには他の同一または同等の要素が存在することもあり得る。

説明を簡潔にするために、機能を様々なモジュールに分割することによって前述の装置を説明している。当然のことながら、本出願を実施する際には、各モジュールの機能は、ソフトウェアおよび/またはハードウェアの1つまたは複数の要素において実施され得る、または、同一の機能を実施するモジュールは、複数のサブモジュールまたはサブユニットの組合せなどとして実施され得る。説明した装置の実施形態は例示的なものに過ぎない。例えば、ユニット分割は、論理的な機能分割に過ぎず、実際の実施においては他の分割もあり得る。例えば、複数のユニットまたはコンポーネントは組み合わされ得るもしくは別のシステムに統合され得る、または、いくつかの特徴は無視され得るもしくは行われない。加えて、図示したまたは記載した相互接続または直接接続または通信接続は、いくつかのインターフェースを使用して実施され得る。装置またはユニット間の間接接続または通信接続は、電子的、機械的、または他の形式で実施され得る。

コントローラが純粋なコンピュータ可読プログラムコードの方式で実施され得ること、およびコントローラが論理ゲート、スイッチ、特定用途向け集積回路、プログラマブルロジックコントローラ、組み込みマイクロコントローラなどの形式で同一の機能をさらに実施することができるように方法におけるステップが論理的にプログラムされ得ることは、当業者も知るところであろう。したがって、コントローラはハードウェアコンポーネントとみなし得るし、コントローラを含み様々な機能を実施するように構成される装置もハードウェアコンポーネントにおける構造とみなし得る。あるいは、様々な機能を実施するように構成される装置は、方法を実施するためのソフトウェアモジュールとハードウェアコンポーネント内部の構造との両方とみなし得る。

本発明は、本発明の実施形態に基づいて、方法のフローチャートおよび/またはブロック図、デバイス(システム)、ならびにコンピュータプログラム製品を参照して説明している。コンピュータプログラム命令がフローチャートおよび/またはブロック図中の各プロセスおよび/または各ブロックならびにフローチャートおよび/またはブロック図中のプロセスおよび/またはブロックの組合せを実施するために使用され得ることを理解されたい。このようなコンピュータプログラム命令は、コンピュータまたは任意の他のプログラマブルデータ処理デバイスのプロセッサによって実行された命令がフローチャート中の1つまたは複数のプロセスにおけるおよび/またはブロック図中の1つまたは複数のブロックにおける特定の機能を実施する装置を生成するように、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または任意の他のプログラマブルデータ処理デバイスのプロセッサに提供され、機構を生成し得る。

このようなコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶されている命令が命令装置を含むアーチファクトを生成することができるように、コンピュータまたは任意の他のプログラマブルデータ処理デバイスが特定の方式で動作するように命令し得るコンピュータ可読メモリに記憶され得る。命令装置は、フローチャート中の1つまたは複数のプロシージャにおけるおよび/またはブロック図中の1つまたは複数のブロックにおける特定の機能を実施する。

このようなコンピュータプログラム命令は、一連の処理およびステップがコンピュータまたは別のプログラマブルデバイス上で行われ、それによってコンピュータ実施処理を生成するように、コンピュータまたは別のプログラマブルデータ処理デバイスにロードされ得る。したがって、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、フローチャート中の1つまたは複数のプロセスにおけるおよび/またはブロック図中の1つまたは複数のブロックにおける特定の機能を実施するためのステップを提供する。

典型的な設定においては、コンピューティングデバイスは、1つまたは複数のプロセッサ(CPU)、入力/出力インターフェース、ネットワークインターフェース、およびメモリを含む。

メモリは、例えば、リードオンリーメモリ(ROM)またはフラッシュメモリ(フラッシュRAM)といった、コンピュータ可読媒体に存在する、非持続性メモリ、ランダムアクセスメモリ(RAM)、不揮発性メモリ、および/または他の形式を含み得る。メモリは、コンピュータ可読媒体の一例である。

コンピュータ可読媒体は、任意の方法または技術を使用する情報ストレージを実装し得る、持続性、非持続性、ムーバブル、および非ムーバブル媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータであり得る。コンピュータ記憶媒体の例としては、コンピューティングデバイスによってアクセスされ得る情報を記憶するように構成され得る、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、別のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、もしくは別のメモリ技術と、コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、もしくは他の光学ストレージと、カセット磁気テープ、テープおよびディスクストレージ、もしくは別の磁気ストレージデバイスと、または任意の他の非伝送媒体とを含むがこれらに限定されない。この仕様の制限に基づいて、コンピュータ可読媒体は、変調されたデータ信号およびキャリアなどの一時的コンピュータ可読媒体(一時的媒体)などは含まない。

本出願の実施形態が方法、システム、またはコンピュータプログラム製品として提供され得ることを当業者は理解されたい。したがって、本出願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアとの組合せを用いた実施形態の形式を使用し得る。さらに、本出願は、コンピュータ使用可能プログラムコードを含む1つまたは複数のコンピュータ使用可能記憶媒体(ディスクメモリ、CD-ROM、光学メモリなどを含むがこれらに限定されない)上で実施されるコンピュータプログラム製品の形式を使用し得る。

本出願は、例えば、プログラムモジュールといった、コンピュータによって実行されるコンピュータ実行可能命令の一般的な状況において説明することができる。一般的に、プログラムモジュールは、特定のタスクを実行するためのまたは特定の抽象データタイプを実施するためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本出願はまた、通信ネットワークを使用して接続されたリモート処理デバイスによってタスクが行われる分散コンピューティング環境において実施することができる。分散コンピューティング環境においては、プログラムモジュールは、ストレージデバイスを含むローカルコンピュータ記憶媒体およびリモートコンピュータ記憶媒体の両方に位置し得る。

本明細書中の実施形態はすべて漸進的な方式で説明しており、実施形態における同一または同様の部分は互い参照し得るし、各実施形態は他の実施形態とは異なる部分に焦点を置いている。特に、システムの実施形態は、方法の実施形態と基本的に同様であるため、したがって、簡潔に説明している。関連する部分については、方法の実施形態における説明の一部を参照されたい。本明細書中の説明における、「実施形態」、「いくつかの実施形態」、「例」、「特定の例」、および「いくつかの例」といった参照用語は、実施形態または例を参照して説明した特定の特徴、構造、材料、または特性が本出願の少なくとも1つの実施形態または例に含まれていることを意味する。本明細書においては、前述の用語を必ずしも同一の実施形態または例に対してというわけではなく記載している。加えて、説明した特定の特徴、構造、材料、または特性は、実施形態または例のうちの任意の1つまたは複数において適切な方式で組み合わされ得る。加えて、当業者は、種々の実施形態または例と本明細書において説明した種々の実施形態または例の特性とが互いに矛盾するものでなければ、それらを統合し得るまたは組み合わせ得る。

前述の実施形態は、本出願の実施形態に過ぎず、本出願を限定するために使用していない。当業者に対して、本出願は様々な修正および変更を有し得る。本出願の精神および原理を逸脱することなくなされた任意の変更、均等物との置換、改善などは本出願の保護範囲に含まれるものとする。

図14は、本開示の実施形態による、車両損害評価を生成するためのコンピュータ実施方法1400の例を図示しているフローチャートである。提示を明確にするために、以下の説明は、本説明における他の図に即して方法1400を一般的に説明している。しかしながら、方法1400が、例えば、任意のシステム、環境、ソフトウェア、およびハードウェアによって、または、必要に応じて、システムと、環境と、ソフトウェアと、ハードウェアとの組合せによって、行われ得ることは理解されよう。いくつかの実施形態においては、方法1400の様々なステップは、並列して、組み合わせて、ループして、または任意の順序で動作され得る。

1402において、車両損傷データを受信する。車両は、車、トラック、ボート、列車、ヘリコプター、および/または飛行機などといった、任意のタイプの自家用または公用車両を含み得る。いくつかの実施形態においては、車両損傷データは、車両運転者または車両所有者などのユーザから受信される。車両運転者は、損害または損傷評価状況に関する情報を受信するために、損傷車両に関連する事故現場においてモバイルデバイス(携帯電話など)を使用して車両の損傷位置の1つまたは複数の画像(または画像)を撮り得る。車両運転者は、画像を直接アップロードし得る、または、それらをアップロードするために車両所有者に画像を送信し得る。例えば、ユーザは、車両整備をサポートするように構成されたアプリケーションにアクセスして、獲得した画像をアップロードし得る。アプリケーションは、送信データの量を最小化して帯域幅要件を最小化するために、画像を自動的に処理するように構成され得る。画像処理は、画像をフィルタリングして、損傷識別に無関係な特徴(例えば、バックグラウンド特徴)を削除することを含み得る。画像処理は、伝送帯域幅要件を最小化するためにグレースケール画像への変換を含み得る。画像処理は、伝送帯域幅要件を最小化するために所定のファイルサイズへの圧縮を含み得る。画像に加えて、ユーザは、ユーザ識別子(例えば、名前およびパスワード)とアップロードした画像に関連するデータとを提供し得る。データは、損傷車両部品(例えば、車両のフロントバンパー、左フロントドア、またはテールライト)、車両所有者、保険情報、損傷車両、事故状況、位置、および事故の時間に関連する他の関係者の保険情報の指示を含み得る。1402から、方法1400は1404に進む。

1404において、車両損傷データが、データ品質が許容可能かつ十分なものであるかどうかを決定するべく処理される。画像品質は、不鮮明度閾値または情報エントロピー値などの品質決定アルゴリズムに基づいて決定され得る。低品質な画像品質は、車両損害評価のための関連情報の抽出を妨げ得る。車両損傷データが品質閾値を下回っている場合または車両損傷データの一部が見切れている場合には、1404から、方法1400は1406に進む。

1406において、追加の車両損傷データをユーザから要求する。例えば、ユーザは、画像処理を行うことができる特定の基準に合致している追加の画像を提供するように指示され得る。いくつかの実施形態においては、ユーザは、アップロードした画像に関連する追加のデータを提供するように指示され得る。1406から、方法1400は1402に戻る。車両損傷データが品質閾値を上回っている場合には、1404から、方法1400は1408に進む。

1408において、受信した車両損傷データは、ユーザ識別子に基づいてユーザ情報を読み出すために使用され、車両部品を決定するために車両画像を用いて処理される。いくつかの実施形態においては、車両画像が複数のタイプの画像情報を含む場合には、車両画像は、画像分類アルゴリズムを使用して分類される。例えば、分類は、損傷部分および損傷タイプを識別するために役立つ車両損害評価処理のための画像を識別するために画像分類アルゴリズムを使用して行われ得る。車両画像の具体的な分類は、シナリオ処理要件に基づいて分類および設定され得る。画像は、車両全体のパノラマビューの画像、複数の部品を含むハーフビューの画像、車両部品詳細の画像などに分類され得る。車両損害評価処理における車両部品または損傷部分の識別に関連しない画像は、別々に分類され得る、または、対応するカテゴリ(例えば、識別写真、事故地点における信号燈の写真、ドライバの写真など)に分類され得る。画像分類アルゴリズムは、分類した画像を使用して訓練された、ResNet(Residual Network、残差ネットワーク)などの、畳み込みニューラルネットワーク(CNN)モデルを使用し得る。

車両部品は、部品損傷識別アルゴリズムを使用して車両画像から決定され得る。画像中の車両部品を識別するために使用される部品識別モデルは、機械学習アルゴリズムを含み得る。部品識別モデルは、サンプル画像に対して訓練され、部品画像に含まれる車両部品を識別し得る。複数の部品識別モデルは、車両部品を決定するために使用され得る。各部品識別モデルの出力は、車両部品の特性評価および信頼性レベルを含み得る。部品識別モデルは、図1から図13を参照して説明したように、ディープニューラルネットワークのネットワークモデル、変異型ネットワークモデル、畳み込みニューラルネットワーク(CNN)モデル、領域提案ネットワーク(RPN)モデル、または複数のモデルの組合せを含み得る。車両画像は、損傷のない車両の他の部品から特定の車両部品を分離するために、1つまたは複数の画像解析技法およびパターンマッチング技法を使用して処理され得る。いくつかの実施形態においては、車両部品の識別は、畳み込みニューラルネットワークを使用して画像の畳み込み特徴データを抽出すること、および所定のアルゴリズムを使用して画像の局所的特徴点セットを抽出することを含む。例えば、部品画像uの畳み込み特徴データxを抽出し得る。畳み込みニューラルネットワークNpが構築され、畳み込みニューラルネットワークNpにおけるプーリング層の最終出力ベクトルが部品画像uの畳み込みネットワーク特徴として使用される。局所的特徴点セットをスケール不変特徴変換(scale-invariant feature transform、SIFT)を使用して取得することができ、画像uの第1の局所的特徴点セットyを抽出している。SIFTは、画像の局所的特徴データとして使用され得る。他の特徴データ、例えば、加速化断片試験による特徴抽出(FAST)などの特徴も、使用され得る。部品画像中のサンプリング領域の畳み込み特徴データは、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域を取得するために使用され得る。複数のサンプリング領域は、画像マッチングのために使用される部品画像から選択され得る。例えば、各サンプリング領域のサイズは、部品画像または切り取られた部品画像と同一のサイズに設定され、サンプリング領域は、部品画像の左上隅からシーケンシャルに選択される。サンプリング領域のセットは、部品画像のサンプリング領域のすべてを取得した後に、形成され得る。各サンプリング領域の畳み込み特徴データを算出する。畳み込み特徴データを部品画像中のサンプリング領域の畳み込み特徴データと比較する。第1の畳み込み特徴データと最も類似している畳み込み特徴データを含むサンプリング領域を取得して類似領域として使用する。いくつかの実施形態においては、類似領域は、スライドウィンドウを使用して部品画像中のスライドウィンドウ領域の畳み込み特徴データを抽出することによって決定される。畳み込み特徴データは、畳み込み特徴データxを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して取得され得る。第2の畳み込み特徴データセットは、畳み込み特徴データが第1の畳み込み特徴データと最も類似している類似領域から選択され得る。例えば、Tk中の各画像tについては、異なるサイズのスライドウィンドウが、第1の畳み込み特徴データxを抽出するために使用されたものと同一の畳み込みニューラルネットワークを使用して、部品画像中の異なる領域の第2の畳み込み特徴データを抽出するために使用され得る。第2の畳み込み特徴データが第1の畳み込み特徴データxと最も類似している領域rが、すべての領域から選択される。類似度はコサイン類似度を使用して計算され得る。いくつかの実施形態においては、類似領域の画像領域範囲を、より大きな範囲においてより多くの局所的特徴データを取得するために、拡張することができ、マッチング処理の信頼性を改善している。それに対応するように、第2の局所的特徴点セットは、画像領域範囲が拡張された類似領域の抽出した局所的特徴点セットを含む。類似領域の画像領域範囲を拡張する方法は、処理要件に基づいてカスタマイズされ得る。類似領域の画像領域範囲は、所定の割合で類似領域の左側、右側、上側、および下側へと拡張され得る。類似領域の画像領域範囲は、特定の目標数の第2の局所的特徴点を含むように、所定の割合の範囲内で拡張され得る。目標数は、対応する第1の局所的特徴点の二倍の数を含み得る。例えば、特徴拡張のデータ要件を満たし得るとともに計算量を適切に制御し得るように、類似領域の画像領域範囲は50%ほど拡張され得るし、類似領域rの各サイドは50%ほど拡張される(画像は正方形画像となるように一般的に事前処理される)。1408から、方法1400は1410に進む。

1410において、画像は、マッチングされる。画像マッチングは、識別車両部品を含む第1の画像と第2の画像または画像の第2のセットとの間で行われ得る。第2の画像または画像のセットは、車両部品識別が残りの画像において車両部品を決定することができない、ユーザから受信された他の画像であり得る。例えば、ユーザによってアップロードされた10のうち6つの画像は、車両そのものに関する情報を含み得るし、残りは、識別についての画像である。6つの車両画像からの画像P1は、車両の部品の局所的詳細画像である。構築された部品識別モデルは、画像P1中の部品タイプおよび部品位置を識別することはできないが、残りの5つの車両画像に含まれる車両部品を識別する。画像P1は、5つの画像中の位置領域が画像P1の画像情報と一致しているかどうかを計算および決定することで、残りの5つの画像P2、P3、P4、P5の各々とマッチングされ得るし、例えば、一致度が最高である、最低の一致度の要件を満たすといった、要件を満足する。マッチングのために使用されるデータは、画像ピクセルの視覚特徴データ(例えば、RGB、勾配、階調など)または他の画像データ情報であり得る。画像マッチングは、P2に含まれる第1の車両部品の第1の位置が画像P1中の第2の車両部品の第2の位置に最も類似していることを示し得るし、所定の類似度閾値を超過することによって最小類似度スコアについての要件を満足する。マッチング結果に基づいて、P2中の対応する位置における車両部品は、画像P1中の識別車両部品として使用され得る。いくつかの実施形態においては、マッチングアルゴリズムは、少なくとも1つの第1および第2の画像に適用される1つまたは複数の画像変換を含む。直交座標系における従来の画像変換は、線形変換であり得るしなどの、画像を乗算のためのベクトルに変換するステップ。車両損害評価処理については、損傷部品は、通常の状態における画像情報と比較して潜在的に損傷しているものとしてみなされる、または、非損傷部品と比較して交換対象となる。いくつかの実施形態においては、画像変換はアフィン変換を含む。アフィン変換は、並進を加味した線形変換などのアフィン結合を満足する変換を含み得る。いくつかの実施形態においては、画像マッチングは、類似度が所定の閾値に達している画像についての重複排除プロセスを含み得る。重複排除プロセスが、同一の角度で繰り返し撮影されているが互いに異なる損傷情報を提示していない類似度について高い度合いを有する画像を適用するために適用される。1410から、方法1400は1412に進む。

1412において、車両部品が、部品損傷識別アルゴリズムを使用して特定のモデルに基づいて自動車パーツの1つまたは複数の損傷エリア位置および1つまたは複数の損傷タイプを識別するべく処理される。画像中の車両部品を識別するために使用される部品識別モデルは、機械学習アルゴリズムを含み得る。部品識別モデルは、サンプル画像に対して訓練され、部品画像に含まれる車両部品を識別し得る。複数の部品識別モデルは、車両部品を決定するために使用され得る。各部品識別モデルの出力は、車両部品の特性評価および信頼性レベルを含み得る。部品識別モデルは、図1から図13を参照して説明したように、ディープニューラルネットワークのネットワークモデル、変異型ネットワークモデル、畳み込みニューラルネットワーク(CNN)モデル、領域提案ネットワーク(RPN)モデル、または複数のモデルの組合せを含み得る。車両画像は、損傷のない車両の他の部品から特定の車両部品を分離するために、1つまたは複数の画像解析技法およびパターンマッチング技法を使用して処理され得る。CNNは、畳み込み層および活性化層などの他の構造を含み得るし、1つまたは複数の画像中の損傷識別ために主に使用される。CNNモデルは、画像処理における2次元離散畳み込み演算を人工ニューラルネットワークと組み合わせ得る。畳み込み演算は、損傷特徴の自動的な抽出のために使用され得る。画像(任意のサイズ)から抽出された損傷特徴(畳み込みニューラルネットワークを使用して抽出された2次元的特徴であり得る)が、追加の処理のためにRPNモデルに入力され得る。RPNモデルは、損傷特徴を処理して、3次元損傷データセット(矩形ターゲット提案ボックス)のセットとして部品の特性評価を生成し得る。例えば、単一の損傷画像は、複数の損傷部分を含み得る。各3次元損傷データセットは、複数の損傷部分の特定の損傷部分に対応し得る。損傷部分が1つ存在する場合には1つの画像領域が出力される、損傷部分がk個存在する場合にはk個の画像領域が出力される、または、損傷部分が存在しない場合には出力される画像領域はゼロである。各3次元損傷データセットは、軽度、中度、重度の損傷を区別するためのスコア(例えば、1、2、3)を含み、損傷分類(損傷分類は損傷タイプを決定するために使用される)と、信頼性レベル(信頼性レベルは本明細書では損傷タイプの信憑度を示すパラメータである)とを定義している。損傷タイプは、軽度の傷、重度の傷、軽度の変形、中度の変形、重度の変形、損傷、および分解を要するチェックを含み得る。

いくつかの実施形態においては、部品領域を処理して1つまたは複数の特徴ベクトルを抽出し得る。画像クラスタリングが、損傷部品を特徴付けするために、特徴ベクトルに基づいて同一の車両部品に対して行われ得る。同一の損傷部品に対応する損傷部分はまとめられ得るし、損傷クラスタリング特徴データが損傷部分について獲得され得る。損傷クラスタリング特徴データは、損傷部品に含まれる損傷部分および損傷部分に対応する損傷タイプを決定するために使用され得る。例えば、1つまたは複数の損傷部分に対応する任意の識別した損傷部品p(損傷タイプ、位置、および信頼性レベルを含む)が、クラスタ化され得る1つまたは複数の画像において識別され得る。部品識別モデル(CNNモデル)によって処理される損傷画像に対応する特徴ベクトルが、画像距離を計算するために使用され得る。同一のクラスタtに対応する損傷部分が、特徴Ftとしてまとめられ得る。クラスタ中の上位C個の画像(画像はクラスタ中の重み付き損傷部分の数量に基づいて選択されたものであり、加重値は損傷部分の信頼性レベルである)の複数の特徴(Ft1、Ft2、…)が、マルチクラス勾配ブースティング決定木(GBDT)に入力される特徴として選択され得る。GBDTモデルは、損傷タイプおよび損傷度を出力するために使用される。GBDTモデルは、マーキングデータを使用して最急降下法訓練によって得られ得る。クラスタリングの目的は、ほぼ同一の損傷部品の部分について撮られた画像を識別することにある。処理対象画像中の損傷部品、対応する損傷部分、および対応する損傷タイプを損傷部品、損傷部分、および損傷タイプに基づいて決定する。同一の損傷部品に属する損傷部分をまとめることは、信頼性レベル(損傷部分の加重値)の降順で、画像クラスタに同一の損傷部品に対応する複数の画像中の損傷部分を選択しまとめることを含み得る。処理速度は、信頼性レベルに基づいて処理される画像の数を低減することによって改善され得る。例えば、事前に選択した信頼性レベルと同等またはより高い信頼性レベルを有する画像の最大数が、処理負荷およびその結果としての処理速度を制御するために使用され得る。いくつかの実施形態においては、画像中の部品タイプおよび部品位置は、既知の損傷タイプを有する画像に基づいて画像マッチングを使用して識別され得る。例えば、画像u中の部品タイプおよび部品位置を取得するために、Tu中の各画像uをTk中の画像とマッチングして、uに含まれるその位置を含む画像kをTkから見つけ出し、uとkとの間のアフィン変換を識別し得る。いくつかの実施形態においては、対応する位置における損傷タイプを取得するために、画像マッチングは、Siameseネットワーク(Siamese network)のネットワーク構造を使用して行われ得るし、マッチングが行われる画像間のアフィン変換を得るために画像SIFTおよびCNN特徴に基づき得る。1412から、方法1400は1414に進む。

1414において、整備プランが、識別した損傷エリアの位置および損傷タイプに基づいて生成される。整備プランは、車両損害評価に含まれる。整備プランは、ルールエンジンを使用して生成され得る。ルールエンジンは、車両モデル、位置、および利用可能な修理業者に関連する整備方針に基づいて、異なる価格決定スキームデータベースを呼び出し、ルールのセットに基づいて、識別した損傷を修繕することができる整備サービスを含む損傷車両部分についての少なくとも1つの整備プランを生成し得る。ルールは、フロントエンドルールおよびバックエンドルールを含み得る。フロントエンドルールは、整備プランを決定するのに必要な最小タイプの情報タイプなどの規約要件を示し得る。これらの契約ベースの特徴は、整備プランによってカバーされる仕事についての、賃金率、特定のタスクあたりの課金時間、または任意の他の態様を含み得る。バックエンドルールは、整備プランが識別した損傷に沿ったものであるかどうかを示し得る(例えば、フロントエンドの衝突のケースでは、システムは整備が必要なものとして示したリアテールライトアセンブリにフラグを立て得る)。いくつかのケースにおいては、整備プランは整備費用見積もりを含む。出力される整備プランが整備費用を含んでいない場合には、整備プランは損傷評価部分に分類され得る。整備プランが整備費用を含む場合には、計算処理が損傷評価および価格評価の両方に対して行われているとみなし得る。整備プランは、可能な整備サービスおよび部位に対応する時間見積もりを含み得る。いくつかの実施形態においては、整備プランを生成することは、作業割当見積もりを生成するために事故受付(FNOL)プロセスの一部として作業割当データを1つまたは複数の車両修理業者に送信することを含む。作業割当データは、損傷情報、顧客名、連絡先、保険請求番号、作業割当日、損害日、損害タイプ、損害タイプの詳細、損害説明、現在の車両位置、車両が送られる可能性のある位置、控除額、車両タイプ、年式/メーカー/モデル、車両識別番号(VIN)、ナンバープレート番号、レッカー企業情報、損傷情報、以前の損傷情報、および車両安全性状況(運転可/運転不可)を含み得るが、これらに限定されない。1414から、方法1400は1416に進む。

1416において、整備プランを車両に関連するユーザおよび/または保険業者に送信する。整備プラン送信は、車両整備をサポートするように構成されるアプリケーションによって解釈される整備プランコードを生成することを含み得る。プランコードは、送信データの量を最小化して帯域幅要件最小化するとともに可視化プロセスの速度を増大するようにフォーマットされ得る。アプリケーションは、整備プランをレビューする準備ができたことを示すユーザのためのアラートを生成するように構成され得る。アプリケーションは、アプリケーションのグラフィックユーザインターフェース上でモバイルデバイスのユーザのための整備プランを表示するように構成され得る。1416から、方法1400は1418に進む。

1418において、整備プランの同意をユーザおよび/または保険業者から受信し得る。整備プランの同意は、金融責任または車両損害補償がユーザ、保険業者、および/または第三者に受け入れられたかどうかを示し得る。整備プランの同意は、整備工場の選択と、提案した整備プランにリストアップされた可能な整備サービスの少なくとも一部とを含み得る。整備プランの同意は、整備プランを開始する推奨時期を含み得る。1418から、方法1400は1420に進む。

1420において、整備プランの同意を受信したことに応答して、整備プランを開始する。整備プランの開始は、整備業務を行うために作業割当データを選択した車両整備工場を送信することを含み得る。車両整備工場との通信の利点は、情報のいずれかが請求および/または整備の過程において変化した場合にリアルタイムな更新を提供する能力であり、顧客に対する整備を促進し得る。1420の後は、方法1400は停止する。

本開示の実施形態は、送信データの量を最小化して帯域幅要件を最小化するとともに車両損害評価生成プロセスの速度を増大することによってコンピューティングリソースを低減しつつ、対応するデータ共有の効率を改善することができる。

本明細書において説明した実施形態および動作は、本明細書において開示した構造またはそれらのうちの1つまたは複数の組合せを含む、デジタル電子回路の形式で、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアの形式で実装され得る。動作は、1つまたは複数のコンピュータ可読ストレージデバイス上に記憶されるまたは他のソースから受信されるデータに対するデータ処理装置によって行われる動作として実装され得る。データ処理装置、コンピュータ、またはコンピューティングデバイスは、例として、プログラマブルプロセッサ、コンピュータ、システム・オン・チップ、または前述したもののうちの複数もしくは組合せを含む、処理データのための装置、デバイス、マシンを含み得る。装置は、例えば、中央処理ユニット(CPU)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)といった、特殊用途ロジック回路を含み得る。装置はまた、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム(例えばオペレーティングシステムもしくはオペレーティングシステムの組合せ)、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つもしくは複数の組合せを構成するコードといった、当該コンピュータプログラムのための実行環境を作成するコードを含み得る。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラなどといった、様々な異なるコンピューティングモデルインフラを実現し得る。

コンピュータプログラム(例えば、プログラム、ソフトウェア、ソフトウェアアプリケーション、ソフトウェアモジュール、ソフトウェアユニット、スクリプト、またはコードとしても知られる)は、コンパイル型またはインタプリタ型言語、宣言型または手続き型言語を含む、任意の形式のプログラミング言語で書かれ得るし、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他のユニットとしてといったことを含む、任意の形式でデプロイされ得る。プログラムは、他のプログラムまたはデータを保持しているファイルの一部(例えば、マークアップ言語ドキュメントに記憶されている1つまたは複数のスクリプト)に、当該のプログラム専用の単一のファイルに、または複数の協調ファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)に記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、または、1つのサイトに位置しもしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された、複数のコンピュータ上で実行され得る。

コンピュータプログラムの実行のためのプロセッサは、例として、汎用および特殊用途マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信することになる。コンピュータの必須の要素は、命令に従ってアクションを行うためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリデバイスとである。一般的に、コンピュータはまた、データを記憶するための1つまたは複数のマスストレージデバイスを含むことになる、または、そのようなマスストレージデバイスからデータを受信もしくはそのようなマスストレージデバイスにデータを送信もしくはその両方を行うことが動作可能なように結合されることになる。コンピュータは、例えば、モバイルデバイス、携帯情報端末(PDA)、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルストレージデバイスといった、別のデバイスに組み込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、磁気ディスク、および光磁気ディスクといった、不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、殊用途ロジック回路によって補完され得る、またはそれに組み込まれ得る。

モバイルデバイスは、ハンドセット、ユーザ機器(UE)、モバイル電話(例えば、スマートフォン)、タブレット、ウェアラブルデバイス(例えば、スマートウォッチおよびスマートメガネ)、人体内部の埋め込みデバイス(例えば、バイオセンサ、人工内耳)、または他のタイプのモバイルデバイスを含み得る。モバイルデバイスは、様々な通信ネットワーク(以下で説明)と無線で(例えば、無線周波数(RF)信号を使用して)通信し得る。モバイルデバイスは、モバイルデバイスの現在の環境の特性を決定するためのセンサを含み得る。センサは、カメラ、マイクロフォン、近接センサ、GPSセンサ、モーションセンサ、加速度計、照度センサ、水分センサ、ジャイロスコープ、コンパス、気圧計、指紋センサ、顔認識システム、RFセンサ(例えば、Wi-Fiおよびセルラ無線)、熱センサ、または他のタイプのセンサを含み得る。例えば、カメラは、可動または固定レンズ、フラッシュ、画像センサ、および画像プロセッサを有する、前面または背面カメラを含み得る。カメラは、顔および/または虹彩認識のために細部をキャプチャすることが可能なメガピクセルカメラであり得る。データプロセッサ、およびメモリに記憶されているまたはリモートでアクセスされる認証情報とともに、カメラは、顔認識システムを形成し得る。顔認識システム、または、例えば、マイクロフォン、モーションセンサ、加速度計、GPSセンサ、もしくはRFセンサといった、1つまたは複数のセンサが、ユーザ認証のために使用され得る。

ユーザとのインタラクションを提供するために、実施形態は、例えば、情報を表示するための液晶ディスプレイ(LCD)または有機発光ダイオード(OLED)/仮想現実(VR)/拡張現実(AR)ディスプレイと、ユーザがコンピュータに入力を提供することを可能にするタッチスクリーン、キーボード、およびポインティングデバイスといった、表示デバイスと入力デバイスとを有するコンピュータ上で実施され得る。同様に、他の種類のデバイスもユーザとのインタラクションを提供するために使用され得る。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックといった、任意の形式の感覚フィードバックであり得るし、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形式で受信され得る。加えて、コンピュータは、例えば、ウェブブラウザから受信した要求に応答してユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザによって使用されるデバイスにドキュメントを送信することおよびそのようなデバイスからドキュメントを受信することによってユーザとやりとりし得る。

実施形態は、例えば、通信ネットワークといった、任意の形式または媒体の有線または無線デジタルデータ通信(またはその組合せ)によって相互接続されたコンピューティングデバイスを使用して実施され得る。相互接続されたデバイスの例としては、通信ネットワークを介して通常はやりとりする、一般的に互いにリモートに存在するクライアントとサーバとがある。例えば、モバイルデバイスといった、クライアントは、購入、売却、支払、贈与、送付、もしくは貸付のトランザクションを行うもしくはこれらを許可するサーバとのトランザクションを、またはそのようなサーバを介したトランザクションを、それ自身で実行し得る。そのようなトランザクションは、アクションとレスポンスとが時間的にほぼ同じであるリアルタイムであり得る。例えば、個人が、アクションとレスポンスとが実質的に同時に知覚し、個人のアクションの後のレスポンスについての時間差が1ミリ秒(ms)または1秒未満である、またはレスポンスは、システムの処理限界を考慮しつつも意図的な遅延は有していない。

通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、およびワイドエリアネットワーク(WAN)を含む。通信ネットワークは、インターネット、別の通信ネットワーク、または通信ネットワークの組合せのすべてまたは一部を含み得る。情報は、ロング・ターム・エボリューション(LTE)、5G、IEEE802、インターネットプロトコル(IP)、または他のプロトコルもしくはプロトコルの組合せを含む、様々なプロトコルおよび標準に準拠した通信ネットワーク上で送信され得る。通信ネットワークは、接続されたコンピューティングデバイス間で、音声、ビデオ、生体、もしくは認証データ、または他の情報を送信し得る。

別個の実施形態として説明した特徴を、組合せで、単一の実施形態で実施し得る一方で、単一の実施形態として説明した特徴を、複数の実施形態で、別々に、または任意の適切なサブコンビネーションで実施し得る。特定の順序で説明および主張した動作は、その特定の順序を必要とするものとして理解されるべきではないし、図示した動作のすべてを行う必要があると理解すべきではない(いくつかの動作がオプションであり得る)。必要に応じて、マルチタスク処理または並列処理(またはマルチタスク処理と並列処理との組合せ)が行われ得る。

101 画像獲得モジュール
102 第1の部品認識モジュール
103 第2の部品認識モジュール
104 損傷認識モジュール
105 損傷計算モジュール
106 損傷評価処理モジュール
1031 特徴抽出モジュール
1032 領域マッチングモジュール
1033 アフィン変換処理モジュール
1034 コンポーネント決定モジュール

Claims (15)

1. 車両損傷を評価するための画像ベースの方法であって、前記方法は、
   クラウドサーバにおいて、モバイルデバイスから、処理対象画像を取得するステップであって、前記処理対象画像は、前記モバイルデバイスを使用して撮られ、モバイルアプリケーションを使用して前記クラウドサーバにアップロードされた、損傷車両部分の画像を含む、ステップと、
   前記処理対象画像を調査し、前記処理対象画像中の車両部品を識別するステップと、
   識別車両部品を含む部品画像と前記処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、前記局所的画像中の車両部品を識別するステップと、
   前記処理対象画像を調査し、前記処理対象画像中の損傷部分および損傷タイプを識別するステップと、
   前記識別車両部品、前記識別した損傷部分、および前記識別した損傷タイプに基づいて、前記処理対象画像中の損傷部品と前記損傷部品に対応する損傷部分、損傷タイプ、および損傷度とを決定するステップであって、前記損傷タイプは整備プランに対応するように設定される、ステップと、
   前記処理対象画像中の前記決定した損傷部品と前記損傷部品に対応する前記決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成するステップと
   を含み、
   前記識別車両部品を含む部品画像と前記処理対象画像中の未識別車両部品を含む前記局所的画像との間で画像マッチングを行い、前記局所的画像中の車両部品を識別するステップは、
   畳み込みニューラルネットワークを使用して前記局所的画像の第1の畳み込み特徴データを抽出し、所定のアルゴリズムを使用して前記局所的画像の第1の局所的特徴点セットを抽出するステップと、
   前記第1の畳み込み特徴データを前記部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが前記第1の畳み込み特徴データと最も類似している類似領域を取得するステップと、
   前記所定のアルゴリズムを使用して前記類似領域の第2の局所的特徴点セットを抽出し、前記第1の局所的特徴点セットと前記第2の局所的特徴点セットとをマッチングして一致する点のペアを取得し、アフィン変換における前記一致する点のペアの位置誤差を最小化することによって前記局所的画像と前記部品画像との間のアフィン変換を取得するステップと、
   前記局所的画像中の前記車両部品として、前記部品画像中にあるとともに最小の位置誤差を有する画像領域に対応する部品を選択するステップと
   を含む、方法。
2. 前記第1の畳み込み特徴データを前記部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが前記第1の畳み込み特徴データと最も類似している類似領域を取得するステップは、
   前記部品画像について、スライドウィンドウを使用して前記部品画像中のスライドウィンドウ領域の第2の畳み込み特徴データを抽出し、第2の畳み込み特徴データセットを取得するステップであって、前記第2の畳み込み特徴データは、前記第1の畳み込み特徴データを抽出するために使用される前記畳み込みニューラルネットワークと同一の畳み込みニューラルネットワークを使用して取得される、ステップと、
   前記第2の畳み込み特徴データセットから、畳み込み特徴データが前記第1の畳み込み特徴データと最も類似している前記類似領域を選択するステップであって、類似度はコサイン類似度を使用して計算される、ステップと
   を含む、請求項1に記載の方法。
3. 前記方法は、
   所定の方式で前記類似領域の画像領域範囲を拡張するステップをさらに含み、
   それに対応するように、前記第2の局所的特徴点セットは、画像領域範囲が拡張された前記類似領域の抽出した局所的特徴点セットを含む、請求項1に記載の方法。
4. 前記所定の方式で前記類似領域の画像領域範囲を拡張するステップは、所定の割合で前記類似領域の左側、右側、上側、および下側を拡張するステップであって、前記所定の割合の値域は50%を含む、ステップを含む、請求項3に記載の方法。
5. 前記処理対象画像を取得するステップの後に、
   前記処理対象画像が複数のタイプの画像情報を含む場合には、画像分類アルゴリズムを使用して前記処理対象画像を分類し、車両損害評価処理のための画像として、車両損害評価処理情報に関連している画像を選択するステップ、または、
   前記処理対象画像の画像品質を決定し、画像品質が要件を満たしていない処理対象画像を削除するステップ、または、
   類似度が所定の閾値に達している処理対象画像に対する重複排除処理を行うステップ、といった画像処理のうちの少なくとも1つのタイプをさらに行う、請求項1に記載の方法。
6. 前記方法は、前記損傷部品の整備方針に関する情報を取得するステップをさらに含み、それに対応するように、前記整備プランは、前記整備方針に対応する概算修理価格をさらに含み、前記概算修理価格は、前記整備方針における前記損傷部品の製品および/または修理サービスの価格データを問い合わせた後に、前記損傷部品、前記損傷部分、前記損傷タイプ、および前記整備方針に関する前記情報に基づいた計算によって得られる、前記損傷部品の概算修理価格である、請求項1に記載の方法。
7. 前記処理対象画像は、ディープニューラルネットワークを含む識別モデルを使用して調査され、前記ディープニューラルネットワークは、
   サンプルデータの訓練を経て構築および生成されるとともに、
   畳み込み層および領域提案層を含むネットワークモデルに基づく、請求項1に記載の方法。
8. 前記処理対象画像中の前記損傷部品と前記損傷部品に対応する前記損傷部分および前記損傷タイプとは、
   損傷部分を含む処理対象画像のセットを取得することと、
   畳み込みニューラルネットワークを使用して前記セット内の前記処理対象画像の特徴ベクトルを抽出し、前記特徴ベクトルに基づいて同一の車両部品についての画像クラスタリング処理を行い、前記損傷部品を決定することと、
   同一の損傷部品における損傷部分をまとめて、前記損傷部分の損傷クラスタ特徴データを取得することと、
   前記損傷クラスタ特徴データに基づいて、前記損傷部品に含まれる前記損傷部分および前記損傷部分に対応する前記損傷タイプを決定することと
   を行う方式を使用して決定される、請求項7に記載の方法。
9. 前記同一の損傷部品における損傷部分をまとめて、前記損傷部分の損傷クラスタ特徴データを取得するステップは、
   画像クラスタに同一の損傷サンプル部品についての処理対象画像から信頼性レベルの降順で選択されたK個の処理対象画像中の損傷部分をまとめるステップであって、K≧2である、ステップと、
   前記まとめた画像クラスタから、損傷部分の加重値の降順でC個の処理対象画像の損傷クラスタ特徴データを選択するステップであって、C≧2であり、前記加重値の重み因子は損傷部分の信頼性レベルである、ステップと
   を含む、請求項8に記載の方法。
10. 前記損傷クラスタ特徴データに基づいて損傷サンプル画像中の損傷部分および損傷タイプを識別するステップは、所定のマルチクラス分類勾配ブースティング決定木モデルの入力データとして前記損傷クラスタ特徴データを使用して前記損傷部分および前記損傷タイプを識別するステップを含む、請求項9に記載の方法。
11. 前記処理対象画像を調査し、前記処理対象画像中の車両部品を識別するステップと、前記処理対象画像を調査し、前記処理対象画像中の損傷部分および損傷タイプを識別するステップとは並列して行われる、請求項1に記載の方法。
12. 前記クラウドサーバによって、前記モバイルデバイスに、前記生成した整備プランを返信するステップ、または、
    整備業務を行うために作業割当データを選択した車両整備工場を送信することによって前記生成した整備プランを開始するステップ
    のうちの1つまたは複数をさらに含む、請求項1に記載の方法。
13. 画像ベースの車両損害評価装置であって、前記装置は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、前記命令を実行すると、前記プロセッサが請求項1から12のいずれか一項に記載の処理を実施する、装置。
14. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータ命令を記憶し、前記命令が実行されると、請求項1から12のいずれか一項に記載のステップが実施される、コンピュータ可読記憶媒体。
15. 車両損傷を評価するための装置であって、前記装置は、モバイルデバイスと通信するクラウドサーバを含み、
    前記クラウドサーバは、プロセッサと、前記プロセッサが実行することができる命令を記憶するように構成される、メモリとを含み、前記命令が実行されると、前記プロセッサは、
    クラウドサーバにおいて、モバイルデバイスから、処理対象画像を取得することと、
    前記処理対象画像を調査し、前記処理対象画像中の車両部品を識別することと、
    識別車両部品を含む部品画像と前記処理対象画像中の未識別車両部品を含む局所的画像との間で画像マッチングを行い、前記局所的画像中の車両部品を識別することと、
    前記処理対象画像を調査し、前記処理対象画像中の損傷部分および損傷タイプを識別することと、
    前記識別車両部品、前記識別した損傷部分、および前記識別した損傷タイプに基づいて、前記処理対象画像中の損傷部品と前記損傷部品に対応する損傷部分および損傷タイプとを決定することであって、前記損傷タイプは整備プランに対応するように設定される、ことと、
    前記処理対象画像中の前記決定した損傷部品と前記損傷部品に対応する前記決定した損傷部分および損傷タイプとを含む情報に基づいて、整備プランを生成することと、
    前記クラウドサーバによって、前記モバイルデバイスに、前記生成した整備プランを返信することと
    を含む処理を実施し、
    前記識別車両部品を含む部品画像と前記処理対象画像中の未識別車両部品を含む前記局所的画像との間で画像マッチングを行い、前記局所的画像中の車両部品を識別することは、
    畳み込みニューラルネットワークを使用して前記局所的画像の第1の畳み込み特徴データを抽出し、所定のアルゴリズムを使用して前記局所的画像の第1の局所的特徴点セットを抽出することと、
    前記第1の畳み込み特徴データを前記部品画像中のサンプリング領域の畳み込み特徴データと比較し、畳み込み特徴データが前記第1の畳み込み特徴データと最も類似している類似領域を取得することと、
    前記所定のアルゴリズムを使用して前記類似領域の第2の局所的特徴点セットを抽出し、前記第1の局所的特徴点セットと前記第2の局所的特徴点セットとをマッチングして一致する点のペアを取得し、アフィン変換における前記一致する点のペアの位置誤差を最小化することによって前記局所的画像と前記部品画像との間のアフィン変換を取得することと、
    前記局所的画像中の前記車両部品として、前記部品画像中にあるとともに最小の位置誤差を有する画像領域に対応する部品を選択することと
    を含み、
    前記モバイルデバイスは、プロセッサと、前記プロセッサが実行することができる命令を記憶するように構成される、メモリとを含み、前記命令が実行されると、前記プロセッサは、
    前記モバイルデバイスにインストールされたモバイルアプリケーションによって、車両損害評価サービスを要求することであって、
    前記モバイルデバイスを使用して損傷車両部分の写真を撮ることと、
    モバイルアプリケーションを使用して前記クラウドサーバに処理対象画像として前記写真をアップロードすることと、
    前記クラウドサーバから、車両についての整備プランを受信することと
    を含む、要求することと
    を含む処理を実施する、装置。

Images