JP4057571B2 - 画像分析システム及び画像分析方法 - Google Patents

Description

本発明は、撮影画像を基に画像の分析を行うことができる画像分析システムに係り、特に携帯端末で撮影した車輌の事故等による変形を分析することができる画像分析システムに関する。

近年、車輌の事故が発生した場合、その事故車輌の損傷状況に応じて修理代金の概算見積を早急に行うことが望まれており、このために、事故車輌を写真撮影し、写真撮影した画像を基に前記見積を行う技術が下記特許文献１に記載されている。

この文献に記載された技術は、予め複数の車種の車輌の外観写真（前側、後側、右側、左側）を登録しておき、撮影した画像を前記登録画像に重ね書きした状態で人手により登録画像に傷データをカーソル移動により描画を行い、この傷が描画された画像を基に修理代金の見積を行うものである。
特開２００１−３４４４６８号公報

前述した従来技術は、予め登録した車輌の外観写真に撮影した車輌写真を重ね合わせることを前提としているものの、実際の撮影される車輌写真は、カメラで対象物を撮影する際の撮影状態、例えば被写体との距離、倍率、使用するレンズ特性（標準、広角、望遠）等の撮影条件がユーザに強く依存するため、予め登録した車輌画像との一致をとることが困難であり、ユーザによっては撮影の撮り直し、同アングルで複数枚数撮影が発生すると言う不具合があった。

更に従来技術においては、撮影した画像を基に人手によって傷データを入力するものであるが、傷の程度、例えば擦り傷、損傷を伴う深い傷、更には大きな陥没を伴うことがあり、これら深い傷や陥没を伴う損傷の程度を入力するためには撮影写真を参照してオペレータが人手により入力しなければならないと言う不具合もあった。

本発明の目的は、撮影した画像を基に対象物体の損傷程度を容易に判別し、概算見積を算出することができる画像分析システム及び画像分析方法を提供することである。

前記目的を達成するために本発明は、撮影した画像を分析する画像分析システムであって、撮影対象となる対象物体の物体ＩＤと該物体ＩＤに対応する対象物体の立体図形の輪郭を網目状の線で表現したワイヤフレームデータとを格納するデータテーブルと、該データテーブルに格納したワイヤフレームデータを基に表示されたワイヤフレームに合わせて撮影した対象物体の画像データと前記データテーブルに格納したワイヤフレームデータとを入力するサーバとを備え、該サーバが、前記入力したワイヤフレームデータとを比較して両データの差異のある領域を特定し、該特定した領域の中心ベクトルと前記領域の端点ベクトルを基に前記特定した領域の直径を算出すると共に、前記中心ベクトルとデータテーブルに格納したワイヤフレームデータとを比較して前記特定した領域の深さを算出することを第１の特徴とする。

更に本発明は、前記画像分析システムにおいて、前記データテーブルが、複数の対象物体の前記算出した領域の直径及び深さに対応した単位面積及び深さ当たりの単位見積額を格納し、前記サーバがデータテーブルを前記算出した直径及び深さと単位見積額とを基に概算見積額を算出することを第２の特徴とする。

また本発明は、前記第２の特徴の画像分析システムにおいて、前記対象物体が車輌であり、前記ワイヤフレームデータが車輌外観の輪郭網目状の線で表現する車輌のワイヤフレームデータであり、前記特定した領域の直径及び深さが、車輌の陥没した領域の直径及び深さであり、前記概算見積額が車輌の前記陥没した領域の修理用の概算見積額であることを第３の特徴とする。

本発明による画像分析システムは、予め撮影対象の立体図形の輪郭を網目状の線で表現したワイヤフレームデータを用意しておき、該ワイヤフレームに撮影対象に合わせて撮影した撮影画像とを比較することにより、撮影条件を予め登録した画像に合わせて設定することができ、予め登録した車輌画像と容易に一致することができる。

更に本発明による画像分析システムは、前記比較の結果により特定した領域の直径及び深さを算出し、この算出結果を参照して概算見積額を容易に得ることができる。

以下、本発明による画像分析システムの一実施形態を図面参照して詳細に説明する。図１は本実施形態によるデータベースサーバの構成を示す図、図２は本実施形態によるデータベースサーバ内の格納データの処理フロー図、図３は本実施形態による車種タイプ選択画面を示す図、図４は同排気量選択画面を示す図、図５は同車輌メーカ選択画面を示す図、図６は車種検索結果画面を示す図、図７は本実施形態による車輌検索の処理フローを示す図、図８は本実施形態によるワイヤフレーム受信のフローチャート図、図９は撮影ウィザード概略フローチャート図、図１０は本実施形態による撮影状態を説明するための図、図１１は本実施形態による登録データと撮影データを説明するための図、図１２は撮影した画像を基に特定の領域を特定するベクトルデータ処理のフロー図、図１３は本実施形態による見積額の算出処理のフロー図、図１４は本実施形態による情報端末を説明するための図、図１５は本実施形態による車両撮影の概念を説明するための撮影フロー概念図である。
＜構成の説明＞

本実施形態による画像分析システムは、図１５に示す如く、対象物体を車輌とした場合、当該車輌外観（前側、後側、右側、左側）のワイヤフレームデータ（物体の立体図形の輪郭を網目状の線で表現したデータ）を格納するデータベースサーバ１００と、後述する処理により車輌情報の送信並びに該データベースサーバ１００から該当のワイヤフレームデータを受信する情報端末機器１５とから成り、例えば事故車輌を見てユーザが当該車輌の車種等をデータベースサーバ１００に送信し、これを受信したデータベースサーバ１００が該当する車輌のワイヤフレームデータを情報端末機器１５に送信し、このワイヤフレームデータを基にユーザが撮影した画像をデータベースサーバ１００に送信することにより、該データベースサーバ１００が事故車輌の損傷場所及び損傷の程度（具体的には破損領域並びに破損深さ）を算出し、この算出した損傷の程度を基に修理に要する費用の見積概算を算出する様に構成されている。

前記データベースサーバ１００は、図２に示す如く、複数の車輌に対する損傷程度に応じた修理の単位面積及び単位深さ当たりの単位見積金額を格納した車輌データテーブル１０１と、車輌を特定するための車種データテーブル１０２／排気量データテーブル１０３／メーカデータテーブル１０５とを備える。前記単位見積額は、例えば車輌の場合、ボンネットカバー／フロントドア／トランクリミット等の部位に応じた単位面積及び単位深さ当たりの修理費用の見積額に相当し、例えば図１の例では事故箇所Ａの単位面積１ｃｍ^２当たりの修理費用が１０００円、且つ深さ１ｃｍ当たりの修理費用が１２００円であることを表している。

前記車輌データテーブル１０１は、複数の車輌に対応した車体ＩＤ／車名／クラス／当該車輌の立体図形の輪郭を網目状の線で表現したワイヤフレームデータ／撮影画像と前記ワイヤフレームデータとの倍率差／事故箇所の直径に対する見積額／事故箇所の深さに対する見積額とを格納し、車種データテーブル１０２は、例えばコンパクトカー型／ワンボックス型／セダン型／ワゴン型／オフロード型／トラック型／スポーツカー型等の車種を車種ＩＤと対応して格納し、排気量データテーブル１０３は、排気量の量を示す排気ＩＤ対応にその範囲（１０００ｃｃ〜）を格納し、メーカデータテーブル１０５は車輌の製造元であるメーカ名に対応してメーカＩＤを格納している。

前記情報端末機器１５は、図１４に示す如く、撮影を行った車輌の車体ＩＤ対応に、後述する処理によってデータベースサーバ１００から得た車名／当該車輌のクラス／撮影した車輌データ名（画像ファイル名）／撮影の倍率差を格納する車輌データテーブル１５２と、撮影した案件毎に付与される案件ＩＤ対応に、その事故内容等を示す入力項目／破損部分の直径の実測値／同深さ寸法値を格納する案件データテーブル１５１とを備える。
<動作の説明>

上記の様に構成された画像分析システムは、前述の図１５に示す如く、事故車輌を見てユーザが当該車輌の車種等をデータベースサーバ１００に送信し、これを受信したデータベースサーバ１００が該当する車輌のワイヤフレームデータを情報端末機器１５に送信し、このワイヤフレームデータを基にユーザが撮影した画像をデータベースサーバ１００に送信することにより、該データベースサーバ１００が事故車輌の損傷場所及び損傷の程度（具体的には破損領域並びに破損深さ）を算出し、この算出した損傷の程度を基に修理に要する費用の見積概算を算出するものであるが、この動作の詳細を次に図２／図７／図８／図１２に示すフロー図他を参照して説明する。
<車輌の検索>

まず、ユーザは事故車輌を撮影する場合、情報端末機器１５を用いてデータベースサーバ１００にアクセスし、図３に示した車輌タイプ選択画面３０を表示し、車輌タイプ（コンパクトカー型／ワンボックス型／セダン型／ワゴン型／オフロード型／トラック型／スポーツカー型等）の選択（図２のステップ２０１）、図４に示す当該車輌の選択画面４０を参照した排気量の選択（ステップ２０２）、図５に示す当該車輌のメーカ選択画面５０を参照したメーカの選択（ステップ２０３）し、これらデータをデータベースサーバ１００に送信する（ステップ２０４）。

これを受信（ステップ２０５）したデータベースサーバ１００は、データベース内の車輌情報と受信した車輌情報とが一致するか否か判定し（ステップ２０６）、一致した場合、当該一致した車輌情報（型式／ワイヤフレームデータ）をユーザである送信者に返信し（ステップ２０７）、前記ステップ２０６において一致しないと判定した場合、受信した車輌情報に全ての情報（車輌タイプ／排気量／メーカ）が入力されているか否かを判定し（ステップ２０８）、入力されていない場合は「再入力要求」のメッセージを送信者に返送し（ステップ２０９）、入力されている場合は「該当なし」のメッセージを送信者に返送する（ステップ２１１）。

次いで情報端末側では、データベースサーバ１００から車輌情報が送られてきたかを判定し（ステップ２１２）、送られた場合は処理を終了し、送られていないと判定したときには、送信から６０秒を経過しているかを判定し（ステップ２１３）、６０秒を越えたときにはエラー表示（ステップ２１４）を行って処理を終了する。

この様に本実施形態においては、ユーザが車輌の車種等の詳細な条件を知らない場合であっても、情報端末機器１５から車輌タイプ／排気量／メーカ名等を送信して候補の車輌を図６の検索結果画面６０の如く表示することにより、容易に車輌を特定することができる。尚、本実施形態においては情報端末機器１５から車輌タイプ等をデータベースサーバ１００に送って車種候補を選定する例を説明したが、ユーザが車種を認知している場合は、データベースサーバ１００に直接、車種を送信して当該車種の情報を入手する様に構成することもできる。
<撮影>

次いで本画像分析システムは、図７に示す如く、前記受信した図６の検索結果画面６０に表示された車種を選択すると共に選択した項目に識別符号を付与し（ステップ７０１）、この識別符号データを車輌情報してデータベースサーバ１００に送信し（ステップ７０２）、この車輌情報データの受信したことをデータベースサーバ１００が判定し（ステップ７０３）、当該車輌情報がデータベース内の車輌情報と一致するか否かを判定し（ステップ７０４）、一致した際には当該車輌の撮影用のワイヤフレームデータを情報端末機器１５に送信する（ステップ７０５）。

前記ステップ７０４において、データベース内に該当する車輌情報がないと判定した場合、当該車輌情報に必要とするデータが入力されているか否かを判定し（ステップ７０７）、入力されている際には「該当なし」のメッセージを表示し（ステップ７０９）、入力されていない場合「再入力要求」のメッセージを送信する（ステップ７０８）。

前記何れかのデータを受信した情報端末機器１５は、データベースサーバ１００からワイヤフレームデータが送られてきたか否かを判定し（ステップ７１０）、送られてきている際には本処理を終了し、送られてきていない際には送信から６０秒以上経過しているか否かを判定し、経過していた場合にはエラー表示（ステップ７１２）を行って処理を終了する。

このように本実施形態による画像分析システムは、情報端末機器１５から送られた車輌情報を基に該当する車輌のワイヤフレームデータ（該当の車輌の前側／後側／右側／左側／その他方向から見た外観の立体図形の輪郭を網目状の線で表現したデータ）を情報端末機器１５に送信し、これを受信した情報端末機器１５が、図８に示す如く、車輌の破損部位を撮影するための撮影ウィザード画面９０（図９）から撮影部位、例えば前面撮影／背面撮影／側面撮影／全体撮影を選択し（ステップ８０１）、この選択された部位に関するワイヤフレームデータの一覧表示を行い（ステップ８０２）、次いで一覧表示から撮影するワイヤフレームデータを選択し（ステップ８０３）、更に選択したワイヤフレームに車輌に合わせて撮影を行う（ステップ８０４）。

この撮影は、図１０に示す如く、画面９１及び９２の如く実際の車輌外観にワイヤフレーム（図面では白抜き線）が合致する様にカメラ位置／倍率／角度を調整して行われる。

次いで本システムは、事故部位に対応するワイヤフレーム全てを撮影したか否かを判定し（ステップ８０５）、全て撮影していない場合には前記ステップ８０２に戻って撮影を継続し、全ての撮影が完了したことを判定することにより本撮影処理を終了する。
<事故部位寸法の計測>

次いで本システムは、図１２に示す如く、前記被害程度を計算したい撮影画像を選択してデータベースサーバ１００に送信すると（ステップ２２０）、サーバ側では、撮影画像データを受信したことを判定（ステップ２２１）してからワイヤフレーム作成ソフトを用いて撮影画像（車輌外観）のワイヤフレームデータを作成し（ステップ２２２）、この撮影画像のワイヤフレームデータの算出したい箇所の中心ベクトルと端点ベクトルを選択する（ステップ２２３）、即ち車輌の破損個所の中心位置並びに破損の端部位置のベクトルを選択する。

前記破損個所の中心ベクトルと端点ベクトルの選択は、予め登録してある車輌のワイヤフレームデータと比較することによって行われるものであるが、サーバ側のオペレータ又は撮影側のユーザが指定しても良い。

また前記事故領域の直径の算出は、例えば車輌データテーブル１０に予め登録したワイヤフレームが図１１（ａ）のフレーム例９３に対して図１１（ｂ）の如く変形し、ｒ0を事故領域の半径、Wt iを撮影した車両のワイヤフレームデータの中心ベクトル値、Wt jを撮影した車両のワイヤフレームデータの端点ベクトル値、R0を事故領域の直径としたとき、下記式によって得ることができる。

r0 = ||Wt i − Wt j|| ・・・［式1］

Wt i = (xi、yi、zi) ・・・［式2］

Wt j = (xj、yj、zj) ・・・［式3］

R0 = 2 × r0 ・・・［式4］

更に事故領域の深さは、ｒ1を事故領域の深さ、Wd iを対応するデータベースサーバ内のベクトル値、Wt iを撮影した車両のワイヤフレームデータの中心ベクトル値としたとき、下記式によって得ることができる。

r1 = ||Wd i − Wt i|| ・・・［式5］

Wd i = (xi、yi、zi) ・・・［式6］

Wt i = (xi、yi、zi) ・・・［式7］

この様に本システムは、前記選択した中心ベクトルと端点ベクトルを基に事故領域（破損個所）の直径値と深さ値を求め（ステップ２２４〜２２５）、これら直径値並びに深さ値と、車輌データテーブル１０１（図１）に予め登録してある倍率差を基に実際の直径値並びに深さ値の実寸値を求めてサーバの記憶部に転送し（ステップ２２６〜２２７）、次いで本処理がシステム駆動時間内か判定し（ステップ２２８）、駆動時間内の場合には前記ステップ２２１に戻って処理を実行する。

次いで本システムは、端末側において、サーバから実寸値データが送られてきたかを判定し（ステップ２２９）、送られてきた際には本処理を終了し、送られてきていない際には撮影画像送信から６０秒以上を経過しているか否かの判定（ステップ２３０）を行い、６０秒以上経過していた際にはエラー表示（ステップ２３１）を行って処理を終了する。

この様に本実施形態においては、車輌のワイヤフレームに合わせて車輌撮影を行い、この撮影データをワイヤフレーム化して予め登録した車輌のワイヤフレームデータと比較することによって事故部位の直径及び深さを算出し、これら値を実寸値に変換して情報端末機器１５に送信する様に動作する。この実寸値への変換は、S0を事故領域の直径の実寸値、S1を事故領域の深さの実寸値、nを倍率差（フレームのサイズから実際の車両のサイズへの拡大率）としたとき、下記式によって得ることができる。

S0 = n × R0 ・・・[式8]

S1 = n × r1 ・・・[式9]

<見積額の算出>

次いで本実施形態による画像分析システムは、図１３に示す如く、ユーザが見積を要求する箇所を入力し且つ該入力箇所に識別符号を設け（ステップ３３０）、更に前記処理において得た事故箇所の入力データと、撮影写真から算出した実寸値データベースと、前記ステップにおいて指定した識別符号をデータベースサーバ１００に送信すると（ステップ３３１）、該サーバ１００は、このデータの受信を判定（ステップ３３２）した後、事故箇所の入力データ、ベクトル値、車輌データテーブル１０１を参照して事故による破損個所の直径と深さをキーとして所定単位当たりの見積額を検出し（ステップ３３３）、該検出した見積額と直径及び深さの実寸値から事故箇所の概算見積額を算出し（ステップ３３４）、この算出結果を情報端末機器１５へ送信する（ステップ３３５）。

この概算見積額の算出は、Vを見積金額、p1を事故領域の直径の単位面積当たりに対する単位見積額、p2を事故領域の深さの単位深さ当たり対する単位見積額としたとき、下記式によって算出する。

V = p1 × S0 + p2 × S1 ・・・［式10］

次いで本システムは、情報端末機器１５側において、サーバから見積額の算出結果が送られてきたか否かを判定し（ステップ３３６）、送られてきた際には処理を終了し、送られていない際には、前記識別符号送信から６０秒以上経過しているか否かを判定し（ステップ３３７）、６０秒以上経過していた際にはエラー表示（ステップ３３８）を行って処理を終了する。

この様に本実施形態においては、ワイヤフレームデータを基にした事故箇所の直径及び深さの実寸値と、予め登録した単位当たりの見積額とを参照して、概算見積額を算出するように動作する。

以上述べた如く本発明による画像分析システムは、撮影対象となる対象物体の物体ＩＤと該物体ＩＤに対応する対象物体の立体図形の輪郭を網目状の線で表現したワイヤフレームデータとを格納するデータテーブルと、該データテーブルに格納したワイヤフレームデータを基準として撮影した画像と前記データテーブルに格納したワイヤフレームデータとを比較することによって、事故領域を特定することができる。

更に本発明は、前記画像分析システムにおいて、前記特定した領域の中心ベクトルと、前記領域の端点ベクトルを基に特定した領域の直径を算出すると共に、前記中心ベクトルとデータテーブルに格納したワイヤフレームデータとを比較して前記特定した領域の深さを算出し、この算出値を単位面積当たりの見積額と演算することによって、概算の見積額を算出することができる。

本発明は、実施形態で述べた車輌の既存箇所の特定のみならず、外観の破損により概算見積額を算出することができる他の物品の概算見積額も算出することができる。

本実施形態によるデータベースサーバの構成を示す図。 本実施形態によるデータベースサーバ内の格納データの処理フロー図。 本実施形態による車種タイプ選択画面を示す図。 同排気量選択画面を示す図。 同視野量メーカ選択画面を示す図。 車種検索結果画面を示す図。 本実施形態による車輌検索の処理フローを示す図。 本実施形態によるワイヤフレーム受信のフローチャート図。 撮影ウィザード概略フローチャート図。 本実施形態による撮影状態を説明するための図。 本実施形態による登録データと撮影データを説明するための図。 撮影した画像を基に特定の領域を特定するベクトルデータ処理のフロー図。 本実施形態による見積額の算出処理のフロー図。 本実施形態による情報端末を説明するための図。 本実施形態による車両撮影の概念を説明するための撮影フロー概念図画。

符号の説明

１０：車輌データテーブル、１５：情報端末機器、３０：車輌タイプ選択画面、４０：選択画面、５０：メーカ選択画面、６０：検索結果画面、９０：撮影ウィザード画面、９１：画面、９３：フレーム例、１００：データベースサーバ、１０１：車輌データテーブル、１０２：車種データテーブル、１０３：排気量データテーブル、１０５：メーカデータテーブル、１５１：案件データテーブル、１５２：車輌データテーブル。

Claims (3)

1. 撮影した画像を分析する画像分析システムであって、撮影対象となる対象物体の物体ＩＤと該物体ＩＤに対応する対象物体の立体図形の輪郭を網目状の線で表現したワイヤフレームデータとを格納するデータテーブルと、該データテーブルに格納したワイヤフレームデータを基に表示されたワイヤフレームに合わせて撮影した対象物体の画像データと前記データテーブルに格納したワイヤフレームデータとを入力するサーバとを備え、
   該サーバが、前記入力したワイヤフレームデータとを比較して両データの差異のある領域を特定し、該特定した領域の中心ベクトルと前記領域の端点ベクトルを基に前記特定した領域の直径を算出すると共に、前記中心ベクトルとデータテーブルに格納したワイヤフレームデータとを比較して前記特定した領域の深さを算出することを特徴とする画像分析システム。
2. 前記データテーブルが、複数の対象物体の前記算出した領域の直径及び深さに対応した単位面積及び深さ当たりの単位見積額を格納し、前記サーバがデータテーブルを前記算出した直径及び深さと単位見積額とを基に概算見積額を算出することを特徴とする請求項１記載の画像分析システム。
3. 前記対象物体が車輌であり、前記ワイヤフレームデータが車輌外観の輪郭網目状の線で表現する車輌のワイヤフレームデータであり、前記特定した領域の直径及び深さが、車輌の陥没した領域の直径及び深さであり、前記概算見積額が車輌の前記陥没した領域の修理用の概算見積額であることを特徴とする請求項２記載の画像分析システム。

Images