JP7015503B2 - 貸与対象物管理システム、貸与対象物管理プログラム及び貸与対象物管理方法。 - Google Patents

Description

本発明は、貸与対象物管理システム、貸与対象物管理プログラム及び貸与対象物管理方法に関する。

物品を貸与するサービスのサービス提供者とサービス利用者のトラブルを未然に防ぐために、対象物の貸与前後の状態を確認できるシステムが求められている。例えば、レンタカーでは、利用前後にサービス提供者とサービス利用者が、共に傷の確認を行っている。カーシェアリングでは、サービス提供者が定期的に巡回して車の状態を確認している。このように貸与には多くの手間が発生するばかりでなく、時には発見された傷等がサービス利用者によるものであるのかトラブルに発展することもある。そこで、サービスの利用前に貸与に係る対象物を撮影し、その画像データを登録するシステムが提案されている（例えば、特許文献１参照）。また、貸与前後にレンタカーを複数のカメラが設置されたゲートに通して全体の画像データを取得し、比較する装置が提案されている（例えば、特許文献２参照）。

特開２０１８－１５１８２５号公報 特開平１１－１４４０４２号公報

サービス利用者に手持ちカメラで貸与対象物を撮影させると、確認すべき箇所のすべてが網羅された画像群をサービス提供者が得ることが難しく、場合によっては意図的に損傷箇所が撮影されないこともある。一方で、貸与物の全体を撮影するゲートのような大型装置を用意することも困難である。

本発明は、このような問題を解決するためになされたものであり、サービス提供者が貸与対象物の損傷を確実に確認できるように、適切な画像データの取得を実現する貸与対象物管理システム等を提供するものである。

本発明の第１の態様における貸与対象物管理システムは、携帯端末のカメラユニットで撮像された画像データを取得する取得部と、取得部が取得した画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、判定部により複数の部位のいずれかが写っていると判定された画像データを記憶する記憶部と、複数の部位のうち取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、カメラユニットによる更なる撮像を催促する催促部とを備える。

また、本発明の第２の態様における貸与対象物管理プログラムは、携帯端末のカメラユニットで撮像された画像データを取得する取得ステップと、取得ステップで取得した画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、判定ステップにより複数の部位のいずれかが写っていると判定された画像データを記憶する記憶ステップと、複数の部位のうち取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、カメラユニットによる更なる撮像を催促する催促ステップとをコンピュータに実行させる。

本発明により、サービス提供者が貸与対象物の損傷を確実に確認できるように、適切な画像データの取得を実現する貸与対象物管理システム等を提供することができる。

本実施形態に係る貸与対象物管理システムを含む、レンタカーサービスの全体構成を示す概念図である。 システムサーバの主なハードウェア構成図である。 ユーザ端末の主なハードウェア構成図である。 レンタカーサービスの利用開始時における処理フローを示す。 判定部による処理を示す概念図である。 レンタカーサービスの利用終了時における処理フローを示す。 比較部による処理を示す概念図である。 比較結果の表示例である。 第１検証例の車両使用前の画像と検知結果を示す。 第１検証例の車両使用後の画像と検知結果を示す。 第２検証例の車両使用前の画像と検知結果を示す。 第２検証例の車両使用後の画像と検知結果を示す。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係る貸与対象物管理システムを含む、レンタカーサービスの全体構成を示す概念図である。本実施形態における貸与対象物管理システムは、システムサーバ１００によって実現される。システムサーバ１００は、インターネット９１０に接続されており、インターネット９１０を介して、直接的または間接的に利用者のスマートフォンであるユーザ端末２００、サービス拠点である店舗に設置された店舗サーバ３００と情報の授受を行う。

より具体的には、ユーザ端末２００は、システムサーバ１００から情報を受信したり、レンタカー９２０を撮像して生成した画像データをシステムサーバ１００へ送信したりする。ユーザ端末２００は、スマートフォンに限らずタブレット端末など携帯端末であれば良い。店舗サーバ３００は、システムサーバ１００が貸与状況を管理するレンタカー９２０の情報をシステムサーバ１００から受信してモニター３１０へ表示したり、サービス提供者の従業員であるオペレータが入力した情報をシステムサーバ１００へ送信したりする。

システムサーバ１００は、ユーザ端末２００から画像データを取得し、当該画像データの画像に、レンタカー９２０に対して設定された複数の部位のいずれかが写っているかを判定する。そして、いずれかの部位が写っていると判定した場合には、当該画像データを記憶し、設定された複数の部位のうち未取得部位が残存する場合には、ユーザ端末２００へ更なる画像データの送信を催促する。このような処理を、レンタカー９２０を貸与する前後で行う。そして、貸与後には同一部位の貸与前後の画像を比較して、その比較結果をユーザ端末２００や店舗サーバ３００へ呈示する。以下に、具体的な構成および処理について説明する。

図２は、システムサーバ１００の主なハードウェア構成図である。システムサーバ１００は、主に、システム処理部１１０、記憶部１２０、および通信部１３０によって構成される。システム処理部１１０は、システムサーバ１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ）である。システム処理部１１０は、記憶部１２０に記憶された貸与対象物管理プログラムを読み出して、レンタカー９２０の管理に関する様々な処理を実行する。

記憶部１２０は、不揮発性の記憶媒体であり、例えば大容量のＨＤＤによって構成されている。記憶部１２０は、システムサーバ１００の制御や処理を実行するプログラムを格納するほか、パーツ分類を判定する分類モデルや各種ルックアップテーブル、貸与対象物であるレンタカー９２０の画像データ等を蓄積する。なお、記憶部１２０は、単体のハードウェアで構成されていなくても良く、例えば、プログラム等を格納する記憶媒体と画像データを蓄積する記憶媒体が別々のハードウェアで構成されても良い。

通信部１３０は、インターネット９１０への接続および外部機器とのデータ授受を担い、例えばＬＡＮによって構成されている。通信部１３０は、システム処理部１１０の制御に従って、インターネット９１０との間で指示コマンドや画像データを含む情報の授受を行う。

システム処理部１１０は、貸与対象物管理プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。システム処理部１１０は、処理手順に応じて、画像取得部１１１、判定部１１２、催促部１１３、管理部１１４、比較部１１５、および呈示部１１６として機能し得る。これらの機能演算部の具体的な演算処理については、後述する。

なお、本実施形態においては、システムサーバ１００が貸与対象物管理システムの主要構成を備えるものとして説明するが、例えば記憶部１２０がインターネット９１０に直接的に接続されたネットワークＨＤＤで構成されていても良い。そのような場合には、分散して構成された装置の全体によって貸与対象物管理システムが構築される。

図３は、ユーザ端末２００の主なハードウェア構成図である。ユーザ端末２００は、主に、端末処理部２１０、撮像部２２０、入力部２３０、通信部２４０、および表示部２５０によって構成される。端末処理部２１０は、ユーザ端末２００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ）である。端末処理部２１０は、サービス利用者であるユーザの指示や、システムサーバ１００から送られてくる指示コマンドに従って、レンタカーサービスに関する様々な処理を実行する。

撮像部２２０は、カメラユニットを含み、端末処理部２１０からの指示を受けて被写体の撮像を実行する。撮像部２２０は、光電変換した被写体画像から画像データを生成して、端末処理部２１０へ引き渡す。入力部２３０は、ユーザの入力を受け付ける入力デバイスを含み、例えば表示パネルに重畳されたタッチパネルである。入力部２３０は、ユーザの音声により指示を受け付ける音声認識ユニットであっても良い。

通信部２４０は、インターネット９１０への接続および外部機器とのデータ授受を担い、例えば無線ＬＡＮによって構成されている。表示部２５０は、例えば液晶の表示パネルを含み、端末処理部２１０で生成されたユーザインタフェース画面や撮像部２２０が撮像した被写体画像を視認可能に表示する。

図４は、システムサーバ１００とユーザ端末２００が実行する、レンタカーサービスの利用開始時におけるそれぞれの処理フローを示す。フローは、例えば、サービス利用者がユーザ端末２００でレンタカーサービスに係るアプリを立ち上げたことをシステムサーバ１００が認識した時点から開始する。

システムサーバ１００のシステム処理部１１０は、ステップＳ１０１で、サービス情報をユーザ端末２００へ送信する。サービス情報は、これから貸与するレンタカー９２０の管理パーツ情報を含む。管理パーツ情報は、貸与対象物であるレンタカー９２０に対して設定された様々な部位（パーツ）に関する情報である。ユーザ端末２００の端末処理部２１０は、サービス情報を受信すると、ステップＳ２０１で、貸与対象であるレンタカー９２０がいずれの車であるかをサービス利用者へ知らしめる。また、管理パーツ情報を参照してそれぞれのパーツを指定部位として表示部２５０に表示し、当該指定部位を撮像するように促す。

サービス利用者は、表示部２５０に表示された指定部位を参照して、レンタカー９２０のパーツを撮像する。端末処理部２１０は、ステップＳ２０２で、撮像部２２０が生成した撮像データを、通信部２４０を介してシステムサーバ１００へ送信する。

システムサーバ１００の画像取得部１１１は、ステップＳ１０２で、通信部１３０を介してユーザ端末２００から画像データを取得する。判定部１１２は、ステップＳ１０３で、画像取得部１１１から当該画像データを受け取り、その画像に、レンタカー９２０に対して設定された部位のいずれかが写っているかを判定する。判定部１１２の具体的な処理については後述する。

設定された部位のいずれかが写っていると判定部１１２が判定した場合には、システム処理部１１０は、ステップＳ１０４で、当該画像データを記憶部１２０へ記憶する。写っていないと判定部が判定した場合には、ステップＳ１０４はスキップされる。

管理部１１４は、ステップＳ１０５で、レンタカー９２０に対して設定された部位のうち、これまでに取得した画像データの画像に未だ写っていない未取得部位が残存するか否かを確認する。残像することが確認された場合は、ステップＳ１０６へ進み、催促部１１３は、ユーザ端末２００へ更なる画像データの送信を催促する催促信号を送信する。催促信号は、具体的にどの部位が未取得部位であるかの情報を含んでも良い。この場合、未取得部位の全てではなく、例えば次に撮像を促す特定の一部位であっても良い。催促部が催促信号を送信したら、ステップＳ１０２へ戻る。一方で、ステップＳ１０５で未取得部位が残存していないことが確認された場合は、一連の処理を終了する。その後、システム処理部１１０は、レンタカー９２０が利用を開始できる状態になったことをユーザ端末２００へ通知しても良い。

ユーザ端末２００の端末処理部２１０は、ステップＳ２０２で画像データを送信してから一定時間以内にシステムサーバ１００から催促信号を受信したかを判断する（ステップＳ２０３）。受信した場合には、ステップＳ２０１へ戻り、サービス利用者へ更なる撮像を促す。催促信号が未取得部位の情報を含んでいる場合には、端末処理部２１０は、ステップＳ２０１で、未取得部位を明示しても良い。一定時間以内に催促信号を受信しなかったと判断した場合には、一連の処理を終了する。その後、端末処理部２１０は、レンタカー９２０が利用を開始できる状態になったことを表示部２５０に表示しても良い。

なお、上記のフローにおいて管理部１１４は、レンタカー９２０の貸与前の時点において、レンタカー９２０に対して設定された部位のそれぞれが記憶部１２０に記憶されているいずれかの画像データの画像に写っている状態に達するように、画像取得部１１１、判定部１１２、記憶部１２０および催促部１１３のそれぞれに処理を実行させる管理処理を担う。後述する貸与後の時点においても、同様の管理処理を担う。

図５は、判定部１１２による処理を示す概念図である。判定部１１２は、画像取得部１１１から受け取った画像に所定の画像処理を施す。所定の画像処理は、例えば、画像サイズの調整やコントラスト調整など、パーツ分類モデル１１２ａへ入力可能な画像データとするための処理を含む。

次に、判定部１１２は、画像処理を施した画像データをパーツ分類モデル１１２ａに入力し、その出力を参照して、入力した画像データをパーツに分類する。パーツ分類モデル１１２ａは、学習済みのニューラルネットワークであり、車両の部分を撮像した画像の画像データを入力すると、当該画像が予め設定された複数の部位（パーツ）のそれぞれに属する確率を出力する。例えば、出力ノード０、１、２、３…を、それぞれフロントガラス、フロントバンパー、ライト、グリル…のように対応付ける。判定部１１２は、それぞれの出力ノードの出力値のうち最大の出力ノードを選択し、選択された出力ノードに対応するパーツを入力した画像データの分類とする。分類されたパーツ情報は、画像データに関連付けられる。例えば、分類されたパーツ情報は、当該画像データのタグ情報に書き込まれる。これに限らず、分類されたパーツ情報と画像データとが関連付けられたファイルが別に準備されてもよい。また、出力ノードは、「分類不可」のノードを含み、このノードの確率が最も大きい場合には、入力した画像データは利用不適とする。

パーツ分類モデル１１２ａは、車両の写った画像に対し、パーツの部分をバウンディングボックスで指定するとともに当該パーツの部分に対応するピクセルを指定した教師データによる学習により構築することができる。例えば、パーツ分類モデル１１２ａは、Ｍａｓｋ－ＲＣＮＮのような、インスタンスセグメンテーションが可能なニューラルネットワークにより構築される。ただし、パーツ分類モデル１１２ａの構築はこれに限定されるものではなく、例えば、車両の写った画像に対し、パーツの部分をバウンディングボックスで指定した教師データによる学習により構築されるものでもよい。また、パーツ分類モデル１１２ａは、車両の写った画像に対し、パーツの部分に対応するピクセルを指定した教師データによる学習により構築されるものでもよい。具体的には、Ｕ－Ｎｅｔのようなネットワーク構造により構築されるものでも良い。

判定部１１２は、入力した画像データにパーツ情報を付与することができれば、レンタカー９２０に対して設定された部位のいずれかが写っていると判定する。換言すると、判定部１１２は、パーツ分類モデル１１２ａの出力で利用不適とならなければ、レンタカー９２０に対して設定された部位のいずれかが写っていると判定する。一方、判定部１１２は、利用不適となった画像データであれば、設定された部位のいずれも写っていなかったと判定する。
なお、入力した画像データにパーツ情報を付与することができるか否かは、両者を関連付ける任意の態様で実現されればよい。例えば、画像データとパーツ情報とを関連付けたファイルが生成されることで、入力した画像データにパーツ情報が付与されてもよいし、画像データのタグ情報（メタデータ）にパーツ情報が書き込まれることで、入力した画像データにパーツ情報が付与されてもよい。

図６は、システムサーバ１００とユーザ端末２００が実行する、レンタカーサービスの利用終了時における処理フローを示す。フローは、例えば、サービス利用者がユーザ端末２００でレンタカーサービスに係るアプリに対して利用終了の入力を行ったことをシステムサーバ１００が認識した時点から開始する。

システムサーバ１００とユーザ端末２００は、レンタカーサービスの利用終了時にも、開始時と同様に、設定された部位に対応する画像データを収集する処理を行う。すなわち、システムサーバ１００におけるステップＳ１０１からステップＳ１０６までの処理は、開始時と終了時で同様であり、ユーザ端末２００におけるステップＳ２０１からステップＳ２０３までの処理も、開始時と終了時で同様である。以下においては、これらの処理の説明を省き、画像データを収集した後の処理について説明する。

システムサーバ１００の処理においてステップＳ１０５からＮＯへ進むと、レンタカー９２０に対して設定された全ての部位において、サービス提供開始時の画像データと終了時の画像データとが記憶部１２０に揃っていることになる。そこで、比較部１１５は、ステップＳ１０７で、サービス提供開始時と終了時で対となる各部位の画像データを記憶部１２０から読み出し、それぞれの画像を互いに比較する。どの画像データとどの画像データが対であるかは、それぞれの画像データに関連付けられたパーツ情報が参照されることにより決定される。比較部１１５の具体的な処理については後述する。

ステップＳ１０８へ進み、呈示部１１６は、比較部１１５による比較結果を呈示する。具体的には、比較結果を表す比較結果信号を生成し、ユーザ端末２００や店舗サーバ３００へ送信する。サービス提供者のオペレータがシステムサーバ１００付近に居合わせる場合には、システムサーバ１００に接続されたモニターに比較結果を呈示しても良い。システムサーバ１００は、比較結果を呈示したら、一連の処理を終了する。ユーザ端末２００の端末処理部２１０は、システムサーバ１００から比較結果信号を受信したら、ステップＳ２０３で、比較結果を表示部２５０に表示して、一連の処理を終了する。

図７は、比較部１１５による処理を示す概念図である。比較部１１５は、まず、記憶部１２０から同一部位の対となる開始時画像データと終了時画像データを読み出す。そして、開始時画像データの比較対象となる第１部位領域（貸与前の画像の比較領域）と、終了時画像データの比較対象となる第２部位領域（貸与後の画像の比較領域）の大きさおよび向きを揃える正規化処理を行う。正規化処理は、大きさおよび向きを揃える他にも、コントラスト調整処理など、両画像の比較を良好に行うための調整処理を含んでも良い。第１部位領域と第２部位領域とで画素数（大きさ）が異なる場合、比較部１１５は画素数が少ない方の画像データを基準とし、画素数が多い方の画像データに対して正規化処理を行ってもよい。これにより、正規化処理に起因する誤検知を少なくすることができる。
補足すると、画素数が多い方の画像データを基準とし、画素数が少ない方の画像データに対して正規化処理を行うと、画素数の増加を伴う調整処理が必要となる。このような調整処理で発生する画像の補間は、損傷発生個所を判定する際に誤検知の原因となることがある。これに対して、画素数が多い方の画像データに対する正規化処理を行うことで、正規化処理に起因する誤検知を抑えることができる。
なお、同一部位の対となる開始時画像データと終了時画像データとは、当該部位を切り出した画像データであってもよいし、他の部位を含む画像データであってもよい。部位によっては正規化処理が良好に行えない場合もあり、その場合には、正規化処理が良好に行える他の部位を含む画像データを用いることで、正規化処理に起因する誤検知を抑えることができる場合もある。

次に、比較部１１５は、正規化処理を施した開始時画像データと終了時画像データを損傷検知モデル１１５ａに入力し、その出力を参照して、損傷発生の有無を判定する。損傷検知モデル１１５ａは、学習済みのニューラルネットワークであり、正規化処理を施した開始時画像データと終了時画像データを入力すると、予め設定された損傷が発生した確率とその領域座標を出力する。例えば、出力ノードのそれぞれは、へこみ、ひっかき、ひび、欠損等が対応付けられており、対応付けられた損傷が発生している確率を出力する。比較部１１５は、閾値を超える確率を示す出力ノードを抽出し、当該出力ノードに対応付けられた損傷が発生したと判定する。また、損傷検知モデル１１５ａが出力する領域座標を損傷発生個所と判定する。

損傷検知モデル１１５ａは、車両の写った画像に対し、損傷の部分をバウンディングボックスで指定するとともに当該損傷の部分に対応するピクセルを指定した教師データによる学習により構築することができる。例えば、損傷検知モデル１１５ａは、Ｍａｓｋ－ＲＣＮＮであり、インスタンスセグメンテーションが可能なニューラルネットワークである。ただし、損傷検知モデル１１５ａの構築はこれに限定されるものではなく、例えば、車両の写った画像に対し、損傷の部分をバウンディングボックスで指定した教師データによる学習により構築されるものでもよい。また、損傷検知モデル１１５ａは、車両の写った画像に対し、損傷の部分に対応するピクセルを指定した教師データによる学習により構築されるものでもよい。具体的には、Ｕ－Ｎｅｔのようなネットワーク構造により構築されるものでも良い。

続いて比較部１１５は、終了時画像データの画像に損傷発生個所を取り囲む枠線を重畳したり拡大したりする強調処理を施す。比較部１１５は、レンタカー９２０に設定された各部位に対してこれらの処理を繰り返す。そして、すべての部位に対してこれらの処理を終えたら、判定した損傷情報と共に、強調処理を施した終了時画像データを比較結果として呈示部１１６へ引き渡す。

呈示部１１６は、上述のように、例えば比較結果信号を生成して店舗サーバ３００へ送信する。図８は、店舗サーバ３００が比較結果信号を受信してその情報をモニター３１０に表示した、比較結果の表示例である。図示するように、後部左ドアの一部にひっかき傷が検知された場合には、損傷が検知された部位（パーツ）の名称（ここでは「後部左ドア」）と、検知された損傷の名称（ここでは「Ｓｃｒａｔｃｈ」）が表示され、検知された領域が丸枠で囲まれる。損傷が複数の部位で検知された場合には、このような表示が順次表示されたり、並べて表示されたりする。また、オペレータの指示に従って、貸与開始時の画像と、損傷が検知された貸与終了時の画像を並べて表示しても良い。

次に比較部１１５を用いた検証の検証例を紹介する。図９は、第１検証例の車両使用前の画像と検知結果を示す。具体的には、図９（ａ）は、比較部１１５が検証する車両使用前の画像データの画像である。図９（ｂ）は、損傷検知モデル１１５ａを用いて図９（ａ）の画像から損傷個所を抽出した２値画像である。損傷箇所は白抜き領域として現れる。図の例では、損傷箇所が存在しないので、前画像が黒一色である。図９（ｃ）は、損傷箇所をＣＧで強調表示した画像であるが、図の例では、損傷箇所が存在しないので、図９（ａ）の画像と同一である。

図１０は、第１検証例の車両使用後の画像と検知結果を示す。具体的には、図１０（ａ）は、比較部１１５が検証する車両使用後の画像データの画像である。図１０（ｂ）は、損傷検知モデル１１５ａを用いて図１０（ａ）の画像から損傷個所を抽出した２値画像である。検出された損傷箇所は白抜き領域として現れている。図１０（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１０（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。

図１１は、第２検証例の車両使用前の画像と検知結果を示す。具体的には、図１１（ａ）は、比較部１１５が検証する車両使用前の画像データの画像である。図１１（ｂ）は、損傷検知モデル１１５ａを用いて図１１（ａ）の画像から損傷個所を抽出した２値画像である。損傷箇所は白抜き領域として現れる。図の例では、車両使用前から損傷箇所が存在することがわかる。図１１（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１１（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。

図１２は、第２検証例の車両使用後の画像と検知結果を示す。具体的には、図１２（ａ）は、比較部１１５が検証する車両使用後の画像データの画像である。図１２（ｂ）は、損傷検知モデル１１５ａを用いて図１２（ａ）の画像から損傷個所を抽出した２値画像である。検出された損傷箇所は白抜き領域として現れている。図１２（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１２（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。図１１（ｃ）と図１２（ｃ）を比較すれば、いずれの箇所が車両使用中に発生した損傷箇所かがわかる。もちろん、図１１（ｂ）と図１２（ｂ）のそれぞれの２値画像を比較しても良い。

なお、損傷を抽出する学習済みのニューラルネットワークを利用すれば、上記の検証例の手順で新たに発生した損傷箇所を抽出することもできる。具体的には、対となる画像を取得し、それぞれの画像に存在する損傷箇所をニューラルネットワークで抽出する。このとき抽出される結果は、例えば上述の２値画像である。そして、それらを比較し、差が生じている領域を新たに発生した損傷箇所と判断する。

上述したように、本実施形態に係る貸与対象物管理システムでは、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する損傷検知モデル１１５ａ（検知モデル）を用いて、複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部１１５を備えている。加えて、本実施形態に係る貸与対象物管理システムでは、比較部１１５による貸与前の画像と貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、管理部１１４が、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶部１２０に記憶する構成を採用してもよい。これにより、レンタカー９２０をユーザに貸与する毎に、貸与の前後の画像データが取得時刻に関連付けられて記憶部１２０に記憶される。貸与の前後の画像データを取得時刻に関連付ける方法は、画像データのメタデータへ取得時刻を書き込む方法を採用してもよい。このような構成によれば、貸与対象物管理システムの管理者は、レンタカー９２０の各パーツでいつ損傷が発生したかの履歴を管理することができる。
例えば、ユーザＡに貸与前の画像データと、ユーザＡに貸与後の画像データとを比較することで、ユーザＡが利用した期間で新たに発生した損傷を特定できる。また、ユーザＡに貸与後の画像データと、ユーザＡの次に貸与したユーザＢの貸与前の画像データとを比較することで、ユーザＡへの貸与終了後ユーザＢに貸与するまでの期間（レンタカー９２０がサービス拠点である店舗に保管されていた期間）で新たに発生した損傷を特定できる。

以上説明した本実施形態においては、サービス利用者が携帯するユーザ端末２００からシステムサーバ１００が画像データを取得し、システムサーバ１００がユーザ端末２００に更なる画像の送信を催促する構成を説明した。しかし、サービス利用者が携帯する端末自体を貸与対象物管理システムとして構成することもできる。例えば、サービス提供者が所有するタブレット端末をサービス利用者へ携帯させるような場合には、当該タブレット端末を貸与対象物管理システムとして動作させることができるし、サービス利用者が所有するスマートフォンにアプリケーションをインストールすることにより、当該スマートフォンを貸与対象物管理システムとして動作させることもできる。サービス利用者が携帯する端末自体が貸与対象物管理システムとして動作する場合には、当該端末のプロセッサ（ＣＰＵ）がシステム処理部１１０と同様に機能する。この場合、当該端末がカメラユニットを備えるのであれば、催促部は、カメラユニットが更なる撮像を実行するように催促する。

以上説明した本実施形態においては、貸与対象物をレンタカー９２０としたが、もちろん貸与対象物はこれに限らない。貸与対象物は、バイクやトラックなどの車両に留まらず、工作機械、電子機器、衣類、服飾品、不動産等であっても良い。貸与対象物の性質に合わせて、想定される損傷や、検知対象とする複数の部位を設定すると良い。いずれを貸与対象物としても、上述のようなシステムを採用することにより、サービス提供者は、サービス利用者が所有するスマートフォンのような小型の端末を利用して簡易に、貸与対象物の損傷を確認するための画像データを確実に取得することができる。また、貸与対象物の近くにサービス提供者のオペレータが存在しなくても良いので、レンタルシステムをより簡易に、広範に構築することもできる。

１００ システムサーバ、１１０ システム処理部、１１１ 画像取得部、１１２ 判定部、１１３ 催促部、１１４ 管理部、１１５ 比較部、１１６ 呈示部、１２０ 記憶部、１３０ 通信部、２００ ユーザ端末、２１０ 端末処理部、２２０ 撮像部、２３０ 入力部、２４０ 通信部、２５０ 表示部、３００ 店舗サーバ、３１０ モニター、９１０ インターネット、９２０ レンタカー

Claims (9)

1. 携帯端末のカメラユニットで撮像された画像データを取得する取得部と、
   前記取得部が取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、
   前記判定部により前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶部と、
   前記複数の部位のうち前記取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部と、
   前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部と、
   を備え、
   前記比較部は、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、
   貸与対象物管理システム。
2. 前記催促部は、前記未取得部位の少なくとも一つの情報を前記携帯端末へ送信する請求項１に記載の貸与対象物管理システム。
3. 前記比較部は、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記貸与前の画像と前記貸与後の画像から損傷の領域または分類を検知する、請求項１又は２に記載の貸与対象物管理システム。
4. 前記検知モデルは、貸与対象物の写った画像に対し、当該貸与対象物における損傷の部分をバウンディングボックスで指定した教師データ又は当該貸与対象物における損傷の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データによる学習により構築されたものであり、前記画像の入力に応じて、前記画像における前記損傷の領域抽出と分類とを出力する、請求項３に記載の貸与対象物管理システム。
5. 前記所定の情報は、画像の大きさ、向き、コントラストのいずれか１つを含む、
   請求項１から４のいずれか１項に記載の貸与対象物管理システム。
6. 前記貸与対象物の貸与を管理する管理部を備え、
   前記管理部は、前記貸与対象物の貸与前と貸与後のそれぞれの時点において、前記複数の部位のそれぞれが前記記憶部に記憶されているいずれかの画像データの画像に写っている状態に達するように、前記取得部、前記判定部、前記記憶部および前記催促部のそれぞれに処理を実行させる請求項１から５のいずれか１項に記載の貸与対象物管理システム。
7. 前記管理部が、前記比較部による前記貸与前の画像と前記貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶する、
   請求項６に記載の貸与対象物管理システム。
8. 携帯端末のカメラユニットで撮像された画像データを取得する取得ステップと、
   前記取得ステップで取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
   前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
   前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促ステップと、
   前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較ステップと、
   を含み、
   前記比較ステップは、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、
   貸与対象物管理方法。
9. 請求項８に記載の貸与対象物管理方法をコンピュータに実行させる貸与対象物管理プログラム。
   

Images