JP7059881B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

特許文献１には、天候を示す天候情報、および天候の度合いを示す天候度合情報を取得する天候変数情報取得部と、天候情報に基づいて映像中の天候を変更させるシェーダ制御部と、を備えた映像処理装置が開示されている。この映像処理装置によれば、天候が「晴れ」の時の画像に基づいて、「雨」や「雪」の時の画像を生成することができる。

特開２０１４－５６５０１号公報

上述した関連技術においては、天候が「晴れ」の時の画像が、その他の天候における画像を生成する際の基本の画像であるベース画像になる。そのため、ベース画像に基づいて表示の内容が異なるその他の画像を生成する場合、生成される画像の画質は、ベース画像の画質に依存した画質になる。これにより、ベース画像が低画質であると、生成される画像の画質も低画質になるという問題があった。

本発明は、上記に鑑みてなされたものであって、その目的は、ベース画像の画質を向上させることができ、ベース画像に基づいて生成される画像の画質を向上できる画像処理装置、画像処理方法、およびプログラムを提供することにある。

上述した課題を解決し、上記目的を達成するために、本発明に係る画像処理装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、前記算出した指標値と、前記入力された画像データが撮像された位置における、新たに生成する画像データの基本となるベース画像データの指標値とを比較し、前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する。

本発明の一態様に係る画像処理装置は、前記プロセッサは、前記正解情報に含まれる路面上に描画された図形および路面上に設けられた物体の情報の少なくとも一方に対する、前記入力された画像データに含まれる路面上に描画された図形および路面上に設けられた物体の少なくとも一方の認識率を、前記指標値として算出しても良い。

この構成により、路面上に描画された図形や路面上に設けられた物体を認識する際の認識率を指標値にしているので、指標値が大きい方が高い評価になり、より正確な指標値を算出でき、算出した指標値とベース画像データの指標値との比較が容易になる。

本発明の一態様に係る画像処理装置は、前記プロセッサは、前記入力された画像データにおける路面の画素の中央値を算出し、前記中央値と前記正解情報に含まれる理想画素値との差分を、前記指標値として算出しても良い。

この構成により、路面の画素の中央値を算出して理想画素値との差分を指標値としているので、指標値が小さい方が高い評価になり、より正確な指標値を算出でき算出した指標値とベース画像データの指標値との比較が容易になる。

本発明の一態様に係る画像処理装置は、前記プロセッサは、前記画像データが撮像された位置と同じ位置の天候情報を読み出して、前記天候情報に含まれる天候が所定の天候の場合に、前記算出した指標値と前記ベース画像データの指標値とを比較しても良い。

この構成により、天候が所定の天候の場合に限定して、入力された画像データの指標値とベース画像データの指標値との比較を行っているので、例えば所定の天候として画像の撮像に適した天候を選択することによって、指標値の信頼性が向上して、指標値の比較処理における信頼性を向上できる。

本発明の一態様に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、前記入力された画像データが撮像された位置における、新たに生成する画像データの基本となるベース画像データの指標値をメモリから読み出して、前記算出した指標値と前記ベース画像データの指標値とを比較し、前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する。

本発明の一態様に係るプログラムは、画像処理装置に実行させるプログラムであって、入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、前記入力された画像データが撮像された位置における、新たに生成される画像データの基本となるベース画像データの指標値をメモリから読み出して、前記算出した指標値と前記ベース画像データの指標値とを比較し、前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する。

本発明に係る画像処理装置、画像処理方法、およびプログラムによれば、入力された画像データの指標値が、過去に撮像されたベース画像データの指標値よりも高い評価になる場合に、ベース画像データを入力された画像データに更新していることにより、ベース画像データの画質を向上させることができ、ベース画像データに基づいて生成される画像データの画質を向上させることが可能となる。

図１は、実施形態による画像処理装置を適用可能な画像更新システムを示すブロック図である。 図２は、第１の実施形態による画像処理方法を説明するためのフローチャートである。 図３は、第１の実施形態による画像の指標値を算出する方法の一例を説明するための図である。 図４は、第１の実施形態の画像処理方法による画像生成方法を説明するためのフローチャートである。 図５は、第１の実施形態の画像処理方法による画像生成方法を説明するための概略図である。 図６は、第２の実施形態による車両の構成を示すブロック図である。 図７は、第２の実施形態による画像処理方法を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照しつつ説明する。なお、以下の実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する実施形態によって限定されるものではない。

（第１の実施形態）
（画像処理システム）
まず、第１の実施形態による画像処理装置を適用可能な画像処理システムについて説明する。図１は、第１の実施形態による画像処理装置を適用可能な画像処理システム１を示す。図１に示すように、実施形態による画像処理システム１は、ネットワーク１０を介して互いに通信可能な、画像処理サーバ３０および車両５０を有する。ネットワーク１０は、インターネット回線網や携帯電話回線網などから構成される。ネットワーク１０は、例えば、インターネットなどの公衆通信網であって、ＷＡＮ（Wide Area Network）や、携帯電話などの電話通信網や、ＷｉＦｉなどの無線通信網などのその他の通信網を含んでも良い。

（画像処理サーバ）
画像処理装置としての画像処理サーバ３０は、車両５０から送信される画像情報を処理する。画像情報は、画像データ、画像データの撮像位置、画像データの撮像時刻の情報を含む。画像データは、静止画データであっても動画データであっても良く、時間的に連続した静止画データを複数用いて動画を生成しても良い。本第１の実施形態において画像処理サーバ３０には、それぞれの車両５０から所定のタイミングで、各種の車両情報が送信される。車両情報は、位置情報を含み、さらにバッテリ充電量（ＳＯＣ）、燃料残量、および車内状態などの車両５０の状況に関する情報を含んでも良い。

画像処理サーバ３０は、ネットワーク１０を介して通信可能な、一般的なコンピュータの構成を有する。画像処理サーバ３０は、通信部３１、画像制御部３２、ベース画像データベース３６ａを格納した記憶部３６、および入出力部３７を備える。通信部３１は、例えば、ＬＡＮ（Local Area Network）インターフェースボード、無線通信のための無線通信回路である。ＬＡＮインターフェースボードや無線通信回路は、公衆通信網であるインターネットなどのネットワーク１０に接続される。通信部３１は、ネットワーク１０に接続して車両５０との間で通信する。通信部３１は、それぞれの車両５０との間で、車両５０に固有の車両識別情報や車両情報を受信したり、車両５０に対して指示信号を送信したりする。なお、車両識別情報は、それぞれの車両５０を個々に識別可能にするための情報を含む。

画像制御部３２は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。記憶部３６は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリやメモリカード、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。記憶部３６には、オペレーティングシステム（ＯＳ：Operating System）、各種プログラム、各種テーブル、各種データベースなどが格納可能である。

記憶部３６は、複数のベース画像データが検索可能に格納されたベース画像データベース３６ａ、および正解情報データベース３６ｂを備える。ベース画像データベース３６ａは、画像データが索出可能に格納された例えばリレーショナルデータベース（ＲＤＢ）である。ベース画像データベース３６ａには、ベース画像データ、およびベース画像データの画像付帯情報が互いに関連付けされて、検索可能に格納されている。画像付帯情報としては、例えばベース画像データの撮像位置の経度および緯度などを示す画像位置情報、ベース画像データの撮像時刻情報、およびベース画像の指標値などである。正解情報データベース３６ｂは、入力画像データを判定するための基準となる正解情報が、位置情報と関連づけて格納されたデータベースである。正解情報データベース３６ｂに格納された正解情報は、地図情報や画像データなどの種々の情報として格納されている。これらの正解情報は、画像制御部３２によって、ネットワーク１０を通じて地図情報や画像データを外部から収集したり、作業者によって入出力部３７から入力されたりして、正解情報データベース３６ｂとして構築される。なお、正解情報の収集方法は、上述の方法に限定されない。ここで、これらのデータベース（ＤＢ）は、上述したプロセッサによって実行されるデータベース管理システム（Database Management System：ＤＢＭＳ）のプログラムが、記憶部３６に記憶されるデータを管理することによって構築される。

画像制御部３２は、記憶部３６に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。本実施形態において、画像制御部３２は、プログラムの実行を通じて画像認識部３３、ベース画像判定部３４、および画像生成部３５の機能を実現できる。

画像認識部３３は、所定の車両５０から受信したベース画像データに対して認識処理を実行して、指標値を算出する。ベース画像判定部３４は、画像認識部３３によって認識処理が行われたベース画像データの指標値と、記憶部３６のベース画像データベース３６ａに格納されているベース画像データの指標値とを比較して、いずれの指標値がより高い評価の指標値であるかを判定する。なお、ベース画像の指標値の詳細および評価の高低については後述する。画像生成部３５は、ベース画像データベース３６ａに格納されたベース画像に対して画像処理を施すことにより、ベース画像データを基本とした他の画像データを生成する。他の画像データとは、ベース画像データに対して、例えばベース画像データの撮像時における天候や時刻とは異なる天候や時刻の画像が、重畳されたり合成されたりして生成された画像データである。出力手段としての入出力部３７は、画像制御部３２による制御に従って、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示画面上に、画像生成部３５によって生成された画像データを表示する。

入出力部３７は、画像制御部３２による制御に従って、タッチパネルディスプレイの画面上に文字や図形などを表示して、所定の情報を外部に通知する。なお、入出力部３７において、スピーカマイクロホンから音声を出力しても良い。入力手段としての入出力部３７は、キーボード、スイッチ、タッチパネルディスプレイ、またはスピーカマイクロホンなどから構成される。入出力部３７は、ユーザなどが例えばタッチパネルディスプレイを操作したり、スピーカマイクロホンに向けて音声を発したりすることによって、画像制御部３２に所定の情報を入力できる。

（車両）
移動体としての車両５０は、運転者による運転によって走行する車両や、与えられた運行指令に従って自律走行可能に構成された自律走行車両である。車両５０は、駆動部５１、電子制御部５２、通信部５３、記憶部５４、入出力部５５、センサ群５６、ＧＰＳ部５７、および撮像部５８を備える。

駆動部５１は、車両５０の走行に必要な駆動部である。具体的には、車両５０は、駆動源としてのエンジンを備え、エンジンは燃料の燃焼による駆動によって電動機などを用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。さらに、車両５０は、エンジンの駆動力を伝達する駆動伝達機構、および走行するための駆動輪などを備える。

電子制御部５２および記憶部５４はそれぞれ、物理的には上述した画像制御部３２および記憶部３６と同様である。電子制御部５２は、車両５０に搭載される各種構成要素の動作を統括的に制御する。通信部５３は、ネットワーク１０を介した無線通信によって、画像処理サーバ３０との間で通信する、例えばＤＣＭ（Data Communication Module）などからなる。電子制御部５２の画像ファイル化部５２ａは、撮像部５８によって撮像された画像データを画像情報としてファイル化して、通信部５３を通じて画像処理サーバ３０に送信する。記憶部５４は、車両情報データベース５４ａおよび運行情報データベース５４ｂを備える。車両情報データベース５４ａには、バッテリ充電量、燃料残量、現在位置などを含む各種情報が、更新可能に格納されている。運行情報データベース５４ｂには、例えば運行管理サーバ（図示せず）などから提供される運行情報を含む各種データが、更新可能に格納されている。入出力部５５は、物理的には上述した入出力部３７と同様である。

センサ群５６は、車速センサや、加速度センサなどの車両５０の走行に関するセンサや、例えば車室内の種々の状況を検知可能な車室内センサから構成される。ＧＰＳ部５７は、ＧＰＳ（Global Positioning System）衛星（図示せず）からの電波を受信して、車両５０の位置を検出する。検出された位置は、車両情報における位置情報として、車両情報データベース５４ａに検索可能に格納される。なお、車両５０の位置を検出する方法として、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と３次元デジタル地図とを組み合わせた方法を採用しても良い。撮像部５８は、例えば撮像カメラなどの撮像装置などであり、撮像した画像データを電子制御部５２に入力する。

（画像処理方法）
次に、以上のように構成された画像処理システム１において実行される画像処理方法について説明する。なお、以下の説明において、情報の送受信はネットワーク１０を介して行われるが、この点についての都度の説明は省略する。図２は、第１の実施形態による画像処理方法を説明するためのフローチャートである。

すなわち、図２のステップＳＴ１に示すように、画像処理サーバ３０は、それぞれの車両５０から画像データを含む画像情報と車両情報とを定期的に受信する。車両情報は、車両５０の電子制御部５２の制御によって、通信部５３から所定のタイミングで定期的に送信される。画像情報は、画像データおよび画像付帯情報が電子制御部５２における画像ファイル化部５２ａによってファイル化された情報であって、通信部５３から所定のタイミングで定期的に送信される。ここで、所定のタイミングとしては、例えば所定時間間隔の周期的なタイミングや、車両５０が所定位置を通過するタイミングなどの、車両５０における種々のタイミングを設定可能である。また、画像情報に含まれる画像データは、車両５０の撮像部５８によって撮像された静止画データおよび動画データの少なくとも一方のデータである。

次に、画像情報を受信した画像処理サーバ３０の画像認識部３３は、ステップＳＴ２において、画像処理サーバ３０が受信した画像情報に含まれる画像データ（以下、入力画像データ）に対して、画像認識処理を行う。図３は、画像認識処理の方法を説明するための概略図であって、車両５０の撮像部５８によって撮像された入力画像データの一例を示す。

図３に示すように、入力画像データ１００には、例えば、路面上に描画された２本の白線１００ａ，１００ｂ、および路面上に設けられた立て看板などの物体１００ｃが撮像されている。画像認識部３３は、白線１００ａ，１００ｂの撮像状態、具体的に例えば入力画像データ１００内における白線１００ａ，１００ｂの座標情報を認識する。同様に、画像認識部３３は、入力画像データ１００内における物体１００ｃの座標情報を認識する。

画像認識部３３は、正解情報データベース３６ｂから、入力画像データ１００における位置情報に基づいて、正解情報を読み出す。正解情報は、入力画像データ１００の位置情報の場所の路面に描かれた白線１００ａ，１００ｂおよび物体１００ｃの正しい状態の座標情報を含む。画像認識部３３は、読み出した正解情報における白線１００ａ，１００ｂの座標情報と、入力画像データ１００によって認識した白線１００ａ，１００ｂの座標情報とを比較する。さらに、画像認識部３３は、読み出した正解情報における物体１００ｃの座標情報と、入力画像データ１００によって認識した物体１００ｃの座標情報とを比較する。

ステップＳＴ３において画像認識部３３は、上述した画像データにおける白線１００ａ，１００ｂおよび物体１００ｃの座標情報と、正解情報における白線１００ａ，１００ｂおよび物体１００ｃの座標情報との比較結果に基づいて、認識率を算出する。例えば、白線１００ａおよび物体１００ｃの座標情報において、画像データの認識結果と正解情報とが略一致し、白線１００ｂの座標情報において、画像データの認識結果と正解情報とが異なっていた場合、認識率は２／３の約６７％と算出される。画像認識部３３は、認識率を指標値として設定して、ベース画像判定部３４に出力する。

次に、ステップＳＴ４に移行してベース画像判定部３４は、入力画像データ１００と同じ位置の対応するベース画像データの指標値を、ベース画像データベース３６ａから読み出す。ベース画像判定部３４は、入力画像データ１００の指標値が、ベース画像データベース３６ａから読み出したベース画像データの指標値に対して高い評価であるか否かを判定する。ここで、指標値として認識率を採用する場合、指標値が大きいほど認識率が高く、画像データの画質はより高画質であることから、高い評価となる。この場合、ベース画像判定部３４は、入力画像データ１００の指標値が、ベース画像データベース３６ａから読み出したベース画像データの指標値よりも大きいか否かを判定する。

ベース画像判定部３４が、入力画像データ１００の指標値は、ベース画像データベース３６ａから読み出したベース画像データの指標値よりも大きいと判定した場合（ステップＳＴ４：Ｙｅｓ）、ステップＳＴ５に移行する。ステップＳＴ５においてベース画像判定部３４は、入力画像データ１００と、画像認識部３３により算出された入力画像データ１００の指標値のデータとを関連づけて、ベース画像データベース３６ａに格納して更新する。以上により、第１の実施形態の画像処理方法によるベース画像の更新処理を終了する。

ベース画像判定部３４が、入力された入力画像データ１００の指標値は、ベース画像データベース３６ａから読み出したベース画像データの指標値以下であると判定した場合（ステップＳＴ４：Ｎｏ）、ステップＳＴ６に移行する。ステップＳＴ６においてベース画像判定部３４は、入力画像データ１００および指標値のデータを消去する。この場合、ベース画像は更新されることなく、画像処理が終了する。

（指標値の算出の変形例）
ここで、上述したステップＳＴ２～ＳＴ４における画像処理の変形例について説明する。すなわち、図３に示すように、入力画像データ１００においては、例えばアスファルトからなる道路１００ｄが撮像されている。ここで、ステップＳＴ２に対応する処理として画像認識部３３は、入力画像データ１００における道路１００ｄのアスファルト部分に対して画像認識処理を行うことによって、アスファルト部分の画素値の中央値を算出する。他方、ステップＳＴ３に対応する処理として画像認識部３３は、正解情報データベース３６ｂから、入力画像データ１００における位置情報に基づいて、アスファルト部分の画素値の中央値の理想画素値を読み出す。画像認識部３３は、読み出した正解情報における理想画素値と、認識処理によって算出した画素値の中央値との差分を算出する。画像認識部３３は、算出した差分を指標値としてベース画像判定部３４に出力する。

指標値が入力されたベース画像判定部３４は、入力画像データ１００と同じ位置の対応するベース画像データの指標値を、ベース画像データベース３６ａから読み出す。ベース画像判定部３４は、入力画像データ１００の指標値が、ベース画像データベース３６ａから読み出したベース画像データの指標値に対して高い評価であるか否かを判定する。ここで、指標値として、上述した画素値の中央値と理想画素値との差分を採用する場合、指標値が小さいほど画素値の中央値と理想画素値とが近いことになり、画像データの画質はより高画質になることから、高い評価となる。この場合、ベース画像判定部３４は、入力画像データ１００の指標値が、ベース画像データベース３６ａから読み出したベース画像データの指標値未満であるか否かを判定する。

ベース画像判定部３４が、入力画像データ１００の指標値は、ベース画像データベース３６ａから読み出したベース画像データの指標値未満であると判定した場合（ステップＳＴ４：Ｙｅｓ）、ステップＳＴ５に移行する。一方、ベース画像判定部３４が、入力画像データ１００の指標値は、ベース画像データベース３６ａから読み出したベース画像データの指標値以上であると判定した場合（ステップＳＴ４：Ｎｏ）、ステップＳＴ６に移行する。その他の画像処理方法については、第１の実施形態と同様である。

以上のようにして、ベース画像データベース３６ａにおいて、種々の地点におけるベース画像データが更新されて蓄積される。画像生成部３５は、ベース画像データベース３６ａに蓄積されたベース画像データに基づいて、撮像された種々の地点における、撮像環境や時間変化に応じた画像を生成することができる。図４および図５はそれぞれ、第１の実施形態の画像処理方法による画像生成方法を説明するためのフローチャートおよび概略図である。以下の説明は、図５を適宜参照しつつ図４のフローチャートに従って行う。

すなわち、図４に示すように、ステップＳＴ２１において、画像の再生が所望される地点の位置情報が、外部からネットワーク１０を介して画像処理サーバ３０に入力されたり、入出力部３７から入力されたりする。入力された位置情報は、画像制御部３２の画像生成部３５に入力される。ステップＳＴ２２において、画像の再生が所望される状況であるカテゴリの情報が、外部からネットワーク１０を介して画像処理サーバ３０に入力されたり、入出力部３７から入力されたりする。図５に示すように、指定されるカテゴリとしては、例えば、雨の時の画像１０１ｂや、晴天で夕方の時の画像１０１ｃや、雪の時の画像１０１ｄなどである。続いて、図４に示すステップＳＴ２３において画像生成部３５は、例えばディープニューラルネットワーク（Deep Neural Network）を活用した画風変換や、ＧＡＮ(Generative Adversarial Network)を活用した画像生成などによって、ベース画像１０１ａに基づいて、指定されたカテゴリの画像データを生成する。なお、上述したように、ベース画像１０１ａには、ベース画像１０１ａを撮像した時刻情報、位置情報、および指標値などが画像付帯情報として関連付けされている。画像生成部３５は、生成した画像データを、入出力部３７に出力したり、ネットワーク１０を介して外部の表示装置（図示せず）に送信したりする。ステップＳＴ２４において、画像データが入力された入出力部３７や表示装置は、入力された画像データを再生する。以上の画像生成処理は、地点Ａ，Ｂ，Ｃ，Ｄ，…ごとに実行できる。これにより、画像生成部３５は、それぞれの地点Ａ，Ｂ，Ｃ，Ｄ，…ごとに、ベース画像と指定されたカテゴリの情報とから、種々の状況の画像データを生成して再生できる。そのため、見え方の異なる環境の画像を提供して、表示装置によって再生できる。

以上説明した本発明の第１の実施形態によれば、ベース画像判定処理によって、車両５０の撮像部５８によって撮像された新規の画像データにおける指標値が、画像処理サーバ３０に格納された過去に撮像されたベース画像データにおける指標値よりも高い評価になる場合に、過去に撮像されたベース画像データを新規の画像に更新している。これにより、ベース画像の画質を向上させることができるので、ベース画像に基づいて生成される他の画像の画質を向上させることができる。さらに、基本の画像であるベース画像のみを更新して、画像の地点における環境が異なって見え方の異なる他の画像をベース画像から生成しているため、環境ごとの全ての画像データを記憶部３６に蓄積する必要がないので、記憶部３６の容量を低減することができて、運用コストを低減できる。

（第２の実施形態）
次に、第２の実施形態による画像処理システムおよび画像処理方法について説明する。図６は、第２の実施形態による車両５０の構成を示すブロック図である。図７は、第２の実施形態による画像処理方法を説明するためのフローチャートである。

図６に示すように、第２の実施形態においては、車両５０における電子制御部５２が画像認識部５２ｂおよびベース画像判定部５２ｃを備える。画像認識部５２ｂおよびベース画像判定部５２ｃはそれぞれ、上述した第１の実施形態による画像処理サーバ３０の画像制御部３２における画像認識部３３およびベース画像判定部３４と同様である。

図７に示すように、まず、ステップＳＴ１１において車両５０の停車中または走行中に撮像部５８が撮像する。撮像部５８によって撮像された撮像画像データは例えば図３に示す画像データなどである。次に、ステップＳＴ１２において車両５０は、撮像画像データの位置情報を含む車両情報を画像処理サーバ３０に送信する。ステップＳＴ１３において画像処理サーバ３０は、受信した位置情報におけるベース画像データの指標値、および受信した位置情報の場所の正解情報を車両５０に送信する。

続いて、ステップＳＴ１４，ＳＴ１５において車両５０の画像認識部５２ｂは、上述したステップＳＴ２，ＳＴ３と同様に、撮像画像データに対して、受信した正解情報に基づいた画像認識処理を行って指標値を算出する。その後、ステップＳＴ１６においてベース画像判定部５２ｃは、ステップＳＴ４と同様に、算出した指標値と受信したベース画像データの指標値とを比較する。

ステップＳＴ１６においてベース画像判定部５２ｃは、撮像画像データの指標値が、受信したベース画像データの指標値に対して高い評価であるか否かを判定する。ここで、ベース画像データや撮像画像データの指標値としては、上述した認識率を採用しても画素値の中央値と理想画素値との差分を採用しても良い。ベース画像判定部５２ｃが、撮像画像データの指標値はベース画像データの指標値よりも高い評価であると判定した場合（ステップＳＴ１６：Ｙｅｓ）、ステップＳＴ１７に移行する。

ステップＳＴ１７においてベース画像判定部５２ｃは、撮像画像データと、画像認識部５２ｂにより算出された撮像画像データの指標値のデータとを関連づけて、画像処理サーバ３０に送信する。画像処理サーバ３０は、受信した撮像画像データおよび指標値のデータを、新たなベース画像データとしてベース画像データベース３６ａに格納して更新する。以上により、第２の実施形態の画像処理方法によるベース画像の更新処理を終了する。

ベース画像判定部５２ｃが、撮像画像データの指標値は、受信したベース画像データの指標値と同じまたは低い評価であると判定した場合（ステップＳＴ１６：Ｎｏ）、ステップＳＴ１９に移行する。ステップＳＴ１９においてベース画像判定部５２ｃは、撮像画像データおよび指標値のデータを消去する。この場合、撮像画像データは車両５０から送信されることなく、画像処理が終了する。

以上説明した第２の実施形態においては、車両５０において、画像認識処理、およびベース画像判定処理を実行していることにより、第１の実施形態と同様の効果を得ることができる。さらに、第２の実施形態によれば、車両５０の撮像部５８による撮影によって得られた撮像画像データを送信する前に、この撮像画像データの指標値と、画像処理サーバ３０に格納されているベース画像データの指標値とを比較している。これにより、撮像画像データの指標値が、ベース画像データの指標値と同じ評価かより低い評価の場合には、通信部５３から容量の大きい画像データを送信する必要がなくなるので、車両５０の通信容量を低減でき、通信に要するコストを低減できる。

（記録媒体）
上述の実施形態において、画像処理方法を実行可能なプログラムを、コンピュータその他の機械や装置（以下、コンピュータなど、という）が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータが第１の実施形態による画像処理サーバ３０や第２の実施形態による車両５０の電子制御部５２として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちコンピュータなどから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ＲＯＭなどがある。さらに、ＳＳＤは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

例えば、上述の実施形態において挙げたサーバの構成や情報の種類はあくまでも例に過ぎず、必要に応じてこれと異なるサーバの構成や情報の種類であっても良い。

例えば、上述した実施形態において、画像処理サーバ３０の各機能構成要素のいずれか、またはその処理の一部は、ネットワーク１０に接続される他のコンピュータにより実行しても良い。また、画像処理サーバ３０によって実行される一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアによって実行させることもできる。

例えば、上述の第１の実施形態においては、画像処理サーバ３０を単一のサーバとしているが、画像処理サーバ３０を互いに通信可能な別体の複数のサーバから構成しても良い。具体的に例えば、画像処理サーバ３０の記憶部３６を、ネットワーク１０を介して情報を送受信可能な他のデータサーバに設けることも可能である。また、画像処理サーバ３０における記憶部３６のベース画像データベース３６ａや正解情報データベース３６ｂをそれぞれ別のデータサーバに格納することも可能である。さらに、画像処理サーバ３０は、ネットワーク１０を介して過去に収集した各種画像データを、例えばビッグデータなどからなるデータベースとして格納しても良い。

例えば、上述した第１の実施形態および変形例１において、ベース画像判定部３４がネットワーク１０を通じて天候情報を受信し、ステップＳＴ４の判定を、天候情報が所定の天候の場合、例えば晴天の場合に限って行うようにしても良い。

１ 画像処理システム
１０ ネットワーク
３０ 画像処理サーバ
３１，５３ 通信部
３２ 画像制御部
３３，５２ｂ 画像認識部
３４，５２ｃ ベース画像判定部
３５ 画像生成部
３６，５４ 記憶部
３６ａ ベース画像データベース
３６ｂ 正解情報データベース
５０ 車両
５２ 電子制御部
５２ａ 画像ファイル化部
５４ａ 車両情報データベース
５４ｂ 運行情報データベース
５８ 撮像部
１００ 入力画像データ

Claims (6)

1. メモリと、
   ハードウェアを有するプロセッサと、を備え、
   前記プロセッサは、
   入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、
   前記算出した指標値と、前記入力された画像データが撮像された位置における、新たに生成する画像データの基本となるベース画像データの指標値とを比較し、
   前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する
   画像処理装置。
2. 前記プロセッサは、前記正解情報に含まれる路面上に描画された図形および路面上に設けられた物体の情報の少なくとも一方に対する、前記入力された画像データに含まれる路面上に描画された図形および路面上に設けられた物体の少なくとも一方の認識率を、前記指標値として算出する
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記入力された画像データにおける路面の画素の中央値を算出し、前記中央値と前記正解情報に含まれる理想画素値との差分を、前記指標値として算出する
   請求項１に記載の画像処理装置。
4. 前記プロセッサは、前記画像データが撮像された位置と同じ位置の天候情報を読み出して、前記天候情報に含まれる天候が所定の天候の場合に、前記算出した指標値と前記ベース画像データの指標値とを比較する
   請求項２または３に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、
   前記入力された画像データが撮像された位置における、新たに生成する画像データの基本となるベース画像データの指標値をメモリから読み出して、前記算出した指標値と前記ベース画像データの指標値とを比較し、
   前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する
   画像処理方法。
6. 画像処理装置に実行させるプログラムであって、
   入力された画像データと前記入力された画像データが撮像された位置における正解情報とに基づいて指標値を算出し、
   前記入力された画像データが撮像された位置における、新たに生成される画像データの基本となるベース画像データの指標値をメモリから読み出して、前記算出した指標値と前記ベース画像データの指標値とを比較し、
   前記算出した指標値が前記ベース画像データの指標値よりも高い評価である場合に、前記ベース画像データおよび前記ベース画像データの指標値をそれぞれ更新するように、前記入力された画像データおよび前記算出した指標値を前記メモリに出力する
   プログラム。

Images