JP6665522B2 - 情報処理装置、情報処理システム、および情報処理プログラム - Google Patents

情報処理装置、情報処理システム、および情報処理プログラム Download PDF

Info

Publication number
JP6665522B2
JP6665522B2 JP2015247936A JP2015247936A JP6665522B2 JP 6665522 B2 JP6665522 B2 JP 6665522B2 JP 2015247936 A JP2015247936 A JP 2015247936A JP 2015247936 A JP2015247936 A JP 2015247936A JP 6665522 B2 JP6665522 B2 JP 6665522B2
Authority
JP
Japan
Prior art keywords
information
unit
detection target
information processing
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015247936A
Other languages
English (en)
Other versions
JP2017111763A (ja
Inventor
友章 矢野
友章 矢野
亮介 笠原
亮介 笠原
関 海克
海克 関
太郎 澤木
太郎 澤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015247936A priority Critical patent/JP6665522B2/ja
Publication of JP2017111763A publication Critical patent/JP2017111763A/ja
Application granted granted Critical
Publication of JP6665522B2 publication Critical patent/JP6665522B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は情報処理装置、情報処理システム、および情報処理プログラムに関する。
車載カメラで撮影された撮影画像を解析し、解析結果を用いて運転者を支援するシステムが知られている。
例えば、特許文献1には、車載カメラで撮影された動画像を解析し、解析結果を用いて、道路上の危険個所を示す情報を地図上に反映させるシステムが開示されている。
しかしながら従来の技術では、撮影画像の解析に時間を要する場合があった。
本発明は、上記に鑑みてなされたものであって、移動体で撮影された移動体周囲の撮影画像の解析速度の高速化を実現できる情報処理装置、情報処理システム、および情報処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、移動体の周辺の撮影画像を取得する画像取得部と、前記撮影画像の撮影位置を示す位置情報を取得する位置取得部と、取得した前記位置情報によって示される撮影位置において検出済の検出対象物を判定する判定部と、取得した前記撮影画像を解析し、該撮影画像における未検出の前記検出対象物を検出する検出部と、取得した前記位置情報によって示される撮影位置における前記検出対象物の存在密度を示す密度情報を読取る読取部と、を備え、前記画像取得部は、時系列に撮影された複数の前記撮影画像から、前記密度情報が高いほど短い取得間隔で前記撮影画像を取得する。
本発明によれば、移動体で撮影された移動体周囲の撮影画像の解析速度の高速化を実現することができる、という効果を奏する。
図1は、本実施の形態の情報処理システムの全体構成の説明図である。 図2は、複数の情報処理装置を備えた情報処理システムの全体構成図の一例である。 図3は、情報処理装置の機能的構成の一例を示すブロック図である。 図4は、撮影画像の一例を示す模式図である。 図5は、速度標識の検出処理の一例を示す説明図である。 図6は、信号機の検出処理の一例を示す説明図である。 図7は、車線境界線の検出処理の一例を示す説明図である。 図8は、サーバ装置の機能ブロック図の一例である。 図9は、解析処理の手順の一例を示すフローチャートである。 図10は、地図データ更新処理の手順の一例を示すフローチャートである。 図11は、地図画像表示処理の手順の一例を示すフローチャートである。 図12は、サーバ装置が実行する管理処理の手順の一例を示すフローチャートである。 図13は、ハードウェア構成例を示すブロック図である。
以下に添付図面を参照して、情報処理装置、情報処理システム、および情報処理プログラムの実施の形態を詳細に説明する。
図1は、本実施の形態の情報処理システム1の全体構成の説明図である。情報処理システム1は、情報処理装置10と、サーバ装置40と、を備える。情報処理装置10とサーバ装置40とは、ネット―ワーク21を介してデータや信号を授受可能に接続されている。
情報処理装置10は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両20である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置10を車両20に搭載した形態を一例として説明する。
車両20には、撮影部12が搭載されている。撮影部12は、車両20の周辺を撮影した撮影画像を得る。撮影部12は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影部12は、車両20の周辺を連続して撮影することで、複数の撮影画像(すなわち、複数のフレーム)を撮影可能である。なお、撮影部12は、情報処理装置10と一体的に構成してもよいし、情報処理装置10と別体として構成してもよい。
情報処理装置10は、車両20の周辺の撮影画像を解析する。すなわち、情報処理装置10は、周辺を撮影する撮影部12によって得られた撮影画像を解析し、撮影画像に含まれる検出対象物30を検出する。なお、情報処理装置10は、撮影部12を含む構成であってもよいし、撮影部12を別体として構成したものであってもよい。
検出対象物30は、情報処理装置10による検出対象の物である。検出対象物30は、1種類であってもよいし、複数種類であってもよい。また、検出対象物30は、ユーザの操作指示などによって任意に設定および変更可能である。
本実施の形態では、検出対象物30は、実空間における位置が固定された物である場合を説明する。具体的には、本実施の形態では、検出対象物30は、交通規則を表す物である。検出対象物30は、例えば、信号機30Bおよび標識30Dの少なくとも一方である。
標識30Dは、道路Rに記載されたものであってもよいし、道路R上に設置された標識板に記載または表示されたものであってもよい。また、道路Rに記載された標識30Dには、横断歩道も含まれる。本実施の形態では、標識30Dが、道路R上に設置された標識板に記載または表示された速度標識30Aと、道路Rに記載された車線境界線30Cと、を含む場合を一例として説明する。
本実施の形態では、情報処理装置10において解析対象とする検出対象物30の種類が、速度標識30Aと、信号機30Bと、車線境界線30Cと、の3種類である場合を一例として説明する。なお、情報処理装置10において解析対象とする検出対象物30の種類は、速度標識30A、信号機30B、車線境界線30C、の3種類に限定されず、2種類以下、または、4種類以上であってもよいことはいうまでもない。
なお、情報処理システム1は、複数の情報処理装置10を含む構成であってもよい。図2は、複数の情報処理装置10を備えた情報処理システム1の全体構成図の一例である。図2に示すように、情報処理システム1は、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N(Nは、2以上の整数))を備えた構成であってもよい。そして、複数の情報処理装置10の各々を、互いに異なる車両20に搭載した構成とすればよい。
なお、以下では、情報処理システム1が、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)を備えた構成である場合を説明する。これらの複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)と、サーバ装置40と、は、ネット―ワーク21を介してデータや信号を授受可能に接続されている。なお、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)の各々を総称して説明する場合には、単に、情報処理装置10と称して説明する。
次に、情報処理装置10の機能的構成を説明する。図3は、情報処理装置10の機能的構成の一例を示すブロック図である。
情報処理装置10は、撮影部12と、GPS(Global Positioning System)センサ14と、加速度センサ16と、記憶部15と、UI(ユーザ・インターフェース)部17と、制御部18と、を備える。撮影部12、GPSセンサ14、加速度センサ16、記憶部15、およびUI部17は、制御部18にデータや信号を授受可能に接続されている。また、制御部18は、車両20に搭載された車両制御部22に、データや信号を授受可能に接続されている。
撮影部12は、車両20の周辺を撮影する。上述したように、撮影部12は、情報処理装置10とは別体として構成してもよい。本実施の形態では、撮影部12は、車両20の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像の各々を撮影順に順次、制御部18へ出力する。
GPSセンサ14は、車両20の現在位置を検出する。GPSセンサ14は、検出した位置情報を、制御部18へ出力する。加速度センサ16は、情報処理装置10の搭載された車両20の加速度を検出する。
記憶部15は、各種データを記憶する。本実施の形態では、記憶部15は、検出対象種類情報15A、検出済情報15B、密度管理情報15C、地図データ15D、などを記憶する(詳細後述)。UI部17は、ユーザによる操作指示を受付ける入力機能および各種画像を表示する表示機能の双方を備える。UI部17は、例えば、タッチパネル付LCD(Liquid Crystal Display)などである。なお、UI部17における入力機能と表示機能とを別体として構成してもよい。
制御部18は、情報処理装置10を制御する。制御部18は、画像取得部18Aと、位置取得部18Bと、判定部18Cと、検出部18Dと、受信部18Eと、読取部18Fと、算出部18Gと、送信部18Hと、表示制御部18Iと、接続部18Jと、を含む。
画像取得部18A、位置取得部18B、判定部18C、検出部18D、受信部18E、読取部18F、算出部18G、送信部18H、表示制御部18I、および接続部18Jの一部またはすべては、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
画像取得部18Aは、車両20の周辺の撮影画像を取得する。図4は、撮影画像Pの一例を示す模式図である。図4には、検出対象物30として、速度標識30Aと、信号機30Bと、車線境界線30Cと、を含む撮影画像Pの一例を示した。
図3に戻り、画像取得部18Aは、例えば、車両20に搭載された撮影部12で撮影された撮影画像Pを取得する。本実施の形態では、画像取得部18Aは、撮影部12から撮影画像Pを取得する。詳細には、撮影部12は、撮影した撮影画像Pを順次撮影順に制御部18へ出力する。画像取得部18Aは、予め定めた取得間隔(フレームレートと称する場合もある)ごとに1フレーム分の撮影画像Pを取得する。そして、制御部18では、フレーム毎に、画像解析処理を行う。なお、制御部18が処理する撮影画像Pは、具体的には、撮影画像の画像データである。説明を簡略化するために、撮影画像Pと称して説明する。
位置取得部18Bは、画像取得部18Aが取得した撮影画像Pの撮影位置を示す位置情報を取得する。本実施の形態では、位置取得部18Bは、画像取得部18Aが取得した撮影画像Pの撮影タイミングと同じタイミングにGPSセンサ14で検知された位置情報を、該撮影画像Pの撮影位置を示す位置情報として取得する。
判定部18Cは、位置取得部18Bが取得した位置情報によって示される撮影位置において検出済の検出対象物30を判定する。検出済の検出対象物30、とは、後述する検出部18Dによって過去に検出、または、他の車両20に搭載された情報処理装置10が、該撮影位置において過去に検出した検出対象物30である。
判定部18Cは、情報処理装置10において検出する対象の検出対象物30を予め定めている。本実施の形態では、判定部18Cは、速度標識30A、信号機30B、および車線境界線30C、の3種類の検出対象物30を、検出対象の検出対象物30として予め定めているものとして説明する。なお、判定部18Cは、更に複数種類の検出対象物30を、検出対象の検出対象物30として予め定めていてもよい。また、判定部18Cは、2種類以下の検出対象物30を、検出対象の検出対象物30として予め定めていてもよい。
そして、判定部18Cでは、検出対象の検出対象物30の種類を示す検出対象種類情報15Aを記憶部15に予め記憶する。本実施の形態では、検出対象種類情報15Aには、速度標識30A、信号機30B、車線境界線30C、の各々の種類が登録されているものとする。
そして、判定部18Cは、位置取得部18Bが取得した位置情報によって示される撮影位置において、検出対象種類情報15Aによって示される種類の検出対象物30の内、検出済の検出対象物30を判定する。
本実施の形態では、判定部18Cは、検出済情報15Bに基づいて、検出済の検出対象物30を判定する。検出済情報15Bは、位置情報と、位置情報によって示される撮影位置で検出済の検出対象物30を示す検出対象物情報と、を対応付けた情報である。
検出済情報15Bは、受信部18Eによって更新される。受信部18Eは、位置情報と、該位置情報によって示される撮影位置において検出済の検出対象物30を示す検出対象物情報と、を、サーバ装置40から受信する。受信部18Eは、受信した位置情報と検出対象物情報とを対応付けて検出済情報15Bに登録する。このため、検出済情報15Bには、情報処理システム1に含まれる複数の車両20の各々に搭載された情報処理装置10によって、各撮影位置で検出された検出対象物30の検出対象物情報が登録される。
判定部18Cは、位置取得部18Bが取得した位置情報に対応する検出対象物情報が、検出済情報15Bに登録されているか否かを判別する。そして、判定部18Cは、登録されていると判別した種類の検出対象物30を、該位置情報の位置で検出済の検出対象物30として判定する。また、判定部18Cは、検出対象種類情報15Aに示される検出対象物30の種類の内、登録されていないと判別した種類の検出対象物30を、該位置情報の位置で未検出の検出対象物30として判定する。
例えば、検出済情報15Bに、位置取得部18Bが取得した位置情報に対応する検出対象物情報として、速度標識30Aが登録されていたと仮定する。すなわち、この場合、速度標識30Aは、該位置情報によって示される撮影位置において過去に検出済である。
このため、この場合、判定部18Cは、検出対象種類情報15Aによって示される種類の検出対象物30(速度標識30A、信号機30B、車線境界線30C)の内、速度標識30Aが該撮影位置で検出済であると判定する。また、判定部18Cは、検出対象種類情報15Aによって示される種類の検出対象物30(速度標識30A、信号機30B、車線境界線30C)の内、速度標識30A以外の種類の検出対象物30(信号機30Bおよび車線境界線30C)については、該撮影位置で未検出であると判定する。
検出部18Dは、画像取得部18Aが取得した撮影画像Pを解析し、該撮影画像Pにおける未検出の検出対象物30を検出する。詳細には、検出部18Dは、画像取得部18Aが取得した撮影画像を解析し、判定部18Cで検出済と判定された以外の検出対象物30、すなわち、未検出と判定された検出対象物30を検出する。
このため、本実施の形態では、検出部18Dは、撮影画像Pに含まれる、検出対象の全ての種類の検出対象物30を検出する必要はない。すなわち、本実施の形態では、検出部18Dは、撮影画像Pに含まれる1または複数種類の検出対象物30の内、該撮影画像Pの撮影位置において未検出の検出対象物30のみを検出すればよい。このため、本実施の形態の情報処理装置10では、撮影画像Pの解析速度の高速化を実現することができる。
そして、検出部18Dは、検出済と判定された以外の検出対象物30を検出した場合、検出した検出対象物30を示す検出対象物情報と、検出に用いた撮影画像Pの撮影位置を示す位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する。
本実施の形態では、一例として、検出部18Dは、撮影画像Pから日本において用いられる標識30D(速度標識30A、車線境界線30C)や信号機30Bを検出する場合を説明する。しかし、検出部18Dが検出する対象の検出対象物30は、日本において用いられる物に限定されず、他の諸国で用いられる物であってもよい。
なお、検出部18Dは、公知の方法を用いて、撮影画像Pから検出対象物30を検出すればよい。
例えば、検出対象種類情報15Aによって示される種類の検出対象物30の内、速度標識30Aが未検出であると判定されたと仮定する。この場合、検出部18Dは、例えば、以下の検出処理を行うことによって速度標識30Aを検出する。
図5は、検出部18Dによる速度標識30Aの検出処理の一例を示す説明図である。例えば、検出部18Dは、撮影画像P(図4参照)について、歪み補正処理、フィルタリング処理、グレースケール変換処理等、速度標識30Aの検知処理に適した画像処理を行う。そして、検出部18Dは、画像処理後の撮影画像Pから、速度標識30Aを含む一部の領域である一部領域PAを抽出する(図5(A)参照)。図5(A)に示す例では、撮影画像Pにおける上半分の領域を、一部領域PAとして抽出した例を示した。
次に、検出部18Dは、一次マッチングを行う。検出部18Dは、一部領域PAの特徴点と、検出対象の速度標識30Aの特徴点と、を比較することで、一次マッチングを行う。検出対象の速度標識30Aの特徴点は、予め記憶しておけばよい。また、一次マッチングには、公知のマッチング方式を用いればよい。
次に、検出部18Dは、一部領域PAにおける、一次マッチングによって速度標識30Aとの類似度が第1閾値以上であると判定された領域を、一部領域PCとして抽出する(図5(B)参照)。第1閾値の値は、予め定めればよい。
次に、検出部18Dは、一部領域PCについて、二次マッチングを行う。検出部18Dは、一部領域PCの特徴点と、速度標識30Aの特徴点と、を比較することで、二次マッチングを行う。二次マッチングには、公知のマッチング方式を用いればよい。
そして、検出部18Dは、一部領域PCにおける、二次マッチングによって速度標識30Aとの類似度が第1閾値より高い第2閾値以上であると判定された領域が存在する場合、撮影画像Pに速度標識30Aが含まれると検出する。また、検出部18Dは、速度標識30Aが含まれると検出した場合、一部領域PCに含まれる速度標識30Aについて、公知の文字認識処理などを行う。これにより、検出部18Dは、速度標識30Aによって表される交通規則の内容を示す規則情報を検知する。図5に示す例では、検出部18Dは、速度制限情報「40」を、交通規則の内容を示す規則情報として検知する。
これによって、検出部18Dは、撮影画像P内における速度標識30A、および、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を検出する。検出部18Dは、撮影画像Pから速度標識30Aを検出した場合、速度標識30A有りを示す情報、および、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する。
なお、検出部18Dが行う速度標識30Aの検出処理は、このような処理に限定されず、公知の方法を用いることができる。
次に、検出部18Dが信号機30Bを検出する検出処理の一例を説明する。
図6は、検出部18Dによる信号機30Bの検出処理の一例を示す説明図である。例えば、検出部18Dが、図6に示す撮影画像Pを解析する場合を一例として説明する。
検出部18Dは、例えば、撮影画像Pに含まれる信号機30Bの信号画素領域Bを抽出する。信号画素領域Bは、信号機30Bの現在示している信号色を示す領域である。
信号画素領域Bの検出には、公知の方法を用いればよい。例えば、検出部18Dは、(R,G,B)色空間によって表される撮影画像Pの画像データを、公知の方式を用いて(Y,U,V)色空間に変換する。そして、変換後の各画素の(Y,U,V)色空間によって表される各画素の画素値が、予め記憶した赤信号、青信号、黄色信号、の何れかの画素値の範囲と一致する画素領域を、信号画素領域Bとして検出する。
なお、検出部18Dは、信号色を示す実際の領域より狭い範囲を信号画素領域Bとして検出する場合がある。すなわち、信号画素領域Bとして本来抽出されるべき画素が、ノイズなどの影響により抽出されない場合がある。言い換えると、検出部18Dは、信号画素領域Bより狭い信号画素領域B’を、検出する場合がある。
そこで、検出部18Dは、検出した信号画素領域B’を膨張させる膨張処理を行う。これによって、検出部18Dは、信号画素領域B’を膨張し、信号画素領域Bを得る。具体的には、検出部18Dは、信号画素領域B’と、信号画素領域B’の外周に該外周から外側に向かって連続する1または複数の画素と、を、信号画素領域Bとして得る。
次に、検出部18Dは、抽出した信号画素領域Bの形状認識処理を行う。例えば、検出部18Dは、信号画素領域BをHough変換することにより、信号画素領域B内で、予め定めた信号画素領域Bの形状(本実施の形態では円形)を抽出できるか否かを判定する。抽出できた場合、検出部18Dは、撮影画像Pに信号機30Bが含まれることを検出する。一方、抽出できない場合、検出部18Dは、撮影画像Pに信号機30Bが含まれないことを検出する。そして、検出部18Dは、撮影画像Pに信号機30Bが含まれることを検出した場合、信号画素領域Bを構成する各画素の示す色を判別することで、信号色を検出する。
これによって、検出部18Dは、撮影画像P内における信号機30B、および、信号機30Bの示す信号色、を検出する。検出部18Dは、撮影画像Pから信号機30Bを検出した場合、信号機30B有りを示す情報、および、信号機30Bの示す信号色を示す信号色情報、を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する。
なお、検出部18Dが行う信号機30Bの検出処理は、このような処理に限定されず、公知の方法を用いることができる。
次に、検出部18Dが車線境界線30Cを検出する検出処理の一例を説明する。
図7は、検出部18Dによる車線境界線30Cの検出処理の一例を示す説明図である。例えば、検出部18Dが、図7に示す撮影画像Pを解析する場合を一例として説明する。図7に示す撮影画像Pには、車線境界線30Cとして、車線境界線30C1と、車線境界線30C2と、が含まれている場合を説明する。
本実施の形態では、検出部18Dは、撮影画像Pに車線境界線30Cが含まれるか否か、および、車線境界線30Cの本数を検出する。
まず、検出部18Dは、撮影画像Pから車線境界線30Cを検出する画像解析の対象となる領域として、ROI(Region Of Interest)領域PDを設定する(図7(A)参照)。図7(A)に示す例では、検出部18Dは、撮影画像Pに含まれる水平線Hより下側の領域を、ROI領域PDとして設定した場合を一例として示した。
次に、検出部18Dは、ROI領域PDのノイズを削減するノイズ削減処理を行う(図7(B)参照)。ROI領域PDのノイズは、例えばランダムノイズ等である。図7(B)に示す例では、検出部18Dは、撮影画像Pの中央から左右の方向に、IIR−LPF(Infinite Impulse Response Low Pass Filter)をかける。これにより、検出部18Dは、ROI領域PDのノイズを削減したボケ画像を生成する。
次に、検出部18Dは、生成したボケ画像を使用して、エッジ探索処理を行う(図7(C)参照)。図7(C)に示すように、検出部18Dは、ROI領域PDのボケ画像の中央から左右の方向に、車線境界線30C1の候補点31a、および、車線境界線30C2の候補点31bとして、所定の第3の閾値を超えるエッジを示す画素を探索する。
次に、検出部18Dは、複数の候補点31aと、複数の候補点31bと、の各々を利用して、車線境界線30Cの検出処理を行う。具体的には、検出部18Dは、複数の候補点31aを使用して確率的ハフ変換を行うことにより、線状の車線境界線30C1を検出する。同様にして、検出部18Dは、複数の候補点31bを使用して確率的ハフ変換を行うことにより、線状の車線境界線30C2を検出する。
図7(D)は、撮影画像Pに含まれる、検出された車線境界線30C1の一例を示す図である。
検出部18Dは、撮影画像Pに車線境界線30Cを検出した場合、撮影画像Pに含まれる車線境界線30Cの数と、撮影画像Pに含まれる車線境界線30Cの該撮影画像Pにおける位置と、を併せて検出する。検出部18Dは、検出した車線境界線30Cの数を数えることで、車線境界線30Cの数を検出する。一方、検出部18Dは、車線境界線30Cを検出しなかった場合、撮影画像Pに車線境界線30Cが含まれないことを検出する。
これによって、検出部18Dは、撮影画像P内における車線境界線30C、車線境界線30Cの数、撮影画像Pにおける車線境界線30Cの位置、を検出する。検出部18Dは、撮影画像Pから車線境界線30Cを検出した場合、車線境界線30C有りを示す情報、車線境界線30Cの数を示す情報、および、撮影画像Pにおける車線境界線30Cの位置を示す情報、を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する。
なお、検出部18Dが行う車線境界線30Cの検出処理は、このような処理に限定されず、公知の方法を用いることができる。
図3に戻り、説明を続ける。次に、読取部18Fについて説明する。読取部18Fは、密度情報を記憶部15から読取る。密度情報は、撮影画像Pの撮影位置の各々における、検出対象物30の存在密度を示す情報である。
ここで、上述したように、画像取得部18Aは、予め定めた取得間隔(フレームレート)ごとに1フレーム分の撮影画像Pを取得する。そして、制御部18では、フレーム毎に、画像解析処理を行う。
この取得間隔は、予め定めた間隔であってもよいし、撮影画像Pの撮影位置における検出対象物30の存在密度に応じて変更可能としてもよい。存在密度に応じて変更可能とする場合、読取部18Fは、位置取得部18Bで取得した、撮影画像Pの撮影位置を示す位置情報に対応する密度情報を、記憶部15から読取る。これによって、読取部18Fは、撮影画像Pの撮影位置における検出対象物30の存在密度を示す密度情報を読取る。そして、画像取得部18Aは、撮影部12によって時系列に撮影された複数の撮影画像Pから、密度情報が高いほど短い取得間隔で撮影画像Pを取得すればよい。
なお、記憶部15は、位置情報と、密度情報と、を対応付けた密度管理情報15Cを予め記憶する。受信部18Eは、サーバ装置40から密度管理情報15Cを受信し、記憶部15に記憶してもよい。また、受信部18Eは、サーバ装置40から新たな位置情報および位置情報に対応する検出対象物情報を受信して記憶部15の検出済情報15Bへ登録する毎に、以下の更新処理を行ってもよい。
例えば、受信部18Eは、検出済情報15Bに示される位置情報によって示される撮影位置ごとの、検出対象物30の密度を算出する。この密度の算出には、検出済情報15Bにおける各位置情報に対応する、検出対象物情報によって示される検出対象物30の数を用いればよい。そして、受信部18Eは、算出した密度を示す密度情報を、対応する撮影位置の位置情報に対応づけて密度管理情報15Cに登録する。これによって、受信部18Eは、記憶部15に記憶されている密度管理情報15Cを更新する更新処理を行ってもよい。
画像取得部18Aが、撮影位置の位置情報に対応する密度情報に応じた取得間隔で撮影画像Pを取得することによって、情報処理装置10における解析対象の撮影画像Pのデータ量を削減することが可能となる。このため、情報処理装置10による撮影画像Pの解析速度の更なる高速化を図ることができる。
次に、算出部18Gについて説明する。算出部18Gは、車両20の走行状態に対する評価値を算出する。
具体的には、算出部18Gは、画像取得部18Aが取得した撮影画像Pにおける、判定部18Cで検出済と判断された検出対象物30を示す検出対象物情報と、検出部18Dが検出した検出対象物30を示す検出対象物情報と、に基づいて、該撮影画像Pの撮影時の車両20の走行状態に対する評価値を算出する。
算出部18Gは、撮影画像Pにおける、該撮影画像Pの撮影位置で既に検出済の検出対象物30については、検出済情報15Bから検出対象物情報を読取る。また、算出部18Gは、撮影画像Pにおける、検出部18Dで新たに検出された検出対象物30については、検出部18Dから検出対象物情報を取得する。そして、算出部18Gは、これらの検出対象物情報を用いて、該撮影画像Pの撮影時の車両20の走行状態に対する評価値を算出する。
走行状態に対する評価値は、例えば、危険運転とみなす度合い(危険運転度)を示す危険運転情報、道路標識によって表される交通規則に沿った運転であるか否かを示す安全運転情報、などである。なお、走行状態に対する評価値は、これらに限定されない。
本実施の形態では、算出部18Gは、車両20の走行を制御する車両制御部22から、接続部18Jを介して、車両20の走行情報を取得する。走行情報は、例えば、車両20の走行速度を示す速度情報、ブレーキ操作の検知信号、ステアリング角度を示す角度情報、加速度情報、などを含む。なお、算出部18Gは、加速度センサ16から加速度情報を取得してもよい。
そして、算出部18Gは、撮影画像Pに含まれる検出対象物30の検出対象物情報と、該撮影画像Pの撮影時の走行情報と、を用いて、走行状態に対する評価値を算出する。
本実施の形態では、算出部18Gは、評価値として、危険運転情報を算出する場合を一例として説明する。
撮影画像Pに速度標識30Aが含まれる場合、算出部18Gは、該撮影画像Pから検出された速度標識30Aの検出対象物情報を読取る。そして、算出部18Gは、該検出対象物情報に示される、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を読取る。本実施の形態では、算出部18Gは、速度規則情報を読取ったと仮定する。
この場合、算出部18Gは、車両制御部22から接続部18Jを介して受信した走行情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、該速度規則情報によって示される速度を超えているか否かを判断する。そして、速度を超えている場合、算出部18Gは、速度超過の度合いが高いほど、高い値を示す危険運転情報を算出する。なお、車両20の走行速度を示す速度情報が、該速度規則情報によって示される速度以下である場合、算出部18Gは、危険運転情報の算出を行わない。
そして、算出部18Gは、記憶部15に記憶されている地図データ15Dに、危険運転情報を登録する。詳細には、算出部18Gは、地図データ15Dに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、速度標識30Aの検出対象物情報と、を対応づけて登録する。
送信部18Hは、算出部18Gが評価値(本実施の形態では、危険運転情報)を算出した場合、算出部18Gによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザID(識別情報)と、を含む。
なお、送信部18Hは、車両制御部22からユーザIDを取得すればよい。また、送信部18Hは、UI部17からユーザIDを取得してもよい。また、情報処理装置10に、ユーザを識別するIDカードを挿入するためのスロット等を設けた構成としてもよい。この場合、送信部18Hは、挿入されたIDカードによりユーザIDを取得すればよい。そして、送信部18Hは、危険運転情報と、位置情報と、ユーザIDと、を含む判定結果情報を、サーバ装置40へ送信すればよい。
次に、撮影画像Pに信号機30Bが含まれる場合を説明する。撮影画像Pに信号機30Bが含まれる場合、算出部18Gは、該撮影画像Pから検出された信号機30Bの検出対象物情報を読取る。そして、算出部18Gは、該検出対象物情報に示される、信号機30Bの色を示す信号色が、赤色であるか否かを判定する。信号色が赤色である場合、日本の交通規則では「走行停止」を意味する。なお、この判定は、各国の交通規則に応じて適宜調整すればよい。
そして、算出部18Gは、信号機30Bの色を示す信号色が、赤色であると判定したと仮定する。この場合、算出部18Gは、車両制御部22から接続部18Jを介して受信した走行情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、走行停止を示す速度(例えば時速0km)を超える速度を示すか否かを判断する。なお、走行停止を示す速度は、時速0kmに限定されず、任意の速度を設定可能である。また、走行停止については、走行停止を示す速度と、該速度が継続された期間を用いて判断してもよい。
そして、算出部18Gは、走行停止を示す速度を超えた速度超過の度合いが高いほど、高い値を示す危険運転情報を算出する。なお、車両20の走行速度を示す速度情報が、走行停止を示す速度である場合、算出部18Gは、危険運転情報の算出を行わない。
そして、算出部18Gは、記憶部15に記憶されている地図データ15Dに、危険運転情報を登録する。詳細には、算出部18Gは、地図データ15Dに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、信号機30Bの検出対象物情報と、を対応づけて登録する。
送信部18Hは、算出部18Gが評価値(本実施の形態では、危険運転情報)を算出した場合、算出部18Gによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。この場合、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む。
次に、撮影画像Pに車線境界線30Cが含まれる場合を説明する。撮影画像Pに車線境界線30Cが含まれる場合、算出部18Gは、該撮影画像Pから検出された車線境界線30Cの検出対象物情報を読取る。そして、算出部18Gは、該検出対象物情報に示される、車線境界線30Cの数、および、撮影画像Pにおける車線境界線30Cの位置を読取る。
算出部18Gは、車線境界線30Cの数が、片側2車線以上であることを示す場合、危険運転情報の算出を行う。なお、算出部18Gは、車線境界線30Cの数が、片側1車線であることを示す場合、危険運転情報の算出を行わなくてもよい。
そして、算出部18Gは、車線境界線30Cの数が片側2車線以上であることを示す場合、撮影画像Pにおける車線境界線30Cの位置と、走行情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20のステアリング角度を示す角度情報と、加速度センサ16で検出された加速度情報と、車両20の速度情報と、から、急激な車線変更がなされたか否かを判断する。
例えば、算出部18Gは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の各々について、車線変更がなされたとみなす閾値を予め定める。そして、算出部18Gは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の少なくとも1つが、対応する閾値を超えた値であるほど、高い値を示す危険運転情報を算出する。この閾値には、急激な車線変更がなされたと判別するための値を予め定めればよい。なお、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の全てが対応する閾値未満である場合、算出部18Gは、危険運転情報の算出を行わなくてもよい。
そして、算出部18Gは、記憶部15に記憶されている地図データ15Dに、危険運転情報を登録する。詳細には、算出部18Gは、地図データ15Dに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、車線境界線30Cの検出対象物情報と、を対応づけて登録する。
送信部18Hは、算出部18Gが評価値(本実施の形態では、危険運転情報)を算出した場合、算出部18Gによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。この場合、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車線境界線30Cの検出対象物情報と、車両20を運転するユーザのユーザIDと、を含む。
なお、算出部18Gによる評価値の算出方法は、上記方法に限定されない。
次に、サーバ装置40について説明する。図8は、サーバ装置40の機能ブロック図の一例である。
サーバ装置40は、通信部42、記憶部44、評価部46、および更新部47を備える。通信部42は、1または複数の情報処理装置10の各々と通信する。本実施の形態では、通信部42は、情報処理装置10から、検出対象物30の検出結果を受信する。すなわち、通信部42は、情報処理装置10で検出した検出対象物30を示す検出対象物情報と、検出に用いた撮影画像Pの撮影位置を示す位置情報と、を含む検出結果情報を、情報処理装置10から受信する。
通信部42は、検出結果情報を受信すると、更新部47へ出力する。更新部47は、検出結果情報に含まれる、位置情報と、検出対象物情報と、を対応づけて、記憶部44の検出済管理情報44Aに登録する。
検出済管理情報44Aは、位置情報と、位置情報によって示される撮影位置で検出済の検出対象物30を示す検出対象物情報と、を対応付けた情報である。検出済管理情報44Aには、複数の車両20の各々で検出された検出対象物情報が、位置情報ごとに登録されている。
更新部47は、新たに受信した検出結果情報に含まれる、位置情報に対応する検出対象物情報に示される検出対象物30が検出済管理情報44Aに未登録である場合、新たに受信した検出対象物情報を、該位置情報に対応づけて検出済管理情報44Aに登録する。
そして、更新部47は、検出済管理情報44Aに新たに登録した、位置情報に対応する検出対象物情報と、該検出対象物情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ送信する。情報処理装置10側では、サーバ装置40から受信した検出対象物情報と位置情報とを、各情報処理装置10で記憶している検出済情報15Bに登録することで、検出済情報15Bを更新すればよい。
また、通信部42は、情報処理装置10から、危険運転度などの評価値の判定結果を示す判定結果情報を受信する。本実施の形態では、通信部42は、評価値として、危険運転度の判定結果を示す判定結果情報を情報処理装置10から受信する。上述したように、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、ユーザIDと、を含む。
通信部42は、判定結果情報を受信すると、更新部47へ出力する。更新部47は、判定結果情報に含まれる位置情報と、危険運転情報と、ユーザIDと、を対応づけて、記憶部44におけるユーザ管理情報44Bへ登録する。ユーザ管理情報44Bは、ユーザIDと、危険運転情報と、位置情報と、を対応付けたデータである。
そして、更新部47は、ユーザ管理情報44Bに新たに登録した、位置情報に対応する危険運転情報と、該危険運転情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ送信する。情報処理装置10側では、サーバ装置40から受信した危険運転情報と位置情報とを、対応づけて記憶部15に記憶すればよい。
評価部46は、記憶部44に記憶されている、ユーザ管理情報44Bに登録されている危険運転情報を、対応するユーザIDごとに読取る。そして、評価部46は、ユーザIDによって識別されるユーザごとに、対応する危険運転情報からユーザの運転評価値を算出する。例えば、危険運転情報によって示される危険運転とみなす度合い(危険運転度)が高いほど、低い運転評価値を算出する。そして、例えば、評価部46は、算出した運転評価値とユーザIDと、を対応づけて、通信部42を介して外部装置などへ送信する。外部装置は、例えば、運転評価値を用いた各種処理を実行する機関に設置されている。例えば、外部装置は、保険会社などに設置されている。
次に、本実施の形態の情報処理装置10が実行する解析処理の手順の一例を説明する。図9は、情報処理装置10が実行する解析処理の手順の一例を示すフローチャートである。
まず、画像取得部18Aが、撮影部12から1フレーム分の撮影画像Pを読取る(ステップS100)。次に、画像取得部18Aは、GPSセンサ14からステップS100で読取った撮影画像Pの撮影位置の位置情報を取得する(ステップS102)。
次に、画像取得部18Aは、ステップS102で取得した位置情報に対応する密度情報を、密度管理情報15Cから読取る(ステップS104)。次に、画像取得部18Aは、ステップS104で読取った密度情報に対応する取得間隔(フレームレート)を設定する(ステップS106)。上述したように、画像取得部18Aは、密度情報によって示される密度が高いほど短い取得間隔を設定する。
次に、画像取得部18Aは、ステップS100で読取った撮影画像Pが取得対象の撮影画像Pであるか否かを判断する(ステップS108)。ステップS108では、画像取得部18Aは、前回、解析対象として取得した撮影画像Pの撮影タイミングからの、ステップS100で今回読取った撮影画像Pの撮影タイミングの差(撮影タイミングの差)が、ステップS106で設定した取得間隔以上であるか否かを判別することで、ステップS108の判断を行う。
ステップS108で否定判断すると(ステップS108:No)、後述するステップS146へ進む。一方、ステップS108で肯定判断すると(ステップS108:Yes)、ステップS110へ進む。ステップS110では、ステップS100で読取った撮影画像Pを、解析対象の撮影画像Pとして取得する(ステップS110)。
ステップS100〜ステップS110の処理によって、制御部18では、撮影部12で撮影された撮影画像Pを、撮影画像Pの撮影位置における検出対象物30の密度情報に応じた取得間隔(フレームレート)で、解析対象として取得することができる。
次に、判定部18Cが、ステップS110で取得した撮影画像Pについて、該撮影画像Pの撮影位置において検出済の検出対象物30を判定する(ステップS112)。
次に、検出部18Dが、ステップS110で取得した撮影画像Pを解析し、ステップS112で検出済と判定された以外の(すなわち、未検出の)検出対象物30を検出する(ステップS114)。
次に、検出部18Dは、ステップS110で取得した撮影画像Pから未検出の検出対象物30を検出した場合、検出した検出対象物30を示す検出対象物情報と、該撮影画像Pの撮影位置を示す位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する(ステップS116)。
次に、算出部18Gが、車両20の走行状態に対する評価値を算出する。まず、算出部18Gは、ステップS110で取得した撮影画像Pの撮影タイミングに対応する、走行情報(車両20の走行速度を示す速度情報、ブレーキ操作の検知信号、ステアリング角度を示す角度情報、加速度情報、など)を取得する(ステップS118)。
次に、算出部18Gは、ステップS110で取得した撮影画像Pにおける、ステップS112で検出済と判断された検出対象物30を示す検出対象物情報と、ステップS114で検出部18Dが検出した検出対象物30を示す検出対象物情報と、を取得する(ステップS120)。
次に、算出部18Gは、ステップS110で取得した撮影画像Pの撮影位置において、信号機30Bが検出されたか否かを判断する(ステップS122)。算出部18Gは、ステップS120で取得した検出対象物情報に、信号機30Bを示す検出対象物情報が含まれるか否かを判別することで、ステップS122の判断を行う。
ステップS122で否定判断すると(ステップS122:No)、後述するステップS130へ進む。ステップS122で肯定判断すると(ステップS122:Yes)、ステップS124へ進む。
ステップS124では、算出部18Gは、危険運転であるか否かを判断する(ステップS124)。例えば、算出部18Gは、検出対象物情報に示される信号機30Bの信号色情報が赤色を示す情報であり、走行情報に含まれる車両20の走行速度を示す速度情報が走行停止を示す速度を超えているか否かを判別することで、ステップS124の判断を行う。ステップS124で否定判断すると(ステップS124:No)、後述するステップS130へ進む。
ステップS124で肯定判断すると(ステップS124:Yes)、算出部18Gは、危険運転情報を算出し、ステップS110で取得した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、信号機30Bの検出対象物情報と、含む付加情報を、地図データ15Dに登録する(ステップS126)。
次に、算出部18Gは、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS128)。
次に、算出部18Gは、ステップS110で取得した撮影画像Pの撮影位置において、車線境界線30Cが検出されたか否かを判断する(ステップS130)。算出部18Gは、ステップS120で取得した検出対象物情報に、車線境界線30C有りを示す情報が含まれ、且つ、片側2車線以上であることを示す車線境界線30Cの数を示す情報が含まれるか否かを判別する。これによって、算出部18Gは、ステップS130の判断を行う。
ステップS130で否定判断すると(ステップS130:No)、後述するステップS138へ進む。ステップS130で肯定判断すると(ステップS130:Yes)、ステップS132へ進む。
ステップS132では、算出部18Gが、危険運転であるか否かを判断する(ステップS132)。例えば、算出部18Gは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の少なくとも1つが、急激な車線変更の判断に用いる閾値を超えた値であるか否かを判別することで、ステップS132の判断を行う。
ステップS132で否定判断すると(ステップS132:No)、後述するステップS138へ進む。ステップS132で肯定判断すると(ステップS132:Yes)、ステップS134へ進む。
ステップS134では、算出部18Gは、危険運転情報を算出し、ステップS110で取得した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、車線境界線30Cを示す検出対象物情報と、を含む付加情報を、地図データ15Dに登録する(ステップS134)。
次に、算出部18Gは、ステップS134で登録した危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS136)。
次に、算出部18Gは、ステップS110で取得した撮影画像Pの撮影位置において、速度標識30Aが検出されたか否かを判断する(ステップS138)。算出部18Gは、ステップS120で取得した検出対象物情報に、速度標識30A有りを示す情報が含まれるか否かを判別する。これによって、算出部18Gは、ステップS138の判断を行う。
ステップS138で否定判断すると(ステップS138:No)、後述するステップS146へ進む。ステップS138で肯定判断すると(ステップS138:Yes)、ステップS140へ進む。
ステップS140では、算出部18Gが、危険運転であるか否かを判断する(ステップS140)。例えば、算出部18Gは、ステップS110で取得した撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、該撮影画像Pから検知された速度標識30Aの表す速度規則情報によって示される速度を超えているか否かを判断する。これによって、算出部18Gは、ステップS140の判断を行う。
ステップS140で否定判断すると(ステップS140:No)、ステップS146へ進む。一方、ステップS140で肯定判断すると(ステップS140:Yes)、ステップS142へ進む。
ステップS142では、算出部18Gは、危険運転情報を算出し、ステップS110で取得した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、速度標識30Aを示す検出対象物情報と、を含む付加情報を、地図データ15Dに登録する(ステップS142)。
次に、算出部18Gは、ステップS142で登録した危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS144)。
次に、制御部18では、解析処理を終了するか否かを判断する(ステップS146)。例えば、制御部18では、UI部17から解析処理の終了を示す終了指示を受付けたか否かを判別することで、ステップS146の判断を行う。なお、制御部18は、情報処理装置10を搭載した情報処理装置10のエンジン停止を示す信号を車両制御部22から受付けたか否かを判別することで、ステップS146の判断を行ってもよい。
ステップS146で否定判断すると(ステップS146:No)、上記ステップS100へ戻る。一方、ステップS146で肯定判断すると(ステップS146:Yes)、本ルーチンを終了する。
このように、情報処理装置10は、ステップS110で取得した撮影画像Pについて、ステップS112で検出済の検出対象物30については検知を行わず、未検出の検出対象物30について、該検出対象物30の検出を行う(上記ステップS110〜ステップS114参照)。
このため、本実施の形態の情報処理装置10は、撮影画像Pの解析速度の高速化を実現することができる。
また、ステップS116では、検出部18Dは、ステップS110で取得した撮影画像Pから未検出の検出対象物30を検出した場合、検出した検出対象物30を示す検出対象物情報と、該撮影画像Pの撮影位置を示す位置情報と、を含む検出結果情報を、送信部18Hを介してサーバ装置40へ送信する。このように、未検出の検出対象物30を検出した場合にのみ、検出結果情報をサーバ装置40へ送信することで、サーバ装置40へ送信するデータのデータ容量の削減を図ることができる。
また、ステップS100〜ステップS108の処理を行うことによって、画像取得部18Aは、撮影位置の位置情報に対応する密度情報に応じた取得間隔で、撮影画像Pを取得することができる。このため、情報処理装置10における解析対象の撮影画像Pのデータ量を削減することが可能となる。また、情報処理装置10による撮影画像Pの解析速度の更なる高速化を図ることができる。
次に、制御部18が行う割り込み処理の手順を説明する。制御部18は、図9に示す解析処理の実行中に、図10および図11に示す割込み処理(地図データ更新処理、地図画像表示処理)を行う。
図10は、地図データ更新処理の手順の一例を示すフローチャートである。
まず、受信部18Eが、サーバ装置40から、位置情報と検出対象物情報とを受信したか否かを判断する(ステップS400)。
ステップS400で肯定判断すると(ステップS400:Yes)、ステップS402へ進む。ステップS402では、受信部18Eが、ステップS400で受信した位置情報と検出対象物情報を対応づけて検出済情報15Bへ登録する。これによって、受信部18Eは、検出済情報15Bを更新する(ステップS402)。
次に、受信部18Eは、ステップS400で受信した、位置情報と検出対象物情報とを付加情報として、地図データ15Dへ登録する(ステップS404)。そして、本ルーチンを終了する。
一方、ステップS400で否定判断すると(ステップS400:No)、ステップS406へ進む。ステップS406では、受信部18Eが、位置情報と危険運転情報とをサーバ装置40から受信したか否かを判断する(ステップS406)。ステップS406で肯定判断すると(ステップS406:Yes)、ステップS408へ進む。ステップS408では、ステップS406で受信した、位置情報と危険運転情報とを付加情報として地図データ15Dへ登録する(ステップS408)。そして、本ルーチンを終了する。一方、ステップS406で否定判断した場合も(ステップS406:No)、本ルーチンを終了する。
次に、割込み処理の1つである、地図画像表示処理の手順の一例を説明する。図11は、地図画像表示処理の手順の一例を示すフローチャートである。まず、表示制御部18Iが、位置取得部18Bを介してGPSセンサ14から、車両20の現在の位置情報を取得する(ステップS300)。
次に、表示制御部18Iは、地図データ15Dを記憶部15から読取る(ステップS302)。そして、表示制御部18Iは、ステップS300で取得した位置情報、および、該位置情報によって示される位置を含む予め定めた範囲内の位置情報の各々に対応する、付加情報を記憶部15から読取る(ステップS304)。付加情報は、上述したように、位置情報と、検出対象物30の検出対象物情報と、を含む。
表示制御部18Iは、ステップS302で読取った地図データ15Dの地図画像における、位置情報に対応する位置に、対応する付加情報に含まれる検出対象物30または危険運転情報を示す画像を重畳して、UI部17へ表示する(ステップS306)。このため、ユーザは、UI部17を視認することで、地図上の現在位置および現在位置の周辺に存在する、検出対象物30や危険運転の発生箇所を容易に確認することができる。
次に、制御部18は、本ルーチンを終了するか否かを判断する(ステップS308)。制御部18は、例えば、情報処理装置10のエンジン停止を示す停止信号を車両制御部22から受付けたか否かを判別することで、ステップS308の判断を行う。ステップS308で否定判断すると(ステップS308:No)、上記ステップS300へ戻る。一方、ステップS308で肯定判断すると(ステップS308:Yes)、本ルーチンを終了する。
次に、サーバ装置40が実行する管理処理を説明する。図12は、サーバ装置40が実行する管理処理の手順の一例を示すフローチャートである。
まず、通信部42が、情報処理装置10から検出結果情報を受信したか否かを判断する(ステップS500)。ステップS500で肯定判断すると(ステップS500:Yes)、ステップS502へ進む。
ステップS502では、更新部47が、ステップS500で受信した検出結果情報に含まれる、位置情報に対応する検出対象物情報に示される検出対象物30が検出済管理情報44Aに未登録であるか否かを判断する(ステップS502)。登録済であると判断した場合(ステップS502:No)、本ルーチンを終了する。一方、未登録であると判断した場合(ステップS502:Yes)、ステップS504へ進む。
ステップS504では、更新部47が、ステップS500で受信した検出結果情報に含まれる、検出対象物情報および位置情報を対応づけて検出済管理情報44Aに登録する(ステップS504)。
そして、更新部47は、検出済管理情報44Aに新たに登録した、位置情報に対応する検出対象物情報と、該検出対象物情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ、通信部42を介して送信する(ステップS506)。そして、本ルーチンを終了する。
一方、ステップS500で否定判断すると(ステップS500:No)、ステップS508へ進む。ステップS508では、通信部42が、判定結果情報を情報処理装置10から受信したか否かを判断する。ステップS508で否定判断すると(ステップS508:No)、本ルーチンを終了する。一方、ステップS508で肯定判断すると(ステップS508:Yes)、ステップS510へ進む。
ステップS510では、更新部47が、ステップS508で受信した判定結果情報に含まれる位置情報と、危険運転情報と、ユーザIDと、を対応づけて、記憶部44におけるユーザ管理情報44Bへ登録する(ステップS510)。
次に、更新部47は、ステップS510でユーザ管理情報44Bに新たに登録した、位置情報に対応する危険運転情報と、該危険運転情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ、通信部42を介して送信する(ステップS512)。
次に、評価部46は、ユーザ管理情報44Bに登録されている危険運転情報を、対応するユーザIDごとに読取る。そして、評価部46は、ユーザIDによって識別されるユーザごとに、対応する危険運転情報からユーザの運転評価値を算出する(ステップS514)。
次に、評価部46は、ステップS514で算出した運転評価値とユーザIDとを含む、運転評価結果を、通信部42を介して外部装置などへ送信する(ステップS516)。そして、本ルーチンを終了する。
なお、ステップS514〜ステップS516の処理は、所定期間ごと(例えば、数か月ごと等)に定期的に行ってもよい。
なお、サーバ装置40では、ステップS502の処理を行わない形態であってもよい。この場合、ステップS500で肯定判断すると(ステップS500:Yes)、ステップS504へ進めばよい。そして、ステップS504では、更新部47は、ステップS500で受信した検出結果情報に含まれる位置情報に対応する検出対象物30として、同じ種類の検出対象物30が、予め定めた閾値以上の数、既に検出済管理情報44Aに登録されているか否かを判別する。そして、更新部47は、該閾値以上の数の検出対象物30が登録されている場合に、信頼度が高いと判定する。そして、信頼度が高いと判定した場合に、ステップS504の処理およびステップS506の処理を行ってもよい。信頼度が高いとは、該位置情報によって示される撮影位置に、該検出対象物30が存在する確率が高いことを意味する。
この処理により、情報処理装置10によって誤って検出された検出対象物30の検出対象物情報を、他の情報処理装置10へ配信することを抑制することができる。
以上説明したように、本実施の形態の情報処理装置10は、画像取得部18Aと、位置取得部18Bと、判定部18Cと、検出部18Dと、を備える。画像取得部18Aは、車両20(移動体)の周辺の撮影画像Pを取得する。位置取得部18Bは、撮影画像Pの撮影位置を示す位置情報を取得する。判定部18Cは、取得した位置情報によって示される撮影位置において検出済の検出対象物30を判定する。検出部18Dは、取得した撮影画像Pを解析し、該撮影画像Pにおける未検出の検出対象物30を検出する。
このように、本実施の形態の情報処理装置10では、撮影画像Pの解析時に、撮影画像Pに含まれる全ての検出対象物30を検出するのではなく、該撮影画像Pの撮影位置において検出済の検出対象物30については検出せず、該撮影位置において未検出の検出対象物30を検出する。このため、検出対象物30の解析速度の高速化を図ることができる。
従って、本実施の形態の情報処理装置10では、車両20(移動体)で撮影された移動体周囲の撮影画像Pの解析速度の高速化を実現できる。また、本実施の形態の情報処理装置10では、撮影画像Pの解析に要する時間(解析時間)の短縮を図ることもできる。
ここで、検出部18Dが撮影画像Pを解析することで、検出対象物30を検出するときの検出精度をより高めるためには、より高度で詳細な解析が必要である。より高度で詳細な解析を行うほど、撮影画像Pの解析速度は低下する。一方、本実施の形態の情報処理装置10では、検出部18Dは、撮影画像Pにおける、未検出の検出対象物30を検出する。このため、撮影画像Pに対してより処理時間を要する解析を行う場合であっても、本実施の形態の情報処理装置10では、撮影画像Pの解析速度の高速化を図ることができる。
なお、検出対象物30は、実空間における位置が固定されている。また、検出対象物30は、例えば、交通規則を表す物である。また、検出対象物30は、標識30Dおよび信号機30Bの少なくとも一方である。
また、情報処理装置10は、算出部18Gを備えることができる。算出部18Gは、取得した撮影画像Pにおける、検出済と判断された検出対象物30を示す検出対象物情報と、検出部18Dが検出した検出対象物30を示す検出対象物情報と、に基づいて、該撮影画像Pの撮影時の車両20(移動体)の走行状態に対する評価値を算出することができる。
また、情報処理装置10は、読取部18Fを備えることができる。読取部18Fは、取得した位置情報によって示される撮影位置における検出対象物30の存在密度を示す密度情報を読取る。画像取得部18Aは、時系列に撮影された複数の撮影画像Pから、密度情報が高いほど短い取得間隔で撮影画像Pを取得することが好ましい。
また、本実施の形態の情報処理システム1は、情報処理装置10と、情報処理装置10と通信するサーバ装置40と、を備える。情報処理装置10は、受信部18Eと、画像取得部18Aと、位置取得部18Bと、判定部18Cと、検出部18Dと、を備える。受信部18Eは、サーバ装置40から、位置情報と該位置情報によって示される撮影位置で検出済の検出対象物30を示す検出対象物情報とを受信する。画像取得部18Aは、車両20(移動体)の周辺の撮影画像Pを取得する。位置取得部18Bは、撮影画像Pの撮影位置を示す位置情報を取得する。判定部18Cは、受信した位置情報と受信した検出対象物情報とを対応付けた検出済情報15bに基づいて、取得した位置情報によって示される撮影位置において検出済の検出対象物30を判定する。検出部18Dは、取得した撮影画像Pを解析し、該撮影画像Pにおける未検出の検出対象物30を検出する。
なお、上記実施の形態では、地図データ15Dを、車両20に搭載された情報処理装置10の記憶部15に記憶し、情報処理装置10側で更新する形態を一例として説明した(図3、図10参照)。しかし、地図データ15Dを、サーバ装置40側で一元管理し、サーバ装置40側で更新する形態であってもよい。
この場合、サーバ装置40では、更新部47(図8参照)が、情報処理装置10の各々から受信した検出結果情報に含まれる検出対象物情報を、サーバ装置40で管理している地図データ15Dに登録することで、該地図データ15Dを更新すればよい。また、サーバ装置40では、更新部47(図8参照)が、情報処理装置10の各々から受信した判定結果情報に含まれる危険運転情報を、サーバ装置40で管理している地図データ15Dに登録することで、該地図データ15Dを更新すればよい。
そして、この場合、情報処理装置10では、サーバ装置40で管理している地図データ15Dにおける、解析に必要な一部のデータのみを該サーバ装置40から受信し、解析や表示に用いればよい。
<変形例>
なお、上記実施の形態では、情報処理装置10を車両20に搭載した形態を説明した。しかし、情報処理装置10を、車両20とは別体として構成し、車両20に搭載しない形態であってもよい。すなわち、情報処理装置10を、公知のパーソナルコンピュータ(PC)などに適用した構成としてもよい。
この場合、車両20に搭載された撮影部12で撮影された複数の撮影画像Pと、各撮影画像Pの各々の撮影タイミングに対応する、撮影位置を示す位置情報、走行情報、および撮影タイミングを示すタイミング情報と、を対応付けた撮影画像群データを、公知の記憶媒体(例えば、メモリカードなど)や記憶部15に予め記憶すればよい。
そして、情報処理装置10では、該撮影画像群データに含まれる撮影画像Pの各々について、上記制御部18と同様にして解析処理を実行すればよい。なお、この場合、画像取得部18Aおよび走行状態取得部18Bは、記憶媒体に記憶された撮影画像群データから、撮影画像Pおよび位置情報などを取得すればよい。また、算出部18Gは、撮影画像群データから、走行情報を取得すればよい。
この場合、解析対象データを、公知のパーソナルコンピュータ(PC)などの情報処理装置10で解析することが可能となる。
次に、上記実施の形態および変形例の、情報処理装置10およびサーバ装置40のハードウェア構成を説明する。図13は、上記実施の形態および変形例の情報処理装置10およびサーバ装置40のハードウェア構成例を示すブロック図である。
上記実施の形態および変形例の、情報処理装置10およびサーバ装置40は、出力部80、I/F部82、入力部94、CPU86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、およびHDD92等がバス96により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU86は、上記実施の形態および変形例の、情報処理装置10およびサーバ装置40の各々で実行する処理を制御する演算装置である。RAM90は、CPU86による各種処理に必要なデータを記憶する。ROM88は、CPU86による各種処理を実現するプログラム等を記憶する。HDD92は、上述した記憶部15、記憶部44に格納されるデータを記憶する。I/F部82は、他の装置との間でデータを送受信するためのインターフェースである。出力部80は、上述したUI部17の表示機能に相当する。入力部94は、上述したUI部17の入力機能に相当する。
上記実施の形態および変形例の、情報処理装置10およびサーバ装置40で実行される上記各種処理を実行するためのプログラムは、ROM88等に予め組み込んで提供される。
なお、上記実施の形態および変形例の、情報処理装置10およびサーバ装置40で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、上記実施の形態および変形例の、情報処理装置10およびサーバ装置40で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態および変形例の、情報処理装置10およびサーバ装置40における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
上記実施の形態および変形例の、情報処理装置10およびサーバ装置40で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。
なお、上記HDD92に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とCPU86と、を、ネットワーク等を介して接続した構成とすればよい。
なお、上記には、本発明の実施の形態および変形例を説明したが、上記実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 情報処理システム
10 情報処理装置
18A 画像取得部
18B 位置取得部
18C 判定部
18D 検出部
18E 受信部
18F 読取部
18H 送信部
30 検出対象物
30A 速度標識
30B 信号機
30C 車線境界線
30D 標識
40 サーバ装置
特開2007−047914号公報

Claims (7)

  1. 移動体の周辺の撮影画像を取得する画像取得部と、
    前記撮影画像の撮影位置を示す位置情報を取得する位置取得部と、
    取得した前記位置情報によって示される撮影位置において検出済の検出対象物を判定する判定部と、
    取得した前記撮影画像を解析し、該撮影画像における未検出の前記検出対象物を検出する検出部と、
    取得した前記位置情報によって示される撮影位置における前記検出対象物の存在密度を示す密度情報を読取る読取部と、
    を備え、
    前記画像取得部は、時系列に撮影された複数の前記撮影画像から、前記密度情報が高いほど短い取得間隔で前記撮影画像を取得する、
    情報処理装置。
  2. 前記検出対象物は、実空間における位置が固定されている、請求項1に記載の情報処理装置。
  3. 前記検出対象物は、交通規則を表す物である、請求項1または請求項2に記載の情報処理装置。
  4. 前記検出対象物は、標識および信号機の少なくとも一方である、請求項3に記載の情報処理装置。
  5. 取得した前記撮影画像における、検出済と判断された前記検出対象物を示す検出対象物情報と、前記検出部が検出した前記検出対象物を示す検出対象物情報と、に基づいて、該撮影画像の撮影時の前記移動体の走行状態に対する評価値を算出する算出部と、
    を備える、請求項1〜請求項4の何れか1項に記載の情報処理装置。
  6. 情報処理装置と、情報処理装置と通信するサーバ装置と、を備える情報処理システムであって、
    前記情報処理装置は、
    前記サーバ装置から、位置情報と前記位置情報によって示される撮影位置で検出済の検出対象物を示す検出対象物情報とを受信する受信部と、
    移動体の周辺の撮影画像を取得する画像取得部と、
    前記撮影画像の撮影位置を示す位置情報を取得する位置取得部と、
    受信した前記位置情報と受信した前記検出対象物情報とを対応付けた検出済情報に基づいて、取得した前記位置情報によって示される撮影位置において検出済の前記検出対象物を判定する判定部と、
    取得した前記撮影画像を解析し、該撮影画像における未検出の前記検出対象物を検出する検出部と、
    取得した前記位置情報によって示される撮影位置における前記検出対象物の存在密度を示す密度情報を読取る読取部と、
    を備え、
    前記画像取得部は、時系列に撮影された複数の前記撮影画像から、前記密度情報が高いほど短い取得間隔で前記撮影画像を取得する、
    情報処理システム。
  7. 移動体の周辺の撮影画像を取得する撮影画像取得ステップと、
    前記撮影画像の撮影位置を示す位置情報を取得する位置情報取得ステップと、
    取得した前記位置情報によって示される撮影位置において検出済の検出対象物を判定する判定ステップと、
    取得した前記撮影画像を解析し、該撮影画像における未検出の前記検出対象物を検出する検出ステップと、
    取得した前記位置情報によって示される撮影位置における前記検出対象物の存在密度を示す密度情報を読取る読取ステップと、
    をコンピュータに実行させるための情報処理プログラムであって、
    前記撮影画像取得ステップは、時系列に撮影された複数の前記撮影画像から、前記密度情報が高いほど短い取得間隔で前記撮影画像を取得する、
    情報処理プログラム。
JP2015247936A 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム Expired - Fee Related JP6665522B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015247936A JP6665522B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015247936A JP6665522B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2017111763A JP2017111763A (ja) 2017-06-22
JP6665522B2 true JP6665522B2 (ja) 2020-03-13

Family

ID=59080782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015247936A Expired - Fee Related JP6665522B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6665522B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6984312B2 (ja) * 2017-10-26 2021-12-17 トヨタ自動車株式会社 車載装置、情報処理システム、及び情報処理方法
JP7241832B1 (ja) 2021-09-21 2023-03-17 三菱電機株式会社 運転支援情報提供装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP5057166B2 (ja) * 2008-10-30 2012-10-24 アイシン・エィ・ダブリュ株式会社 安全運転評価システム及び安全運転評価プログラム

Also Published As

Publication number Publication date
JP2017111763A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
US10303960B2 (en) Image processing device, alarming apparatus, image processing system, and image processing method
JP3760068B2 (ja) 画像認識装置
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
US9180814B2 (en) Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device
JP6759175B2 (ja) 情報処理装置および情報処理システム
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
CN110998684B (zh) 图像收集系统、图像收集方法、图像收集装置、记录介质
JP2011180982A (ja) 区画線検出装置
JP6283105B2 (ja) ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
WO2015186294A1 (ja) 車載画像処理装置
US20230236038A1 (en) Position estimation method, position estimation device, and position estimation program
JP2013186664A (ja) 横断歩道認識装置および横断歩道認識方法
JP2018190082A (ja) 車種判別装置、車種判別方法、および車種判別システム
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP4762026B2 (ja) 道路標識データベース構築装置
JP2016130979A (ja) 検知装置、検知処理プログラム及び検知システム
JP6610994B2 (ja) 障害物検出装置、及び、障害物検出方法
JP6665521B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP2006201817A (ja) 車体色判別方法及び装置。
JP7398257B2 (ja) 道路標示認識装置
JPH07244717A (ja) 車両用走行環境認識装置
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
TWI451990B (zh) 車道定位系統、車道定位方法及路面標記
JP2001108434A (ja) 距離測定方法及び距離測定装置
JP6786635B2 (ja) 車両認識装置および車両認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R151 Written notification of patent or utility model registration

Ref document number: 6665522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees