以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。
(第1の実施の形態)
図1は、本実施の形態の情報処理装置10の一例の説明図である。情報処理装置10は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両20である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置10を車両20に搭載した形態を一例として説明する。
車両20には、撮影部12が搭載されている。撮影部12は、車両20の周辺を撮影した撮影画像を得る。撮影部12は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影部12は、車両20の周辺を連続して撮影することで、複数の撮影画像(すなわち、複数のフレーム)を撮影可能である。なお、撮影部12は、情報処理装置10と一体的に構成してもよいし、情報処理装置10と別体として構成してもよい。
また、撮影装置12は、車両20に搭載した形態に限定されない。撮影装置12は、信号機30を撮影可能な位置に設置されていればよく、地面に対して固定されていてもよい。なお、本実施の形態の情報処理装置10で検知した検知結果を、車両20の運転者の運転支援などに用いる場合には、撮影装置12は、車両20に搭載した形態であることが好ましい。
本実施の形態では、撮影装置12は、オートゲインコントロール(AGC)機能を搭載している。このため、撮影装置12は、感度を自動調整し、撮影画像の全画面の明るさが最適となるように自動調整した撮影画像を得る。
情報処理装置10は、撮影画像を解析する。そして、情報処理装置10は、撮影画像に含まれる信号機30の示す信号30Aを検出する。信号30Aを検出する、とは、信号機30の示す信号色と、信号領域と、を検出することを示す。信号色は、信号機30における点灯している部分(図1では、信号30A)の色である。また、信号30Aの信号領域は、信号機30における点灯している領域である。
次に、情報処理装置10の機能的構成を説明する。図2は、情報処理装置10の機能的構成の一例を示すブロック図である。
情報処理装置10は、インタフェース部14と、認識処理部16と、記憶部18と、を備える。インタフェース部14および記憶部18は、認識処理部16に電気的に接続されている。
インタフェース部14は、撮影装置12から撮影画像を受付ける。撮影装置12は、車両20の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像の各々を、撮影順に順次、インタフェース部14へ出力する。インタフェース部14は、撮影装置12から撮影画像を順次受け付け、受け付けた順に、認識処理部16へ順次出力する。
記憶部18は、各種データを記憶する。本実施の形態では、記憶部18は、時間帯認識辞書18A、および信号認識辞書DB18Bを記憶する。信号認識辞書DB18Bは、撮影時間帯と、信号認識辞書18Cと、を対応づけたものである。時間帯認識辞書18A、信号認識辞書DB18B、および信号認識辞書18Cについては、詳細を後述する。
認識処理部16は、撮影画像を解析し、撮影画像における信号色および信号領域を検出する。認識処理部16は、画像取得部16Aと、時間帯判別部16Bと、選択部16Cと、検出部16Dと、検出結果出力部16Eと、学習部16Kと、を含む。検出部16Dは、特定部16Fと、認識部16Gと、を含む。時間帯判別部16Bは、第1の算出部16Hと、第2の算出部16Iと、第3の算出部16Jと、を含む。
画像取得部16A、時間帯判別部16B、選択部16C、検出部16D、検出結果出力部16E、特定部16F、認識部16G、第1の算出部16H、第2の算出部16I、第3の算出部16J、および学習部16Kの一部またはすべては、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
画像取得部16Aは、撮影装置12から撮影画像を取得する。図3は、撮影画像Pの一例を示す模式図である。本実施の形態では、画像取得部16Aは、信号機30を含む撮影画像Pを取得する場合を説明する。
図2に戻り、説明を続ける。画像取得部16Aは、撮影装置12で撮影された撮影画像Pを取得する。本実施の形態では、画像取得部16Aは、撮影装置12からインタフェース部14を介して撮影画像Pを取得する。なお、画像取得部16Aは、記憶部18や外部装置などから、撮影画像Pを取得してもよい。
本実施の形態では、画像取得部16Aは、1フレーム分(1枚分)の撮影画像Pを順次取得する。そして、認識処理部16では、1フレーム毎に、信号領域および信号色を検出する。なお、認識処理部16が処理する撮影画像Pは、具体的には、撮影画像の撮影画像データである。説明を簡略化するために、撮影画像Pと称して説明する。
時間帯判別部16Bは、画像取得部16Aで取得した撮影画像Pの撮影時間帯を判別する。時間帯判別部16Bは、撮影画像Pを解析することによって、撮影画像Pの撮影時間帯を判別する。
撮影時間帯とは、1日(24時間)を撮影環境の互いに異なる複数の時間帯に分割したものである。撮影環境が異なる、とは、光強度が異なることを意味する。例えば、撮影時間帯は、昼、または、夜、である。なお、撮影時間帯は、昼、夜、夕方、であってもよい。また、撮影時間帯は、1日を撮影環境の異なる複数の時間帯に分割した、各時間帯であればよく、昼、夜、夕方、などに限定されない。また撮影時間帯は、2種類や3種類に減されず、4種類以上であってもよい。また、撮影時間帯は、撮影画像Pの撮影環境(例えば、季節、国、地域、北半球・南半球)に応じて、適宜、設定すればよい。
本実施の形態では、一例として、撮影時間帯が、昼または夜を示す場合を説明する。撮影時間帯が昼を示す、とは、撮影環境の光強度が閾値以上の時間帯である。撮影時間帯が夜である、とは、撮影環境の光強度が該閾値未満の時間帯である。この光強度の閾値には、予め任意の値を定めればよい。例えば、この光強度の閾値には、処理対象の撮影画像Pを撮影した撮影装置12のオートゲインコントロール機能によって、撮影画像Pに含まれる信号機30の信号30Aを示す領域の光量が飽和し始める(または飽和が解除される)光強度を定めればよい。
時間帯判別部16Bは、撮影画像Pの輝度を用いて、撮影画像Pの撮影時間帯を判別する。
詳細には、時間帯判別部16Bは、第1の算出部16Hと、第2の算出部16Iと、第3の算出部16Jと、を含む。
第1の算出部16Hは、撮影画像Pの平均輝度を算出する。第1の算出部16Hは、撮影画像Pに含まれる画素の各々の輝度値の平均値を算出する。これにより、第1の算出部16Hは、撮影画像Pの平均輝度を算出する。撮影時間帯が昼の場合、撮影画像Pの平均輝度は高い。一方、撮影時間帯が夜の場合、撮影画像Pの平均輝度は、昼より低い。
第2の算出部16Iは、撮影画像Pを複数のブロックに分割する。例えば、第2の算出部16Iは、撮影画像Pをm×n個のブロックに分割する。なお、mおよびnは、1以上の整数であり、且つ、mおよびnの少なくとも一方は、2以上の整数である。
そして、第2の算出部16Iは、ブロックの各々ごとに、平均輝度を算出する。例えば、第2の算出部16Iは、ブロックの各々ごとに、ブロックに含まれる画素の輝度値の平均値を算出する。これにより、第2の算出部16Iは、撮影画像Pに含まれるブロックの各々ごとに、平均輝度を算出する。
さらに、第2の算出部16Iは、撮影画像Pにおける平均輝度が閾値以下のブロックの数を、該撮影画像Pにおける低輝度ブロック数として算出する。低輝度ブロック数の算出に用いる平均輝度の閾値には、任意の値を予め定めればよい。
そして、時間帯判別部16Bは、撮影画像Pの平均輝度と、該撮影画像Pの低輝度ブロック数と、を含む特徴量に基づいて、撮影時間帯を判別する。
具体的には、時間帯判別部16Bは、例えば、撮影画像Pの平均輝度と撮影画像Pの低輝度ブロック数を、時間帯判別時の特徴量として用いる。
本実施の形態では、時間帯判別部16Bは、予め、撮影時間帯の判別に用いる時間帯認識辞書18A(図2参照)を作成する。すなわち、時間帯判別部16Bは、撮影画像Pの時間帯判別処理より以前に、予め、時間帯認識辞書18Aを作成する。
本実施の形態では、時間帯判別部16Bは、SVM(Support Vector Machine)を用いた機械学習方法を用いて、時間帯認識辞書18Aを予め作成する。
詳細には、時間帯判別部16Bは、撮影時間帯ごとに予め撮影された複数の撮影画像Pを基準撮影画像として用いる。
基準撮影画像とは、検出部16Dが検出処理に用いる撮影画像Pとは別に、この検出処理より前に、撮影装置12によって予め撮影された撮影画像である。なお、基準撮影画像は、検出部16Dが検出処理に用いる撮影画像Pと同じ撮影装置12で撮影された撮影画像である。
まず、時間帯判別部16Bは、基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群を、平均輝度と低輝度ブロック数によって定まる二次元空間に登録する。図4は、基準撮影画像における、平均輝度(Iav)と低輝度ブロック数(Nblk)によって示されるサンプル点の一例を示す図である。
図4中、サンプル点群40Bは、夜を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。また、サンプル点群40Aは、昼を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。
時間帯判別部16Bは、昼のサンプル点群40Aと夜のサンプル点群40Bとを分離する分離面(ここでは、直線La)を、昼のサンプル点群40Aと夜のサンプル点群40Bの各々の境界線(直線La1および直線La2)間の距離d(マージンと称される場合がある)が最大となるように配置する。そして、時間帯判別部16Bは、この分離面(図4では、直線La)を示す評価関数を、時間帯認識辞書18Aとして算出する。下記式(1)は、この直線Laを示す評価関数を示す式である。
式(1)中、f(Iav,Nblk)は、撮影画像Pの平均輝度と撮影画像Pの低輝度ブロック数を時間帯判別時の特徴量として用いた場合の、評価関数(時間帯認識辞書18A)である。式(1)中、A、B、およびCは、該評価関数の係数である。
時間帯判別部16Bは、式(1)に示す評価関数を予め作成し、時間帯認識辞書18Aとして予め記憶部18に記憶する。
時間帯判別部16Bは、撮影画像Pの撮影時間帯の判別時には、記憶部18に記憶されている時間帯認識辞書18A(式(1)に示す評価関数)を用いて、該撮影画像Pの撮影時間帯を判別する。
詳細には、時間帯判別部16Bは、第1の算出部16Hおよび第2の算出部16Iによって算出した、撮影画像Pの平均輝度(Iav)と低輝度ブロック数(Nblk)を、式(1)にあてはめることで、f(Iav,Nblk)を算出する。
そして、時間帯判別部16Bは、算出したf(Iav,Nblk)の値が、予め定めた閾値以上である場合、該撮影画像Pの撮影時間帯が昼を示すと判別する。一方、時間帯判別部16Bは、算出したf(Iav,Nblk)の値が、該閾値未満である場合、該撮影画像Pの撮影時間帯が夜を示すと判別する。この閾値は、判別対象の撮影時間帯の撮影環境の光強度に応じて、予め定めればよい。
なお、時間帯判別部16Bは、撮影画像Pの平均輝度と、該撮影画像Pの低輝度ブロック数と、該撮影画像Pにおけるブロック毎の平均輝度の分散値と、を含む特徴量に基づいて、撮影時間帯を判別してもよい。
この場合、時間帯判別部16Bの第3の算出部16Jが、撮影画像Pにおけるブロック毎の平均輝度の分散値を算出する。第3の算出部16Jは、第2の算出部16Iが分割したブロック毎の、平均輝度の分散値を算出する。例えば、時間帯判別部16Bは、下記式(2)を用いて、分散値(σ)を算出する。
式(2)中、σは、撮影画像Pにおけるブロック毎の平均輝度の分散値を示す。式(2)中、Nは、撮影画像Pに含まれるブロック数(すなわち、m×nの値)を示す。Iiは、i番目のブロックの平均輝度を示す。Iavは、撮影画像Pの全体の平均輝度を示す。
この場合、時間帯判別部16Bは、撮影画像Pの平均輝度と、該撮影画像Pの低輝度ブロック数と、該撮影画像Pにおけるブロック毎の平均輝度の分散値と、を特徴量として用いる時間帯認識辞書18Aを、予め作成すればよい。
すなわち、時間帯判別部16Bは、撮影画像Pの平均輝度と、該撮影画像Pの低輝度ブロック数と、を特徴量として用いる場合と同様に、SVM(Support Vector Machine)を用いた機械学習方法を用いて、時間帯認識辞書18Aを予め作成すればよい。この場合、時間帯判別部16Bは、基準撮影画像における、平均輝度と低輝度ブロック数と分散値とによって示されるサンプル点の群を、平均輝度と低輝度ブロック数と分散値によって定まる三次元空間に登録すればよい。
そして、時間帯判別部16Bは、上記と同様にして、昼のサンプル点群と夜のサンプル点群とを分離する分離面を、マージンが最大となるように配置する。そして、時間帯判別部16Bは、この分離面を示す評価関数を、時間帯認識辞書18Aとして算出すればよい。下記式(3)は、撮影画像Pの平均輝度、撮影画像Pの低輝度ブロック数、および分散値を、時間帯判別時の特徴量として用いる場合の、評価関数(時間帯認識辞書18A)である。
式(3)中、f(Iav,Nblk,σ)は、撮影画像Pの平均輝度と撮影画像Pの低輝度ブロック数と分散値とを時間帯判別時の特徴量として用いる場合の、評価関数(時間帯認識辞書18A)である。式(3)中、A、B、C、およびDは、該評価関数の係数である。
このように、時間帯判別部16Bは、例えば、式(3)に示す評価関数を予め作成し、時間帯認識辞書18Aとして予め記憶部18に記憶してもよい。
この場合、時間帯判別部16Bは、撮影画像Pの撮影時間帯の判別時には、記憶部18に記憶されている時間帯認識辞書18A(式(3)に示す評価関数)を用いて、該撮影画像Pの撮影時間帯を判別する。
詳細には、時間帯判別部16Bは、第1の算出部16H、第2の算出部16I、および第3の算出部16Jの各々によって算出された、撮影画像Pの平均輝度(Iav)、低輝度ブロック数(Nblk)、および分散値(σ)を得る。そして、時間帯判別部16Bは、これらの平均輝度(Iav)、低輝度ブロック数(Nblk)、および分散値(σ)を、式(3)にあてはめることで、f(Iav,Nblk,σ)を算出する。
そして、時間帯判別部16Bは、算出したf(Iav,Nblk,σ)の値が、予め定めた閾値以上である場合、該撮影画像Pの撮影時間帯が昼を示すと判別する。一方、時間帯判別部16Bは、算出したf(Iav,Nblk,σ)の値が、該閾値未満である場合、該撮影画像Pの撮影時間帯が夜を示すと判別する。この閾値は、予め定めればよい。
時間帯判別部16Bは、撮影画像Pと、該撮影画像Pの判別した撮影時間帯と、を選択部16Cへ出力する。
図2へ戻り、選択部16Cは、時間帯判別部16Bが判別した撮影時間帯に対応する信号認識辞書18Cを選択する。
信号認識辞書18Cは、検出部16Dが、撮影時間帯に応じて、信号機30の信号領域および信号機30の示す信号色を検出するために用いる辞書データである。信号認識辞書18Cは、撮影時間帯に対応づけて、記憶部18に予め記憶されている。
本実施の形態では、記憶部18は、信号認識辞書DB18Bを予め記憶する。図5は、信号認識辞書DB18Bのデータ構成の一例を示す模式図である。信号認識辞書DB18Bは、撮影時間帯と、撮影時間帯に対応する信号認識辞書18Cと、を対応づけたものである。
信号認識辞書18Cは、対応する撮影時間帯に撮影した基準撮影画像に含まれる信号機30の示す、複数種類の基準信号色の各々に対応する色値の範囲を示す。
本実施の形態では、色値として、(Y,U,V)色空間の(U,V)値を用いる場合を説明する。また、本実施の形態では、色値の範囲として、(U,V)値の分布範囲を用いる場合を説明する。
基準信号色は、信号機30の示す信号色(すなわち、点灯色)として予め定められた種類の色である。基準信号色は、国や地域の交通規則によって異なる。本実施の形態では、一例として、基準信号色は、赤色、青色、黄色、の3種類である場合を一例として説明する。
同様に、後述する検出部16Dが検出する信号色も、赤色、青色、黄色、の3種類である場合を説明する。なお、以下では、信号機30の示す信号色が赤色である場合を赤信号、信号機30の示す信号色が青色である場合を青信号、信号機30の示す信号色が黄色である場合を黄信号、と称して説明する場合がある。
本実施では、信号認識辞書18Cは、複数種類の基準信号色の各々に対応する、信号色認識辞書を含む。信号色認識辞書は、対応する撮影時間帯に撮影した基準撮影画像における、対応する基準信号色を示す信号機の、信号色の色値の範囲を示す。
具体的には、本実施の形態では、信号認識辞書18Cは、青信号認識辞書と、赤信号認識辞書と、黄信号認識辞書と、を信号色認識辞書として含む。青信号認識辞書は、基準信号色“青色”に対応する信号色認識辞書である。赤信号認識辞書は、基準信号色“赤色”に対応する信号色認識辞書である。黄信号認識辞書は、基準信号色“黄色”に対応する信号色認識辞書である。
ここで、画像取得部16Aが取得する撮影画像Pは、上述したように、オートゲイン機能を有する撮影装置12によって撮影されたものである。このため、撮影時間帯によっては、信号機30における信号30Aを示す領域(点灯している領域)の光量が飽和した撮影画像Pが得られる。
図6および図7は、撮影時間帯の異なる撮影画像Pの一例を示す図である。なお、図6よび図7は、青信号の信号機30を撮影した撮影画像Pである。また、図6は、撮影時間帯が昼を示す撮影画像Pの一例を示す模式図である。図7は、撮影時間帯が夜を示す撮影画像Pの一例を示す模式図である。
図6に示すように、撮影時間帯が撮影環境の光強度の大きい昼を示す場合、撮影画像Pにおける信号30Aを示す領域31Aの色値が、信号30Aの信号色に相当する青色を示す。
一方、図7に示すように、撮影時間帯が撮影環境の光強度の小さい夜を示す場合、撮影画像Pにおける信号30Aを示す領域31Aの色値は、光量の飽和により白色を示す。また、撮影時間帯が撮影環境の光強度の小さい夜である場合、撮影画像Pにおける信号を示す領域31Aの周辺の周辺領域35Bの色値が、信号30Aの信号色に相当する青色を示すこととなる。
すなわち、撮影時間帯が夜を示す場合、信号30Aを示す領域31Aではなく、信号30Aを示す領域31Aの周辺の、周辺領域35Bの色値が、信号30Aの信号色に相当する色を示すこととなる。
このため、本実施の形態では、夜を示す撮影時間帯に対応する信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)は、夜を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの周辺領域35Bの、色値の範囲を示す(図7参照)。
一方、昼を示す撮影時間帯に対応する信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)は、昼を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの、色値の範囲を示す(図6参照)。
図2に戻り、これらの撮影時間帯に対応する信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)は、学習部16Kによって予め作成される。学習部16Kは、検出部16Dによる撮影画像Pの検出処理より前に、予め信号認識辞書18Cを作成する。学習部16Kは、基準撮影画像PAを学習する事で、信号認識辞書18Cを予め作成し、記憶部18に予め記憶する。
本実施の形態では、学習部16Kは、SVMを用いた機械学習方法を用いて、撮影時間帯に対応する信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を予め作成する。
詳細には、学習部16Kは、撮影時間帯ごとに撮影装置12によって予め撮影された複数の撮影画像Pを、基準撮影画像PAとして用いる。また、学習部16Kは、撮影時間帯ごとに、基準信号色の各々を示した状態の信号機30を各々含む、基準撮影画像PAを用いる。具体的には、学習部16Kは、撮影時間帯ごとに、青信号の信号機30を含む基準撮影画像PAと、赤信号の信号機30を含む基準撮影画像PAと、黄信号の信号機30を含む基準撮影画像PAと、を用いて、撮影時間帯および基準信号色ごとに機械学習を行う。
以下、学習部16Kによる信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)の生成について、詳細に説明する。
学習部16Kは、撮影時間帯および基準信号色の組合せの各々に対応する複数の基準撮影画像PAを用いて、撮影時間帯および基準信号色ごとに、信号機30の信号30Aの(U,V)値を、該U値とV値とによって規定される二次元空間に登録する。
具体的には、学習部16Kは、撮影時間帯が昼を示す基準撮影画像PAを用いて、基準信号色ごとに、信号機30の信号30Aを示す領域31Aの(U,V)値を、該二次元空間に登録する。そして、学習部16Kは、この登録結果を用いて、撮影時間帯“昼”に対応する信号認識辞書18Cを作成する。また、学習部16Kは、撮影時間帯が夜を示す基準撮影画像PAを用いて、基準信号色ごとに、信号機30の信号30Aを示す領域31Aの周辺の、周辺領域35Bの(U,V)値を、該二次元空間に登録する。そして、学習部16Kは、この登録結果を用いて、撮影時間帯“夜”に対応する信号認識辞書18Cを作成する。
まず、昼を示す撮影時間帯に対応する信号認識辞書18Cの作成について、詳細に説明する。
図8は、撮影時間帯が昼を示し、且つ、基準信号色“青色”に対応する、青信号認識辞書によって示される(U,V)値の分布の一例を示す図である。言い換えると、図8は、撮影時間帯が昼を示す基準撮影画像PAにおける、青信号の信号機30の信号30Aを示す領域31A(図6参照)の、(U,V)値を二次元空間に登録した図である。
図8中、(U,V)値分布41Bは、昼を示す撮影時間帯に撮影された基準撮影画像PAにおける、青信号の信号機30の信号30Aを示す領域31A(図6参照)の(U,V)値の分布を示す。本実施の形態では、学習部16Kは、更に、該基準撮影画像PAにおける該領域31A以外の領域の(U,V)値分布41Aを登録する。すなわち、(U,V)値分布41Aは、基準撮影画像PAにおける、青信号の信号30Aを示す領域31A以外の領域の色値の分布である。
学習部16Kは、青信号を示す(U,V)値分布41Bと、青信号以外の(U,V)値分布41Aと、を分離する分離面(ここでは、直線Lb)を、(U,V)値分布41Bと(U,V)値分布41Aの各々の境界線(直線Lb1および直線Lb2)間の距離dが最大となるように配置する。そして、学習部16Kは、この分離面(図8では、直線Lb)を示す評価関数を算出する。下記式(4)は、この直線Lbを示す評価関数を示す式である。
式(4)中、f(U,V)は、青信号認識辞書を示す評価関数である。式(4)中、a、b、およびcは、評価関数の係数である。
このようにして、学習部16Kは、昼を示す撮影時間帯に対応する、青信号認識辞書(式(4)に示す評価関数)を算出する。また、学習部16Kは、赤信号認識辞書および黄信号認識辞書についても、各信号色を示す信号機30を昼に撮影した基準撮影画像PAを用いて、同様にして算出する。なお、昼を示す撮影時間帯に対応する、青信号認識辞書、赤信号認識辞書、および黄信号認識辞書の各々に対応する評価関数に含まれる係数(a,b,c)は、各辞書に応じた値となり、少なくとも1つの係数が互いに異なる。
これにより、学習部16Kは、昼を示す撮影時間帯に対応する、信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を作成する。すなわち、学習部16Kは、昼を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの色値の範囲を示す、信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を作成する。
次に、夜を示す撮影時間帯に対応する信号認識辞書18Cの作成について説明する。
図9は、撮影時間帯が夜を示し、且つ、基準信号色“青色”に対応する、青信号認識辞書によって示される(U,V)値の分布の一例を示す図である。言い換えると、図9は、撮影時間帯が夜を示す基準撮影画像PAにおける、青信号の信号機30の信号30Aを示す領域31Aの周辺の周辺領域35B(図7参照)の、(U,V)値を、二次元空間に登録した図である。
図9中、(U,V)値分布42Bは、夜を示す撮影時間帯に撮影された基準撮影画像PAにおける、青信号の信号機30の信号30Aを示す領域31Aの周辺の周辺領域35B(図7参照)の、(U,V)値の分布を示す。本実施の形態では、学習部16Kは、更に、該基準撮影画像PAにおける該周辺領域35B以外の領域の(U,V)値分布42Aを登録する。すなわち、(U,V)値分布42Aは、基準撮影画像PAにおける、青信号の色値以外の色値の分布である。
学習部16Kは、青信号を示す(U,V)値分布42Bと、青信号以外の(U,V)値分布42Aと、を分離する分離面(ここでは、直線Lc)を、(U,V)値分布42Bと(U,V)値分布42Aの各々の境界線(直線Lc1および直線Lc2)間の距離dが最大となるように配置する。そして、学習部16Kは、この分離面(図9では、直線Lc)を示す評価関数を算出する。この評価関数は、上記式(4)と同様であり、係数(a,b,c)の少なくとも1つが上記とは異なる値となる。
このようにして、学習部16Kは、夜を示す撮影時間帯に対応する、青信号認識辞書(式(4)に示す評価関数)を算出する。また、学習部16Kは、赤信号認識辞書および黄信号認識辞書についても、各信号色を示す信号機30を夜に撮影した基準撮影画像PAを用いて、同様にして算出する。夜を示す撮影時間帯に対応する、青信号認識辞書、赤信号認識辞書、および黄信号認識辞書の各々に対応する評価関数に含まれる係数(a,b,c)は、各辞書に応じた値となる。
これにより、学習部16Kは、夜を示す撮影時間帯に対応する、信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を作成する。すなわち、学習部16Kは、夜を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの周辺領域35Bの、色値の範囲を示す、信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を作成する。
なお、学習部16Kは、図8や図9に示すような、基準信号色に対応する色値の範囲((U,V)値分布41B、(U,V)値分布42B)を、信号認識辞書18Cとして記憶部18に記憶してもよい。また、上述のように、学習部16Kは、該分布から得られる上記式(4)に示す評価関数を、信号認識辞書18Cとして記憶部18に記憶してもよい。
本実施の形態では、学習部16Kは、撮影時間帯および基準信号色に対応する上記式(4)に示す評価関数を、信号認識辞書18Cとして作成し、記憶部18に予め記憶する場合を説明する。
図2に戻り、説明を続ける。上述したように、選択部16Cは、時間帯判別部16Bが判別した撮影時間帯に対応する信号認識辞書18Cを選択する。詳細には、選択部16Cは、時間帯判別部16Bが判別した撮影時間帯に対応する信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)を、記憶部18の信号認識辞書DB18Bから読取る。これにより、選択部16Cは、判別した撮影時間帯に対応する信号認識辞書18Cを選択する。
検出部16Dは、時間帯判別部16Bが判別した撮影時間帯に基づいて、撮影画像Pにおける信号機30の信号領域および該信号機30の示す信号色を検出する。
本実施の形態では、検出部16Dは、選択部16Cが選択した信号認識辞書18Cを用いて、信号領域および信号色を検出する。
検出部16Dは、特定部16Fと、認識部16Gと、を含む。
特定部16Fは、撮影画像Pにおける、選択部16Cが選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域として特定する。また、特定部16Fは、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。
詳細には、特定部16Fは、まず、撮影画像Pが(R,G,B)色空間の撮影画像データである場合、(Y,U,V)色空間の撮影画像データに変換する。なお、撮影画像Pが(Y,U,V)色空間の撮影画像データである場合には、この変換は行わなくてもよい。
特定部16Fは、例えば、下記式(5)を用いて、(R,G,B)色空間の撮影画像Pを、(Y,U,V)色空間の撮影画像Pに変換する。
そして、特定部16Fは、(Y,U,V)色空間の撮影画像Pを構成する画素ごとに、画素の(U,V)値が、撮影時間帯に対応する信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域として特定する。また、特定部16Fは、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。
詳細には、まず、特定部16Fは、選択部16Cが選択した信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)に対応する評価関数(上記式(4)参照)を読取る。すなわち、特定部16Fは、撮影時間帯に対応する、基準信号色ごとの信号認識辞書18C(青信号認識辞書、赤信号認識辞書、黄信号認識辞書)の各々を示す評価関数を読取る。
そして、特定部16Fは、(Y,U,V)色空間の撮影画像Pを構成する画素ごとに、画素の(U,V)値を、これらの評価関数を示す式(式(4))に代入する。そして、特定部16Fは、算出した評価関数によって示される値が、予め定めた閾値以上である画素を、信号候補領域を構成する画素と判断する。この閾値は、予め定めればよい。この判断により、特定部16Fは、撮影画像Pにおける、撮影時間帯に対応する信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域として特定する。
また、特定部16Fは、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。詳細には、該信号候補領域の画素の(U,V)値が閾値以上であると判断したときに用いた評価関数(青信号認識辞書、赤信号認識辞書、および黄信号認識辞書の何れか)に対応する基準信号色を、該信号候補領域の信号色として特定する。この閾値は、予め定めればよい。
認識部16Gは、特定部16Fが特定した信号候補領域に基づいて、撮影画像Pにおける信号領域を認識する。これによって、検出部16Dは、撮影画像Pにおける信号領域および信号色を検出する。
検出部16Dによる検出処理について、具体的に説明する。
まず、撮影画像Pの撮影時間帯が昼を示す場合について、具体的に説明する。
図10〜図14は、撮影画像Pの撮影時間帯が昼を示す場合の、信号領域および信号色の検出処理の一例の説明図である。
例えば、特定部16Fが、撮影時間帯が昼を示す撮影画像P(図6参照)から、信号候補領域32Aを特定する(図10参照)。上述したように、特定部16Fは、撮影時間帯“昼”に対応する信号認識辞書18Cを用いて、信号候補領域および信号色を特定する。
ここで、上述したように、昼を示す撮影時間帯に対応する信号認識辞書18Cは、昼を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの色値の範囲を示す。
このため、特定部16Fは、例えば、図6に示す撮影画像Pから、信号30を示す領域31Aに相当する領域を、信号候補領域32Aとして特定する(図10参照)。
認識部16Gは、特定された信号候補領域32Aに基づいて、信号領域を認識する。
ここで、特定部16Fは、信号色を示す実際の領域より狭い範囲を、信号候補領域32Aとして特定する場合がある。すなわち、信号領域として本来特定されるべき画素が、ノイズなどの影響により抽出されない場合がある。
そこで、認識部16Gは、信号候補領域32Aを膨張させる。これによって、認識部16Gは、信号候補領域32Aを膨張させた膨張領域33Aを得る(図11参照)。具体的には、認識部16Gは、信号候補領域32Aと、信号候補領域32Aの外周に該外周から外側に向かって連続する1または複数の画素と、を、膨張領域33Aとして得る。
膨張させる画素数は、予め定めればよい。例えば、認識部16Gは、信号候補領域32Aの外周に、該外周から外側に向かって7画素分連続する領域を加えることで、膨張領域33Aとして得る。
次に、認識部16Gは、膨張領域33Aに予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を、信号領域として認識する。この予め定めた形状には、撮影画像Pに含まれる信号機30の信号30Aの形状を予め定めればよい。本実施の形態では、この形状は、円形である場合を一例として説明する。
なお、信号30Aの形状は、国や地域など毎に定められた交通規則によって異なる。このため、情報処理装置10では、検出対象の信号機30の信号30Aの形状に応じて、認識部16Gが認識に用いる形状を予め定めればよい。
本実施の形態では、認識部16Gは、膨張領域33AをHough変換し、膨張領域33Aに円形の定型領域31A’が抽出できるか否かを判定する(図12参照)。抽出できた場合、認識部16Gは、定型領域31A’を含む領域を、信号領域として認識する。
本実施の形態では、認識部16Gは、膨張領域33A内の定型領域31A’に外接する矩形の領域を、信号領域34Aとして認識する(図13参照)。
このようにして、検出部16Dは、撮影画像Pから、特定部16Fが特定した信号色、および、認識部16Gが認識した信号領域34Aを、検出する(図14参照)。
次に、撮影画像Pの撮影時間帯が夜を示す場合について、具体的に説明する。
図15〜図18は、撮影画像Pの撮影時間帯が夜を示す場合の、信号領域および信号色の検出処理の一例の説明図である。
例えば、特定部16Fは、撮影時間帯が夜を示す撮影画像Pから、信号候補領域32Bを特定する(図15参照)。この場合、特定部16Fは、撮影時間帯“夜”に対応する信号認識辞書18Cを用いて、信号候補領域および信号色を特定する。ここで、上述したように、夜を示す撮影時間帯に対応する信号認識辞書18Cは、夜を示す撮影時間帯に撮影した基準撮影画像PAにおける、信号機30の信号30Aを示す領域31Aの周辺領域35Bの、色値の範囲を示す(図7参照)。
このため、特定部16Fは、例えば、図7に示す撮影画像Pから、信号30を示す領域31Aの周辺の周辺領域35Bに相当する領域を、信号候補領域32Bとして特定する(図15参照)。
認識部16Gは、特定された信号候補領域32Bに基づいて、信号領域を認識する。
ここで、特定部16Fは、信号色を示す実際の領域より狭い範囲を、信号候補領域32Bとして特定する場合がある。そこで、認識部16Gは、信号候補領域32Bを膨張させる。これによって、認識部16Gは、信号候補領域32Bを膨張させた膨張領域33Bを得る(図16参照)。具体的には、認識部16Gは、信号候補領域32Bと、信号候補領域32Bの外周に該外周から外側に向かって連続する1または複数の画素と、を、膨張領域33Bとして得る。すなわち、この膨張領域33Bが、信号候補領域32Bに比べて、周辺領域35B(図5参照)により近い領域となる。
次に、認識部16Gは、膨張領域33Bに予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を、信号領域として認識する。予め定めた形状は、上記と同様である。
本実施の形態では、認識部16Gは、膨張領域33BをHough変換し、膨張領域33Bに円形の定型領域31A’が抽出できるか否かを判定する(図17参照)。抽出できた場合、認識部16Gは、定型領域31A’を含む領域を、信号領域として認識する。
本実施の形態では、認識部16Gは、膨張領域33B内の定型領域31A’に外接する矩形の領域を、信号領域34Aとして認識する(図18参照)。このようにして、検出部16Dは、特定部16Fが特定した信号色、および、認識部16Gが認識した信号領域34Aを、検出する。
図2に戻り説明を続ける。検出部16Dは、検出した信号色および信号領域34Aを含む検出結果を、検出結果出力部16Eへ出力する。
検出結果出力部16Eは、検出部16Dから受付けた検出結果を、外部装置へ出力する。外部装置は、検出結果を用いて、各種処理を行う公知の装置である。例えば、外部装置は、検出結果を用いて、車両20の運転者の運転支援などを行う。具体的には、外部装置は、認識結果を用いて、車両20の運転状況を判断し、判断結果に応じて運転者への警告信号を出力する。また、判断結果に応じて、運転者の運転の質を評価する。
検出結果出力部16Eは、公知の通信手段を用いて、無線通信などにより外部装置へ検出結果を出力すればよい。なお、検出結果出力部16Eは、検出結果を、記憶部18や外部メモリなどに記憶してもよい。
次に、本実施の形態の情報処理装置10が実行する情報処理の手順の一例を説明する。図19は、情報処理装置10が実行する情報処理の手順の一例を示すフローチャートである。
まず、画像取得部16Aが撮影画像Pを取得する(ステップS100)。次に、時間帯判別部16Bが、ステップS100で取得した撮影画像Pの撮影時間帯を判別する、撮影時間帯判別処理を実行する(ステップS102)(詳細後述)。
次に、選択部16Cが、ステップS102で判別した撮影時間帯に対応する信号認識辞書18Cを選択する(ステップS104)。
次に、検出部16Dが、ステップS100で取得した撮影画像Pと、ステップS104で選択した信号認識辞書18Cと、を用いて、検出処理を実行する(ステップS106)(詳細後述)。ステップS106の処理によって、検出部16Dは、ステップS100で取得した撮影画像Pにおける、信号機30の信号領域および信号色を検出する。
次に、検出結果出力部16Eが、ステップS106の検出結果を出力する(ステップS108)。そして、本ルーチンを終了する。
次に、撮影時間帯判別処理(図19、ステップS102)の手順を説明する。図20は、時間帯判別部16Bが実行する、撮影時間帯判別処理の手順の一例を示すフローチャートである。
まず、時間帯判別部16Bの第1の算出部16Hが、ステップS100(図19参照)で取得した撮影画像Pの全体の平均輝度を算出する(ステップ200)。
次に、時間帯判別部16Bの第2の算出部16Iが、ステップS100(図19参照)で取得した撮影画像Pを複数のブロックに分割する(ステップS202)。次に、第2の算出部16Iは、ブロックの各々ごとに、平均輝度を算出する(ステップS204)。
次に、第2の算出部16Iは、ステップS100(図19参照)で取得した撮影画像Pにおける平均輝度が閾値以下のブロックの数を、該撮影画像Pにおける低輝度ブロック数として算出する(ステップS206)。
次に、時間帯判別部16Bの第3の算出部16Jが、ステップS100(図19参照)で取得した撮影画像Pにおける、ブロック毎の平均輝度の分散値を算出する(ステップS208)。
次に、時間帯判別部16Bは、ステップS200で算出した撮影画像Pの平均輝度と、ステップS206で算出した低輝度ブロック数と、ステップS208で算出した平均輝度の分散値と、に基づいて、撮影時間帯を判別する(ステップS210)。そして、本ルーチンを終了する。
次に、検出処理(図19、ステップS106)の手順を説明する。図21は、検出部16Dが実行する、検出処理の手順の一例を示すフローチャートである。
まず、検出部16Dの特定部16Fは、ステップS104(図19参照)で選択部16Cが選択した信号認識辞書18Cを用いて、ステップS100(図19参照)で取得した撮影画像Pにおける信号候補領域と、信号色と、を特定する(ステップS300)。
次に、検出部16Dの認識部16Gが、信号候補領域を膨張させる(ステップS302)。これによって、認識部16Gは、信号候補領域を膨張させた膨張領域を得る。
次に、認識部16Gは、膨張領域をHough変換し、膨張領域に円形の定型領域が抽出できるか否かを判定する(ステップS304)。抽出できた場合、認識部16Gは、該定型領域に外接する矩形の領域を、信号領域34Aとして認識する(ステップS306)。そして、本ルーチンを終了する。
このようにして、検出部16Dは、ステップS300で特定した信号色、および、ステップS306で認識した信号領域34Aを、検出する。
以上説明したように、本実施の形態の情報処理装置10は、画像取得部16Aと、時間帯判別部16Bと、検出部16Dと、を備える。画像取得部16Aは、撮影画像Pを取得する。時間帯判別部16Bは、撮影画像Pの撮影時間帯を判別する。検出部16Dは、判別した撮影時間帯に基づいて、撮影画像Pにおける信号機30の信号領域34Aおよび該信号機30の示す信号色を検出する。
このように、本実施の形態の情報処理装置10は、撮影画像Pの撮影時間帯に応じて、撮影画像Pから信号色および信号領域34Aを検出する。
従って、本実施の形態の情報処理装置10は、撮影画像Pから信号機30の信号領域34Aおよび信号色を精度良く検出することができる。
また、情報処理装置10は、撮影時間帯に拘らず、撮影画像Pから信号機30の信号領域34Aおよび信号色を精度良く検出することができる。また、情報処理装置10は、1枚の撮影画像Pを用いて、該撮影画像Pから信号領域34Aおよび信号色を検出するので、検出時間の短縮を図ることができる。
また、時間帯判別部16Bは、第1の算出部16Hと、第2の算出部16Iと、を有する。第1の算出部16Hは、撮影画像Pの平均輝度を算出する。第2の算出部16Iは、撮影画像Pを複数のブロックに分割し、平均輝度が閾値以下のブロックの数としての低輝度ブロック数を算出する。そして、時間帯判別部16Bは、撮影画像Pの平均輝度と、低輝度ブロック数と、を含む特徴量に基づいて、撮影時間帯を判別する。
また、時間帯判別部16Bは、第1の算出部16Hと、第2の算出部16Iと、第3の算出部16Jと、を有する。第1の算出部16Hは、撮影画像Pの平均輝度を算出する。第2の算出部16Iは、撮影画像Pを複数のブロックに分割し、平均輝度が閾値以下のブロックの数としての低輝度ブロック数を算出する。第3の算出部16Jは、撮影画像Pにおけるブロック毎の平均輝度の分散値を算出する。そして、時間帯判別部16Bは、撮影画像Pの平均輝度と、低輝度ブロック数と、分散値と、を含む特徴量に基づいて、撮影時間帯を判別する。
また、時間帯判別部16Bは、撮影画像Pの撮影時間帯が昼または夜を示すと判別する。このため、本実施の形態の情報処理装置10は、撮影画像Pの撮影時間帯が昼から夜、または夜から昼に変化しても、各撮影時間帯に撮影された撮影画像Pから、精度良く、信号機30の信号領域34Aおよび信号色を精度良く検出することができる。
選択部16Cは、判別した撮影時間帯に対応する信号認識辞書18Cを選択する。検出部16Dは、選択した信号認識辞書18Cを用いて、信号領域34Bおよび信号色を検出する。
信号認識辞書18Cは、対応する撮影時間帯に撮影した基準撮影画像に含まれる信号機30の示す、複数種類の基準信号色の各々に対応する色値の範囲を示す。検出部16Dは、特定部16Fと、認識部16Gと、を含む。特定部16Fは、撮影画像Pにおける、選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域(信号候補領域32A、信号候補領域32B)として特定する。また、特定部16Fは、該信号候補領域(信号候補領域32A、信号候補領域32B)の色値に対応する種類の基準信号色を、信号色として特定する。認識部16Gは、信号候補領域(信号候補領域32A、信号候補領域32B)に基づいて信号領域34Bを認識する。検出部16Dは、特定した信号色および認識した信号領域34Bを検出する。
夜を示す撮影時間帯に対応する信号認識辞書18Cは、夜を示す撮影時間帯に撮影した基準撮影画像における信号機30の信号を示す領域の周辺領域の色値の範囲を示す。
昼を示す撮影時間帯に対応する信号認識辞書18Cは、昼を示す撮影時間帯に撮影した基準撮影画像における信号機30の信号を示す領域の色値の範囲を示す。
認識部16Gは、特定された信号候補領域(信号候補領域32A、信号候補領域32B)を膨張した膨張領域(膨張領域33A、膨張領域33B)に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を、信号領域34Bとして認識する。
認識部16Gは、膨張領域(膨張領域33A、膨張領域33B)に円形の定型領域が含まれる場合、該定型領域を含む領域を信号領域34Bとして認識する。
(第2の実施の形態)
本実施の形態では、撮影画像Pに含まれる信号機30以外の被写体が、信号領域(信号領域34B)として誤認識されることを抑制する。
図1は、本実施の形態の情報処理装置11Aの一例の説明図である。本実施の形態では、第1の実施の形態の情報処理装置10と同様に、情報処理装置11Aを車両20に搭載した形態を一例として説明する。
次に、情報処理装置11Aの機能的構成を説明する。図22は、情報処理装置11Aの機能的構成の一例を示すブロック図である。情報処理装置11Aは、インタフェース部14と、認識処理部17と、記憶部18と、を備える。インタフェース部14および記憶部18は、認識処理部17に電気的に接続されている。
インタフェース部14および記憶部18は、第1の実施の形態と同様である。すなわち、情報処理装置11Aは、認識処理部16に代えて認識処理部17を備えた以外は、第1の実施の形態の情報処理装置10と同様である。
認識処理部17は、画像取得部16Aと、時間帯判別部16Bと、選択部16Cと、検出部170Dと、検出結果出力部16Eと、学習部16Kと、を含む。認識処理部17は、検出部16Dに代えて検出部170Dを備えた以外は、第1の実施の形態の検出部16Dと同様である。
検出部170Dは、第1の実施の形態の検出部16Dと同様に、時間帯判別部16Bが判別した撮影時間帯に基づいて、撮影画像Pにおける信号機30の信号領域および該信号機30の示す信号色を検出する。すなわち、検出部170Dは、選択部16Cが選択した信号認識辞書18Cを用いて、信号領域および信号色を検出する。
検出部170Dは、特定部170Fと、抽出部170Gと、認識部170Hと、を含む。
特定部170Fは、第1の実施の形態の特定部16Fと同様に、撮影画像Pにおける、選択部16Cが選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域として特定する。また、特定部170Fは、第1の実施の形態の特定部16Fと同様に、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。
ここで、撮影画像Pには、信号機30の信号色と同様の色を示す被写体が含まれる場合がある。この場合、特定部170Fは、信号機30以外の被写体を、信号候補領域として特定する場合がある。
そこで、本実施の形態では、検出部170Dは、特定した信号候補領域における、信号機30以外の被写体を除去し、信号機30を示す信号候補領域を抽出し、検出に用いる。
図23〜図25は、検出部170Dが実行する検出処理の一例の説明図である。
図23は、複数種類の被写体を含む撮影画像Pの一例を示す模式図である。図23に示すように、撮影画像Pに、信号機30と、信号機30の信号色と同様の色を示す被写体(例えば、標識40、車両50のランプ50A)と、が含まれる場合がある。
例えば、撮影画像Pにおける信号30Aを示す領域31Aの色値が、赤色を示すと仮定する。このとき、該撮影画像Pに含まれる、標識40の標識を示す領域41Aの色値、および、車両50のランプ50Aを示す点灯領域51Aの色値、の各々も赤色を示していると仮定する。
この場合、特定部170Fは、撮影時間帯に対応する信号認識辞書18Cを用いることで、図6に示す撮影画像Pから、信号30を示す領域31Aに相当する領域を、信号候補領域32Aとして特定する(図24参照)。また、同様に、特定部170Fは、撮影時間帯に対応する信号認識辞書18Cを用いて、図23に示す撮影画像Pから、標識を示す領域41Aに相当する領域および点灯領域51Aに相当する領域を、それぞれ、信号候補領域42Aおよび信号候補領域52Aとして特定する(図24参照)。
このように、撮影画像Pに信号色と同様の色を示す、信号機30以外の被写体が含まれる場合、特定部170Fは、信号機30以外の被写体についても信号候補領域(信号候補領域42A、信号候補領域52A)として特定する場合がある。
抽出部170Gは、特定部170Fが特定した信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の内、信号候補領域を膨張した膨張領域の大きさが予め定めた範囲内の信号候補領域を、検出対象として抽出する。
具体的には、抽出部170Gは、特定部170Fが特定した信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の各々を膨張させる。これによって、抽出部170Gは、信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の各々を膨張させた、膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)を得る(図25参照)。
具体的には、抽出部170Gは、信号候補領域32Aと、信号候補領域32Aの外周に該外周から外側に向かって連続する予め定めた数の画素と、を、膨張領域33Aとして得る。同様に、抽出部170Gは、信号候補領域42Aと、信号候補領域42Aの外周に該外周から外側に向かって連続する予め定めた数の画素と、を、膨張領域43Aとして得る。同様に、抽出部170Gは、信号候補領域52Aと、信号候補領域52Aの外周に該外周から外側に向かって連続する予め定めた数の画素と、を、膨張領域53Aとして得る。
そして、抽出部170Gは、これらの膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の各々の大きさを算出する。抽出部170Gは、膨張領域を構成する画素の画素数や、撮影画像Pにおける膨張領域の面積を、各膨張領域の大きさとして算出すればよい。
例えば、抽出部170Gは、各膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の各々について、膨張領域の中心に位置する画素から該膨張領域の周縁に向かって、選択部16Cで選択した撮影時間帯に対応する信号認識辞書18Cに示される色値の範囲を示し、且つ連続する画素を特定する。そして、各膨張領域について、特定した画素の画素数、または、特定した画素の画素群によって示される面積を、各膨張領域の大きさとして算出する。
なお、抽出部170Gは、膨張領域の大きさの算出時には、選択部16Cで選択した撮影時間帯に対応する信号認識辞書18Cに示される色値の範囲に代えて、該色値の範囲より狭い範囲、または該色値の範囲より広い範囲の画素を特定してもよい。
そして、抽出部170Gは、これらの膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の内、大きさが予め定めた範囲内の膨張領域33Aを特定する。そして、抽出部170Gは、特定した膨張領域33Aの信号候補領域32Aを、検出対象として抽出する。このため、膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の内、大きさが予め定めた範囲より大きい、または該範囲より小さい大きさの膨張領域(膨張領域43A、膨張領域53A)は、検出対象外となる。
なお、この予め定めた範囲は、信号30Aを示す領域31Aを選択的に特定可能な大きさ(面積や画素数)であればよい。なお、撮影装置12が撮影する撮影画像Pの撮影倍率は、固定であるものとする。
情報処理装置11Aは、該撮影倍率の撮影画像Pに含まれる信号30Aを示す領域31Aを該予め定めた画素数分膨張した膨張領域について、大きさのとりうる範囲を予め計測し、記憶部18に予め記憶すればよい。そして、抽出部170Gは、記憶部18に記憶された大きさの範囲を用いて、大きさが予め定めた範囲内の膨張領域33Aの信号候補領域32Aを抽出すればよい。
なお、撮影画像Pの撮影倍率は可変であってもよい。この場合、情報処理装置11Aは、撮影倍率と大きさの範囲とを対応づけて予め記憶部18に記憶すればよい。そして、抽出部170Gは、撮影画像Pの撮影倍率に対応する大きさの範囲を記憶部18から読取り、信号候補領域32Aの抽出に用いればよい。
これにより、抽出部170Gは、撮影画像Pに含まれる複数の信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の内、信号機30の信号30Aを示す信号候補領域32Aを抽出する。
このため、抽出部170Gは、撮影画像Pに含まれる複数の信号候補領域から、信号機30以外の領域(例えば、車両50のテールランプなどのランプ50Aの領域や、看板や標識などの領域(例えば、標識40の領域)を、検出対象外とすることができる。詳細には、例えば、撮影時間帯が昼である場合、信号機30より大きい標識40などの領域を、検出対象外とすることができる。また、例えば、撮影時間帯が夜である場合、街灯や車両50のテールランプなどの領域を、検出対象外とすることができる。
認識部170Hは、抽出部170Gで抽出された信号候補領域32Aに基づいて、信号領域34Aを認識する(図14、図18参照)。認識部170Hは、撮影画像Pに含まれる信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の内、抽出部170Gで抽出された信号候補領域32Aを用いて、信号領域34Aを認識する以外は、第1の実施の形態の認識部16Gと同様にして、信号領域34Aを認識すればよい(図14、図18参照)。
このようにして、本実施の形態では、検出部170Dは、撮影画像Pから、特定部16Fが特定した信号色、および、認識部16Gが認識した信号領域34Aを、検出する(図14、図18参照)。
次に、本実施の形態の情報処理装置11Aが実行する情報処理の手順の一例を説明する。なお、情報処理装置11Aが実行する情報処理の手順は、図19を用いて説明した、第1の実施の形態の情報処理の手順と同様である。なお、本実施の形態の情報処理装置11Aでは、図19におけるステップS106の検出処理において、図26に示す処理を実行する。
本実施の形態の検出処理(図19、ステップS106)の手順を説明する。図26は、本実施の形態の検出部170Dが実行する、検出処理の手順の一例を示すフローチャートである。
まず、検出部170Dの特定部170Fは、ステップS104(図19参照)で選択部16Cが選択した信号認識辞書18Cを用いて、ステップS100(図19参照)で取得した撮影画像Pにおける信号候補領域と、信号色と、を特定する(ステップS400)。
次に、検出部170Dの抽出部170Gが、信号候補領域を膨張させる(ステップS402)。これによって、抽出部170Gは、信号候補領域を膨張させた膨張領域を得る。
次に、検出部170Dの抽出部170Gは、ステップS402で得た膨張領域の内、大きさが予め定めた範囲内の膨張領域を特定する。そして、抽出部170Gは、特定した膨張領域33Aの信号候補領域32Aを、検出対象として抽出する(ステップS404)。
次に、認識部170Hは、ステップS404で抽出された膨張領域をHough変換し、膨張領域に円形の定型領域が抽出できるか否かを判定する(ステップS406)。抽出できた場合、認識部170Hは、該定型領域に外接する矩形の領域を、信号領域34Aとして認識する(ステップS408)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置11Aは、検出部170Dが、特定部170Fと、抽出部170Gと、認識部170Hと、を有する。特定部170Fは、撮影画像Pにおける、選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)として特定すると共に、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。抽出部170Gは、特定部170Fが特定した信号候補領域の内、信号候補領域を膨張した膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の大きさが予め定めた範囲内の信号候補領域(信号候補領域32A)を、検出対象として抽出する。認識部170Hは、抽出された信号候補領域32Aに基づいて信号領域34Aを認識する。
このように、本実施の形態の情報処理装置11Aでは、抽出部170Gが、特定部170Fで特定した信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の内、信号候補領域を膨張した膨張領域の大きさが予め定めた範囲内の信号候補領域を、検出対象として抽出する。これにより、抽出部170Gは、撮影画像Pに含まれる複数の信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の内、信号機30の信号30Aを示す信号候補領域32Aを抽出する。そして、検出部170Dでは、抽出した信号候補領域32Aを用いて、信号領域34Aを検出する。
従って、本実施の形態の情報処理装置11Aでは、上記第1の実施の形態の情報処理装置10の効果に加えて、更に精度良く、信号機30の信号領域34Aおよび信号色を検出することができる。
(第3の実施の形態)
本実施の形態では、第2の実施の形態とは異なる形態で、撮影画像Pに含まれる信号機30以外の被写体が、信号領域(信号領域34B)として誤認識されることを抑制する。
図1は、本実施の形態の情報処理装置11Bの一例の説明図である。本実施の形態では、第1の実施の形態の情報処理装置10と同様に、情報処理装置11Bを車両20に搭載した形態を一例として説明する。
次に、情報処理装置11Bの機能的構成を説明する。図27は、情報処理装置11Bの機能的構成の一例を示すブロック図である。情報処理装置11Bは、インタフェース部14と、認識処理部19と、記憶部18と、を備える。インタフェース部14および記憶部18は、認識処理部19に電気的に接続されている。
インタフェース部14および記憶部18は、第1の実施の形態と同様である。すなわち、情報処理装置11Bは、認識処理部16に代えて認識処理部19を備えた以外は、第1の実施の形態の情報処理装置10と同様である。
認識処理部19は、画像取得部16Aと、時間帯判別部16Bと、選択部16Cと、検出部180Dと、検出結果出力部16Eと、学習部16Kと、を含む。認識処理部19は、検出部16Dに代えて検出部180Dを備えた以外は、第1の実施の形態の検出部16Dと同様である。
検出部180Dは、第1の実施の形態の検出部16Dと同様に、時間帯判別部16Bが判別した撮影時間帯に基づいて、撮影画像Pにおける信号機30の信号領域および該信号機30の示す信号色を検出する。すなわち、検出部180Dは、選択部16Cが選択した信号認識辞書18Cを用いて、信号領域および信号色を検出する。
検出部180Dは、特定部180Fと、認識部180Gと、抽出部180Hと、を含む。
特定部180Fは、第1の実施の形態の特定部16Fと同様である。すなわち、特定部180Fは、撮影画像Pにおける、選択部16Cが選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域として特定する。また、特定部180Fは、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。
認識部180Gは、特定部16Fが特定した信号候補領域に基づいて、撮影画像Pにおける信号領域を認識する。認識部180Gの処理は、第1の実施の形態の認識部16Gと同様である。
すなわち、認識部180Gは、信号候補領域32Aを膨張させた膨張領域33Aにおける、予め定めた定型領域を含む領域を、信号領域として認識する。
ここで、第2の実施の形態でも説明したように、撮影画像Pには、信号機30の信号色と同様の色を示す被写体が含まれる場合がある。この場合、認識部180Gは、信号機30以外の被写体についても、信号領域として認識する場合がある。
そこで、本実施の形態では、抽出部180Hは、認識部180Gが認識した信号領域の内、予め定めた大きさの範囲内の信号領域を、撮影画像Pにおける信号機30の信号領域34Aとして抽出する。
図28〜図29は、認識部180Gによる認識処理の一例の説明図である。
例えば、撮影画像Pが、複数種類の被写体を含む画像であったと仮定する(図23参照)。具体的には、図23に示すように、撮影画像Pに、信号機30と、信号機30の信号色と同様の色を示す被写体(例えば、標識40、車両50のランプ50A)と、が含まれる場合がある。
この場合、特定部180Fおよび認識部180Gの処理によって、信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)の各々を膨張させた、膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)が得られる(図28参照)。
そして、認識部180Gは、第1の実施の形態の認識部16Gと同様にして、膨張領域(膨張領域33A、膨張領域43A、膨張領域53A)の各々をHough変換し、膨張領域(膨張領域33A、膨張領域43A、信号候補領域52A)に円形の定型領域(定型領域31A’、定型領域41A’、定型領域51A’)が抽出できるか否かを判定する(図28参照)。抽出できた場合、認識部180Gは、定型領域(定型領域31A’、定型領域41A’、定型領域51A’)を含む領域を、信号領域(信号領域34A、信号領域44A、信号領域54A)として認識する(図29参照)。
抽出部180Hは、認識部180Gが認識した信号領域(信号領域34A、信号領域44A、信号領域54A)の内、予め定めた大きさの範囲内の信号領域34Aを、撮影画像Pにおける信号機30の信号領域34Aとして抽出する。信号領域の大きさには、信号領域を構成する画素の画素数や、撮影画像Pにおける信号領域の面積を用いればよい。
例えば、抽出部180Hは、認識部180Gが認識した信号領域(信号領域34A、信号領域44A、信号領域54A)の各々について、信号領域の中心に位置する画素から該信号領域の周縁に向かって、選択部16Cで選択した撮影時間帯に対応する信号認識辞書18Cに示される色値の範囲を示し、且つ連続する画素を特定する。連続する画素とは、連続して配置されている画素を意味する。そして、各信号領域について、特定した画素の画素数、または、特定した画素の画素群によって示される面積を、各信号領域の大きさとして算出する。
なお、抽出部180Hは、信号領域の大きさの算出時には、選択部16Cで選択した撮影時間帯に対応する信号認識辞書18Cに示される色値の範囲に代えて、該色値の範囲より狭い範囲、または該色値の範囲より広い範囲の画素を特定してもよい。
そして、抽出部180Hは、これらの信号領域(信号領域34A、信号領域44A、信号領域54A)の内、大きさが予め定めた範囲内の信号領域34Aを、撮影画像Pにおける信号機30の信号領域34Aとして抽出する。このため、信号領域(信号領域34A、信号領域44A、信号領域54A)の内、大きさが予め定めた範囲より大きい、または該範囲より小さい大きさの信号領域(信号領域44A、信号領域54A)は、抽出対象外となる。
なお、この予め定めた大きさの範囲は、信号30Aを示す領域31Aに対応する信号領域34Aを選択的に特定可能な大きさ(面積や画素数)であればよい。なお、撮影装置12が撮影する撮影画像Pの撮影倍率は、固定であるものとする。
情報処理装置11Bは、該撮影倍率の撮影画像Pに含まれる信号30Aを示す領域31Aの信号領域34Aについて、大きさのとりうる範囲を予め計測し、記憶部18に予め記憶すればよい。そして、抽出部180Dは、記憶部18に記憶された大きさの範囲を用いて、大きさが予め定めた範囲内の信号領域34Aを、信号機30の信号領域34Aとして抽出すればよい。
なお、撮影画像Pの撮影倍率は可変であってもよい。この場合、情報処理装置11Bは、撮影倍率と大きさの範囲とを対応づけて予め記憶部18に記憶すればよい。そして、抽出部180Hは、撮影画像Pの撮影倍率に対応する大きさの範囲を記憶部18から読取り、信号領域34Aの抽出に用いればよい。
このようにして、本実施の形態では、検出部180Dは、撮影画像Pから、特定部180Fが特定した特定色、および、認識部16Gが認識し且つ抽出部180Hが抽出した信号領域34Aを、検出する(図14、図18参照)。
次に、本実施の形態の情報処理装置11Bが実行する情報処理の手順の一例を説明する。なお、情報処理装置11Aが実行する情報処理の手順は、図19を用いて説明した、第1の実施の形態の情報処理の手順と同様である。なお、本実施の形態の情報処理装置11Bでは、図19におけるステップS106の検出処理において、図30に示す処理を実行する。
本実施の形態の検出処理(図19、ステップS106)の手順を説明する。図30は、本実施の形態の検出部180Dが実行する、検出処理の手順の一例を示すフローチャートである。
まず、検出部180Dの特定部180Fは、ステップS104(図19参照)で選択部16Cが選択した信号認識辞書18Cを用いて、ステップS100(図19参照)で取得した撮影画像Pにおける信号候補領域と、信号色と、を特定する(ステップS500)。
次に、検出部180Dの認識部180Gが、信号候補領域を膨張させる(ステップS502)。これによって、認識部180Gは、信号候補領域を膨張させた膨張領域を得る。
次に、認識部180Gは、膨張領域をHough変換し、膨張領域に円形の定型領域が抽出できるか否かを判定する(ステップS504)。抽出できた場合、認識部180Gは、該定型領域に外接する矩形の領域を、信号領域(信号領域34A、信号領域44A、信号領域54A)として認識する(ステップS506)。
次に、抽出部180Hが、ステップS506で認識した信号領域(信号領域34A、信号領域44A、信号領域54A)の内、予め定めた大きさの範囲内の信号領域34Aを、撮影画像Pにおける信号機30の信号領域34Aとして抽出する(ステップS508)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置11Bは、検出部180Dが、特定部180Fと、抽出部180Gと、認識部180Hと、を有する。特定部180Fは、撮影画像Pにおける、選択した信号認識辞書18Cに示される基準信号色の色値の範囲に属する領域を、信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)として特定すると共に、該信号候補領域の色値に対応する種類の基準信号色を、信号色として特定する。
認識部180Gは、特定された信号候補領域(信号候補領域32A、信号候補領域42A、信号候補領域52A)に基づいて、信号領域(信号領域34A、信号領域44A、信号領域54A)を認識する。抽出部180Hは、認識部180Gが認識した信号領域(信号領域34A、信号領域44A、信号領域54A)の内、予め定めた大きさの範囲内の信号領域34Aを、撮影画像Pにおける信号機30の信号領域34Aとして抽出する。検出部180Dは、特定した信号色および認識し且つ抽出した信号領域34Aを検出する。
このように、本実施の形態の情報処理装置11Bでは、抽出部180Hが、認識部180Gで認識した信号領域(信号領域34A、信号領域44A、信号領域54A)の内、予め定めた大きさの範囲内の信号領域34Aを、撮影画像Pにおける信号機30の信号領域34Aとして抽出する。検出部180Dは、特定した信号色および認識し且つ抽出した信号領域34Aを検出する。
これにより、抽出部180Hは、撮影画像Pに含まれる、認識部180Gで認識された信号領域の内、信号機30の信号30Aを示す信号領域34Aを抽出する。そして、検出部180Dは、特定した信号色および認識し且つ抽出した信号領域34Aを検出する。
従って、本実施の形態の情報処理装置11Bでは、上記第1の実施の形態の情報処理装置10の効果に加えて、更に精度良く、信号機30の信号領域34Aおよび信号色を検出することができる。
<変形例>
なお、上記実施の形態では、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々を、車両20に搭載した形態を説明した。しかし、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々を、車両20とは別体として構成し、車両20に搭載しない形態であってもよい。すなわち、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々を、公知のパーソナルコンピュータ(PC)などに適用した構成としてもよい。
この場合、車両20に搭載された撮影部12で撮影された複数の撮影画像Pを、公知の記憶媒体(例えば、メモリカードなど)や記憶部18に予め記憶すればよい。
そして、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々では、該記憶媒体や記憶部18に記憶された撮影画像Pの各々について、上記実施の形態と同様にして、信号領域34Bおよび信号色を検出すればよい。
この場合、パーソナルコンピュータ(PC)などの情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々で、撮影画像Pから信号領域34Bおよび信号色を検出することができる。
次に、撮影装置12のハードウェア構成の一例を説明する。図31は、撮影装置12のハードウェア構成の一例を示す図である。
撮影装置12は、撮影光学系2010、メカシャッタ2020、モータドライバ2030、CCD(Charge Coupled Device)2040、CDS(Correlated Double Sampling:相関2重サンプリング)回路2050、A/D変換器2060、タイミング信号発生器2070、画像処理回路2080、LCD(Liquid Crystal Display)2090、CPU(Central Processing Unit)2100、RAM(Random Access Memory)2110、ROM(Read Only Memory)2120、SDRAM(Synchronous Dynamic Random Access Memory)2130、圧縮伸張回路2140、メモリ2150、操作部2160、および、出力I/F2170を備える。
画像処理回路2080、CPU2100、RAM2110、ROM2120、SDRAM2130、圧縮伸張回路2140、メモリ2150、操作部2160、および、出力I/F2170は、バス2200を介して接続されている。
撮影光学系2010は、被写体の反射光を集光する。メカシャッタ2020は、所定の時間、開くことにより、撮影光学系2010により集光された光をCCD2040に入射させる。モータドライバ2030は、撮影光学系2010およびメカシャッタ2020を駆動する。
CCD2040は、メカシャッタ2020を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをCDS回路2050に入力する。
CDS回路2050は、CCD2040からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去する。また、CDS回路2050は、相関二重サンプリングやゲインコントロールなどのアナログ処理を行う。そして、CDS回路2050は、処理後のアナログの画像データを、A/D変換器2060へ出力する。
A/D変換器2060は、CDS回路2050からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。A/D変換器2060はデジタルの画像データを画像処理回路2080に入力する。タイミング信号発生器2070はCPU2100からの制御信号に応じて、CCD2040、CDS回路2050、およびA/D変換器2060にタイミング信号を送信することにより、CCD2040、CDS回路2050、およびA/D変換器2060の動作タイミングを制御する。
画像処理回路2080は、A/D変換器2060からデジタルの画像データを受け付けると、SDRAM2130を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばCrCb変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、および、色変換処理等である。
画像処理回路2080は上述の画像処理が行われた画像データをLCD2090、または、圧縮伸張回路2140に出力する。LCD2090は画像処理回路2080から受け付けた画像データを表示する液晶ディスプレイである。
圧縮伸張回路2140は、画像処理回路208から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路2140は圧縮された画像データを、メモリ2150に記憶する。また、圧縮伸張回路2140はメモリ2150から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路2140は伸張された画像データをSDRAM213に一時的に記憶する。メモリ2150は圧縮された画像データを記憶する。
出力I/F2170は、画像処理回路2080で処理された画像データを、撮影画像Pとして、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々へ出力する。
なお上述の図2、図22、図27で説明したインタフェース部14、および認識処理部16に含まれる機能部の少なくとも一部を、信号処理ボード(信号処理回路)として撮影装置12に実装してもよい。
次に、上記実施の形態および変形例の、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々のハードウェア構成を説明する。図32は、上記実施の形態および変形例の情報処理装置10、情報処理装置11A、および情報処理装置11Bのハードウェア構成例を示すブロック図である。
上記実施の形態および変形例の、情報処理装置10、情報処理装置11A、および情報処理装置11Bは、出力部80、I/F部82、入力部94、CPU86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、およびHDD92等がバス96により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU86は、上記実施の形態および変形例の、情報処理装置10、情報処理装置11A、および情報処理装置11Bの各々で実行する処理を制御する演算装置である。RAM90は、CPU86による各種処理に必要なデータを記憶する。ROM88は、CPU86による各種処理を実現するプログラム等を記憶する。HDD92は、上述した記憶部18に格納されるデータを記憶する。I/F部82は、他の装置との間でデータを送受信するためのインターフェースである。
上記実施の形態および変形例の、情報処理装置10、情報処理装置11A、および情報処理装置11Bで実行される上記各種処理を実行するためのプログラムは、ROM88等に予め組み込んで提供される。
なお、上記実施の形態および変形例の情報処理装置10、情報処理装置11A、および情報処理装置11Bで実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、上記実施の形態および変形例の情報処理装置10、情報処理装置11A、および情報処理装置11Bで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態および変形例の情報処理装置10における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
上記実施の形態および変形例の情報処理装置10、情報処理装置11A、および情報処理装置11Bで実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。
なお、上記HDD92に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とCPU86と、を、ネットワーク等を介して接続した構成とすればよい。
なお、上記には、本発明の実施の形態および変形例を説明したが、上記実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。