JP6679857B2

JP6679857B2 - 認識装置、認識方法及びプログラム

Info

Publication number: JP6679857B2
Application number: JP2015172821A
Authority: JP
Inventors: 関　海克; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-04-02
Filing date: 2015-09-02
Publication date: 2020-04-15
Anticipated expiration: 2035-09-02
Also published as: JP6939919B2; JP2020064681A; JP2016197388A

Description

本発明は認識装置、認識方法及びプログラムに関する。

車載カメラを利用して、運転者を支援したり、事故発生時の映像を記憶したりする技術が従来から知られている。例えば車載カメラを利用した運転者支援技術には、障害物の回避又は衝突時の衝撃を軽減する自動ブレーキ機能、及び、先行車両との車間距離の維持等を警告する警報機能等がある。

また例えば特許文献１には、信号機の信号の色と、信号の形状と、を同じ被写体が撮影された２枚の画像から別々に認識することにより、精度良く画像から信号機の信号を認識する発明が開示されている。

しかしながら従来の技術では、信号機の信号領域の色及び形状と類似する物体を、信号機の信号領域として誤認識する可能性があった。

本発明は、上記に鑑みてなされたものであって、画像情報から信号機の信号領域をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、を備え、前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、前記判定部は、前記特徴情報と、前記信号形状領域の周辺領域の特徴情報と、が類似する場合、前記信号形状領域が前記信号領域であると判定し、前記特徴情報は、前記信号領域の周辺領域の平均輝度の範囲を示す情報を含み、前記判定部は、前記信号形状領域の周辺領域の平均輝度が、前記信号領域の周辺領域の平均輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する。

本発明によれば、画像情報から信号機の信号領域をより正確に認識できるという効果を奏する。

図１は第１実施形態の認識装置が搭載された車両の例を示す図である。図２は第１実施形態の認識装置の構成の例を示す図である。図３は信号機を含む画像情報の例１を示す図である。図４は信号機を含む画像情報の例２を示す図である。図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。図８は第１実施形態の青信号画素の領域の例を示す図である。図９は第１実施形態の青信号画素の膨張領域の例を示す図である。図１０は第１実施形態の青信号形状領域の例を示す図である。図１１は第１実施形態の矩形領域の例を示す図である。図１２は第１実施形態の周辺領域の例を示す図である。図１３は第１実施形態の青信号の認識結果の例を示す図である。図１４は第１実施形態の認識方法の例を示すフローチャートである。図１５は第１実施形態の画像取得部のハードウェア構成の例を示す図である。図１６は第２実施形態の青信号形状領域の周辺領域の例を示す図である。図１７は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。図１８は第２実施形態の青信号形状領域の周辺領域の例を示す図である。図１９は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。図２０は第２実施形態の青信号形状領域の周辺領域の位置及びサイズを決定する方法の例を説明するための図である。

以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は第１実施形態の認識装置１００が搭載された車両２００の例を示す図である。第１実施形態の認識装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。第１実施形態の認識装置１００は、画像認識処理によって画像情報から信号機３００の信号を示す信号領域を認識する。

図２は第１実施形態の認識装置１００の構成の例を示す図である。第１実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。

画像取得部１０は、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する。画像取得部１０は当該画像情報をインタフェース部２１に入力する。画像取得部１０は、例えば車両２００の周囲を撮影するカメラである。

位置取得部１１は車両２００の位置を示す位置情報を取得し、当該位置情報をインタフェース部２１に入力する。位置情報は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）情報、及び、車両２００の位置を示す地図の座標情報等である。

インタフェース部２１は、画像取得部１０から画像情報を受け付けると、当該画像情報を、認識部２４が時系列の連続画像フレームとして受け付け可能な情報形式に変換する。インタフェース部２１は情報形式が変換された画像情報を認識部２４に入力する。

またインタフェース部２１は、位置取得部１１から位置情報を受け付けると、当該位置情報を選択部２２に入力する。

選択部２２は、インタフェース部２１から位置情報を受け付けると、当該位置情報から地域を特定する。そして選択部２２は、特定された地域の信号機３００を認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する。選択部２２は当該認識情報を認識部２４及び判定部２５に入力する。

記憶部２３は情報を記憶する。記憶部２３は、例えば認識情報を地域毎に記憶する。信号機３００の信号の形状及び信号の色は、地域によって異なる。例えば信号機３００の形状は、地域によって横型の場合と縦型の場合とがある。

図３は信号機３００ａを含む画像情報の例１を示す図である。図３の例は、信号の配列が横型の場合の信号機３００ａを示す。青信号領域１０１は青信号を示す領域である。例えば日本では、横型の信号機３００ａが一般的である。

図４は信号機３００ｂを含む画像情報の例２を示す図である。図４の例は、信号の配列が縦型の場合の信号機３００ｂを示す。青信号領域４０１は青信号を示す領域である。例えばアメリカでは、縦型の信号機３００ｂが一般的である。なお日本でも、積雪量の多い地域では縦型の信号機３００ｂが設置されている。

認識情報は、位置情報から特定される地域の信号機３００を認識するための情報である。認識情報は、信号画素を判定する色情報、及び、信号形状領域の周辺領域の特徴情報を含む。信号形状領域は信号機３００の信号の形状を示す領域である。信号形状領域の周辺領域の特徴情報の説明は、表１及び図１２を参照して後述する。

信号画素を判定する色情報は、例えば赤信号画素を判定する閾値、青信号画素を判定する閾値、及び、黄信号画素を判定する閾値を含む。

赤信号画素は赤信号の色を示す画素である。赤信号画素を判定する閾値は、Ｕの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）である。この閾値は、赤信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図５の例は、赤信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた赤信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、赤信号の色でない画素を検出する可能性も高くなるので、赤信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

青信号画素は青信号の色を示す画素である。青信号画素を判定する閾値は、Ｕの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）である。この閾値は、青信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。図６の例は、青信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた青信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、青信号の色でない画素を検出する可能性も高くなるので、青信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

黄信号画素は黄信号の色を示す画素である。黄信号画素を判定する閾値は、Ｕの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）である。この閾値は、黄信号画素の（Ｕ，Ｖ）分布に基づいて決定される。

図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。図７の例は、黄信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた黄信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、黄信号の色でない画素を検出する可能性も高くなるので、黄信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

以下の説明では、選択部２２により、信号機３００ａ（図３参照）の信号を認識するための認識情報が選択された場合を例にして具体的に説明する。

図２に戻り、認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識部２４は、認識情報に基づいて信号形状領域を認識する。具体的には、まず認識部２４は、（Ｒ，Ｇ，Ｂ）色空間の画像情報を、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する。

次に認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる赤信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を赤信号画素と認識する。同様に、認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する。また認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる黄信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を黄信号画素と認識する。

以下、認識部２４により、青信号画素が認識された場合を例にして具体的に説明する。なお赤信号画素及び黄信号画素の場合も青信号画素の場合と同様である。

図８は第１実施形態の青信号画素の領域１０２の例を示す図である。図８の青信号画素の領域１０２の大きさは、実際の青信号領域１０１（図３参照）の大きさよりも小さい。すなわち図８の例は、本来、青信号の領域として認識されるべき領域が、ノイズ画素の影響により青信号画素として認識されなかった場合を示す。ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、画像取得部１０により信号機３００が撮影された際に、例えば太陽光等の光により反射していた青信号の領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。

図２に戻り、次に認識部２４は青信号画素の領域１０２を膨張させる膨張処理を行う。具体的には、認識部２４は青信号画素の領域１０２の画素毎に、当該画素を複数の画素により被覆することにより、青信号画素の領域１０２を青信号画素の膨張領域に膨張させる。認識部２４は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、青信号画素の領域１０２の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む青信号画素の膨張領域に膨張させる。

図９は第１実施形態の青信号画素の膨張領域１０３の例を示す図である。図９の例は、認識部２４が、認識部２４により認識された青信号画素の領域１０２に、膨張処理を行ったことにより、本来の青信号の形状を示す青信号形状領域１０４を含む青信号画素の膨張領域１０３が得られた場合を示す。

図２に戻り、次に認識部２４は青信号の形状を示す青信号形状領域１０４の形状を認識する形状認識処理を行う。具体的には、認識部２４は、青信号画素の領域１０２をハフ（Ｈｏｕｇｈ）変換することにより、青信号画素の膨張領域１０３内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、認識部２４は当該円形の画素領域が信号機３００の青信号の形状を示す青信号形状領域１０４であることを認識する。

図１０は第１実施形態の青信号形状領域１０４の例を示す図である。図１０の例は、青信号画素の領域１０２（図８参照）がハフ変換されることにより、円形の画素領域として青信号形状領域１０４が認識された場合の例を示す。

図２に戻り、次に認識部２４は青信号形状領域１０４に外接する矩形領域を認識する。

図１１は第１実施形態の矩形領域１０５の例を示す図である。図１１の例は、認識部２４が、円形の画素領域として認識された青信号形状領域１０４に外接する矩形領域１０５を認識する場合を示す。

図２に戻り、次に認識部２４は矩形領域１０５を示す情報を判定部２５に入力する。

判定部２５は、選択部２２から認識情報を受け付け、認識部２４から矩形領域１０５を示す情報を受け付ける。判定部２５は、矩形領域１０５に内接する青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを、当該認識情報に基づいて判定する。具体的には、判定部２５は、青信号形状領域１０４の周辺領域の特徴情報と、当該認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似する場合、当該青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。

ここで信号領域の周辺領域の特徴を示す特徴情報の例について説明する。

表１は信号機３００ａの特徴情報の例を示す。

特徴情報は信号の種類毎に、位置、サイズ及び平均輝度範囲を含む。例えば青信号領域１０１の周辺領域の位置は、（Ｘ−ｘ１，Ｙ−ｙ１）である。また青信号領域１０１の周辺領域のサイズは、（Ｗ１，Ｈ１）である。ここで周辺領域の位置及びサイズについて説明する。

図１２は第１実施形態の周辺領域の例を示す図である。図１２は、青信号形状領域１０４の周辺領域１０６の特徴情報と、信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、を比較する場合を示す。点Ｏの座標は（Ｘ，Ｙ）である。点Ｏは、矩形領域１０５に内接する円形の画素領域（青信号形状領域１０４）の中心を示す。また点Ｐの座標は（Ｘ−ｘ１，Ｙ−ｙ１）である。周辺領域１０６は、点Ｐ、幅Ｗ１及び高さＨ１により決定される。

また例えば青信号領域１０１の周辺領域の平均輝度範囲は、（Ｉｍｉｎ１，Ｉｍａｘ１）である。平均輝度範囲は、例えば信号機３００ａの筐体の色に基づいて決定される。判定部２５は、周辺領域１０６に含まれる領域１０７の平均輝度を算出し、当該平均輝度が、Ｉｍｉｎ１以上かつＩｍａｘ１以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。

これにより例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。

図１３は第１実施形態の青信号の認識結果の例を示す図である。図１３の例は、図３に示す画像情報に含まれる信号機３００ａの青信号が、当該青信号領域１０１を含む矩形領域１０５として認識された場合を示す。

図２に戻り、判定部２５は、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力部２６に入力する。出力部２６は、判定部２５から認識結果情報を受け付けると、当該認識結果情報を出力する。認識結果情報は、例えばドライバーによる信号無視及び急発進等の危険運転の検知等の処理に使用される。

次に第１実施形態の認識方法について説明する。

図１４は第１実施形態の認識方法の例を示すフローチャートである。なお信号が青信号、黄信号及び赤信号の場合の説明は同様なので、第１実施形態の認識方法の説明では、信号が青信号である場合を例にして説明する。信号機３００ａの青信号（図３参照）を認識する場合を例にして具体的に説明する。

はじめに、画像取得部１０が、車両２００の周囲を撮影し、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する（ステップＳ１）。次に、認識部２４が、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を、上述の式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する（ステップＳ２）。

また、位置取得部１１が、車両２００の位置を示す位置情報を取得する（ステップＳ３）。次に、選択部２２が、位置情報により特定された地域の信号機３００ａを認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する（ステップＳ４）。

次に、認識部２４が、（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する（ステップＳ５）。次に、認識部２４が、ステップＳ５で認識された青信号画素の領域１０２を膨張させる（ステップＳ６）。

次に、認識部２４が、ステップＳ６の処理により得られた青信号画素の膨張領域１０３から青信号の形状を示す青信号形状領域１０４を認識できるか否かを判定する（ステップＳ７）。具体的には、認識部２４が、青信号画素の領域１０２をハフ変換することにより、青信号画素の膨張領域１０３内で円形の画素領域（青信号形状領域１０４）を認識できるか否かを判定する。

青信号形状領域１０４を認識できる場合（ステップＳ７、Ｙｅｓ）、認識処理はステップＳ８に進む。青信号形状領域１０４を認識できない場合（ステップＳ７、Ｎｏ）、認識処理を終了する。

次に、判定部２５が、青信号形状領域１０４の周辺領域の特徴情報と、ステップＳ４で選択された認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似するか否かを判定する（ステップＳ８）。

類似する場合（ステップＳ８、Ｙｅｓ）、判定部２５が、ステップＳ７で認識された青信号形状領域１０４を、青信号領域１０１と判定する（ステップＳ９）。次に、出力部２６が、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力する（ステップＳ１０）。類似しない場合（ステップＳ８、Ｎｏ）、認識処理を終了する。

次に第１実施形態の認識装置１００のハードウェア構成の例について説明する。

まず画像取得部１０のハードウェア構成の例について説明する。

図１５は第１実施形態の画像取得部１０のハードウェア構成の例を示す図である。第１実施形態の画像取得部１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）２０４、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）２０９、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１０、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１２、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像情報をＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５は、ＣＣＤ２０４からアナログの画像情報を受け付けると、当該画像情報のノイズ成分を除去し、ノイズ成分が除去されたアナログの画像情報をＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６は、ＣＤＳ回路２０５からアナログの画像情報を受け付けると、当該アナログの画像情報をデジタルの画像情報に変換する。Ａ／Ｄ変換器２０６はデジタルの画像情報を画像処理回路２０８に入力する。タイミング信号発生器２０７は、ＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。

画像処理回路２０８は、Ａ／Ｄ変換器２０６からデジタルの画像情報を受け付けると、ＳＤＲＡＭ２１３を使用して、当該デジタルの画像情報の画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ホワイトバランス制御処理は、画像情報の色の濃さを調整する画像処理である。コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する画像処理である。

画像処理回路２０８は上述の画像処理が行われた画像情報をＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は、画像処理回路２０８から受け付けた画像情報を表示する液晶ディスプレイである。

ＣＰＵ２１０はプログラムを実行することにより画像取得部１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種情報の記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像情報を一時的に記憶する記憶領域である。

圧縮伸張回路２１４は、画像処理回路２０８から画像情報を受け付けると、当該画像情報を圧縮する。圧縮伸張回路２１４は圧縮された画像情報をメモリ２１５に記憶する。また圧縮伸張回路２１４は、メモリ２１５から画像情報を受け付けると、当該画像情報を伸張する。圧縮伸張回路２１４は伸張された画像情報をＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像情報を記憶する。

操作部２１６は画像取得部１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像情報をメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、画像取得部１０から画像情報を信号処理部２０に送信するためのインタフェースである。

なお上述の図２で説明した信号処理部２０のインタフェース部２１、選択部２２、認識部２４、判定部２５及び出力部２６は、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、画像取得部１０のＣＰＵ２１０、及び、他の装置のＣＰＵ等により実行されるソフトウェア（プログラム）により実現してもよい。

また位置取得部１１は、例えばＧＰＳ装置により実現される。また記憶部２３は、例えば信号処理ボード上のメモリ、及び、画像取得部１０のメモリ２１５等により実現される。

第１実施形態の認識装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

なお第１実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１実施形態の認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１実施形態の認識装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。

なお第１実施形態の認識装置１００で実行されるプログラムにより、選択部２２、認識部２４、判定部２５及び出力部２６等を実現する場合、選択部２２、認識部２４、判定部２５及び出力部２６等は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。

以上説明したように、第１実施形態の認識装置１００では、選択部２２が、位置情報から特定される地域の信号機３００を認識するための認識情報を選択する。認識部２４が、認識情報に基づいて画像情報から信号機３００の信号の形状を示す信号形状領域を認識する。そして判定部２５が、認識情報に基づいて信号形状領域が信号機３００の信号を示す信号領域であるか否かを判定する。これにより画像情報から信号機３００の信号領域をより正確に認識することができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の認識装置１００では、点灯している信号を示す領域の誤認識を防ぐために判定に使用する周辺領域が、第１実施形態とは異なる。第２実施形態の判定部２５は、点灯していない信号を示す領域を含む周辺領域を判定に使用する。第２実施形態の説明では、第１実施形態の説明と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第２実施形態の認識装置１００の構成は、第１実施形態の認識装置１００の構成の例（図２参照）と同じである。すなわち第２実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。

画像取得部１０、位置取得部１１、インタフェース部２１、選択部２２、記憶部２３及び出力部２６の説明は、第１実施形態の説明と同様なので省略する。

認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識情報は、点灯している信号を示す信号画素を判定する色情報、及び、周辺領域の特徴情報を含む。第２実施形態の周辺領域は、点灯していない信号を示す領域を含む。

図１６は第２実施形態の青信号形状領域１０４の周辺領域５０２及び５０４の例を示す図である。図１６の例は、信号の配列が横型の信号機３００ａの場合を示す。青信号形状領域１０４は点灯している青信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５０４は、点灯していない赤信号を示す領域５０３を含む。

図１７は第２実施形態の赤信号形状領域５１１の周辺領域５０２及び５１６の例を示す図である。図１７の例は、信号の配列が横型の信号機３００ａの場合を示す。赤信号形状領域５１１は点灯している赤信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５１６は、点灯していない青信号を示す領域５１５を含む。

図１８は第２実施形態の青信号形状領域５２１の周辺領域５２４及び５２６の例を示す図である。図１８の例は、信号の配列が縦型の信号機３００ｂの場合を示す。青信号形状領域５２１は点灯している青信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５２６は、点灯していない赤信号を示す領域５２５を含む。

図１９は第２実施形態の赤信号形状領域５３１の周辺領域５２４及び５３６の例を示す図である。図１９の例は、信号の配列が縦型の信号機３００ｂの場合を示す。赤信号形状領域５３１は点灯している赤信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５３６は、点灯していない青信号を示す領域５３５を含む。

以下、図１６の場合（信号機３００ａの青信号を認識する場合）を例にして、第２実施形態の認識部２４及び判定部２５の動作について説明する。

認識部２４は、認識情報に基づいて、青信号形状領域１０４、周辺領域５０２及び５０４を認識する。青信号形状領域１０４の認識方法は、第１実施形態と同じなので説明を省略する。認識部２４は、青信号形状領域１０４を認識した後に、当該青信号形状領域１０４の位置との相対位置により、周辺領域５０２及び５０４の位置を決定する。なお相対位置は、信号機３００の種類等に応じて変わるため、選択部２２により選択された認識情報に含まれる特徴情報に基づいて決定される。

ここで青信号形状領域１０４の周辺領域５０２及び５０４の特徴を示す特徴情報の例について説明する。

表２は、信号機３００ａの青信号形状領域１０４の周辺領域５０２及び５０４の特徴情報の例を示す。

特徴情報は周辺領域毎に、位置、サイズ及び平均輝度範囲を含む。例えば周辺領域５０２の位置は、（Ｘ＋ｘ４，Ｙ＋ｙ４）である。ここで（Ｘ，Ｙ）は、青信号形状領域１０４の中心を示す座標である。また周辺領域５０２のサイズは、（Ｗ４，Ｈ４）である。また周辺領域５０２に関連付けられた平均輝度範囲は、（Ｉｍｉｎ４，Ｉｍａｘ４）である。この平均輝度範囲は、周辺領域５０２に含まれる点灯していない黄信号を示す領域５０１の平均輝度の範囲を示す。

図２０は第２実施形態の青信号形状領域１０４の周辺領域５０２の位置及びサイズを決定する方法の例を説明するための図である。はじめに、認識部２４は、第１実施形態で説明した方法で、青信号形状領域１０４を認識する。次に、認識部２４は、青信号形状領域１０４の中心の座標Ｏ（Ｘ，Ｙ）からｘ方向にｘ４、ｙ方向にｙ４だけ相対的に離れた点Ｐの座標（Ｘ＋ｘ４，Ｙ＋ｙ４）を、周辺領域５０２の位置に決定する。次に、認識部２４は、周辺領域５０２のサイズを、幅Ｗ４及び高さＨ４により決定する。

認識部２４は、周辺領域５０２の場合と同様にして、青信号形状領域１０４及び認識情報に基づいて周辺領域５０４の位置及びサイズを決定する。

判定部２５は、認識情報に含まれる特徴情報が示す平均輝度範囲に基づいて、青信号形状領域１０４が信号機３００ａの青信号を示す信号領域であるか否かを判定する。具体的には、はじめに、判定部２５は、周辺領域５０２内のハフ変換により円形の領域５０１を抽出し、周辺領域５０４内のハフ変換により円形の領域５０３を抽出する。次に、判定部２５は、円形の領域５０１の平均輝度と、円形の領域５０３の平均輝度と、を算出する。次に、判定部２５は、円形の領域５０１の平均輝度が、Ｉｍｉｎ４以上かつＩｍａｘ４以下であり、円形の領域５０３の平均輝度が、Ｉｍｉｎ５以上かつＩｍａｘ５以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。

なお判定部２５は、周辺領域５０２及び周辺領域５０４のいずれか一方を判定することにより、青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを判定してもよい。

以上説明したように、第２実施形態の認識装置１００では、判定部２５が、点灯していない信号を示す領域を含む周辺領域を利用して、信号形状領域が信号領域であるか否かを判定する。

これにより第２実施形態の認識装置１００によれば、第１実施形態の認識装置１００と同様の効果が得られる。例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。

１０画像取得部
１１位置取得部
２０信号処理部
２１インタフェース部
２２選択部
２３記憶部
２４認識部
２５判定部
２６出力部
１００認識装置
１０１青信号領域
１０２青信号画素の領域
１０３青信号画素の膨張領域
１０４青信号形状領域
１０５矩形領域
１０６周辺領域
１０７周辺領域に含まれる領域
２００車両
２０１撮影光学系
２０２メカシャッタ
２０３モータドライバ
２０４ＣＣＤ
２０５ＣＤＳ回路
２０６Ａ／Ｄ変換器
２０７タイミング信号発生器
２０８画像処理回路
２０９ＬＣＤ
２１０ＣＰＵ
２１１ＲＡＭ
２１２ＲＯＭ
２１３ＳＤＲＡＭ
２１４圧縮伸張回路
２１５メモリ
２１６操作部
２１７出力Ｉ／Ｆ
２２０バス
３００信号機
４０１青信号領域
５０１点灯していない黄信号を示す領域
５０２周辺領域
５０３点灯していない赤信号を示す領域
５０４周辺領域
５１１点灯している赤信号を示す領域
５１５点灯していない青信号を示す領域
５１６周辺領域
５２１点灯している青信号を示す領域
５２３点灯していない黄信号を示す領域
５２４周辺領域
５２５点灯していない赤信号を示す領域
５２６周辺領域
５３１点灯している赤信号を示す領域
５３５点灯していない青信号を示す領域
５３６周辺領域

特開２００９−２４４９４６号公報

Claims

車両の周囲の画像情報を取得する画像取得部と、
前記車両の位置を示す位置情報を取得する位置取得部と、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、を備え、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記判定部は、前記特徴情報と、前記信号形状領域の周辺領域の特徴情報と、が類似する場合、前記信号形状領域が前記信号領域であると判定し、
前記特徴情報は、前記信号領域の周辺領域の平均輝度の範囲を示す情報を含み、
前記判定部は、前記信号形状領域の周辺領域の平均輝度が、前記信号領域の周辺領域の平均輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
認識装置。
前記認識情報は、信号機の信号の色を示す色情報を含み、
前記認識部は、前記色情報に基づいて前記画像情報から前記信号機の信号の色を示す信号画素を認識し、前記信号画素を複数の画素により被覆することにより、前記信号画素の領域を信号画素の膨張領域に膨張させ、前記信号画素の膨張領域をハフ変換することにより得られた画素領域を、前記信号形状領域として認識する、
請求項１に記載の認識装置。
前記色情報は、（Ｙ，Ｕ，Ｖ）色空間の色情報であり、
前記画像取得部は、（Ｒ，Ｇ，Ｂ）色空間の前記画像情報を取得し、
前記認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画像情報を前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換し、前記（Ｙ，Ｕ，Ｖ）色空間の色情報に基づいて前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に含まれる前記信号画素を認識する、
請求項２に記載の認識装置。
前記周辺領域は、点灯していない信号を示す領域を含む、
請求項１に記載の認識装置。
車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置の認識方法であって、
認識装置が、前記位置情報から特定される地域の信号機を認識するための認識情報を選択するステップと、
認識装置が、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識するステップと、
認識装置が、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定するステップと、を含み、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記判定するステップは、前記特徴情報と、前記信号形状領域の周辺領域の特徴情報と、が類似する場合、前記信号形状領域が前記信号領域であると判定し、
前記特徴情報は、前記信号領域の周辺領域の平均輝度の範囲を示す情報を含み、
前記判定するステップは、前記信号形状領域の周辺領域の平均輝度が、前記信号領域の周辺領域の平均輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
認識方法。
車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置を、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部、として機能させ、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記判定部は、前記特徴情報と、前記信号形状領域の周辺領域の特徴情報と、が類似する場合、前記信号形状領域が前記信号領域であると判定し、
前記特徴情報は、前記信号領域の周辺領域の平均輝度の範囲を示す情報を含み、
前記判定部は、前記信号形状領域の周辺領域の平均輝度が、前記信号領域の周辺領域の平均輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
プログラム。