JP6728634B2 - 検知装置、検知方法及びプログラム - Google Patents

Description

本発明は検知装置、検知方法及びプログラムに関する。

ドライバーが車を運転するときに、信号機の信号を無視して運転すると、事故を起こす確率が高くなる。信号を無視した危険運転を検知し、ドライバーに警告する技術が従来から知られている。ドライバーの故意又は過失による信号無視を危険運転として検知し、当該危険運転を警告することにより、ドライバーの安全運転習慣の形成を支援することができる。そのため、信号を無視した危険運転を高精度に検知する技術が必要とされている。

特許文献１には、ドライバーが信号を無視した可能性が高い状況を表すデータを確実に記録すると共に、無駄なデータの記録を抑制し、信号無視と関連のある重要度の高いデータの抽出を容易に行うことができる車載運行記録装置の発明が開示されている。

しかしながら従来の技術では、信号の点灯状態を示す外部情報を信号機から受信する必要があり、当該外部情報がない場合、信号を無視した危険運転の検知性能が著しく低下する問題があった。

本発明は、上記に鑑みてなされたものであって、信号を無視した危険運転をより簡易な構成でより高精度に検知することができる検知装置、検知方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像データを取得するカメラと、前記車両の速度データを取得する速度データ取得部と、前記画像データから信号機の信号を示す領域を認識する認識部と、前記信号を示す領域の大きさが第１の閾値より大きく、かつ、前記信号を示す領域と前記画像データの端との距離が第２の閾値より小さく、かつ、前記車両の速度データが第３の閾値より大きい場合、前記車両が前記信号を通過したことを検知する第１の検知部と、を備える。

本発明によれば、信号を無視した危険運転をより簡易な構成でより高精度に検知することができるという効果を奏する。

図１は実施形態の検知装置が搭載された車両の例を示す図である。 図２は実施形態の検知装置の構成の例を示す図である。 図３は信号機が撮影された画像データの例を示す図である。 図４は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。 図５は実施形態の認識部により抽出された赤信号画素の領域の例を示す図である。 図６は実施形態の認識部により得られた膨張画素領域の例を示す図である。 図７は実施形態の認識部によるＨｏｕｇｈ変換により抽出される円形の画素領域の例を示す図である。 図８は実施形態の認識部により得られた認識結果領域の例を示す図である。 図９は実施形態の認識部により認識された認識結果領域の例を示す図である。 図１０は実施形態の検知処理の例（矢印信号がない場合）を説明するための図である。 図１１は実施形態の検知処理の例（矢印信号がある場合）を説明するための図である。 図１２は実施形態の検知方法の概略を示すフローチャートである。 図１３は実施形態の信号認識処理の例を示すフローチャートである。 図１４は実施形態の危険運転検知処理の例を示すフローチャートである。 図１５は実施形態のカメラのハードウェア構成の例を示す図である。

以下に添付図面を参照して、検知装置、検知方法及びプログラムの実施形態を詳細に説明する。

図１は実施形態の検知装置１００が搭載された車両２００の例を示す図である。実施形態の検知装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。実施形態の検知装置１００の説明では、車両２００のドライバーが赤信号を無視することにより、車両２００が赤信号を通過したときに、危険運転として検知する場合について説明する。

図２は実施形態の検知装置１００の構成の例を示す図である。実施形態の検知装置１００は、カメラ１０、信号処理部２０及び通信部３０を備える。信号処理部２０は、加速度センサー２１、インタフェース部２２、認識部２３、進行方向検知部２４及び危険運転検知部２５を備える。

カメラ１０は車両２００の周囲を撮影し、カラーの画像データを取得する。カメラ１０は当該画像データをインタフェース部２２に入力する。

加速度センサー２１は車両２００の加速度データを取得する。加速度データは、例えば車両２００のアクセルペダルが、ドライバーによって踏まれたときの車両２００の加速度（プラス値）、及び、車両２００のブレーキペダルが、ドライバーによって踏まれたときの車両２００の加速度（マイナス値）を含む。加速度センサー２１は当該加速度データをインタフェース部２２に入力する。

インタフェース部２２は、カメラ１０から画像データを受け付けると、当該画像データを、認識部２３が時系列の連続画像フレームとして受け付け可能なデータ形式に変換する。インタフェース部２２はデータ形式が変換された画像データを認識部２３に入力する。

またインタフェース部２２は、車両２００の他の装置からＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークを介して車両２００の速度を示す速度データを受け付けると、当該速度データを危険運転検知部２５に入力する。

またインタフェース部２２は、加速度センサー２１から車両２００の加速度を示す加速度データを受け付けると、当該加速度データを、進行方向検知部２４及び危険運転検知部２５が受け付け可能なデータ形式に変換する。そしてインタフェース部２２は、データ形式が変換された加速度データを、進行方向検知部２４及び危険運転検知部２５に入力する。

認識部２３はインタフェース部２２から画像データを受け付けると、当該画像データから信号機３００の赤信号を示す領域を認識する。

図３は信号機３００が撮影された画像データの例を示す図である。図３の例は、信号機３００が赤信号である場合に撮影された画像データの例であり、信号機３００の赤信号を示す領域１０１を含む。認識部２３は、後述の信号認識処理により信号機３００の赤信号を示す領域１０１を認識する。

図２に戻り、認識部２３が信号機３００の赤信号を示す領域１０１を認識する信号認識処理について具体的に説明する。

まず認識部２３は（Ｒ，Ｇ，Ｂ）色空間の画像データを、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像データに変換する。

次に認識部２３は赤信号画素の（Ｕ，Ｖ）分布と、（Ｙ，Ｕ，Ｖ）色空間の画像データと、に基づいて、（Ｙ，Ｕ，Ｖ）色空間の画像データから赤信号画素の領域を抽出する抽出処理を行う。ここで赤信号画素の（Ｕ，Ｖ）分布の例について説明する。

図４は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図４の例は、赤信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素データから得られた赤信号画素の（Ｕ，Ｖ）分布を示す。

図２に戻り、具体的には、認識部２３は（Ｙ，Ｕ，Ｖ）色空間の画像データの（Ｕ，Ｖ）値が、図４に示される（Ｕ，Ｖ）分布について、予め定められたＵの閾値（Ｕ−ｍｉｎ及びＵ−ｍａｘ）及びＶの閾値（Ｖ−ｍｉｎ及びＶ−ｍａｘ）の範囲に含まれるか否かを判定する。次に認識部２３は当該閾値の範囲に含まれる（Ｙ，Ｕ，Ｖ）色空間の画像データの画素を赤信号画素の領域として画像データから抽出する。

なおＵの閾値（Ｕ−ｍｉｎ及びＵ−ｍａｘ）及びＶの閾値（Ｖ−ｍｉｎ及びＶ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、赤信号でない画素を検出する可能性も高くなるので、赤信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。

図５は実施形態の認識部２３により抽出された赤信号画素の領域１０２の例を示す図である。図５の赤信号画素の領域１０２の大きさは、実際の赤信号を示す領域１０１の大きさよりも小さい。すなわち図５の例は、本来、赤信号を示す領域１０１として抽出されるべき領域が、ノイズ画素の影響により抽出されなかった場合を示す。

ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、カメラ１０により信号機３００が撮影された際に、例えば太陽光等の光により反射していた領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。

図２に戻り、次に認識部２３は赤信号画素の領域１０２を膨張させる膨張処理を行う。具体的には、認識部２３は赤信号画素の領域１０２に含まれる各画素毎に、当該各画素を複数の画素により被覆することにより、赤信号画素の領域１０２を膨張画素領域に膨張させる。認識部２３は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、赤信号画素の領域１０２に含まれる各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む領域に膨張させることにより、赤信号画素の領域１０２を膨張画素領域に膨張させる。

図６は実施形態の認識部２３により得られた膨張画素領域１０３の例を示す図である。図６の例は、抽出された赤信号画素の領域１０２に膨張処理が行われたことにより、赤信号を示す領域１０１を含む膨張画素領域１０３が得られた場合を示す。

図２に戻り、次に認識部２３は赤信号を示す領域１０１の形状を認識する形状認識処理を行う。具体的には、認識部２３は、抽出された赤信号画素の領域１０２をＨｏｕｇｈ変換することにより、膨張画素領域１０３内で円形の画素領域を抽出できるか否かを判定する。円形の画素領域を抽出できる場合、認識部２３は当該円形の画素領域が信号機３００の赤信号を示す領域１０１であることを認識する。そして認識部２３は、当該円形の画素領域に外接する矩形領域を算出し、当該矩形領域を認識結果領域として示す認識データを生成する。

図７は実施形態の認識部２３によるＨｏｕｇｈ変換により抽出された円形の画素領域の例を示す図である。図７の例は、赤信号画素の領域１０２（図５参照）がＨｏｕｇｈ変換されることにより、円形の画素領域として赤信号を示す領域１０１が抽出された場合の例を示す。

図８は実施形態の認識部２３により得られた認識結果領域１０４の例を示す図である。図８の例は、円形の画素領域として抽出された赤信号を示す領域１０１に外接する矩形として、認識結果領域１０４が認識された場合の例を示す。

図９は実施形態の認識部２３により認識された認識結果領域１０４の例を示す図である。図９の例は、図３に示す画像データに含まれる信号機３００の赤信号を示す領域１０１が、当該赤信号を示す領域１０１を含む認識結果領域１０４として認識された場合を示す。

なお認識部２３は、例えば青信号を示す領域、及び、黄信号を示す領域等についても、赤信号を示す領域１０１を認識する上述の信号認識処理と同様の方法で認識することができる。

図２に戻り、また認識部２３は信号機３００の矢印信号（後述の図１１参照）を認識する。なお矢印信号の認識方法は任意でよい。認識部２３は、例えば信号機３００の青信号、黄信号及び赤信号が点灯する領域の周辺領域に、矢印信号の色を示す青色画素の数が閾値以上あり、当該青色画素により構成される領域が矢印を示す場合、当該周辺領域に矢印信号が表示されていることを認識する。

認識部２３は認識結果を示す認識結果情報を危険運転検知部２５に入力する。認識結果情報は、少なくとも認識結果領域１０４を含む。認識結果情報は、認識部２３が矢印信号を認識した場合、当該矢印信号の向きを示す矢印情報を更に含む。

進行方向検知部２４は、インタフェース部２２から加速度データを受け付けると、当該加速度データに基づいて車両２００の進行方向を検知する。進行方向検知部２４は、車両２００の進行方向を示す進行方向情報を危険運転検知部２５に入力する。

危険運転検知部２５は、インタフェース部２２から速度データ及び加速度データを受け付ける。また危険運転検知部２５は、認識部２３から認識結果情報を受け付ける。また危険運転検知部２５は、進行方向検知部２４から進行方向情報を受け付ける。

危険運転検知部２５は赤信号を通過する危険運転を検知する危険運転検知処理を行う。ここで危険運転検知部２５による危険運転の検知処理の例について説明する。表１は危険運転を検知するための判定条件の例を示す。

まず判定条件１について説明する。判定条件１は、車両２００が所定の速度より大きい速度で、矢印信号がない信号機３００の赤信号を通過した場合を判定する判定条件である。つまり、ドライバーが赤信号を無視して通過した車両として車両２００を判断し、通過を判定する。

図１０は実施形態の検知方法の例（矢印信号がない場合）を説明するための図である。高さＨは認識結果領域１０４の高さを示す。幅Ｗは認識結果領域１０４の幅を示す。距離Ｙは、画像データに含まれる認識結果領域１０４と、画像データの上端との距離を示す。

車両２００が赤信号を無視して通過するとき、車両２００は信号機３００に近づくので、赤信号を示す領域１０１を含む認識結果領域１０４の幅Ｗの大きさは大きくなる。また、このとき画像データに含まれる認識結果領域１０４と、画像データの上端との距離Ｙの大きさは小さくなる。したがって車両２００が信号機３００の赤信号を無視して通過する場合、下記式（２）及び（３）が成り立つ。なおｔｈｒｅＷ及びｔｈｒｅＹは、所定の閾値を示す。

Ｗ ＞ ｔｈｒｅＷ ・・・（２）
Ｙ ＜ ｔｈｒｅＹ ・・・（３）

また車両２００が所定の速度より大きい速度で信号機３００の赤信号を無視して通過する場合、下記式（４）が成り立つ。なお速度Ｖは車両２００の速度を示す。またｔｈｒｅＶは、所定の閾値を示す。

Ｖ ＞ ｔｈｒｅＶ ・・・（４）

したがって危険運転検知部２５は、表１の判定条件１を満たす場合、車両２００が赤信号を通過したことを検知する。すなわち危険運転検知部２５は、赤信号を示す領域１０１を含む認識結果領域１０４の大きさがｔｈｒｅＷより大きく、かつ、赤信号を示す領域１０１を含む認識結果領域１０４と画像データの上端との距離ＹがｔｈｒｅＹより小さく、かつ、車両２００の速度データがｔｈｒｅＶより大きい場合、車両２００が赤信号を通過したことを検知する。

次に判定条件２について説明する。判定条件２は車両２００の速度Ｖは小さいが、赤信号が点灯している信号機３００の付近で、ドライバーがアクセルを強く踏んだ場合を判定する判定条件である。判定条件２により、例えば車両２００が赤信号から青信号に切り替わる前に、発進することにより、赤信号を無視して通過した場合を判定することができる。

車両２００が所定の加速度より大きい加速度で信号機３００の赤信号を無視して通過する場合、下記式（５）が成り立つ。なお速度Ｇは車両２００の加速度を示す。またｔｈｒｅＧは、所定の閾値を示す。なお加速度センサー２１は、アクセルペダルが強く踏まれた場合の加速を示す加速度はプラス値として検出し、ブレーキペダルが強く踏まれた場合の減速を示す加速度はマイナス値として検出する。

Ｇ ＞ ｔｈｒｅＧ ・・・（５）

したがって危険運転検知部２５は、表１の判定条件２を満たす場合、車両２００が赤信号を通過したことを検知する。すなわち危険運転検知部２５は、赤信号を示す領域１０１を含む認識結果領域１０４の大きさがｔｈｒｅＷより大きく、かつ、赤信号を示す領域１０１を含む認識結果領域１０４と画像データの上端との距離ＹがｔｈｒｅＹより小さく、かつ、車両２００の速度データがｔｈｒｅＶ以下であり、かつ、車両２００の加速度データがｔｈｒｅＧより大きい場合、車両２００が赤信号を通過したことを検知する。

次に判定条件３について説明する。判定条件３は矢印信号がある信号機３００の赤信号を、ドライバーが赤信号を無視して通過した車両として判定する判定条件である。

図１１は実施形態の検知処理の例（矢印信号がある場合）を説明するための図である。高さＨ、幅Ｗ及び距離Ｙの説明は、図１０の説明と同じなので省略する。高さＨ１は、矢印信号４０１、４０２及び４０３が表示される周辺領域４００の高さを示す。幅Ｗ１は、矢印信号４０１、４０２及び４０３が表示される周辺領域４００の幅を示す。

信号機３００の信号が赤信号であっても、矢印信号４０１が表示されている場合は、車両２００は左折することができる。信号機３００の信号が赤信号であっても、矢印信号４０２が表示されている場合は、車両２００は直進することができる。信号機３００の信号が赤信号であっても、矢印信号４０３が表示されている場合は、車両２００は右折することができる。図１１の例は、矢印信号４０１及び４０２が表示されている場合なので、信号機３００の信号が赤信号であっても、車両２００は左折又は直進することができる。

したがって危険運転検知部２５は、表１の判定条件３を満たす場合、車両２００が赤信号を通過したことを検知する。すなわち危険運転検知部２５は、赤信号を示す領域１０１を含む認識結果領域１０４の大きさがｔｈｒｅＷより大きく、かつ、赤信号を示す領域１０１を含む認識結果領域１０４と画像データの上端との距離ＹがｔｈｒｅＹより小さく、かつ、車両２００の速度データがｔｈｒｅＶより大きく、かつ、矢印情報が示す矢印信号の向きと、進行方向情報が示す車両２００の進行方向とが一致しない場合、車両２００が赤信号を通過したことを検知する。

また危険運転検知部２５は、表１の判定条件４を満たす場合、車両２００が赤信号を通過したことを検知する。すなわち危険運転検知部２５は、赤信号を示す領域１０１を含む認識結果領域１０４の大きさがｔｈｒｅＷより大きく、かつ、赤信号を示す領域１０１を含む認識結果領域１０４と画像データの上端との距離ＹがｔｈｒｅＹより小さく、かつ、車両２００の速度データがｔｈｒｅＶ以下であり、かつ、車両２００の加速度データがｔｈｒｅＧより大きく、かつ、矢印信号の向きと車両２００の進行方向とが一致しない場合、車両２００が赤信号を通過したことを検知する。

なお上述の説明では、距離Ｙを、赤信号を示す領域１０１を含む認識結果領域１０４と画像データの上端との距離としたが、画像データの端として、画像データの下端、右端及び左端等を利用して距離Ｙを決定してもよい。

また上述の説明では、赤信号を示す領域１０１を含む認識結果領域１０４の大きさを幅Ｗにより判定する場合について説明したが、高さＨ等により、赤信号を示す領域１０１を含む認識結果領域１０４の大きさを判定してもよい。

図２に戻り、危険運転検知部２５は、赤信号を通過する危険運転を検知した場合、赤信号を通過する危険運転を検知したことを示す検知情報を通信部３０に入力する。

通信部３０は、危険運転検知部２５から上述の検知情報を受け付けると、当該検知情報を他の装置に送信する。他の装置は、車両２００のスピーカー、及び、ネットワークを介して接続されたサーバ装置等である。車両２００のスピーカーは、検知情報を受信すると、例えば当該検知情報に基づく警告音を出力する。またサーバ装置は、検知情報を受信すると、例えばドライバーの運転習慣を示す情報として、ドライバー毎に当該検知情報を記憶する。

次に実施形態の検知方法の例について説明する。

図１２は実施形態の検知方法の概略を示すフローチャートである。はじめに、認識部２３が、カメラ１０により取得された画像データを、インタフェース部２２から受け付ける（ステップＳ１）。

次に、認識部２３が信号認識処理を行う（ステップＳ２）。信号認識処理の説明は、図１３を参照して後述する。

次に、危険運転検知部２５が危険運転検知処理を行う（ステップＳ３）。危険運転検知処理の説明は、図１４を参照して後述する。

次に、通信部３０が、ステップＳ３の処理で検知された検知情報を、スピーカー及びサーバ装置等の他の装置に送信する。（ステップＳ４）。

次に上述のステップＳ２の信号認識処理について説明する。

図１３は実施形態の信号認識処理の例を示すフローチャートである。はじめに、認識部２３が、赤信号画素の（Ｕ，Ｖ）分布と、（Ｙ，Ｕ，Ｖ）色空間の画像データと、に基づいて、（Ｙ，Ｕ，Ｖ）色空間の画像データから赤信号画素の領域１０２を抽出する抽出処理を行う（ステップＳ１１）。

次に、認識部２３が、赤信号画素の領域１０２を膨張させる上述の膨張処理を行う（ステップＳ１２）。次に、認識部２３が、赤信号を示す領域１０１の形状を認識する上述の形状認識処理を行う（ステップＳ１３）。

次に、認識部２３が、画像データから矢印信号を認識できるか否かを判定する（ステップＳ１４）。矢印信号を認識できる場合（ステップＳ１４、Ｙｅｓ）、認識部２３が、当該矢印信号の向きを示す矢印情報を取得する（ステップＳ１５）。矢印信号を認識できない場合（ステップＳ１４、Ｎｏ）、信号認識処理は終了する。

次に上述のステップＳ３の危険運転検知処理の例について説明する。

図１４は実施形態の危険運転検知処理の例を示すフローチャートである。はじめに、危険運転検知部２５が、インタフェース部２２から速度データ及び加速度データを受け付ける（ステップＳ２１）。次に、危険運転検知部２５が、認識部２３から認識結果情報を受け付ける（ステップＳ２２）。次に、危険運転検知部２５が、進行方向検知部２４から進行方向情報を受け付ける（ステップＳ２３）。

次に、危険運転検知部２５が、信号機３００に矢印信号があるか否かを判定する（ステップＳ２４）。具体的には、危険運転検知部２５は、認識結果情報に矢印情報が含まれているか否かを判定する。

矢印信号がない場合（ステップＳ２４、Ｎｏ）、危険運転検知部２５は、上述の判定条件１（表１参照）を満たすか否かを判定する（ステップＳ２５）。判定条件１を満たす場合（ステップＳ２５、Ｙｅｓ）、車両２００のドライバーが、赤信号を無視して通過した危険運転をしたことを検知する（ステップＳ２９）。

判定条件１を満たさない場合（ステップＳ２５、Ｎｏ）、危険運転検知部２５は、上述の判定条件２（表１参照）を満たすか否かを判定する（ステップＳ２６）。判定条件２を満たす場合（ステップＳ２６、Ｙｅｓ）、車両２００のドライバーが、赤信号を通過した危険運転をしたことを検知する（ステップＳ２９）。判定条件２を満たさない場合（ステップＳ２６、Ｎｏ）、危険運転検知処理は終了する。

矢印信号がある場合（ステップＳ２４、Ｙｅｓ）、危険運転検知部２５は、上述の判定条件３（表１参照）を満たすか否かを判定する（ステップＳ２７）。判定条件３を満たす場合（ステップＳ２７、Ｙｅｓ）、車両２００のドライバーが、赤信号を通過した危険運転をしたことを検知する（ステップＳ２９）。

判定条件３を満たさない場合（ステップＳ２７、Ｎｏ）、危険運転検知部２５は、上述の判定条件４（表１参照）を満たすか否かを判定する（ステップＳ２８）。判定条件４を満たす場合（ステップＳ２８、Ｙｅｓ）、車両２００のドライバーが、赤信号を通過した危険運転をしたことを検知する（ステップＳ２９）。判定条件４を満たさない場合（ステップＳ２８、Ｎｏ）、危険運転検知処理は終了する。

次に実施形態の検知装置１００のハードウェア構成について説明する。

まずカメラ１０のハードウェア構成について説明する。

図１５は実施形態のカメラ１０のハードウェア構成の例を示す図である。実施形態のカメラ１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５はＣＣＤ２０４からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去し、ノイズ成分が除去されたアナログの画像データをＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６はＣＤＳ回路２０５からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６はデジタルの画像データを画像処理回路２０８に入力する。タイミング信号発生器２０７はＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。

画像処理回路２０８はＡ／Ｄ変換器２０６からデジタルの画像データを受け付けると、
ＳＤＲＡＭ２１３を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ＹＣｒＣｂ変換処理は、画像データのデータ形式をＹＣｒＣｂ形式に変換する画像処理である。ホワイトバランス制御処理は、画像データの色の濃さを調整する画像処理である。コントラスト補正処理は、画像データのコントラストを調整する画像処理である。エッジ強調処理は、画像データのシャープネスを調整する処理である。色変換処理は、画像データの色合いを調整する画像処理である。

画像処理回路２０８は上述の画像処理が行われた画像データをＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は画像処理回路２０８から受け付けた画像データを表示する液晶ディスプレイである。

ＣＰＵ２１０はプログラムを実行することによりカメラ１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種データの記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像データを一時的に記憶する記憶領域である。

圧縮伸張回路２１４は画像処理回路２０８から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４は圧縮された画像データをメモリ２１５に記憶する。また圧縮伸張回路２１４はメモリ２１５から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４は伸張された画像データをＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像データを記憶する。

操作部２１６はカメラ１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像データをメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、カメラ１０から画像データを信号処理部２０に送信するためのインタフェースである。

なお上述の図２で説明した信号処理部２０のインタフェース部２２、認識部２３、進行方向検知部２４及び危険運転検知部２５については、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、カメラ１０のＣＰＵ２１０により実行されるソフトウェア（プログラム）により実現してもよい。またインタフェース部２２、認識部２３、進行方向検知部２４及び危険運転検知部２５を、ハードウェアとソフトウェアとを組み合わせて実現してもよい。

実施形態の検知装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

なお実施形態の検知装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の検知装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の検知装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。

なお実施形態の検知装置１００で実行されるプログラムにより、インタフェース部２２、認識部２３、進行方向検知部２４及び危険運転検知部２５等を実現する場合、インタフェース部２２、認識部２３、進行方向検知部２４及び危険運転検知部２５等は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。

また上述の図２で説明した信号処理部２０は、加速度データを車両２００のＣＡＮ等の車載ネットワークから取得できる場合には、加速度センサー２１を備えなくてもよい。

以上説明したように、実施形態の検知装置１００では、カメラ１０が、車両２００の周囲の画像データを取得する。また認識部２３が、画像データから信号機３００の信号を示す領域を認識する。そして危険運転検知部２５が、信号を示す領域の大きさが第１の閾値より大きく、かつ、信号を示す領域と画像データの端との距離が第２の閾値より小さく、かつ、車両２００の速度データが第３の閾値より大きい場合、車両２００が信号を通過したことを検知する。これにより実施形態の検知装置１００によれば、信号を無視した危険運転をより簡易な構成でより高精度に検知することができる。

１０ カメラ
２０ 信号処理部
２１ 加速度センサー
２２ インタフェース部
２３ 認識部
２４ 進行方向検知部
２５ 危険運転検知部
３０ 通信部
１００ 検知装置
１０１ 赤信号を示す領域
１０２ 赤信号画素の領域
１０３ 膨張画素領域
１０４ 認識結果領域
２００ 車両
２０１ 撮影光学系
２０２ メカシャッタ
２０３ モータドライバ
２０４ ＣＣＤ
２０５ ＣＤＳ回路
２０６ Ａ／Ｄ変換器
２０７ タイミング信号発生器
２０８ 画像処理回路
２０９ ＬＣＤ
２１０ ＣＰＵ
２１１ ＲＡＭ
２１２ ＲＯＭ
２１３ ＳＤＲＡＭ
２１４ 圧縮伸張回路
２１５ メモリ
２１６ 操作部
２１７ 出力Ｉ／Ｆ
２２０ バス
３００ 信号機
４００ 周辺領域
４０１ 矢印信号
４０２ 矢印信号
４０３ 矢印信号

特許第５６２７３６９号公報

Claims (8)

1. 車両の周囲の画像データを取得するカメラと、
   前記車両の速度データを取得する速度データ取得部と、
   前記画像データから信号機の信号を示す領域を認識する認識部と、
   前記信号を示す領域の大きさが第１の閾値より大きく、かつ、前記信号を示す領域と前記画像データの端との距離が第２の閾値より小さく、かつ、前記車両の速度データが第３の閾値より大きい場合、前記車両が前記信号を通過したことを検知する第１の検知部と、
   を備える検知装置。
2. 前記第１の検知部は、前記信号を示す領域の大きさが第１の閾値より大きく、かつ、前記信号を示す領域と前記画像データの端との距離が第２の閾値より小さく、かつ、前記車両の速度データが第３の閾値以下であり、かつ、前記車両の加速度データが第４の閾値より大きい場合、前記車両が前記信号を通過したことを検知する、
   請求項１に記載の検知装置。
3. 前記車両の加速度データから前記車両の進行方向を検知する第２の検知部を更に備え、
   前記認識部は、前記信号機の矢印信号を示す領域を更に認識し、
   前記第１の検知部は、前記矢印信号の向きに、前記車両が進行する場合、前記車両が前記信号を通過したことを検知しない、
   請求項１又は２に記載の検知装置。
4. 前記画像データの端は、前記画像データの上端、下端、左端又は右端である、
   請求項１乃至３のいずれか１項に記載の検知装置。
5. 前記車両の加速度データを取得する加速度センサー、
   を更に備える請求項１乃至４のいずれか１項に記載の検知装置。
6. 前記カメラは、（Ｒ，Ｇ，Ｂ）色空間の前記画像データを取得し、
   前記認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画素データを（Ｙ，Ｕ，Ｖ）色空間の画像データに変換し、前記（Ｙ，Ｕ，Ｖ）色空間の画像データと、信号を示す信号画素の（Ｕ，Ｖ）分布と、に基づいて、前記（Ｙ，Ｕ，Ｖ）色空間の画像データから信号画素の領域を抽出し、前記信号画素の領域の各画素を、複数の画素により被覆することにより、前記信号画素の領域を膨張画素領域に膨張させ、前記膨張画素領域内に含まれる円形の画素領域を前記信号を示す領域として認識する、
   請求項１乃至５のいずれか１項に記載の検知装置。
7. 検知装置が、車両の周囲の画像データを取得するステップと、
   検知装置が、前記車両の速度データを取得するステップと、
   検知装置が、前記画像データから信号機の信号を示す領域を認識するステップと、
   検知装置が、前記信号を示す領域の大きさが第１の閾値より大きく、かつ、前記信号を示す領域と前記画像データの端との距離が第２の閾値より小さく、かつ、前記車両の速度データが第３の閾値より大きい場合、前記車両が前記信号を通過したことを検知するステップと、
   を備える検知方法。
8. 車両の周囲の画像データを取得するカメラを備える検知装置を、
   前記車両の速度データを取得する速度データ取得部と、
   前記画像データから信号機の信号を示す領域を認識する認識部と、
   前記信号を示す領域の大きさが第１の閾値より大きく、かつ、前記信号を示す領域と前記画像データの端との距離が第２の閾値より小さく、かつ、前記車両の速度データが第３の閾値より大きい場合、前記車両が前記信号を通過したことを検知する第１の検知部、
   として機能させるためのプログラム。