JP6859659B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

車を運転する場合、ドライバーが赤信号を無視して運転すると危険運転になり、事故が起きる確率が高い。安全運転を支援することを目的として、赤信号を無視した運転を検知し、ドライバーに通知するための様々な技術が知られている。

例えば特許文献１では、道路側に設置された信号機の状態を表す信号機情報を提供する通信機から、信号機情報を受信する装置を車に搭載する。信号機の赤色または黄色の点灯状態を表す信号機情報を受信したら、信号無視の可能性が高い状態か否かを識別し、信号無視の可能性が高い場合、ドライブレコーダの録画を開始させる方法が開示されている。

しかしながら特許文献１に開示された技術では、信号機情報を提供する通信機と通信するための手段を車両に設ける必要があるので、この手段を設けなければ認識性能が著しく低下するという問題がある。

本発明は、上記に鑑みてなされたものであって、特殊な構成を追加することなく赤信号を無視した運転か否かを高精度に認識することが可能な情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、車両に搭載された撮影装置により撮影された撮影画像を取得する取得部と、前記取得部により取得された前記撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する信号領域認識部と、前記車両の加速度を示す加速度情報を取得する加速度情報取得部と、前記加速度情報取得部により取得された前記加速度情報と、前記信号領域認識部により認識された前記赤信号領域と、前記車両が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、前記車両が赤信号を無視した運転を行っているか否かを判断する判断部と、を備え、前記赤信号無視識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して作成された、赤信号無視に対応する特徴量データと、赤信号無視ではない状態に対応する特徴量データとの分離面を示す評価関数である情報処理装置である。

本発明によれば、特殊な構成を追加することなく赤信号を無視した運転か否かを高精度に認識することができる。

図１は、情報処理装置の一例の説明図である。 図２は、実施形態の情報処理装置が有する機能の一例を示す図である。 図３は、横方向に配置される信号機の赤信号を示す赤信号領域を示す図である。 図４は、信号領域認識部の認識結果の一例を示す図である。 図５は、学習データの一例を示す図である。 図６は、予め赤信号無視識別情報を作成する場合において集められた２次元の特徴量データの分布を示す図である。 図７は、画素値の（Ｕ，Ｖ）空間での閾値処理で抽出した赤信号の画素例を示す図である。 図８は、膨張領域の一例を示す図である。 図９は、Ｈｏｕｇｈ変換により抽出した赤信号の円領域を示す図である。 図１０は、赤信号領域決定部によって決定された赤信号領域を示す図である。 図１１は、認識処理部の動作例を示すフローチャートである。 図１２は、撮影装置のハードウェア構成の一例を示す図である。 図１３は、情報処理装置のハードウェア構成例を示すブロック図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施の形態の情報処理装置１０の一例の説明図である。情報処理装置１０は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両２０である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置１０を車両２０に搭載した形態を一例として説明する。

車両２０には、撮影装置１２が搭載されている。撮影装置１２は、車両２０の周辺を撮影した撮影画像を得る。撮影装置１２は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影装置１２は、車両２０の周辺を連続して撮影することで、複数の撮影画像（すなわち、複数のフレーム）を撮影する。なお、撮影装置１２は、情報処理装置１０と一体的に構成してもよいし、情報処理装置１０と別体として構成してもよい。

また、撮影装置１２は、車両２０に搭載した形態に限定されない。撮影装置１２は、信号機３０を撮影可能な位置に設置されていればよく、地面に対して固定されていてもよい。なお、本実施の形態の情報処理装置１０で検知した検知結果を、車両２０の運転者の運転支援などに用いる場合には、撮影装置１２は、車両２０に搭載した形態であることが好ましい。

本実施形態では、撮影装置１２は、オートゲインコントロール（ＡＧＣ）機能を搭載している。このため、撮影装置１２は、感度を自動調整し、撮影画像の全画面の明るさが最適となるように自動調整した撮影画像を得る。

情報処理装置１０は、撮影画像を解析する。そして、情報処理装置１０は、撮影画像に含まれる信号機３０を検出する。

次に、情報処理装置１０が有する機能の一例を説明する。図２は、情報処理装置１０が有する機能の一例を示すブロック図である。説明の便宜上、ここでは、本実施形態に関する機能を主に例示しているが、情報処理装置１０が有する機能はこれらに限られるものではない。

情報処理装置１０は、インタフェース部１４と、認識処理部１６と、記憶部１８と、を備える。インタフェース部１４および記憶部１８は、認識処理部１６に電気的に接続されている。

インタフェース部１４は、撮影装置１２から撮影画像を受付ける。撮影装置１２は、車両２０の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像（この例ではカラー画像）の各々を、撮影順に順次、インタフェース部１４へ出力する。インタフェース部１４は、撮影装置１２から撮影画像を順次受け付け、受け付けた順に、認識処理部１６へ順次出力する。

また、インタフェース部１４は、撮影装置１２付近に設置される加速度センサー１３から、車両２０の加速度を示す加速度情報の入力を受け付け、その受け付けた加速度情報を認識処理部１６へ出力する。また、インタフェース部１４は、車両２０の速度を示す速度情報を入力する車情報入力部１５から速度情報の入力を受け付け、その受け付けた速度情報を認識処理部１６へ出力する。さらに、インタフェース部１４は、国や地域などの所在位置情報（自装置が所在する位置を示す位置情報）を入力する外部情報入力部１７（例えばＧＰＳ装置）から位置情報の入力を受け付け、その受け付けた位置情報を認識処理部１６へ出力する。

記憶部１８は、各種データを記憶する。本実施の形態では、記憶部１８は、信号無視識別辞書ＤＢ１８０を有し、信号無視識別辞書ＤＢ１８０は信号無視識別辞書を保持する。詳細については後述する。

認識処理部１６は、撮影画像、加速度情報、速度情報、位置情報を用いた解析を行って、車両２０が赤信号を無視した運転を行っているか否かを認識（判断）する。撮影装置１２のオートゲインは、全画面の明るさが最適になるように自動的に調整される。図２に示すように、認識処理部１６は、画像取得部１０１と、信号領域認識部１０２と、速度情報取得部１０３と、加速度情報取得部１０４と、判断部１０５と、位置情報取得部１０６と、選択部１０７と、出力部１０８と、を含む。

画像取得部１０１、信号領域認識部１０２、速度情報取得部１０３、加速度情報取得部１０４、判断部１０５、位置情報取得部１０６、選択部１０７、出力部１０８の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

画像取得部１０１は、「取得部」の一例であり、撮影画像を取得する。この例では、画像取得部１０１は、インタフェース部１４から順次に入力される撮影画像（動画像）を取得する。

信号領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する。この例では、信号領域認識部１０２は、候補領域認識部１１１と、信号形状認識部１１２と、赤信号領域決定部１１３と、を含む。赤信号領域の具体的な認識方法については後述するが、赤信号領域決定部１１３は、候補領域認識部１１１の認識結果と、信号形状認識部１１２の認識結果とを受けて、赤信号領域を決定する。図３は、横方向に配置される信号機の赤信号を示す赤信号領域を示す図である。なお、国や地域によって信号機の形は異なる。図３は、日本における信号機の例を示す図である。

図４は、信号領域認識部１０２の認識結果の一例を示す図である。画像の原点は撮影画像（入力画像）の左上の点Ｏとする。左右方向の横軸はｘで、下向きの縦軸はｙとする。ここでは、赤信号領域の認識結果は、点灯する信号を囲む矩形の領域で表される。赤信号領域の具体的な認識方法については後述する。また、ここでは、認識された矩形領域の左上の座標Ｐ（Ｘ，Ｙ）が赤信号領域の認識結果として出力される。Ｙは、画面の一番上から、認識された矩形領域の左上の点Ｐまでの距離を示す。このＹは、赤信号無視を認識するための一つの特徴量となる。Ｘは、画面の一番左から、認識された矩形領域の左上の点Ｐまでの距離を示す。このＸも、赤信号無視を認識するための一つの特徴量となる。また、ここでは、認識された矩形領域の幅をＷ、高さをＨとする。説明の便宜上、矩形領域はＷ＝Ｈの正方形とする。

図２に戻って説明を続ける。速度情報取得部１０３は、車両２０の速度を示す速度情報Ｖを取得する。加速度情報取得部１０４は、車両２０の加速度を示す加速度情報を取得する。加速度情報には、車両２０の進行方向の加速度を示す第１の加速度情報ＡｃｃＺと、車両２０の進行方向に交差する方向（横方向）の加速度を示す第２の加速度情報ＡｃｃＸと、が含まれる。

判断部１０５は、速度情報取得部１０３により取得された速度情報または加速度情報取得部１０４により取得された加速度情報と、信号領域認識部１０２により認識された赤信号領域と、車両２０が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、車両２０が赤信号を無視した運転を行っているか否かを判断する。赤信号無視識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される。より具体的には、赤信号無視識別情報は、赤信号無視に対応する特徴量データと、赤信号無視ではない状態に対応する特徴量データとの分離面を示す評価関数である。

特徴量データは、赤信号無視を検出するための特徴量であり、その次元数は任意に変更可能である。この例では、特徴量データは、撮影画像における赤信号領域の左右方向の位置を示す第１の位置情報Ｘ、上下方向の位置を示す第２の位置情報Ｙ、赤信号領域の幅を示す情報Ｗ、速度情報Ｖ、第１の加速度情報ＡｃｃＺ、第２の加速度情報ＡｃｃＸを含む６次元のベクトルデータで表される。以下の説明では、特徴量データは（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）と表記する。赤信号無視が発生するとき、特徴量データに含まれるパラメータ（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）で特徴が現れる。例えば図５の学習データに示すように、赤信号無視が発生する場合、赤信号前の停止線を超えるため、信号機と車両２０との距離が小さく、赤信号領域の幅（サイズ）が比較的に大きくなる。また、赤信号無視が発生する場合、車両２０の速度も比較的に大きい。また、赤信号無視が発生する場合において、車両２０の速度が大きくない場合、進行方向の加速度（第１の加速度情報ＡｃｃＺ）が大きい場合がある。また、車両２０が右折または左折した後に信号機が現れるが、赤信号無視ではない。このとき、横方向の加速度（第２の加速度情報ＡｃｃＸ）の絶対値が大きい。

ここでは、赤信号無視が発生したときのＸ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺのデータ、および、右折や左折、停止線に未到達であって、かつ、赤信号無視が発生していないときのＸ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺのデータを予め記録しておき、学習データとして扱う。

説明の便宜上、赤信号を無視した運転を行っているか否かを検出するための特徴量データは２次元のベクトルデータとして説明する。例えば特徴量データは、速度情報Ｖまたは加速度情報（第１の加速度情報ＡｃｃＺ、第２の加速度情報ＡｃｃＸ）と、赤信号領域の幅を示す情報Ｗと、を含む２次元のベクトルデータで表すこともできる。一例として、特徴量データは、横方向の加速度を示す第２の加速度情報ＡｃｃＸと、赤信号領域の幅を示す情報Ｗと、を含む２次元のベクトルデータで表すことができる。図６は、予め赤信号無視識別情報を作成する場合において集められた２次元の特徴量データの分布を示す図である。図６の例では、赤信号無視に対応する特徴量データは、横方向の加速度を示す第２の加速度情報ＡｃｃＸは小さい値を示し、赤信号領域の幅を示す情報Ｗは大きい値を示し、左上の白い矩形の集合で表される。赤信号無視ではない状態に対応する特徴量データは、横方向の加速度を示す第２の加速度情報ＡｃｃＸは大きい値を示し、赤信号領域の幅を示す情報Ｗは小さい値を示し、右下の黒円の集合で表される。

なお、２次元の特徴量データはこれに限られるものではなく、例えば特徴量データは、車両２０の進行方向の加速度を示す第１の加速度情報ＡｃｃＺと、赤信号領域の幅を示す情報Ｗと、を含む２次元のベクトルデータで表すこともできるし、速度情報Ｖと、赤信号領域の幅を示す情報Ｗと、を含む２次元のベクトルデータで表すこともできる。

ここでは、判断部１０５は、赤信号無視に対応する特徴量データの集合（正解データの集合）と、赤信号無視ではない状態に対応する特徴量データの集合とを分離する分離面を、マージンｄが最大となるように配置する。そして、判断部１０５は、この分離面（図６の例では直線Ｌ）を示す評価関数を、赤信号無視識別辞書ＤＢ１８０として予め算出（学習により算出）しておくことができる。なお、この例では、評価関数を算出する主体は判断部１０５であるとして説明したが、これに限らず、評価関数を算出する主体は判断部１０５以外の他の機能であってもよい。

上記評価関数は、例えば以下の式（１）のような線形識別関数で表されるが、これに限らず、他の非線形識別関数であってもよい。以下の式（１）におけるｋ_１，ｋ_２は評価関数の係数である。ここでは、この評価関数が「赤信号無視識別情報」に対応する。

判断部１０５は、信号領域認識部１０２により認識された赤信号領域の幅を示す情報Ｗと、加速度情報取得部１０４により取得された第２の加速度情報ＡｃｃＸと、を上記評価関数に代入して、評価関数ｆ（Ｗ，ＡｃｃＸ）の値を算出する。そして、算出した評価関数ｆ（Ｗ，ＡｃｃＸ）の値が予め定めた閾値よりも大きい場合は、判断部１０５は、車両２０が赤信号を無視した運転を行っていると判断（赤信号無視の発生を検出）する。一方、算出した評価関数ｆ（Ｗ，ＡｃｃＸ）の値が予め定めた閾値以下の場合は、判断部１０５は、車両２０が赤信号を無視した運転を行っていないと判断する。

より具体的には、赤信号を無視した運転を行っているか否かを検出するための特徴量データの次元数は６次元であり、特徴量データは、前述の第１の位置情報Ｘ、前述の第２の位置情報Ｙ、赤信号領域の幅を示す情報Ｗ、速度情報Ｖ、前述の第１の加速度情報ＡｃｃＺ、前述の第２の加速度情報ＡｃｃＸを含む６次元のベクトルデータで表される。この場合、赤信号無視に対応する特徴量データの集合（正解データの集合）と、赤信号無視ではない状態に対応する特徴量データの集合とを分離する分離面を示す評価関数ｆ（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）は、以下の式（２）で表される。

判断部１０５は、速度情報取得部１０３により取得された速度情報Ｖ、加速度情報取得部１０４により取得された第１の加速度情報ＡｃｃＺおよび第２の加速度情報ＡｃｃＸ、信号領域認識部１０２により認識された赤信号領域の幅を示す情報Ｗ、信号領域認識部１０２により認識された赤信号領域の第１の位置情報Ｘおよび第２の位置情報Ｙを上記評価関数に代入して、評価関数ｆ（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）の値を算出する。そして、算出した評価関数ｆ（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）の値が閾値よりも大きい場合は、車両２０が赤信号を無視した運転を行っていると判断する。一方、算出した評価関数ｆ（Ｘ，Ｙ，Ｗ，Ｖ，ＡｃｃＸ，ＡｃｃＺ）の値が閾値以下であれば、判断部１０５は、車両２０が赤信号を無視した運転を行っていると判断する。

ここでは、国または地域ごとに、事前学習により評価関数を作成しておき、赤信号無視識別辞書ＤＢ１８０に格納しておく。判断部１０５は、後述の選択部１０７により選択された評価関数と、赤信号を無視した運転を行っているか否かを検出するための特徴量データとに基づいて、車両２０が赤信号を無視した運転を行っているか否かを判断する。

出力部１０８は、判断部１０５による判断結果を出力する。つまり、車両２０が赤信号を無視した運転を行っているか否かの認識結果を出力する。

図２に戻り、認識処理部１６が有する機能の説明を続ける。位置情報取得部１０６は、自装置の位置情報を取得する。位置情報取得部１０６は、取得した位置情報を選択部１０７へ出力する。

選択部１０７は、位置情報取得部１０６により取得された位置情報（国または地域を特定可能）に対応する赤信号無視識別情報を選択する。

次に、信号領域認識部１０２による赤信号領域の認識方法について説明する。信号領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、赤信号の信号色を示す赤信号画素を含む赤信号画素領域を抽出し、その抽出した赤信号画素領域を膨張した膨張領域に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を赤信号領域として認識する。より具体的には、信号領域認識部１０２は、膨張領域に円形の定型領域が含まれる場合、該定型領域を含む領域を赤信号領域として認識する。

信号領域認識部１０２は、候補領域認識部１１１と、信号形状認識部１１２と、赤信号領域決定部１１３とを含む。候補領域認識部１１１は、画像取得部１０１により取得された撮影画像のうち、赤信号の信号色を示す赤信号画素を含む赤信号画素領域を候補領域として抽出（認識）する。信号形状認識部１１２は、候補領域認識部１１１により認識された候補領域を膨張した膨張領域に予め定めた形状の定型領域が含まれるか否かを認識する。赤信号領域決定部１１３は、候補領域認識部１１１による認識結果と、信号形状認識部１１２による認識結果とに基づいて、赤信号領域を決定する。以下、具体的な内容を説明する。

画像取得部１０１により取得された撮影画像が（Ｒ，Ｇ，Ｂ）色空間の画像データである場合、候補領域認識部１１１は、画像取得部１０１により取得されたＲＧＢ色空間の撮影画像（入力画像）を、（Ｙ，Ｕ，Ｖ）色空間の画像データに変更し、赤信号画素を抽出する。ここで、（Ｒ，Ｇ，Ｂ）の色空間と（Ｙ，Ｕ，Ｖ）の色空間との変換は以下の式（３）により行われる。

この例では、撮影装置１２によって予め信号機の信号を撮影して得られる撮影画像（「信号画像サンプル」と称する）を集めた学習により、赤信号の色値の範囲を示す赤信号認識辞書を予め作成しておく。例えば赤信号を示す（Ｕ，Ｖ）値分布と、赤信号以外の（Ｕ，Ｖ）値分布とを分離する分離面を、両者の間のマージン（距離）が最大になるように配置する。そして、その分離面を示す評価関数を、赤信号を認識するための赤信号認識辞書として算出することができる。以下の式（４）は、評価関数を表す式である。式（４）において、ｆ（Ｕ，Ｖ）は、赤信号認識辞書を示す評価関数であり、ａ，ｂ，ｃは、この評価関数の係数である。

候補領域認識部１１１は、（Ｙ，Ｕ，Ｖ）色空間の撮影画像を構成する画素ごとに、該画素の（Ｕ，Ｖ）値を、赤信号に対応する評価関数ｆ（Ｕ，Ｖ）に代入して、該評価関数ｆ（Ｕ，Ｖ）の値を求める。算出した評価関数ｆ（Ｕ，Ｖ）の値が、予め定めた閾値以上であれば、その画素は、赤信号画素であると判断する。例えば最小値の閾値と最大値の閾値とを設けて赤信号画素を抽出してもよい。また、赤信号画素以外の画素の（Ｕ，Ｖ）値と重ならないように閾値を設定する。

図７は、画素値の（Ｕ，Ｖ）空間での閾値処理で抽出した赤信号の画素例を示す図である。図７の画像中の赤信号画素を含む赤信号画素領域では、飽和した画素、ノイズ画素が含まれるので、抽出した赤信号画素領域は、赤信号を示す実際の領域の一部しかない。そこで、候補領域認識部１１１は、抽出した赤信号画素に対して、膨張処理を行う。膨張処理は、１画素に対して、オリジナルの信号画像からＮ×Ｎの画素ブロックを加える。例えばＮ＝７のとき、膨張対象の１画素に対して、オリジナルの信号画像から、７×７の画素ブロックを加える。図８は、図７の赤信号画素領域を膨張処理した後の画像例を示す図である。以下では、膨張処理した後の赤信号画素領域を「膨張領域」と称する。

信号形状認識部１１２は、膨張領域に対して、信号形状認識処理を行う。ここでは、膨張領域に対して、円抽出により、形状認識を行う。円抽出処理はＨｏｕｇｈ変換により円抽出を行うことができる。信号形状認識部１１２により円が抽出された場合、赤信号領域決定部１１３は、その抽出された円領域に外接する矩形を求める。そして、赤信号領域決定部１１３は、この矩形領域を赤信号領域として決定し、該赤信号領域に対応する特徴量（Ｘ，Ｙ，Ｗ）を求めることができる。図９に示す太線で描かれた円は、Ｈｏｕｇｈ変換により抽出した赤信号の円領域を示す。図１０に示す矩形領域は、赤信号領域決定部１１３によって決定された赤信号領域を示す。例えば図４に示す矩形領域は、図３の撮影画像から認識された候補領域（赤信号を示す信号領域）を示す図である。

図１１は、本実施形態の認識処理部１６の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので、詳細な説明は適宜に省略する。図１１に示すように、まず画像取得部１０１は、撮影画像を取得する（ステップＳ１）。次に、信号領域認識部１０２は、ステップＳ１で取得された撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する（ステップＳ２）。

また、速度情報取得部１０３は速度情報Ｖを取得する（ステップＳ３）。また、加速度情報取得部１０４は加速度情報（第１の加速度情報ＡｃｃＺ、第２の加速度情報ＡｃｃＸ）を取得する（ステップＳ４）。なお、ステップＳ１〜ステップＳ４の処理の順番は任意に変更可能であり、図１１の例に限られるものではない。例えばステップＳ１およびステップＳ２の処理、ステップＳ３の処理、ステップＳ４の処理が並列に行われる形態であってもよい。

次に、選択部１０７は、位置情報取得部１０６により取得された位置情報により特定される国または地域に対応する評価関数を選択する（ステップＳ５）。次に、判断部１０５は、ステップＳ２で認識された赤信号領域の第１の位置情報Ｘ、第２の位置情報Ｙ、幅を示す情報Ｗ、ステップＳ３で取得された速度情報Ｖ、ステップＳ４で取得された第１の加速度情報ＡｃｃＺ、第２の加速度情報ＡｃｃＸと、ステップＳ５で選択された評価関数と、に基づいて、車両２０が赤信号を無視した運転を行っているか否かを判断する判断処理を行う（ステップＳ６）。出力部１０８は、ステップＳ６の判断結果を、認識結果として出力する（ステップＳ７）。

以上に説明したように、本実施形態では、速度情報取得部１０３により取得された速度情報Ｖまたは加速度情報取得部１０４により取得された加速度情報（第１の加速度情報ＡｃｃＺ、第２の加速度情報ＡｃｃＸ）と、車両２０が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、車両２０が赤信号を無視した運転を行っているか否かを判断する。本実施形態によれば、信号機情報を提供する通信機と通信するための手段などの特殊な構成を追加することなく、赤信号を無視した運転か否かを高精度に認識することができる。

次に、撮影装置１２のハードウェア構成の一例を説明する。図１２は、撮影装置１２のハードウェア構成の一例を示す図である。

撮影装置１２は、撮影光学系２０１０、メカシャッタ２０２０、モータドライバ２０３０、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４０、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５０、Ａ／Ｄ変換器２０６０、タイミング信号発生器２０７０、画像処理回路２０８０、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１００、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２０、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０を備える。

画像処理回路２０８０、ＣＰＵ２１００、ＲＡＭ２１１０、ＲＯＭ２１２０、ＳＤＲＡＭ２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０は、バス２２００を介して接続されている。

撮影光学系２０１０は、被写体の反射光を集光する。メカシャッタ２０２０は、所定の時間、開くことにより、撮影光学系２０１０により集光された光をＣＣＤ２０４０に入射させる。モータドライバ２０３０は、撮影光学系２０１０およびメカシャッタ２０２０を駆動する。

ＣＣＤ２０４０は、メカシャッタ２０２０を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５０に入力する。

ＣＤＳ回路２０５０は、ＣＣＤ２０４０からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去する。また、ＣＤＳ回路２０５０は、相関二重サンプリングやゲインコントロールなどのアナログ処理を行う。そして、ＣＤＳ回路２０５０は、処理後のアナログの画像データを、Ａ／Ｄ変換器２０６０へ出力する。

Ａ／Ｄ変換器２０６０は、ＣＤＳ回路２０５０からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６０はデジタルの画像データを画像処理回路２０８０に入力する。タイミング信号発生器２０７０はＣＰＵ２１００からの制御信号に応じて、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０にタイミング信号を送信することにより、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０の動作タイミングを制御する。

画像処理回路２０８０は、Ａ／Ｄ変換器２０６０からデジタルの画像データを受け付けると、ＳＤＲＡＭ２１３０を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、および、色変換処理等である。

画像処理回路２０８０は上述の画像処理が行われた画像データをＬＣＤ２０９０、または、圧縮伸張回路２１４０に出力する。ＬＣＤ２０９０は画像処理回路２０８０から受け付けた画像データを表示する液晶ディスプレイである。

圧縮伸張回路２１４０は、画像処理回路２０８０から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４０は圧縮された画像データを、メモリ２１５０に記憶する。また、圧縮伸張回路２１４０はメモリ２１５０から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４０は伸張された画像データをＳＤＲＡＭ２１３０に一時的に記憶する。メモリ２１５０は圧縮された画像データを記憶する。

出力Ｉ／Ｆ２１７０は、画像処理回路２０８０で処理された画像データを、撮影画像として、情報処理装置１０へ出力する。

なお上述の図２で説明したインタフェース部１４、および認識処理部１６に含まれる機能部の少なくとも一部を、信号処理ボード（信号処理回路）として撮影装置１２に実装してもよい。

次に、上記実施の形態の、情報処理装置１０のハードウェア構成を説明する。図１３は、上記実施形態の情報処理装置１０のハードウェア構成例を示すブロック図である。

上記実施形態の情報処理装置１０は、出力部８０、Ｉ／Ｆ部８２、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、上記実施形態の情報処理装置１０で実行する処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部１８に格納されるデータを記憶する。Ｉ／Ｆ部８２は、他の装置との間でデータを送受信するためのインタフェースである。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、上記実施形態の情報処理装置１０で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、上記実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の情報処理装置１０における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とＣＰＵ８６とを、ネットワーク等を介して接続した構成とすればよい。

１０ 情報処理装置
１４ インタフェース部
１６ 認識処理部
１８ 記憶部
１０１ 画像取得部
１０２ 信号領域認識部
１０３ 速度情報取得部
１０４ 加速度情報取得部
１０５ 判断部
１０６ 位置情報取得部
１０７ 選択部
１０８ 出力部

特開２０１２−０６９０５１号公報

Claims (6)

1. 車両に搭載された撮影装置により撮影された撮影画像を取得する取得部と、
   前記取得部により取得された前記撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する信号領域認識部と、
   前記車両の加速度を示す加速度情報を取得する加速度情報取得部と、
   前記加速度情報取得部により取得された前記加速度情報と、前記信号領域認識部により認識された前記赤信号領域と、前記車両が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、前記車両が赤信号を無視した運転を行っているか否かを判断する判断部と、を備え、
   前記赤信号無視識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して作成された、赤信号無視に対応する特徴量データと、赤信号無視ではない状態に対応する特徴量データとの分離面を示す評価関数である、
   情報処理装置。
2. 前記車両の速度を示す速度情報を取得する速度情報取得部をさらに備え、
   前記特徴量データは、前記速度情報または前記加速度情報と、前記赤信号領域の幅を示す情報と、を含む２次元のベクトルデータで表され、
   前記判断部は、前記速度情報取得部により取得された前記速度情報または前記加速度情報により取得された前記加速度情報と、前記信号領域認識部により認識された前記赤信号領域の幅に対応する前記撮影画像上の距離を示す情報と、を前記評価関数に代入して得られた値が閾値より大きい場合は、前記車両が赤信号を無視した運転を行っていると判断する、
   請求項１に記載の情報処理装置。
3. 前記車両の速度を示す速度情報を取得する速度情報取得部をさらに備え、
   前記特徴量データは、前記撮影画像における前記赤信号領域の左右方向の位置を示す第１の位置情報、上下方向の位置を示す第２の位置情報、前記赤信号領域の幅を示す情報、前記速度情報、前記車両の進行方向の加速度を示す第１の加速度情報、前記車両の進行方向と交差する方向の加速度を示す第２の加速度情報を含む６次元のベクトルデータで表され、
   前記判断部は、前記速度情報取得部により取得された前記速度情報、前記加速度情報取得部により取得された前記第１の加速度情報および前記第２の加速度情報、前記信号領域認識部により認識された前記赤信号領域の幅に対応する前記撮影画像上の距離を示す情報、前記信号領域認識部により認識された前記赤信号領域の前記第１の位置情報および前記第２の位置情報を前記評価関数に代入して得られた値が閾値よりも大きい場合は、前記車両が赤信号を無視した運転を行っていると判断する、
   請求項１に記載の情報処理装置。
4. 前記赤信号無視識別情報は、国または地域ごとに予め定められ、
   位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された位置情報に対応する前記赤信号無視識別情報を選択する選択部と、をさらに備える、
   請求項１乃至３のうちの何れか１項に記載の情報処理装置。
5. 情報処理装置による情報処理方法であって、
   車両に搭載された撮影装置により撮影された撮影画像を取得する取得ステップと、
   前記取得ステップにより取得された前記撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する信号領域認識ステップと、
   前記車両の加速度を示す加速度情報を取得する加速度情報取得ステップと、
   前記加速度情報取得ステップにより取得された前記加速度情報と、前記信号領域認識ステップにより認識された前記赤信号領域と、前記車両が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、前記車両が赤信号を無視した運転を行っているか否かを判断する判断ステップと、を含み、
   前記赤信号無視識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して作成された、赤信号無視に対応する特徴量データと、赤信号無視ではない状態に対応する特徴量データとの分離面を示す評価関数である、
   情報処理方法。
6. コンピュータに、
   車両に搭載された撮影装置により撮影された撮影画像を取得する取得ステップと、
   前記取得ステップにより取得された前記撮影画像のうち、信号機の赤信号を示す赤信号領域を認識する信号領域認識ステップと、
   前記車両の加速度を示す加速度情報を取得する加速度情報取得ステップと、
   前記加速度情報取得ステップにより取得された前記加速度情報と、前記信号領域認識ステップにより認識された前記赤信号領域と、前記車両が赤信号を無視した運転を行っていることを識別するために予め定められた赤信号無視識別情報と、に基づいて、前記車両が赤信号を無視した運転を行っているか否かを判断する判断ステップと、を実行させるためのプログラムであって、
   前記赤信号無視識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して作成された、赤信号無視に対応する特徴量データと、赤信号無視ではない状態に対応する特徴量データとの分離面を示す評価関数である、
   プログラム。

Images