JP3646795B2 - 交差点信号案内補助システム - Google Patents
交差点信号案内補助システム Download PDFInfo
- Publication number
- JP3646795B2 JP3646795B2 JP2002056180A JP2002056180A JP3646795B2 JP 3646795 B2 JP3646795 B2 JP 3646795B2 JP 2002056180 A JP2002056180 A JP 2002056180A JP 2002056180 A JP2002056180 A JP 2002056180A JP 3646795 B2 JP3646795 B2 JP 3646795B2
- Authority
- JP
- Japan
- Prior art keywords
- display area
- data
- signal display
- signal
- traffic light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、交差点で信号機の音声案内を行うための交差点信号案内補助システムに関する。
【０００２】
【従来の技術】
現在、交差点における信号機の音声案内は、視覚障害者に対する横断支援を目的として行われている。現在の音声放送装置は、信号制御装置からの指示にしたがって音声案内を流している。音声案内を流すタイミングは、信号機を青に切り替えるのと同時ではなく、信号機を青に切り替えてから一定のタイムラグを置いた後のタイミングとなる。視覚障害者はこの音声案内放送により信号機が青であることを認知する。
【０００３】
一方、視覚に障害を持たない健常者は、音声案内は聞かず、信号機の色を見て青であることを認知する。そのため、何らかの障害により信号機の制御に失敗した場合でも信号機の色に従う。例えば、十字路交差点においては、進行方向の信号機の色と進行方向と垂直に交わる方向の信号機の色とを見比べて判断を行う。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の交差点における音声案内においては、信号機の表示に障害が発生した場合の対策がとられていないために、音声案内放送の内容と信号機の色とがミスマッチになる場合がある。
【０００５】
この場合、視覚障害者は信号機の色ではなく、優先的に音声案内で信号機の状態を判断してしまうため、視覚障害者の行動と健常者の行動とが正反対になることが考えられ、視覚障害者を巻き込んだ事故が発生する可能性がある。
【０００６】
そこで本発明の目的は、信号機の点灯状態（色）に応じた音声案内放送を流すことができる交差点信号案内補助システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明の交差点信号案内補助システムは、交差点で信号機の音声案内を行うための交差点信号案内補助システムにおいて、前記信号機を撮影する撮影手段と、前記撮影手段にて撮影された前記信号機の映像に基づいて前記信号機の点灯状態を検知し、同一の点灯状態が一定期間継続している場合に、前記信号機の点灯状態の検知結果を画像認識情報として出力するデータ処理手段と、前記信号機を制御するための信号制御情報を予め記憶するとともに、前記データ処理手段から出力された前記画像認識情報を受信した場合に、当該画像認識情報と前記信号制御情報とをマッチングさせた音声起動命令を作成して出力する信号制御手段と、前記信号制御手段から出力された前記音声起動命令にしたがって音声案内放送を行う音声放送手段と、を有することを特徴とするものである。
【０００８】
それにより、信号機の点灯状態に応じた音声案内放送を流すことが可能となる。
【０００９】
また、前記交差点の対角位置にそれぞれ設置されて表示方向が互いに垂直に交わる２つの信号機のうち、一方の信号機を映すように当該一方の信号機と正対して設置された第１の鏡と、前記２つの信号機のうち他方の信号機を映すように当該他方の信号機と正対するとともに前記第１の鏡と隣接かつ垂直に設置された第２の鏡とをさらに有し、前記撮影手段は、前記第１の鏡と前記第２の鏡とが作る直角二等分線の延長線上に設置されており、前記第１の鏡および前記第２の鏡が映す前記２つの信号機の映像を同時に撮影することとしても良い。
【００１０】
このような構成とした場合、１台の撮影手段により、２台の信号機の点灯状態を認識することが可能となる。
【００１１】
また、前記交差点信号案内補助システムが適用される環境に応じて、前記交差点信号案内補助システムの設定または設定変更を行う際に使用される個別環境データを記憶する記憶手段をさらに有することとしても良い。
【００１２】
このような構成とした場合、本システムが適用される環境に応じて、個別環境データに設定された数値で本システムの設定変更を行うことが可能となる。
【００１３】
また、前記データ処理手段は、前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、前記記憶手段に記憶された前記個別環境データに基づいて、前記映像取得手段にて取得した前記静止画イメージデータのエッジを検出するエッジ検出手段と、前記個別環境データに基づいて、前記エッジ検出手段にてエッジが検出された前記静止画イメージデータのコントラストを強調するスケーリング手段と、前記個別環境データに基づいて、前記スケーリング手段にてコントラストが強調された前記静止画イメージデータから、前記信号機の赤信号表示領域および青信号表示領域における検知対象領域を特定する領域抽出手段と、前記個別環境データに基づいて、前記領域抽出手段にて特定された前記検知対象領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有することとしても良い。
【００１４】
また、前記データ処理手段は、前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した前記静止画イメージデータにおける前記信号機の赤信号表示領域および青信号表示領域の中から、予め決められている１つ以上の小領域を抽出する特徴点抽出手段と、前記記憶手段に記憶された前記個別環境データに基づいて、前記特徴点抽出手段にて抽出された前記小領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有することとしても良い。
【００１５】
また、前記信号制御手段は、前記信号制御情報を予め記憶する信号制御情報格納手段と、前記データ処理装置からの前記画像認識情報を受信した場合、当該画像認識情報と前記信号制御情報格納手段に格納されている前記信号制御情報とをマッチングさせた前記音声起動命令を生成して出力するマッチング処理手段と、前記マッチング処理手段から出力された前記音声起動命令を前記音声放送手段に送信する音声起動命令送信処理手段とを有することとしても良い。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施形態による交差点信号案内補助システムの設置例を示す図である。また、図２は、本発明の第１の実施形態による交差点信号案内補助システムのブロック図である。
【００１８】
図１を参照すると、本発明の第１の実施形態による交差点信号案内補助システムは、信号機１を映すように信号機１と正対して設置された鏡Ｍ１と、信号機２を映すように信号機２と正対するとともに鏡Ｍ１と隣接かつ垂直に設置された鏡Ｍ２と、鏡Ｍ１と鏡Ｍ２とが作る直角二等分線の延長線上に設置され、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影するカメラ１０とを有している。
【００１９】
図２を参照すると、本発明の第１の実施形態による交差点信号案内補助システムは、上述した鏡Ｍ１，Ｍ２およびカメラ１０の他、カメラケーブルや画像入力ボード等である映像入力装置２０と、電子計算機等であるデータ処理装置３０と、記憶装置４０と、信号制御装置５０と、スピーカー等である音声放送装置６０とを有している。
【００２０】
カメラ１０は、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影し、その映像を映像入力装置２０に常時送信する。
【００２１】
記憶装置４０は、本システムが適用される環境に応じて、本システムの設定や設定変更を行う際に使用される個別環境データ４１を予め記憶している。なお、個別環境データ４１には、データ処理装置３０の内部で使用される各種のデータが設定されている。
【００２２】
データ処理装置３０は、記憶装置４０に記憶された個別環境データ４１およびカメラ１０で撮影された映像に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の４つの領域の点灯状態を検知する。そして、同一の点灯状態が一定期間継続している場合に、上記４つの領域の点灯状態の検知結果を画像認識情報３８として信号制御装置５０に送信する。このデータ処理装置３０は、上記動作を実行するために、映像取得部３１と、エッジ検出部３２と、スケーリング処理部３３と、領域検出部３４と、グレイ値抽出処理部３５と、状態判定処理部３６と、画像認識情報送信処理部３７とを有している。
【００２３】
映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得する。
【００２４】
エッジ検出部３２は、個別環境データ４１に設定されているエッジ検出方法およびエッジのしきい値に基づいて、映像取得部３１で取得した静止画イメージデータのエッジ（＝急激な濃淡変化がある部分）を検出する。なお、個別環境データ４１には、差分型エッジ検出オペレータ、テンプレート型エッジ検出オペレータ、零交差法、パーセンタイルフィルタ等のエッジ検出方法が設定されている。エッジ検出部３２は、上記のエッジ検出方法の中から最適な方法を用いて、静止画イメージデータのエッジを検出する。
【００２５】
スケーリング処理部３３は、静止画イメージデータ中の信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域（人型の白い領域）のグレイ値を、個別環境データ４１に設定された数値に基づきゲイン倍して上記非検知対象領域のレンジを大きくする。それにより、エッジ検出部３２で検出されたエッジを強調して、静止画イメージデータのコントラストを強調する。
【００２６】
領域検出部３４は、スケーリング処理部３３でコントラストが強調された静止画イメージデータのグレイ値の中から、個別環境データ４１に非検知対象領域のデータとして設定されている数値の範囲に収まるグレイ値を持つビットを検出することにより、信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域を特定する。そして、信号機１，２の赤信号表示領域・青信号表示領域から上記で特定した非検知対象領域を減じることで、信号機１，２の赤信号表示領域・青信号表示領域における検知対象領域を特定する。
【００２７】
グレイ値抽出処理部３５は、領域検出部３４で特定された信号機１，２の赤信号表示領域・青信号表示領域における検知対象領域のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判断する。そして、その判断結果に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を検知する。
【００２８】
上記の映像取得部３１、エッジ検出部３２、スケーリング処理部３３、領域検出部３４、およびグレイ値抽出処理部３５は、以上の処理を繰り返し行う。
【００２９】
状態判定処理部３６は、個別環境データ４１に設定されている数値に基づいて、グレイ値抽出処理部３５により判断された信号機１，２の赤信号表示領域・青信号表示領域の点灯状態が一定期間継続しているか否かを判断する。そして、一定期間継続していると判断した場合は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を画像認識情報３８として、画像認識情報送信処理部３７を通じて信号制御装置５０に送信する。この画像認識情報３８には、「信号機１，２の赤信号表示領域・青信号表示領域の点灯状態」の情報の他、「信号機１，２の赤信号表示領域・青信号表示領域のうち、点灯状態もしくは非点灯状態であることを確認できる領域数」の情報が含まれる。
【００３０】
信号制御装置５０は、信号機１，２の信号制御を行う他、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を判定する処理、および音声放送装置６０に音声起動命令を送信する処理を行う。この信号制御装置５０は、上記動作を実行するために、マッチング処理部５１と、音声起動命令送信処理部５２と、信号制御情報格納部５３とを有している。
【００３１】
信号制御情報格納部５３は、信号機１，２の信号制御を行うための信号制御情報５４を予め記憶している。
【００３２】
マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信した場合、この画像認識情報３８と、信号制御情報格納部５３に記憶されている信号制御情報５４とを比較し、その比較結果に基づいて両者をマッチングさせた音声起動命令を生成する。例えば、画像認識情報３８の内容と信号制御情報５４の内容とが一致している場合は、信号制御情報５４にしたがった音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。一方、画像認識情報３８の内容と信号制御情報５４の内容とが不一致である場合は、視覚障害者の周りの健常者に当該視覚障害者の横断支援を依頼するような音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。
【００３３】
なお、マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信しない場合には、信号制御情報５４を画像認識情報３８と比較することなく、信号制御情報５４にしたがった音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。
【００３４】
音声起動命令送信処理部５４は、マッチング処理部５１にて作成された音声起動命令を音声放送装置６０に送信する。
【００３５】
音声放送装置６０は、信号制御装置５０からの音声起動命令にしたがって音声案内放送を行う。
【００３６】
以下に、図１および図２に示した交差点信号案内補助システムの動作概要について説明する。
【００３７】
カメラ１０は、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影する。カメラ１０にて撮影された映像は映像入力装置２０を通じてデータ処理装置３０に送信される。
【００３８】
データ処理装置３０は、記憶装置４０に予め記憶されている個別環境データ４１およびカメラ１０にて撮影された映像に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域の点灯状態を検知する。そして、同一の点灯状態が一定期間継続している場合、上記４つの領域の点灯状態の検知結果を画像認識情報３８として信号制御装置５０に送信する。この画像認識情報３８には、「信号機１，２の赤信号表示領域・青信号表示領域の点灯状態」、「信号機１，２の赤信号表示領域・青信号表示領域のうち、点灯状態もしくは非点灯状態であることを確認できる領域数」の情報が含まれる。
【００３９】
信号制御装置５０は、データ処理装置３０から画像認識情報３８を受信した場合、この画像認識情報３８と自身で格納している信号制御情報５４とをマッチングさせた音声起動命令を作成し、音声放送装置６０に送信する。
【００４０】
音声放送装置６は、信号制御装置５０からの音声起動命令にしたがって音声案内放送を行う。
【００４１】
以下に、図２に示したデータ処理装置３０の動作について、図３のフローチャートを参照して詳細に説明する。
【００４２】
まず、データ処理装置３０は、記憶装置４０に予め記憶されている個別環境データ４１を読み込む（ステップ３０１）。
【００４３】
次に、映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得してデータImage[n]（n=1）として格納する（ステップ３０２）。例えば、カメラ１０で撮影された映像がＮＴＳＣ（National Television System Committee）で撮影されている白黒８ビット映像である場合、データImage[1]は、６４０×４８０ビットのサイズにグレイ値０〜２５５の範囲でグレイの濃淡が分布する映像となる。そのため、データImage[1]は、白黒写真の様な画像となる。データImage[1]は、日光の加減や影の発生、点灯部分の日焼けなどにより一部不鮮明な映像になる可能性が考えられる。
【００４４】
次に、エッジ検出部３２は、個別環境データ４１に設定されたエッジ検出方法およびエッジしきい値に基づき、データImage[1]のエッジを検出し、その結果をデータEdge[1]として格納する（ステップ３０３）。このデータEdge[1]は、物体の輪郭のみが強調された映像となり、例えば、図４に示すように、データImage[1]から信号機１，２の枠線だけを抜き出した映像となる。
【００４５】
次に、スケーリング処理部３３は、データEdge[1]中の信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域（人型の白い領域）のグレイ値を、個別環境データ４１に設定された数値に基づきゲイン倍する。これにより、データEdge[1]のコントラストを強調し、その結果をデータScaled[1]として格納する（ステップ３０４）。例えば、0〜255段階で一様に分布されたデータEdge[1]は、上記のスケーリング処理により、ビットの存在するグレイ値間の間隔が広げられる。そのため、図４に示したデータEdge[1]に対してスケーリング処理を施したデータScaled[1]は、図５に示すように、隣接するグレイ値の差が広がったコントラストの高い映像となる。このように、スケーリング処理を施すことにより、あいまいであった部分の枠線がはっきりとする。
【００４６】
次に、領域検出部３４は、データScaled[1]から信号機１，２の赤信号表示領域・青信号表示領域を検出し、さらに、個別環境データ４１に非検知対象領域のデータとして設定されている数値の範囲に収まるグレイ値を持つビットを検出することにより、非検知対象領域を特定する。そして、信号機１，２の赤信号表示領域・青信号表示領域から上記で特定した非検知対象領域を減じることにより検知対象領域を特定し、その検知対象領域に該当する部分をデータThresh[1]として格納する（ステップ３０５）。例えば、図６の斜線部分が、図５に示したデータScaled[1]に対する領域検出処理により、検知対象領域として特定されたデータThresh[1]となる。
【００４７】
次に、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域におけるデータThresh[1]のグレイ値が、個別環境データ４１に検知対象領域および非検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判定し、その判定結果をデータreliability[1]として格納する。このデータreliability[1]は、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域のうち、障害や周囲の遮蔽物が無く、点灯状態もしくは非点灯状態であることが確認できる領域数を表している。例えば、データreliability[1]の値は、上記４つの領域がすべて確認可能な場合は１００、３つの領域が確認可能な場合は７５、２つの領域が確認可能な場合は５０、１つの領域が確認可能な場合は０となる。
【００４８】
さらに、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域におけるデータThresh[1]のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている赤の点灯のグレイ値の範囲もしくは青の点灯のグレイ値の範囲に収まるか否かを判定し、その判定結果をデータStatus[1]として格納する（ステップ３０６）。このデータStatus[1]は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を表している。
【００４９】
次に、状態判定処理部３６は、グレイ値抽出処理部３５に格納されたデータreliability[1]とデータStatus[1]との組み合わせを、データreliability[-1]とデータStatus[-1]との組み合わせと比較する。比較結果が同一である場合は、初期値が０である“time”に１を加え、比較結果が異なる場合は、“time”に０を設定する。“time”に１を加えた結果、“time”が個別環境データ４１に設定された数値未満であった場合、再びステップ３０２に戻る。一方、“time”が個別環境データ４１に設定された数値以上になった場合は、画像認識情報送信処理部３７に以下の処理を行わせた後、ステップ３０２に戻り、繰り返し処理を継続する（ステップ３０７）。
【００５０】
その後、画像認識情報送信処理部３７は、上記の“time”が個別環境データ４１に設定された値以上になった場合、すなわち、同一の点灯状態が一定期間継続された場合に、データreliability[n]とデータStatus[n]とを含む画像認識情報３８を信号制御装置５０に送信する（ステップ３０８）。
【００５１】
以下に、図２に示した信号制御装置５の動作について、図７のフローチャートを参照して詳細に説明する。
【００５２】
信号制御装置５０は、データ処理装置３０からの画像認識情報３８（データreliability[n]とデータStatus[n]）の通知が受信できる様、ウエイトの状態になっている（ステップ７０１）。
【００５３】
マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信した場合（ステップ７０２）、まず、信号制御情報格納部５３に予め記憶されている信号制御情報５４を読み込む（ステップ７０３）。
【００５４】
続いて、マッチング処理部５１は、画像認識情報３８中のデータStatus[n]の内容と信号制御情報５４の内容との比較を行う（ステップ７０４）。
【００５５】
ここで、データStatus[n]の内容と信号制御情報５４の内容とが一致している場合、信号機１，２の点灯状態が正常であると判断し、信号制御情報５４にしたがった内容の音声起動命令を作成する（ステップ７０５）。
【００５６】
一方、データStatus[n]の内容と信号制御情報５４の内容とが不一致である場合、信号機１，２の点灯状態が異常であると判断し、視覚障害者に周囲の健常者への横断支援の依頼を促す、もしくは健常者に周囲の視覚障害者の横断支援を促す内容の音声起動命令を作成する（ステップ７０６）。
【００５７】
なお、マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信しない場合は、信号制御情報５４を画像認識情報３８と比較することなく、この信号制御情報５４にしたがった内容の音声起動命令を作成する。
【００５８】
その後、音声起動命令送信処理部５２は、マッチング処理部５１にて作成された音声起動命令を音声放送装置６０に送信する（ステップ７０７）。
【００５９】
これにより、信号機１，２の点灯状態に応じた音声案内が実現可能となる。
【００６０】
（第２の実施形態）
図８は、本発明の第２の実施形態による交差点信号案内補助システムのブロック図である。なお、図８において、図１および図２と同様の部分については同一の符号を付し、説明を省略する。
【００６１】
図８を参照すると、本発明の第２の実施形態による交差点信号案内補助システムは、データ処理装置３内に、エッジ検出部３２、スケーリング処理部３３および領域検出部３４がなく、その代わりに特徴点抽出部３９を設けている点が、図２の第１の実施形態とは異なる。
【００６２】
特徴点抽出部３９は、映像取得部３１で取得した静止画イメージデータ中の信号機１，２の赤信号表示領域・青信号表示領域から、予め決められた検知対象領域となる１つ以上の小領域を抽出する。例えば、図９では、信号機１，２の赤信号表示領域・青信号表示領域から、小さな円形の８つの小領域Ｃ１〜Ｃ８を検知対象領域として抽出する。なお、上記の小領域は、特徴点抽出部３９自身で予め決めていたものでも良く、個別環境データ４１に予め設定されたものでも良い。
【００６３】
なお、グレイ値抽出処理部３５は、特徴点抽出部３９で抽出された小領域のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判断する。そして、その判断結果に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の点灯情報を検知する。
【００６４】
以下に、図８に示したデータ処理装置３０の動作について図１０を参照して説明する。
【００６５】
まず、データ処理装置３０は、記憶装置４０に予め記憶された個別環境データ４１を読み出す（ステップ１００１）。
【００６６】
次に、映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得してデータImage[n]（n=1）として格納する（ステップ１００２）。
【００６７】
次に、特徴点抽出部３９は、データImage[1]中の信号機１，２の赤信号表示領域・青信号表示領域の中から、予め決めてある１つ以上の小領域（図９においては小領域Ｃ１〜Ｃ８）を抽出する（ステップ１００３）。
【００６８】
次に、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域の小領域におけるグレイ値が、個別環境データ４１に検知対象領域および非検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判定する。そして、信号機１の赤信号表示領域、信号機１の青信号表示領域、信号機２の赤信号表示領域、信号機２の青信号表示領域の判定結果を確度データとして、それぞれ、データsignal1#red、データsignal1#blue、データsignal2#red、データsignal2#blueとして格納する。上記の確度データの値は、例えば、データsignal1#red=8/8、データsignal1#blue=6/8、データsignal2#red=8/8、データsignal2#blue=8/8”となる。そして、それぞれの確度を総合判定した結果をデータreliability[1]として格納する。このデータreliability[1]は、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域のうち、障害や周囲の遮蔽物が無く、点灯状態もしくは非点灯状態であることが確認できる領域数を表している。データreliability[1]の値は、例えば、上記４つの領域がすべて確認可能な場合は１００、３つの領域が確認可能な場合は７５、２つの領域が確認可能な場合は５０、１つの領域が確認可能な場合は０となる。
【００６９】
さらに、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域の小領域におけるグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている赤の点灯のグレイ値の範囲もしくは青の点灯のグレイ値の範囲に収まるか否かを判定し、その判定結果をデータStatus[1]として格納する（ステップ１００４）。このデータStatus[1]は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を表している。
【００７０】
次に、状態判定処理部３６は、グレイ値抽出処理部３５に格納されたデータreliability[1]とデータStatus[1]との組み合わせを、データreliability[-1]とデータStatus[-1]との組み合わせと比較する。比較結果が同一である場合は、初期値が０である“time”に１を加え、比較結果が異なる場合は、“time”に０を設定する。“time”に１を加えた結果、“time”が個別環境データ４１に設定された値未満であった場合、再びステップ１００２に戻る。一方、“time”が個別環境データ４１に設定された値以上になった場合は、画像認識情報送信処理部３７に以下の処理を行わせた後、ステップ１００２に戻り、繰り返し処理を継続する（ステップ１００５）。
【００７１】
その後、画像認識情報送信処理部３７は、上記の“time”が個別環境データ４１に設定された値以上になった場合、すなわち、同一の点灯状態が一定期間継続された場合に、データreliability[n]とデータStatus[n]とを含む画像認識情報３８を信号制御装置５０に送信する（ステップ１００６）。
【００７２】
【発明の効果】
本発明は以上説明したように構成されているため、以下に記載するような効果が得られる。
【００７３】
第１の効果は、信号機を撮影する撮影手段と、撮影手段で撮影された信号機の映像に基づいて信号機の点灯状態を検知し、画像認識情報として出力するデータ処理手段と、自身で予め記憶している信号制御情報とデータ処理手段から出力された画像認識情報とをマッチングさせた音声起動命令を作成する信号制御手段と、信号制御手段にて作成された音声起動命令にしたがって音声案内放送を行う音声放送手段とを設けた構成としたため、信号機の点灯状態に応じた音声案内放送を流すことが可能ということである。そのため、信号機の障害等で発生する可能性がある、誤った音声案内放送を流すことを回避することが可能となる。
【００７４】
第２の効果は、信号機の点灯状態が信号制御情報と一致する正常な状態である場合と、障害等により信号機の点灯状態が信号制御情報と一致せずに異常な状態である場合とで、音声案内放送の内容を分けることが可能となるため、視覚障害者の事故の可能性を大幅に減じることが可能となるということである。
【００７５】
第３の効果は、交差点の対角位置にそれぞれ設置されて表示方向が互いに垂直に交わる２つの信号機のうち一方の信号機と正対して設置された第１の鏡と、他方の信号機と正対するとともに第１の鏡と隣接かつ垂直に設置された第２の鏡とをさらに設け、撮影手段が、第１の鏡と第２の鏡とが作る直角二等分線の延長線上に設置されて、第１の鏡および第２の鏡が映す２つの信号機の映像を同時に撮影する構成としたため、１台の撮影手段により、２台の信号機の点灯状態を認識することが可能となるということである。
【００７６】
第４の効果は、データ処理手段内でソフトウェア的に画像認識処理を行うことにより、本システムを適用環境に応じて容易にカスタマイズすることが可能となるということである。そのため、個別環境データとして設定した数値で設定変更を行う等、適用環境の変更に伴う機能の修正が容易となる。
【００７７】
第５の効果は、データ処理手段内でソフトウェア的に画像認識処理を行うことにより、信号機の点灯状態の検知結果を多様な手段で通知することが可能であるということである。そのため、様々な支援機能への対応、追加が容易となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による交差点信号案内補助システムの設置例を示す図である。
【図２】本発明の第１の実施形態による交差点信号案内補助システムのブロック図である。
【図３】図１に示したデータ処理装置の動作を説明するフローチャートである。
【図４】図１に示したエッジ検出部でエッジ検出処理を施したデータの一例を示す図である。
【図５】図４に示したデータに対して、図１に示したスケーリング処理部でスケーリング処理を施したデータの一例を示す図である。
【図６】図５に示したデータに対して、図１に示した領域検出部で領域検出処理を施したデータの一例を示す図である。
【図７】図１に示した信号制御装置の動作を説明するフローチャートである。
【図８】本発明の第２の実施形態による交差点信号案内補助システムのブロック図である。
【図９】図８に示した特徴点抽出部により抽出される小領域を説明する図である。
【図１０】図８に示したデータ処理装置の動作を説明するフローチャートである。
【符号の説明】
１，２ 信号機
Ｍ１，Ｍ２ 鏡
１０ カメラ
２０ 映像入力装置
３０ データ処理装置
３１ 映像取得部
３２ エッジ検出部
３３ スケーリング処理部
３４ 領域検出部
３５ グレイ値抽出処理部
３６ 状態判定処理部
３７ 画像認識情報送信処理部
３８ 画像認識情報
３９ 特徴点抽出部
４０ 記憶装置
５０ 信号制御装置
５１ マッチング処理部
５２ 音声起動命令送信処理部
５３ 信号制御情報格納部
５４ 信号制御情報
６０ 音声放送装置
【発明の属する技術分野】
本発明は、交差点で信号機の音声案内を行うための交差点信号案内補助システムに関する。
【０００２】
【従来の技術】
現在、交差点における信号機の音声案内は、視覚障害者に対する横断支援を目的として行われている。現在の音声放送装置は、信号制御装置からの指示にしたがって音声案内を流している。音声案内を流すタイミングは、信号機を青に切り替えるのと同時ではなく、信号機を青に切り替えてから一定のタイムラグを置いた後のタイミングとなる。視覚障害者はこの音声案内放送により信号機が青であることを認知する。
【０００３】
一方、視覚に障害を持たない健常者は、音声案内は聞かず、信号機の色を見て青であることを認知する。そのため、何らかの障害により信号機の制御に失敗した場合でも信号機の色に従う。例えば、十字路交差点においては、進行方向の信号機の色と進行方向と垂直に交わる方向の信号機の色とを見比べて判断を行う。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の交差点における音声案内においては、信号機の表示に障害が発生した場合の対策がとられていないために、音声案内放送の内容と信号機の色とがミスマッチになる場合がある。
【０００５】
この場合、視覚障害者は信号機の色ではなく、優先的に音声案内で信号機の状態を判断してしまうため、視覚障害者の行動と健常者の行動とが正反対になることが考えられ、視覚障害者を巻き込んだ事故が発生する可能性がある。
【０００６】
そこで本発明の目的は、信号機の点灯状態（色）に応じた音声案内放送を流すことができる交差点信号案内補助システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明の交差点信号案内補助システムは、交差点で信号機の音声案内を行うための交差点信号案内補助システムにおいて、前記信号機を撮影する撮影手段と、前記撮影手段にて撮影された前記信号機の映像に基づいて前記信号機の点灯状態を検知し、同一の点灯状態が一定期間継続している場合に、前記信号機の点灯状態の検知結果を画像認識情報として出力するデータ処理手段と、前記信号機を制御するための信号制御情報を予め記憶するとともに、前記データ処理手段から出力された前記画像認識情報を受信した場合に、当該画像認識情報と前記信号制御情報とをマッチングさせた音声起動命令を作成して出力する信号制御手段と、前記信号制御手段から出力された前記音声起動命令にしたがって音声案内放送を行う音声放送手段と、を有することを特徴とするものである。
【０００８】
それにより、信号機の点灯状態に応じた音声案内放送を流すことが可能となる。
【０００９】
また、前記交差点の対角位置にそれぞれ設置されて表示方向が互いに垂直に交わる２つの信号機のうち、一方の信号機を映すように当該一方の信号機と正対して設置された第１の鏡と、前記２つの信号機のうち他方の信号機を映すように当該他方の信号機と正対するとともに前記第１の鏡と隣接かつ垂直に設置された第２の鏡とをさらに有し、前記撮影手段は、前記第１の鏡と前記第２の鏡とが作る直角二等分線の延長線上に設置されており、前記第１の鏡および前記第２の鏡が映す前記２つの信号機の映像を同時に撮影することとしても良い。
【００１０】
このような構成とした場合、１台の撮影手段により、２台の信号機の点灯状態を認識することが可能となる。
【００１１】
また、前記交差点信号案内補助システムが適用される環境に応じて、前記交差点信号案内補助システムの設定または設定変更を行う際に使用される個別環境データを記憶する記憶手段をさらに有することとしても良い。
【００１２】
このような構成とした場合、本システムが適用される環境に応じて、個別環境データに設定された数値で本システムの設定変更を行うことが可能となる。
【００１３】
また、前記データ処理手段は、前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、前記記憶手段に記憶された前記個別環境データに基づいて、前記映像取得手段にて取得した前記静止画イメージデータのエッジを検出するエッジ検出手段と、前記個別環境データに基づいて、前記エッジ検出手段にてエッジが検出された前記静止画イメージデータのコントラストを強調するスケーリング手段と、前記個別環境データに基づいて、前記スケーリング手段にてコントラストが強調された前記静止画イメージデータから、前記信号機の赤信号表示領域および青信号表示領域における検知対象領域を特定する領域抽出手段と、前記個別環境データに基づいて、前記領域抽出手段にて特定された前記検知対象領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有することとしても良い。
【００１４】
また、前記データ処理手段は、前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、前記映像取得手段にて取得した前記静止画イメージデータにおける前記信号機の赤信号表示領域および青信号表示領域の中から、予め決められている１つ以上の小領域を抽出する特徴点抽出手段と、前記記憶手段に記憶された前記個別環境データに基づいて、前記特徴点抽出手段にて抽出された前記小領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有することとしても良い。
【００１５】
また、前記信号制御手段は、前記信号制御情報を予め記憶する信号制御情報格納手段と、前記データ処理装置からの前記画像認識情報を受信した場合、当該画像認識情報と前記信号制御情報格納手段に格納されている前記信号制御情報とをマッチングさせた前記音声起動命令を生成して出力するマッチング処理手段と、前記マッチング処理手段から出力された前記音声起動命令を前記音声放送手段に送信する音声起動命令送信処理手段とを有することとしても良い。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施形態による交差点信号案内補助システムの設置例を示す図である。また、図２は、本発明の第１の実施形態による交差点信号案内補助システムのブロック図である。
【００１８】
図１を参照すると、本発明の第１の実施形態による交差点信号案内補助システムは、信号機１を映すように信号機１と正対して設置された鏡Ｍ１と、信号機２を映すように信号機２と正対するとともに鏡Ｍ１と隣接かつ垂直に設置された鏡Ｍ２と、鏡Ｍ１と鏡Ｍ２とが作る直角二等分線の延長線上に設置され、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影するカメラ１０とを有している。
【００１９】
図２を参照すると、本発明の第１の実施形態による交差点信号案内補助システムは、上述した鏡Ｍ１，Ｍ２およびカメラ１０の他、カメラケーブルや画像入力ボード等である映像入力装置２０と、電子計算機等であるデータ処理装置３０と、記憶装置４０と、信号制御装置５０と、スピーカー等である音声放送装置６０とを有している。
【００２０】
カメラ１０は、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影し、その映像を映像入力装置２０に常時送信する。
【００２１】
記憶装置４０は、本システムが適用される環境に応じて、本システムの設定や設定変更を行う際に使用される個別環境データ４１を予め記憶している。なお、個別環境データ４１には、データ処理装置３０の内部で使用される各種のデータが設定されている。
【００２２】
データ処理装置３０は、記憶装置４０に記憶された個別環境データ４１およびカメラ１０で撮影された映像に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の４つの領域の点灯状態を検知する。そして、同一の点灯状態が一定期間継続している場合に、上記４つの領域の点灯状態の検知結果を画像認識情報３８として信号制御装置５０に送信する。このデータ処理装置３０は、上記動作を実行するために、映像取得部３１と、エッジ検出部３２と、スケーリング処理部３３と、領域検出部３４と、グレイ値抽出処理部３５と、状態判定処理部３６と、画像認識情報送信処理部３７とを有している。
【００２３】
映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得する。
【００２４】
エッジ検出部３２は、個別環境データ４１に設定されているエッジ検出方法およびエッジのしきい値に基づいて、映像取得部３１で取得した静止画イメージデータのエッジ（＝急激な濃淡変化がある部分）を検出する。なお、個別環境データ４１には、差分型エッジ検出オペレータ、テンプレート型エッジ検出オペレータ、零交差法、パーセンタイルフィルタ等のエッジ検出方法が設定されている。エッジ検出部３２は、上記のエッジ検出方法の中から最適な方法を用いて、静止画イメージデータのエッジを検出する。
【００２５】
スケーリング処理部３３は、静止画イメージデータ中の信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域（人型の白い領域）のグレイ値を、個別環境データ４１に設定された数値に基づきゲイン倍して上記非検知対象領域のレンジを大きくする。それにより、エッジ検出部３２で検出されたエッジを強調して、静止画イメージデータのコントラストを強調する。
【００２６】
領域検出部３４は、スケーリング処理部３３でコントラストが強調された静止画イメージデータのグレイ値の中から、個別環境データ４１に非検知対象領域のデータとして設定されている数値の範囲に収まるグレイ値を持つビットを検出することにより、信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域を特定する。そして、信号機１，２の赤信号表示領域・青信号表示領域から上記で特定した非検知対象領域を減じることで、信号機１，２の赤信号表示領域・青信号表示領域における検知対象領域を特定する。
【００２７】
グレイ値抽出処理部３５は、領域検出部３４で特定された信号機１，２の赤信号表示領域・青信号表示領域における検知対象領域のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判断する。そして、その判断結果に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を検知する。
【００２８】
上記の映像取得部３１、エッジ検出部３２、スケーリング処理部３３、領域検出部３４、およびグレイ値抽出処理部３５は、以上の処理を繰り返し行う。
【００２９】
状態判定処理部３６は、個別環境データ４１に設定されている数値に基づいて、グレイ値抽出処理部３５により判断された信号機１，２の赤信号表示領域・青信号表示領域の点灯状態が一定期間継続しているか否かを判断する。そして、一定期間継続していると判断した場合は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を画像認識情報３８として、画像認識情報送信処理部３７を通じて信号制御装置５０に送信する。この画像認識情報３８には、「信号機１，２の赤信号表示領域・青信号表示領域の点灯状態」の情報の他、「信号機１，２の赤信号表示領域・青信号表示領域のうち、点灯状態もしくは非点灯状態であることを確認できる領域数」の情報が含まれる。
【００３０】
信号制御装置５０は、信号機１，２の信号制御を行う他、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を判定する処理、および音声放送装置６０に音声起動命令を送信する処理を行う。この信号制御装置５０は、上記動作を実行するために、マッチング処理部５１と、音声起動命令送信処理部５２と、信号制御情報格納部５３とを有している。
【００３１】
信号制御情報格納部５３は、信号機１，２の信号制御を行うための信号制御情報５４を予め記憶している。
【００３２】
マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信した場合、この画像認識情報３８と、信号制御情報格納部５３に記憶されている信号制御情報５４とを比較し、その比較結果に基づいて両者をマッチングさせた音声起動命令を生成する。例えば、画像認識情報３８の内容と信号制御情報５４の内容とが一致している場合は、信号制御情報５４にしたがった音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。一方、画像認識情報３８の内容と信号制御情報５４の内容とが不一致である場合は、視覚障害者の周りの健常者に当該視覚障害者の横断支援を依頼するような音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。
【００３３】
なお、マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信しない場合には、信号制御情報５４を画像認識情報３８と比較することなく、信号制御情報５４にしたがった音声案内放送を音声放送装置６０に行わせるための音声起動命令を作成する。
【００３４】
音声起動命令送信処理部５４は、マッチング処理部５１にて作成された音声起動命令を音声放送装置６０に送信する。
【００３５】
音声放送装置６０は、信号制御装置５０からの音声起動命令にしたがって音声案内放送を行う。
【００３６】
以下に、図１および図２に示した交差点信号案内補助システムの動作概要について説明する。
【００３７】
カメラ１０は、鏡Ｍ１が映す信号機１の状態と鏡Ｍ２が映す信号機２の状態とを同時に撮影する。カメラ１０にて撮影された映像は映像入力装置２０を通じてデータ処理装置３０に送信される。
【００３８】
データ処理装置３０は、記憶装置４０に予め記憶されている個別環境データ４１およびカメラ１０にて撮影された映像に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域の点灯状態を検知する。そして、同一の点灯状態が一定期間継続している場合、上記４つの領域の点灯状態の検知結果を画像認識情報３８として信号制御装置５０に送信する。この画像認識情報３８には、「信号機１，２の赤信号表示領域・青信号表示領域の点灯状態」、「信号機１，２の赤信号表示領域・青信号表示領域のうち、点灯状態もしくは非点灯状態であることを確認できる領域数」の情報が含まれる。
【００３９】
信号制御装置５０は、データ処理装置３０から画像認識情報３８を受信した場合、この画像認識情報３８と自身で格納している信号制御情報５４とをマッチングさせた音声起動命令を作成し、音声放送装置６０に送信する。
【００４０】
音声放送装置６は、信号制御装置５０からの音声起動命令にしたがって音声案内放送を行う。
【００４１】
以下に、図２に示したデータ処理装置３０の動作について、図３のフローチャートを参照して詳細に説明する。
【００４２】
まず、データ処理装置３０は、記憶装置４０に予め記憶されている個別環境データ４１を読み込む（ステップ３０１）。
【００４３】
次に、映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得してデータImage[n]（n=1）として格納する（ステップ３０２）。例えば、カメラ１０で撮影された映像がＮＴＳＣ（National Television System Committee）で撮影されている白黒８ビット映像である場合、データImage[1]は、６４０×４８０ビットのサイズにグレイ値０〜２５５の範囲でグレイの濃淡が分布する映像となる。そのため、データImage[1]は、白黒写真の様な画像となる。データImage[1]は、日光の加減や影の発生、点灯部分の日焼けなどにより一部不鮮明な映像になる可能性が考えられる。
【００４４】
次に、エッジ検出部３２は、個別環境データ４１に設定されたエッジ検出方法およびエッジしきい値に基づき、データImage[1]のエッジを検出し、その結果をデータEdge[1]として格納する（ステップ３０３）。このデータEdge[1]は、物体の輪郭のみが強調された映像となり、例えば、図４に示すように、データImage[1]から信号機１，２の枠線だけを抜き出した映像となる。
【００４５】
次に、スケーリング処理部３３は、データEdge[1]中の信号機１，２の赤信号表示領域・青信号表示領域における非検知対象領域（人型の白い領域）のグレイ値を、個別環境データ４１に設定された数値に基づきゲイン倍する。これにより、データEdge[1]のコントラストを強調し、その結果をデータScaled[1]として格納する（ステップ３０４）。例えば、0〜255段階で一様に分布されたデータEdge[1]は、上記のスケーリング処理により、ビットの存在するグレイ値間の間隔が広げられる。そのため、図４に示したデータEdge[1]に対してスケーリング処理を施したデータScaled[1]は、図５に示すように、隣接するグレイ値の差が広がったコントラストの高い映像となる。このように、スケーリング処理を施すことにより、あいまいであった部分の枠線がはっきりとする。
【００４６】
次に、領域検出部３４は、データScaled[1]から信号機１，２の赤信号表示領域・青信号表示領域を検出し、さらに、個別環境データ４１に非検知対象領域のデータとして設定されている数値の範囲に収まるグレイ値を持つビットを検出することにより、非検知対象領域を特定する。そして、信号機１，２の赤信号表示領域・青信号表示領域から上記で特定した非検知対象領域を減じることにより検知対象領域を特定し、その検知対象領域に該当する部分をデータThresh[1]として格納する（ステップ３０５）。例えば、図６の斜線部分が、図５に示したデータScaled[1]に対する領域検出処理により、検知対象領域として特定されたデータThresh[1]となる。
【００４７】
次に、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域におけるデータThresh[1]のグレイ値が、個別環境データ４１に検知対象領域および非検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判定し、その判定結果をデータreliability[1]として格納する。このデータreliability[1]は、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域のうち、障害や周囲の遮蔽物が無く、点灯状態もしくは非点灯状態であることが確認できる領域数を表している。例えば、データreliability[1]の値は、上記４つの領域がすべて確認可能な場合は１００、３つの領域が確認可能な場合は７５、２つの領域が確認可能な場合は５０、１つの領域が確認可能な場合は０となる。
【００４８】
さらに、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域におけるデータThresh[1]のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている赤の点灯のグレイ値の範囲もしくは青の点灯のグレイ値の範囲に収まるか否かを判定し、その判定結果をデータStatus[1]として格納する（ステップ３０６）。このデータStatus[1]は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を表している。
【００４９】
次に、状態判定処理部３６は、グレイ値抽出処理部３５に格納されたデータreliability[1]とデータStatus[1]との組み合わせを、データreliability[-1]とデータStatus[-1]との組み合わせと比較する。比較結果が同一である場合は、初期値が０である“time”に１を加え、比較結果が異なる場合は、“time”に０を設定する。“time”に１を加えた結果、“time”が個別環境データ４１に設定された数値未満であった場合、再びステップ３０２に戻る。一方、“time”が個別環境データ４１に設定された数値以上になった場合は、画像認識情報送信処理部３７に以下の処理を行わせた後、ステップ３０２に戻り、繰り返し処理を継続する（ステップ３０７）。
【００５０】
その後、画像認識情報送信処理部３７は、上記の“time”が個別環境データ４１に設定された値以上になった場合、すなわち、同一の点灯状態が一定期間継続された場合に、データreliability[n]とデータStatus[n]とを含む画像認識情報３８を信号制御装置５０に送信する（ステップ３０８）。
【００５１】
以下に、図２に示した信号制御装置５の動作について、図７のフローチャートを参照して詳細に説明する。
【００５２】
信号制御装置５０は、データ処理装置３０からの画像認識情報３８（データreliability[n]とデータStatus[n]）の通知が受信できる様、ウエイトの状態になっている（ステップ７０１）。
【００５３】
マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信した場合（ステップ７０２）、まず、信号制御情報格納部５３に予め記憶されている信号制御情報５４を読み込む（ステップ７０３）。
【００５４】
続いて、マッチング処理部５１は、画像認識情報３８中のデータStatus[n]の内容と信号制御情報５４の内容との比較を行う（ステップ７０４）。
【００５５】
ここで、データStatus[n]の内容と信号制御情報５４の内容とが一致している場合、信号機１，２の点灯状態が正常であると判断し、信号制御情報５４にしたがった内容の音声起動命令を作成する（ステップ７０５）。
【００５６】
一方、データStatus[n]の内容と信号制御情報５４の内容とが不一致である場合、信号機１，２の点灯状態が異常であると判断し、視覚障害者に周囲の健常者への横断支援の依頼を促す、もしくは健常者に周囲の視覚障害者の横断支援を促す内容の音声起動命令を作成する（ステップ７０６）。
【００５７】
なお、マッチング処理部５１は、データ処理装置３０からの画像認識情報３８を受信しない場合は、信号制御情報５４を画像認識情報３８と比較することなく、この信号制御情報５４にしたがった内容の音声起動命令を作成する。
【００５８】
その後、音声起動命令送信処理部５２は、マッチング処理部５１にて作成された音声起動命令を音声放送装置６０に送信する（ステップ７０７）。
【００５９】
これにより、信号機１，２の点灯状態に応じた音声案内が実現可能となる。
【００６０】
（第２の実施形態）
図８は、本発明の第２の実施形態による交差点信号案内補助システムのブロック図である。なお、図８において、図１および図２と同様の部分については同一の符号を付し、説明を省略する。
【００６１】
図８を参照すると、本発明の第２の実施形態による交差点信号案内補助システムは、データ処理装置３内に、エッジ検出部３２、スケーリング処理部３３および領域検出部３４がなく、その代わりに特徴点抽出部３９を設けている点が、図２の第１の実施形態とは異なる。
【００６２】
特徴点抽出部３９は、映像取得部３１で取得した静止画イメージデータ中の信号機１，２の赤信号表示領域・青信号表示領域から、予め決められた検知対象領域となる１つ以上の小領域を抽出する。例えば、図９では、信号機１，２の赤信号表示領域・青信号表示領域から、小さな円形の８つの小領域Ｃ１〜Ｃ８を検知対象領域として抽出する。なお、上記の小領域は、特徴点抽出部３９自身で予め決めていたものでも良く、個別環境データ４１に予め設定されたものでも良い。
【００６３】
なお、グレイ値抽出処理部３５は、特徴点抽出部３９で抽出された小領域のグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判断する。そして、その判断結果に基づいて、信号機１，２の赤信号表示領域・青信号表示領域の点灯情報を検知する。
【００６４】
以下に、図８に示したデータ処理装置３０の動作について図１０を参照して説明する。
【００６５】
まず、データ処理装置３０は、記憶装置４０に予め記憶された個別環境データ４１を読み出す（ステップ１００１）。
【００６６】
次に、映像取得部３１は、カメラ１０で撮影された映像の中から最新の１フレーム分の静止画イメージデータを取得する命令を映像入力装置２０に対して発行し、その静止画イメージデータを取得してデータImage[n]（n=1）として格納する（ステップ１００２）。
【００６７】
次に、特徴点抽出部３９は、データImage[1]中の信号機１，２の赤信号表示領域・青信号表示領域の中から、予め決めてある１つ以上の小領域（図９においては小領域Ｃ１〜Ｃ８）を抽出する（ステップ１００３）。
【００６８】
次に、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域の小領域におけるグレイ値が、個別環境データ４１に検知対象領域および非検知対象領域のデータとして設定されている数値の範囲に収まるか否かを判定する。そして、信号機１の赤信号表示領域、信号機１の青信号表示領域、信号機２の赤信号表示領域、信号機２の青信号表示領域の判定結果を確度データとして、それぞれ、データsignal1#red、データsignal1#blue、データsignal2#red、データsignal2#blueとして格納する。上記の確度データの値は、例えば、データsignal1#red=8/8、データsignal1#blue=6/8、データsignal2#red=8/8、データsignal2#blue=8/8”となる。そして、それぞれの確度を総合判定した結果をデータreliability[1]として格納する。このデータreliability[1]は、信号機１，２の赤信号表示領域・青信号表示領域の計４つの領域のうち、障害や周囲の遮蔽物が無く、点灯状態もしくは非点灯状態であることが確認できる領域数を表している。データreliability[1]の値は、例えば、上記４つの領域がすべて確認可能な場合は１００、３つの領域が確認可能な場合は７５、２つの領域が確認可能な場合は５０、１つの領域が確認可能な場合は０となる。
【００６９】
さらに、グレイ値抽出処理部３５は、信号機１，２の赤信号表示領域・青信号表示領域の小領域におけるグレイ値が、個別環境データ４１に検知対象領域のデータとして設定されている赤の点灯のグレイ値の範囲もしくは青の点灯のグレイ値の範囲に収まるか否かを判定し、その判定結果をデータStatus[1]として格納する（ステップ１００４）。このデータStatus[1]は、信号機１，２の赤信号表示領域・青信号表示領域の点灯状態を表している。
【００７０】
次に、状態判定処理部３６は、グレイ値抽出処理部３５に格納されたデータreliability[1]とデータStatus[1]との組み合わせを、データreliability[-1]とデータStatus[-1]との組み合わせと比較する。比較結果が同一である場合は、初期値が０である“time”に１を加え、比較結果が異なる場合は、“time”に０を設定する。“time”に１を加えた結果、“time”が個別環境データ４１に設定された値未満であった場合、再びステップ１００２に戻る。一方、“time”が個別環境データ４１に設定された値以上になった場合は、画像認識情報送信処理部３７に以下の処理を行わせた後、ステップ１００２に戻り、繰り返し処理を継続する（ステップ１００５）。
【００７１】
その後、画像認識情報送信処理部３７は、上記の“time”が個別環境データ４１に設定された値以上になった場合、すなわち、同一の点灯状態が一定期間継続された場合に、データreliability[n]とデータStatus[n]とを含む画像認識情報３８を信号制御装置５０に送信する（ステップ１００６）。
【００７２】
【発明の効果】
本発明は以上説明したように構成されているため、以下に記載するような効果が得られる。
【００７３】
第１の効果は、信号機を撮影する撮影手段と、撮影手段で撮影された信号機の映像に基づいて信号機の点灯状態を検知し、画像認識情報として出力するデータ処理手段と、自身で予め記憶している信号制御情報とデータ処理手段から出力された画像認識情報とをマッチングさせた音声起動命令を作成する信号制御手段と、信号制御手段にて作成された音声起動命令にしたがって音声案内放送を行う音声放送手段とを設けた構成としたため、信号機の点灯状態に応じた音声案内放送を流すことが可能ということである。そのため、信号機の障害等で発生する可能性がある、誤った音声案内放送を流すことを回避することが可能となる。
【００７４】
第２の効果は、信号機の点灯状態が信号制御情報と一致する正常な状態である場合と、障害等により信号機の点灯状態が信号制御情報と一致せずに異常な状態である場合とで、音声案内放送の内容を分けることが可能となるため、視覚障害者の事故の可能性を大幅に減じることが可能となるということである。
【００７５】
第３の効果は、交差点の対角位置にそれぞれ設置されて表示方向が互いに垂直に交わる２つの信号機のうち一方の信号機と正対して設置された第１の鏡と、他方の信号機と正対するとともに第１の鏡と隣接かつ垂直に設置された第２の鏡とをさらに設け、撮影手段が、第１の鏡と第２の鏡とが作る直角二等分線の延長線上に設置されて、第１の鏡および第２の鏡が映す２つの信号機の映像を同時に撮影する構成としたため、１台の撮影手段により、２台の信号機の点灯状態を認識することが可能となるということである。
【００７６】
第４の効果は、データ処理手段内でソフトウェア的に画像認識処理を行うことにより、本システムを適用環境に応じて容易にカスタマイズすることが可能となるということである。そのため、個別環境データとして設定した数値で設定変更を行う等、適用環境の変更に伴う機能の修正が容易となる。
【００７７】
第５の効果は、データ処理手段内でソフトウェア的に画像認識処理を行うことにより、信号機の点灯状態の検知結果を多様な手段で通知することが可能であるということである。そのため、様々な支援機能への対応、追加が容易となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による交差点信号案内補助システムの設置例を示す図である。
【図２】本発明の第１の実施形態による交差点信号案内補助システムのブロック図である。
【図３】図１に示したデータ処理装置の動作を説明するフローチャートである。
【図４】図１に示したエッジ検出部でエッジ検出処理を施したデータの一例を示す図である。
【図５】図４に示したデータに対して、図１に示したスケーリング処理部でスケーリング処理を施したデータの一例を示す図である。
【図６】図５に示したデータに対して、図１に示した領域検出部で領域検出処理を施したデータの一例を示す図である。
【図７】図１に示した信号制御装置の動作を説明するフローチャートである。
【図８】本発明の第２の実施形態による交差点信号案内補助システムのブロック図である。
【図９】図８に示した特徴点抽出部により抽出される小領域を説明する図である。
【図１０】図８に示したデータ処理装置の動作を説明するフローチャートである。
【符号の説明】
１，２ 信号機
Ｍ１，Ｍ２ 鏡
１０ カメラ
２０ 映像入力装置
３０ データ処理装置
３１ 映像取得部
３２ エッジ検出部
３３ スケーリング処理部
３４ 領域検出部
３５ グレイ値抽出処理部
３６ 状態判定処理部
３７ 画像認識情報送信処理部
３８ 画像認識情報
３９ 特徴点抽出部
４０ 記憶装置
５０ 信号制御装置
５１ マッチング処理部
５２ 音声起動命令送信処理部
５３ 信号制御情報格納部
５４ 信号制御情報
６０ 音声放送装置
Claims (6)
- 交差点で信号機の音声案内を行うための交差点信号案内補助システムにおいて、
前記信号機を撮影する撮影手段と、
前記撮影手段にて撮影された前記信号機の映像に基づいて前記信号機の点灯状態を検知し、同一の点灯状態が一定期間継続している場合に、前記信号機の点灯状態の検知結果を画像認識情報として出力するデータ処理手段と、
前記信号機を制御するための信号制御情報を予め記憶するとともに、前記データ処理手段から出力された前記画像認識情報を受信した場合に、当該画像認識情報と前記信号制御情報とをマッチングさせた音声起動命令を作成して出力する信号制御手段と、
前記信号制御手段から出力された前記音声起動命令にしたがって音声案内放送を行う音声放送手段と、を有する交差点信号案内補助システム。 - 前記交差点の対角位置にそれぞれ設置されて表示方向が互いに垂直に交わる２つの信号機のうち、一方の信号機を映すように当該一方の信号機と正対して設置された第１の鏡と、
前記２つの信号機のうち他方の信号機を映すように当該他方の信号機と正対するとともに前記第１の鏡と隣接かつ垂直に設置された第２の鏡とをさらに有し、前記撮影手段は、前記第１の鏡と前記第２の鏡とが作る直角二等分線の延長線上に設置されており、前記第１の鏡および前記第２の鏡が映す前記２つの信号機の映像を同時に撮影する、請求項１に記載の交差点信号案内補助システム。 - 前記交差点信号案内補助システムが適用される環境に応じて、前記交差点信号案内補助システムの設定または設定変更を行う際に使用される個別環境データを記憶する記憶手段をさらに有する、請求項１または２に記載の交差点信号案内補助システム。
- 前記データ処理手段は、
前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、
前記記憶手段に記憶された前記個別環境データに基づいて、前記映像取得手段にて取得した前記静止画イメージデータのエッジを検出するエッジ検出手段と、前記個別環境データに基づいて、前記エッジ検出手段にてエッジが検出された前記静止画イメージデータのコントラストを強調するスケーリング手段と、
前記個別環境データに基づいて、前記スケーリング手段にてコントラストが強調された前記静止画イメージデータから、前記信号機の赤信号表示領域および青信号表示領域における検知対象領域を特定する領域抽出手段と、
前記個別環境データに基づいて、前記領域抽出手段にて特定された前記検知対象領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、
前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、
前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有する、請求項３に記載の交差点信号案内補助システム。 - 前記データ処理手段は、
前記撮影手段にて撮影された映像を静止画イメージデータとして取得する映像取得手段と、
前記映像取得手段にて取得した前記静止画イメージデータにおける前記信号機の赤信号表示領域および青信号表示領域の中から、予め決められている１つ以上の小領域を抽出する特徴点抽出手段と、
前記記憶手段に記憶された前記個別環境データに基づいて、前記特徴点抽出手段にて抽出された前記小領域のグレイ値により前記信号機の赤信号表示領域および青信号表示領域の点灯状態を検知するグレイ値抽出処理手段と、
前記個別環境データに基づいて、前記グレイ値抽出処理手段にて検知された前記信号機の赤信号表示領域および青信号表示領域の点灯状態が同一の状態で一定期間継続しているか否かを判断する状態判定処理手段と、
前記状態判定処理手段にて前記信号機の赤信号表示領域および青信号表示領域で同一の点灯状態が一定期間継続していると判断された場合に、前記信号機の赤信号表示領域および青信号表示領域の点灯状態の検知結果を、前記画像認識情報として前記信号制御手段に送信する画像認識情報送信処理部とを有する、請求項３に記載の交差点信号案内補助システム。 - 前記信号制御手段は、
前記信号制御情報を予め記憶する信号制御情報格納手段と、
前記データ処理装置からの前記画像認識情報を受信した場合、当該画像認識情報と前記信号制御情報格納手段に格納されている前記信号制御情報とをマッチングさせた前記音声起動命令を生成して出力するマッチング処理手段と、
前記マッチング処理手段から出力された前記音声起動命令を前記音声放送手段に送信する音声起動命令送信処理手段とを有する、請求項１から５のいずれか１項に記載の交差点信号案内補助システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056180A JP3646795B2 (ja) | 2002-03-01 | 2002-03-01 | 交差点信号案内補助システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056180A JP3646795B2 (ja) | 2002-03-01 | 2002-03-01 | 交差点信号案内補助システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256987A JP2003256987A (ja) | 2003-09-12 |
| JP3646795B2 true JP3646795B2 (ja) | 2005-05-11 |
Family
ID=28666824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002056180A Expired - Fee Related JP3646795B2 (ja) | 2002-03-01 | 2002-03-01 | 交差点信号案内補助システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3646795B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008026991A (ja) * | 2006-07-18 | 2008-02-07 | Tokai Rika Co Ltd | 信号機識別装置 |
| JP4915281B2 (ja) * | 2007-05-24 | 2012-04-11 | アイシン・エィ・ダブリュ株式会社 | 信号機検出装置、信号機検出方法及びプログラム |
| JP4415358B1 (ja) * | 2009-05-21 | 2010-02-17 | 伸一 田中 | 広告表示システム |
| US8326687B2 (en) | 2009-05-21 | 2012-12-04 | Shinichi Tanaka | Advertisement display system |
| KR101054025B1 (ko) | 2009-07-07 | 2011-08-04 | 숭실대학교산학협력단 | 시각장애인 보행 안내 방법 및 그 시스템 |
| CN103366565B (zh) * | 2013-06-21 | 2015-04-15 | 浙江理工大学 | 一种基于Kinect的行人闯红灯检测方法及其系统 |
| CN104658244A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 行人闯红灯报警警告系统及相应的控制方法 |
| JP6737968B1 (ja) * | 2020-02-07 | 2020-08-12 | 奥田 亮輔 | 歩行者信号識別装置 |
-
2002
- 2002-03-01 JP JP2002056180A patent/JP3646795B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256987A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
| US11256935B2 (en) | Notification processing device | |
| JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
| JPH1145323A (ja) | 画像処理装置 | |
| JP3646795B2 (ja) | 交差点信号案内補助システム | |
| JPH0468500A (ja) | 車両運転者監視装置 | |
| KR20060119968A (ko) | 형상 인식 장치 및 방법 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| US20050163383A1 (en) | Driver's eye image detecting device and method in drowsy driver warning system | |
| JP4281338B2 (ja) | 画像検出装置及び画像検出方法 | |
| JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
| JP2000092368A (ja) | カメラ制御装置及びコンピュータ読み取り可能な記憶媒体 | |
| JP4797441B2 (ja) | 車両用画像処理装置 | |
| JP2000311289A (ja) | 画像形車両感知装置 | |
| JP2985558B2 (ja) | 運転状態検出装置 | |
| JP2001148843A (ja) | 撮影装置及びこの撮影装置を用いた防犯システム | |
| JP2009194900A (ja) | 撮像装置及びその制御方法 | |
| CN112565631A (zh) | 智能导播方法 | |
| JPH07140527A (ja) | カメラ撮影制御装置 | |
| JPWO2022013952A5 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| JP2003168110A (ja) | 視覚障害者支援方法、視覚障害者認識システムおよび方法、プログラム | |
| JPH1066054A (ja) | 映像監視装置 | |
| WO2023134215A1 (zh) | 一种调试摄像机的方法及相关设备 | |
| JP2019075617A (ja) | 撮像装置、および画像処理システム | |
| JP4577301B2 (ja) | 顔向き検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041206 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |