JP3837572B2 - 視覚障害者用画像認識装置、その方法及びプログラム - Google Patents
視覚障害者用画像認識装置、その方法及びプログラム Download PDFInfo
- Publication number
- JP3837572B2 JP3837572B2 JP2004075251A JP2004075251A JP3837572B2 JP 3837572 B2 JP3837572 B2 JP 3837572B2 JP 2004075251 A JP2004075251 A JP 2004075251A JP 2004075251 A JP2004075251 A JP 2004075251A JP 3837572 B2 JP3837572 B2 JP 3837572B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image recognition
- recognition processing
- visually impaired
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims description 132
- 230000001771 impaired effect Effects 0.000 claims description 52
- 229910052704 radon Inorganic materials 0.000 claims description 16
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000295 emission spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000035657 Abasia Diseases 0.000 description 1
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 1
- 101000857682 Homo sapiens Runt-related transcription factor 2 Proteins 0.000 description 1
- 102100025368 Runt-related transcription factor 2 Human genes 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、視覚障害者用画像認識装置に関するものであり、特に、福祉工学分野において、視覚障害者の街頭歩行支援のための携帯型画像認識装置に関する。
従来の視覚障害者誘導装置では、盲人用プレート内にICチップを埋め込む、あるいは歩行経路に電磁波の発信源を埋め込む、目的地別に異なった色のガイド線を設置するなど、主として歩行経路上に特殊な加工を施すことによって、歩行者が携行する認識装置に歩行位置情報を提供するものが主として用いられてきた（非特許文献１を参照されたい）。これらの歩行支援環境が整備可能な地域は極めて狭い範囲に限定されるため、視覚障害者が一般の街路を歩行する場合には、依然として介助者の支援、もしくは数の限られている盲導犬による介助が必要であった。
一方、街路における画像自動認識技術は、その対象の多くが形状、色の統一された車両ナンバー（非特許文献２を参照されたい）や、道路標識などの認識（非特許文献３を参照されたい）に限られ、視覚障害者が−般街路を歩行する際に遭遇するさまざまな障害、（例えば盲人用プレート上にはみ出して置かれた自転車や、工事中のバリケード、街路の段差、階段やホーム段差、交差点の交通信号機など）に対して、画像自動認識技術はほとんど適用不可能とされてきた。
Y. Kaneko, T. Harada, Y. Hirahara et al: Development of the Navigation System for the Visually Impaired, Proc. IEEE APBME #5.2.3, (Kyoto 2003) 藤吉弘亘、梅崎太造、今村友彦、金出武雄著：ニューラルネットワークによるナンバープレートの位置検出、電子情報通信学会論文誌、Vol.J80-D-II, No.6, pp 1627- 1634(1997) M.Nakaｍura, S. Kodama, N.Kitamura and M. Umeno:Vision Supporting System for Car Driver using Neural Network ,Proc.ICONIP98，pp.1082-1085(1998)
一方、街路における画像自動認識技術は、その対象の多くが形状、色の統一された車両ナンバー（非特許文献２を参照されたい）や、道路標識などの認識（非特許文献３を参照されたい）に限られ、視覚障害者が−般街路を歩行する際に遭遇するさまざまな障害、（例えば盲人用プレート上にはみ出して置かれた自転車や、工事中のバリケード、街路の段差、階段やホーム段差、交差点の交通信号機など）に対して、画像自動認識技術はほとんど適用不可能とされてきた。
Y. Kaneko, T. Harada, Y. Hirahara et al: Development of the Navigation System for the Visually Impaired, Proc. IEEE APBME #5.2.3, (Kyoto 2003) 藤吉弘亘、梅崎太造、今村友彦、金出武雄著：ニューラルネットワークによるナンバープレートの位置検出、電子情報通信学会論文誌、Vol.J80-D-II, No.6, pp 1627- 1634(1997) M.Nakaｍura, S. Kodama, N.Kitamura and M. Umeno:Vision Supporting System for Car Driver using Neural Network ,Proc.ICONIP98，pp.1082-1085(1998)
即ち、従来技術による装置や技法では、歩行者が携行する画像取得装置から得られる画像情報より、視覚障害者の歩行に障害となる物および歩行の助けとなる物を識別する際、認識対象物が多岐にわたるため、安定した認識機構を構成することが困難であった。
一方、正常な視覚機能を有する歩行者は、足元を見る時と、水平方向、側方を見るときでは、自らの意思によって眼球を目標物に向け、同時に脳内の画像認識機構を対象物の認識にふさわしい処理系に切り替えて高い認識能力を確保している。たとえば、足元を見るモードでは、信号機の色を判別しようという意志をもった処理は行わない。反対に、遠方に視野を求めている場合には、足元の穴を認識しようという処理は抑制されている。
一方、正常な視覚機能を有する歩行者は、足元を見る時と、水平方向、側方を見るときでは、自らの意思によって眼球を目標物に向け、同時に脳内の画像認識機構を対象物の認識にふさわしい処理系に切り替えて高い認識能力を確保している。たとえば、足元を見るモードでは、信号機の色を判別しようという意志をもった処理は行わない。反対に、遠方に視野を求めている場合には、足元の穴を認識しようという処理は抑制されている。
本発明では、上記のヒトの画像認識系にヒントを得て、視覚障害者が画像取得系の対象物方向を自由に変更できるハンドヘルド形状とするとともに、画像取得系に付加した姿勢センサ（3次元加速度センサ）より、対象とする画像がどの方向から取得されたか、安定した静止状態で取得されたかといった撮影状況に関するアプリオリ情報を認識系に提供し、認識系は、このアプリオリ情報にもとづいて得られた画像の処理モードを変更し、より精度の高い認識結果を生成し、音響信号等によってこの結果を視覚障害者に提供する。
本発明による視覚障害者用画像認識装置は、
波長帯域が各々異なる複数の画像を同時に取得するマルチスペクトル画像センサと、
前記装置の姿勢情報（即ち前記画像センサの撮影方向）を取得する姿勢センサ（例えば3次元加速度センサ、傾斜角センサなど）と、
前記姿勢センサで取得された前記姿勢情報（即ち装置における画像センサの光軸と水平面との間でなす角度）に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モード、を含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理手段と、
前記画像認識処理手段による画像認識処理の結果に応じて音響信号を生成する音響信号生成手段と、
前記生成された音響信号を再生する音響再生手段（スピーカやイヤホンなど）と、
を具えることを特徴とする。
本発明によれば、従来は、単一の画像処理モードで実行していたものを、姿勢情報に応じて最適な処理モードに設定できるため画像認識の精度を実用可能なレベルまで増加させることが可能となる。換言すれば、知覚する様々なデータから当該処理モードで必要とされるデータのみに限定して認識処理を実行するため、精度の向上を図りつつさらに計算コストの削減も達成できる。即ち、本発明はマルチスペクトル画像から路上の歩行障害物および目標物を認識する携帯型画像自動認識システムに加速度センサを付加し、認識対象物の候補を限定することで自動認識の精度を高め、音響信号等で視覚障害者に対し安定した歩行支援情報を提供する。なお、装置の姿勢は、所望の処理モードに応じてユーザが意識的に変更することができる。
波長帯域が各々異なる複数の画像を同時に取得するマルチスペクトル画像センサと、
前記装置の姿勢情報（即ち前記画像センサの撮影方向）を取得する姿勢センサ（例えば3次元加速度センサ、傾斜角センサなど）と、
前記姿勢センサで取得された前記姿勢情報（即ち装置における画像センサの光軸と水平面との間でなす角度）に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モード、を含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理手段と、
前記画像認識処理手段による画像認識処理の結果に応じて音響信号を生成する音響信号生成手段と、
前記生成された音響信号を再生する音響再生手段（スピーカやイヤホンなど）と、
を具えることを特徴とする。
本発明によれば、従来は、単一の画像処理モードで実行していたものを、姿勢情報に応じて最適な処理モードに設定できるため画像認識の精度を実用可能なレベルまで増加させることが可能となる。換言すれば、知覚する様々なデータから当該処理モードで必要とされるデータのみに限定して認識処理を実行するため、精度の向上を図りつつさらに計算コストの削減も達成できる。即ち、本発明はマルチスペクトル画像から路上の歩行障害物および目標物を認識する携帯型画像自動認識システムに加速度センサを付加し、認識対象物の候補を限定することで自動認識の精度を高め、音響信号等で視覚障害者に対し安定した歩行支援情報を提供する。なお、装置の姿勢は、所望の処理モードに応じてユーザが意識的に変更することができる。
また、本発明による視覚障害者用画像認識装置は、
前記複数の処理モードのうちユーザが所望する処理モードを入力する入力手段と、
前記入力された処理モードに強制的に設定して動作するよう前記画像認識処理手段を制御する処理モード制御手段、
を具えることを特徴とする。
本発明によれば、視覚障害者であるユーザが特定の処理モードに切り替えたいときに即座に切り替えることが可能となる。
前記複数の処理モードのうちユーザが所望する処理モードを入力する入力手段と、
前記入力された処理モードに強制的に設定して動作するよう前記画像認識処理手段を制御する処理モード制御手段、
を具えることを特徴とする。
本発明によれば、視覚障害者であるユーザが特定の処理モードに切り替えたいときに即座に切り替えることが可能となる。
さらにまた、本発明による視覚障害者用画像認識装置は、
前記画像認識手段は、前記複数の画像の少なくとも１つの画像を複数の領域に分割し、領域ごとにフーリエ変換し領域ごとに輝度値の変化量を示す特徴量であるパワー（即ち当該領域の複雑さを示すファクター）を求めるパワー算出手段を含む、
ことを特徴とする。
本発明によれば、それぞれの小領域ごとにどれくらい複雑かを高精度に検出することが可能であり、この複雑さによって障害物を検知するような障害物認識処理モード、或いは、単調な路面の複雑さと路面以外の物体の複雑さとを識別するような路面認識処理モードで非常に効果的に機能する。
前記画像認識手段は、前記複数の画像の少なくとも１つの画像を複数の領域に分割し、領域ごとにフーリエ変換し領域ごとに輝度値の変化量を示す特徴量であるパワー（即ち当該領域の複雑さを示すファクター）を求めるパワー算出手段を含む、
ことを特徴とする。
本発明によれば、それぞれの小領域ごとにどれくらい複雑かを高精度に検出することが可能であり、この複雑さによって障害物を検知するような障害物認識処理モード、或いは、単調な路面の複雑さと路面以外の物体の複雑さとを識別するような路面認識処理モードで非常に効果的に機能する。
さらにまた、本発明による視覚障害者用画像認識装置は、
前記画像認識手段は、
前記画像の全領域をラドン変換するラドン変換手段と、
前記ラドン変換された画像を複数の領域に分割し各領域内の最大輝度値を求め、所定の輝度値を越える領域の配置パターンに基づき階段を識別する階段識別手段と、を含む、
ことを特徴とする。
本構成によれば、領域の配置パターンに基づき、階段の有無、さらには上り階段か下り階段かまで高精度に認識可能である。特に、視覚障害者にとって階段は歩行上最も危険な構造物に含まれるものであるため、このような高精度な階段識別機能を設けることによって障害者がけがをする恐れを顕著に減少させることができるようになる。
前記画像認識手段は、
前記画像の全領域をラドン変換するラドン変換手段と、
前記ラドン変換された画像を複数の領域に分割し各領域内の最大輝度値を求め、所定の輝度値を越える領域の配置パターンに基づき階段を識別する階段識別手段と、を含む、
ことを特徴とする。
本構成によれば、領域の配置パターンに基づき、階段の有無、さらには上り階段か下り階段かまで高精度に認識可能である。特に、視覚障害者にとって階段は歩行上最も危険な構造物に含まれるものであるため、このような高精度な階段識別機能を設けることによって障害者がけがをする恐れを顕著に減少させることができるようになる。
さらにまた、本発明による視覚障害者用画像認識装置は、
前記マルチスペクトル画像センサは、
画像を撮影する撮影手段と、
撮影対象と前記撮影手段との間に設けられた、複数の波長帯域の光を通過させる光学バンドパスフィルタと、を含む、
ことを特徴とする。
本構成によれば、安価なフィルタとＣＣＤカメラやＣＭＯＳカメラなどのような安価な撮影手段を組み合わせることによって簡易にマルチスペクトル画像センサを構成させることが可能となる。特に、信号標識の赤の波長帯、黄色の波長帯、或いは青の波長帯のみを選択的に通過させるフィルタを用いれば、最も危険を伴いかつ重要な交通標識の識別時に非常に効果的に機能する。
前記マルチスペクトル画像センサは、
画像を撮影する撮影手段と、
撮影対象と前記撮影手段との間に設けられた、複数の波長帯域の光を通過させる光学バンドパスフィルタと、を含む、
ことを特徴とする。
本構成によれば、安価なフィルタとＣＣＤカメラやＣＭＯＳカメラなどのような安価な撮影手段を組み合わせることによって簡易にマルチスペクトル画像センサを構成させることが可能となる。特に、信号標識の赤の波長帯、黄色の波長帯、或いは青の波長帯のみを選択的に通過させるフィルタを用いれば、最も危険を伴いかつ重要な交通標識の識別時に非常に効果的に機能する。
さらにまた、本発明による視覚障害者用画像認識装置は、
前記姿勢センサは、３次元加速度センサを含み、
前記装置は、
前記３次元加速度センサが前記装置がほぼ静止状態であると認識したときのみ、前記複数の画像を取得するよう前記マルチスペクトル画像センサを制御する画像センサ制御手段を具える、
ことを特徴とする。
本発明によれば、画像のブレによる対象物の誤認識する確率を顕著に減少させることができる。
前記姿勢センサは、３次元加速度センサを含み、
前記装置は、
前記３次元加速度センサが前記装置がほぼ静止状態であると認識したときのみ、前記複数の画像を取得するよう前記マルチスペクトル画像センサを制御する画像センサ制御手段を具える、
ことを特徴とする。
本発明によれば、画像のブレによる対象物の誤認識する確率を顕著に減少させることができる。
さらにまた、本発明による視覚障害者用画像認識装置は、
前記画像認識処理手段は、
画像から得られた学習用スペクトル特性、学習用周波数特性、及び学習用エッジの直線性を含む特性データと前記画像における実際の状況を記述した教師データとで予め学習させてあるニューラルネットワークと、
前記ニューラルネットワークを使用して前記複数の画像から取得したスペクトル特性、周波数特性及びエッジの直線性に基づき、歩行支援情報（コースアウト、歩行時の危険性の程度、障害物の方向の告知などの総合的な情報）を出力する支援情報出力手段と、を含み、
前記音響信号生成手段は、前記歩行支援情報に基づき前記音響信号を生成する、
ことを特徴とする。
本発明によれば、ユーザに総合的な歩行支援情報を与えることが可能となり、ユーザの歩行時の安全性をさらに向上させることが可能である。
前記画像認識処理手段は、
画像から得られた学習用スペクトル特性、学習用周波数特性、及び学習用エッジの直線性を含む特性データと前記画像における実際の状況を記述した教師データとで予め学習させてあるニューラルネットワークと、
前記ニューラルネットワークを使用して前記複数の画像から取得したスペクトル特性、周波数特性及びエッジの直線性に基づき、歩行支援情報（コースアウト、歩行時の危険性の程度、障害物の方向の告知などの総合的な情報）を出力する支援情報出力手段と、を含み、
前記音響信号生成手段は、前記歩行支援情報に基づき前記音響信号を生成する、
ことを特徴とする。
本発明によれば、ユーザに総合的な歩行支援情報を与えることが可能となり、ユーザの歩行時の安全性をさらに向上させることが可能である。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現され得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明による視覚障害者用画像認識装置を方法として実現させると、視覚障害者用画像認識方法は、
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を演算手段を使用して行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、演算手段及び信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする。
或いは、上記各ステップからなる方法をコンピュータに実行させるプログラムとして、本発明を実現することもできる。
視覚障害者用画像認識方法をコンピュータに実行させるための視覚障害者用画像認識プログラムであって
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする視覚障害者用画像認識プログラムである。
例えば、本発明による視覚障害者用画像認識装置を方法として実現させると、視覚障害者用画像認識方法は、
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を演算手段を使用して行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、演算手段及び信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする。
或いは、上記各ステップからなる方法をコンピュータに実行させるプログラムとして、本発明を実現することもできる。
視覚障害者用画像認識方法をコンピュータに実行させるための視覚障害者用画像認識プログラムであって
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする視覚障害者用画像認識プログラムである。
以降、諸図面を参照しつつ、本発明の実施態様を詳細に説明する。
図１は、本発明による視覚障害者用画像認識装置の基本的な構成を示すブロック図であある。図に示すように、視覚障害者用画像認識装置１０は、マルチスペクトル画像センサ２０、姿勢センサ３０、画像認識処理手段４０、処理モード制御（強制切替）手段５０、音響信号生成手段６０、及び音響信号再生手段７０を具える。画像認識処理手段４０は、最適な処理モードを選択する処理モード設定部４１、画像認識部４２、ラドン変換手段４３、階段認識手段４４、ニューラルネットワーク４５、及び支援情報出力手段４６を具える。処理モード設定部４１は、姿勢センサで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、画像認識部４２は、選択された処理モードで画像の認識処理を行う。その他の構成要素の機能は前述したとおりである。
図１は、本発明による視覚障害者用画像認識装置の基本的な構成を示すブロック図であある。図に示すように、視覚障害者用画像認識装置１０は、マルチスペクトル画像センサ２０、姿勢センサ３０、画像認識処理手段４０、処理モード制御（強制切替）手段５０、音響信号生成手段６０、及び音響信号再生手段７０を具える。画像認識処理手段４０は、最適な処理モードを選択する処理モード設定部４１、画像認識部４２、ラドン変換手段４３、階段認識手段４４、ニューラルネットワーク４５、及び支援情報出力手段４６を具える。処理モード設定部４１は、姿勢センサで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、画像認識部４２は、選択された処理モードで画像の認識処理を行う。その他の構成要素の機能は前述したとおりである。
図２は、本発明による視覚障害者用画像認識装置の具体的な装置構成例を示すブロック図である。
本装置は、複数の波長の画像を同時に獲得することのできるマルチスペクトル画像センサ８０と、この画像入力の処理モードを切替える処理モード切替器８２、処理モード切替器に姿勢情報を提供するための、3次元加速度センサ８４及び加速度よりセンサ姿勢を算出するセンサ姿勢算出器８６、各センサ姿勢に適合した処理モードで認識処理を行う複数の認識処理機構を含む画像認識処理部９０、及び、認識結果に従って周波数・音色等を変化させる、或いは音響信号を生成する音響信号発生器９２、処理モードを強制的に変更・固定する強制処理スイッチ８８、及び変化させた或いは生成した音響信号を再生するスピーカ９４から構成される。
本装置は、複数の波長の画像を同時に獲得することのできるマルチスペクトル画像センサ８０と、この画像入力の処理モードを切替える処理モード切替器８２、処理モード切替器に姿勢情報を提供するための、3次元加速度センサ８４及び加速度よりセンサ姿勢を算出するセンサ姿勢算出器８６、各センサ姿勢に適合した処理モードで認識処理を行う複数の認識処理機構を含む画像認識処理部９０、及び、認識結果に従って周波数・音色等を変化させる、或いは音響信号を生成する音響信号発生器９２、処理モードを強制的に変更・固定する強制処理スイッチ８８、及び変化させた或いは生成した音響信号を再生するスピーカ９４から構成される。
以下、各構成要素の機能について説明する。
画像解析モード切替機構（自動・手動）
図３は、本発明による装置に搭載するセンサ部の構成図である。図に示すように、グリップ部１０６に固定されたＣＣＤカメラ１０２の光軸（O−O’）上に3D加速度センサ１００が設置され、その出力がセンサ姿勢算出器（ＣＰＵ）に送出される。ＣＣＤカメラ１０２には、フィルタ・レンズ１０４が装着されている。
いま、水平面と光軸の成す角度をφとするとき、グリップ１０６の把持角度によって、φは0度（光軸の水平状態）から、90度（光軸が路面に対して垂直）まで変化する。先ず、センサシステムが静止状態にあることを確認するため、3D加速度センサの相直交する3方向の加速度のベクトル和が重力加速度9．8m／s2にほぼ一致するときに画像の取得を行う。これによって、画像のフレによる誤認識の確率を低減させることができる。
画像解析モード切替機構（自動・手動）
図３は、本発明による装置に搭載するセンサ部の構成図である。図に示すように、グリップ部１０６に固定されたＣＣＤカメラ１０２の光軸（O−O’）上に3D加速度センサ１００が設置され、その出力がセンサ姿勢算出器（ＣＰＵ）に送出される。ＣＣＤカメラ１０２には、フィルタ・レンズ１０４が装着されている。
いま、水平面と光軸の成す角度をφとするとき、グリップ１０６の把持角度によって、φは0度（光軸の水平状態）から、90度（光軸が路面に対して垂直）まで変化する。先ず、センサシステムが静止状態にあることを確認するため、3D加速度センサの相直交する3方向の加速度のベクトル和が重力加速度9．8m／s2にほぼ一致するときに画像の取得を行う。これによって、画像のフレによる誤認識の確率を低減させることができる。
次いで、このセンサ系がほぼ静止状態にあるときに、光軸に対する重力加速度ベクトルの角度φ’から、式「φ＝90度−φ’」によって水平面と光軸との間で成す角度φを算出する。このφの大小に従って、処理モード切替器は、以下の3つのモードを切り替え、それぞれの角度域にふさわしい画像処理系を駆動する。
モード１：−δ1＜φ＜δ1：交通信号標識認識処理モード
モード２：δ1≦φ＜（90度−δ2）：障害物認識処理モード
モード３：（90度−δ2）≦φ＜（90度＋δ2）：路面認識処理モード
なお、許容角度δ1、δ2は、使用する環境に応じて事前に設定する。また、グリップ上端には、強制モード選択スイッチが設置され、上記の切り替えモードに優先して、各モードを選択することが可能である。
モード１：−δ1＜φ＜δ1：交通信号標識認識処理モード
モード２：δ1≦φ＜（90度−δ2）：障害物認識処理モード
モード３：（90度−δ2）≦φ＜（90度＋δ2）：路面認識処理モード
なお、許容角度δ1、δ2は、使用する環境に応じて事前に設定する。また、グリップ上端には、強制モード選択スイッチが設置され、上記の切り替えモードに優先して、各モードを選択することが可能である。
画像の複雑さの検出機構
路上の障害物（例えば、放置自転車、フェンス、工事用バリケード等）では、一般的に平坦な路面に比して空間周波数の高い成分の比率が大きい。そこで、図４に示すように入力画像１１０を多数の正方形の小領域１１２に分割し、各小領域１１２ごとに2次元高速フーリエ変換を施し、式（1）によりフーリエ変換後画像を2値化するための閾値を決定する。
次に式（２）により変換後画像を2値化し、式（3）に従って各小領域のパワーを算出する。
ここでPmaxはフーリエ変換画像の最大輝度値（グローバルな最大値）、θは閾値、Z1（ｉ，ｊ）はフーリエ変換後画像の各ピクセルの輝度値、Z2（ｉ，ｊ）は2値化後の各ピクセルの輝度値、Powerは各小領域のパワーである。
画面内の複数領域についてパワーがあらかじめ設定した閾値を上回る場合には、何らかの障害物が発見されたものと解釈して警告音を発生する。このとき、最大のパワーが得られた小正方領域の画面内の位置に応じて音響信号発生器の発生信号の音色および周波数を時間的に変化させることで、画像内のどの領域に障害物が見られるかを視覚障害者に知らしめる。
路上の障害物（例えば、放置自転車、フェンス、工事用バリケード等）では、一般的に平坦な路面に比して空間周波数の高い成分の比率が大きい。そこで、図４に示すように入力画像１１０を多数の正方形の小領域１１２に分割し、各小領域１１２ごとに2次元高速フーリエ変換を施し、式（1）によりフーリエ変換後画像を2値化するための閾値を決定する。
次に式（２）により変換後画像を2値化し、式（3）に従って各小領域のパワーを算出する。
ここでPmaxはフーリエ変換画像の最大輝度値（グローバルな最大値）、θは閾値、Z1（ｉ，ｊ）はフーリエ変換後画像の各ピクセルの輝度値、Z2（ｉ，ｊ）は2値化後の各ピクセルの輝度値、Powerは各小領域のパワーである。
画面内の複数領域についてパワーがあらかじめ設定した閾値を上回る場合には、何らかの障害物が発見されたものと解釈して警告音を発生する。このとき、最大のパワーが得られた小正方領域の画面内の位置に応じて音響信号発生器の発生信号の音色および周波数を時間的に変化させることで、画像内のどの領域に障害物が見られるかを視覚障害者に知らしめる。
c）ラドン変換による階段画像の認識機構
取得した画像全領域に対してラドン変換を行う。ラドン変換後の画像により直線成分の有無が判別できる。その画像を領域に分割し、その領域内の最大輝度値を取得する。得られた各領域の輝度値を5レベル程度に分類し、その各レベルの連結性や存在位置のパターンと階段が存在するパターンとを比較し判別する。
取得した画像全領域に対してラドン変換を行う。ラドン変換後の画像により直線成分の有無が判別できる。その画像を領域に分割し、その領域内の最大輝度値を取得する。得られた各領域の輝度値を5レベル程度に分類し、その各レベルの連結性や存在位置のパターンと階段が存在するパターンとを比較し判別する。
d）デュアルパス・フィルターによる簡易マルチスペクトル画像センサ系の構成
近年各国でLED式交通信号機が普及しつつあるが、LED式交通信号機では、図５に示すように鋭い発光スペクトル強度特性を有する。即ち、赤、青、黄、の各信号は、それぞれに特有な波長帯を持つ。
従って、鋭い通過域特性を有する光学バンドパスフィルタを挿入することで、S／Nの良い信号機認識処理が可能になる。しかるに通常のカラーCCD画像センサでは、RGB表色系を近似した通過域特性を有するモザイク状フィルタを半導体前面に装着しているため、鋭いスペクトルの抽出は困難である。そこで、本発明では、既存のRGBカラーCCDの前面に、双バンド通過の特性（通過波長帯域480〜520nmおよび620〜660nm）を有する光学フィルタを装着することで、信号機の育と赤に相当する波長成分を効果的に抽出する。
近年各国でLED式交通信号機が普及しつつあるが、LED式交通信号機では、図５に示すように鋭い発光スペクトル強度特性を有する。即ち、赤、青、黄、の各信号は、それぞれに特有な波長帯を持つ。
従って、鋭い通過域特性を有する光学バンドパスフィルタを挿入することで、S／Nの良い信号機認識処理が可能になる。しかるに通常のカラーCCD画像センサでは、RGB表色系を近似した通過域特性を有するモザイク状フィルタを半導体前面に装着しているため、鋭いスペクトルの抽出は困難である。そこで、本発明では、既存のRGBカラーCCDの前面に、双バンド通過の特性（通過波長帯域480〜520nmおよび620〜660nm）を有する光学フィルタを装着することで、信号機の育と赤に相当する波長成分を効果的に抽出する。
ｅ）路面認識処理モード
図３のセンサ系がモード３の位置に保持された場合、若しくは強制的に選択スイッチによって、「路面認識処理モード」が選択された場合には、センサの感度受容野を画像の中心部に限定し、その部分のスペクトル情報にもとづいて、対象物の認識を行う。この場合、上記d）で用いた2波長帯域に加えるに、480〜520nmのG帯域および、近赤外域（880〜960nm）を加えた4波長マルチスペクトル画像センサを図３のセンサ部に使用する。これらの各スペクトル強度を、予め学習させたあるニューラルネットワークの多層パーセプトロンに入力することで、歩行中の路面上の盲人用プレートや、アスファルト道路、水溜りの有無などを高い精度で判別できる。
図３のセンサ系がモード３の位置に保持された場合、若しくは強制的に選択スイッチによって、「路面認識処理モード」が選択された場合には、センサの感度受容野を画像の中心部に限定し、その部分のスペクトル情報にもとづいて、対象物の認識を行う。この場合、上記d）で用いた2波長帯域に加えるに、480〜520nmのG帯域および、近赤外域（880〜960nm）を加えた4波長マルチスペクトル画像センサを図３のセンサ部に使用する。これらの各スペクトル強度を、予め学習させたあるニューラルネットワークの多層パーセプトロンに入力することで、歩行中の路面上の盲人用プレートや、アスファルト道路、水溜りの有無などを高い精度で判別できる。
これまでの画像処理技術の実世界に対する適用は、白線や階段など極めてある特定の物事のみを認識対象としてきた。本発明では複数の対象物に対して、センサ系が保持されている角度をアプリオリ情報として、あるいは強制的に選択されるモードに従って対象物の範囲と、その認識にふさわしい処理系の選択を行うことで、より現実的な認識結果を得ることができる。「特に、障害物認識処理モード」にあっては、周波数特性の視点から見た「歩行可能の是非の判別」という極めて漠然とした情報を取得し、この装置を用いるユーザーの立場に立った有用な出力を与えることができる。また歩行不可の可能性のある場合のみ障害物解析を行うという手法により、疑いのない場所での無駄な解析を省略しシステムの応答性を高めるとともに、過剰な警戒信号が使用者へ与える緊張・疲労感を低減することができる。
機器形状
図６は、本発明による視覚障害者用画像認識装置の実施態様で使用するセンサ部の平面図である。ハーフミラーを用いた構造により3台のCCDカメラCCD1-3(CCD3は図示せず)直前に設置した光学フィルタFl〜F3（F3は図示せず）によって4チャンネルのマルチスペクトル観測系を構成している。なお、Flはデュアルパスフィルタで、RGB出力を有するCCDlに内臓されているモザイクフィルタとの組合せで、2チャンネル分を担当する。対象物の同一箇所について4チャンネルのスペクトルを同時取得することが可能な単軸の画像取得機を形成している。取得した情報はノートPCに送られる。PC上に搭載されている汎用数値解析ソフト（本実施例ではMATLABというソフトを使用した。）はそれらの情報を受け取り、前述した各種画像認識処理を行う。画像認識処理結果により障害物フラグや各種信号機フラグなど適切なフラグを立て、それを音声出力モジュールに送る。
図６は、本発明による視覚障害者用画像認識装置の実施態様で使用するセンサ部の平面図である。ハーフミラーを用いた構造により3台のCCDカメラCCD1-3(CCD3は図示せず)直前に設置した光学フィルタFl〜F3（F3は図示せず）によって4チャンネルのマルチスペクトル観測系を構成している。なお、Flはデュアルパスフィルタで、RGB出力を有するCCDlに内臓されているモザイクフィルタとの組合せで、2チャンネル分を担当する。対象物の同一箇所について4チャンネルのスペクトルを同時取得することが可能な単軸の画像取得機を形成している。取得した情報はノートPCに送られる。PC上に搭載されている汎用数値解析ソフト（本実施例ではMATLABというソフトを使用した。）はそれらの情報を受け取り、前述した各種画像認識処理を行う。画像認識処理結果により障害物フラグや各種信号機フラグなど適切なフラグを立て、それを音声出力モジュールに送る。
画像処理実施例
画像認識処理の実施例として、4chスペクトル情報を用いたニューラルネットによる識別モデルと結果、歩行可能是非判別モデルと結果、階段認識のモデルと結果を示す。
1）4chスペクトル情報を用いた識別モデルおよび結果
本発明による視覚障害者用画像認識装置において、4chスペクトル情報を用いた使用して、道路上のある光景（道路、白線、水溜り、青信号、赤信号を含む画像）を解析しその識別結果（道路、白線、水溜り、青信号、赤信号）を表1のコンフュージョンマトリクスに示す。
画像認識処理の実施例として、4chスペクトル情報を用いたニューラルネットによる識別モデルと結果、歩行可能是非判別モデルと結果、階段認識のモデルと結果を示す。
1）4chスペクトル情報を用いた識別モデルおよび結果
本発明による視覚障害者用画像認識装置において、4chスペクトル情報を用いた使用して、道路上のある光景（道路、白線、水溜り、青信号、赤信号を含む画像）を解析しその識別結果（道路、白線、水溜り、青信号、赤信号）を表1のコンフュージョンマトリクスに示す。
表1の対角成分より算出される識別成績は平均約90％となっており、実用に絶えうることが期待できる。盲人用タイルプレートや白線の追尾、信号認識などにその結果は用いることができる。特に、安全面での重要性の高い交通信号の青・赤の認識率が高いことは、本発明による技法の有用性を示すものである。
また、実際に本発明による装置で測定した4chそれぞれの画像を図７と図８に示す。図７は歩行者用信号機（LED、青）を撮影したものであるが、それぞれのチャンネルで明確な差があらわれていることが分かる。即ち、青、及び緑のスペクトル画像では、図に示すように青信号の「人の形状のマーク」を非常にシャープに捉えることができる。同様に、図８は歩行者用信号機（LED、赤）を撮影したものであり、赤のスペクトル画像では、図に示すように、赤信号の「マーク」を非常にシャープに捉えることができる。
また、実際に本発明による装置で測定した4chそれぞれの画像を図７と図８に示す。図７は歩行者用信号機（LED、青）を撮影したものであるが、それぞれのチャンネルで明確な差があらわれていることが分かる。即ち、青、及び緑のスペクトル画像では、図に示すように青信号の「人の形状のマーク」を非常にシャープに捉えることができる。同様に、図８は歩行者用信号機（LED、赤）を撮影したものであり、赤のスペクトル画像では、図に示すように、赤信号の「マーク」を非常にシャープに捉えることができる。
2）歩行可能是非判別モデルと結果
図９は、廊下を撮影した画像であり、この元画像を部分ごとに2次元フーリエ変換し、まとめ前述の式で2値化したものが図1０である。床面に比べ壁の部分では特徴的な白い画像がえられることが分かる。この局所ごとに輝度値を累計し、それをパワーとし表示したものが図1１である。歩行可能な床面はパワーが低く、壁やエッジとは明確に区別することができる。
図1２に廊下の画像の別の例を示す。図より歩行可能な廊下部分は安全域、注意しなければならない緑部（エッジ）は危険域として認識できていることがわかる。この危険領域が画像内指定域に進入した段階で、ユーザーに警告信号を音声により渡して危険を知らせる。
図９は、廊下を撮影した画像であり、この元画像を部分ごとに2次元フーリエ変換し、まとめ前述の式で2値化したものが図1０である。床面に比べ壁の部分では特徴的な白い画像がえられることが分かる。この局所ごとに輝度値を累計し、それをパワーとし表示したものが図1１である。歩行可能な床面はパワーが低く、壁やエッジとは明確に区別することができる。
図1２に廊下の画像の別の例を示す。図より歩行可能な廊下部分は安全域、注意しなければならない緑部（エッジ）は危険域として認識できていることがわかる。この危険領域が画像内指定域に進入した段階で、ユーザーに警告信号を音声により渡して危険を知らせる。
3）階段認識のモデルと結果
図１３に上り階段の取得画像例（図の左の画像）、エッジ抽出画像例（図の右の画像）、図１４に、図１３の画像のラドン変換画像の輝度値を示す。
図より、上り階段進入時には90°付近の直線成分が複数存在していることがわかる。この特徴量を検出するため、中央部60°から120°の輝度値をスキャンし、0から4の5レベルに判別したもの（判別の鮮明化のためレベル１は強制的にレベル0にした）を図１５に示す。図より、上り階段進入時にはレベル2以上の連続または独立した存在がふたつ（以上）存在することがわかる。
図１３に上り階段の取得画像例（図の左の画像）、エッジ抽出画像例（図の右の画像）、図１４に、図１３の画像のラドン変換画像の輝度値を示す。
図より、上り階段進入時には90°付近の直線成分が複数存在していることがわかる。この特徴量を検出するため、中央部60°から120°の輝度値をスキャンし、0から4の5レベルに判別したもの（判別の鮮明化のためレベル１は強制的にレベル0にした）を図１５に示す。図より、上り階段進入時にはレベル2以上の連続または独立した存在がふたつ（以上）存在することがわかる。
次に図1６に下り階段の取得画像例（図の左の画像）、エッジ抽出画像例（図の右の画像）、図１７に、図１６の画像のラドン変換画像の輝度値を示す。
図より、下り階段進入時には９０°付近の直線成分が連続的に存在していることがわかる。この特徴量を検出するため、中央部60°から120°の輝度値をスキャンし、5レベルに判別したもの（判別の鮮明化のためレベル1は強制的にレベル0にした）を図１８に示す。図より、下り階段画像の中央部上に見られる特徴的な直線の反復が、レベル2以上の3連続という形で表れていることが、この3連続を下り階段に特有のものとして、判別を行う。
図より、下り階段進入時には９０°付近の直線成分が連続的に存在していることがわかる。この特徴量を検出するため、中央部60°から120°の輝度値をスキャンし、5レベルに判別したもの（判別の鮮明化のためレベル1は強制的にレベル0にした）を図１８に示す。図より、下り階段画像の中央部上に見られる特徴的な直線の反復が、レベル2以上の3連続という形で表れていることが、この3連続を下り階段に特有のものとして、判別を行う。
これらの特徴から上り階段と下り階段を識別する。条件をまとめると以下のとおりである。
（1）ラドン変換画像の中央部60°から120°の輝度値をスキャンし、輝度値を各5レベルに判別する
（2）レベル3以上の3（以上の）連続が存在すれば、下り階段の可能性を通告する
（3）上述の条件を満たさない場合で、レベル2以上の連続または独立した存在がふたつ（以上）ある場合、上り階段の可能性を通告する
（4）上記二つの条件を満たさない場合、階段は存在しない可能性を通告する
この判定システムを廊下歩行動画に適用したが、「階段なし」という結果を得た。そして、下りおよび上り階段進入動画に適用した結果を図１９、図２０に示す。図の縦軸は判定結果を示し、0が階段なし、1が上り階段、2が下り階段の判定を示す。階段進入時に階段の存在の認識、上り下りの判別ができていることが分かる。
（1）ラドン変換画像の中央部60°から120°の輝度値をスキャンし、輝度値を各5レベルに判別する
（2）レベル3以上の3（以上の）連続が存在すれば、下り階段の可能性を通告する
（3）上述の条件を満たさない場合で、レベル2以上の連続または独立した存在がふたつ（以上）ある場合、上り階段の可能性を通告する
（4）上記二つの条件を満たさない場合、階段は存在しない可能性を通告する
この判定システムを廊下歩行動画に適用したが、「階段なし」という結果を得た。そして、下りおよび上り階段進入動画に適用した結果を図１９、図２０に示す。図の縦軸は判定結果を示し、0が階段なし、1が上り階段、2が下り階段の判定を示す。階段進入時に階段の存在の認識、上り下りの判別ができていることが分かる。
4）統合的な障害判断
これまで取得した画像の評価のため、色特徴、周波数特性、輪郭線の直線性、という視点からみた特性値を取得しそれぞれの結果を得た。これらを統合的に判断するためメタクラスの処理系を据える。図２１にその概念図を示す。
図のように、それぞれの視点から見た特徴評価は並列に存在する（特徴評価の視点は増設可能）。それらの上位クラスで統合的に状況を判断するものとして学習済みのニューラルネットワークを置く。この学習は一般的な階段、廊下、道を学習したものでもよいし、もしユーザーの歩行する区域が限定されたものであるならば、その実データをもとに学習させればなおよい。このニューラルネットワークが最終的な判断（コースアウト、歩行警告、安全信号）を出すこととなる。
以上、詳述したように、本発明による手法によれば、街路上の画像をオンライン自動解析し、視覚障害者が街路を歩行するのに障害となる対象物の情報や、歩行支援情報を高い精度で自動生成し、音声等によって視覚障害者に提供することが可能になる。
これまで取得した画像の評価のため、色特徴、周波数特性、輪郭線の直線性、という視点からみた特性値を取得しそれぞれの結果を得た。これらを統合的に判断するためメタクラスの処理系を据える。図２１にその概念図を示す。
図のように、それぞれの視点から見た特徴評価は並列に存在する（特徴評価の視点は増設可能）。それらの上位クラスで統合的に状況を判断するものとして学習済みのニューラルネットワークを置く。この学習は一般的な階段、廊下、道を学習したものでもよいし、もしユーザーの歩行する区域が限定されたものであるならば、その実データをもとに学習させればなおよい。このニューラルネットワークが最終的な判断（コースアウト、歩行警告、安全信号）を出すこととなる。
以上、詳述したように、本発明による手法によれば、街路上の画像をオンライン自動解析し、視覚障害者が街路を歩行するのに障害となる対象物の情報や、歩行支援情報を高い精度で自動生成し、音声等によって視覚障害者に提供することが可能になる。
１０ 視覚障害者用画像認識装置
２０ マルチスペクトル画像センサ
３０ 姿勢センサ
４０ 画像認識処理手段
４１ 処理モード設定部
４２ 画像認識部
４３ ラドン変換手段
４４ 階段認識手段
４５ ニューラルネットワーク
４６ 支援情報出力手段
５０ 処理モード制御（強制切替）手段
６０ 音響信号生成手段
７０ 音響信号再生手段
８０ マルチスペクトル画像センサ
８２ 処理モード切替器
８４ 3次元加速度センサ
８６ センサ姿勢算出器
８８ 強制処理スイッチ
９０ 画像認識処理部
９２ 音響信号発生器
９４ スピーカ
１００ 3D加速度センサ
１０２ ＣＣＤカメラ
１０４ フィルタ・レンズ
１０６ グリップ部
１１０ 入力画像
１１２ 小領域
２０ マルチスペクトル画像センサ
３０ 姿勢センサ
４０ 画像認識処理手段
４１ 処理モード設定部
４２ 画像認識部
４３ ラドン変換手段
４４ 階段認識手段
４５ ニューラルネットワーク
４６ 支援情報出力手段
５０ 処理モード制御（強制切替）手段
６０ 音響信号生成手段
７０ 音響信号再生手段
８０ マルチスペクトル画像センサ
８２ 処理モード切替器
８４ 3次元加速度センサ
８６ センサ姿勢算出器
８８ 強制処理スイッチ
９０ 画像認識処理部
９２ 音響信号発生器
９４ スピーカ
１００ 3D加速度センサ
１０２ ＣＣＤカメラ
１０４ フィルタ・レンズ
１０６ グリップ部
１１０ 入力画像
１１２ 小領域
Claims (9)
- 視覚障害者用画像認識装置であって、
波長帯域が各々異なる複数の画像を同時に取得するマルチスペクトル画像センサと、
前記装置の姿勢情報を取得する姿勢センサと、
前記姿勢センサで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理手段と、
前記画像認識処理手段による画像認識処理の結果に応じて音響信号を生成する音響信号生成手段と、
を具えることを特徴とする視覚障害者用画像認識装置。 - 請求項１に記載の視覚障害者用画像認識装置において、
前記複数の処理モードのうちのユーザが所望する処理モードに強制的に設定して動作するよう前記画像認識処理手段を制御する処理モード制御手段、
を具えることを特徴とする視覚障害者用画像認識装置。 - 請求項１または２に記載の視覚障害者用画像認識装置において、
前記画像認識手段は、前記複数の画像の少なくとも１つの画像を複数の領域に分割し、領域ごとにフーリエ変換し領域ごとに輝度値の変化量を示す特徴量であるパワーを求めるパワー算出手段を含む、
ことを特徴とする視覚障害者用画像認識装置。 - 請求項１〜３のいずれか１項に記載の視覚障害者用画像認識装置において、
前記画像認識手段は、
前記複数の画像の少なくとも１つの画像の全領域をラドン変換するラドン変換手段と、
前記ラドン変換された画像を複数の領域に分割し各領域内の最大輝度値を求め、所定の輝度値を越える領域の配置パターンに基づき階段を識別する階段識別手段と、を含む、
ことを特徴とする視覚障害者用画像認識装置。 - 請求項１〜４のいずれか１項に記載の視覚障害者用画像認識装置において、
前記マルチスペクトル画像センサは、
画像を撮影する撮影手段と、
複数の波長帯域の光を通過させる光学バンドパスフィルタと、を含む、
ことを特徴とする視覚障害者用画像認識装置。 - 請求項１〜５のいずれか１項に記載の視覚障害者用画像認識装置において、
前記姿勢センサは、３次元加速度センサを含み、
前記装置は、
前記３次元加速度センサが前記装置がほぼ静止状態であると認識したときのみ、前記複数の画像を取得するよう前記マルチスペクトル画像センサを制御する画像センサ制御手段を具える、
ことを特徴とする視覚障害者用画像認識装置。 - 請求項１〜６のいずれか１項に記載の視覚障害者用画像認識装置において、
前記画像認識処理手段は、
画像から得られた学習用スペクトル特性、学習用周波数特性、及び学習用エッジの直線性を含む特性データと前記画像における実際の状況を記述した教師データとで予め学習させてあるニューラルネットワークと、
前記ニューラルネットワークを使用して前記複数の画像から取得したスペクトル特性、周波数特性及びエッジの直線性に基づき、歩行支援情報を出力する支援情報出力手段と、を含み、
前記音響信号生成手段は、前記歩行支援情報に基づき前記音響信号を生成する、
ことを特徴とする視覚障害者用画像認識装置。 - 視覚障害者用画像認識方法であって、
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を演算手段を使用して行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、演算手段及び信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする視覚障害者用画像認識方法。 - 視覚障害者用画像認識方法をコンピュータに実行させるための視覚障害者用画像認識プログラムであって
波長帯域が各々異なる複数の画像をマルチスペクトル画像センサを使用して同時に取得するマルチスペクトル画像センシングステップと、
前記マルチスペクトル画像センサの姿勢情報を姿勢センサを使用して取得する姿勢センシングステップと、
前記姿勢センシングステップで取得された前記姿勢情報に基づき、交通信号標識が発する光の波長を含むような波長帯域を持つ画像に対して画像認識処理を行う交通信号標識認識処理モード、通常の画像認識処理を行う障害物認識処理モード、及び、前記複数の画像の各々の中心部に限定して画像認識処理を行う路面認識処理モードを含む複数の処理モードのうちの１つを選択し、この選択された処理モードで前記複数の画像の少なくとも１つの画像の認識処理を行う画像認識処理ステップと、
前記画像認識処理ステップによる画像認識処理の結果に応じて、信号生成回路を使用して音響信号を生成する音響信号生成ステップと、
を含むことを特徴とする視覚障害者用画像認識プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004075251A JP3837572B2 (ja) | 2004-03-16 | 2004-03-16 | 視覚障害者用画像認識装置、その方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004075251A JP3837572B2 (ja) | 2004-03-16 | 2004-03-16 | 視覚障害者用画像認識装置、その方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005266014A JP2005266014A (ja) | 2005-09-29 |
| JP3837572B2 true JP3837572B2 (ja) | 2006-10-25 |
Family
ID=35090669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004075251A Expired - Lifetime JP3837572B2 (ja) | 2004-03-16 | 2004-03-16 | 視覚障害者用画像認識装置、その方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3837572B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007077534A1 (en) * | 2006-01-06 | 2007-07-12 | Koninklijke Philips Electronics N.V. | Sound device with informative sound signal |
| JP4675811B2 (ja) * | 2006-03-29 | 2011-04-27 | 株式会社東芝 | 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム |
| KR102337209B1 (ko) | 2015-02-06 | 2021-12-09 | 삼성전자주식회사 | 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체 |
| US10936912B2 (en) | 2018-11-01 | 2021-03-02 | International Business Machines Corporation | Image classification using a mask image and neural networks |
| JP7320214B2 (ja) * | 2019-02-21 | 2023-08-03 | 国立研究開発法人宇宙航空研究開発機構 | モニタリング装置及びモニタリング方法 |
| KR102407126B1 (ko) * | 2021-09-13 | 2022-06-08 | 김규석 | 형상 및 색채 인식 카메라를 채용한 시각장애인용 스마트 안경 시스템 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1157216A (ja) * | 1997-08-15 | 1999-03-02 | Sony Corp | ゲーム装置 |
| JP4109806B2 (ja) * | 1999-08-31 | 2008-07-02 | 株式会社東芝 | 触覚を利用した方向提示装置及びその方法 |
| JP2002065721A (ja) * | 2000-08-29 | 2002-03-05 | Komatsu Ltd | 視覚障害者用環境認識支援装置及びその方法 |
| JP3963424B2 (ja) * | 2000-10-23 | 2007-08-22 | 株式会社エッチャンデス | 視覚装置 |
| JP2003023699A (ja) * | 2001-07-05 | 2003-01-24 | Saibuaasu:Kk | 空間情報聴覚化装置および空間情報聴覚化方法 |
| DE10138361A1 (de) * | 2001-08-04 | 2003-02-27 | Daimler Chrysler Ag | Verfahren zur Verbessung der Sicht in Fahrzeugen |
| DE10203413C2 (de) * | 2002-01-28 | 2003-11-27 | Daimler Chrysler Ag | Automobiles Infrarot-Nachtsichtgerät |
| DE10335190A1 (de) * | 2003-07-30 | 2005-03-03 | Daimlerchrysler Ag | Sensoranordnung mit einer Mehrzahl von Typen optischer Sensoren |
-
2004
- 2004-03-16 JP JP2004075251A patent/JP3837572B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005266014A (ja) | 2005-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tapu et al. | Wearable assistive devices for visually impaired: A state of the art survey | |
| CN110175576B (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
| JP6144656B2 (ja) | 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法 | |
| JP6384182B2 (ja) | 道路上の線形指示標識の検出方法及び装置 | |
| US7230538B2 (en) | Apparatus and method for identifying surrounding environment by means of image processing and for outputting the results | |
| Reisman et al. | Crowd detection in video sequences | |
| JP4623135B2 (ja) | 画像認識装置 | |
| KR102099265B1 (ko) | 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 | |
| JP4470067B2 (ja) | 対象物種別判定装置、車両 | |
| US7667581B2 (en) | Pedestrian detector and detecting method using change of velocity of object in image | |
| KR101054025B1 (ko) | 시각장애인 보행 안내 방법 및 그 시스템 | |
| JP2006251596A (ja) | 視覚障害者支援装置 | |
| JP2007241740A (ja) | 車両周辺監視装置 | |
| Tian et al. | Dynamic crosswalk scene understanding for the visually impaired | |
| JP7018607B2 (ja) | 移動物体検出装置および移動物体検出方法 | |
| JP2007293627A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
| JP2007249841A (ja) | 画像認識装置 | |
| JP2005316607A (ja) | 画像処理装置及び画像処理方法 | |
| JP5530530B2 (ja) | 車両の周辺監視装置 | |
| JPH10334207A (ja) | 人流計測装置 | |
| JP2021511556A (ja) | 高速物体認識用のシルエットの使用 | |
| CN103186905A (zh) | 车用颜色检测器 | |
| JP3837572B2 (ja) | 視覚障害者用画像認識装置、その方法及びプログラム | |
| JP2005332071A (ja) | 視覚障害者追跡システム及び視覚障害者検出方法 | |
| JP5642785B2 (ja) | 車両の周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040316 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040521 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3837572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |