JP4375879B2 - 視覚障害者用歩行支援システムおよび情報記録媒体 - Google Patents
視覚障害者用歩行支援システムおよび情報記録媒体 Download PDFInfo
- Publication number
- JP4375879B2 JP4375879B2 JP2000138124A JP2000138124A JP4375879B2 JP 4375879 B2 JP4375879 B2 JP 4375879B2 JP 2000138124 A JP2000138124 A JP 2000138124A JP 2000138124 A JP2000138124 A JP 2000138124A JP 4375879 B2 JP4375879 B2 JP 4375879B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- character
- obstacle
- predetermined
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は視覚障害者等が単独で歩行する際に障害物となり得る物体を認識してその存在を視覚障害者等に報知するナビゲーションあるいはさらに行き先や現在位置に関する情報を周囲の文字情報に基づいて認識してその意味内容を視覚障害者等に報知するプランニングを可能ならしめる視覚障害者用歩行支援システムおよび情報記録媒体に関する。
【０００２】
【従来の技術】
従来、視覚障害者あるいは弱視者等が屋外を単独で歩行する際などには、ナビゲーションおよびプランニングに関する機能あるいは情報が必要となる場合が多い。ここでナビゲーションとは、障害物等の存在や危険な状況等を察知して、それらを回避して安全に歩行することである。プランニングとは、行先案内等を掲示した情報あるいは目的地までの道順に関する情報等を得ることや、現在位置等を確認することなどである。
【０００３】
従来、ナビゲーション用の道具としては一般に白杖が用いられている。この白杖によって、体の約１ｍ程度まで前方の路上の状態を把握することができる。すなわち、前方が例えば階段であるのか歩道であるのかといった情報や、障害物の有無などの情報を、この白杖による触覚的応答に基づいて把握することができ、しかもその構成は簡便で取扱も容易なものである。
【０００４】
ところが、このような白杖では、足元のような低い位置の状況については把握することができるが、同時に上半身や頭上など高い位置の状況について把握することが困難である。また、ナビゲーションとしての初歩的な機能は果すことが可能であるが、さらに遠方の状況や行先の情報を把握することが困難であり、さらには目的地までの方向や道順などのプランニングに関する機能を果たすことは実際上不可能である。
【０００５】
そこで、白杖では困難な機能に関して補完するために、盲導犬を用いることが一般に提案されている。しかし、犬という動物を用いるので、例えば盲導犬が寝ている間や調子の如何などによっては利用できない場合があるという問題や、飼い主との相性の善し悪しの問題や、飼い主が動物嫌いである場合には使い辛いといった問題などがある。また、動物であるが故に、どのように調教して優れた盲導犬に仕立てても、複雑な都市環境や道路交通事情等の社会的な情報を臨機応変に認識することには限界があるので、例えば決まった通行コースを逸脱した場合に最も安全かつ最短のコースを通行して目的地に到達するといったプランニングなどに対応することは、実質的に困難であるという問題がある。
【０００６】
【発明が解決しようとする課題】
上記のような白杖や盲導犬などを用いた手法に関する問題点を解決するために、視覚障害者用の歩行支援装置等が種々開発され、提案されているが、それらはいずれも次に挙げるような問題点を有している。
【０００７】
まず、白杖に超音波や赤外線を発信及び受信する装置を取り付けた、いわゆるセンサ杖と呼ばれるものが提案されている。これは、さらに詳細には、超音波や赤外線などを発射し障害物等で反射して戻ってきたものを受信して、その伝搬時間などに基づいて、現在位置と障害物等との間の距離を計測し、その距離が所定値以下で近い場合には、障害物が近くにある旨の警報等を、ユーザすなわち視覚障害者等に知らせるというものである。
【０００８】
しかしながら、このような手法では、前方のどの位置にどのようなものが障害物として存在しているのかについてを把握することが困難であるという問題がある。
【０００９】
あるいは、ステレオ画像を撮像することにより、それに基づいて障害物等を検知するという手法が、例えば特開昭６４−５２１８８７号公報や特開平７−６２３５６号公報等により提案されている。
【００１０】
しかしながら、障害物のさらに具体的な位置等を把握することについては言及されていない。
【００１１】
また、例えば特開平８−２５７０５３号公報等には、ステレオ画像を撮像することにより、それに基づいて障害物までの距離をユーザである視覚障害者等に知らせるという手法が提案されている。
【００１２】
しかしながら、障害物の存在を検知することや、障害物までの距離を把握するといった実現可能であるとしても、さらに詳細にその障害物がどのような位置にどのような大きさで存在しているかといった情報を把握することなどについては提案されていない。
【００１３】
また、そのようなナビゲーションとしての初歩的な機能よりもさらに進んだプランニングなどに対応可能な情報を把握することは、これらの手法では実質的に困難であるという問題がある。
【００１４】
一方、そのようなプランニングに関する情報をユーザである視覚障害者等に提供するという手法に関しては、例えば通信システムを用いた代行システムによりナビゲーションおよびプランニングを行うという手法が提案されている。
【００１５】
これは、さらに詳細には、ユーザである視覚障害者等が必要なときに現在位置から撮像装置等によって撮影される映像を通信手段を介して管理センタに伝送し、管理センタでは伝送されて来た映像に基づいてそのユーザの現在位置を把握し、これからユーザが行こうとする目的地へのナビゲーションおよびプランニングを代行して立案して、それらに関する情報を、通信手段を介してユーザに音声情報等として伝えるというものである。
【００１６】
しかしながら、このような代行システムでは、ユーザのプライバシィを確保することが困難であるという問題がある。また、例えば地下道や鉄筋コンクリート製や金属を多用した建物の内部など、無線通信手段による通信が困難な場所での使用が実際上できない場合が多いなど、通信手段上の制約が大きいという問題がある。
【００１７】
あるいは、誘導用の情報を発信する発信機あるいは誘導具を、建物の壁などの要所ごとに設置しておき、その付近をユーザが歩行していてナビゲーションやプランニングが必要となった際に、自らの携帯している受信機によって誘導用の情報を受信したり、発／受信機から情報呼び出し用の信号を誘導具に向けて発信し、その誘導具から発せられた誘導用の情報を受信する、といった手法も提案されている。例えば建物の出口の位置が分からなくなった際に、このような手法を用いることにより、出口付近の誘導具から「出口はこちらです」といった音声アナウンスが発せられる。このようにしてユーザが出口の方向や位置を確認することができる。
【００１８】
しかしながら、このような手法は、誘導用の情報を発信する発信機や誘導具が設置されていない場所では利用することができないという問題がある。また、建物に設置された発信機や誘導具と受信機との間での通信手段による通信が妨害されやすい場所やその他の電磁波を用いた機器などが付近で用いられることの多い場所では使用が困難となる場合が多いという問題がある。
【００１９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、歩行時の障害物を検知してその具体的な位置や距離の把握などのナビゲーションに関する情報や、目的地に到達するための現在地点の把握および行先の方向等の確認などのプランニングに関する情報を、時刻や場所に関わらず、ユーザである視覚障害者等が必要なときに、プライバシィを損うことなく自由かつ確実に把握することを可能とする視覚障害者用歩行支援システムおよび情報記録媒体を提供することにある。
【００２０】
【課題を解決するための手段】
本発明による視覚障害者用歩行支援システムは、光軸を向けた方向の所定領域内の映像をステレオ画像として撮像するステレオ画像撮像装置と、前記ステレオ画像から、視覚障害者にとって現在位置に関する情報および行先に関する情報のうち少なくともいずれか一方に関して確認可能な所定の文字を含む文字情報を抽出し、その文字情報の意味内容を認識する情報処理装置と、前記文字情報の意味内容を音声情報または触覚情報によって発する情報伝達装置とを備えている。情報処理装置は、さらに、所定の時間差で撮像された２つのステレオ画像に対して特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理を行い、空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合にはゾーンに障害物候補または文字情報候補があるものと判定し、所定の時間差で撮像された２つのステレオ画像に関する判定の論理積を演算し、その演算結果が真の場合にはゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置をゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行うものである。情報伝達装置は、障害物または文字情報の有無に関する情報を音声情報または触覚情報によって発するものである。
【００２１】
本発明による視覚障害者用歩行支援システムでは、視覚障害者にとって現在位置に関する情報や行先に関する情報を把握可能な文字情報を、ステレオ画像撮像装置によって撮像されたステレオ画像から抽出し、その文字情報から得られる意味内容を情報伝達装置が音声情報または触覚情報によって発する。ここで、情報処理装置は、所定の時間差で撮像された２つのステレオ画像に対して、特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理を行う。情報処理装置は、さらに、空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合にはゾーンに障害物候補または文字情報候補があるものと判定し、所定の時間差で撮像された２つのステレオ画像に関する判定の論理積を演算し、その演算結果が真の場合にはゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置をゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行い、情報伝達装置は、さらに、障害物または文字情報の有無に関する情報を音声情報または触覚情報によって発する。これにより、ユーザである視覚障害者（あるいは弱視者等）は、現在位置を把握することや、行先がどちらの方向であるのかについてなど、プランニングに関する情報を把握することが可能となる。
【００２２】
本発明による視覚障害者用歩行支援システムは、情報処理装置が、さらに、視覚障害者にとって前記映像中を歩行するに際して障害物となり得る所定の物体の存在の有無およびその位置に関する情報のうち少なくとも前記存在の有無に関する情報を、ステレオ画像から認識するものであるようにしてもよい。
【００２３】
本発明による視覚障害者用歩行支援システムでは、ステレオ画像から、さらに障害物の存在やその位置に関する情報を抽出し、その情報を情報伝達装置が音声情報または触覚情報によって発する。これにより、ユーザである視覚障害者等は、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。
【００２４】
しかも、ステレオ画像撮像装置は、光軸を向けた方向の所定領域内の映像を撮像するように設定されているので、ユーザはそのステレオ画像撮像装置を向けた方向に存在している障害物や文字情報のみを明確な指向性を以てさらに明確に把握することが可能となる。
【００２５】
また、撮像された全画像中に存在する全ての文字情報を抽出したり認識処理したりするのではなく、視覚障害者にとって現在位置に関する情報や行先に関する情報に関して確認可能なものとあらかじめ想定される看板に掲げられた文字のような所定の文字を含む文字情報を、撮像されたステレオ画像から選択的に抽出するので、その画像処理や文字情報の認識処理等のデータ処理等を、モバイルパソコンのような情報処理装置でも短時間で確実に処理可能であるように簡易なものとすることができる。
【００２６】
なお、さらに詳細には、前記情報処理装置は、前記ステレオ画像から、看板文字情報を抽出する処理、その文字を１文字ずつの文字列に切り出す処理、その文字列を、前記所定の文字と比較して前記文字情報の意味内容を認識する処理を行うものであるようにしてもよい。
【００２９】
また、ステレオ画像撮像装置が、さらに、頭部に装着可能でその頭部が向いた方向の映像を撮像するように設定されており、かつ前記方向での所定の水平方向角度または所定の立体角内の映像を撮像するものであり、前記情報処理装置が、さらに、前記ゾーンとして前記撮像された映像の空間を所定の水平方向角度または所定の立体角に細分化したものを用いて、その細分化したゾーンのうち、どのゾーンに前記障害物または前記文字情報が存在しているかを認識するものであり、前記情報伝達装置が、さらに、前記障害物または前記文字情報が存在しているものと認識される位置に関する情報を音声情報または触覚情報によって発するものであるようにしてもよい。
【００３０】
すなわち、ステレオ画像撮像装置のＣＣＤのような撮像デバイスを、例えば黒眼鏡のような頭部に装着される器具に付設して、ユーザである視覚障害者の頭部（顔）の向きに応じてその頭部の向いた方向での所定の角度領域内の映像をステレオ画像として撮像し、それに基づいて、ユーザが顔を向けた方向での、障害物や文字情報の存在の有無や、その距離および位置、さらには文字情報の意味内容などを選択的に把握することが可能となる。従って、ユーザにとっては、自分が顔を向けた方向での障害物に関する情報や行先に関する情報を把握することができるので、ユーザが例えば頭部の向きを少しずつ変えることなどにより、その向きごとに空間的な障害物や行先表示の位置関係を把握することができる。その結果、視覚的に直接には障害物や行先表示の位置関係を把握することはできなくとも、自分の思考力による空間イメージの中で、自分の前方に存在している障害物や行先表示の空間的な位置関係をより直観的に把握することが可能となる。
【００３１】
なお、上記のような情報処理装置の機能はいずれも、コンピュータプログラムとして情報記録媒体に格納しておき、必要に応じてそれをモバイルパソコンのような携帯可能なパーソナルコンピュータなどの情報処理装置にインストールして利用するようにしてもよい。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３３】
図１は、本発明の一実施の形態に係る視覚障害者用歩行支援システムの概要構成を表すものである。
【００３４】
この視覚障害者用歩行支援システムは、ステレオ画像取込器（ステレオ画像撮像装置）１１と、モバイル型コンピュータ（情報処理装置）１２と、情報伝達器（情報伝達装置）２６とをその主要部に備えている。
【００３５】
ステレオ画像取込器１１は、黒眼鏡のレンズ部分にＣＣＤ撮像素子およびレンズ系（図示省略）を組み合わせた撮像装置が組み込まれており、その黒眼鏡をユーザが装着して障害物や行先表示などの情報を知りたい方向に顔を向けると、その方向の所定の角度領域内の光景をＣＣＤ撮像素子によってステレオ画像として撮像し、その画像データを出力するものである。
【００３６】
このステレオ画像取込器１１による一度に撮像可能な領域は、例えば光軸を中心としてその左右４５度ずつおよび上下４５度ずつのように、所定の角度領域内を選択的に指向性を以て撮像可能に設定されている。従って、ユーザが例えば自分の前方左半分の障害物や行先表示に関する情報を把握したい場合には、顔を左側約４５度の方向に向けてその方向の光景を撮像することができる。あるいは、自分の周囲（水平方向に３６０度）の障害物や行先表示の状況を把握したい場合などには、顔を真っ直ぐに向けた状態で、体の向きを９０度ずつ変えて、その方向ごとの状況をそれぞれ把握するなどして、左右前後の合計４方向の情報を併せて、自分の周囲３６０度の情報を把握することができるように設定されている。ただし、ステレオ画像取込器１１による撮像の指向性はこのような角度の設定のみには限定されないことは言うまでもない。
【００３７】
モバイル型コンピュータ１２は、現在位置確認モジュール２１、画像前処理モジュール２２、情報伝達モジュール２３、障害物検知モジュール２４を備えている。画像前処理モジュール２２は、前記のステレオ画像取込器１１からの画像データに前処理を施す。現在位置確認モジュール２１は、画像データから現在位置に関する情報を抽出する処理を行ってそれを情報伝達モジュール２３に出力する。障害物検知モジュール２４は、画像データから障害物に関する情報を抽出する処理を行ってそれを情報伝達モジュール２３に出力する。情報伝達モジュール２３は、入力された前記の処理結果の情報を情報伝達器２６にて音声情報や振動による情報を出力可能なキャラクタ信号や振動パターン発生信号のような電気信号に変換し、それを情報伝達器２６に向けて出力する。
【００３８】
ここで、モバイル型コンピュータ１２とは、携帯可能に設定された小型軽量なコンピュータの総称であって、ＰＣカードのような外部デバイス等を利用可能なインターフェイスドライブ機能を備えた情報処理装置を指すものとする。このモバイル型コンピュータ１２としては、音声出力機能や専用スピーカ２５を内蔵したものであることが望ましいが、外部出力可能なものであっても構わない。あるいは、携帯電話装置やＰＨＳ端末装置などへの接続機能を備えていたり、一般的なパソコンとしての種々の機能を合わせ持ったものなどを利用することも好ましい。
【００３９】
情報伝達器２６は、モバイル型コンピュータ１２から送られて来たキャラクタ信号や振動パターン発生信号のような電気信号に基づいて、障害物や行先表示に関する情報を音声情報あるいは振動などの触覚的情報によってユーザに報知するもので、スピーカ２６３、振動パターン発生モジュール２６１、振動器２６２を備えている。あるいはさらに、スピーカ２６３から出力されるものと同じ音声を出力するイヤホーン等（図示省略）を備えるようにしてもよいことは言うまでもない。
【００４０】
このような視覚障害者用歩行支援システムは、実際にそれをユーザが用いて単独で歩行する場合には、図２に一例を示したように用いられる。すなわち、ユーザである視覚障害者あるいは弱視者は、黒眼鏡状のステレオ画像取込器１１を顔面に装着すると共にモバイル型コンピュータ１２および情報伝達器２６を携帯し、またその手には補助的ナビゲーション手段として、いわゆる白杖を携える。この白杖については、視覚障害者用歩行支援システムにとって必須のものではないが、白杖を携行することが一般的となっており、またそのような手段を補助的に用いることがユーザにとって心理的にも安心感を得ることができる場合が多いので、このような白杖を併せ用いるようにしてもよいことは言うまでもない。距離的には、白杖によってユーザの直近から１ｍ程度の範囲内の足元の状況を把握することなどが可能である。また視覚障害者用歩行支援システムでは、ユーザの位置から３ｍないし５ｍ程度離れた位置の障害物等の状況を把握することなどが可能である。
【００４１】
次に、本実施の形態に係る視覚障害者用歩行支援システムの動作の概要について述べる。図３はその動作の概要を説明するための流れ図である。
【００４２】
まず、視覚障害者が屋外を歩行中に立ち止まり、現在位置を確認したいときには、ステレオ画像取込器１１で取り込んだ（撮像した）画像をその画像を解析して、画像中で行先表示や場所に関して示した看板の文字の可能性が高い文字を抽出し、その文字情報に基づいて、その建物が何であるかという情報や、行先表示の看板に書かれた意味内容などの情報を把握すると共に、その位置までの距離を把握し、それらの情報を音声情報や振動による触覚的情報として、情報伝達器２６から出力する。
【００４３】
あるいは、視覚障害者が屋外を歩行しているとき、または交差点等で立ち止まったときに、ステレオ画像取込器１１によって取り込んだステレオ画像をモバイル型コンピュータ１２に送り、その画像を解析して、例えば前方５ｍ先に障害物が存在していると判定されると、その情報を情報伝達器２６に送る。すると情報伝達器２６はその情報を音声情報や振動による触覚的情報として出力する。なお、振動による情報伝達に関するさらに具体的な手法それ自体については、例えば特願平１１−１２４５７２号による「情報伝達装置および情報送信伝達システム」にその詳細が提案されており、そのような手法を用いることが可能である。あるいはそのたの手法でも構わないことは言うまでもない。
【００４４】
歩行者本人が立ち止まって場所の確認を行うとき、モバイル型コンピュータ１２が既にシステム起動状態で（Ｓ４１〜Ｓ４２）、例えば信号ライン等を介してモバイル型コンピュータ１２と繋がっている押しボタン式のスイッチ等（図示省略）をユーザがオンにすると（Ｓ４３）、モバイル型コンピュータ１２はスイッチフラグＳＷを１にセットし（Ｓ４４）、ステレオ画像の取り込みおよび画像前処理を実行して（Ｓ４５）、スイッチフラグＳＷ＝１に基づいて（Ｓ４６のＹ）、現在位置確認処理を実行する（Ｓ４７）。あるいはスイッチフラグＳＷが０で位置の確認を行う必要がないときには（Ｓ４６のＮ）、障害物検知処理を実行する（Ｓ４８）。
【００４５】
こうして処理された情報は、情報伝達器２６によって音声情報あるいは触覚的情報として出力（情報伝達処理）される（Ｓ４９）。
【００４６】
システム起動スイッチがユーザによってオフにされると（Ｓ４１０のＹ）、システムはその動作を停止する（Ｓ４１１）。
【００４７】
図４は、現在位置確認処理に関するさらに詳細な流れ図である。まず、現在位置確認モジュール２１では、画像前処理モジュール２２で処理された画像処理後のステレオ画像が入力されると（Ｓ４７１）、その画像中から看板文字領域を抽出する（Ｓ４７２）。次に、抽出した看板文字領域内の文字を、１文字ずつ切り出す処理を実行する（Ｓ４７３）。続いて、切り出した文字群を、例えば「入口」、「出口」、「非常口」、「ゲート」、「通路」、「歩道」、「陸橋」、「方面」、「階段」、「エレベータ」、「改札」、「切符売場」、「東」、「西」、「南」、「北」等といった、視覚障害者にとって現在位置に関する情報や行先に関する情報などに関係の深いことが想定される所定の文字を含む文字情報としてデータベースにあらかじめ登録しておいた文字群とパターンマッチング法等により比較して、その文字群の意味内容を認識する処理を実行する（Ｓ４７４）。
【００４８】
そしてその認識された文字情報の意味内容を、例えば「Ａ４出口、特許庁方面」のように音声情報でユーザにアナウンスする（Ｓ４７５〜Ｓ４７６）。あるいは、このとき確定的な文字情報が認識されなかった場合や、不確定な判定しかできない場合には、音声情報を出力しない。あるいは判定不能の旨を報知するようにしてもよい。
【００４９】
なお、このような音声情報の出力処理（Ｓ４７５〜Ｓ４７６）における音声出力の手法それ自体については、前記の障害物検知モジュール２４からの情報に基づいた音声情報出力の情報伝達処理（Ｓ４９）と同様の手法を用いることが可能であることは言うまでもない。換言すれば情報伝達処理は現在位置情報の出力も障害物検知情報の出力も情報伝達器２６によって行うことが可能である。
【００５０】
所定の文字情報を得るための看板文字領域のさらに詳細な抽出処理手法は、図５の流れ図に示ように、画像処理後のステレオ画像データが入力されると（Ｓ４７２１）、その画像データに対して、文字の部分は背景部分と比較して空間周波数が高い傾向にあることを利用してエッジ領域検出処理を実行して（Ｓ４７２２）、ノイズを生じやすい小領域の除去を行う（Ｓ４７２３）。続いて、画像のｘ軸およびｙ軸ごとにそれぞれ濃度分布を調べる濃度写映演算処理を実行し（Ｓ４７２４）、その処理の結果、高濃度が多く（頻繁に）現れる部分を文字領域と判定して、その部分を選択して文字列範囲の切り出し処理を実行し（Ｓ４７２５）、文字列を得る（Ｓ４７２６）。
【００５１】
こうして切り出された文字列領域の画像データは（Ｓ４７３１）、さらに、図６の流れ図に表すような手順で１文字ずつにさらに切り出される。すなわち、まず文字列領域の画像データ全体でエッジ検出処理が施される（Ｓ４７３２）。このとき、文字列が斜めになっている場合には、ｘ軸またはｙ軸に対して平行になるように回転処理等を施すなどして整列化させる（Ｓ４７３３）。そして、さらに濃度写映演算処理を施して（Ｓ４７３４）、隣り合う文字どうしの間は濃度変化の頻度が低いことを利用して、文字間ギャップの検出を行うことにより（Ｓ４７３５）、１文字ずつの分離抽出処理を行って（Ｓ４７３６）、その分離された１文字ずつを文字列として順番に出力する（Ｓ４７３７）。
【００５２】
あるいは、図１０に示したように、文字情報を把握すると共に、その文字情報が掲げられている看板等までの距離を把握して、それらの情報を併せて出力（アナウンス）することなども可能である。すなわち、文字群の意味内容を認識する処理を把握する（Ｓ４７４）と共に、その文字群が抽出された看板等までの距離を三角測量法等によって把握して、それらの情報を併せて、例えば「右前方に行先表示板があります。Ａ４出口です」というように音声情報で報知するようにしてもよい。
【００５３】
障害物検知処理は、さらに詳細には、図７の流れ図に示したようなものである。すなわち、モバイル型コンピュータ１２は、画像処理前のステレオ画像を取り込むと（Ｓ４８１およびＳ４８７）、まずその画像から得られる特徴点を抽出する（Ｓ４８２およびＳ４８８）。この特徴点抽出処理では、物体のエッジを構成する点を好適に用いることができる。続いて、左右一対のステレオ画像のそれぞれからステレオ対応点を決定する（Ｓ４８３およびＳ４８９）。この相対応する特徴点ペア群の撮像面での水平および垂直方向の座標を用いて、その空間座標（水平および垂直位置）を、三角測量の計算手法によって求める（Ｓ４８４およびＳ４８１０）。
【００５４】
なお、ステレオ対応点決定処理の一部分はゼロ視差フィルタ（ＺＤＦ；ｚｅｒｏ ｄｉｓａｐｒｉｔｙ ｆｉｌｔｅｒ）法を用いて実行することができる。このＺＤＦ法については、例えばＰ．ｖｏｎ Ｋａｎｅｌ，Ｃ．Ｍ．Ｂｒｏｗｎ，ａｎｄ Ｄ．Ｊ．Ｃｏｏｍｂｓ，" Ｄｅｔｅｃｔｉｎｇ ｒｔｅｇｉｏｎｓ ｏｆ ｚｅｒｏ ｄｉｓｐａｒｉｔｙ ｉｎ ｂｉｎｏｃｕｌａｒ ｉｍａｇｅｓｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ，" Ｔｅｃｈ．Ｒｅｐ．ｏｆ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｅｃｈｅｓｔｅｒ，ＴＲ４１５，１９９２．等にその詳細が提案されている。これは要約すれば、奥行きｚを既知として与えておき左右のカメラから得られた画像から、視差量が一定（すなわち奥行きが同一）であるような画像特徴のみを出力し、それ以外を除去するという手法である。
【００５５】
上記のようにして空間位置データが求まると、さらに、その座標がユーザの体前方のどの位置にあるかを把握する（判定する）ために、それを例えば図８に一例を示したような所定の領域ごとに細分化された個々の空間分割ゾーンに投票する（Ｓ４８５およびＳ４８１１）。そして投票結果を、あらかじめ定められた評価値と比較して（Ｓ４８６およびＳ４８１２）、その評価値よりも大きな値である場合には（Ｓ４８６のＹおよびＳ４８１２のＹ）、その空間分割ゾーン内に障害物候補が存在しているものと仮判定する。そしてさらに、その障害物候補が障害物であるのか、それとも移動している他の歩行者や物体などであるのかについてを、区別するために、時刻ｔ−Δｔにおける判定結果と時刻ｔにおける判定結果とを用いて、その両者が評価値の条件を満たすものである場合にのみ、その障害物候補を実際の障害物であると判定する（Ｓ４８１３）。そしてその結果を障害物検知信号として出力する（Ｓ４８１４）。
【００５６】
なお、歩行時に障害物検知を行う場合には、時刻ｔで取り込んだ画像についての距離（Ｚ＋Δｚ）に関するＺＤＦ処理後の評価結果と、時刻ｔ−Δｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果との両方を用いて、その両者の論理積を取る。
【００５７】
あるいは、立ち止まった状態で障害物検知を行う場合には、時刻ｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果と、時刻ｔ−Δｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果との両方を用いて、その両者の論理積を取る。
【００５８】
いずれの場合も、論理積の結果が真の場合には、そのゾーンに障害物が存在しているものと判定し、偽の場合には、そのゾーンに障害物が存在していないものと判定する。そして、各ゾーンごとの真偽の分布が把握されると、その分布パターンに基づいて、障害物が、例えば頭部付近または足元付近あるいは体の左側または右側などのうち、どの位置にあるのかについてなどをユーザに報知するための障害物検知信号を出力する。
【００５９】
図９は、本発明による他の実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。なお、この図９では、説明および図示の簡潔化を図るために、上記実施の形態と同様の部位については、それと同一の符号を付して示している。
【００６０】
この視覚障害者用歩行支援システムでは、現在位置確認モジュール２１、画像前処理モジュール２２、情報伝達モジュール２３、障害物検知モジュール２４が、例えばＲＯＭ（リード・オンリ・メモリ）カードのようなコンピュータ用記録媒体（情報記録媒体）３１に格納されたソフトウェアを、例えばノートブック型パソコン（パーソナルコンピュータ) のようなモバイル型コンピュータ１２にソフトウェア実装されるように設定されている。このモバイル型コンピュータ１２は、いわゆるＯＳ３２とインターフェイスドライバソフト３３とを主要部に備えた基本ソフトウェアを持つもので、これに前記のようなコンピュータ用記録媒体（情報記録媒体）３１を装着すると共に、ステレオ画像取込器１１および情報伝達器２６をＰＣカード２７等を介して接続して、上記実施の形態と同様のシステムを構築することも可能である。
【００６１】
【発明の効果】
以上説明したように、請求項１ないし６のうちいずれか１項に記載の視覚障害者用歩行支援システムまたは請求項７ないし１２のうちいずれか１項に記載の情報記録媒体によれば、視覚障害者にとって現在位置に関する情報や行先に関する情報を把握可能な文字情報を、ステレオ画像撮像装置によって撮像されたステレオ画像から抽出し、その文字情報から得られる意味内容を情報伝達装置から音声情報または触覚情報として発するようにしたので、ユーザである視覚障害者あるいは弱視者等にとって、現在位置を把握することや、行先がどちらの方向であるのかについてなど、プランニングに関する情報を把握することが可能となるという効果を奏する。また、ユーザがそのステレオ画像撮像装置を向けた方向に存在している障害物や文字情報のみを、明確な指向性を以て、さらに明確に把握することが可能となる。
【００６２】
特に、請求項２ないし６のうちいずれか１項に記載の視覚障害者用歩行支援システムまたは請求項８ないし１２のうちいずれか１項に記載の情報記録媒体によれば、上記の効果にさらに加えて、ユーザである視覚障害者等にとって、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。
【００６３】
また、特に、請求項６に記載の視覚障害者用歩行支援システムまたは請求項１２に記載の情報記録媒体によれば、ユーザである視覚障害者にとって、自分の必要とする方向での障害物に関する情報や行先に関する情報を把握することができるので、その向きごとに空間的な障害物や行先表示の位置関係をより具体的に明確に把握することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。
【図２】図１に示した視覚障害者用歩行支援システムを実際にユーザが用いて単独で歩行する場合の一例を表す図である。
【図３】図１に示した視覚障害者用歩行支援システムの動作の概要を表す流れ図である。
【図４】現在位置確認処理のプロセスをさらに詳細に表す流れ図である。
【図５】所定の文字情報を得るための看板文字領域の抽出処理手法をさらに詳細に表す流れ図である。
【図６】文字列領域の画像データをさらに１文字ずつに切り出す処理を表す流れ図である。
【図７】障害物検知処理のプロセスをさらに詳細に表す流れ図である。
【図８】空間位置データを所定の領域ごとに細分化された個々の空間分割ゾーンに投票するプロセスを表す流れ図である。
【図９】本発明の他の実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。
【図１０】文字情報とその文字情報が掲げられている看板等までの距離とを把握して、それらの情報を併せて出力するプロセスを表す流れ図である。
【符号の説明】
１１…ステレオ画像取込器、１２…モバイル型コンピュータ、２１…現在位置確認モジュール、２２…画像前処理モジュール、２３…情報伝達モジュール、
２４…障害物検知モジュール、２６…情報伝達器
【発明の属する技術分野】
本発明は視覚障害者等が単独で歩行する際に障害物となり得る物体を認識してその存在を視覚障害者等に報知するナビゲーションあるいはさらに行き先や現在位置に関する情報を周囲の文字情報に基づいて認識してその意味内容を視覚障害者等に報知するプランニングを可能ならしめる視覚障害者用歩行支援システムおよび情報記録媒体に関する。
【０００２】
【従来の技術】
従来、視覚障害者あるいは弱視者等が屋外を単独で歩行する際などには、ナビゲーションおよびプランニングに関する機能あるいは情報が必要となる場合が多い。ここでナビゲーションとは、障害物等の存在や危険な状況等を察知して、それらを回避して安全に歩行することである。プランニングとは、行先案内等を掲示した情報あるいは目的地までの道順に関する情報等を得ることや、現在位置等を確認することなどである。
【０００３】
従来、ナビゲーション用の道具としては一般に白杖が用いられている。この白杖によって、体の約１ｍ程度まで前方の路上の状態を把握することができる。すなわち、前方が例えば階段であるのか歩道であるのかといった情報や、障害物の有無などの情報を、この白杖による触覚的応答に基づいて把握することができ、しかもその構成は簡便で取扱も容易なものである。
【０００４】
ところが、このような白杖では、足元のような低い位置の状況については把握することができるが、同時に上半身や頭上など高い位置の状況について把握することが困難である。また、ナビゲーションとしての初歩的な機能は果すことが可能であるが、さらに遠方の状況や行先の情報を把握することが困難であり、さらには目的地までの方向や道順などのプランニングに関する機能を果たすことは実際上不可能である。
【０００５】
そこで、白杖では困難な機能に関して補完するために、盲導犬を用いることが一般に提案されている。しかし、犬という動物を用いるので、例えば盲導犬が寝ている間や調子の如何などによっては利用できない場合があるという問題や、飼い主との相性の善し悪しの問題や、飼い主が動物嫌いである場合には使い辛いといった問題などがある。また、動物であるが故に、どのように調教して優れた盲導犬に仕立てても、複雑な都市環境や道路交通事情等の社会的な情報を臨機応変に認識することには限界があるので、例えば決まった通行コースを逸脱した場合に最も安全かつ最短のコースを通行して目的地に到達するといったプランニングなどに対応することは、実質的に困難であるという問題がある。
【０００６】
【発明が解決しようとする課題】
上記のような白杖や盲導犬などを用いた手法に関する問題点を解決するために、視覚障害者用の歩行支援装置等が種々開発され、提案されているが、それらはいずれも次に挙げるような問題点を有している。
【０００７】
まず、白杖に超音波や赤外線を発信及び受信する装置を取り付けた、いわゆるセンサ杖と呼ばれるものが提案されている。これは、さらに詳細には、超音波や赤外線などを発射し障害物等で反射して戻ってきたものを受信して、その伝搬時間などに基づいて、現在位置と障害物等との間の距離を計測し、その距離が所定値以下で近い場合には、障害物が近くにある旨の警報等を、ユーザすなわち視覚障害者等に知らせるというものである。
【０００８】
しかしながら、このような手法では、前方のどの位置にどのようなものが障害物として存在しているのかについてを把握することが困難であるという問題がある。
【０００９】
あるいは、ステレオ画像を撮像することにより、それに基づいて障害物等を検知するという手法が、例えば特開昭６４−５２１８８７号公報や特開平７−６２３５６号公報等により提案されている。
【００１０】
しかしながら、障害物のさらに具体的な位置等を把握することについては言及されていない。
【００１１】
また、例えば特開平８−２５７０５３号公報等には、ステレオ画像を撮像することにより、それに基づいて障害物までの距離をユーザである視覚障害者等に知らせるという手法が提案されている。
【００１２】
しかしながら、障害物の存在を検知することや、障害物までの距離を把握するといった実現可能であるとしても、さらに詳細にその障害物がどのような位置にどのような大きさで存在しているかといった情報を把握することなどについては提案されていない。
【００１３】
また、そのようなナビゲーションとしての初歩的な機能よりもさらに進んだプランニングなどに対応可能な情報を把握することは、これらの手法では実質的に困難であるという問題がある。
【００１４】
一方、そのようなプランニングに関する情報をユーザである視覚障害者等に提供するという手法に関しては、例えば通信システムを用いた代行システムによりナビゲーションおよびプランニングを行うという手法が提案されている。
【００１５】
これは、さらに詳細には、ユーザである視覚障害者等が必要なときに現在位置から撮像装置等によって撮影される映像を通信手段を介して管理センタに伝送し、管理センタでは伝送されて来た映像に基づいてそのユーザの現在位置を把握し、これからユーザが行こうとする目的地へのナビゲーションおよびプランニングを代行して立案して、それらに関する情報を、通信手段を介してユーザに音声情報等として伝えるというものである。
【００１６】
しかしながら、このような代行システムでは、ユーザのプライバシィを確保することが困難であるという問題がある。また、例えば地下道や鉄筋コンクリート製や金属を多用した建物の内部など、無線通信手段による通信が困難な場所での使用が実際上できない場合が多いなど、通信手段上の制約が大きいという問題がある。
【００１７】
あるいは、誘導用の情報を発信する発信機あるいは誘導具を、建物の壁などの要所ごとに設置しておき、その付近をユーザが歩行していてナビゲーションやプランニングが必要となった際に、自らの携帯している受信機によって誘導用の情報を受信したり、発／受信機から情報呼び出し用の信号を誘導具に向けて発信し、その誘導具から発せられた誘導用の情報を受信する、といった手法も提案されている。例えば建物の出口の位置が分からなくなった際に、このような手法を用いることにより、出口付近の誘導具から「出口はこちらです」といった音声アナウンスが発せられる。このようにしてユーザが出口の方向や位置を確認することができる。
【００１８】
しかしながら、このような手法は、誘導用の情報を発信する発信機や誘導具が設置されていない場所では利用することができないという問題がある。また、建物に設置された発信機や誘導具と受信機との間での通信手段による通信が妨害されやすい場所やその他の電磁波を用いた機器などが付近で用いられることの多い場所では使用が困難となる場合が多いという問題がある。
【００１９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、歩行時の障害物を検知してその具体的な位置や距離の把握などのナビゲーションに関する情報や、目的地に到達するための現在地点の把握および行先の方向等の確認などのプランニングに関する情報を、時刻や場所に関わらず、ユーザである視覚障害者等が必要なときに、プライバシィを損うことなく自由かつ確実に把握することを可能とする視覚障害者用歩行支援システムおよび情報記録媒体を提供することにある。
【００２０】
【課題を解決するための手段】
本発明による視覚障害者用歩行支援システムは、光軸を向けた方向の所定領域内の映像をステレオ画像として撮像するステレオ画像撮像装置と、前記ステレオ画像から、視覚障害者にとって現在位置に関する情報および行先に関する情報のうち少なくともいずれか一方に関して確認可能な所定の文字を含む文字情報を抽出し、その文字情報の意味内容を認識する情報処理装置と、前記文字情報の意味内容を音声情報または触覚情報によって発する情報伝達装置とを備えている。情報処理装置は、さらに、所定の時間差で撮像された２つのステレオ画像に対して特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理を行い、空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合にはゾーンに障害物候補または文字情報候補があるものと判定し、所定の時間差で撮像された２つのステレオ画像に関する判定の論理積を演算し、その演算結果が真の場合にはゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置をゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行うものである。情報伝達装置は、障害物または文字情報の有無に関する情報を音声情報または触覚情報によって発するものである。
【００２１】
本発明による視覚障害者用歩行支援システムでは、視覚障害者にとって現在位置に関する情報や行先に関する情報を把握可能な文字情報を、ステレオ画像撮像装置によって撮像されたステレオ画像から抽出し、その文字情報から得られる意味内容を情報伝達装置が音声情報または触覚情報によって発する。ここで、情報処理装置は、所定の時間差で撮像された２つのステレオ画像に対して、特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理を行う。情報処理装置は、さらに、空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合にはゾーンに障害物候補または文字情報候補があるものと判定し、所定の時間差で撮像された２つのステレオ画像に関する判定の論理積を演算し、その演算結果が真の場合にはゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置をゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行い、情報伝達装置は、さらに、障害物または文字情報の有無に関する情報を音声情報または触覚情報によって発する。これにより、ユーザである視覚障害者（あるいは弱視者等）は、現在位置を把握することや、行先がどちらの方向であるのかについてなど、プランニングに関する情報を把握することが可能となる。
【００２２】
本発明による視覚障害者用歩行支援システムは、情報処理装置が、さらに、視覚障害者にとって前記映像中を歩行するに際して障害物となり得る所定の物体の存在の有無およびその位置に関する情報のうち少なくとも前記存在の有無に関する情報を、ステレオ画像から認識するものであるようにしてもよい。
【００２３】
本発明による視覚障害者用歩行支援システムでは、ステレオ画像から、さらに障害物の存在やその位置に関する情報を抽出し、その情報を情報伝達装置が音声情報または触覚情報によって発する。これにより、ユーザである視覚障害者等は、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。
【００２４】
しかも、ステレオ画像撮像装置は、光軸を向けた方向の所定領域内の映像を撮像するように設定されているので、ユーザはそのステレオ画像撮像装置を向けた方向に存在している障害物や文字情報のみを明確な指向性を以てさらに明確に把握することが可能となる。
【００２５】
また、撮像された全画像中に存在する全ての文字情報を抽出したり認識処理したりするのではなく、視覚障害者にとって現在位置に関する情報や行先に関する情報に関して確認可能なものとあらかじめ想定される看板に掲げられた文字のような所定の文字を含む文字情報を、撮像されたステレオ画像から選択的に抽出するので、その画像処理や文字情報の認識処理等のデータ処理等を、モバイルパソコンのような情報処理装置でも短時間で確実に処理可能であるように簡易なものとすることができる。
【００２６】
なお、さらに詳細には、前記情報処理装置は、前記ステレオ画像から、看板文字情報を抽出する処理、その文字を１文字ずつの文字列に切り出す処理、その文字列を、前記所定の文字と比較して前記文字情報の意味内容を認識する処理を行うものであるようにしてもよい。
【００２９】
また、ステレオ画像撮像装置が、さらに、頭部に装着可能でその頭部が向いた方向の映像を撮像するように設定されており、かつ前記方向での所定の水平方向角度または所定の立体角内の映像を撮像するものであり、前記情報処理装置が、さらに、前記ゾーンとして前記撮像された映像の空間を所定の水平方向角度または所定の立体角に細分化したものを用いて、その細分化したゾーンのうち、どのゾーンに前記障害物または前記文字情報が存在しているかを認識するものであり、前記情報伝達装置が、さらに、前記障害物または前記文字情報が存在しているものと認識される位置に関する情報を音声情報または触覚情報によって発するものであるようにしてもよい。
【００３０】
すなわち、ステレオ画像撮像装置のＣＣＤのような撮像デバイスを、例えば黒眼鏡のような頭部に装着される器具に付設して、ユーザである視覚障害者の頭部（顔）の向きに応じてその頭部の向いた方向での所定の角度領域内の映像をステレオ画像として撮像し、それに基づいて、ユーザが顔を向けた方向での、障害物や文字情報の存在の有無や、その距離および位置、さらには文字情報の意味内容などを選択的に把握することが可能となる。従って、ユーザにとっては、自分が顔を向けた方向での障害物に関する情報や行先に関する情報を把握することができるので、ユーザが例えば頭部の向きを少しずつ変えることなどにより、その向きごとに空間的な障害物や行先表示の位置関係を把握することができる。その結果、視覚的に直接には障害物や行先表示の位置関係を把握することはできなくとも、自分の思考力による空間イメージの中で、自分の前方に存在している障害物や行先表示の空間的な位置関係をより直観的に把握することが可能となる。
【００３１】
なお、上記のような情報処理装置の機能はいずれも、コンピュータプログラムとして情報記録媒体に格納しておき、必要に応じてそれをモバイルパソコンのような携帯可能なパーソナルコンピュータなどの情報処理装置にインストールして利用するようにしてもよい。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３３】
図１は、本発明の一実施の形態に係る視覚障害者用歩行支援システムの概要構成を表すものである。
【００３４】
この視覚障害者用歩行支援システムは、ステレオ画像取込器（ステレオ画像撮像装置）１１と、モバイル型コンピュータ（情報処理装置）１２と、情報伝達器（情報伝達装置）２６とをその主要部に備えている。
【００３５】
ステレオ画像取込器１１は、黒眼鏡のレンズ部分にＣＣＤ撮像素子およびレンズ系（図示省略）を組み合わせた撮像装置が組み込まれており、その黒眼鏡をユーザが装着して障害物や行先表示などの情報を知りたい方向に顔を向けると、その方向の所定の角度領域内の光景をＣＣＤ撮像素子によってステレオ画像として撮像し、その画像データを出力するものである。
【００３６】
このステレオ画像取込器１１による一度に撮像可能な領域は、例えば光軸を中心としてその左右４５度ずつおよび上下４５度ずつのように、所定の角度領域内を選択的に指向性を以て撮像可能に設定されている。従って、ユーザが例えば自分の前方左半分の障害物や行先表示に関する情報を把握したい場合には、顔を左側約４５度の方向に向けてその方向の光景を撮像することができる。あるいは、自分の周囲（水平方向に３６０度）の障害物や行先表示の状況を把握したい場合などには、顔を真っ直ぐに向けた状態で、体の向きを９０度ずつ変えて、その方向ごとの状況をそれぞれ把握するなどして、左右前後の合計４方向の情報を併せて、自分の周囲３６０度の情報を把握することができるように設定されている。ただし、ステレオ画像取込器１１による撮像の指向性はこのような角度の設定のみには限定されないことは言うまでもない。
【００３７】
モバイル型コンピュータ１２は、現在位置確認モジュール２１、画像前処理モジュール２２、情報伝達モジュール２３、障害物検知モジュール２４を備えている。画像前処理モジュール２２は、前記のステレオ画像取込器１１からの画像データに前処理を施す。現在位置確認モジュール２１は、画像データから現在位置に関する情報を抽出する処理を行ってそれを情報伝達モジュール２３に出力する。障害物検知モジュール２４は、画像データから障害物に関する情報を抽出する処理を行ってそれを情報伝達モジュール２３に出力する。情報伝達モジュール２３は、入力された前記の処理結果の情報を情報伝達器２６にて音声情報や振動による情報を出力可能なキャラクタ信号や振動パターン発生信号のような電気信号に変換し、それを情報伝達器２６に向けて出力する。
【００３８】
ここで、モバイル型コンピュータ１２とは、携帯可能に設定された小型軽量なコンピュータの総称であって、ＰＣカードのような外部デバイス等を利用可能なインターフェイスドライブ機能を備えた情報処理装置を指すものとする。このモバイル型コンピュータ１２としては、音声出力機能や専用スピーカ２５を内蔵したものであることが望ましいが、外部出力可能なものであっても構わない。あるいは、携帯電話装置やＰＨＳ端末装置などへの接続機能を備えていたり、一般的なパソコンとしての種々の機能を合わせ持ったものなどを利用することも好ましい。
【００３９】
情報伝達器２６は、モバイル型コンピュータ１２から送られて来たキャラクタ信号や振動パターン発生信号のような電気信号に基づいて、障害物や行先表示に関する情報を音声情報あるいは振動などの触覚的情報によってユーザに報知するもので、スピーカ２６３、振動パターン発生モジュール２６１、振動器２６２を備えている。あるいはさらに、スピーカ２６３から出力されるものと同じ音声を出力するイヤホーン等（図示省略）を備えるようにしてもよいことは言うまでもない。
【００４０】
このような視覚障害者用歩行支援システムは、実際にそれをユーザが用いて単独で歩行する場合には、図２に一例を示したように用いられる。すなわち、ユーザである視覚障害者あるいは弱視者は、黒眼鏡状のステレオ画像取込器１１を顔面に装着すると共にモバイル型コンピュータ１２および情報伝達器２６を携帯し、またその手には補助的ナビゲーション手段として、いわゆる白杖を携える。この白杖については、視覚障害者用歩行支援システムにとって必須のものではないが、白杖を携行することが一般的となっており、またそのような手段を補助的に用いることがユーザにとって心理的にも安心感を得ることができる場合が多いので、このような白杖を併せ用いるようにしてもよいことは言うまでもない。距離的には、白杖によってユーザの直近から１ｍ程度の範囲内の足元の状況を把握することなどが可能である。また視覚障害者用歩行支援システムでは、ユーザの位置から３ｍないし５ｍ程度離れた位置の障害物等の状況を把握することなどが可能である。
【００４１】
次に、本実施の形態に係る視覚障害者用歩行支援システムの動作の概要について述べる。図３はその動作の概要を説明するための流れ図である。
【００４２】
まず、視覚障害者が屋外を歩行中に立ち止まり、現在位置を確認したいときには、ステレオ画像取込器１１で取り込んだ（撮像した）画像をその画像を解析して、画像中で行先表示や場所に関して示した看板の文字の可能性が高い文字を抽出し、その文字情報に基づいて、その建物が何であるかという情報や、行先表示の看板に書かれた意味内容などの情報を把握すると共に、その位置までの距離を把握し、それらの情報を音声情報や振動による触覚的情報として、情報伝達器２６から出力する。
【００４３】
あるいは、視覚障害者が屋外を歩行しているとき、または交差点等で立ち止まったときに、ステレオ画像取込器１１によって取り込んだステレオ画像をモバイル型コンピュータ１２に送り、その画像を解析して、例えば前方５ｍ先に障害物が存在していると判定されると、その情報を情報伝達器２６に送る。すると情報伝達器２６はその情報を音声情報や振動による触覚的情報として出力する。なお、振動による情報伝達に関するさらに具体的な手法それ自体については、例えば特願平１１−１２４５７２号による「情報伝達装置および情報送信伝達システム」にその詳細が提案されており、そのような手法を用いることが可能である。あるいはそのたの手法でも構わないことは言うまでもない。
【００４４】
歩行者本人が立ち止まって場所の確認を行うとき、モバイル型コンピュータ１２が既にシステム起動状態で（Ｓ４１〜Ｓ４２）、例えば信号ライン等を介してモバイル型コンピュータ１２と繋がっている押しボタン式のスイッチ等（図示省略）をユーザがオンにすると（Ｓ４３）、モバイル型コンピュータ１２はスイッチフラグＳＷを１にセットし（Ｓ４４）、ステレオ画像の取り込みおよび画像前処理を実行して（Ｓ４５）、スイッチフラグＳＷ＝１に基づいて（Ｓ４６のＹ）、現在位置確認処理を実行する（Ｓ４７）。あるいはスイッチフラグＳＷが０で位置の確認を行う必要がないときには（Ｓ４６のＮ）、障害物検知処理を実行する（Ｓ４８）。
【００４５】
こうして処理された情報は、情報伝達器２６によって音声情報あるいは触覚的情報として出力（情報伝達処理）される（Ｓ４９）。
【００４６】
システム起動スイッチがユーザによってオフにされると（Ｓ４１０のＹ）、システムはその動作を停止する（Ｓ４１１）。
【００４７】
図４は、現在位置確認処理に関するさらに詳細な流れ図である。まず、現在位置確認モジュール２１では、画像前処理モジュール２２で処理された画像処理後のステレオ画像が入力されると（Ｓ４７１）、その画像中から看板文字領域を抽出する（Ｓ４７２）。次に、抽出した看板文字領域内の文字を、１文字ずつ切り出す処理を実行する（Ｓ４７３）。続いて、切り出した文字群を、例えば「入口」、「出口」、「非常口」、「ゲート」、「通路」、「歩道」、「陸橋」、「方面」、「階段」、「エレベータ」、「改札」、「切符売場」、「東」、「西」、「南」、「北」等といった、視覚障害者にとって現在位置に関する情報や行先に関する情報などに関係の深いことが想定される所定の文字を含む文字情報としてデータベースにあらかじめ登録しておいた文字群とパターンマッチング法等により比較して、その文字群の意味内容を認識する処理を実行する（Ｓ４７４）。
【００４８】
そしてその認識された文字情報の意味内容を、例えば「Ａ４出口、特許庁方面」のように音声情報でユーザにアナウンスする（Ｓ４７５〜Ｓ４７６）。あるいは、このとき確定的な文字情報が認識されなかった場合や、不確定な判定しかできない場合には、音声情報を出力しない。あるいは判定不能の旨を報知するようにしてもよい。
【００４９】
なお、このような音声情報の出力処理（Ｓ４７５〜Ｓ４７６）における音声出力の手法それ自体については、前記の障害物検知モジュール２４からの情報に基づいた音声情報出力の情報伝達処理（Ｓ４９）と同様の手法を用いることが可能であることは言うまでもない。換言すれば情報伝達処理は現在位置情報の出力も障害物検知情報の出力も情報伝達器２６によって行うことが可能である。
【００５０】
所定の文字情報を得るための看板文字領域のさらに詳細な抽出処理手法は、図５の流れ図に示ように、画像処理後のステレオ画像データが入力されると（Ｓ４７２１）、その画像データに対して、文字の部分は背景部分と比較して空間周波数が高い傾向にあることを利用してエッジ領域検出処理を実行して（Ｓ４７２２）、ノイズを生じやすい小領域の除去を行う（Ｓ４７２３）。続いて、画像のｘ軸およびｙ軸ごとにそれぞれ濃度分布を調べる濃度写映演算処理を実行し（Ｓ４７２４）、その処理の結果、高濃度が多く（頻繁に）現れる部分を文字領域と判定して、その部分を選択して文字列範囲の切り出し処理を実行し（Ｓ４７２５）、文字列を得る（Ｓ４７２６）。
【００５１】
こうして切り出された文字列領域の画像データは（Ｓ４７３１）、さらに、図６の流れ図に表すような手順で１文字ずつにさらに切り出される。すなわち、まず文字列領域の画像データ全体でエッジ検出処理が施される（Ｓ４７３２）。このとき、文字列が斜めになっている場合には、ｘ軸またはｙ軸に対して平行になるように回転処理等を施すなどして整列化させる（Ｓ４７３３）。そして、さらに濃度写映演算処理を施して（Ｓ４７３４）、隣り合う文字どうしの間は濃度変化の頻度が低いことを利用して、文字間ギャップの検出を行うことにより（Ｓ４７３５）、１文字ずつの分離抽出処理を行って（Ｓ４７３６）、その分離された１文字ずつを文字列として順番に出力する（Ｓ４７３７）。
【００５２】
あるいは、図１０に示したように、文字情報を把握すると共に、その文字情報が掲げられている看板等までの距離を把握して、それらの情報を併せて出力（アナウンス）することなども可能である。すなわち、文字群の意味内容を認識する処理を把握する（Ｓ４７４）と共に、その文字群が抽出された看板等までの距離を三角測量法等によって把握して、それらの情報を併せて、例えば「右前方に行先表示板があります。Ａ４出口です」というように音声情報で報知するようにしてもよい。
【００５３】
障害物検知処理は、さらに詳細には、図７の流れ図に示したようなものである。すなわち、モバイル型コンピュータ１２は、画像処理前のステレオ画像を取り込むと（Ｓ４８１およびＳ４８７）、まずその画像から得られる特徴点を抽出する（Ｓ４８２およびＳ４８８）。この特徴点抽出処理では、物体のエッジを構成する点を好適に用いることができる。続いて、左右一対のステレオ画像のそれぞれからステレオ対応点を決定する（Ｓ４８３およびＳ４８９）。この相対応する特徴点ペア群の撮像面での水平および垂直方向の座標を用いて、その空間座標（水平および垂直位置）を、三角測量の計算手法によって求める（Ｓ４８４およびＳ４８１０）。
【００５４】
なお、ステレオ対応点決定処理の一部分はゼロ視差フィルタ（ＺＤＦ；ｚｅｒｏ ｄｉｓａｐｒｉｔｙ ｆｉｌｔｅｒ）法を用いて実行することができる。このＺＤＦ法については、例えばＰ．ｖｏｎ Ｋａｎｅｌ，Ｃ．Ｍ．Ｂｒｏｗｎ，ａｎｄ Ｄ．Ｊ．Ｃｏｏｍｂｓ，" Ｄｅｔｅｃｔｉｎｇ ｒｔｅｇｉｏｎｓ ｏｆ ｚｅｒｏ ｄｉｓｐａｒｉｔｙ ｉｎ ｂｉｎｏｃｕｌａｒ ｉｍａｇｅｓｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ，" Ｔｅｃｈ．Ｒｅｐ．ｏｆ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｅｃｈｅｓｔｅｒ，ＴＲ４１５，１９９２．等にその詳細が提案されている。これは要約すれば、奥行きｚを既知として与えておき左右のカメラから得られた画像から、視差量が一定（すなわち奥行きが同一）であるような画像特徴のみを出力し、それ以外を除去するという手法である。
【００５５】
上記のようにして空間位置データが求まると、さらに、その座標がユーザの体前方のどの位置にあるかを把握する（判定する）ために、それを例えば図８に一例を示したような所定の領域ごとに細分化された個々の空間分割ゾーンに投票する（Ｓ４８５およびＳ４８１１）。そして投票結果を、あらかじめ定められた評価値と比較して（Ｓ４８６およびＳ４８１２）、その評価値よりも大きな値である場合には（Ｓ４８６のＹおよびＳ４８１２のＹ）、その空間分割ゾーン内に障害物候補が存在しているものと仮判定する。そしてさらに、その障害物候補が障害物であるのか、それとも移動している他の歩行者や物体などであるのかについてを、区別するために、時刻ｔ−Δｔにおける判定結果と時刻ｔにおける判定結果とを用いて、その両者が評価値の条件を満たすものである場合にのみ、その障害物候補を実際の障害物であると判定する（Ｓ４８１３）。そしてその結果を障害物検知信号として出力する（Ｓ４８１４）。
【００５６】
なお、歩行時に障害物検知を行う場合には、時刻ｔで取り込んだ画像についての距離（Ｚ＋Δｚ）に関するＺＤＦ処理後の評価結果と、時刻ｔ−Δｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果との両方を用いて、その両者の論理積を取る。
【００５７】
あるいは、立ち止まった状態で障害物検知を行う場合には、時刻ｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果と、時刻ｔ−Δｔで取り込んだ画像についての距離（Ｚ）に関するＺＤＦ処理後の評価結果との両方を用いて、その両者の論理積を取る。
【００５８】
いずれの場合も、論理積の結果が真の場合には、そのゾーンに障害物が存在しているものと判定し、偽の場合には、そのゾーンに障害物が存在していないものと判定する。そして、各ゾーンごとの真偽の分布が把握されると、その分布パターンに基づいて、障害物が、例えば頭部付近または足元付近あるいは体の左側または右側などのうち、どの位置にあるのかについてなどをユーザに報知するための障害物検知信号を出力する。
【００５９】
図９は、本発明による他の実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。なお、この図９では、説明および図示の簡潔化を図るために、上記実施の形態と同様の部位については、それと同一の符号を付して示している。
【００６０】
この視覚障害者用歩行支援システムでは、現在位置確認モジュール２１、画像前処理モジュール２２、情報伝達モジュール２３、障害物検知モジュール２４が、例えばＲＯＭ（リード・オンリ・メモリ）カードのようなコンピュータ用記録媒体（情報記録媒体）３１に格納されたソフトウェアを、例えばノートブック型パソコン（パーソナルコンピュータ) のようなモバイル型コンピュータ１２にソフトウェア実装されるように設定されている。このモバイル型コンピュータ１２は、いわゆるＯＳ３２とインターフェイスドライバソフト３３とを主要部に備えた基本ソフトウェアを持つもので、これに前記のようなコンピュータ用記録媒体（情報記録媒体）３１を装着すると共に、ステレオ画像取込器１１および情報伝達器２６をＰＣカード２７等を介して接続して、上記実施の形態と同様のシステムを構築することも可能である。
【００６１】
【発明の効果】
以上説明したように、請求項１ないし６のうちいずれか１項に記載の視覚障害者用歩行支援システムまたは請求項７ないし１２のうちいずれか１項に記載の情報記録媒体によれば、視覚障害者にとって現在位置に関する情報や行先に関する情報を把握可能な文字情報を、ステレオ画像撮像装置によって撮像されたステレオ画像から抽出し、その文字情報から得られる意味内容を情報伝達装置から音声情報または触覚情報として発するようにしたので、ユーザである視覚障害者あるいは弱視者等にとって、現在位置を把握することや、行先がどちらの方向であるのかについてなど、プランニングに関する情報を把握することが可能となるという効果を奏する。また、ユーザがそのステレオ画像撮像装置を向けた方向に存在している障害物や文字情報のみを、明確な指向性を以て、さらに明確に把握することが可能となる。
【００６２】
特に、請求項２ないし６のうちいずれか１項に記載の視覚障害者用歩行支援システムまたは請求項８ないし１２のうちいずれか１項に記載の情報記録媒体によれば、上記の効果にさらに加えて、ユーザである視覚障害者等にとって、障害物の存在やその位置や距離など、ナビゲーションに関する情報を、より具体的に把握することが可能となる。
【００６３】
また、特に、請求項６に記載の視覚障害者用歩行支援システムまたは請求項１２に記載の情報記録媒体によれば、ユーザである視覚障害者にとって、自分の必要とする方向での障害物に関する情報や行先に関する情報を把握することができるので、その向きごとに空間的な障害物や行先表示の位置関係をより具体的に明確に把握することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。
【図２】図１に示した視覚障害者用歩行支援システムを実際にユーザが用いて単独で歩行する場合の一例を表す図である。
【図３】図１に示した視覚障害者用歩行支援システムの動作の概要を表す流れ図である。
【図４】現在位置確認処理のプロセスをさらに詳細に表す流れ図である。
【図５】所定の文字情報を得るための看板文字領域の抽出処理手法をさらに詳細に表す流れ図である。
【図６】文字列領域の画像データをさらに１文字ずつに切り出す処理を表す流れ図である。
【図７】障害物検知処理のプロセスをさらに詳細に表す流れ図である。
【図８】空間位置データを所定の領域ごとに細分化された個々の空間分割ゾーンに投票するプロセスを表す流れ図である。
【図９】本発明の他の実施の形態に係る視覚障害者用歩行支援システムの概要構成を表す図である。
【図１０】文字情報とその文字情報が掲げられている看板等までの距離とを把握して、それらの情報を併せて出力するプロセスを表す流れ図である。
【符号の説明】
１１…ステレオ画像取込器、１２…モバイル型コンピュータ、２１…現在位置確認モジュール、２２…画像前処理モジュール、２３…情報伝達モジュール、
２４…障害物検知モジュール、２６…情報伝達器
Claims (8)
- 光軸を向けた方向の所定領域内の映像をステレオ画像として撮像するステレオ画像撮像装置と、
前記ステレオ画像から、視覚障害者にとって現在位置に関する情報および行先に関する情報のうち少なくともいずれか一方に関して確認可能な所定の文字を含む文字情報を抽出し、その文字情報の意味内容を認識する情報処理装置と、
前記文字情報の意味内容を音声情報または触覚情報によって発する情報伝達装置とを備え、
前記情報処理装置は、さらに、所定の時間差で撮像された２つのステレオ画像に対して特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理を行い、前記空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合には前記ゾーンに障害物候補または文字情報候補があるものと判定し、前記所定の時間差で撮像された２つのステレオ画像に関する前記判定の論理積を演算し、その演算結果が真の場合には前記ゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置を前記ゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行うものであり、
前記情報伝達装置は、前記障害物または前記文字情報の有無に関する情報を音声情報または触覚情報によって発するものである
を備えた視覚障害者用歩行支援システム。 - 前記情報処理装置が、さらに、視覚障害者にとって前記映像中を歩行するに際して障害物となり得る所定の物体の存在の有無およびその位置に関する情報のうち少なくとも前記存在の有無に関する情報を、前記ステレオ画像から認識するものである
請求項１記載の視覚障害者用歩行支援システム。 - 前記情報処理装置が、前記ステレオ画像から、看板文字情報を抽出する処理、その文字を１文字ずつの文字列に切り出す処理、その文字列を、前記所定の文字と比較して前記文字情報の意味内容を認識する処理を行うものである
請求項１または２記載の視覚障害者用歩行支援システム。 - 前記ステレオ画像撮像装置が、さらに、頭部に装着可能でその頭部が向いた方向の映像を撮像するように設定されており、かつ前記方向での所定の水平方向角度または所定の立体角内の映像を撮像するものであり、
前記情報処理装置が、さらに、前記ゾーンとして前記撮像された映像の空間を所定の水平方向角度または所定の立体角に細分化したものを用いて、その細分化したゾーンのうち、どのゾーンに前記障害物または前記文字情報が存在しているかを認識するものであり、
前記情報伝達装置が、さらに、前記障害物または前記文字情報が存在しているものと認識される位置に関する情報を音声情報または触覚情報によって発するものである
請求項１ないし請求項３のいずれか１項に記載の視覚障害者用歩行支援システム。 - 光軸を向けた方向の所定領域内の映像を撮像するステレオ画像撮像装置によって撮像されたステレオ画像から、視覚障害者にとって現在位置に関する情報および行先に関する情報のうち少なくともいずれか一方に関して確認可能な所定の文字を含む文字情報を抽出し、その文字情報の意味内容を認識し、その文字情報の意味内容を音声情報または触覚情報として情報伝達装置によって発することができる情報として出力する機能を、情報処理装置に実行させ、さらに、所定の時間差で撮像された２つのステレオ画像に対して、特徴点を抽出する処理、相対応するステレオ対応点を抽出する処理、空間座標値を計算する処理と共に、前記空間座標値を空間を分割してなるゾーンに投票し、その投票結果を所定の評価値と比較して、その評価値よりも大きい場合には前記ゾーンに障害物候補または文字情報候補があるものと判定し、前記所定の時間差で撮像された２つのステレオ画像に関する前記判定の論理積を演算し、その演算結果が真の場合には前記ゾーン中に障害物または文字情報が有るものと結論すると共にその障害物または文字情報の位置を前記ゾーンに基づいて認識し、偽の場合には障害物または文字情報が無いものと結論する処理を行うように、前記情報処理装置を機能させるコンピュータプログラムを格納してなる
情報記録媒体。 - 視覚障害者にとって前記映像中を歩行するに際して障害物となり得る所定の物体の存在の有無およびその位置に関する情報のうち少なくとも前記存在の有無に関する情報を、前記ステレオ画像から認識するように、前記情報処理装置をさらに機能させるコンピュータプログラムを格納してなる
請求項５記載の情報記録媒体。 - 前記ステレオ画像から、看板文字情報を抽出する処理、その文字を１文字ずつの文字列に切り出す処理、その文字列を、前記所定の文字と比較して前記文字情報の意味内容を認識する処理を行うように、前記情報処理装置をさらに機能させるコンピュータプログラムを格納してなる
請求項５または６記載の情報記録媒体。 - 前記ステレオ画像撮像装置が、さらに、頭部に装着されてその頭部が向いた方向の映像を撮像するように設定されており、かつその方向での所定の水平方向角度または所定の立体角内の映像を撮像するものであり、前記ゾーンとして前記撮像された映像の空間を所定の水平方向角度または所定の立体角に細分化したものを用いて、その細分化したゾーンのうち、どのゾーンに前記障害物または前記文字情報が存在しているかを認識し、その認識された位置に関する情報を音声情報または触覚情報として情報伝達装置から発するように、前記情報処理装置をさらに機能させるコンピュータプログラムを格納してなる
請求項５ないし請求項７のいずれか１項に記載の情報記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000138124A JP4375879B2 (ja) | 2000-05-11 | 2000-05-11 | 視覚障害者用歩行支援システムおよび情報記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000138124A JP4375879B2 (ja) | 2000-05-11 | 2000-05-11 | 視覚障害者用歩行支援システムおよび情報記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001318594A JP2001318594A (ja) | 2001-11-16 |
| JP4375879B2 true JP4375879B2 (ja) | 2009-12-02 |
Family
ID=18645785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000138124A Expired - Lifetime JP4375879B2 (ja) | 2000-05-11 | 2000-05-11 | 視覚障害者用歩行支援システムおよび情報記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4375879B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4139840B2 (ja) * | 2004-05-12 | 2008-08-27 | 貴司 吉峰 | 情報処理装置、携帯機器及び情報処理方法 |
| US8634852B2 (en) * | 2011-01-04 | 2014-01-21 | Qualcomm Incorporated | Camera enabled headset for navigation |
| GB201103200D0 (en) * | 2011-02-24 | 2011-04-13 | Isis Innovation | An optical device for the visually impaired |
| JP5461486B2 (ja) * | 2011-08-03 | 2014-04-02 | 株式会社アルファメディア | 視覚障害者歩行支援装置 |
| KR101353860B1 (ko) | 2012-07-25 | 2014-01-23 | 전주대학교 산학협력단 | 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP6377935B2 (ja) | 2014-03-31 | 2018-08-22 | 株式会社東芝 | 音響制御装置、電子機器及び音響制御方法 |
| JP2016184089A (ja) * | 2015-03-26 | 2016-10-20 | Ｎｅｃプラットフォームズ株式会社 | 情報認識装置、ナビゲーションシステム、ナビゲーション方法及びプログラム |
| JP2016194612A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | 視覚認識支援装置および視覚認識支援プログラム |
| KR101965875B1 (ko) * | 2017-10-11 | 2019-08-13 | 주식회사 핀텔 | 영상 분석을 기반으로 한 길 안내 방법 및 장치 |
| JP7403783B2 (ja) * | 2018-03-15 | 2023-12-25 | 株式会社Raise the Flag. | 視覚障がい者用行動支援装置 |
| JP2021033368A (ja) * | 2019-08-15 | 2021-03-01 | 株式会社オトングラス | 読み上げ装置 |
| JP7456211B2 (ja) | 2020-03-13 | 2024-03-27 | オムロン株式会社 | 移動支援装置、移動支援方法、及びプログラム |
| WO2021260824A1 (ja) * | 2020-06-24 | 2021-12-30 | 日本電信電話株式会社 | 危険回避通知装置、危険回避通知方法及びプログラム |
-
2000
- 2000-05-11 JP JP2000138124A patent/JP4375879B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001318594A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6525229B1 (ja) | デジタルサーチ・セキュリティシステム、方法及びプログラム | |
| US11705018B2 (en) | Personal navigation system | |
| JP4375879B2 (ja) | 視覚障害者用歩行支援システムおよび情報記録媒体 | |
| US8606316B2 (en) | Portable blind aid device | |
| CN109730910B (zh) | 出行的视觉辅助系统及其辅助设备、方法、可读存储介质 | |
| CN104903775A (zh) | 头戴式显示器及其控制方法 | |
| JP2005059170A (ja) | 情報収集ロボット | |
| US20120327203A1 (en) | Apparatus and method for providing guiding service in portable terminal | |
| JP2006251596A (ja) | 視覚障害者支援装置 | |
| JPWO2020174634A1 (ja) | デジタルアキュレート・セキュリティシステム、方法及びプログラム | |
| CN113678141A (zh) | 用于盲人和视力受损人员的立体声装置 | |
| Ilag et al. | Design review of smart stick for the blind equipped with obstacle detection and identification using artificial intelligence | |
| Manjari et al. | CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment | |
| KR102081193B1 (ko) | 시각장애인 보행 보조기구 및 이를 구비한 보행시스템 | |
| Biswas et al. | Shortest path based trained indoor smart jacket navigation system for visually impaired person | |
| JP2003023699A (ja) | 空間情報聴覚化装置および空間情報聴覚化方法 | |
| CN113129334A (zh) | 物体追踪方法、装置、存储介质及可穿戴电子设备 | |
| KR20120059752A (ko) | 감정을 인식하는 시각장애인용 안내 장치, 안내 시스템, 그를 이용한 안내방법, 및 그 기록매체 | |
| JPH08252279A (ja) | 対象物を音で提示する経路誘導方法 | |
| JP2002219142A (ja) | 視覚障害者ガイド器 | |
| JP7418189B2 (ja) | 表示画像生成装置及び表示画像生成方法 | |
| JP2022186346A (ja) | 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム | |
| CN101363738A (zh) | 便携式导航仪 | |
| Strumillo | Electronic systems aiding spatial orientation and mobility of the visually impaired | |
| JP7239013B2 (ja) | 案内装置、案内方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |