JP4691708B2 - ステレオカメラを用いた白杖使用者検出システム - Google Patents

Description

本発明は、ステレオビジョンを用いたシーン中の白杖使用者の検出システムに関するものである。

視覚障害者は、一般に、単独で歩行を行う場合、路面に設置された誘導ブロックに従って歩行を行う。しかし、誘導ブロックだけでは、道の分岐点や交通信号等での、方向を変える・停止するなどの判断を要する場面で十分な情報を得ることが出来ない。このような場面では音声案内による誘導が有効である。しかし、分岐点や信号において常時音声案内を流していると、周囲の人に騒音と捉えられることとなり、好ましくない。また、その場所に到着するタイミングによっては、音声案内を最初から聞くために待たなければならないということも起こりうる。また、交通信号の場合、視覚障害者が横断する時は健常者が横断する時よりも、青信号の状態を長く設定するなどの特別な処理を行うことが望ましい。

これらのことから、視覚障害者を自動で判別する検出システムが必要になる。この課題に対して、従来から、視覚障害者の持つ白杖を自動検出する方法が提案されている。

特許文献１、２では、視覚障害者の白杖に再帰性反射材を装着し、視覚障害者の前方斜め上からビームを照射し、その反射光を検出することによって白杖の存在を検出するようにしている。

特許文献３では、視覚障害者の白杖に反射材を装着し、視覚障害者の前方斜め上から、隣接する直線上の範囲３カ所へ光を照射し、その反射光の強度の組み合わせによって白杖の存在の有無を判定している。

特許文献４では、道路の対向位置にそれぞれカメラを設置し、それらのカメラから得られる画像中の輝度の高い線分を検出し、それを白杖であると判断する。

特許文献５では、カメラから得られた画像中のエッジの形状を基に、白杖の存在の有無を判定する。

特許文献６，７には、加算引き出し法による人物検出・トラッキング処理方法が開示されており、その方法は以下のようである。

（１）あるフレームにおいて、ステレオカメラから得られた、カメラのレンズ正面を原点とする３次元座標系に属する距離情報を、監視範囲の中心の床を原点とする３次元座標系へ変換する。（２）変換した後の距離情報を、任意の高さで区切り、その区切られた各空間内で床平面に向けて射影し、２値画像を作成する（プレーン群の作成）。このとき、点と点の間の隙間を埋めるために、２値画像の縮小を行う。（３）プレーン内に存在する領域の重心を求める。これらを最上段のプレーンから下段のプレーンに向かって行う。このとき、各領域に関して、自分の属するプレーンより上の段において検出された重心のＸＹ座標が含まれる場合、それらは同一人物を指しているので、その領域では重心を求めない。このようにして、対象人物の頂点が決まる。（４）シーケンシャル処理において、フレームでの処理で得られたこれらの頂点を、ＸＹ平面上での距離が近いもの同士で結び、動線を形成していく。
特開２００２−２６０１６１号公報 特開２００５−２５８５１５号公報 特開２００６−１１６００号公報 特開２００５−３３２０７１号公報 特開２００３−１６８１１０号公報 特開２００４−２４６８５６号公報 特開２００４−５８７３７号公報

しかしながら、上記した特許文献１、２に開示されるシステムでは、白杖に適切な反射材が装着されていなければならず、これは利用者に負担を強いるものである。また、上記した特許文献３〜５に開示されるシステムのように単眼画像全体の色・形状で検出処理を行う場合、白杖以外の部分で、似た色・形状を持った部分も検出されてしまう可能性がある。

本発明は、上記状況に鑑みて、視覚障害者に白杖以外の特別な装置を装着させることなく、また、周囲の白杖に似た色・形状の物体の有無にかかわらず、安定して白杖を自動検出することができるステレオカメラを用いた白杖使用者検出システムを提供することを目的とする。

本発明は、上記目的を達成するために、
〔１〕ステレオカメラを用いた白杖使用者検出システムにおいて、ステレオカメラから得られる３次元距離情報を基に、監視場所内で検出した歩行者の周囲の、白杖が存在する可能性のある部分のカラー画像のみに対して画像処理を施し、白杖を検出することを特徴とする。

〔２〕上記〔１〕記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記監視場所が鉄道駅のプラットホームや交通信号機が配置される箇所で、視覚障害者に対する特別なサービスが必要となる場所であることを特徴とする。

〔３〕上記〔２〕記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記監視場所の構造物に前記歩行者が通過することが予想される場所を斜め下に見下ろすように前記ステレオカメラを設置することを特徴とする。

〔４〕上記〔１〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記ステレオカメラから得られる連続画像に対して、まずフレーム単位で処理を行い、その結果をシーケンシャル処理することによって、前記白杖の有無を判定することを特徴とする。

〔５〕上記〔４〕記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記フレーム単位での処理は、前記ステレオカメラから得られた視差情報を３次元距離情報に変換し、その３次元距離情報に対して加算引き出し法による人物検出・トラッキング処理を行い、３次元空間上での白杖使用者の頭頂部位置と進行方向を測定することを特徴とする。

〔６〕上記〔４〕記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記シーケンシャル処理は、トラッキング処理の結果に基づき、前記監視場所内に存在する対象毎に、白杖候補が同一対象に対して一定フレーム間内に連続して検出されたか判定し、一定フレームの間に連続して検出されていた場合、その直線成分のカラー画像上での角
度変化を測定し、その結果、角度変化に周期性がある場合に白杖であると判定することを特徴とする。

本発明によれば、ステレオカメラから得られる３次元距離情報を基に、歩行者の周囲の、白杖が存在する可能性のある部分のカラー画像のみに対して画像処理を施し、白杖を確実に検出することができる。

したがって、プラットホームや交通信号機が設置される場所で、白杖使用者を安全に案内することができる。

本発明のステレオカメラを用いた白杖使用者検出システムは、ステレオカメラから得られる３次元距離情報を基に、監視場所内で検出した歩行者の周囲の、白杖が存在する可能性のある部分のカラー画像のみに対して画像処理を施し、白杖を検出する。

以下、本発明の実施の形態について詳細に説明する。

図１は本発明の実施例を示す白杖検出システムの実施状態模式図（白杖使用者の正面図）、図２はその白杖検出システムの実施状態模式図（白杖使用者の側面図）、図３はその白杖検出システムのステレオカメラによる白杖使用者の画像と白杖が存在する範囲を示す図、図４はその白杖の検出方法を示す図であり、図４（ａ）は元の画像、図４（ｂ）は白杖存在範囲のみの切り出し画像、図４（ｃ）は図４（ｂ）の地面のマスク画像、図４（ｄ）は図４（ｃ）の彩度・明度によるマスク画像（白杖が抽出されている）である。

本発明では、図１及び図２に示すように、ステレオカメラ１を、道の分岐点や交通信号機が設置された場所のような視覚障害者に対する特別なサービスが必要となる場所において、その場所の周囲の柱や梁などの構造物２を利用し、白杖３を所持した白杖使用者（視覚障害者）４が通過することが予想される場所を斜め下に見下ろすように設置する。

本発明では、ステレオカメラ１から得られる連続画像に対して、まずフレーム単位で処理を行い、その結果をシーケンシャル処理することによって、白杖３の有無を判定する。

まず、フレーム単位の処理では、ステレオカメラ１から得られた視差情報を３次元距離情報に変換し、その３次元距離情報に対して加算引き出し法による人物検出・トラッキング処理（例えば、上記特許文献６，７参照）を行い、３次元空間上での白杖使用者４の頭頂部位置と進行方向を測定する〔図４（ａ）参照〕。

次に、図３に示すように、３次元空間上において、白杖使用者４の重心より前方に、白杖使用者４が手に持っている白杖３が動きうる範囲を表す直方体５を仮定する。その直方体５を透視投影変換することにより、カラー画像上での白杖３の存在しうる範囲を特定し、その範囲のみを切り出す〔図４（ｂ）参照〕。

次に、切り出したカラー画像と対応する３次元距離情報を比較し、地面の高さを持つ距離画像点に対応するカラー画像点をマスクする〔図４（ｃ）参照〕。そのマスク画像に対し、さらに、彩度が低く、かつ、明度の高いカラー画像点を残すマスク処理を行う〔図４（ｄ）参照〕。さらにそのマスク画像に対してグレイ画像化処理を行い、Ｃａｎｎｙ−ｅｄｇｅ検出処理をかける。その画像に対してＨｏｕｇｈ変換を行う。そこで、一定以上の長さの直線成分が検出された場合、それを白杖候補とする。

シーケンシャル処理では、前述したトラッキング処理の結果に基づき、ステレオカメラ１の監視範囲内に存在する対象毎に、白杖候補が同一対象に対して一定フレーム間内に連続して検出されたか判定する。

一定フレームの間に連続して検出されていた場合、その直線成分のカラー画像上での角度変化を測定する。この角度変化の測定の結果、角度変化の周期性がある場合に白杖であると判定する。

以下、上記と重複する点もあるが、整理するために、白杖検出の方法についてフローチャートを用いて再度説明する。

図５は本発明の実施例を示す白杖検出の全体フロー（シーケンシャル処理）を示す図である。

まず、上述したフレーム処理を行い白杖候補を検出する（ステップＳ１）。このサブフローは図６で詳述する。

次に、同一人物が連続して白杖候補となるか否かをチェックする（ステップＳ２）。

ステップＳ２において、ＹＥＳの場合には、直線成分の角度変化が周期的であるか否かをチェックする（ステップＳ３）。

ステップＳ３において、ＹＥＳの場合には、白杖であると判定する（ステップＳ４）。これは、図３に示したように、白杖の場合、角度変化に周期性の見られる動作をする特性があるためである。

ステップＳ３において、ＮＯの場合には、白杖でないと判定する（ステップＳ５）。

なお、ステップＳ２において、ＮＯの場合には、シーケンシャル処理を終了する。

図６は本発明の実施例を示す白杖検出のフレーム処理のフローを示す図である。

まず、ステレオカメラ１により、ステレオ距離画像を得る（ステップＳ１１）。

次に、加算引き出し法による人物の検出・トラッキング処理を行う（ステップＳ１２）。

次いで、人物の３次元での頭頂部位置と進行方向の測定を行う（ステップＳ１３）。

次に、３次元空間上において、人物の前方に白杖３がおさまる直方体５の領域を設定する（ステップＳ１４）。

次に、直方体を透視投影変換し、対応するカラー画像を切り出す（ステップＳ１５）。

次に、高さの低い距離点（つまり、地面）に対応するカラー画像点をマスクする（ステップＳ１６）。

次に、彩度が低く、かつ明度の高い点を残すマスク処理を行う（ステップＳ１７）。

次に、Ｃａｎｎｙ−ｅｄｇｅ検出をする（ステップＳ１８）。

次に、Ｈｏｕｇｈ変換により直線成分を検出する（ステップＳ１９）。

上記から明らかなように、シーケンシャル処理において処理の対象にしているのは、加算引き出し法による人物検出・トラッキング処理によって検出された個々の歩行者である。「白杖候補」になるには、切り出し画像に対してマスク処理を行い、エッジを出した後に、一定以上の長さの直線成分が残ることが条件となる。例えば、図４（ａ）において、人物４に関してフレーム処理を行うと、図４（ｄ）の状態の画像が得られ、一定以上の長さの直線成分が検出される。ここで、人物４が「白杖候補」となる。続くフレームにおいて、追跡している人物４が「白杖候補」となり、かつ含まれる直線の角度が周期的に変化している場合「白杖」と判定される。

以下、本発明を利用した鉄道駅プラットホーム上での視覚障害者発見・危険箇所警告システムについて説明する。

図７に示すように、鉄道駅プラットホームに設置されるステレオカメラ１１で人物を撮像し、カラー画像記憶部１２にカラー画像を得る。一方、ステレオカメラ１１からの情報を受けて、３次元距離情報再構成部１３で３次元距離情報を再構成する。その再構成された情報は人物検出・トラッキング部１４で人物検出・トラッキング処理を行う。カラー画像記憶部１２からのカラー画像と人物検出・トラッキング部１４からの人物検出・トラッキング処理データから、白杖使用者（視覚障害者）検出部１５で白杖を検出する。また、その白杖検出情報と人物検出・トラッキング処理データから、危険箇所進入警告装置１６により、白杖使用者へ線路に転落しないように線路が接近していることを音声案内して危険箇所進入警告を行ったり、駅員用携帯端末１７によってプラットホームを安全に歩行できるように誘導案内を行うことができる。

次に、本発明を利用した道路交通信号機が設置される場所での視覚障害者発見・案内・信号制御システムについて説明する。

図８に示すように、道路交通信号機が設置される場所に設置されるステレオカメラ２１で人物を撮像し、カラー画像記憶部２２にカラー画像を得る。一方、ステレオカメラ２１からの情報を受けて、３次元距離情報再構成部２３で３次元距離情報を再構成する。その再構成された情報は人物検出・トラッキング部２４で人物検出・トラッキング処理を行う。その人物検出・トラッキング処理データとカラー画像記憶部２２からのカラー画像と３次元距離情報再構成部２３からの３次元距離情報を再構成した情報に基づいて白杖使用者（視覚障害者）検出部２５で白杖を検出する。その白杖の検出によって、音声案内装置２６により道路横断に注意を促す音声案内を行う。また、道路交通信号機の信号間隔制御装置２７により、健常者による道路横断所要時間に比べて、ゆとりを持った白杖使用者（視覚障害者）の道路横断のための時間をとれるように、道路交通信号機の信号間隔を制御する。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。

本発明のステレオカメラを用いた白杖使用者検出システムは、白杖使用者を鉄道駅のプラットホームや交通信号機が設置される場所での白杖使用者を安全に案内するシステムとして利用可能である。

本発明の実施例を示す白杖検出システムの実施状態模式図（白杖使用者の正面図）である。 本発明の実施例を示す白杖検出システムの実施状態模式図（白杖使用者の側面図）である。 本発明の実施例を示す白杖検出システムのステレオカメラによる白杖使用者の画像と白杖が存在する範囲を示す図である。 本発明の実施例を示す白杖の検出方法を示す図である。 本発明の実施例を示す白杖検出の全体フロー（シーケンシャル処理）を示す図である。 本発明の実施例を示す白杖検出のフレーム処理のサブフローを示す図である。 本発明を利用した鉄道駅プラットホーム上での視覚障害者発見・危険箇所警告システムブロック図である。 本発明を利用した道路交通信号機が設置される場所での視覚障害者発見・案内・信号制御システムのブロック図である。

符号の説明

１，１１，２１ ステレオカメラ
２ 構造物
３ 白杖
４ 白杖使用者（視覚障害者）
５ 白杖が動きうる範囲を表す直方体
１２，２２ カラー画像記憶部
１３，２３ ３次元距離情報再構成部
１４，２４ 人物検出・トラッキング部
１５，２５ 白杖使用者（視覚障害者）検出部
１６ 白杖使用者への危険箇所進入警告装置
１７ 駅員用携帯端末
２６ 音声案内装置
２７ 道路交通信号機の信号間隔制御装置

Claims (5)

1. ステレオカメラから得られる３次元距離情報を基に、加算引き出し法により人物検出・トラッキング処理を行い、３次元空間上で歩行者の頭頂部位置と進行方向を測定し、検出した歩行者の重心より前方に白杖が動きうる範囲を表す直方体を設定し、前記直方体に対応するカラー画像のみに対して画像処理を施し、白杖を検出することを特徴とするステレオカメラを用いた白杖使用者検出システム。
2. 請求項１記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記監視場所が鉄道駅のプラットホームや交通信号機が配置される箇所で、視覚障害者に対する特別なサービスが必要となる場所であることを特徴とするステレオカメラを用いた白杖使用者検出システム。
3. 請求項２記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記監視場所の構造物に前記歩行者が通過することが予想される場所を斜め下に見下ろすように前記ステレオカメラを設置することを特徴とするステレオカメラを用いた白杖使用者検出システム。
4. 請求項１記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記ステレオカメラから得られる連続画像に対して、フレーム単位で前記画像処理を行い、その結果をシーケンシャル処理することによって、前記白杖の有無を判定することを特徴とするステレオカメラを用いた白杖使用者検出システム。
5. 請求項４記載のステレオカメラを用いた白杖使用者検出システムにおいて、前記シーケンシャル処理は、トラッキング処理の結果に基づき、前記監視場所内に存在する対象毎に、白杖候補が同一対象に対して一定フレーム間内に連続して検出されたか判定し、一定フレームの間に連続して検出されていた場合、その直線成分のカラー画像上での角度変化を測定し、その結果、角度変化に周期性がある場合に白杖であると判定することを特徴とするステレオカメラを用いた白杖使用者検出システム。

Images