JP4811651B2 - ステレオカメラを用いた車椅子使用者検出システム - Google Patents

Description

本発明は、ステレオビジョンを用いたシーン中の車椅子使用者の検出システムに関するものである。

車椅子使用者の移動速度や回転自由度は、健常者と比べて低くなる。そのような車椅子使用者がエレベータ、エスカレータなどの機械設備を使用する際は、設備自体の稼働速度を調節する必要がある。そのためには車椅子使用者が存在することを設備に知らせなければならない。しかし、例えば押し釦等では、設置位置によっては車椅子使用者がうまく押せない場合がある。そのため、車椅子使用者の自動検出技術が求められる。すでに、いくつかの車椅子の自動検出方法が提案されている。

特許文献１では、地面に対して垂直の直線上に、車輪の高さまで光センサの投光・受光機を並べ、その間を車椅子の車輪が通過することによって起こる遮蔽パターンを基に車椅子を検出する。

特許文献２では、車椅子使用者を前方斜め上から見下ろす様に３台のカメラを設置し、そこから得られる画像に対して基準背景画像を基にして背景以外の物体のエッジを検出し、そのエッジを用いてステレオマッチングを行い、得られた距離情報中の距離点の固まりに対して、車椅子の様な高さを持っているか否か、人のような直立した板の形状をしているか否か、また、その足下の点群が車輪の回転のような周期性を持っているか否かを判定し、車椅子検出を行っている。

特許文献３，４には、加算引き出し法による人物検出・トラッキング処理方法が開示されており、その処理方法は以下のようである。

（１）あるフレームにおいて、ステレオカメラから得られた、カメラのレンズ正面を原点とする３次元座標系に属する距離情報を、監視範囲の中心の床を原点とする３次元座標系へ変換する。（２）変換した後の距離情報を、任意の高さで区切り、その区切られた各空間内で床平面に向けて射影し、２値画像を作成する（プレーン群の作成。後述する本発明の実施例の図３では４段のプレーン）。このとき、点と点の間の隙間を埋めるために、２値画像の縮小を行う。（３）プレーン内に存在する領域の重心を求める（後述する本発明の実施例の図３におけるプレーン４の、斜め線の領域内の十字が重心を表す）。これらを最上段のプレーンから下段のプレーンに向かって行う。このとき、各領域に関して、自分の属するプレーンより上の段において検出された重心のＸＹ座標が含まれる場合、それらは同一人物を指しているので、その領域では重心を求めない（後述する本発明の実施例の図３ではプレーン３，２，１の斜め十字網かけ、チェッカー、点々の領域にはプレーン４で検出された重心のＸＹ座標が含まれるため、重心は求めない）。このようにして、対象人物の頂点が決まる。（４）上記（３）のシーケンシャル処理で得られたこれらの頂点を、ＸＹ平面上での距離が近いもの同士で結び、動線を形成していく。
特開平１０−１４６３６１号公報 特表２００５−５３５０１６号公報 特開２００４−２４６８５６号公報 特開２００４−５８７３７号公報

しかしながら、上記した従来の車椅子検出方法によっては、その安定で、かつ正確な検知には難があった。

本発明は、上記状況に鑑みて、車椅子およびその使用者に特別な装置を装着することなく、また、システム設置の際の、構造物への改修を最小限に抑えつつ、安定した車椅子使用者の検出を行うことできるステレオカメラを用いた車椅子使用者検出システムを提供することを目的とする。

〔１〕ステレオカメラを用いた車椅子使用者検出システムにおいて、ステレオカメラから得られる３次元距離情報を基に、前記ステレオカメラの監視範囲内で検出した物体に対して、この物体の頂点から水平５方向に向かっての高さの変化によって車椅子利用者であるか否かを判定することを特徴とする。

〔２〕上記〔１〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記監視範囲がエレベータやエスカレータなどの車椅子使用者に対する特別なサービスが必要となる場所のエントランスであることを特徴とする。

〔３〕上記〔２〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記エントランスの周囲の柱や梁などの構造物に前記ステレオカメラを配置するとともに、このステレオカメラは、前記車椅子使用者が通過することが予想される場所を斜め下に見下ろすように設置することを特徴とする。

〔４〕上記〔１〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記車椅子使用者と歩行者の３次元距離情報を多数取得し、それらから、５方向表面形状ベクトルを作成し、この５方向表面形状ベクトル群を特徴空間上において前記車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定し、学習することを特徴とする。

〔５〕上記〔４〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記ステレオカメラにより未知の３次元距離情報を取得し、この３次元距離情報における物体に対して５方向表面形状ベクトルを作成し、この５方向表面形状ベクトルが、特徴空間上において前記超平面の車椅子使用者側に位置するのか、歩行者側に位置するのかを判定することにより、前記物体が車椅子使用者であるか検出することを特徴とする。

〔６〕上記〔４〕又は〔５〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記５方向表面形状ベクトルは、ステレオカメラから３次元距離情報を得て、この３次元距離画像情報に対して加算引き出し法による人物検出・トラッキング処理を行い、そこで得られたプレーン（水平面）群において、検出された物体の中心点Ｏから水平方向に、プレーンに対する高さを値とするベクトルを作成し、このベクトル作成を前記ステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行うことにより作成することを特徴とする。

本発明によれば、例えばエレベータやエスカレータなどの視覚障害者に対する特別なサービスが必要となる場所のエントランスで、車椅子使用者を正確に検知することができ、車椅子使用者に適合したサービスを提供することができる。

本発明のステレオカメラを用いた車椅子使用者検出システムは、ステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その物体の頂点から水平５方向に向かっての高さの変化によって車椅子利用者であるか否かを判定する。

以下、本発明の実施の形態について詳細に説明する。

図１は本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの模式図、図２はそのステレオカメラから得られる車椅子使用者の監視範囲内での検出状態を示す模式図、図３はそのステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その頂点から水平５方向に向かっての高さの変化によって車椅子であるか否かを判定する模式図、図４はその５方向表面形状ベクトルの取り方〔プレーン（水平面）上〕を示す図、図５はステレオカメラと車椅子使用者の中心に対する水平５方向を示す図、図６はプレーンからのベクトルの変換の模式図である。

図１に示すように、エレベータやエスカレータなどの、車椅子使用者４に対する特別なサービスが必要となる場所のエントランス２において、車椅子使用者４が通過することが予想される場所を斜め下に見下ろすようにステレオカメラ１を周囲の柱や梁などの構造物３を利用し、設置する。

そして、図２に示すように、ｘ，ｙ，ｚ軸を基準として、ステレオカメラ１を用いて取得した３次元距離情報を基に、監視範囲内に車椅子使用者４がいるかを検出するようにする。

具体的には、図３に示すように、ステレオカメラ１から得られる３次元距離情報を基に、監視範囲内で検出した物体（ここでは、車椅子）に対して、その頂点から水平５方向Ａ，Ｂ，Ｃ，Ｄ，Ｅ（図５参照）に向かっての高さの変化によって車椅子であるか否かを判定する。ここで、高さの変化とは、頭の頂点から地面まで体の表面をなぞったときに、その線がどのような変化をしているかを指している（時系列の変化ではない）。この情報における、具体的な車椅子使用者と歩行者の差は、線に階段状の部分ができるか否かとなる。直立した歩行者の場合は、なぞる線は、頭の中心から頭の周縁部までは水平の段ができ、後は地面までほぼ垂直に下りる（特に正面、背面）。一方、車椅子使用者の場合は、その正面にできる線は、頭の周縁部までで水平部分が一段できて、その後、頭から胸・腹を垂直に下り、大腿部分において水平部分がもう一段できる。この違いにより対象を車椅子使用者か歩行者か識別できる。実際には、対象の正面方向は正確には分からないので、対象の、カメラから見える範囲を５方向に分けて等しくベクトルを取り、それらを加算平均して扱うことによって対象の回転による影響を吸収している。

図３においては、水平方向Ａの高さ、即ち、プレーン４、プレーン３、プレーン２、プレーン１におけるそれぞれの高さ１１，１２，１３，１４を求めている（図６参照）。そして、それらの高さの変化によって車椅子であるか否かを判定する。つまり、水平５方向Ａ，Ｂ，Ｃ，Ｄ，Ｅに向かっての高さが上述したように、車椅子使用者と歩行者とでは異なるので、この特徴を、本発明のステレオカメラを用いた車椅子使用者検出システムによって正確に検出することができる。

なお、本発明の副次的効果として、例えば、車椅子が転倒したような場合には、その車椅子使用者の５方向表面形状ベクトルが大きく変化するので、加算引き出し法による人物検出・トラッキング処理による追跡データと併せて処理することにより、車椅子使用者のラベルを持った追跡対象の特徴ベクトルが急激に変化した場合、何事かが起こった（例えば、車椅子使用者の転倒など）として警報を発することもできる。

本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムは事前の学習を必要とする。

まず、図７に示すように、車椅子使用者と歩行者の３次元距離情報を多数取得する（ステップＳ１）。それらから、後述する５方向表面形状ベクトルを作成する（ステップＳ２）。それら５方向表面形状ベクトル群を特徴空間上において車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定する（ステップＳ３）。

次に、本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの判別フローについて説明する。

図８に示すように、まず、ステレオカメラにより、未知の３次元距離情報を取得する（ステップＳ１１）、次に、取得した３次元距離情報中の物体に対して図７と同様に５方向表面形状ベクトルを作成する（ステップＳ１２）。次に、その作成された５方向表面形状ベクトルが特徴空間上において超平面の車椅子使用者側に位置するのか、歩行者側に位置するのかを判定する（ステップＳ１３）。

次に、図７のステップＳ２、図８のステップＳ１２における、本発明の実施例を示す５方向表面形状ベクトルの作成フローについて説明する。

まず、図９に示すように、ステレオカメラを用いて３次元距離情報を得る（ステップＳ２１）。次に、その３次元距離情報に対して加算引き出し法による人物検出・トラッキング処理（上記特許文献３，４参照）を行う（ステップＳ２２）。そこで得られたプレーン群において、図４に示すように検出された各物体の中心点Ｏから水平方向に３０点分の、プレーンに対する高さを値とするベクトルを作成する。このベクトル作成はステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行う。ただし、４５°方向Ｂ，Ｄの場合は２１点分をベクトルとし、それを２１０点に拡大した後、７点毎にｍｅｄｉａｎを求め、３０次元のベクトルに直す（ステップＳ２３）。次に、それら５本のベクトルの加算平均を取り、３０次元のベクトルとして保存する（ステップＳ２４）。

また、上記ではベクトルの長さは３０点としたが、これはプレーンの縮小率によって変わる。実際に高さの変化を取らなければならない長さは、頭の中心から体の端までの水平距離となる（実測値では８００〜９００ｍｍ程度）。プレーンにおいて、この８００〜９００ｍｍの長さに対応する点列をベクトルとして扱う。その意味では、３０点は一例にすぎない。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。

本発明のステレオカメラを用いた車椅子使用者検出システムは、車椅子使用者を確実に検知するシステムとして利用可能である。

本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの模式図である。 本発明の実施例を示すステレオカメラから得られる車椅子使用者の監視範囲内での検出状態を示す模式図である。 本発明の実施例を示すステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その頂点から水平５方向に向かっての高さの変化によって車椅子であるか否かを判定する模式図である。 本発明の実施例を示す５方向表面形状ベクトルの取り方（プレーン上）を示す図である。 本発明の実施例を示すステレオカメラと車椅子使用者の中心に対する水平５方向を示す図である。 本発明の実施例を示すプレーンからのベクトルの変換の模式図である。 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの学習フローを示す図である。 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの判別フローを示す図である。 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの５方向表面形状ベクトルの作成フローを示す図である。

符号の説明

１ ステレオカメラ
２ エントランス
３ 構造物
４ 車椅子使用者
Ａ，Ｂ，Ｃ，Ｄ，Ｅ 水平５方向
１１ プレーン４における高さ
１２ プレーン３における高さ
１３ プレーン２における高さ
１４ プレーン１における高さ

Claims (5)

1. ステレオカメラから得られる３次元距離情報を基に、前記ステレオカメラの監視範囲内で検出した物体に対して、該３次元距離画像情報に対して加算引き出し法による人物検出・トラッキング処理を行い、そこで得られたプレーン（水平面）群において、該物体の頂点から前記ステレオカメラから見える範囲を等しく分けるように水平５方向に向かってプレーンに対する高さを値とするベクトルを作成し、それら５本のベクトルの加算平均を取ることで５方向表面形状ベクトルを作成し、事前に学習された車椅子使用者と歩行者の５方向表面形状ベクトルに基づいて、作成した５方向表面形状ベクトルが、特徴空間上において車椅子使用者側に位置するのか、歩行者側に位置するのかを判定することにより、前記物体が車椅子使用者であるか検出することを特徴とするステレオカメラを用いた車椅子使用者検出システム。
2. 請求項１記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記監視範囲がエレベータやエスカレータなどの車椅子使用者に対する特別なサービスが必要となる場所のエントランスであることを特徴とするステレオカメラを用いた車椅子使用者検出システム。
3. 請求項２記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記エントランスの周囲の柱や梁などの構造物に前記ステレオカメラを配置するとともに、該ステレオカメラは、前記車椅子使用者が通過することが予想される場所を斜め下に見下ろすように設置することを特徴とするステレオカメラを用いた車椅子使用者検出システム。
4. 請求項１記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記事前学習とは、前記車椅子使用者と歩行者の３次元距離情報を多数取得し、それらから、加算引き出し法による人物検出・トラッキング処理を行うことで前記５方向表面形状ベクトルを作成し、該５方向表面形状ベクトル群を特徴空間上において前記車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定することであることを特徴とするステレオカメラを用いた車椅子使用者検出システム。
5. 請求項４記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記５方向表面形状ベクトルは、前記プレーン（水平面）群において、検出された物体の中心点Ｏから水平方向に、プレーンに対する高さを値とするベクトルを作成し、このベクトル作成を前記ステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行い、それら５本のベクトルの加算平均を取ることにより作成することを特徴とするステレオカメラを用いた車椅子使用者検出システム。
   

Images