JPWO2013088517A1 - 停立人物の向き推定方法 - Google Patents

Abstract

従来の方法は、所定時間毎の歩行者の位置変化から歩行者進路モデルを構築するが、位置変化のない停立人物の進路モデルは構築できず向きを推定できない。また、一般歩行者モデルの様に、データベースとのパターンマッチングによる方法では、停留人物の服装や体格などの外見が、データベース内の人物と大きく異なる場合は向きが推定できない。そこで、撮像手段から得た画像内の人の下肢の踝より末端部の足と下腿の概略境界部である足と下腿の境界位置を検出し、前記画像内の地面と地面以外を分類可能な特徴量を検出し、前記境界位置周囲の周辺領域内に、前記境界位置との相対位置情報および／または／相対的向き情報を持つ複数の局所領域を設定し、前記地面固有の特徴量を用いて前記局所領域それぞれが地面か地面以外かを判断し、地面以外と判断した前記局所領域から足領域を判定し、前記足領域と分類された局所領域と前記情報から人の足の向きを推定する。

Description

本発明は、停立人物の向き推定方法に関する。

自律移動装置が安全に効率よく進むためには、人物の移動方向を判断する必要がある。

本技術分野の背景技術として、特開２００７−２２９８１６号公報（特許文献１）がある。この特許文献１には、歩行者の進路を足先画像から予測する方法が記載されている。その内容は、特定の歩行者の足先画像の情報と、検出された特定の歩行者の進路情報とを組み合わせることで、歩行者進路モデル構築部が一般の歩行者の進路モデルを予め構築し、その歩行者進路モデルの情報を歩行者進路モデル記憶部が記憶するものである。

その後、歩行者足先画像生成部により生成される不特定の歩行者の足先像の情報を歩行者進路モデル記憶部に記憶されている歩行者進路モデルの情報と照合することにより、歩行者進路予測部が不特定の歩行者の進路を予測するようになっている。

歩行者進路モデル構築時の進路検出の方法としては、歩行者の３次元位置を所定時間毎に順次検出し、その３次元位置の時間的変化から、歩行者の進路を検出することが記載されている。

特開２００７−２２９８１６号公報

上記特許文献１では、所定時間毎の歩行者の位置変化から歩行者進路モデルを構築するが、立ち止まっている人物（停立人物）は位置変化が無いため、進路モデルを構築できず向きを推定できない。また、特許文献１の一般歩行者モデルの様に、データベースとのパターンマッチングによる方法では、停立人物の服装や体格などの外見が、データベース内の人物と大きく異なる場合に向きが推定できない。

しかし、ロボット等の自律移動装置が停立人物で混み合った環境を通行する際、停立人物が急に歩き始めても、自律移動装置が人と衝突したり、人の移動を妨げたりしないためには、停立人物が歩き出す向きの推定が必要である。停立人物の歩きだす向きは、足の向きと一致することが多く、足の側方や後方へは１、２歩程度しか動き出さない。そのため足の向きから人の歩きだす向きを推定するのが適している。

本発明の目的は、停立人物の瞬間単独静止画像から歩きだす方向を推定し、人とぶつかる可能性の低い領域を走行することで安全な移動制御を行うことが可能な停立人物の向き推定方法を提供することにある。

上記目的を達成するために本発明は、撮像手段から得た画像内の人の下肢の踝より末端部の足と下腿の概略境界部である足と下腿の境界位置を検出するステップと、前記画像内の地面と地面以外を分類可能な特徴量を検出するステップと、前記境界位置周囲の周辺領域内に、前記境界位置との相対的位置情報および／または／相対的向き情報を持つ複数の局所領域を設定し、前記地面固有の特徴量を用いて前記局所領域それぞれが地面か地面以外かを判断するスッテプと、地面以外と判断した前記局所領域から足領域を判定するスッテプと、前記足領域と分類された局所領域と前記情報から人の足の向きを推定するスッテプとを備えたものである。

また上記目的を達成するために本発明は好ましくは、前記足と下腿の境界位置は距離センサを用いて特定すると良い。

また上記目的を達成するために本発明は好ましくは、前記距離センサは地面と平行で、人の下肢の前記足と下腿の概略境界部の高さの平面を測定すると良い。

また上記目的を達成するために本発明は好ましくは、前記地面の特徴量は画像内各画素のデータのヒストグラムを元にして求めると良い。

また上記目的を達成するために本発明は好ましくは、前記足と下腿の境界位置周囲の周辺領域内に設定する局所領域は、前記境界位置を中心とした扇形にすると良い。

また上記目的を達成するために本発明は好ましくは、１対の足領域同士の距離が所定値より小さく、前記１対の足領域の特徴量の差が互いに所定値以下である場合に、前記１対の足領域を同一人物の足領域と判断すると良い。

また上記目的を達成するために本発明は好ましくは、同一人物の足領域が含む局所領域の持つ情報を元に、人物の向きを推定すると良い。

本発明によれば、停立人物の瞬間単独静止画像から歩きだす方向を推定し、人とぶつかる可能性の低い領域を走行することで安全な移動制御を行うことが可能な停立人物の向き推定方法を提供できる。

本発明の実施例に係る向き推定手順を説明するフロー図である。 本発明の実施例に係る向き推定装置の概略構成図である。 本発明の実施例に係る向き推定装置の概略外観図である。 本発明の実施例に係る足下腿境界位置推定方法を説明するフロー図である。 本発明の実施例に係る地平面内足下腿境界位置推定方法を説明する図である。 本発明の実施例に係る射影投射の計算方法例を説明する図である。 本発明の実施例に係る足下腿境界位置の推定結果を説明する図である。 本発明の実施例に係る地面の特徴量抽出方法を説明する図である。 本発明の実施例に係る人物の足向き推定方法を説明する図である。 本発明の実施例に係る局所領域について説明する図である。 本発明の実施例でつま先領域特定処理を説明するフロー図である。 本発明の他の実施例に係る向き推定装置の構成図である。 本発明の他の実施例に係る向き推定装置の外観図である。

以下、実施例を図面にしたがって説明する。

図２は本実施例を実装した向き推定装置１の構成例を示す図である。
図３は向き推定装置１の外観図である。

図２において、向き推定装置１は、デジタルカメラ１０１とレーザースキャナ１０２、計算機１０３、出力端子１０４から成る。デジタルカメラ１０１はデジタル画像Gを取得し計算機１０３へ送る。レーザースキャナ１０２は測定値を計算機１０３へ送る。計算機１０３は、デジタルカメラ１０１とレーザースキャナ１０２から得た情報を元に、人物２０１の向きを推定し、出力端子１０４から結果を電気信号で出力する。

図３において、デジタルカメラ１０１は向き推定装置２の上部に設けられている。このデジタルカメラ１０５は撮影対象を上から撮影するため図３（ｂ）に示すように傾斜して取り付けられている。レーザースキャナ１０２は向き推定装置１の下部に設けられている。計算機１０３は向き推定装置２のほぼ中央部に設置されており、背後の出力端子１０４に接続されている。

図１のフローチャートを用いて、本実施例による停立人物の向き推定方法を説明する。

図１において、S１では、デジタルカメラ１０１より、人物２０１の足元のデジタル画像Gを取得する。デジタル画像Gの各画素は数値データCとして、RGBインテンシティなどの色情報を含んでいるが、撮像手段として赤外線カメラ、ステレオカメラ、３次元距離センサなどを用いることで、温度情報、距離情報等を好適に用いることができる。本実施例では、数値データC としてRGBインテンシティを用いる。

S２では画像G内停立人物の、画像G内の足と下腿の境界部分を示す位置（足下腿境界位置O_M）を設定する。S２での処理を図４のフローチャートに示す。

SS１０１ではレーザースキャナ１０２より、図３に示した地面T３０１に平行な平面F３０２を走査し、人物２０１の、足と下腿の境界部分表面の座標データ群を取得する。

図３（ｃ）に示すように、平面F３０２の高さは１５〜３０cm程度で、人の足首程度の高さが適当である。SS１０２では、SS１０１で取得した座標データ群から平面F３０２上での足と下腿の境界断面の代表位置（地平面内足下腿境界位置Ｏ’_M）を設定する。この設定方法には次の方法がある。

まず、レーザースキャナ１０２が得る座標データ群のうち、隣接する点が一定距離以内の範囲にある座標データ点同士を同一物体による座標データ点とみなすことで、座標データ点をグループ分けする。そして、図５に示すように足と下腿の境界断面の形状を円とみなした場合の、前記境界断面の中心位置を地平面内足下腿境界位置Ｏ’_Mとする。

例えば、グループkに属する座標データ点群を{d_１、 d_２、 d_３、 d_４}とした場合に、任意の座標データ点３点{d_i、 d_j、 d_k}（i、 j、 kは任意の自然数）を選び、{d_i、 d_j、 d_k}内の任意の２点が作る垂直二等分線同士の交点を地平面内足下腿境界位置Ｏ’_Mとする。図４のSS１０３では、SS１０２で得た地平面内足下腿境界位置Ｏ’_Mを射影変換し、S１で得たデジタル画像G内での足下腿境界位置O_Mを求める。

図６のように、カメラの撮像面を平面M３０３としたとき、平面F３０２内の任意の点X(x、y)は、式１を満たす平面M３０３内の点X’(x’、 y’)へ射影変換できる。

実数係数a_０、 b_０、 c_０、 a_１、 b_１、 c_１、 a_２、 b_２、 c_２を決定することで平面F３０２から平面M３０３への写像関係を導く。式１は、右辺分母分子を通分することで、独立変数８つとみなすことができる。

そこで、図６のように、四頂点の座標が既知である平面F３０２上の矩形ABCDを平面M３０３上へ撮像した四角形A’B’C’D’の四頂点の座標を測り、ABCD及びA’B’C’D’の各頂点の座標を式１へ代入し連立方程式を解けば、全係数を求められる。装置作動前にあらかじめ係数を求めておけば、平面F３０２上の任意の点について平面M３０３への射影変換が求められるため、図７の様に、SS１０２で求めた地平面内足下腿境界位置Ｏ’_Mを射影変換し、デジタル画像G内での足下腿境界位置O_Mを求めることができる。

図１のS３ではデジタル画像Gから地面固有の特徴量Q_fを抽出する。特徴量抽出方法の例を図８で説明する。
図８(１)のデジタル画像Gの各画素は、RGBインテンシティを数値で持っている。デジタル画像GのRGBインテンシティのヒストグラムを求めると図８(２)の様になる。地面はデジタル画像Gの大半を占めるため、図８(２)のヒストグラムのRGBそれぞれのピークR_m、G_m、B_m近傍の色は地面の色と推測し、式２をみたすRGBインテンシティを、地面固有の特徴量Q _fと設定する。

ΔR_l、ΔR_r、ΔG_l、ΔG_r、ΔB_l、ΔB_r任意の実数で、地面状況に応じ好適に設定する。なお、Q_fが常に一定の環境であれば、Q_fをあらかじめ抽出し、装置内外に記憶しておいても良い。

図１のS４ではデジタル画像Gの足の周辺領域（足周辺領域E）から、足を含む領域（足領域）を見つけるために、局所領域D_kを設定する。例えば図９(２)のように、S２によって左右の下肢の足下腿境界位置O_MR、O_MLが設定されているとする。まずデジタル画像GをS２と同様の方法で地面に平行な面上へ射影変換し、足を地面垂直方向から見た状態を模擬する。ここで射影変換された画像をG’とし、O_MR、O_MLの投射位置をＯ’’_MR、Ｏ’’_MLとする。次に射影変換後の足下腿境界位置Ｏ’’_MR、またはＯ’’_MLを中心とした、半径r_minの円と半径r_maxの円が挟む領域を足周辺領域Eとする。そして、足周辺領域Eから、複数の局所領域D_kを選択する。局所領域D_kは位置または向きの情報を持つように設定する。

本実施例では、図１０及び式３に示すように、Ｏ’’_Mを中心とした任意の方向θ_kによってD_kを設定する。

r_min、r_max、Δθ、D_kの個数は、環境に応じて好適に決める。

図１のS５では各局所領域D_kを評価し、地面か否かを判断する。局所領域D_k内の画素のうち、特徴量Q_fの条件を満たす画素の個数を局所領域D_kの評価値とする。こうして評価値が高い領域ほど、地面を多く含んでいると判断できる。評価値が所定値より大きい場合、D_kを地面、所定地よりも小さければ、足の一部と判断し、S６へ進みD_kを足領域K{D_q} (qは自然数)と分類する。なお、本実施例では足周辺領域Eを円、局所領域Dを扇形としているが、それぞれ多角形や楕円形などを好適に選んでよい。

図１のS７では、全てのD_kを評価できたかを調べ、もし未評価の局所領域D_kがあれば、S４へ戻り、未評価のD_kを評価する。

図１のS８では、足領域Kと分類した局所領域D_qと足下腿境界位置O_Mの位置関係から事物Mの足向きθ_Mを推定 する。
例えば図９（３）の場合、S８に進む時点ではD_p (p=１、２、３、…、６)とD_*を足領域Kと分類している。D_pはつま先を含む領域（つま先領域T）であり、D_*は、下腿を含む領域（下腿領域L）である。人の足向きは、足下腿境界位置O_Mを基準としたつま先の向きであるため、つま先領域Tの位置から足向きが分かる。つま先領域Tと下腿領域Lの分離の例を、図１１のフローチャートを用いて説明する。

SS２０１では、足領域Kに属する連続して隣り合う局所領域D_qを同じグループとしてグループ分けをする。SS２０２ではグループの個数を調べ、グループが２つ以上あった場合、SS２０３へ進み、手前方向（図９（３）の-y方向）へ近い向きのグループをつま先領域Tだと判定し、１つしかグループが無い場合、SS２０４へ進みそのグループをつま先領域Tと判定する。SS２０５では、つま先領域Tが含む局所領域D_pを定める方向θ_pの平均値を、足の向きθ_Mとする。

例えば図９(４)の場合、足下腿境界位置Ｏ’’_MLを基準とする局所領域D_Lnを定める方向をθ_Lnとし、θ_Lnの平均値をＯ’’_ML上の足の向きθ_MLとする。足下腿境界位置Ｏ’’ _MR上の足の向きθ_MRも同様に求める。

こうして推定した全ての足の向きを、出力端子１０４から出力する。また、S８において、もし Ｏ’’_MLとＯ’’_MR間の距離が一定値Lより小さく、なおかつ、Ｏ’’_MRとＯ’’_MLを中心とするつま先領域D_LnとD_Rnの所定の特徴量Q_Mが互いに近い値なら、つま先領域D_LnとD_Rnは同一人物のもの判断し、θ_MLとθ_MRの平均値を人物２０１の足向きθ_Mであると推定してもよい。特徴量Q_Mには、RGBカラーヒストグラムやエッジ処理による特徴点座標などを好適に用いる。これによって、画像Gが複数の人物が含んでいても、それぞれの人物を独立に向き推定することが可能である。

以上のようにして、単一の画像から、データベースを用いずに、人物２０１の足向き推定が可能となる。

本実施例では、距離画像を使った例を説明する。
図１２に、実施例２における停立人物の向き推定装置２を、図１３に向き推定装置２の外観図を示す。

図１２の向き推定装置２のうち、既に説明した図２及び図３に示された同一の符号を付された構成と同一の機能を有する部分については、説明を省略する。
図１２に示した向き推定装置２は、撮像手段としてステレオカメラ１０５を装備し、撮影対象を異なる視点から見た２枚のデジタル画像を計算機１０３へ渡す。計算機１０３は、２枚のデジタル画像から、画像内物体の、地面T３０１基準の距離を計算し、距離画像G _３Dを作成し、各画素が持つ数値データCとして、距離情報を利用して人物２０１の向きを推定する。

図１３において、ステレオカメラ１０５は向き推定装置２の上部に設けられ、２個のレンズでステレオ映像を撮影する。このステレオカメラ１０５は撮影対象を上から撮影するため図１３（ｂ）に示すように傾斜して取り付けられている。計算機１０３は向き推定装置２のほぼ中央部に設置されており、背後の出力端子１０４に接続されている。

実施例２における処理の流れを図１のフローチャートを用いて説明する。ただし、S４〜S８は、既に説明した実施例１のS４〜S８と同じであるため説明を省略する。

S１では、ステレオカメラ１０４から２枚のデジタル画像G_１、G_２を取得する。
S２では、デジタル画像G_１、G_２から、距離画像G_３Dを作成する。距離画像G_３Dの作成は、例えば次のような方法で行う。まずデジタル画像G_１内の微小な領域a_１nにエッジ抽出等を施して特徴量s_１nを与える。次にG_２からa_１nと同じ特徴量s_２nをもつ微小領域a_{２ n}を探索する。そして微小領域a_kn (k=１、２)までの距離z_nを、式４で計算し、微量領域a _１nの距離とする。

ここで、g_kn (k=１、２)はa_kn の重心位置、fはカメラの焦点距離、hは二つのカメラの間隔である。以上の計算を、デジタル画像G_１内全てについて行うことで、カメラからの距離画像G’_３Dを得る。G’_３Dから容易に地面T３０１基準の距離画像G_３Dを得ることができる。

S３では、足下腿境界位置を特定する。S２で得た距離画像G_３Dのうち、地面T３０１から人の足首までの高さより距離Cが大きく、所定高さより距離Cが低い画素を人物２０１の足下腿境界位置と認識することで、ただちに画像内G_１またはG_２の足下腿境界位置が特定できる。

S４では、地面の特徴量Q_fを抽出する。地面の特徴量Q_fは、距離が０近傍であることであり、式５で表す。

εは任意の実数で、地面状況に応じ好適に設定する。S４以降は、画像G_１またはG_２に対し実施例１と同様の処理をして、人の足向きを推定できる。

実施例１において、地面に複数の色が含まれている場合、ヒストグラムのピークが複数個になる。その場合それぞれのピーク近傍の色を地面の特徴量としてもよい。

実施例１、２、及び３において、地面の特徴量が各人物の位置によって変わる場合、各人物の足元の局所画像で、各人物の足を含まない領域の特徴量を得ることで対応できる。

１・・・実施例１の向き推定装置、２・・・実施例２の向き推定装置、１０１・・・デジタルカメラ、１０２・・・レーザースキャナ、１０３・・・計算機、１０４・・・出力端子、１０５・・・ステレオカメラ、２０１・・・対象人物、T３０１・・・実際に対象人物が立っている地面、F３０２・・・レーザースキャナの走査面、M３０３・・・デジタルカメラの撮像面、G・・・デジタル画像、C・・・画像特徴量、Q_f・・・足接地面特徴量、O_M・・・人物の足下腿境界位置、D・・・局所領域、E・・・足周辺領域、K・・・足領域、θ・・・方向。

Claims (7)

1. 撮像手段から得た画像内の人の下肢の踝より末端部の足と下腿の概略境界部である足と下腿の境界位置を検出するステップと、
   前記画像内の地面と地面以外を分類可能な特徴量を検出するステップと、
   前記境界位置周囲の周辺領域内に、前記境界位置との相対的位置情報および／または／相対的向き情報を持つ複数の局所領域を設定し、前記地面固有の特徴量を用いて前記局所領域それぞれが地面か地面以外かを判断するスッテプと、
   地面以外と判断した前記局所領域から足領域を判定するスッテプと、
   前記足領域と分類された局所領域と前記情報から人の足の向きを推定するスッテプとを備えたことを特徴とする停立人物の向き推定方法。
2. 請求項１記載の停立人物の向き推定方法において、
   前記足と下腿の境界位置は距離センサを用いて特定することを特徴とする停立人物の向き推定方法
3. 請求項２記載の停立人物の向き推定方法において、
   前記距離センサは地面と平行で、人の下肢の前記足と下腿の概略境界部の高さの平面を測定することを特徴とする停立人物の向き推定方法。
4. 請求項１ないし３のいずれかに記載の停立人物の向き推定方法において、
   前記地面の特徴量は画像内各画素のデータのヒストグラムを元にして求めることを特徴とする停立人物の向き推定方法。
5. 請求項１ないし４のいずれかに記載の停立人物の向き推定方法において、
   前記足と下腿の境界位置周囲の周辺領域内に設定する局所領域は、前記境界位置を中心とした扇形にすることを特徴とする停立人物の向き推定方法。
6. 請求項１ないし５のいずれかに記載の停立人物の向き推定方法において、
   １対の足領域同士の距離が所定値より小さく、前記１対の足領域の特徴量の差が互いに所定値以下である場合に、前記１対の足領域を同一人物の足領域と判断することを特徴とする停立人物の向き推定方法。
7. 請求項６記載の停立人物の向き推定方法において、
   同一人物の足領域が含む局所領域の持つ情報を元に、人物の向きを推定することを特徴とする停立人物の向き推定方法。

Images