JP5369036B2 - 通過者検出装置、通過者検出方法 - Google Patents

通過者検出装置、通過者検出方法 Download PDF

Info

Publication number
JP5369036B2
JP5369036B2 JP2010073633A JP2010073633A JP5369036B2 JP 5369036 B2 JP5369036 B2 JP 5369036B2 JP 2010073633 A JP2010073633 A JP 2010073633A JP 2010073633 A JP2010073633 A JP 2010073633A JP 5369036 B2 JP5369036 B2 JP 5369036B2
Authority
JP
Japan
Prior art keywords
person
head
dimensional information
plane
passing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010073633A
Other languages
English (en)
Other versions
JP2011203227A (ja
Inventor
伸裕 見市
智治 中原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010073633A priority Critical patent/JP5369036B2/ja
Publication of JP2011203227A publication Critical patent/JP2011203227A/ja
Application granted granted Critical
Publication of JP5369036B2 publication Critical patent/JP5369036B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、規定の領域を通過する人を検出する通過者検出装置、通過者検出方法に関するものである。
従来から、焦電型赤外線センサを備える人感センサを用いることにより所定の領域における人の存否を検出し、当該領域における人の存否に応じて照明機器や換気扇のような負荷機器の動作を制御する技術が知られている。この技術を採用することにより、負荷機器の消し忘れを防止するなど、負荷機器の無駄な運転が抑制される。
ところで、人の存否だけではなく、人の体型や性別のような情報を取得することができれば、人の代謝量などを推定して快適性を向上させるように負荷機器を運転したり、より省エネルギーになるように負荷機器の運転を適正化することが可能になると考えられる。
一方、個人識別情報が登録されているRFID(いわゆるICタグ)を各人が携帯し、RFIDの登録内容を読取装置で読み取る技術や、各人の顔を撮像装置により撮像し、顔の特徴から各人を認証する技術など、個人を識別する技術が種々知られている。このような個人を識別する技術を、負荷機器の制御に流用すれば、快適性の向上や省エネルギー化の推進が可能になると考えられる。
RFIDを用いる技術は、オフィスのように身分証をつねに携帯する場所では採用可能であるが、一般家庭のようにRFIDを持ち歩く必要のない場所では、採用することができない。また、顔認証のように身体の特徴により個人を識別する技術を採用すれば、RFIDを持ち歩く必要はないから利便性は高くなるが、宅内において個人認証を行うことは、快適性の向上や省エネルギーの推進などの目的で負荷機器を制御する程度であれば情報過多になる。
体型を識別する技術として、特許文献1には、施設の出入口や通路において、通過者を検出するとともに、通過者の身長を計測する技術が記載されている。特許文献1に記載された技術では、通過を検出する領域の天井に多数個の距離計を配列してある。各距離計には、それぞれ発光ダイオードと位置検出素子とが設けられており、三角測量の原理により物体までの距離を計測している。
距離計は、通過者が通過する方向に交差する方向において多数個が1列に並べて配置され、さらに、通過者が通過する方向に離間させて2列に配列されている。したがって、通過者の通過方向に交差する方向に沿って1列に並べた距離計で計測した距離値に基づいて、通過者の左右幅(肩幅)を計測し、身長との関係により推定した左右幅により通過人数を推定することができる。また、距離計を2列に配列することにより、通過者が通過する向きを検出することが可能になっている。
特許第2594842号公報
特許文献1に記載の技術を採用すれば、施設の出入口や通路を通過した人数だけではなく、身長を取得することが可能になる。したがって、この構成を用いて取得される情報を用いて負荷機器の動作を制御すれば、快適性の向上や省エネルギー化の推進につながる可能性がある。
ところで、特許文献1では、距離計を設けることにより通過者の身長を計測する技術が記載され、また、通過者の肩幅を推定することにより通過人数を計数する技術が記載されているが、通過者の体型を求める技術については記載されていない。さらに、特許文献1に記載の技術では、それぞれ発光ダイオードと位置検出素子とを必要とする距離計を多数必要とするから、コスト高になるという問題も有している。
本発明は上記事由に鑑みて為されたものであり、その目的は、規定の領域を通過する通過者の体型の推定を比較的安価な構成で可能にする通過者検出装置、通過者検出方法を提供することにある。
本発明の通過者検出装置は、上記目的を達成するために、人の通過を検出する部位の上方に配置され通過方向に交差する仮想の平面内における2次元情報を計測する距離センサと、前記平面内を人が通過する期間における異なる複数の時刻において計測した複数の2次元情報を用いて前記平面を通過する人の3次元形状を推定する形状推定部とを備え、形状推定部は、2次元情報を用いて前記平面を通過する人の頭部の左右幅を計測するとともに頭部の左右幅から頭部の前後幅を推定し、さらに、前記平面を人が通過する間に取得した複数の2次元情報から人の3次元形状の推定に必要な2次元情報を選択し、通過方向における当該2次元情報の間隔を頭部の前後幅から求めることにより、人の3次元形状を推定することを特徴とする。
形状推定部は、2次元情報から頭頂の位置を推定するとともに、頭部の左右幅により頭部の上下幅を推定し、2次元情報のうち頭頂の位置から上下幅により定められる所定範囲に頭部が含まれると判断することが望ましい。
形状推定部は、頭部を回転楕円体で近似し、頭部の左右幅により頭部の前後幅を推定する構成を採用することができる。
また、
形状推定部は、頭部の左右幅と頭部の前後幅との関係を表す統計データを用いて、頭部の左右幅から頭部の前後幅を推定する構成を採用してもよい。
さらに、形状推定部は、推定された人の3次元形状のうちの前後幅と、距離センサにより平面内を通過する人が検出されていた時間とから、前記平面を通過した人の移動の速度を算出することが望ましい。
加えて、形状推定部は、前記平面を人が通過する間に取得した複数の2次元情報について各一対の相違の程度を表す相違度を求め、相違度が閾値以下である場合は、一方の2次元情報を人の3次元形状の推定に用いないことが望ましい。
距離センサにより人を検出する前記平面内を第1の領域とし、人の移動方向において第1の領域から離間して設定される第2の領域における人の通過を検出する通過センサを設け、形状推定部は、距離センサと通過センサとにより検出される人の通過順序により人が移動する向きを検出する構成を採用することができる。
この場合、通過センサは、距離センサから第1の領域に投光する状態と距離センサから第2の領域に投光する状態とを選択する光学要素を有し、光学要素により第2の領域に投光する状態において距離センサと光学要素とが通過センサとして機能させてもよい。
本発明の通過者検出方法では、上記目的を達成するために、人の通過を検出する部位の上方に配置され通過方向に交差する仮想の平面内における2次元情報を計測する距離センサを用い、前記平面内を人が通過する期間における異なる複数の時刻において計測した複数の2次元情報を用いて前記平面を通過する人の3次元形状を推定する方法であって、2次元情報を用いて前記平面を通過する人の頭部の左右幅を計測するとともに頭部の左右幅から頭部の前後幅を推定し、さらに、前記平面を人が通過する間に取得した複数の2次元情報から人の3次元形状の推定に必要な2次元情報を選択し、通過方向における当該2次元情報の間隔を頭部の前後幅から求めることにより、人の3次元形状を推定することを特徴とする。
本発明の構成によれば、人が通過する規定の平面内における2次元情報を取得し、人が当該平面を通過する間に取得した複数の2次元情報を用いて、通過した人の頭部の前後幅を求め、この前後幅に基づいて2次元情報の時間間隔を決めている。この時間間隔を用いることにより、複数の2次元情報から前記平面を通過する人の3次元形状を推定することが可能になる。すなわち、前記平面内の2次元情報を取得する程度の比較的安価な距離センサを用いて、前記平面を通過する人の体型の推定を行うことが可能になるという効果を奏する。
実施形態を示す概略構成図である。 実施形態1における形状推定部の処理を示す動作説明図である。 同上における座標変換の概念を示す図である。 同上における頭部データの抽出方法を示す動作説明図である。 同上における処理対象のフレームの抽出方法を示す動作説明図である。 同上において処理対象のフレームの概念を示す図である。 実施形態2を示す概略構成図である。 同上の概略の動作説明図である。 同上における形状推定部の処理を示す動作説明図である。
(共通構成)
以下に説明する各実施形態に共通する構成について、図1を用いて説明する。図示例では、人の通過する領域を規定するために、ドア枠のような枠部材1を例示しているが、枠部材1は必須ではなく、建物や部屋の出入口のような開口部、あるいは廊下のような通路において、通過者を検出する領域を仮想的に規定することが可能である。すなわち、通過者の通過方向に交差する仮想の平面(領域)を規定し、この平面を通過する通過者を検出するのであって、図1に示す構成例では、この平面を明示的に規定するために枠部材1を例示している。
枠部材1を囲む枠の上部には、物体までの距離を計測する距離センサ2が配置される。図示例では、枠部材1の上部の中央部に距離センサ2を配置しているが、距離センサ2の位置についてはとくに制限はない。また、距離センサ2は、枠部材1に囲まれる平面内において通過者までの距離を計測する構成であれば、具体的構成についての制限はとくにない。
たとえば、発光ダイオードあるいはレーザダイオードのような光源を用いて光ビームを枠部材1の内側において走査し、光ビームが物体に投影されることにより形成された点状の光スポットまでの距離を受光素子の出力により検出する構成を採用することができる。また、光源を用いて扇形に広がるスリット光を枠部材1の内側に投光し、スリット光がぶったインい投影されることにより形成された線状の光ラインまでの距離を撮像素子の出力により検出する構成を採用することも可能である。受光素子あるいは撮像素子の出力を用いて距離を求める技術は、種々知られており、たとえばTOF(Time Of Flight)法や三角測量法の原理を用いる距離センサ2が知られている。TOF法による距離センサ2としては、強度変調光を投光し、投光から受光までの位相差を時間に代えて検出する構成などがある。
光源からの光は、投光光学系を通して光ビームやスリット光として物体に投影され、物体に形成された光スポットや光ラインは、受光光学系を通して受光素子や撮像素子の受光面に投影される。したがって、受光素子や撮像素子の受光面には点状あるいは線状の像が形成される。TOF法では受光素子や撮像素子の受光面における点状あるいは線状の像の位置が実空間を見込む方向に対応する。また、距離計測の原理に三角測量法を採用する場合は、受光素子や撮像素子の受光面における点状あるいは線状の像の位置が物体の表面までの距離に対応する。このようなTOF法や三角測量法の原理に基づく距離計測の技術は周知であるから詳述しない。以下の説明では、ガルバノミラーあるいはポリゴンミラーを用いて、枠部材1の内側で光ビームを走査する場合を例示する。
距離センサ2は、マイコンを主構成とする演算装置3に接続される。演算装置3は、光源の点灯および光ビームを走査するための制御部31を備え、物体までの距離は、距離センサ2の出力を用いることにより形状推定部32により計測される。距離センサ2の出力は、光ビームの走査方向の一定角度毎にサンプリングされる。
形状推定部32は、後述する処理を行うことにより、光ビームの1回の走査で計測した物体までの距離から物体の2次元情報を取得する機能と、光ビームの複数回の走査で時系列的に取得した2次元情報を用いて物体の3次元形状を推定する機能とを有する。光ビームの走査毎に取得される物体の2次元情報を、動画像のフレームと同様に扱うこととし、以下ではフレームと呼ぶ。1フレームは、物体を枠部材1の内側の平面で切り取ったときの物体の外形に相当する情報である。言い換えると、フレームの2次元情報は、物体の外形の輪郭の位置を示していることになる。
ところで、制御部31からは、光ビームを投光している方向に関する情報が得られ、距離センサ2からは当該方向に対する物体までの距離の情報が得られる。したがって、形状推定部32に入力される物体の外形に関する情報は、物体の特定部位を見込む方向と、その方向における物体までの距離であって、距離センサ2を原点とする極座標系で物体の形状が表されていることになる。
実空間の物体の形状は、極座標系では扱い難いので、形状推定部32は、極座標系で得られた物体の外形の座標位置を直交座標系に変換する機能を有する。この直交座標系の座標軸は、上下方向と左右方向とに設定する。極座標系で表されているフレームの2次元情報を直交座標系に変換した後には、フレームを2次元の画像と同様に扱うことが可能になる。すなわち、フレームを直交座標系で表すことにより、直交座標系において仮想的に設定した正方格子の各格子点における物体の輪郭の有無が示される。
距離センサ2の1回の走査時間は短いほうが望ましいが、機械装置を用いて操作しているので、費用対効果を考慮してmsオーダに設定される。形状推定部32では、上述のようにして走査毎に得られるフレームを複数枚用いることにより、検出対象の物体である通過者の3次元形状を推定する。そこで、1人の通過者が枠部材1を通過する程度の時間分の複数のフレームを保持しておくために、演算装置3には記憶部33が設けられる。
ただし、通過者を含まないフレームを記憶部33に記憶させることは無駄であるから、フレーム内に通過者の候補が検出された後に、通過者の候補が検出されなくなるまでの期間のフレームを記憶部33に保持させるのが望ましい。この技術については後述する。なお、記憶部33に記憶させたフレーム数が規定した枚数に達しない場合には、記憶部33に記憶しているフレームをノイズとして破棄する。
形状推定部32では、通過者の候補であるフレームが記憶部33に記憶され、その後、フレームに通過者の候補が検出されなくなると、記憶部33から通過者の候補を含む一連の複数枚のフレームを読み出す。時系列に並ぶ一連の複数枚のフレームは、通過者の外形に関する全体の情報を含んでいる。
そこで、これらのフレームを用いて通過者の頭部の左右幅を求めるとともに、頭部の左右幅と頭部の前後幅との関係に関する推定ルール(後述する)を用いることにより頭部の前後幅を推定する。つまり、時系列に並ぶ複数のフレームに、推定ルールを適用して、頭部の前後方向に時間軸に沿って得られている情報を空間軸の情報に変換することにより、頭部の3次元形状を推定することができる。さらに、推定した頭部の3次元形状から、通過者の全体の3次元形状を推定する。
(実施形態1)
以下では、形状推定部32の動作について、図2を用いて、さらに詳しく説明する。形状推定部32は、距離センサ2の走査毎にフレームを取得する(S1)。ここで、フレームとして、前もって通過者が存在しない期間に取得し記憶部33に格納しておいたフレーム(以下、「背景フレーム」と呼ぶ)と、新たに取得した比較対象のフレームとを比較する(S2)。比較結果が不一致である場合には(S2:No)、通過者の候補が新たに取得した比較対象のフレーム内に存在すると判断し、当該フレームを記憶部33に記憶させ(S3)、次のフレームを取得する(S1)。
一方、ステップS2の比較結果において取得したフレームが背景フレームに一致すると判断されると(S2:Yes)、すでに記憶部33に記憶しているフレームが存在するか否かを判断する(S4)。記憶部33にフレームが存在しない場合は(S4:No)、通過者が存在しないことを意味するから、新たなフレームを取得する(S1)。記憶部33にフレームが存在しない場合としては、フレーム数が規定数に達していない場合も含むようにしておくと、一時的なノイズにより記憶部33に誤って記憶されたフレームをノイズとして除去することができる。この場合には、記憶部33に格納されたフレームを破棄してから、新たなフレームを取得する(S1)。
比較対象のフレームと背景フレームとの一致の判断は、完全に一致することを要求するものではない。つまり、フレーム内の極座標系の2次元情報について距離および方向の誤差について適宜の許容範囲を定めておき、取得したフレームと背景フレームとの差分において不一致であった部位の誤差が許容範囲内であれば一致と判断する。
ステップS2において取得したフレームが背景フレームと一致し(S2:Yes)、ステップS4において記憶部33にフレームが記憶されている場合には(S4:Yes)、通過者が枠部材1を通過し終わったと判断し、通過者の体型を推定する。ここに、ステップS4において、記憶部33に記憶されているフレームの枚数が規定数に達している場合に、通過者が枠部材1を通過し終わったと判断してもよい。
通過者の体型を推定するには、記憶部33に記憶された時系列に並ぶ複数のフレームのうち頭部が最大の大きさになっているフレームを抽出する(S5)。記憶部33に記憶されたフレームのうち、頭部が最大の大きさになるフレームは、経験則によれば、距離センサ2からの距離の平均値が最小になる。したがって、記憶部33に記憶されている各フレームについて、物体までの距離の平均値をそれぞれ求め、当該平均値が最小であるフレームを抽出する。
次に、ステップS5において抽出されたフレームを用いて頭部の左右幅を計測する(S6)。この際、まずフレーム内で頭部に相当する領域を推定する。頭部の領域を推定するには、たとえば、フレーム内の極座標系の2次元情報を用いて距離最小である位置を頭頂とみなし、当該距離から所定の距離範囲内である2次元情報を頭部に相当する2次元情報とみなす。
ところで、頭部に相当する2次元情報は極座標系であり、距離センサ2を原点Opとして、走査方向(走査角度)φと距離dとで表されている。上述のように、極座標系で表された2次元情報は通過者の形状を表す際には扱いにくいので、枠部材1の上下方向と左右方向(幅方向)とを座標軸の方向とする直交座標系の2次元情報に変換する。ここでは、図3に示すように、左右方向をx軸方向、上下方向をy軸方向とする。また、x軸方向については走査角度φが増加する向きを正とし、y軸方向については上向きを正とする。直交座標系における原点Odを、枠部材1の下端における距離センサの直下の位置とし、両座標系の原点Op,Od間の距離(枠部材1の高さ寸法)をhとすると、極座標系の座標位置(d,φ)から直交座標系の座標位置(x,y)への座標変換は次式の関係になる。
x=d・sinφ
y=h−d・cosφ
上述のようにして抽出した頭部に相当する2次元情報について、極座標系の2次元情報から直交座標系の2次元情報に変換すると、頭部の左右幅はx軸方向の最小値と最大値との距離として求めることができる。
頭部の左右幅が求められると、頭部の前後幅を推定することができる(S7)。すなわち、人であれば、頭部の形状に大きなばらつきはなく、上から見た頭部の左右幅と前後幅との比率にも大きなばらつきはないと考えることができる。そこで、本実施形態では、頭部の形状については回転楕円体で近似し、上から見た頭部の形状は円形で近似する。すなわち、前後幅については左右幅と等しいという推定ルールを用いる。
左右幅と前後幅との関係については、1:1とするほか、人体の計測データに基づいて推定してもよい。この種の計測データは、種々の統計データが知られているから、既存の統計データを用いて左右幅から前後幅を推定する適正な推定ルールを決定すればよい。一般的な推定ルールとしては、左右幅と前後幅との比率の平均値を用いればよいが、フレームの2次元情報から求めることができる頭頂の位置(身長)など、左右幅以外の情報を併せて用いる数式により推定ルールを設定することも可能である。
次に、記憶部33に記憶されているフレーム(座標位置は、直交座標系に変換しているものとする)のうち、頭部を含むフレームを抽出する(S8)。頭部を含むフレームは、頭部の上下幅を推定することにより抽出される。すなわち、図4に示すように、頭頂Hsからy軸方向の負の向きで推定した所定範囲Rhに含まれる2次元情報を頭部データDhとし、当該頭部データDhを含むフレーム(図4では、フレームF1〜F5)を抽出する。頭部の上下幅の推定にあたっては、前後幅の推定と同様に、適宜の推定ルールを用いる。たとえば、頭部の上下幅と頭部の左右幅との比率を1:1とする推定ルールを用いたり、既存の統計データを用いて推定ルールを決定すればよい。
記憶部33に記憶されているフレームのうち、頭部データを含み、時系列において連続している複数のフレームを抽出すると、これらのフレームは、枠部材1の内側の平面を頭部が通過している間のフレームになる。以下では、このようにして抽出した複数のフレームを、頭部通過フレームと呼ぶ。
ところで、枠部材1を通過者が通過する際の速度は人の通過毎に変動する。また、1人の通過者が枠部材1を通過する際の速度も一定であるとは限らない。そこで、記憶部33に記憶されているフレームについて、通過者が実質的に移動していないとみなせるフレームを除去する(S9)。実質的に移動していないとみなせるフレームを除去することにより、枠部材1を通過中に立ち止まった通過者について、精度よく3次元形状を求めることができる。
具体的には、図5に示すように、記憶部33に記憶されている1つのフレームFiを基準のフレームとして選択し(S21,S22)、さらに、このフレームFiの後で取得時刻の近いフレームFxを抽出する(S24)。両フレームFi,Fxについて相違度を算出し(S25)、フレームFxのフレームFiに対する相違度が小さければ(S26:Yes)、当該フレームFxを処理対象から外す(S27)。また、相違度が大きければ(S26:No)、当該フレームFxを処理対象として採用し、基準のフレームを次フレームとする(S28)。このような処理を、記憶部33に記憶されているすべてのフレームについて行う(S23)。
フレーム間の相違度には、たとえば、各フレームに含まれる走査角度φごとの距離値d(φ)の差分の総和を用いる。たとえば、比較する一対のフレームF,Fにおいて、各走査角度φに対応する距離値を、それぞれd(φ),d(φ)とし、両フレームF,Fの相違度を、次式で表す。
Σφ|d(φ)−d(φ)|
この相違度を閾値と比較し、閾値以下であれば、両フレームF,Fの相違度が低いと判断し、両フレームF,Fの間では通過者が実質的に静止していると判断する。すなわち、取得時刻が後になるほうのフレームを不要なフレームとして、後続の処理の対象から省略する。言い換えると、記憶部33に記憶されているフレームのうち、不要なフレームを除いたフレームを処理対象のフレームとして抽出する。
次に、ステップS9において処理対象として抽出した複数のフレームを用いて通過者の3次元形状を推定する(S10)。いま、処理対象として抽出した複数のフレームを区別するパラメータtを各フレームに含まれる2次元情報(d,φ)と併せて用いると、抽出した複数のフレームに含まれる情報は、(d,φ,t)と表すことができる。
パラメータtは、図6に示すように、抽出したフレームF1〜FNの時系列における順番を表しており処理対象となるフレームF0〜FNのうちt番目のフレームであることを意味する。図示例においては、処理対象のフレームF0〜FNをt=0からt=Nまでの(N+1)枚としている。
処理対象である各フレームF0〜FNに含まれる2次元情報は極座標系で位置座標が表されているから、頭部通過データを求めたときと同様にして、直交座標系の位置座標に変換する。つまり、フレームF0〜FNに含まれる極座標系で表された情報(d,φ,t)を、直交座標系で表される情報(x,y,t)に変換する。
ここで、ステップS8で抽出した頭部通過フレームの枚数をnとし(図6ではt=aからt=a+n−1のフレームが頭部通過フレームである)、頭部の前後幅をDとすると、隣接する頭部通過フレームの間隔は、D/nになる。したがって、ステップS9で抽出したフレームのうち、t番目のフレームまで通過者が移動した距離zは、次式で表される。
z=t・D/n
つまり、時間の情報tを空間の情報zに変換することができる。すなわち、フレームF0〜FNに含まれる情報(x,y,t)を用いて、通過者の3次元情報(x,y,z)を得ることができる。
通過者の3次元情報(x,y,z)が得られると通過者の3次元形状を求めることができる。ここでは、通過者の3次元形状の情報として、身長、左右幅、前後幅を求めるものとする。身長は、ステップS9で抽出した複数のフレームについて、y座標値の最大値を採用する。つまり、y座標値の最大値は、原点Odから頭頂までの高さに相当するから、通過者の身長として用いることができる。
また、ステップS9で抽出した複数のフレームについて、それぞれx座標値の最大値と最小値との差分を求め、当該差分の最大値を求めると、この最大値を通過者の左右幅の目安に用いることができる。さらに、通過者の前後幅は、ステップS9で抽出した複数のフレームの枚数Nを用いることにより、N・D/nとして求める。
上述のようにして、通過者について、身長、左右幅、前後幅の目安を得ることができ、結果的に通過者の3次元形状に関する情報が得られたことになる。また、これらの寸法を用いると、やせ型、中肉中背、肥満型などの体型の分類が可能になる。
図4に示す動作例では、通過者の移動速度も求めている(S11)。通過者の移動速度は、ステップS10で求めた通過者の前後幅を、ステップS9で抽出した複数のフレームのうちの最初と最後とのフレームを取得した時刻の時間差で除算した値を用いる。
ステップS10で推定した通過者の3次元形状と、ステップS11で求めた通過者の移動速度とは、形状推定部32から出力され、機器の制御などに用いられる(S12)。また、形状推定部32から所要の情報が出力された後、記憶部33に格納されているフレームは消去される(S13)。
(実施形態2)
実施形態1として説明した構成では、枠部材1を通過した通過者の3次元形状を推定することができ、また、通過者の移動速度を算出することができるが、通過する向きを検出することができない。本実施形態では、比較的簡単な構成を追加するだけで、通過者が通過する向きを検出可能とする技術について説明する。
本実施形態では、通過者が通過する向きを検出する技術として、枠部材1で囲まれる平面内である第1の領域とは別に、当該平面に交差する方向において第1の領域から離間した第2の領域を設定し、第1の領域と第2の領域とを通過者が通過した順序を判定する技術を採用する。
第2の領域を設定するために、図7に示すように、距離センサ2から光ビームを投光する方向を変化させるミラー21を付加している。このミラー21は、常時は枠部材1に囲まれる平面(xy平面)内で光ビームを投光させ(破線)、必要時に枠部材1に囲まれる平面(xy平面)に対して交差する方向(実線)に光ビームを投光させる。たとえば、光ビームを走査するためのガルバノミラーやポリゴンミラーとは別に、ガルバノミラーのような角度変更が可能なミラー21を設けることができる。
このようなミラー21を設けることによって、図8に示すように、枠部材1の内側である第1の領域12だけではなく、枠部材1の外側に第2の領域13を設定することができる。したがって、本実施形態では、図9のように、図4に示した実施形態1の動作に加えて、通過者の通過の向きを検出する処理を付加している。
本実施形態では、実施形態1と同様に、まず、第1の領域12において取得したフレームと背景フレームとを比較して、取得フレームが背景フレームと異なるようになると、取得したフレームを記憶部33に記憶させる(S1〜S3)。その後、ミラー21の向きを変化させ、第2の領域13における2次元情報を取得する(S4)。ここにおいて、第2の領域13の2次元情報を取得する期間は、適宜に設定することが可能であり、光ビームを走査する周期に対して1周期としたり、複数周期としたりすることが可能であり、あるいはまた、ミラー21の向きを変化させる期間は、1周期より短い期間であってもよい。このようにしてミラー21の向きを変化させて取得した2次元情報は、第2の2次元情報として記憶部33に記憶される(S5)。
上述の処理を繰り返し、第1の領域12から取得したフレームと背景フレームとが等しくなれば(S2:yes)、通過者が枠部材1を通過したと判断して、図4のステップS4〜S10と同様の処理を行う(ステップS6〜S12)。すなわち、記憶部33に記憶している第1の領域12から取得したフレームを用いて通過者に関する3次元形状を推定する。
本実施形態では、記憶部33に記憶させた第2の2次元情報を用いて、通過者の移動の向きを検出する点に特徴を有している(S13)。ここでは、第2の2次元情報から通過者の移動の向きを検出するには、記憶部33に記憶されている第1の領域12から取得したフレームのうち時系列における最初のフレームと、最初のフレームを取得した直後の第2の2次元情報とを用いている。すなわち、フレームに含まれる2次元情報(d,φ)の距離dの平均値と、第2の2次元情報に含まれる2次元情報(d,φ)の距離dの平均値とを比較する。
通過者が、第1の領域12から第2の領域13に向かう向きに移動したとすれば、前者の平均値のほうが後者の平均値よりも十分に小さいから、この条件が成立するときは、第1の領域12から第2の領域13に向かう向きに移動したと判断する。一方、上記条件が成立しない場合には、通過者が逆向きに移動したと判断する。ただし、このような判断を行うために、第1の領域12に対する第2の領域13の位置関係は調整する必要がある。
通過者の3次元形状が推定され、通過者の移動する向きが判断された後、推定された3次元形状および判断された移動の向きが、形状推定部32から出力され(S14)、その後に、記憶部33からフレームおよび第2の2次元情報が消去される(S15)。
なお、図4に示したステップS11に示した移動速度の算出の処理は、図9には記載していないが、移動速度を算出する処理は、必要に応じて行えばよい。他の構成および動作は実施形態1と同様である。
本実施形態では、ミラー21を設けることにより第1の領域12と第2の領域13とを設定しているが、第2の領域13については、通過したことのみを通過センサで検出すればよい。したがって、通過センサとして、別に設けた距離センサを用いたり、人感センサを用いたりすることができる。これらの通過センサは、距離センサ2とはz方向に離間させて配置するのが望ましいが、検知領域のみを異ならせるように構成してもよい。なお、上述のようにミラー21を設けた構成では、距離センサ2とミラー21とを併せた構成が通過センサとして機能することになる。ここに、距離センサ2から投光する向きを変化させて、第1の領域12に投光する状態と第2の領域13に投光する状態とを選択するためにミラー21を用いているが、レンズやプリズムのような他の光学要素を用いることも可能である。
上述した動作から明らかなように、通過センサを用いる場合には、形状推定部32において、第1の領域12と第2の領域13とにおける通過者の通過順序により、通過者の移動の向きを検出する。
また、上述の例では、通過者の検出を枠部材1の内側の全領域で行うことを想定しているが、通過者が検出されない期間が所定時間に達すると、通過者を検出する範囲を枠部材1の一部領域にしておいてもよい。この状態において、取得したフレームと背景フレームとが一致しなくなると、枠部材1の内側の全領域で通過者の検出を行う状態に復帰させるのである。
この動作を実現するには、スリット光を用いるのではなく、ガルバノミラーを用いて光ビームを走査する構成を採用する。すなわち、ガルバノミラーを用いることにより、待機状態では光ビームの走査範囲を狭くし、取得したフレームにより人が検出されると検出状態に移行して、光ビームの走査範囲を広くする。また、待機状態では、走査速度を遅くする(走査周期を長くする)のが望ましい。このように、待機状態において、走査範囲を狭くし、かつ走査速度を遅くすることにより、ガルバノミラーの駆動に要する消費電力が検出状態よりも低減される。この動作は実施形態1においても採用することができる。
1 枠部材
2 距離センサ
3 演算装置
12 第1の領域
13 第2の領域
21 ミラー(光学要素)
32 形状推定部

Claims (9)

  1. 人の通過を検出する部位の上方に配置され通過方向に交差する仮想の平面内における2次元情報を計測する距離センサと、前記平面内を人が通過する期間における異なる複数の時刻において計測した複数の前記2次元情報を用いて前記平面を通過する人の3次元形状を推定する形状推定部とを備え、前記形状推定部は、前記2次元情報を用いて前記平面を通過する人の頭部の左右幅を計測するとともに頭部の左右幅から頭部の前後幅を推定し、さらに、前記平面を人が通過する間に取得した複数の前記2次元情報から人の3次元形状の推定に必要な前記2次元情報を選択し、前記通過方向における当該2次元情報の間隔を頭部の前後幅から求めることにより、人の3次元形状を推定することを特徴とする通過者検出装置。
  2. 前記形状推定部は、前記2次元情報から頭頂の位置を推定するとともに、頭部の前記左右幅により頭部の上下幅を推定し、前記2次元情報のうち頭頂の位置から前記上下幅により定められる所定範囲に頭部が含まれると判断することを特徴とする請求項1記載の通過者検出装置。
  3. 前記形状推定部は、頭部を回転楕円体で近似し、頭部の前記左右幅により頭部の前後幅を推定することを特徴とする請求項1又は2記載の通過者検出装置。
  4. 前記形状推定部は、頭部の左右幅と頭部の前後幅との関係を表す統計データを用いて、頭部の前記左右幅から頭部の前後幅を推定することを特徴とする請求項1又は2記載の通過者検出装置。
  5. 前記形状推定部は、推定された人の3次元形状のうちの前後幅と、前記距離センサにより前記平面内を通過する人が検出されていた時間とから、前記平面を通過した人の移動の速度を算出することを特徴とする請求項1〜4のいずれか1項に記載の通過者検出装置。
  6. 前記形状推定部は、前記平面を人が通過する間に取得した複数の前記2次元情報について各一対の相違の程度を表す相違度を求め、相違度が閾値以下である場合は、一方の2次元情報を人の3次元形状の推定に用いないことを特徴とする請求項1〜5のいずれか1項に記載の通過者検出装置。
  7. 前記距離センサにより人を検出する前記平面内を第1の領域とし、人の移動方向において前記第1の領域から離間して設定される前記第2の領域における人の通過を検出する通過センサを設け、前記形状推定部は、前記距離センサと前記通過センサとにより検出される人の通過順序により人が移動する向きを検出することを特徴とする請求項1〜6のいずれか1項に記載の通過者検出装置。
  8. 前記通過センサは、前記距離センサから前記第1の領域に投光する状態と前記距離センサから前記第2の領域に投光する状態とを選択する光学要素を有し、前記光学要素により第2の領域に投光する状態において前記距離センサと前記光学要素とが前記通過センサとして機能することを特徴とする請求項7記載の通過者検出装置。
  9. 人の通過を検出する部位の上方に配置され通過方向に交差する仮想の平面内における2次元情報を計測する距離センサを用い、前記平面内を人が通過する期間における異なる複数の時刻において計測した複数の前記2次元情報を用いて前記平面を通過する人の3次元形状を推定する方法であって、前記2次元情報を用いて前記平面を通過する人の頭部の左右幅を計測するとともに頭部の左右幅から頭部の前後幅を推定し、さらに、前記平面を人が通過する間に取得した複数の前記2次元情報から人の3次元形状の推定に必要な前記2次元情報を選択し、前記通過方向における当該2次元情報の間隔を頭部の前後幅から求めることにより、人の3次元形状を推定することを特徴とする通過者検出方法。
JP2010073633A 2010-03-26 2010-03-26 通過者検出装置、通過者検出方法 Expired - Fee Related JP5369036B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010073633A JP5369036B2 (ja) 2010-03-26 2010-03-26 通過者検出装置、通過者検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010073633A JP5369036B2 (ja) 2010-03-26 2010-03-26 通過者検出装置、通過者検出方法

Publications (2)

Publication Number Publication Date
JP2011203227A JP2011203227A (ja) 2011-10-13
JP5369036B2 true JP5369036B2 (ja) 2013-12-18

Family

ID=44880010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010073633A Expired - Fee Related JP5369036B2 (ja) 2010-03-26 2010-03-26 通過者検出装置、通過者検出方法

Country Status (1)

Country Link
JP (1) JP5369036B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6282377B2 (ja) * 2015-02-24 2018-02-21 株式会社日立製作所 3次元形状計測システムおよびその計測方法
EP3388864A1 (en) * 2017-04-10 2018-10-17 Bea S.A. Method of human body recognition and human body recognition sensor
CN110678409B (zh) * 2017-06-01 2021-03-23 三菱电机株式会社 电梯装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2594842B2 (ja) * 1990-12-28 1997-03-26 技研トラフィック株式会社 通行者検出方法
JPH08161453A (ja) * 1994-12-02 1996-06-21 Tokai Rika Co Ltd 人数計数装置
US8330814B2 (en) * 2004-07-30 2012-12-11 Panasonic Corporation Individual detector and a tailgate detection device
JP2006236184A (ja) * 2005-02-28 2006-09-07 Nec Engineering Ltd 画像処理による人体検知方法

Also Published As

Publication number Publication date
JP2011203227A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
US20200334843A1 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
Brščić et al. Person tracking in large public spaces using 3-D range sensors
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
JP5950296B2 (ja) 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
WO2015052896A1 (ja) 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
EP3653989A1 (en) Imaging device and monitoring device
US20160061582A1 (en) Scale estimating method using smart device and gravity data
US10417782B2 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
US8634595B2 (en) Method for dynamically setting environmental boundary in image and method for instantly determining human activity
US9298995B2 (en) Red-eye determination device
JP2012059030A (ja) 距離画像カメラを用いた人体識別方法および人体識別装置
JP2013131100A (ja) 人数予測方法、人数予測装置、移動ロボット及びプログラム
US20150269451A1 (en) Object detection device, object detection method, and computer readable non-transitory storage medium comprising object detection program
JP5369036B2 (ja) 通過者検出装置、通過者検出方法
TW201804445A (zh) 移動物體檢測裝置
JP2013064671A (ja) 計測システムおよび計測方法
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
JP2012115570A (ja) 通過者識別装置
US20220270282A1 (en) Information processing device, data generation method, and non-transitory computer-readable medium storing program
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
JP2012003582A (ja) 車外環境認識装置、車外環境認識方法
JP2006065419A (ja) 人検出装置
JP2018195052A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130913

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131003

LAPS Cancellation because of no payment of annual fees