JP3755343B2 - Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building - Google Patents

Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building Download PDF

Info

Publication number
JP3755343B2
JP3755343B2 JP18510399A JP18510399A JP3755343B2 JP 3755343 B2 JP3755343 B2 JP 3755343B2 JP 18510399 A JP18510399 A JP 18510399A JP 18510399 A JP18510399 A JP 18510399A JP 3755343 B2 JP3755343 B2 JP 3755343B2
Authority
JP
Japan
Prior art keywords
pedestrian
camera
passage
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18510399A
Other languages
Japanese (ja)
Other versions
JP2001016573A (en
Inventor
雅人 川出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP18510399A priority Critical patent/JP3755343B2/en
Publication of JP2001016573A publication Critical patent/JP2001016573A/en
Application granted granted Critical
Publication of JP3755343B2 publication Critical patent/JP3755343B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Lock And Its Accessories (AREA)

Description

【０００１】
【産業上の利用分野】
この発明は、廊下、出入口に至る人の移動経路の範囲など、人が通行する可能性のある空間として想定し得る領域（ここでは「通路」と総称する）であって、特に人の移動経路に関しての方向性が特定された所定幅の通路を、徒歩または徒歩に近い速さで移動する人物（以下「歩行者」と総称する）を撮像して、得られた画像よりその歩行者の顔面を観測するための技術分野に属するもので、特に、歩行者の顔面を精度良く観測するための技術に関連する。
【０００２】
【従来の技術】
従来、防犯などの用途のために出入口付近に撮像装置を設置して、入場または退場する人物を観測するシステムが存在する。この種の目的に用いられる撮像装置は、通常、出入りする人の通行を妨げることがないように、観測対象位置の上方に設置されて斜め上方から歩行者を撮像するようにしている。また特開平１０−２８２６４号公報のように、出入口に設置されたホログラムスクリーンにより出入口に近づく歩行者の正面像を生成した後、この像を上方の撮像装置に導いて歩行者の顔を正面から観測するようにしたシステムも開発されている。
【０００３】
【発明が解決しようとする課題】
ところで、病院や老人ホームなどの施設では、近年、入所している痴呆性徘徊老人に対するケアが大きな問題となっている。痴呆症の悪化を防ぐためには、入所者の行動を必要以上に束縛せず、自由な生活環境を与えることが望ましいが、職員数の問題などからすべての入所者に目を行き届かせるのは困難である。
このような問題を解決するには、画像処理による認識技術を用いて施設外に出ていこうとしている入所者を早期に発見して保護するシステムを導入するのが有効である。このシステムによれば、施設の出入口付近に撮像装置を設置して、施設外に出ようとしている人物を前方から撮像し、その画像上で歩行者の顔面を認識することにより、保護の必要な入所者の外出を検知して職員に緊急通報する、といった措置をとることが可能となり、職員の負担を軽減し、かつ入所者の安全を確保することができる。
【０００４】
また近年、マンションのような居住施設において、居住者に登録番号を入力させてその番号を照合し、扉を開放するようにしたオートロックシステムが見受けられるが、このシステムでは、登録番号が外部に漏れると、居住者以外の人物も建物内に入ることができるようになるという問題がある。そこで上記した顔面の認識技術により出入口に近づいてくる歩行者が居住者であるか否かを自動的に認識して扉の開閉を制御するようにすれば、システムのセキュリティーが大幅に向上する上、居住者は煩わしい番号入力操作から開放されるというメリットが得られる。
【０００５】
上記した各システムでは、歩行者の顔面を高精度で認識する必要があり、高精度の認識処理を実現するには、画像上の顔面が、認識処理に必要な大きさであり、かつ目、鼻、口などの特徴部分がはっきりと認識できるような画像を生成する必要がある。言い換えれば、認識処理に必要な画像が取得されるまでの間は、歩行者の顔面が認識可能な状態で撮像されるように、カメラの設置位置、光軸の向き、画角や被写界深度などの観測条件を設定する必要がある。しかしながら従来のカメラの観測条件は、歩行者が通過する可能性のある領域がカメラの観測可能領域に含まれる程度に設定されているだけであり、歩行者の顔面を確実に撮像するための条件設定は、なんら提案されていない。
【０００６】
加えて観測対象位置の斜め上方にカメラを設置して歩行者を撮像した場合、顔面よりも頭部が強調された画像が生成されるため、目や口などの特徴が捉えにくくなり、認識精度が低下する。特に、歩行者はうつむき加減であるのが通常であるため、顔面の特徴を捉えるのはますます困難になり、認識精度が著しく悪くなるという問題が生じる。
【０００７】
また特開平１０−２８２６４号公報に開示された構成は、歩行者の正面にホログラムスクリーンを設ける必要があるので、出口が開放状態にある場合や出口以外の通路上で認識処理を行いたい場合の導入は不可能である。またこの構成では、歩行者が正面を向いている場合には精度の良い認識処理が可能であるが、歩行者がうつむき加減で歩いていると、やはり顔の特徴が捉えにくくなり、認識精度が低下するという問題が発生する。
【０００８】
この発明は上記問題点に着目してなされたもので、歩行者の顔面の特徴が安定して抽出できるような画像を取得して、歩行者の顔面を精度良く観測することを、第１の目的とする。
またこの発明は、歩行者の顔面を高精度で観測するのに必要な条件を満たし、かつ歩行者の通行を妨げることなく、歩行者の顔面を精度良く観測することを第２の目的とする。
【０００９】
さらにこの発明では、この種の歩行者観測装置を用いて、あらかじめ登録された人物の出入りを高精度で認識するシステムを実現することを第３の目的とし、さらに登録された人物のみに扉を開放するシステムを実現することを第４の目的とする。
【００１０】
加えてこの発明では、銀行，コンビニエンスストア，遊園地など、不特定多数の人が出入りするような建造物に前記の歩行者観測装置を導入することにより、出入りする人々の顔面を個別に精度良く観測することを第５の目的とする。
さらにこの発明では、老人ホーム、病院、マンションのような居住者の特定された居住施設の出入口における人の出入りを、上記の歩行者観測装置により観測して居住者であるかどうかを確認することにより、居住者を安全に保護したり、施設内のセキュリティーを向上させることを第６の目的とする。
【００１１】
【課題を解決するための手段】
この発明にかかる歩行者観測装置では、人の移動経路に関して方向性をもつ所定幅の通路を撮像して、その通路内を通行する歩行者の顔面を観測する。なおここで言う通路は、歩行者が出入口など所定の目標位置に向かって移動する場合に歩行者が通過する可能性のある空間領域であって、廊下や道路のように規定された幅をもって伸びる通路のほか、目標位置までの歩行者の移動範囲として方向と幅とを想定することにより決まる仮想通路も含む概念である。
【００１２】
たとえば図１に示すように、扉のない開放された出入口３０を通って、建物の内部から外に退出する歩行者の顔面を観測するために、出入口３０の両端が前後に延長された仮想通路ＲＤを設定すると、この仮想通路ＲＤ上の所定の観測対象位置Ｒに位置する歩行者の顔面を撮像するには、歩行者にとってこの観測対象位置Ｒより前方にカメラ１が設置される必要がある。
【００１３】
また前記仮想通路ＲＤにおいての歩行者の通行を妨げずにその顔面を撮像する方法として、仮想通路ＲＤの幅方向の境界位置より外側に変位した位置、または仮想通路ＲＤ内で可能な限り境界位置に接近した位置（図１では前者の位置を採用している）に、床面から所定の高さをもってカメラ１を設置する方法が考えられる。このような位置にカメラ１を設置した場合、前記観測対象位置Ｒにいる歩行者の顔面は前方斜め方向から撮像されることになる。
【００１４】
さらにこのカメラ１により得られた画像を用いて歩行者の顔面を精度良く観測するには、少なくとも観測に必要な画像を取得する間は、カメラ１のレンズ上に歩行者の顔面が鮮明に写り込むように、カメラ１の観測条件を調整する必要がある。
【００１５】
いま歩行者が前記仮想通路ＲＤ上を、矢印Ｈで示す移動方向に沿って所定の通過ラインＬ（図示例では、出入口３０の両端を結んだ線に該当する）に向かって進んでいる場合、通過ラインＬを通過する歩行者の顔面を観測するには、カメラ１を、仮想通路ＲＤ上で前記図１の矢印Ｈが指す方向を向いた場合に、通過ラインＬより前方になる位置であって、歩行者の通行を妨げない位置に設置する必要がある。
また歩行者の腕の付け根位置から首部に至るまでの標準的な幅長さ（ここではこの長さを「肩幅」という）をｄとすると（約１５〜２５cm程度の値をとる）、前記仮想通路ＲＤにおいて、幅方向の各境界位置から前記肩幅ｄだけ内側の各位置を結ぶ範囲Ａが、通路の幅方向において歩行者の顔面が通過する可能性のある範囲ということになる。また歩行者の顔面を観測するのに必要なｎ枚（ｎ≧１）の画像を取得する間に歩行者の顔面が移動する距離範囲をＢとすると、これらＡ，Ｂの範囲により決まる領域Ｑが、顔面の観測のための画像を取得する間に歩行者の顔面が移動し得る領域に相当すると考えることができる（以下この領域Ｑを「必須観測領域」という）。
【００１６】
ここでカメラの視野（平面的に言えば、図１のレンズの中心点Ｃから水平方向に画角θの広がりをもって延びる二点鎖線で示す範囲をいう）内において、レンズに鮮明な画像が生成されて観測が可能となる領域Ｐ（図１中、点ｐ１，ｐ２による円弧、ｐ３，ｐ４による円弧、ｐ１，ｐ３を結ぶ直線、およびｐ２，ｐ４を結ぶ直線により表される領域）は、カメラの画角（図中の水平方向の画角θおよび図示しない垂直方向の画角の両方を指す）や被写界深度Ｄにより特定される（以下この領域Ｐを「観測可能領域」という）。
したがって、前記通過ラインＬにかかる位置に前記必須観測領域Ｑが設定される場合、この必須観測領域Ｑがカメラ１の観測可能領域Ｐ内に確実に含まれるように、カメラ１の設置位置（ここではカメラレンズの中心点Ｃをいう）、光軸の向き、水平，垂直の各方向における画角，および被写界深度Ｄを設定することにより、前記通過ラインＬを通過する歩行者の顔面を確実に捉えた画像を生成して、精度の良い観測処理を行うことが可能となる。
【００１７】
なお前記必須観測領域Ｑを特定するための各方向の範囲Ａ，Ｂについては、観測対象となり得る歩行者の体格や平均的な移動速度などに応じて、あらかじめ設定しておく必要がある。
【００１８】
請求項１，２の発明の装置は、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備するものである。
請求項１の発明では、前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持する。また前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている。
請求項２の発明でも、前記カメラ支持具は、上記と同様に、カメラを、あらかじめ登録された複数人の顔面の高さの最小値よりも低い位置に光軸を斜め上方に向けた状態で支持する。また、前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、および前記登録された複数人の移動速度と顔面の観測のための画像の取得に必要な時間とにより算出される歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記観測可能領域内に含まれ、かつ、前記登録された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整される。
【００１９】
請求項３の発明にかかる歩行者観測装置は、通路上で歩行者の移動方向（図１の矢印Ｈの方向に相当する）を向いた場合に通路上の所定の通過ラインＬに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを具備するもので、各カメラの撮像条件および各カメラ支持具の設置条件は、いずれも請求項１と同様に調整される。
【００２０】
なおここでいう通過ラインとは、通路上の幅方向に沿って仮想的に設定されるラインであって、図１のような出入口の位置に限らず、歩行者の通過を確認したい任意の位置に設定できる。また撮像条件とは、カメラの観測可能領域の範囲を決定するための垂直，水平の両方向における画角，および被写界深度を指し、これらは、レンズの焦点距離（図１中、ｆで示す）、カメラの絞りやシャッタ速度を選択することにより、望ましい値に設定し得る。またカメラおよびカメラ支持具の設置条件とは、カメラの設置位置（具体的にはカメラレンズの中心点Ｃの空間座標位置）や光軸の向きを決めるための条件を指す。
また請求項１〜１７の各発明でいうところの「カメラ」は、アナログの画像信号を出力するテレビカメラのほか、ディジタルカメラも含む概念である。
【００２１】
請求項４の発明では、上記請求項３の構成において、前記カメラ支持具を、前記通路を通過する可能性のある複数の歩行者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方に向けた姿勢でカメラを支持するように構成する。また請求項５の発明では、前記カメラは、前記通路上で歩行者の移動方向を向いた場合に前記通過ラインに対して前方になり、前記通路の幅方向の両境界に対し、通路内の近傍の対称位置または通路の外側へ変位した対称位置に、それぞれ１台ずつ、前記カメラ支持具により支持された状態で設置される。
請求項６の発明にかかる歩行者観測装置は、人の移動経路に関して異なる方向性をもつ所定幅の複数の通路に対し、それぞれその通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を通過ラインの方に向けて配置される通路毎のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する複数台のカメラ支持具とを具備する。各カメラの撮像条件および各カメラの設置条件は、請求項１や３の発明と同様に設定されている。
【００２２】
請求項７の発明にかかる歩行者認識システムは、請求項３と同様の構成の歩行者観測装置と、この装置により得られた画像を用いて歩行者を認識する認識処理装置とを具備する。前記歩行者観測装置は、所定の通過地点に人の移動方向に関して方向性をもつ所定幅の道路を設定してその通路を撮像し、前記通過地点を通過する歩行者を観測する。前記認識処理装置は、複数の登録者についての顔面の特徴点が登録されたメモリと、歩行者観測装置のカメラにより生成された画像から顔面の特徴点を抽出する特徴点抽出手段と、特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、撮像された歩行者が登録者であるか否かを判別する判別手段とを具備する。
【００２３】
請求項８〜１１の発明は、請求項７の発明の構成を具備する歩行者認識システムについてなされたものである。請求項８の発明では、前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた状態でカメラを支持する。
請求項９の発明では、前記認識処理装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎に、その入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴点抽出手段および判別手段による処理を実行する。
請求項１０の発明では、前記認識処理装置は、前記判別手段により歩行者が登録者であると判別されたとき、その判別結果を外部に通報する通報手段を具備する。
請求項１１の発明では、前記認識処理装置は、前記判別手段により歩行者は登録者でないと判別されたとき、その判別結果を外部に通報する通報手段を具備する。
【００２４】
請求項１２の発明は、扉により閉鎖された出入口に向かう歩行者を検知して前記扉を開放する扉開閉制御システムであって、請求項３と同様の構成の歩行者観測装置と、扉の開閉動作を制御するための制御装置とを具備する。前記歩行者観測装置は、前記出入口に向けて人が移動する領域内に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記出入口に向かう歩行者を観測する。前記制御装置には、請求項７の発明における認識処理装置と同様のメモリ、特徴点抽出手段、判別手段のほか、判別手段により撮像された歩行者が登録者であることが判別されたときに、前記扉を開放する扉開放手段を具備させている。
さらに、請求項１３の発明では、上記請求項１２の構成において、前記カメラ支持具を請求項８の発明と同様に構成する。また、請求項１４の発明では、請求項１２の発明にかかる制御装置を、請求項９と同様に構成する。
【００２５】
請求項１５の発明は、人が出入りするための出入口と、この出入口に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通路を通行する歩行者の顔面を観測する歩行者観測装置とを具備する建造物であって、歩行者観測装置は、請求項３と同様の構成を具備して成る。さらに、請求項１６の発明では、上記の建造物に、前記請求項７の発明と同様の構成の認識処理装置が設けられる。
【００２６】
【作用】
請求項１，２の発明によれば、観測用のカメラは、通路の外側または通路の幅方向の境界付近に設置されるので、カメラにより歩行者の通行が妨げられる可能性はきわめて少なくなる。また顔面観測用のカメラは、観測領域を通過する可能性のある歩行者の顔面の高さの最小値として設定された値より低い位置から光軸を斜め上方を向けて設置されるので、認識対象として想定されたすべての歩行者の顔面を斜め下から撮像して、顔面の特徴を精度良く捉えた画像を生成することができる。さらに、通路内の必須観測領域が全てカメラの観測可能領域に含まれ、さらに歩行者が必須観測領域を通過している間、カメラの視野には、前記顔面が認識処理に必要な数の特徴点を抽出可能な大きさをもって現れるので、顔面の認識処理に適した画像を取得することが可能になる。
さらに、必須観測領域は、通路の幅方向において歩行者の顔面が通過する可能性のある範囲と、観測のための画像の取得に必要な時間内に歩行者の顔面が移動する範囲とにより定められるので、歩行者が通路の幅方向のどの位置を歩いていても、その顔面を認識処理に必要な大きさで撮像することが可能になる。
【００２７】
請求項３の構成によれば、観測用のカメラは、通路上の通過ラインより前方において、通路の幅方向の境界に対し、通路内の近傍位置、または通路の外側へ変位した位置に光軸を通過ラインの方に向けて設置されるので、カメラにより歩行者の通行が妨げられる可能性がきわめて少なくなる。さらにカメラの撮像条件やカメラ支持具の設置条件は請求項１，２の発明と同様に設定されるので、歩行者が必須観測領域を通過する間に顔面の認識処理に適した画像を取得することが可能になる。
【００２９】
請求項７の構成によれば、請求項３と同様の構成による歩行者観測装置により通過地点を通過する歩行者の顔面を精度良く捉えた画像を生成し、さらにその画像上の顔面の特徴から歩行者が登録者であるかどうかを判別するので、画像処理による個人認証の精度が大幅に向上する。
【００３０】
請求項１０の構成によれば、例えば病院や老人ホームのような施設で居住者が外に出ていくような場合の職員への通報が実現する。また請求項１１の発明では、マンションのような施設で居住者以外の人物が侵入したときの警報出力が実現する。
【００３１】
請求項１２の構成によれば、請求項７と同様の処理により、画像上の特徴点を用いた認識処理により歩行者が登録者であるか否かが高精度で判別され、さらに登録者であると判別された場合に、出入口を閉鎖している扉が開放されて、歩行者の通過が可能となる。
【００３２】
請求項１５の構成によれば、多数の人の出入りが想定される建造物に対し、出入りする人々の顔面を精度良く捉えた画像を取得することが可能となる。
【００３３】
【実施例】
図１は、請求項１の発明にかかる歩行者観測装置の設置例を示す。
図示例は、扉のない開放された出入口３０を通過する歩行者の顔面を観測することを目的としたもので、歩行者が出入口３０の両端が前後に延長された仮想通路ＲＤ上を移動することを前提としている。カメラ１は、仮想通路ＲＤ上で歩行者の移動方向Ｈを向いた場合に、出入口３０の両端を結ぶ通過ラインＬの前方であって、幅方向において仮想通路ＲＤの一方の境界位置より外側に変位した位置に、光軸を通過ラインＬの方に向けて設置される。
【００３４】
この実施例では、出入口３０を通過して建物の内側から外へと退出する歩行者の顔面を精度良く観測するために、カメラの設置位置、光軸の向き、レンズの焦点距離、絞り、シャッタ速度などの条件（以下これらの条件を「観測条件」と総称する）を調整して、カメラ１の視野において、歩行者の顔面観測に必要な画像を取得する間に顔面が移動し得る範囲を示す必須観測領域Ｑが、前記通過ラインＬにまたがる位置に設定され、さらにこの必須観測領域Ｑがカメラ１の観測可能領域Ｐ内に含まれるように設定している。
これにより、歩行者が出入口３０を含む空間内を通過している間にその顔面を観測するのに必要な画像が生成されることになり、歩行者の顔面を確実に精度良く捉えた画像を用いて、高精度の認識処理を行うことが可能となる。
【００３５】
なお図１のように出入口３０が開放された状態にある場合には、前記必須観測領域Ｑを、必ずしも出入口３０にまたがる位置に設定する必要はなく、建物内部の所定位置から出入口３０まで、あるいは出入口３０から外部の所定位置までにかかるように、設定してもよい。
【００３６】
図２は、図１の原理を応用した徘徊者保護システムの構成を示す。
このシステムは、病院や老人ホームなど、徘徊癖のある入所者を抱える施設において、一人で外出しようとしている徘徊者を自動的に検知して、職員に通報するためのもので、前記カメラ１としての白黒のＣＣＤカメラのほか、制御装置２，通報装置３などにより構成される。
【００３７】
ＣＣＤカメラ１（以下単に「カメラ１」という）は、詳細は後記するが、施設の出入口が視野内に入るように設置されて、白黒の動画像データを生成する。なおこの実施例では、歩行者という移動体を観測することから、画像のぶれが生じないように、プログレッシブ・スキャンタイプのカメラを用いている。
【００３８】
前記制御装置２は、２個のＣＰＵ（図示せず）が搭載された高性能パソコンであって、前記カメラ１からのアナログ映像信号をディジタル変換するためのキャプチャボードや、入出力用のインターフェイス（いずれも図示せず）などが組み込まれている。この制御装置２は、施設内の適所（受付、管理事務所など）に設置され、ディジタル処理された入力画像を用いて前記歩行者の顔面に対する認識処理を実行して、徘徊者が外出しようとしていないかどうかを検知する。通報装置３は、制御装置２により徘徊者の外出が検知されたことを報知するための音声ブザーや、外出しようとしている人の名前など、詳細な検知結果を報知するための音声出力装置や表示装置などにより構成される。
【００３９】
なおこの通報装置３は、制御装置２の近傍位置に設置されるが、必要に応じて職員の詰め所などの遠方位置に設置することも可能である。また通報装置３の近傍位置にＮＴＳＣ方式のモニタを配備し、制御装置２において、前記カメラ１からの毎時の入力画像を、奇数行と偶数行とに分けて記憶するとともに、各画像データを奇数行、偶数行の順にアナログ信号に復号して前記モニタに出力するようにすれば、通報装置３の作動時などに、出入口付近の画像を職員の目により確認することが可能となる。
【００４０】
図３および図４は、前記カメラ１の設置例を示す。なお図中の各数値の単位はミリメートルである。また以下の説明では、歩行者の移動方向に基づき、通路ＲＤ上でＨの方向を向いた場合の前方を「前方」、その反対方向を「後方」として、各構成の前後関係を述べることにする。
図示例は、開閉扉付きの外側出入口４と扉のない内側出入口５とを有する二重構造の玄関であって、施設内より内側出入口５を通過した歩行者を撮像対象に定めている。
【００４１】
図示例の外側出入口４と内側出入口５とは、幅１.４ｍの開口部を有し、２ｍの間隔をあけて配置されている。前記カメラ１は、これら出入口間の空間内の通行の妨げにならない位置（図示例では、外側出入口４に対し歩行者側から見て２５ｃｍ手前であって、通路の中心線Ｍに対し、幅方向に１ｍ変位した位置）に、床面から所定の高さをもって（図示例では床面から１ｍの高さ位置に）、固定配備される。
【００４２】
図５は、前記カメラ１を設置するためのカメラスタンド６の一例を示す。
このカメラスタンド６は、円柱状の支持部６ｂの上端に中空のカメラ収容部６ａを連設して成る。カメラ収容部６ａは、透明樹脂製の球状体の周面に透光性を有する暗色フィルムを貼設するなどして、内部から外部に対する視認は可能であるが、外部から内部に対する視認は困難となるように構成される。このような構成により、歩行者にカメラ１の存在を看過されることなく、顔面の自然な状態を撮像することが可能となる。
【００４３】
図６（１）は、前記内側出入口５に対し、歩行者の通行を妨げずにその顔を撮像するためのカメラ１の設置位置を示す。図中の▲１▼では、カメラ１は出入口５の真上に設置され、歩行者の顔を斜め上から撮像する。▲２▼では、カメラ１はレンズの中心を人の平均的な顔の高さに合わせた状態で設置され、光軸をほぼ水平な状態に設定して顔を斜め横から撮像する。これに対し▲３▼では、カメラ１は前記図３，４に示したように、レンズの中心を床から所定の高さ位置に合わせて設置され、歩行者の顔を斜め下方から撮像することになる。
【００４４】
図６（２）（３）は、前記図６（１）に示した各設置位置に設けられたカメラ１による画像であって、図６（２）は、歩行者が真正面を向いて歩いている場合の画像を、図６（３）は、歩行者がうつむき加減で歩いている場合の画像を、それぞれ示す。
【００４５】
▲１▼の設置例によれば、歩行者が真正面を向いて歩いている場合は、顔全体の輪郭は認識できるものの、目や口の特徴が捉えにくくなり、さらに歩行者がうつむき加減で歩いていると、目や口の特徴は殆ど捉えられなくなる。▲２▼の設置例によれば、歩行者が真正面を向いている場合、顔の輪郭や各部の特徴を明確に捉えた画像が生成されるが、歩行者がうつむき加減になると、口元や顔の下部の輪郭が捉えにくくなる。
これに対し、▲３▼の設置例によれば、歩行者の顔の向きに関わらず、顔の輪郭および各部の特徴を、ともに明確に捉えた画像を生成することが可能となる。
【００４６】
さらに車椅子の使用者の場合は、顔の高さ位置がさらに低くなるから、▲１▼や▲２▼の設置例によれば、顔の輪郭や特徴部分を認識するのがますます困難になる。このようなことから歩行者の顔を認識処理するためには、前記▲１▼〜▲３▼の中では、▲３▼の設置例が最適であると考えられる。
【００４７】
なお▲３▼におけるカメラ１の高さ方向における設置位置は、認識対象となり得る通行者の頭の高さに応じて、適宜、変更可能である。この場合、車いすの使用者など頭の位置が最も低くなる歩行者の顔面の高さよりも低い位置にカメラ１を設置することにより、すべての歩行者の顔面を精度良く捉えた画像を生成することができる。
【００４８】
ここで図３，４に戻って、上記高さ位置にカメラ１を設置した際の、歩行者の顔認識を行うために必要な観測条件について説明する。
画像上の顔面から個人を識別するためには、通常、複数枚の画像が必要である。この認識対象の画像を取得する間も歩行者は移動し続けているから、その移動経路において、歩行者の顔が認識処理を施すのに十分な大きさを持ち、かつ顔の各部の特徴が明確に現れるような画像を、複数枚、生成する必要がある。
【００４９】
この実施例では、後記するように、０.３秒おきに画像をサンプリングして、計４〜６枚の画像を取得し、顔面の認識処理を行うようにしている。
またこの実施例では、通報の対象となる歩行者の頭の高さが（車いす使用者の高さも含めて）１１０〜１８０cmの数値範囲内にあると想定している。そして内部出入口５の両端を前後に延長して成る仮想通路ＲＤに対し、認識処理に十分な精度をもって歩行者の顔面を捉えた画像を、必要枚数分取得できるように、カメラ１の視野および観測可能領域Ｐを設定している。
【００５０】
具体的には、前記カメラ１は、床面から１ｍの高さ位置に位置するとともに、光軸が、水平方向においては仮想通路側に３０度傾き、垂直方向においては上方に７度傾くように、設置される。さらにレンズの焦点距離や絞りなどの調節により、前記レンズ中心Ｃから約１．５ｍ離れた位置から約３ｍ離れた位置までの範囲がカメラ１の被写界深度になるように設定し、さらにこの範囲を歩行者の顔面が通過する場合に、カメラ１の視野に前記高さ範囲にある歩行者の顔面が認識処理に十分な大きさをもって現れるように、垂直方向の画角を３３．４度に、水平方向の画角を４３．６度に、それぞれ設定している。
【００５１】
上記した観測可能領域Ｐの設定条件は、歩行者の顔面が通過する範囲として仮想通路ＲＤの両境界位置から歩行者の肩幅に相当する距離ｄだけ内側の各位置を結ぶ範囲Ａを想定した場合に、この範囲Ａ全体がカメラ１の観測可能領域Ｐ内に入り、かつこの範囲Ａにおける顔面の最短の通過経路（すなわち仮想通路ＲＤのカメラ寄りの境界位置から前記距離ｄだけ内側の各位置を通る経路ｍ）が、その長さＢが、上記の画像サンプリング期間内に歩行者が移動し得る距離に対応し、かつ内側出入口５をまたぐ位置（すなわち図１でいうところの通過ラインＬをまたぐ位置）にくるように、設定されたものである。すなわち各範囲Ａ，Ｂにより前記した必須観測領域Ｑが決定され、この必須観測領域Ｑが観測可能領域Ｐ内に含まれるように設定されることになり、歩行者が内側出入口５を含む空間内を通過している間に、認識処理に必要な画像を確実に取得することが可能となる。
【００５２】
前記必須観測領域Ｑの幅方向の範囲Ａや、カメラ１の高さ位置については、観測対象となり得る歩行者の体格に応じて、適度な数値を設定する必要がある。また必須観測領域Ｑの長さ方向の範囲Ｂは、観測対象となり得る各歩行者の移動速度に応じて、画像の取得に必要な１〜２秒の間にいずれの歩行者も通過可能な距離範囲を設定する必要がある。
なお前記カメラスタンド６を、カメラ支持位置の高さを可変設定できるように構成しておけば、観測対象となり得る歩行者の頭の高さの想定値が変化しても、柔軟に対応することができる。
【００５３】
ところで図示例によれば、認識処理のための必須観測領域Ｑは内側出入口５をまたぐ位置に設定されているが、単に施設内から内側出入口５まで移動した歩行者を認識することを目的とする場合は、少なくとも必須観測領域Ｑの最前線が内側出入口５の位置に対応するように位置すればよい。
【００５４】
これに対し、内側出入口５が自動ドアや開閉扉などにより、通常閉鎖された状態にある場合は、扉が開放されてカメラ１により顔面の視認が可能となる間に認識処理のための画像がサンプリングされるように、カメラの観測条件を設定する必要がある。
【００５５】
図７は、通常、扉３２により閉鎖されている出入口３１を通過する歩行者の顔面を観測する場合のカメラ設置例を示す。カメラ１は、前記した図１や図３，４の具体例と同様に、出入口３１の両端を結ぶ通過ラインＬの前方位置であって、幅方向において仮想通路ＲＤの一方の境界位置より外側に変位した位置に設置され、仮想通路ＲＤに対し、前記通過ラインＬを視野を含むように方向決めされる。
【００５６】
図中のＥは、歩行者の移動により前記扉３２が開放され、歩行者の顔面を出入口３１の前方から視認できる距離範囲を示している。
この実施例では、必須観測領域Ｑの長さ方向における設定範囲Ｂの後端位置が前記扉３２の開放により歩行者の顔面を観測できる範囲Ｅ内に含まれ、かつこの範囲Ｂが通過ラインＬをまたぐように設定するとともに、この必須観測領域Ｑが観測可能領域Ｐ内に含まれるように、カメラ１の観測条件を設定している。これにより、歩行者が開放された出入口３１内の空間を通過している間に顔面の認識に必要な画像を取得することが可能となり、精度の良い認識処理を実現することが可能となる。
【００５７】
さらに廊下のように両側が壁などにより閉鎖された空間により形成される通路３３を通過する歩行者を認識対象とする場合は、カメラ１は、図８に示すように、通路３３の一端に可能な限り引き寄せて設置される（図中、通路端から距離ｄ１の範囲に設置される）とともに、この設置位置より、移動経路の方向Ｈを基準に見た後方位置において、所定位置の通過ラインＬが視野に入るようにカメラの観測条件が設定される。さらにこの観測条件により、カメラ１の視野において、通路３３の両端より歩行者の肩幅に相当する距離ｄだけ内側の各位置を結ぶ範囲Ａと、前記画像のサンプリング期間内に歩行者の顔面が移動し得る範囲Ｂとにより決まる必須観測領域Ｑが、前記通過ラインＬをまたいで位置し、かつカメラ１の観測可能領域Ｐ内に含まれるように設定される。
このような設定により、歩行者が通路３３上の通過ラインＬを含む空間内を通過している間に、認識処理に必要な画像を生成して、精度の良い認識処理を行うことが可能となる。
【００５８】
なお前記図７，８および後記する図１１，１３の各図に表されるアルファベット符号は、いずれも前記図１に示したのと同様の意味をもつものである。
【００５９】
このようにカメラ１の観測条件は、必須観測領域Ｑが観測可能領域Ｐ内に含まれることを前提に、周囲環境や観測目的に応じて、適宜、変更可能である。
なお前記図３，４のような二重構造の出入口４，５を具備する施設においては、各出入口４，５間の空間内にカメラスタンド６を設置することにより、条件に応じた観測可能領域Ｐを比較的容易に設定することができるが、単独の出入口より退出する歩行者が観測対象となる場合は、カメラ１は建物の外部であって、たとえば植え込みの陰など、歩行者の通行の妨げにならない位置に設置する必要がある。
【００６０】
上記の条件で設置されたカメラ１からの動画像データは、制御装置２内のキャプチャボードに逐次伝送されてディジタル変換され、メモリ内に記憶される。制御装置２の２個のＣＰＵには、それぞれ個別のタスクが割り当てられており、各ＣＰＵの連動処理により、画像上の顔の抽出および抽出された顔から歩行者を認識する処理が実現する。
【００６１】
図９は、各ＣＰＵに割り当てられたタスクの具体的な処理手順を示す。
第１のＣＰＵに割り当てられたタスク（図中、ＳＴA−１〜ＳＴA−４で示す）は、毎時の入力画像と１段階前の入力画像との差分処理（フレーム差分）による差分変化量により、歩行者などの移動体を検出するためのもので、所定しきい値を上回る差分変化量が抽出されると、その時点から画像の変化が抽出されなくなるまでの間、所定の時間間隔おきに入力画像を取り込んで時系列画像として保存するバッファリング処理が実行される（ＳＴA−２〜ＳＴA−４）。
【００６２】
前記図３，４に示した観測可能領域Ｐによれば、０．３秒間隔でバッファリング処理を実施した場合に、通常、４〜６枚の時系列画像が抽出される（以下この複数枚の時系列画像を「ターム」と呼ぶ）。したがって歩行者がこの観測可能領域Ｐを通常に歩行している場合、前記バッファリング処理により、観測可能領域Ｐ内の異なる位置における歩行者の顔面を表すタームが取得されるようになる。
【００６３】
第２のＣＰＵに割り当てられたタスクは、前記タームの抽出に応じて実行されるもので、ＳＴB−１でタームの抽出が確認されると、そのターム内の各画像に対し、それぞれ顔に相当する画像領域を抽出し（ＳＴB−２）、ついでその画像領域内で目や鼻など顔の特徴を表す特徴点を抽出する（ＳＴB−３）。そしてつぎのＳＴB−４で、特徴点の抽出結果をあらかじめ用意されていた登録データと照合し、登録された徘徊者の顔であると判断された場合は、前記通報装置３を作動させることになる（ＳＴB−５，６）。
【００６４】
近年、顔認識処理の分野では、Gabor Wavelet 変換による画像上の特徴点の抽出処理、およびこれらの特徴点とグラフ表現されたテンプレートとのマッチング処理により、画像上の人物が真正面を向いていなくとも、その顔の認識を高精度で行い得ることが、報告されている（E.Elagin, J.Steffens, and H.Neven. Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology. Proceedings of the International Conference on Automatic Face and Gesture Recognition '98.pp136-141,1998）。この実施例では、この手法をＳＴB−２〜４の顔認識処理に導入することにより、前記カメラ１により斜め下方向から撮像された歩行者の顔を精度良く認識するようにしている。
【００６５】
Gabor Wavelet フィルタは、つぎの（１）式により表される。この（１）式において、σはガウス関数の標準偏差であり、２πに設定される。またｋは周波数、θは方位（角度）であって、ｋ，θを変化させてフィルタの解像度と方位とを制御しつつ画像を走査し、各走査位置において、それぞれ周囲近傍の画素データを用いた畳込み演算を行ってJetと呼ばれる特徴量を算出する。
【００６６】
【数１】

Figure 0003755343
【００６７】
一方、顔面抽出用のテンプレートとして、目、鼻、口などの各顔器官の配置関係を複数個の特徴点により表現したグラフ（図１０に示す）が用意される。この実施例では、斜め向きの顔が抽出対象となるので、標準的な斜め顔画像から抽出された各特徴点について、それぞれの特徴点間の空間位置関係と各Jetとが求められる。
【００６８】
前記ＳＴB−２では、前記フィルタ走査により生成された特徴抽出画像に対し、上記のテンプレートを、平行移動、拡大・縮小、回転などの処理を行いつつ走査し、各走査位置において、下記の（２）式を実行することにより、テンプレートの各特徴点のJet（ａ1j）とこれら特徴点に対応する特徴抽出画像上の点のJet（ａ2j）との類似度Ｓを算出する。そしてこの類似度が所定のしきい値を越えたときのテンプレートに重なる画像領域が、顔を表す領域であると判断する。
【００６９】
【数２】
Figure 0003755343
【００７０】
さらにＳＴB−３では、さらに特徴点の数を増やしたテンプレートを用いて、前記ＳＴB−２でラフに検出された画像領域およびその周辺領域に対し、前記（２）式によるマッチング処理を行い、テンプレートに最も類似する画像領域を求める。さらにこの画像領域およびその近傍において、テンプレートの各特徴点を局所的に移動させることにより、各特徴点に対する類似度がさらに高くなる点を抽出し、認識対象の顔の特徴点として特定する。
【００７１】
ＳＴB−４では、上記の処理により特定された各特徴点のJetと、あらかじめ登録された各徘徊者の顔の特徴点のJetとを前記（２）式にあてはめて、類似度Ｓを算出する。そしてＳＴB−５では、この類似度Ｓが所定のしきい値を越えた場合、そのときの登録データから画像上の人物を特定することになる。
いずれの登録データに対しても、しきい値を越える類似度が得られなかった場合は、ＳＴB−５が「ＮＯ」となり、歩行者は徘徊者ではないと判断される。
【００７２】
なおＳＴB−４の照合処理に用いられる登録データは、あらかじめ、各登録対象者に内側出入口５を通過してもらって、その通過状態を前記図２，３の条件で撮像し、その結果得られた画像上で顔の特徴点を抽出し、各特徴点のJetを算出することにより得られたものである。
この場合、時間が経つにつれて顔の特徴が変化していくため、認識精度がしだいに落ちてゆく可能性がある。ただし、前記の処理で所定の登録データに対し高い類似度が得られて個人が特定された場合に、そのときの特徴点のJetにより前記登録データを置き換えるようにすれば、認識精度を安定維持することができる。
【００７３】
また歩行者によっては、移動経路の途中で立ち止まってしまったり、極端に遅い速度で移動することが考えられるが、このような可能性がある場合には、タスク１において、画像の変化が抽出されない状態が所定期間続いた場合にも、所定の期間毎の画像を用いてタスク２による顔面の認識処理を行うとよい。
【００７４】
なお上記実施例では、出入口５の幅方向に変位する片側位置にカメラ１を設置しているが、これに限らず、複数のカメラ１を設置してもよい。たとえば出入口５の幅に沿う両方向に変位する対称位置にそれぞれカメラ１を設置して、各カメラ１からの画像データを個別に処理した後に各処理結果を統合するようにすれば、異なる位置や異なる方向から見た顔面を個別に認識した結果を用いて、各人の認識精度をさらに向上することができる。また複数の歩行者が連れだって移動しているような場合の認識精度を向上することもできる。
【００７５】
図１１は、開放された出入口３０を通過する歩行者の顔面を、２台のカメラ１，１により両側から観測する場合の各カメラ１，１の設置例を示す。各カメラ１，１は、出入口３０の両端を結ぶ通過ラインＬの前方であって、仮想通路ＲＤの幅方向に沿って外側位置に変位した対称位置に、各カメラ１の光軸が通過ラインＬの方を向き、かつ仮想通路ＲＤの幅方向における中心線に対し対称となるように設置される。
なお図中のＣ１，Ｃ２は各カメラ１，１のレンズの中心点を示し、Ｐ１，Ｐ２は各カメラ１，１の観測可能領域を示す。
【００７６】
上記のカメラ設置により、仮想通路ＲＤ上では、各カメラ１，１の視野において、それぞれ前記各実施例と同様の条件による必須観測領域Ｑが各カメラ１，１の観測可能領域Ｐ１，Ｐ２に含まれるように、各カメラ１，１の観測条件が設定される。
【００７７】
なおここまでは、出入口に対する歩行者の移動経路として、出入口の両端を延長して一方向に延びる仮想通路ＲＤを想定したが、これに限らず、出入口に対し、異なる方向に延びる複数の仮想通路ＲＤを設定し、各仮想通路ＲＤ毎に上記と同様の条件でカメラ１を設置し、各仮想通路ＲＤより出入口へと進む歩行者の顔面を認識するように構成することも可能である。この構成によれば、各方向からの歩行者の顔面を観測できるので、歩行者の認識範囲を拡大でき、出入口の内側にロビーが設けられているような施設にも、有用なシステムを提供することができる。
【００７８】
ところでこの発明によるカメラ配置によれば、建物の外に出ていく歩行者のみならず、建物内に入ろうとする歩行者を観測対象とすることができる。したがってマンションなどのオートロックシステムに前記の配置によるカメラ１を導入すれば、居住者を精度良く自動認識して扉を自動的に開放するシステムを構築することができる。
【００７９】
図１２は、この発明が適用されたオートロックシステムの概略構成を示す。
図中のカメラ１，制御装置２は、前記徘徊者保護システムに用いられたものと同様の構成のもので、さらに制御装置２には、自動ドアの開閉装置１０や通過者検知センサ１１などが接続されている。
【００８０】
図１３は、上記システムにおけるカメラ１および通過者検知センサ１１の設置例を示す。
この実施例では、開放された外側出入口１２と、扉１４により通常は閉鎖されている内側出入口１３とによる二重構造の玄関において、外側出入口１２から内側出入口１３へと向かって建物内に入る歩行者を観測するために、各出入口１２，１３の両端を延長した仮想通路ＲＤが設定される。この場合の通過ラインＬは外側出入口１２の位置に設定されており、カメラ１は、歩行者から見て内側出入口１３の手前位置であって、仮想通路ＲＤの外側に変位した位置に、通過ラインＬの方に向けて設置される。さらにこのカメラ１の視野において、前記各実施例と同様の条件による必須観測領域Ｑが通過ラインＬをまたぐ位置に設定され、かつカメラ１の観測可能領域Ｐ内に含まれるように、カメラ１の観測条件が設定される。
【００８１】
一方、光電センサなどによる通過者検知センサ１１は、内側出入口１３を通過した歩行者を検知するために、建物の内部の内側出入口１３の近傍位置であって、仮想通路ＲＤの幅方向に沿う対称位置に設置される。
【００８２】
上記システムにおいて、制御装置２は、前記第１の実施例と同様の方法で、カメラ１からの画像をサンプリングし、画像上の顔面から歩行者が登録された居住者であるかどうかを判別する。そして歩行者が居住者であると判別すると、自動ドア開閉装置１０を作動して扉１４を開放する。さらに通過者検知センサ１１により前記歩行者が内側出入口１３を通過したことが検知されると、制御装置２は、自動ドア開閉装置１０を作動して前記扉１４を再び閉鎖する。
【００８３】
このようなシステムにより、暗証番号などを入力する必要なしに、登録された人物に対してのみ自動的に入口を開放することが可能となるので、居住者にとって、煩わしい入力操作から解放された利便性の高いシステムが提供される。また外部から不正な方法で暗証番号を取得して侵入される虞がなくなるので、防犯上もすぐれたシステムを提供できる。
なおこのシステムの構成に警報装置を導入し、歩行者が居住者ではないと判別されたときに警報装置を作動させるようにすれば、さらにセキュリティーの高いシステムを提供することが可能となる。
【００８４】
さらにこの発明によるカメラ配置は、登録された人物を認識する用途のみならず、不特定多数の人が出入りするような建造物にも導入することができる。
たとえば、建造物の出入口の近傍に前記図１，７，１３などの実施例と同様の条件でカメラを配置して出入口より入場または退場する歩行者の顔面を撮像し、得られた画像を管理事務所などのモニタに出力する。これにより係員は、各入退場者の顔面を認識して、不審者がいないかどうかなどをチェックすることができる。またこのカメラ１により得られた画像を記録するようにすれば、万一、何らかの事件が起こった場合も、各入場者の顔面の特徴を安定して捉えた画像を捜査活動に役立てることができる。
【００８５】
【発明の効果】
請求項１〜３の発明によれば、歩行者の通行を極力妨げない位置にカメラが設置されるから、移動経路上で顔面の観測が遮られることがない。また顔面観測用のカメラは、観測領域を通過する可能性のある歩行者の顔面の高さの最小値として設定された値より低い位置から光軸を斜め上方を向けて設置されるので、認識対象として想定されたすべての歩行者の顔面を斜め下から撮像して、顔面の特徴を精度良く捉えた画像を生成することが可能となる。
【００８６】
さらに顔面の観測に必要な必須観測領域が観測可能領域に含まれ、かつ歩行者が必須観測領域を通過する間、その顔面が、認識処理に必要な数の特徴点を抽出可能な大きさをもってカメラの視野内に現れるから、歩行者が通路を通過する間に顔面の観測に必要な特徴点の現れた画像を取得でき、歩行者の顔面を精度良く観測することが可能になる。
【００８７】
しかも、必須観測領域は、通路の幅方向において歩行者の顔面が通過する可能性のある範囲と、観測のための画像の取得に必要な時間内に歩行者の顔面が移動する範囲とにより定められるので、歩行者が通路の幅方向のどの位置を歩いていても、その顔面を認識処理に必要な大きさで撮像することが可能になる。
【００８８】
請求項５の発明によれば、通路の幅方向の両境界に対し、移動経路に沿う歩行者の通過範囲の両境界位置の近傍の対象位置または通過範囲より外側に変位した対称位置にそれぞれ請求項１と同様の条件でカメラを設置することにより、歩行者の顔面を異なる２方向から撮像することが可能となり、顔面の観測精度をより一層向上することができる。また複数の歩行者が同時に通過する場合の観測精度も向上することができる。
【００８９】
請求項６の発明によれば、所定の地点に対し、それぞれ異なる方向からの複数の移動経路が想定される場合に、各移動経路に対し、請求項１と同様の条件でカメラを設置するので、各移動経路から目的の地点に移動した歩行者を、精度良く観測することが可能になる。
【００９０】
請求項７の発明では、歩行者観測装置により生成された画像から所定の通過地点を通過する歩行者の顔面の特徴点を抽出し、その抽出結果を登録データと照合することにより、歩行者が登録者であるか否かを判別するが、歩行者観測装置を構成するカメラは、請求項１の発明と同様の条件で設置されるので、顔面の認識処理に必要な数の特徴点が含まれた画像を安定取得して、高精度の認識処理を行うことが可能である。
【００９１】
請求項１０の発明によれば、歩行者が登録者であると判別されたときに通報手段が作動するので、病院や老人ホームなどの出入口において入所者の外出を自動判別する用途に適用した場合に、認識精度の高いシステムを提供することができる。
【００９２】
請求項１１の発明によれば、歩行者が登録者ではないと判別されたときに通報手段が作動するので、登録された人しか入場できないような施設の出入口において不法侵入者を自動判別する用途に適用すれば、セキュリティーの高いシステムを提供することができる。
【００９３】
請求項１２の発明によれば、扉により閉鎖されている出入口に接近する歩行者の顔面を、請求項１の発明と同様の構成の歩行者観測装置により観測して、その歩行者が登録者であると判別されたときに扉を開放するので、登録された人を自動認識して出入口を通過させる高性能のオートロックシステムを提供することができる。
【００９４】
請求項１５の発明によれば、建造物の出入口に対して設定される通路に対し、請求項１の発明と同様の構成の歩行者観測装置を設置することにより、出入口より入場または退場する人の顔面を精度良く観測して居住者かどうかを確認することが可能となる。
【００９５】
請求項１６の発明によれば、居住者が特定された施設において、観測のための画像から顔面の特徴を抽出して登録データと照合することにより、出入口より入場または退場する人が居住者であるかどうかの自動認識処理を、高精度で実現することができる。
【００９６】
請求項８，１３の発明では、顔面観測用のカメラを、認識対象として登録された複数人から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢で支持するので、個人認証のための認識処理の精度を大幅に向上することができる。
【図面の簡単な説明】
【図１】請求項１の発明にかかる歩行者観測装置の設置例および原理を示す説明図である。
【図２】図１の歩行者観測装置を応用した徘徊者保護システムの構成を示すブロック図である。
【図３】歩行者観測装置の具体的な設置例を示す側面図である。
【図４】歩行者観測装置の具体的な設置例を示す平面図である。
【図５】カメラスタンドの構成例を示す正面図である。
【図６】カメラの設置位置と取得される画像との関係を示す説明図である。
【図７】歩行者観測装置の他の設置例を示す説明図である。
【図８】歩行者観測装置の他の設置例を示す説明図である。
【図９】制御装置における認識処理の手順を示すフローチャートである。
【図１０】顔面検出、照合用の特徴点のテンプレートを示す説明図である。
【図１１】２台のカメラによる歩行者観測装置の設置例を示す説明図である。
【図１２】歩行者観測装置を具備するオートロックシステムの構成例を示すブロック図である。
【図１３】図１２のオートロックシステムにおけるカメラおよび通過者検知センサの設置例を示す説明図である。
【符号の説明】
１ カメラ
２ 制御装置
６ カメラスタンド
Ｐ 観測可能領域
Ｑ 必須観測領域
Ｌ 通過ライン[0001]
[Industrial application fields]
The present invention is a region (generally referred to herein as a “passage”) that can be assumed as a space through which a person may pass, such as a range of a person's movement route to a corridor or an entrance / exit, and is particularly a person's movement route Taking a picture of a person (hereinafter referred to as a “pedestrian”) who moves at a speed close to or walking on a passage with a predetermined width for which the directionality of the pedestrian has been specified, the pedestrian's face is obtained from the obtained image. In particular, it relates to a technique for accurately observing the face of a pedestrian.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a system for observing a person entering or leaving by installing an imaging device in the vicinity of an entrance and exit for uses such as crime prevention. An imaging device used for this type of purpose is usually installed above the observation target position so as not to obstruct the passage of people entering and exiting, and images pedestrians from above. Further, as disclosed in Japanese Patent Laid-Open No. 10-28264, a front image of a pedestrian approaching the entrance is generated by a hologram screen installed at the entrance, and then this image is guided to an upper imaging device so that the face of the pedestrian is viewed from the front. An observation system has been developed.
[0003]
[Problems to be solved by the invention]
By the way, in facilities such as hospitals and nursing homes, care for demented elderly people who have entered the hospital has become a major problem in recent years. In order to prevent the dementia from worsening, it is desirable to provide a free living environment without restricting the residents' behavior more than necessary, but it is important to keep an eye on all the residents due to problems with the number of employees. Have difficulty.
In order to solve such a problem, it is effective to introduce a system for early detection and protection of a resident who is going out of the facility by using a recognition technique based on image processing. According to this system, an imaging device is installed near the entrance of the facility, a person who is going out of the facility is imaged from the front, and the face of the pedestrian is recognized on the image, so that protection is necessary. It is possible to take measures such as detecting the resident's outing and making an emergency call to the staff, thereby reducing the burden on the staff and ensuring the safety of the resident.
[0004]
In recent years, there has been an auto-lock system that allows residents to enter a registration number, collate the number, and open the door in a residential facility such as a condominium. If it leaks, there is a problem that a person other than the resident can enter the building. Thus, if the pedestrian approaching the entrance / exit is automatically recognized by the facial recognition technology described above to control the opening and closing of the door, the security of the system will be greatly improved. The resident can obtain the merit of being freed from annoying number input operation.
[0005]
In each of the systems described above, it is necessary to recognize the pedestrian's face with high accuracy, and in order to realize high-accuracy recognition processing, the face on the image is the size necessary for the recognition processing, and the eyes, It is necessary to generate an image that can clearly recognize features such as the nose and mouth. In other words, until the image necessary for the recognition process is acquired, the camera installation position, the direction of the optical axis, the angle of view, and the field of view are set so that the pedestrian's face is captured in a recognizable state. It is necessary to set observation conditions such as depth. However, the conventional camera observation conditions are set to such an extent that an area where a pedestrian may pass is included in the camera's observable area, and is a condition for reliably imaging the pedestrian's face. No settings have been proposed.
[0006]
In addition, when a pedestrian is imaged by installing a camera obliquely above the observation target position, an image with the head emphasized over the face is generated, making it difficult to capture features such as eyes and mouth, and recognition accuracy Decreases. In particular, since pedestrians are usually depressing, it becomes increasingly difficult to capture facial features, resulting in a problem that recognition accuracy is significantly deteriorated.
[0007]
In addition, the configuration disclosed in Japanese Patent Laid-Open No. 10-28264 requires a hologram screen in front of the pedestrian, so when the exit is in an open state or when it is desired to perform recognition processing on a passage other than the exit Introduction is impossible. Also, with this configuration, accurate recognition processing is possible when the pedestrian is facing the front, but if the pedestrian is walking in a dim manner, the facial features will be difficult to capture, and recognition accuracy will be improved. The problem of degradation occurs.
[0008]
The present invention has been made paying attention to the above-mentioned problems. The first aspect of the present invention is to acquire an image that can stably extract the features of the pedestrian's face and to observe the pedestrian's face with high accuracy. Objective.
A second object of the present invention is to accurately observe a pedestrian's face that satisfies the conditions necessary for observing the pedestrian's face with high accuracy and does not hinder the passage of the pedestrian. .
[0009]
Furthermore, the third object of the present invention is to realize a system for recognizing the entrance and exit of a pre-registered person with high accuracy by using this kind of pedestrian observation device. A fourth object is to realize an open system.
[0010]
In addition, in the present invention, by introducing the pedestrian observation device to a building where an unspecified number of people enter and exit, such as a bank, a convenience store, and an amusement park, the faces of people entering and exiting can be accurately and individually. The fifth purpose is to observe.
Further, according to the present invention, it is possible to confirm whether or not a person is a resident by observing the entrance and exit of a person at the entrance / exit of a specified residential facility such as a nursing home, a hospital, or a condominium by using the pedestrian observation device. Therefore, it is a sixth object to safely protect residents and improve security in the facility.
[0011]
[Means for Solving the Problems]
In the pedestrian observation apparatus according to the present invention, a passage having a predetermined width having directionality with respect to a person's movement route is imaged, and the face of the pedestrian passing through the passage is observed. The passage mentioned here is a space area where a pedestrian may pass when the pedestrian moves toward a predetermined target position such as an entrance and exit, and extends with a prescribed width like a corridor or a road. In addition to the passage, the concept also includes a virtual passage determined by assuming a direction and a width as a moving range of the pedestrian to the target position.
[0012]
For example, as shown in FIG. 1, in order to observe the face of a pedestrian exiting from the inside of a building through an open doorway 30 without a door, a virtual passage in which both ends of the doorway 30 are extended forward and backward. When RD is set, in order to image the face of a pedestrian located at a predetermined observation target position R on the virtual passage RD, the camera 1 needs to be installed in front of the observation target position R for the pedestrian. .
[0013]
Further, as a method of imaging the face without obstructing the passage of pedestrians in the virtual passage RD, a position displaced outward from the boundary position in the width direction of the virtual passage RD, or a boundary position as much as possible in the virtual passage RD A method is conceivable in which the camera 1 is installed at a predetermined height from the floor surface at a position close to (the former position is adopted in FIG. 1). When the camera 1 is installed at such a position, the face of the pedestrian at the observation target position R is imaged from the front oblique direction.
[0014]
Furthermore, in order to accurately observe the pedestrian's face using the image obtained by the camera 1, the pedestrian's face is clearly reflected on the lens of the camera 1 at least while an image necessary for observation is acquired. It is necessary to adjust the observation conditions of the camera 1 so that the
[0015]
When the pedestrian is currently traveling on the virtual path RD along the moving direction indicated by the arrow H toward a predetermined passing line L (corresponding to a line connecting both ends of the entrance 30 in the illustrated example) In order to observe the face of a pedestrian passing through the passing line L, the camera 1 is positioned forward of the passing line L when the camera 1 is directed in the direction indicated by the arrow H in FIG. Therefore, it is necessary to install it in a position that does not obstruct pedestrian traffic.
If the standard width from the base position of the pedestrian's arm to the neck (here, this length is referred to as “shoulder width”) is d (takes a value of about 15 to 25 cm), the virtual In the passage RD, a range A connecting each position on the inner side by the shoulder width d from each boundary position in the width direction is a range in which a pedestrian's face may pass in the width direction of the passage. Further, if the distance range in which the pedestrian's face moves while acquiring n images (n ≧ 1) necessary for observing the pedestrian's face is B, a region Q determined by these A and B ranges However, it can be considered that this corresponds to an area where the face of the pedestrian can move while acquiring an image for observation of the face (hereinafter, this area Q is referred to as “essential observation area”).
[0016]
  Here, a clear image is generated on the lens within the field of view of the camera (in a plan view, the range indicated by the two-dot chain line extending in the horizontal direction from the center point C of the lens in FIG. 1). A region P (in FIG. 1, an arc represented by points p1 and p2, an arc defined by p3 and p4, a straight line connecting p1 and p3, and a straight line connecting p2 and p4 in FIG. 1) is a camera. (The horizontal field angle θ in the figure and the vertical field angle not shown) and the depth of field D (hereinafter, this region P is referred to as “observable region”).
  Therefore,When the essential observation area Q is set at a position corresponding to the passing line L, the installation position of the camera 1 (here, the camera) is ensured to be included in the observable area P of the camera 1. By setting the direction of the optical axis, the angle of view in each of the horizontal and vertical directions, and the depth of field D, the pedestrian's face that passes through the passing line L can be assured. It is possible to generate a captured image and perform accurate observation processing.
[0017]
Note that the ranges A and B in each direction for specifying the essential observation area Q need to be set in advance according to the pedestrian's physique that can be observed and the average moving speed.
[0018]
  The apparatus of the inventions of claims 1 and 2A camera for imaging the face of a pedestrian and outputting an image obtained by the imaging, and a camera support for installing the camera outside the passage or in the vicinity of the boundary in the width direction within the passageIt has.
  In the invention of claim 1, the camera support tool supports the camera in a state where the optical axis is obliquely upward at a position lower than a value set as the minimum height of the pedestrian's face. In addition, the pedestrian's face may pass through in the width direction of the passage, and the walking required by the preset pedestrian movement speed and the time length necessary to acquire an image for observing the face. The required observation area indicated by the two ranges of the movement range of the person's face is included in the observable area determined by the angle of view of the camera and the depth of field, and has a preset height. Imaging conditions of the camera so that the face having a size capable of extracting the number of feature points necessary for the recognition process appears in the field of view of the camera while the face in the range of And the installation conditions of the camera support are adjusted.
  Also in the invention of claim 2, in the same manner as described above, the camera support tool is configured in a state where the optical axis is directed obliquely upward to a position lower than the minimum value of the heights of a plurality of registered faces in advance. To support. Further, the range in which the pedestrian's face may pass in the width direction of the passage is calculated based on the movement speed of the registered plural persons and the time required for acquiring an image for observing the face. All of the essential observation areas indicated by the two ranges of the movement range of the pedestrian's face are included in the observable area, and a face in the registered height range is the essential observation area. While passing, the imaging conditions of the camera and the installation conditions of the camera support are adjusted so that the face having a size capable of extracting the number of feature points necessary for recognition processing appears in the field of view of the camera. Is done.
[0019]
  The pedestrian observation apparatus according to the invention of claim 3 is forward of a predetermined passing line L on the passage when facing the direction of movement of the pedestrian (corresponding to the direction of arrow H in FIG. 1) on the passage. And at least one optical axis disposed toward the passing line at a position near the boundary in the width direction of the passage or a position displaced to the outside of the passage with respect to the boundary in the width direction of the passage.cameraAnd each placed cameraThe camera includes at least one camera support that is supported at a predetermined height, and the imaging conditions of each camera and the installation conditions of each camera support are both adjusted in the same manner as in the first aspect.
[0020]
The passing line here is a line virtually set along the width direction on the passage, and is not limited to the position of the entrance and exit as shown in FIG. Can be set. The imaging condition refers to the angle of view in both the vertical and horizontal directions for determining the range of the observable area of the camera, and the depth of field, which are indicated by the focal length of the lens (indicated by f in FIG. 1). ) Can be set to a desired value by selecting the aperture and shutter speed of the camera. The camera and camera support installation conditions refer to conditions for determining the camera installation position (specifically, the spatial coordinate position of the center point C of the camera lens) and the direction of the optical axis.
In addition, the “camera” in the inventions of claims 1 to 17 is a concept including a digital camera in addition to a television camera that outputs an analog image signal.
[0021]
  According to a fourth aspect of the present invention, in the configuration of the third aspect, the camera support is placed at a position lower than a minimum face height obtained from a plurality of pedestrians that may pass through the passage. The camera is configured to be supported in a posture in which the axis is obliquely upward. According to a fifth aspect of the present invention, the camera is in front of the passing line when facing the direction of movement of the pedestrian on the passage, and within the passage with respect to both boundaries in the width direction of the passage. One unit is installed at a nearby symmetrical position or at a symmetrical position displaced outward from the passage while being supported by the camera support.
  The pedestrian observation device according to the invention of claim 6 is provided on a passage when a plurality of passages having a predetermined width with different directions with respect to a person's movement route are directed to the movement direction of the pedestrian on the passage. For each passage that is forward of a predetermined passing line and that is positioned near the inside of the passage or to the outside of the passage with respect to the boundary in the width direction of the passage, with the optical axis directed toward the passing line. And a plurality of camera support members for supporting each of the arranged cameras at a predetermined height position. The imaging conditions for each camera and the installation conditions for each camera are set in the same manner as in the first and third aspects of the invention.
[0022]
  Claim 7The pedestrian recognition system according to the invention comprises a pedestrian observation device having the same configuration as that of claim 3 and a recognition processing device for recognizing a pedestrian using an image obtained by this device. The pedestrian observation device sets a road with a predetermined width having a direction with respect to the direction of movement of a person at a predetermined passing point, and images the passage.The passing pointObserve pedestrians passing by. The recognition processing apparatus is configured to perform facial recognition for a plurality of registrants.Feature pointFrom the registered memory and images generated by the camera of the pedestrian observation deviceFeature pointExtractFeature pointExtraction means;Feature pointBy extraction meansExtractionAnd determining means for comparing the result with registered data in the memory to determine whether the imaged pedestrian is a registered person.
[0023]
  The inventions of claims 8 to 11 are made for a pedestrian recognition system having the configuration of the invention of claim 7. According to an eighth aspect of the present invention, the camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than the minimum value of the facial height obtained from the plurality of registrants.
  According to a ninth aspect of the present invention, the recognition processing device includes an image input unit that inputs an image from the camera at predetermined time intervals, and an input image and an input image that is one stage before each input of the image. Difference calculating means for executing a difference process, and when the difference change amount obtained by the difference process exceeds a predetermined threshold value, an image input from that point until the change amount is not extracted And the processing by the feature point extraction means and the discrimination means is executed.
  According to a tenth aspect of the present invention, the recognition processing device includes reporting means for reporting the determination result to the outside when the determining means determines that the pedestrian is a registrant.
  According to an eleventh aspect of the present invention, the recognition processing device includes reporting means for reporting the determination result to the outside when the determining means determines that the pedestrian is not a registrant.
[0024]
  Claim 12The present invention is a door opening / closing control system that detects a pedestrian heading to an entrance closed by a door and opens the door, and includes a pedestrian observation device having the same configuration as in claim 3 and a door opening / closing operation. And a control device for controlling. The pedestrian observation device isThe doorwayA path having a predetermined width with respect to the movement path of the person is set in a region where the person moves toward the road, the path is imaged, and a pedestrian heading toward the entrance is observed. In the control device,Claim 7A memory similar to the recognition processing device in the invention ofFeature pointIn addition to the extraction means and the discrimination means, door opening means for opening the door when it is determined that the pedestrian imaged by the discrimination means is a registrant is provided.
  Further, according to a thirteenth aspect of the invention, in the configuration of the twelfth aspect, the camera support is configured in the same manner as the eighth aspect of the invention. In the fourteenth aspect, the control device according to the twelfth aspect is configured in the same manner as the ninth aspect.
[0025]
  According to the fifteenth aspect of the present invention, an entrance / exit for a person to enter and exit, and a passage of a predetermined width having a direction with respect to a person's movement route are set at the entrance / exit, and the passage is imaged. A pedestrian observation apparatus that includes a pedestrian observation apparatus for observing a face, and the pedestrian observation apparatus includes a configuration similar to that of the third aspect.Furthermore, in the invention of claim 16, a recognition processing device having the same configuration as that of the invention of claim 7 is provided in the building.
[0026]
[Action]
  Claims 1, 2According to this invention, since the observation camera is installed outside the passage or in the vicinity of the boundary in the width direction of the passage, the possibility that the pedestrian is prevented from passing by the camera is extremely low.The camera for face observation is installed with the optical axis facing diagonally upward from a position lower than the value set as the minimum height of the pedestrian's face that may pass through the observation area. Images of all pedestrian faces assumed as targets can be captured from diagonally below, and an image that accurately captures the features of the face can be generated. In addition, all the essential observation areas in the passage are included in the camera's observable area, and while the pedestrian is passing through the essential observation area, the camera's field of view has the number of features required for the recognition process by the face. Since the dots appear with a size that can be extracted, an image suitable for facial recognition processing can be acquired.
  Furthermore, the essential observation area is defined by the range in which the pedestrian's face may pass in the width direction of the passage and the range in which the pedestrian's face moves within the time required to acquire an image for observation. Therefore, no matter where the pedestrian is walking in the width direction of the passage, the face can be imaged with a size necessary for the recognition process.
[0027]
  According to the configuration of the third aspect, the observation camera has an optical axis at a position near the inside of the passage or a position displaced to the outside of the passage with respect to the boundary in the width direction of the passage in front of the passage line on the passage. Because it is installed toward the passing line, there is very little possibility that the pedestrian will be blocked by the camera.. Furthermore, since the camera imaging conditions and the camera support installation conditions are set in the same manner as in the first and second aspects of the invention, an image suitable for facial recognition processing is acquired while the pedestrian passes through the essential observation area. It becomes possible.
[0029]
  Claim 7According to this configuration, an image that accurately captures the face of the pedestrian passing through the passing point is generated by the pedestrian observation device having the same configuration as that of the third aspect, and the pedestrian is further determined from the facial features on the image. Since it is discriminate | determined whether it is a registrant, the precision of the personal authentication by image processing improves significantly.
[0030]
  Claim 10According to the configuration, for example, when a resident goes out in a facility such as a hospital or a nursing home, a report to the staff is realized. AlsoClaim 11In this invention, an alarm output is realized when a person other than a resident invades in a facility such as an apartment.
[0031]
  Claim 12According to the configuration ofClaim 7On the image by the same process asRecognition processing using feature pointsWhether or not the pedestrian is a registrant is determined with high accuracy, and if it is further determined that the pedestrian is a registrant, the door that closes the entrance is opened and the pedestrian can pass. .
[0032]
According to the configuration of the fifteenth aspect, it is possible to acquire an image that accurately captures the faces of people who come in and out of a building in which many people are expected to go in and out.
[0033]
【Example】
FIG. 1 shows an installation example of a pedestrian observation apparatus according to the invention of claim 1.
The illustrated example is for observing the face of a pedestrian passing through an open doorway 30 without a door, and the pedestrian moves on a virtual passage RD in which both ends of the doorway 30 are extended forward and backward. It is assumed that. When the camera 1 faces the moving direction H of the pedestrian on the virtual passage RD, the camera 1 is in front of the passing line L connecting both ends of the entrance 30 and outside the one boundary position of the virtual passage RD in the width direction. At the displaced position, the optical axis is set toward the passing line L.
[0034]
In this embodiment, in order to accurately observe the face of a pedestrian passing through the entrance 30 and exiting from the inside of the building, the camera installation position, the direction of the optical axis, the focal length of the lens, the aperture, and the shutter By adjusting conditions such as speed (hereinafter collectively referred to as “observation conditions”), the range in which the face can move while acquiring images necessary for pedestrian face observation in the field of view of the camera 1 is set. The essential observation area Q shown is set at a position across the passing line L, and the essential observation area Q is set so as to be included in the observable area P of the camera 1.
As a result, an image necessary for observing the face of the pedestrian while passing through the space including the entrance 30 is generated, and an image that accurately captures the pedestrian's face is obtained. It is possible to perform a highly accurate recognition process.
[0035]
In addition, when the doorway 30 is in an open state as shown in FIG. 1, it is not always necessary to set the essential observation region Q at a position across the doorway 30, from a predetermined position inside the building to the doorway 30, or You may set so that it may reach from the entrance / exit 30 to the external predetermined position.
[0036]
FIG. 2 shows a configuration of a deaf person protection system applying the principle of FIG.
This system is used to automatically detect a person who is going out alone in a facility having a resident with a defect, such as a hospital or a nursing home, and notify the staff. In addition to the black and white CCD camera, the control device 2 and the notification device 3 are included.
[0037]
The CCD camera 1 (hereinafter simply referred to as “camera 1”), which will be described later in detail, is installed so that the entrance of the facility falls within the field of view, and generates monochrome moving image data. In this embodiment, since a moving body called a pedestrian is observed, a progressive scan type camera is used so as not to cause image blurring.
[0038]
The control device 2 is a high-performance personal computer equipped with two CPUs (not shown), and includes a capture board for digitally converting an analog video signal from the camera 1 and an input / output interface ( Neither is shown). This control device 2 is installed in a proper place (reception, management office, etc.) in the facility, performs recognition processing on the face of the pedestrian using the digitally processed input image, and the deaf person tries to go out. Detect if there is any. The reporting device 3 is a voice buzzer for notifying that the control device 2 has detected the going out of the deaf person, a voice output device for displaying detailed detection results such as the name of the person who is going out, and a display. It is composed of devices.
[0039]
The notification device 3 is installed in the vicinity of the control device 2, but can be installed in a remote location such as a staff station if necessary. In addition, an NTSC system monitor is provided in the vicinity of the reporting device 3, and the control device 2 stores the hourly input image from the camera 1 separately in odd and even rows and stores each image data in odd numbers. If an analog signal is decoded in the order of rows and even rows and output to the monitor, an image near the entrance / exit can be confirmed by the eyes of the staff when the notification device 3 is operated.
[0040]
3 and 4 show an installation example of the camera 1. The unit of each numerical value in the figure is millimeter. Also, in the following explanation, based on the moving direction of the pedestrian, the front and rear relations of each component will be described with the front when facing the direction H on the passage RD as “front” and the opposite direction as “rear”. To do.
The illustrated example is a double-structured entrance having an outer doorway 4 with an open / close door and an inner doorway 5 without a door, and a pedestrian who has passed through the inner doorway 5 is defined as an imaging target.
[0041]
In the illustrated example, the outer doorway 4 and the inner doorway 5 have an opening with a width of 1.4 m and are arranged with an interval of 2 m. The camera 1 is positioned so as not to obstruct the passage in the space between the entrances and exits (in the example shown, 25 cm before the outside entrance 4 from the pedestrian side and in the width direction with respect to the center line M of the passage. At a position 1 m away from the floor) (with a height of 1 m from the floor in the illustrated example).
[0042]
FIG. 5 shows an example of a camera stand 6 for installing the camera 1.
The camera stand 6 is formed by connecting a hollow camera housing 6a to the upper end of a columnar support 6b. The camera housing part 6a can be visually recognized from the inside to the outside by sticking a translucent dark film on the circumferential surface of the transparent resin spherical body, but it is difficult to visually recognize the inside from the outside. It is comprised so that it may become. With such a configuration, it is possible to capture the natural state of the face without the pedestrian overlooking the presence of the camera 1.
[0043]
FIG. 6 (1) shows the installation position of the camera 1 for imaging the face of the inner doorway 5 without obstructing pedestrian traffic. In (1) in the figure, the camera 1 is installed immediately above the entrance 5 and images the face of the pedestrian from diagonally above. In {circle around (2)}, the camera 1 is installed with the center of the lens adjusted to the average face height of the person, and the face is imaged obliquely from the side with the optical axis set to a substantially horizontal state. On the other hand, in (3), as shown in FIGS. 3 and 4, the camera 1 is installed with the center of the lens set to a predetermined height position from the floor, and images the face of the pedestrian from diagonally below. become.
[0044]
6 (2) and (3) are images taken by the cameras 1 provided at the respective installation positions shown in FIG. 6 (1). FIG. 6 (2) shows a pedestrian walking in front of the pedestrian. FIG. 6 (3) shows an image when the pedestrian is walking in a relaxed manner.
[0045]
According to the installation example in (1), when the pedestrian is walking in front, the outline of the entire face can be recognized, but the features of the eyes and mouth are difficult to grasp. If it is, the features of the eyes and mouth are hardly captured. According to the installation example in (2), when the pedestrian is facing directly in front, an image that clearly captures the outline of the face and the features of each part is generated. It becomes difficult to grasp the outline of the lower part of the.
On the other hand, according to the installation example (3), it is possible to generate an image that clearly captures both the outline of the face and the characteristics of each part regardless of the orientation of the face of the pedestrian.
[0046]
Furthermore, for wheelchair users, the height of the face is even lower, so according to the installation examples (1) and (2), it becomes increasingly difficult to recognize the contours and features of the face. . Therefore, in order to recognize the pedestrian's face, the installation example (3) is considered to be optimal among the above (1) to (3).
[0047]
Note that the installation position in the height direction of the camera 1 in (3) can be appropriately changed according to the height of the passer's head that can be recognized. In this case, by installing the camera 1 at a position lower than the height of the face of the pedestrian who has the lowest head position such as a wheelchair user, an image that accurately captures the faces of all the pedestrians is generated. Can do.
[0048]
Here, returning to FIGS. 3 and 4, the observation conditions necessary for recognizing the face of the pedestrian when the camera 1 is installed at the height position will be described.
In order to identify an individual from the face on the image, usually a plurality of images are required. Since the pedestrian continues to move while acquiring the recognition target image, the pedestrian's face is large enough to perform recognition processing in the movement path, and the features of each part of the face are It is necessary to generate a plurality of images that clearly appear.
[0049]
In this embodiment, as will be described later, images are sampled every 0.3 seconds, a total of 4 to 6 images are acquired, and facial recognition processing is performed.
In this embodiment, it is assumed that the head height of a pedestrian to be notified (including the height of a wheelchair user) is within a numerical range of 110 to 180 cm. The field of view of the camera 1 and the observation so that the necessary number of images can be acquired for the virtual passage RD formed by extending both ends of the internal entrance 5 in the front-rear direction with sufficient accuracy for the recognition process. A possible area P is set.
[0050]
Specifically, the camera 1 is positioned at a height of 1 m from the floor, and the optical axis is inclined 30 degrees toward the virtual path in the horizontal direction and 7 degrees upward in the vertical direction. Installed. Further, by adjusting the focal length and aperture of the lens, the range from the position about 1.5 m away from the lens center C to the position about 3 m away is set to be the depth of field of the camera 1. When the face of the pedestrian passes through the range, the angle of view in the vertical direction is set to 33.4 degrees so that the face of the pedestrian in the height range appears in the visual field of the camera 1 with a sufficient size for the recognition process. In addition, the horizontal angle of view is set to 43.6 degrees.
[0051]
The setting condition of the observable region P described above is a case where a range A connecting each position on the inner side by a distance d corresponding to the shoulder width of the pedestrian from both boundary positions of the virtual passage RD is assumed as a range through which the pedestrian's face passes. In addition, the entire range A falls within the observable region P of the camera 1 and each position inside the distance d from the shortest passage path of the face in the range A (that is, the boundary position near the camera of the virtual path RD). The path m), the length B of which corresponds to the distance that the pedestrian can move within the above image sampling period, and crosses the inner entrance 5 (ie, the passage line L in FIG. 1). (Position). That is, the above-mentioned essential observation area Q is determined by each of the ranges A and B, and the essential observation area Q is set to be included in the observable area P, and the pedestrian is in the space including the inner entrance 5. It is possible to reliably acquire an image necessary for the recognition process while passing through.
[0052]
About the range A in the width direction of the essential observation area Q and the height position of the camera 1, it is necessary to set an appropriate numerical value according to the physique of a pedestrian that can be an observation target. In addition, the range B in the length direction of the essential observation area Q is a distance that any pedestrian can pass within 1 to 2 seconds necessary for image acquisition according to the moving speed of each pedestrian that can be observed. It is necessary to set a range.
In addition, if the camera stand 6 is configured so that the height of the camera support position can be variably set, it can flexibly respond to changes in the estimated height of the pedestrian's head that can be observed. Can do.
[0053]
By the way, according to the illustrated example, the essential observation region Q for the recognition process is set at a position across the inner entrance 5, but it is intended to simply recognize a pedestrian who has moved from the facility to the inner entrance 5. In this case, it suffices that at least the forefront of the essential observation region Q corresponds to the position of the inner entrance 5.
[0054]
On the other hand, when the inner entrance / exit 5 is normally closed by an automatic door or an open / close door, an image for recognition processing is displayed while the door is opened and the face can be visually recognized by the camera 1. It is necessary to set the observation condition of the camera so that it is sampled.
[0055]
FIG. 7 shows an example of camera installation in the case of observing the face of a pedestrian who normally passes through an entrance 31 that is closed by a door 32. The camera 1 is located at the front position of the passing line L connecting both ends of the entrance 31 and outside the one boundary position of the virtual passage RD in the width direction, as in the specific examples of FIGS. It is installed at a displaced position, and the passage line L is oriented with respect to the virtual passage RD so as to include the visual field.
[0056]
E in the figure indicates a distance range in which the door 32 is opened by the movement of the pedestrian and the face of the pedestrian can be viewed from the front of the entrance 31.
In this embodiment, the rear end position of the setting range B in the length direction of the essential observation region Q is included in the range E in which the face of the pedestrian can be observed by opening the door 32, and this range B is the passing line L The observation conditions of the camera 1 are set so that the essential observation region Q is included in the observable region P. As a result, it is possible to acquire an image necessary for facial recognition while the pedestrian is passing through the open space in the entrance 31 and to realize a highly accurate recognition process.
[0057]
Furthermore, when a pedestrian who passes through a passage 33 formed by a space closed on both sides by walls or the like like a corridor is to be recognized, the camera 1 can be provided at one end of the passage 33 as shown in FIG. Installed as much as possible (installed in the range of distance d1 from the end of the passage in the figure), and at the rear position when viewed from the installation position with reference to the direction H of the movement path, the passing line L at a predetermined position The observation conditions of the camera are set so that is in the field of view. Furthermore, in accordance with this observation condition, in the field of view of the camera 1, the pedestrian's face moves within a range A connecting the respective positions on the inside by a distance d corresponding to the shoulder width of the pedestrian from both ends of the passage 33 and within the image sampling period The essential observation area Q determined by the possible range B is set so as to be located across the passing line L and included in the observable area P of the camera 1.
With such a setting, while a pedestrian is passing through the space including the passing line L on the passage 33, it is possible to generate an image necessary for the recognition process and perform a highly accurate recognition process. Become.
[0058]
Note that the alphabetical symbols shown in FIGS. 7 and 8 and FIGS. 11 and 13 to be described later have the same meaning as shown in FIG.
[0059]
As described above, the observation conditions of the camera 1 can be appropriately changed according to the surrounding environment and the observation purpose on the assumption that the essential observation region Q is included in the observable region P.
3 and 4, in a facility having double-structured entrances 4 and 5, an observable region corresponding to conditions can be obtained by installing a camera stand 6 in the space between the entrances 4 and 5. P can be set relatively easily. However, when a pedestrian exiting from a single entrance is to be observed, the camera 1 is outside the building and is used for pedestrian traffic such as in the shade of planting. It must be installed in an unobstructed position.
[0060]
The moving image data from the camera 1 installed under the above conditions is sequentially transmitted to a capture board in the control device 2, converted into a digital signal, and stored in a memory. Individual tasks are assigned to the two CPUs of the control device 2, and the processing of recognizing a pedestrian from the extracted face is realized by the linked processing of each CPU.
[0061]
FIG. 9 shows a specific processing procedure of tasks assigned to each CPU.
Task assigned to the first CPU (ST in the figureA-1 to STA-4) is for detecting a moving body such as a pedestrian based on a difference change amount by a difference process (frame difference) between the input image of every hour and the input image of the previous stage. When a difference change amount exceeding is extracted, a buffering process is performed in which an input image is captured at a predetermined time interval and stored as a time-series image from that point until no image change is extracted ( STA-2 to STA-4).
[0062]
According to the observable region P shown in FIGS. 3 and 4, when buffering processing is performed at intervals of 0.3 seconds, usually 4 to 6 time-series images are extracted (hereinafter, this plurality of images). Are called “terms”). Therefore, when a pedestrian normally walks in the observable region P, a term representing the pedestrian's face at a different position in the observable region P is acquired by the buffering process.
[0063]
The task assigned to the second CPU is executed in accordance with the extraction of the term, and STBWhen the extraction of the term is confirmed at -1, an image region corresponding to the face is extracted for each image in the term (STB-2) Next, feature points representing facial features such as eyes and nose are extracted in the image area (ST)B-3). And next STBIn step -4, the feature point extraction result is checked against registered data prepared in advance, and if it is determined that the face is a registered deaf person, the notification device 3 is activated (ST)B-5, 6).
[0064]
In recent years, in the field of face recognition processing, it is possible to extract feature points on an image by Gabor Wavelet transform, and to match these feature points with a graph-represented template, even if the person on the image does not face the front. It has been reported that the face can be recognized with high accuracy (E. Ellagin, J. Steffens, and H. Neven. Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology. Proceedings of the International Conference on Automatic Face and Gesture Recognition '98 .pp136-141,1998). In this embodiment, this technique is called ST.BBy introducing it into the face recognition processes of −2 to 4, the face of a pedestrian captured by the camera 1 from an obliquely downward direction is accurately recognized.
[0065]
The Gabor Wavelet filter is expressed by the following equation (1). In this equation (1), σ is the standard deviation of the Gaussian function and is set to 2π. Further, k is a frequency, and θ is an azimuth (angle). The image is scanned while controlling the resolution and azimuth of the filter by changing k and θ, and pixel data in the vicinity of each are used at each scanning position. A feature value called Jet is calculated by performing a convolution operation.
[0066]
[Expression 1]
Figure 0003755343
[0067]
On the other hand, as a face extraction template, a graph (shown in FIG. 10) expressing the arrangement relationship of each facial organ such as eyes, nose and mouth by a plurality of feature points is prepared. In this embodiment, since an oblique face is an extraction target, for each feature point extracted from a standard oblique face image, the spatial positional relationship between each feature point and each Jet are obtained.
[0068]
STB-2 scans the feature extraction image generated by the filter scanning while performing processing such as translation, enlargement / reduction, and rotation on the template, and at each scanning position, the following equation (2): By executing Jet (a1j) And Jet (a of points on the feature extraction image corresponding to these feature points2j) Is calculated. Then, it is determined that the image area overlapping the template when the similarity exceeds a predetermined threshold is an area representing a face.
[0069]
[Expression 2]
Figure 0003755343
[0070]
STB-3, using a template with a further increased number of feature points, the STBThe image region roughly detected in -2 and its peripheral region are subjected to matching processing according to the equation (2) to obtain the image region most similar to the template. Further, by moving each feature point of the template locally in this image region and its vicinity, a point having a higher similarity to each feature point is extracted and specified as a feature point of the face to be recognized.
[0071]
STBAt -4, the similarity S is calculated by applying the Jet of each feature point specified by the above processing and the Jet of feature points of each deaf person registered in advance to the above equation (2). And STBIn −5, when the similarity S exceeds a predetermined threshold, the person on the image is specified from the registered data at that time.
If no similarity exceeding the threshold is obtained for any registered data, STB-5 is “NO” and the pedestrian is determined not to be a deaf.
[0072]
STBThe registration data used for the collation process -4 is obtained in advance by having each registration subject pass through the inner entrance 5 and capturing the passage state under the conditions shown in FIGS. The feature points of the face are extracted and the Jet of each feature point is calculated.
In this case, since the facial features change over time, the recognition accuracy may gradually deteriorate. However, when a high degree of similarity is obtained with respect to the predetermined registration data in the above process and an individual is specified, if the registration data is replaced by the feature point Jet at that time, the recognition accuracy is maintained stably. can do.
[0073]
Some pedestrians may stop in the middle of the travel route or move at an extremely slow speed, but if there is such a possibility, the task 1 does not extract image changes. Even when the state continues for a predetermined period, it is preferable to perform the face recognition process by the task 2 using an image for each predetermined period.
[0074]
In the above-described embodiment, the camera 1 is installed at one side position that is displaced in the width direction of the entrance / exit 5. However, the present invention is not limited to this, and a plurality of cameras 1 may be installed. For example, if the cameras 1 are installed at symmetrical positions that are displaced in both directions along the width of the doorway 5 and the image data from each camera 1 is individually processed and then the respective processing results are integrated, different positions and different positions are obtained. The recognition accuracy of each person can be further improved by using the result of individually recognizing the face viewed from the direction. It is also possible to improve the recognition accuracy when a plurality of pedestrians are moving with them.
[0075]
FIG. 11 shows an installation example of the cameras 1 and 1 when the face of the pedestrian passing through the opened entrance 30 is observed from both sides by the two cameras 1 and 1. Each camera 1, 1 is in front of a passing line L connecting both ends of the entrance / exit 30, and the optical axis of each camera 1 passes through the passing line L at a symmetrical position displaced to the outer position along the width direction of the virtual path RD. It is installed so as to face the center and to be symmetric with respect to the center line in the width direction of the virtual passage RD.
In the figure, C1 and C2 indicate the center points of the lenses of the cameras 1 and 1, and P1 and P2 indicate observable areas of the cameras 1 and 1, respectively.
[0076]
As a result of the above camera installation, on the virtual path RD, in the field of view of each camera 1, 1, the essential observation area Q under the same conditions as in the above embodiments is included in the observable areas P 1, P 2 of each camera 1, 1 Thus, the observation conditions of the cameras 1 and 1 are set.
[0077]
Up to this point, a virtual passage RD extending in one direction by extending both ends of the doorway is assumed as a pedestrian movement route with respect to the doorway, but not limited to this, a plurality of virtual passages extending in different directions with respect to the doorway It is also possible to set the RD, install the camera 1 under the same conditions as described above for each virtual passage RD, and recognize the pedestrian's face that proceeds from each virtual passage RD to the entrance. According to this configuration, since the pedestrian's face from each direction can be observed, the recognition range of the pedestrian can be expanded, and a useful system is provided for facilities where a lobby is provided inside the entrance / exit. be able to.
[0078]
By the way, according to the camera arrangement according to the present invention, not only a pedestrian who goes out of the building but also a pedestrian who tries to enter the building can be an observation target. Therefore, if the camera 1 having the above-described arrangement is introduced into an auto-lock system such as a condominium, it is possible to construct a system that automatically recognizes a resident with high accuracy and automatically opens the door.
[0079]
FIG. 12 shows a schematic configuration of an auto-lock system to which the present invention is applied.
The camera 1 and the control device 2 in the figure have the same configuration as that used in the deaf protection system. The control device 2 further includes an automatic door opening and closing device 10 and a passing person detection sensor 11. It is connected.
[0080]
FIG. 13 shows an installation example of the camera 1 and the passer-by detection sensor 11 in the system.
In this embodiment, at a double-structured entrance with an open outer door 12 and an inner door 13 that is normally closed by a door 14, walk into the building from the outer door 12 toward the inner door 13. In order to observe a person, a virtual path RD is set by extending both ends of the respective entrances 12 and 13. The passing line L in this case is set at the position of the outer entrance 12, and the camera 1 is located at a position in front of the inner entrance 13 when viewed from the pedestrian and displaced to the outside of the virtual passage RD. It is installed toward L. Further, in the field of view of the camera 1, the essential observation region Q under the same conditions as in the above embodiments is set at a position across the passing line L and is included in the observable region P of the camera 1. Observation conditions are set.
[0081]
On the other hand, the passer detection sensor 11 such as a photoelectric sensor is located near the inner entrance 13 inside the building and is symmetrical along the width direction of the virtual passage RD in order to detect a pedestrian who has passed through the inner entrance 13. Installed in position.
[0082]
In the above system, the control device 2 samples the image from the camera 1 in the same manner as in the first embodiment, and determines whether the pedestrian is a registered resident from the face on the image. . When it is determined that the pedestrian is a resident, the automatic door opening / closing device 10 is operated to open the door 14. Further, when the passing person detecting sensor 11 detects that the pedestrian has passed through the inner entrance 13, the control device 2 operates the automatic door opening / closing device 10 to close the door 14 again.
[0083]
With such a system, the entrance can be automatically opened only for registered persons without having to enter a personal identification number, etc., so that the resident is free from troublesome input operations. A highly reliable system is provided. In addition, since there is no possibility of intrusion by obtaining a password by an unauthorized method from the outside, it is possible to provide a system that is excellent in crime prevention.
If a warning device is introduced into the configuration of this system and the warning device is activated when it is determined that the pedestrian is not a resident, a system with higher security can be provided.
[0084]
Furthermore, the camera arrangement according to the present invention can be introduced not only for the purpose of recognizing a registered person but also for a building where an unspecified number of people enter and exit.
For example, a camera is placed in the vicinity of a building entrance under the same conditions as in the embodiments of FIGS. 1, 7, and 13 to capture the face of a pedestrian who enters or leaves the entrance and manages the obtained image. Output to a monitor such as an office. Thereby, the clerk can recognize the face of each person entering and leaving and check whether there is any suspicious person. In addition, if an image obtained by the camera 1 is recorded, in the unlikely event that an incident occurs, an image that stably captures the characteristics of each visitor's face can be used for investigation activities. .
[0085]
【The invention's effect】
  Claims 1-3According to this invention, the camera is located at a position that does not hinder pedestrian traffic as much as possibleBecause it is installedThe observation of the face on the moving route may be interruptedAbsent. Also, the camera for facial observation is installed with the optical axis diagonally upward from a position lower than the value set as the minimum height of the pedestrian's face that may pass through the observation area. It is possible to capture images of all pedestrian faces assumed as targets from obliquely below, and generate an image that accurately captures facial features.
[0086]
  Furthermore, the essential observation area necessary for facial observation is included in the observable area, and the face has a size that allows extraction of the number of feature points necessary for recognition processing while the pedestrian passes through the essential observation area. Since it appears in the field of view of the camera, it is possible to acquire an image in which feature points necessary for observing the face appear while the pedestrian passes through the passage, and to accurately observe the pedestrian's face.
[0087]
  In addition, the essential observation area is defined by the range in which the pedestrian's face may pass in the width direction of the passage and the range in which the pedestrian's face moves within the time required to acquire an image for observation. Therefore, no matter where the pedestrian is walking in the width direction of the passage, the face can be imaged with a size necessary for the recognition process.
[0088]
  Claim 5According to the present invention, with respect to both boundaries in the width direction of the passage, the object position in the vicinity of both boundary positions of the passing range of the pedestrian along the moving route or the symmetrical position displaced outward from the passing range, respectively. By installing the camera under the same conditions, it is possible to capture the face of the pedestrian from two different directions, and the face observation accuracy can be further improved. In addition, the observation accuracy when a plurality of pedestrians pass simultaneously can be improved.
[0089]
  Claim 6According to the invention, when a plurality of movement paths from different directions are assumed for a predetermined point, a camera is installed for each movement path under the same conditions as in the first aspect. It is possible to accurately observe a pedestrian who has moved from a route to a target point.
[0090]
  Claim 7In the present invention, the face of a pedestrian passing through a predetermined passing point from an image generated by the pedestrian observation device is displayed.Feature pointThe pedestrian observation apparatus determines whether or not the pedestrian is a registrant by comparing the extraction result with registered data. Because it is installed inStable acquisition of images containing the number of feature points required for facial recognition processing,It is possible to perform highly accurate recognition processing.
[0091]
  Claim 10According to the invention, since the reporting means is activated when it is determined that the pedestrian is a registrant, it is recognized when applied to an application for automatically determining the resident's going out at the entrance of a hospital or a nursing home. A highly accurate system can be provided.
[0092]
  Claim 11According to the invention, since the reporting means is activated when it is determined that the pedestrian is not a registered person, it can be applied to the purpose of automatically detecting illegal intruders at entrances and exits of facilities where only registered persons can enter. Thus, a system with high security can be provided.
[0093]
  Claim 12According to the invention, the face of the pedestrian approaching the doorway closed by the door is observed by the pedestrian observation device having the same configuration as that of the invention of claim 1, and the pedestrian is a registered person. Since the door is opened when the determination is made, it is possible to provide a high-performance auto-lock system that automatically recognizes a registered person and passes through the doorway.
[0094]
According to the invention of claim 15, a person entering or leaving the entrance through the entrance by installing a pedestrian observation device having the same configuration as the invention of claim 1 in the passage set for the entrance of the building. It is possible to confirm whether or not the person is a resident by accurately observing the face.
[0095]
  Claim 16According to the invention, whether or not the person entering or leaving the entrance / exit is a resident by extracting the facial features from the image for observation and collating with registered data at the facility where the resident is specified. Can be realized with high accuracy.
[0096]
  Claims 8 and 13In this invention, the face observation camera is supported at a position lower than the minimum face height obtained from a plurality of persons registered as recognition targets in a posture in which the optical axis is directed obliquely upward. Can greatly improve the accuracy of the recognition process.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an installation example and principle of a pedestrian observation apparatus according to the invention of claim 1;
FIG. 2 is a block diagram showing a configuration of a deaf person protection system to which the pedestrian observation apparatus of FIG. 1 is applied.
FIG. 3 is a side view showing a specific installation example of a pedestrian observation apparatus.
FIG. 4 is a plan view showing a specific installation example of a pedestrian observation apparatus.
FIG. 5 is a front view illustrating a configuration example of a camera stand.
FIG. 6 is an explanatory diagram showing a relationship between a camera installation position and an acquired image.
FIG. 7 is an explanatory diagram showing another installation example of the pedestrian observation device.
FIG. 8 is an explanatory diagram showing another installation example of the pedestrian observation apparatus.
FIG. 9 is a flowchart illustrating a procedure of recognition processing in the control device.
FIG. 10 is an explanatory diagram showing a template of feature points for face detection and verification.
FIG. 11 is an explanatory diagram showing an installation example of a pedestrian observation apparatus using two cameras.
FIG. 12 is a block diagram illustrating a configuration example of an auto-lock system including a pedestrian observation device.
13 is an explanatory diagram showing an installation example of a camera and a passer detection sensor in the auto-lock system of FIG. 12. FIG.
[Explanation of symbols]
1 Camera
2 Control device
6 Camera stand
P Observable area
Q Mandatory observation area
L passing line

Claims (16)

人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備し、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている歩行者観測装置。 An apparatus for imaging a path of a predetermined width having directionality with respect to a person's movement path and observing the face of a pedestrian passing through the path, imaging the face of the pedestrian, and obtaining an image obtained by the imaging comprising a camera for outputting, the camera, and a camera support for installing in the width direction in the vicinity of the boundary in the outer or passage of the passageway,
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than a value set as a minimum value of the pedestrian's face height,
Pedestrians determined by the range in which the pedestrian's face may pass in the width direction of the passage and the time length necessary for acquiring the pedestrian's moving speed and the image for observing the face. All of the essential observation areas indicated by the two areas of the movement range of the face are included in the observable area determined by the angle of view of the camera and the depth of field, and have a preset height. While the face in the range passes through the essential observation area, the imaging conditions of the camera are set such that the face having a size that allows extraction of the number of feature points necessary for recognition processing appears in the field of view of the camera. A pedestrian observation device in which installation conditions of the camera support are adjusted. 人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備し、An apparatus that images a passage having a predetermined width with respect to a movement path of a person and observes the face of a pedestrian passing through the passage, images the face of the pedestrian, and obtains an image obtained by the imaging. A camera for outputting, and a camera support for installing the camera near the boundary in the width direction outside the passage or in the passage;
前記カメラ支持具は、前記カメラを、あらかじめ登録された複数人の顔面の高さの最小値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than the minimum value of the heights of a plurality of pre-registered faces.
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、および前記登録された複数人の移動速度と顔面の観測のための画像の取得に必要な時間とにより算出される歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とにより決まる観測可能領域内に含まれ、かつ、前記登録された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている歩行者観測装置。A pedestrian calculated based on a range in which the pedestrian's face may pass in the width direction of the passage, and a time required for acquiring the registered moving speed and an image for observing the face. All of the essential observation areas indicated by the two ranges of the movement range of the face are included in the observable area determined by the angle of view of the camera and the depth of field, and the registered height While the face in the range passes through the essential observation area, the imaging condition of the camera is set so that the face having a size capable of extracting the number of feature points necessary for recognition processing appears in the field of view of the camera. A pedestrian observation device in which installation conditions of the camera support are adjusted. 人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、
前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを具備し、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の平均的な移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、各カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野に、それぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている歩行者観測装置。A device that images a passage having a predetermined width with respect to a person's movement path and observes the face of a pedestrian passing through the passage,
When facing the pedestrian's moving direction on the passage, it becomes forward with respect to a predetermined passing line on the passage, and is displaced to a position in the passage or outside the passage with respect to the boundary in the width direction of the passage. And at least one camera disposed at a position with the optical axis directed toward the passing line, and at least one camera support for supporting each of the disposed cameras at a predetermined height position. ,
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than a value set as a minimum value of the pedestrian's face height,
Obtained by the range in which the pedestrian's face may pass in the width direction of the passage, and the preset average moving speed of the pedestrian and the length of time required to acquire an image for observing the face All of the essential observation areas indicated by the two ranges of the pedestrian's facial movement range included in the observable area of each camera determined by the angle of view and the depth of field of each camera, and While the face in the set height range passes through the essential observation area, the face of a size that can extract the number of feature points necessary for the recognition process appears in the field of view of each camera. , pedestrian observation apparatus and imaging conditions of each camera and installation conditions of each camera support is adjusted. 前記カメラ支持具は、前記通路を通過する可能性のある複数の歩行者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方に向けた姿勢でカメラを支持している請求項３に記載された歩行者観測装置。The camera support tool supports the camera in a posture in which the optical axis is directed obliquely upward at a position lower than the minimum value of the face height obtained from a plurality of pedestrians who may pass through the passage. The pedestrian observation device according to claim 3 . 前記カメラは、前記通路上で歩行者の移動方向を向いた場合に前記通過ラインに対して前方になり、前記通路の幅方向の両境界に対し、通路内の近傍の対称位置または通路の外側へ変位した対称位置に、それぞれ１台ずつ、前記カメラ支持具により支 持された状態で設置される請求項３または４に記載された歩行者観測装置。 The camera is forward with respect to the passing line when facing the pedestrian's moving direction on the passage, and is located symmetrically in the vicinity of the passage in the width direction of the passage or outside the passage. the displaced symmetrically to, one by one, respectively, pedestrian observation apparatus according to claim 3 or 4 is placed in a state of being supported lifting by the camera support. 所定の地点に向けて人が移動する領域内において、人の移動経路に関して異なる方向性をもつ所定幅の複数の通路を通路毎に撮像し、各通路を通行する歩行者の顔面を観測する装置であって、
各通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を通過ラインの方に向けて配置される通路毎のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する複数台のカメラ支持具とを備えており、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記各通路に対し、それぞれその通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、当該通路に対して配置されたカメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野に、それぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている歩行者観測装置。An apparatus for imaging a plurality of passages having a predetermined width having different directions with respect to a person's moving path in an area where a person moves toward a predetermined point, and observing the face of a pedestrian passing through each passage Because
When the pedestrian moves in each passage, the position is forward with respect to the predetermined passage line on the passage, and the position displaced in the vicinity of the passage or outside the passage with respect to the boundary in the width direction of the passage And a camera for each passage disposed with the optical axis directed toward the passing line, and a plurality of camera support members for supporting each of the disposed cameras at a predetermined height position,
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than a value set as a minimum value of the pedestrian's face height,
For each of the passages, the range in which the pedestrian's face may pass in the width direction of the passage and the time required for acquiring images for observation of the preset pedestrian movement speed and face All of the essential observation areas indicated by the two ranges of the pedestrian's facial movement range determined by the length are observable areas determined by the angle of view of the camera placed with respect to the passage and the depth of field. The number of feature points necessary for recognition processing can be extracted in the field of view of each camera while a face within a predetermined height range passes through the essential observation area. A pedestrian observation apparatus in which the imaging conditions of each camera and the installation conditions of each camera support are adjusted so that the face appears . 所定の地点を通過する歩行者を認識するためのシステムであって、
前記通過地点に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通過地点を通過する歩行者を観測する歩行者観測装置と、前記歩行者観測装置により得られた画像を用いて前記歩行者を認識する認識処理装置とを具備しており、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の前記通過地点に対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過地点の方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、各カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されており、
前記認識処理装置は、前記複数の登録者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者が登録者であるか否かを判別する判別手段とを具備して成る歩行者認識システム。A system for recognizing a pedestrian passing through a predetermined point,
A pedestrian observation device that sets a predetermined width passage having directionality with respect to a movement path of a person at the passage point, images the passage, and observes a pedestrian passing through the passage point, and the pedestrian observation device. A recognition processing device that recognizes the pedestrian using the obtained image,
When the pedestrian observation device faces the direction of movement of the pedestrian on the passage, the pedestrian observation device is forward with respect to the passing point on the passage, and the position in the vicinity of the passage in the width direction of the passage or At least one camera disposed at a position displaced to the outside of the passage with the optical axis directed toward the passing point, and at least one camera supporting each of the disposed cameras at a predetermined height position. A support and
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than a value set as a minimum value of the pedestrian's face height,
Pedestrians determined by the range in which the pedestrian's face may pass in the width direction of the passage and the time length necessary for acquiring the pedestrian's moving speed and the image for observing the face. All of the essential observation areas indicated by the two ranges of the movement range of the face are included in the observable area of each camera determined by the angle of view and the depth of field of each camera, and are set in advance. Each camera so that the face having a size capable of extracting the number of feature points necessary for the recognition process appears in the field of view of each camera while the face in the height range passes through the essential observation area. The image pickup conditions and the installation conditions of each camera support are adjusted,
The recognition processing apparatus includes a memory in which facial feature points for the plurality of registrants are registered, a feature point extracting unit that extracts facial feature points from an image obtained by the camera, and the feature point extracting unit. A pedestrian recognition system comprising: discrimination means for collating the result of extraction with registration data in a memory to determine whether or not the pedestrian is a registrant. 前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢でカメラを支持している請求項７に記載された歩行者認識システム。The walking according to claim 7 , wherein the camera support tool supports the camera in a posture in which an optical axis is directed obliquely upward at a position lower than a minimum face height obtained from the plurality of registrants. Recognition system. 前記認識処理装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎にその入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴点抽出手段および判別手段による処理を実行する請求項７または８に記載された歩行者認識システム。 The recognition processing apparatus includes an image input unit that inputs an image from the camera at predetermined time intervals, and a difference calculation unit that executes a difference process between the input image and the input image of the previous stage every time an image is input. When the difference change amount obtained by the difference processing exceeds a predetermined threshold value, the feature point extraction means is used using an image input from that time until the change amount is not extracted. The pedestrian recognition system according to claim 7 or 8, wherein the processing by the determination unit is executed . 前記認識処理装置は、前記判別手段により歩行者が登録者であると判別されたとき、その判別結果を外部に通報する通報手段を具備して成る請求項７〜９のいずれかに記載された歩行者認識システム。The said recognition processing apparatus is equipped with the alerting | reporting means which reports the discrimination | determination result outside when the discrimination means discriminate | determines that a pedestrian is a registrant. Pedestrian recognition system. 前記認識処理装置は、前記判別手段により歩行者は登録者でないと判別されたとき、その判別結果を外部に通報する通報手段を具備して成る請求項７〜９のいずれかに記載された歩行者認識システム。The walking according to any one of claims 7 to 9, wherein the recognition processing device comprises a reporting means for notifying the discrimination result to the outside when the discrimination means determines that the pedestrian is not a registered person. Recognition system. 扉により閉鎖された出入口に向かう歩行者を検知して前記扉を開放する扉開閉制御システムであって、
前記出入口に向けて人が移動する領域内に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記出入口に向かう歩行者を観測する歩行者観測装置と、前記歩行者観測装置により得られた画像を用いて前記扉の開閉動作を制御する制御装置とを具備し、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置から光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されており、
前記制御装置は、前記複数の登録者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者が登録者であるか否かを判別する判別手段と、前記判別手段により前記歩行者が登録者であることが判別されたとき、前記扉を開放する扉開放手段とを具備して成る扉開閉制御システム。A door opening / closing control system for detecting a pedestrian heading to an entrance closed by a door and opening the door,
A pedestrian observation device for observing a pedestrian heading to the doorway by setting a predetermined width passage having directionality with respect to the movement path of the person in an area where the person moves toward the doorway, Comprising a control device for controlling the opening and closing operation of the door using an image obtained by the pedestrian observation device,
When the pedestrian observation device faces the direction of movement of the pedestrian on the passage, the pedestrian observation device is in front of a predetermined passing line on the passage, and is positioned in the vicinity of the boundary in the width direction of the passage. Alternatively, at least one camera arranged with the optical axis directed toward the passing line at a position displaced to the outside of the passage, and at least one camera supporting each arranged camera at a predetermined height position. A camera support,
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward from a position lower than a value set as a minimum value of the pedestrian's face height,
Pedestrians determined by the range in which the pedestrian's face may pass in the width direction of the passage and the time length necessary for acquiring the pedestrian's moving speed and the image for observing the face. All of the essential observation areas indicated by the two ranges of the movement range of the face are included in the observable area of each camera determined by the angle of view of the camera and the depth of field, and are set in advance. Each camera so that the face having a size capable of extracting the number of feature points necessary for the recognition process appears in the field of view of each camera while the face in the height range passes through the essential observation area. The image pickup conditions and the installation conditions of each camera support are adjusted,
The control device includes a memory in which facial feature points for the plurality of registrants are registered, a feature point extracting unit that extracts facial feature points from an image obtained by the camera, and a feature point extracting unit. When it is determined by the determination means that the pedestrian is a registrant by comparing the extraction result with the registration data in the memory and determining whether the pedestrian is a registrant, A door opening / closing control system comprising door opening means for opening the door. 前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢でカメラを支持している請求項１２に記載された扉開閉制御システム。The door according to claim 12 , wherein the camera support tool supports the camera in a posture in which an optical axis is directed obliquely upward at a position lower than a minimum face height obtained from the plurality of registrants. Open / close control system. 前記制御装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎にその入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴抽出手段および判別手段による処理を実行する請求項１２または１３に記載された扉開閉制御システム。 The control device includes an image input unit that inputs an image from the camera at predetermined time intervals, and a difference calculation unit that executes a difference process between the input image and the input image of the previous stage each time an image is input. When the difference change amount obtained by the difference process exceeds a predetermined threshold value, the feature extraction means and the determination are performed using an image input from that time until the change amount is not extracted. The door opening / closing control system according to claim 12 or 13, wherein processing by means is executed . 人が出入りするための出入口と、この出入口に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通路を通行する歩行者を観測する歩行者観測装置とを具備して成る建造物であって、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過地点の方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじ め設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている建造物。A doorway for people to enter and exit, and a pedestrian observation device for setting a passage of a predetermined width having directionality with respect to a person's movement route at the doorway, imaging the passage, and observing a pedestrian passing through the passage A building comprising
When the pedestrian observation device faces the direction of movement of the pedestrian on the passage, the pedestrian observation device is in front of a predetermined passing line on the passage, and is positioned in the vicinity of the boundary in the width direction of the passage. Alternatively, at least one camera disposed at a position displaced toward the outside of the passage with the optical axis directed toward the passing point, and at least one camera supporting each of the disposed cameras at a predetermined height position. A camera support,
The camera support tool supports the camera in a state where the optical axis is directed obliquely upward at a position lower than a value set as a minimum value of the pedestrian's face height,
It is determined by the time and length required for the acquisition of images for pedestrian facial range that may pass, and observation of the moving speed and facial beforehand Me set pedestrian in the width direction of said passage All of the essential observation areas indicated by the two ranges of the movement range of the pedestrian's face are included in the observable area of each camera determined by the angle of view of the camera and the depth of field, and While the face in the set height range passes through the essential observation area, the face having a size capable of extracting the number of feature points necessary for the recognition process appears in the field of view of each camera. buildings and imaging conditions of each camera and installation conditions of each camera support is adjusted. 前記建造物は居住者が特定されている居住施設であって、前記歩行者観測装置により得られた画像を用いて前記通路を通過した歩行者を認識するための認識処理装置を具備しており、
前記認識処理装置は、各居住者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者観測装置により観測された歩行者が居住者であるか否かを判別する判別手段を具備して成る請求項１５に記載された建造物。The building is a residential facility where a resident is specified, and includes a recognition processing device for recognizing a pedestrian who has passed through the passage using an image obtained by the pedestrian observation device. ,
Extraction by the recognition processing unit, a memory for the feature points is registered facial for each resident, a feature point extracting means for extracting feature points of the face from an image obtained by the camera, the feature point extracting means 16. The building according to claim 15 , further comprising a discriminating means for collating a result with registered data in a memory and discriminating whether or not the pedestrian observed by the pedestrian observation device is a resident. .
JP18510399A 1999-06-30 1999-06-30 Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building Expired - Fee Related JP3755343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18510399A JP3755343B2 (en) 1999-06-30 1999-06-30 Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18510399A JP3755343B2 (en) 1999-06-30 1999-06-30 Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building

Publications (2)

Publication Number Publication Date
JP2001016573A JP2001016573A (en) 2001-01-19
JP3755343B2 true JP3755343B2 (en) 2006-03-15

Family

ID=16164917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18510399A Expired - Fee Related JP3755343B2 (en) 1999-06-30 1999-06-30 Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building

Country Status (1)

Country Link
JP (1) JP3755343B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033819A (en) * 2006-07-31 2008-02-14 Omron Corp Object recognition device, monitoring system, object recognition method, object recognition program, and recording medium recording the program

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279466A (en) * 2001-03-15 2002-09-27 Toshiba Corp Device and method for admission control
JP2005259049A (en) * 2004-03-15 2005-09-22 Omron Corp Face collation device
JP4569186B2 (en) * 2004-06-15 2010-10-27 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP4645223B2 (en) * 2005-02-18 2011-03-09 富士通株式会社 Face tracking program and face tracking method
WO2007060980A1 (en) 2005-11-25 2007-05-31 Nikon Corporation Electronic camera and image processing device
JP4687492B2 (en) 2006-02-14 2011-05-25 株式会社ニコン Camera, imaging method, exposure calculation device, and program
JP5070728B2 (en) 2006-04-04 2012-11-14 株式会社ニコン camera
JP5087856B2 (en) * 2006-04-05 2012-12-05 株式会社ニコン Electronic camera
JP5239126B2 (en) * 2006-04-11 2013-07-17 株式会社ニコン Electronic camera
US8306280B2 (en) 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4910462B2 (en) 2006-04-14 2012-04-04 株式会社ニコン camera
JP2008033620A (en) 2006-07-28 2008-02-14 Seiko Epson Corp Image processor, image processing method, and image processing program
GB2442054B (en) * 2006-09-18 2012-02-29 Knorr Bremse Rail Systems Uk Ltd Platform screen door
US7852395B2 (en) 2006-10-10 2010-12-14 Nikon Corporation Camera with two image pickup sections
JP2008096584A (en) 2006-10-10 2008-04-24 Nikon Corp Camera
JP5024012B2 (en) * 2007-12-10 2012-09-12 沖電気工業株式会社 Door device and door system
JP5402018B2 (en) 2009-01-23 2014-01-29 株式会社ニコン Display device and imaging device
JP2010244381A (en) * 2009-04-08 2010-10-28 Sony Corp Gabor filter, image recognition apparatus and method, program, and recording medium
JP5642410B2 (en) 2010-03-30 2014-12-17 パナソニック株式会社 Face recognition device and face recognition method
CN112650071B (en) * 2020-12-21 2023-01-13 道亿科技医疗健康(海南)有限公司 Intelligent decision making system and method based on artificial intelligence
CN118155268A (en) * 2024-05-08 2024-06-07 广州科技贸易职业学院 Face recognition device based on big data of computer and application method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033819A (en) * 2006-07-31 2008-02-14 Omron Corp Object recognition device, monitoring system, object recognition method, object recognition program, and recording medium recording the program

Also Published As

Publication number Publication date
JP2001016573A (en) 2001-01-19

Similar Documents

Publication Publication Date Title
JP3755343B2 (en) Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building
JP4836633B2 (en) Face authentication device, face authentication method, and entrance / exit management device
CN110491004B (en) Resident community personnel safety management system and method
KR101729327B1 (en) A monitoring system for body heat using the dual camera
JP6148065B2 (en) Face recognition system
KR101387628B1 (en) Entrance control integrated video recorder
KR100831122B1 (en) Face authentication apparatus, face authentication method, and entrance and exit management apparatus
JP6148064B2 (en) Face recognition system
US7574021B2 (en) Iris recognition for a secure facility
ES2364915T3 (en) VIDEO TRAP CABLE.
ES2822293T3 (en) Device to control the passage of people
CN112233300A (en) Community passing epidemic prevention monitoring joint defense system and method based on artificial intelligence
KR101218296B1 (en) Management System for Entrance and Method thereof
JP4357521B2 (en) Unauthorized passing person detection device and unauthorized passing person recording system using the same
EP1346328B1 (en) Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring
EP2636823A1 (en) Enhanced-security door lock system and a control method therefor
JP3924171B2 (en) Monitoring device for identifying monitoring objects
KR20110129789A (en) A security system and a method using multiplex biometrics of face and body
JP2008071172A (en) Face authentication system, face authentication method, and access control device
JP2006236260A (en) Face authentication device, face authentication method, and entrance/exit management device
JP2019219721A (en) Entry/exit authentication system and entry/exit authentication method
CN112434545A (en) Intelligent place management method and system
JP4617286B2 (en) Unauthorized passing person detection device and unauthorized passing person recording system using the same
KR101596363B1 (en) Access Control Apparatus and Method by Facial Recognition
KR102113489B1 (en) Action Detection System and Method Using Deep Learning with Camera Input Image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees