JP5493108B2 - 距離画像カメラを用いた人体識別方法および人体識別装置 - Google Patents

距離画像カメラを用いた人体識別方法および人体識別装置 Download PDF

Info

Publication number
JP5493108B2
JP5493108B2 JP2010201851A JP2010201851A JP5493108B2 JP 5493108 B2 JP5493108 B2 JP 5493108B2 JP 2010201851 A JP2010201851 A JP 2010201851A JP 2010201851 A JP2010201851 A JP 2010201851A JP 5493108 B2 JP5493108 B2 JP 5493108B2
Authority
JP
Japan
Prior art keywords
image
human body
distance
template
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010201851A
Other languages
English (en)
Other versions
JP2012059030A (ja
Inventor
康孝 川畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optex Co Ltd
Original Assignee
Optex Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optex Co Ltd filed Critical Optex Co Ltd
Priority to JP2010201851A priority Critical patent/JP5493108B2/ja
Priority to US13/226,771 priority patent/US20120062749A1/en
Publication of JP2012059030A publication Critical patent/JP2012059030A/ja
Application granted granted Critical
Publication of JP5493108B2 publication Critical patent/JP5493108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、防犯用装置、カメラシステムおよび自動ドアセンサなどに好適な距離画像カメラを用いた人体識別方法および人体識別装置に関し、特に、いわゆる共連れを的確に検知する（anti-tailgating）ことを可能にした距離画像カメラを用いた人体識別方法および人体識別装置に関する。
従来、画像内における人体などの物体を識別する技術として、例えば、デジタルデータに変換された２次元画像中の物体像を周囲の背景像との濃度差を利用して前記物体像の輪郭部の法線ベクトルを求め、この求めた法線ベクトルに基づいて物体像を識別する方法が提案されている（例えば、特許文献１参照）。
この物体像識別方法は、画像内の物体像を、背景像との濃度差を利用して識別する物体像識別方法であって、カメラにより映された画面内を複数のブロックに分割し、前記各ブロックにおいて背景像が映された画像上のブロック内での任意の１点を配置点としてその配置点を基準に当該ブロックに対応した標準物体像を前記画面内に配置した挿入画像とし、この挿入画像において標準物体像と背景像との濃度差より前記標準物体像の輪郭部における標準法線ベクトル群を求め、前記標準物体像の配置点からその標準物体像における前記標準法線ベクトル群の各法線ベクトルまでの位置情報および各法線ベクトルの角度情報からなる、関連付けられたベクトルデータを求め、前記ベクトルデータを前記標準物体像に対する標準データとして前記標準法線ベクトル群の個々の法線ベクトルが検出された位置でのブロックに記憶し、以上の標準物体像の配置から標準データの記憶を前記分割した全ブロックに対して実行し、次いで、前記カメラより認識すべき物体が映されている画面内の入力画像に対して物体像と背景像との濃度差より物体像の輪郭部における法線ベクトル群を求め、これら法線ベクトル群の個々の法線ベクトルが出現した位置での前記ブロックに記憶した前記標準データに基づいてこれら法線ベクトル群から前記各標準物体像の配置点に相当する正解点群を求め、前記正解点群により形成された焦点領域の評価を行うことを特徴とするものである。
このような技術において用いている２次元画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けやすいため、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
そこで、対象空間に光量変化を生じる場合であっても対象物の位置を再現性よく求めることができる画像処理装置も提案されている（例えば、特許文献２参照）。
この画像処理装置は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、対象空間に設定した基準平面に対する各画素の勾配方向を表す勾配方向値を距離画像の距離値から求め勾配方向値を画素値とした勾配方向画像を生成する微分処理部と、テンプレートとする対象物の距離画像から生成した勾配方向画像をテンプレート画像としテンプレート画像に設定した基準点とテンプレート画像に含まれる各画素との距離および基準点と当該画素とを結ぶ方向がテンプレート画像の基準方向に対してなす角度および当該画素の勾配方向値とを対応付けて記憶するテンプレート記憶部と、検出する対象物を含む距離画像から生成した勾配方向画像を検出対象画像とし検出対象画像の各画素について勾配方向値をテンプレート記憶部に照合して求めた距離および角度を当該画素の座標位置に適用することにより検出対象画像においてテンプレート画像における基準点に対応した座標位置の候補を算出する基準点候補算出部と、各画素について基準点候補算出部で求めた座標位置の候補の度数分布を求める統計処理部と、統計処理部で求めた度数分布において度数が極大になる座標位置のうち規定の条件を満たす座標位置をテンプレート画像における基準点に対応する座標位置と判断する判定処理部とを備えることを特徴とするものである。
また、これに類似する技術として、距離画像から得た勾配方向値を画素値とする勾配方向画像を生成する代わりに、距離画像から距離微分値を画素値とする距離微分画像を生成するようにして対象物を検出するようにした画像処理装置も提案されている（例えば、特許文献３参照）。
特許第３３９０４２６号公報 特開２００６−１４５３５２号公報 特開２００６−０５３７９２号公報
上述したような従来技術では、いわゆる共連れを必ずしも的確には検知できず、例えば、大きい人間や荷物を持った人間を２人として誤検出してしまうことや，子供のような小さい人間２人を１人として失報してしまうことなどの問題があった。
従来技術のこのような課題に鑑み、本発明の目的は、共連れを極力的確に検知できるようにして、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに、２人が極めて接近した状態で通過しようとするのを認識して阻止することも可能にした、距離画像カメラを用いた人体識別方法および人体識別装置を提供することである。
上記目的を達成するため、本発明の距離画像カメラを用いた人体識別方法は、距離画像カメラを用いた人体識別方法であって、監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程とを含むことを特徴とする。
このような構成の距離画像カメラを用いた人体識別方法によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
また、本発明の距離画像カメラを用いた人体識別方法において、前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むようにしてもよい。さらに、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させてもよい。
このような構成の距離画像カメラを用いた人体識別方法によれば、距離画像カメラまでの距離や画像内の位置によって検知すべき人体などの像の大きさや形状が変わったとしても、その影響を受けて人体を的確に検知できなくなるような事態を極力回避できる。これにより、人体識別の信頼性をより高めることができる。
また、本発明の距離画像カメラを用いた人体識別方法において、前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにしてもよい。
このような構成の距離画像カメラを用いた人体識別方法によれば、専ら人体の頭部だけを用いる場合と比較してより正確な人体検知が可能となる。これにより、人体識別の信頼性を一層高めることができる。
また、本発明の距離画像カメラを用いた人体識別方法において、外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。あるいは、前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。
このような構成の距離画像カメラを用いた人体識別方法によれば、前記距離画像カメラの設置高さ情報と前記監視対象領域距離画像の画素値である距離情報とに基づいて、人体の身長を把握することが可能となり、より適切なテンプレート選択が可能となる。これにより、人体識別の信頼性がさらに向上する。
あるいは、上記目的を達成するため、本発明の人体識別装置は、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で、上述したいずれかの距離画像カメラを用いた人体識別方法が実行されることを特徴とする。
このような構成の人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
本発明の距離画像カメラを用いた人体識別方法および人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。 図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。 図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。 図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。 図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。 図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。 法線ベクトル画像算出方法の具体例の概略説明図である。 法線ベクトル画像算出方法の別の具体例の概略説明図である。 法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。 図１０（ａ）は距離画像カメラ１０の設置位置の高さＨの説明図であり、図１０（ｂ）は距離画像カメラ１０で撮像された画像と床面の対応の説明図である。 テンプレートのマッチングの説明図である。
以下、本発明の実施形態を、図面を参照して説明する。
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。なお、この距離画像カメラ１０は、監視対象領域を通過する人体の数を正確にカウントする人体識別装置としても機能する。
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、距離画像に基づいて人体を識別する（詳細は後述）画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
イメージセンサ１１は、より具体的には、正方格子状に配置された画素毎に距離情報を取得する。ここで、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
この距離画像カメラ１０は、例えば、機密情報などを扱う室内や区域への出入口や自動ドアの前などの監視対象領域の上方に設置されるとともに、そこからほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
＜様々な状況において撮像される画像の例＞
図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
図２（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が狭い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図２（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりやや下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
図３（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ３が狭い間隔で立っている。これらの人物Ｈ１、Ｈ３が立っている位置は、図２（ａ）で人物Ｈ１、Ｈ２が立っている位置とそれぞれほぼ同じである。しかし、人物Ｈ３の身長が低いため、距離画像カメラ１０で撮像される画像としては、例えば、図３（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在するのは図２（ｂ）と同様であるが、中心よりやや下寄りには人物Ｈ３に対応する人体像ｈ３が存在するもののその大きさは図２（ｂ）の人体像ｈ２よりは小さくなるはずである。人体像ｈ３に対応する距離画像カメラ１０からの奥行き方向の距離は、人体像ｈ１に対応する距離画像カメラ１０からの奥行き方向の距離よりも長く（遠く）なる。
図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
図４（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が図２（ａ）よりは広い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図４（ｂ）に示すように、中心よりかなり上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりかなり下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
図５（ａ）に示すように、距離画像カメラ１０の真正面方向（ほぼ真下）に１名の長身の人物Ｈ４が立っている場合、この人物Ｈ４と距離画像カメラ１０との距離がかなり短くなる。そのため、距離画像カメラ１０で撮像される画像としては、例えば、図５（ｂ）に示すように、人物Ｈ４に対応する人体像ｈ４のみが存在するが、図２（ｂ）の人体像ｈ１よりも全体として大きく、特にその頭部は大きさが顕著になるとともに歪みなども併せて存在することになる。
＜距離画像からの法線ベクトル画像の算出＞
図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。
図６（ａ）に示すように、例えば、距離画像カメラ１０で撮像された画像中に人体像ｈが存在する場合、距離画像の各画素の距離データに基づいて各部の法線ベクトルを求めるとともに、その方向および大きさを算出する。この画像中の人体像ｈと法線ベクトルを求めるための３画素からなる三角形ｔとに実際の空間でそれぞれ対応する人物Ｈと三角形Ｔとを模式的に示すと、図６（ｂ）のようになる。
図７は、法線ベクトル画像算出方法の具体例の概略説明図である。
図７に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む小三角形Ｔ１の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ１を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ１に対応する法線ベクトル画像データ（３次元）として格納する。
次に、距離画像中で画素Ｇ１の右隣の画素Ｇ２に着目し、この画素Ｇ２を囲む小三角形Ｔ２（小三角形Ｔ１とは上下逆形状）の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ２を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ２に対応する法線ベクトル画像データとして格納する。
さらに、距離画像中で画素Ｇ２の右隣の画素Ｇ３に着目してから同様の処理を行い、その後も残りの画素について同様の処理を繰り返す。
図８は、法線ベクトル画像算出方法の別の具体例の概略説明図である。
図８に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出するようにしてもよい。ここで、この大三角形Ｔ１ａの面積は、図７の小三角形Ｔ１の面積の４倍である。
このように、法線ベクトルを求める際に、着目した画素を囲む三角形の大きさを変えることで、後述する人体識別方法での画像の拡大・縮小の工程を省略することができる。
図９は、法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。
図９に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルを求める。さらに、同じく画素Ｇ１を囲みつつ大三角形Ｔ１ａとは上下逆形状の大三角形Ｔ１ｂの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルも求める。
これら２つの法線ベクトルの違いが少なければ（例えば、これらの法線ベクトルの内積が所定閾値以上か否かで判別可）、画像中でも信頼性が高いものであるから、そのような画素に対応する部分のみを後述する人体識別方法でのマッチングに用いるようにしてもよい。
このような法線ベクトルを求める際、従来技術ではアークタンジェント関数が用いられていた（例えば、特許文献２の明細書の段落００６２の数式を参照）。この関数の演算はかなり複雑であるため、距離画像カメラ１０に内蔵される制御ユニット１３に実装するにはやや難があった。これに対して、上述したようにイメージセンサ１１で取得される３次元データを使用することにより、三角形を構成する２本のベクトルの外積を計算するといった簡便な演算によって法線ベクトルを求めることができるようになる。また、人体などの実際の形状に則した法線ベクトルを求めることができるので、従来技術では必要とされていた非線形性に対する修正（例えば、特許文献２の明細書の段落００６３を参照）なども不要である。
＜人体識別方法＞
本実施形態では以下のようにして人体を正確に識別して人数をカウントするが、それに先立って様々な人体の頭部を撮像した距離画像から算出された法線ベクトル画像をテンプレートとして事前に準備しておく必要がある。ただし、テンプレートは実際に人体の頭部を撮像した距離画像に限るものではない。例えば、三次元ＣＡＤなどを用いてモデリングした３次元の人体モデルなどを使用し、その頭部が含まれるような状況に基づく演算によって得られた距離画像からテンプレートを準備してもかまわない。
（１）距離画像カメラ１０による撮像
監視対象領域の上方に設置されている距離画像カメラ１０によって、ほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
（２）監視対象領域の距離画像から法線ベクトル画像を算出
上記（１）で取得した距離画像から、上述した方法によって法線ベクトル画像を算出する。
（３）テンプレートの相対的変倍など
まず、上記（１）で取得した距離画像中に何らかの物体が捉えられていれば、その物体に対応する画素の距離データに基づいて、事前に準備されている各テンプレートの変倍処理を行うが、これは次の理由による。
図２（ａ）〜図５（ｂ）を参照して上述したように、人体の頭部と距離画像カメラ１０との間の距離によって、画像中の頭部の大きさも変わる。そのような場合に、事前に準備されたそのままのテンプレートとマッチングを行っても、十分に適合しない結果になり得るからである。
テンプレートを変倍する代わりに画像側のサイズ変更を行ってもよいし、テンプレートの変倍と画像側サイズ変更を併用してもよい。すなわち、画像側サイズに対するテンプレートのサイズを相対的に変倍させればよい。
距離画像中に複数の物体が捉えられている場合は、それぞれの物体に対応する画素の距離データに基づいて、複数通りのテンプレートの変倍処理を行うことになる。
さらに、図５（ａ）および図５（ｂ）を参照して上述したように、人体の頭部までの距離が近い場合には頭部の像の形状に歪みが生じることを考慮し、テンプレートの形状も対応して変形させてもよい。また、画像の中央部と周辺部では像の形状の歪みの程度も異なることから、画像中における位置によってテンプレートの形状の変形の程度を変えるようにしてもよい。
なお、図１０（ａ）に示すような距離画像カメラ１０の設置高さＨについては、例えば、距離画像カメラ１０の設置時などに外部操作で入力・設定できるようにしておいてもよい。距離画像カメラ１０は監視対象領域の上方に設置され、ほぼ真下に向けられているので、距離画像中で捉えられた人体に対応する画素の距離データの最小値と設置高さＨとの差がその人物の身長にほぼ相当することになる。これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
また、図１０（ｂ）に示すように、距離画像カメラ１０で撮像された画像において、例えば周辺部の適当な３点Ｐ１、Ｐ２、Ｐ３に対応する画素の距離データに基づいてこれらの３点で定まる平面を床面であると推定すれば、距離画像カメラ１０の設置高さＨを算出することもできる。この場合にも、これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
（４）テンプレートのマッチング
図１１に示すように、上記（３）で変倍された各テンプレートと上記（２）で算出した法線ベクトル画像とのマッチングを行う。これらの適合度を把握するため、例えば、テンプレートと法線ベクトル画像とのベクトルの角度差が所定閾値以下である領域を法線ベクトル画像中で見つけ、その領域が人体の頭部に対応しているものと推定する。さらに、必要に応じてこの処理を繰り返す。
なお、角度差の算出には各ベクトルの正規化する前の大きさを重みとして使用してもよい。ベクトルの大きさを重みとして使用することにより，髪型や服のしわといった，被写体の検出したい本質とは異なる情報を除去することができる。また、所定閾値については、近距離になるほど大きめの値としてもよい。これは、近距離では頭部の像が歪む場合があったり、人物の髪型や姿勢などの影響も受けやすくなったりして、それにより差分が大きくなり得るから、そのことも考慮してマッチングを行えるようにするためである。
（５）人体の数の判定
上記（４）で人体の頭部に対応しているものと推定された領域が複数存在すれば、それらの論理和を取った後に存在している領域数をかぞえる。この領域数が人体の数ということになる。
＜変形例など＞
テンプレートとして準備するのは人体の頭部だけに限る必要はない。例えば、頭部だけでなく肩部も加えてテンプレートを準備した上で、監視対象領域の法線ベクトル画像とのマッチングを行うようにすれば、人体識別の精度をより向上させることができる。
また、検知対象は人体に限られない。検知対象に会わせて適切なテンプレートを準備すれば、他の目的や用途にも適用可能である。
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
Ｈ，Ｈ１、Ｈ２、Ｈ３、Ｈ４ 人体
ｈ、ｈ１、ｈ２、ｈ３、ｈ４ 人体像

Claims (7)

  1. 距離画像カメラを用いた人体識別方法であって、
    監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、
    この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、
    人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、
    前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、
    前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、
    この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程と
    を含むことを特徴とする人体識別方法。
  2. 請求項１に記載の距離画像カメラを用いた人体識別方法において、
    前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むことを特徴とする人体識別方法。
  3. 請求項１または２に記載の距離画像カメラを用いた人体識別方法において、
    前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させることを特徴とする人体識別方法。
  4. 請求項１〜３のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、
    前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにすることを特徴とする人体識別方法。
  5. 請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
  6. 請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
  7. 画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
    この距離画像における画像処理を行う画像処理ユニットと
    を備え、
    前記画像処理ユニットにおける前記画像処理で、請求項１〜６のいずれか１項に記載の人体識別方法が実行されることを特徴とする人体識別装置。
JP2010201851A 2010-09-09 2010-09-09 距離画像カメラを用いた人体識別方法および人体識別装置 Active JP5493108B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010201851A JP5493108B2 (ja) 2010-09-09 2010-09-09 距離画像カメラを用いた人体識別方法および人体識別装置
US13/226,771 US20120062749A1 (en) 2010-09-09 2011-09-07 Human body identification method using range image camera and human body identification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010201851A JP5493108B2 (ja) 2010-09-09 2010-09-09 距離画像カメラを用いた人体識別方法および人体識別装置

Publications (2)

Publication Number Publication Date
JP2012059030A JP2012059030A (ja) 2012-03-22
JP5493108B2 true JP5493108B2 (ja) 2014-05-14

Family

ID=45806344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010201851A Active JP5493108B2 (ja) 2010-09-09 2010-09-09 距離画像カメラを用いた人体識別方法および人体識別装置

Country Status (2)

Country Link
US (1) US20120062749A1 (ja)
JP (1) JP5493108B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
JP5917327B2 (ja) * 2012-07-31 2016-05-11 西日本旅客鉄道株式会社 エスカレータ監視システム
EP2911116A4 (en) * 2012-10-18 2016-09-07 Konica Minolta Inc PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
CN105096406A (zh) 2014-04-30 2015-11-25 开利公司 用于建筑能耗设备的视频分析系统和智能楼宇管理系统
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
EP3416132B1 (en) * 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
IL247101B (en) * 2016-08-03 2018-10-31 Pointgrab Ltd Method and system for determining present in the image
WO2019069369A1 (ja) 2017-10-03 2019-04-11 富士通株式会社 姿勢認識システム、画像補正プログラムおよび画像補正方法
EP3564900B1 (en) * 2018-05-03 2020-04-01 Axis AB Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
DE102018215513A1 (de) * 2018-09-12 2020-03-12 Zf Friedrichshafen Ag Anordnung von TOF-Sensoren zur Erfassung eines Passagierraums eines Peoplemovers, Auswerteeinrichtung zum Wahrnehmen eines Passagierraums eines Peoplemovers und Wahrnehmungssystem zum Wahrnehmen eines Blockierens einer Passagiertür eines Peoplemovers, einer Anzahl von Passagieren in dem Peoplemover und von Positionen, Körperposen und Aktivitäten der Passagiere
CN110298318B (zh) * 2019-07-01 2023-09-29 北京中星微电子有限公司 人头人体联合检测方法、装置和电子设备
US11158119B2 (en) * 2020-01-09 2021-10-26 Qualcomm Incorporated Systems and methods for reconstructing a three-dimensional object
JP7318684B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573664A (ja) * 1991-09-17 1993-03-26 Nippon Telegr & Teleph Corp <Ntt> ３次元形状の基準座標軸抽出装置
JP3390426B2 (ja) * 2000-11-29 2003-03-24 技研トラステム株式会社 物体像識別方法
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7986828B2 (en) * 2007-10-10 2011-07-26 Honeywell International Inc. People detection in video and image data
JP2009122859A (ja) * 2007-11-13 2009-06-04 Toyota Motor Corp 物体検出装置
JP2010165183A (ja) * 2009-01-15 2010-07-29 Panasonic Electric Works Co Ltd 人体検出装置

Also Published As

Publication number Publication date
JP2012059030A (ja) 2012-03-22
US20120062749A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP5493108B2 (ja) 距離画像カメラを用いた人体識別方法および人体識別装置
JP6125188B2 (ja) 映像処理方法及び装置
JP5812599B2 (ja) 情報処理方法及びその装置
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP4950787B2 (ja) 画像処理装置及びその方法
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP5594672B2 (ja) 物体認識装置および物体認識方法
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
WO2012066785A1 (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
US9020251B2 (en) Image processing apparatus and method
WO2007091604A1 (ja) 三次元物体を検出する装置
KR20160003776A (ko) 자세 추정 방법 및 로봇
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2007304801A (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
KR100933957B1 (ko) 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
WO2011086803A1 (ja) 画像照合システム、画像照合方法、コンピュータプログラム
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
JP2019040229A5 (ja)
WO2014006786A1 (ja) 特徴量抽出装置および特徴量抽出方法
López-Fernández et al. independent gait recognition through morphological descriptions of 3D human reconstructions
JP2015148895A (ja) 物体数分布推定方法
JP2006215743A (ja) 画像処理装置及び画像処理方法
JP7298687B2 (ja) 物体認識装置及び物体認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140205

R150 Certificate of patent or registration of utility model

Ref document number: 5493108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250