JP7496534B2 - ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム - Google Patents

ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム Download PDF

Info

Publication number
JP7496534B2
JP7496534B2 JP2022121914A JP2022121914A JP7496534B2 JP 7496534 B2 JP7496534 B2 JP 7496534B2 JP 2022121914 A JP2022121914 A JP 2022121914A JP 2022121914 A JP2022121914 A JP 2022121914A JP 7496534 B2 JP7496534 B2 JP 7496534B2
Authority
JP
Japan
Prior art keywords
person
image
face
matching
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022121914A
Other languages
English (en)
Other versions
JP2024018522A (ja
Inventor
善史 酒田
嘉修 宇野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022121914A priority Critical patent/JP7496534B2/ja
Priority to PCT/JP2023/022451 priority patent/WO2024024326A1/ja
Publication of JP2024018522A publication Critical patent/JP2024018522A/ja
Priority to JP2024079523A priority patent/JP2024103521A/ja
Application granted granted Critical
Publication of JP7496534B2 publication Critical patent/JP7496534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラムに関する。
特許文献1には、所定の領域内に複数の撮像装置が設置されており、各撮像装置が撮影可能な監視領域内に存在する複数の被写体に対して照合を行い、管理者に該照合の結果をリアルタイムで表示する人物監視システムが開示されている。
特開2008-85874号公報
照合結果を表示する運用の中で、例えば、施設等に入退場する通行人に対して、該通行人の照合結果を見せることが考えられるが、上記技術では、入退場の観点、また該通行人に対して照合結果を表示する観点において何ら配慮されていない。また、上記技術のように、所定の領域を監視するために複数の撮像装置が設置されている場合、被写体の顔の向きや移動方向によっては、被写体の顔画像を取得できる撮像装置と、顔画像を取得できない撮像装置が生じることがある。例えば、所定の領域が、通行人を施設等に入退場させるための通行領域であり、入り口側には入場する通行人を照合するための撮像装置を備え、出口側には退場する通行人を照合するための撮像装置を備えているものとする。該通行領域では双方向での通行(入退場)が可能であり、入り口側に設置されている撮像装置の撮像可能範囲と、出口側に設置されている撮像装置の撮像可能範囲とが重畳している場合、通行人の進行方向と反対側に設置されている撮像装置からは該通行人の顔画像を取得することができず、照合結果として、該通行人の進行方向とは反対側に設置されている表示装置に、不正通行等のエラーメッセージや、該通行人の後ろ姿が表示される可能性が考えられる。この場合、該照合結果を該通行人が確認する可能性は低く、該照合結果の表示は照合システムの運用上において無駄なものとなり、また該通行人と反対方向に進行している人物には不必要な混乱を招く表示となる。そのため、該通行人の進行方向を判定して、該通行人の照合結果を、該通行人が移動する方向に設置されている表示装置に適切に表示されることが望まれる。
本開示の目的は、入退場する人物に照合結果を視認させることができ、混雑の発生を抑制できる技術を提供することにある。
本開示の一態様は、通路の所定の領域を第1方向に移動する人物の顔を撮影可能な第1撮影装置と、前記通路の前記所定の領域を前記第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置と、前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、を備え、前記第1撮影装置及び前記第2撮影装置は、前記通路を移動する人物の顔画像を撮影し、前記第1表示装置は、前記第1方向に移動する人物の顔画像の照合結果を表示し、前記第2方向に移動する人物の顔画像の照合結果を表示せず、前記第2表示装置は、前記第2方向に移動する人物の顔画像の照合結果を表示し、前記第1方向に移動する人物の顔画像の照合結果を表示しない、ゲートシステムを提供する。
本開示の一態様は、通路の所定の領域を第1方向に移動する人物の顔を撮影可能な第1撮影装置と、前記通路の前記所定の領域を前記第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置と、前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、を備えるゲート装置の制御方法であって、前記第1撮影装置及び前記第2撮影装置は、前記通路を移動する人物の顔画像を撮影し、前記第1表示装置は、前記第1方向に移動する人物の顔画像の照合結果を表示し、前記第2方向に移動する人物の顔画像の照合結果を表示せず、前記第2表示装置は、前記第2方向に移動する人物の顔画像の照合結果を表示し、前記第1方向に移動する人物の顔画像の照合結果を表示しない、ゲート装置の制御方法を提供する。
本開示の一態様は、通路の所定の領域を第1方向に移動する人物の顔を撮影可能な第1撮影装置と、前記通路の前記所定の領域を前記第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置と、前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、を備えるゲート装置の制御プログラムであって、前記第1撮影装置及び前記第2撮影装置に、前記通路を移動する人物の顔画像を撮影させ、前記第1表示装置に、前記第1方向に移動する人物の顔画像の照合結果を表示させ、前記第2方向に移動する人物の顔画像の照合結果を表示させず、前記第2表示装置に、前記第2方向に移動する人物の顔画像の照合結果を表示させ、前記第1方向に移動する人物の顔画像の照合結果を表示させない、ことをゲート装置に実行させる、ゲート装置の制御プログラムを提供する。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、入退場する人物に照合結果を視認させることができ、混雑の発生を抑制できる。
実施の形態1に係るゲートシステムの概要を説明するための図 実施の形態1に係る第1表示装置又は第2表示装置における照合結果の表示例を示す図 実施の形態1に係るゲートシステムの構成例を示すブロック図 実施の形態1に係る顔画像及び身体画像を説明するための図 実施の形態1に係る第1エッジ装置が行う検出処理の一例を示すフローチャート 実施の形態1に係る人物情報の構成例 実施の形態1に係る管理装置が行う全体処理の一例を示すフローチャート 図7に示す顔検出情報処理の一例を示すフローチャート 図7に示す身体検出情報処理の一例を示すフローチャート 図7に示す移動後処理の一例を示すフローチャート 図7に示す顔照合結果情報処理の一例を示すフローチャート 実施の形態1に係る第1エッジ装置が行う表示処理の一例を示すフローチャート 実施の形態1に係る検出領域における通過判定ゾーンと照合ゾーンとを示す図 実施の形態1に係る第1表示装置における表示パターンの一例を説明するための図 実施の形態1に係る身体検出情報が示す人物と同一人物のものと推定される人物情報を人物情報テーブルから検出する方法を説明するための側面図 実施の形態1に係る身体検出情報が示す人物と同一人物のものと推定される人物情報を人物情報テーブルから検出する方法を説明するための正面図 実施の形態1に係る前方を歩く人物のすぐ後ろに連なって歩く人物が存在する場合を説明するための図 実施の形態1に係る人物の移動方向を検出する方法を説明するための図 実施の形態2に係る後ろ向きで第1方向に移動する人物が存在する場合を説明するための図 実施の形態2に係る顔照合結果情報処理の一例を示すフローチャート 実施の形態3に係る大人が子供を抱っこしている例を示す図 実施の形態3に係る人物情報の構成例 実施の形態3に係る顔検出情報処理の一例を示すフローチャート 実施の形態3に係る顔照合結果情報処理の第1例を示すフローチャート 実施の形態3に係る顔照合結果情報処理の第2例を示すフローチャート 実施の形態4に係る人物が着ている服に人の顔がプリントされている例を示す図 実施の形態4に係る人物情報の構成例 実施の形態4に係る顔検出情報処理の一例を示すフローチャート 実施の形態4に係る顔照合結果情報処理の一例を示すフローチャート 本開示に係るゲートシステムの第1の変形例を示す図 本開示に係るゲートシステムの第2の変形例を示す図 本開示に係るゲートシステムの第3の変形例を示す図 本開示に係るコンピュータのハードウェア構成の一例を示す図
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
(実施の形態1)
<ゲートシステムの概要>
図1は、実施の形態1に係るゲートシステム9の概要を説明するための図である。図2は、実施の形態1に係る第1表示装置31又は第2表示装置32における照合結果の表示例を示す図である。
ゲートシステム9は、人物1の顔画像を照合し、当該人物1がゲートを通過する権利を有するか否かを判定するシステムである。ゲートシステム9は、第1ゲート11と第2ゲート12とを含む。第1ゲート11及び第2ゲート12は、所定の距離だけ離れて、人物1が移動する通路2に設置される。本実施の形態では、第2ゲート12から第1ゲート11に向かう方向を第1方向とし、第1ゲート11から第2ゲート12に向かう方向を第2方向とする。また、本実施の形態では、通路2における第1ゲート11と第2ゲート12との間の領域を、人物の検出領域3と称する。なお、ゲートシステム9は、必ずしも図1に示すような人物が下をくぐる第1ゲート11及び第2ゲート12を有する必要はなく、後述の図31に示すような構成であってもよい。この場合、ゲートシステム9は、第1ゲート11に代えて仮想的な第1ラインを設定し、第2ゲート12に代えて仮想的な第2ラインを設定し、第1ラインと第2ラインとの間の領域を、検出領域3としてよい。そして、第1ラインから第2ラインに向かう方向を第1方向とし、第2ラインから第1ラインに向かう方向を第2方向としてよい。したがって、以下の説明において、第1ゲート11は第1ラインと読み替えられ、第2ゲート12は第2ラインと読み替えられてもよい。
また、本実施の形態では、説明の便宜上、第1方向又は第2方向に沿った軸をX軸、X軸に直交し高さ方向に延びる軸をZ軸、X軸及びZ軸に直交する軸をY軸として説明する。
第1ゲート11は、検出領域3の少なくとも一部を撮影可能な第1撮影装置21と、第2ゲート12の方向に画面を有する第1表示装置31とを備える。図1では、第1ゲート11が2つの第1撮影装置21を備えているが、第1ゲート11は1つの第1撮影装置21を備えてもよいし、3つ以上の第1撮影装置21を備えてもよい。また、図1では、第1ゲート11が1つの第1表示装置31を備えているが、第1ゲート11は2つ以上の第1表示装置31を備えてもよい。
第2ゲート12は、検出領域3の少なくとも一部を撮影可能な第2撮影装置22と、第1ゲート11の方向に画面を有する第2表示装置32とを備える。図1では、第2ゲート12が2つの第2撮影装置22を備えているが、第2ゲート12は1つの第2撮影装置22を備えてもよいし、3つ以上の第2撮影装置22を備えてもよい。また、図1では、第2ゲート12が1つの第2表示装置32を備えているが、第2ゲート12は2つ以上の第2表示装置32を備えてもよい。
本実施の形態では、第1方向が入退場の権利を有する施設等への入場方向であり、第2方向が当該施設等からの出場方向であるとして説明する。ただし、第1方向が施設等からの出場方向であり、第2方向が施設等への入場方向であってもよい。
ゲートシステム9は、第1ゲート11の第1撮影装置21が撮影した第1方向に移動する人物1の顔画像を、予め登録済みの各照合用顔画像と照合し、照合結果を、図2に例示するように、第1表示装置31に表示する。
ゲートシステム9は、第2ゲート12の第2撮影装置22が撮影した第2方向に移動する人物1の顔画像を、予め登録済みの各照合用顔画像と照合し、照合結果を、図2に例示するように、第2表示装置32に表示する。
第1ゲート11及び第2ゲート12のゲート幅、あるいは、検出領域3のY方向の幅は、複数の人物1が並んで通過可能な幅であってよい。これにより、本実施の形態に係るゲートシステム9は、一人だけ通過可能なゲート幅であるゲートシステムと比較して、多くの人物1をスムーズに入場及び退場させることができる。例えば、一人分のゲート幅を有するゲートシステムの場合、前方の人物1の照合が失敗すると、後続する多数の人物1が足止めされてしまう。しかし、本実施の形態のように、複数の人物1が並んで通過可能なゲート幅を有するゲートシステム9の場合、前方の人物1の照合が失敗したとしても、後続する多数の人物1は、照合に失敗した前方の人物1を避けて移動すればよいため、足止めされずにスムーズにゲートを通過できる。すなわち、本実施の形態に係るゲートシステム9は、施設等への入退場の際の混雑の発生を抑制できる。以下、本実施の形態に係るゲートシステム9について詳細に説明する。
<ゲートシステムの構成>
図3は、実施の形態1に係るゲートシステム9の構成例を示すブロック図である。図4は、実施の形態1に係る顔画像及び身体画像を説明するための図である。
ゲートシステム9は、第1ゲート11及び第2ゲート12を備える。第1ゲート11は、第1撮影装置21及び第1表示装置31を備える。第2ゲート12は、第2撮影装置22及び第2表示装置32を備える。第1ゲート11、第1撮影装置21、第1表示装置31、第2ゲート12、第2撮影装置22、及び、第2表示装置32は、まとめてゲート装置10と称されてもよい。
ゲートシステム9は、さらに、第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60を備える。第1撮影装置21は、電気ケーブル(例えばUSBケーブル又はEthernet(登録商標)ケーブル)を通じて、第1エッジ装置41に接続される。第1表示装置31は、電気ケーブル(例えばHDMI(登録商標)ケーブル)を通じて、第1エッジ装置41に接続される。第2撮影装置22は、電気ケーブル(例えばUSBケーブル又はEthernetケーブル)を通じて、第2エッジ装置42に接続される。第2表示装置32は、電気ケーブル(例えばHDMI(登録商標)ケーブル)を通じて、第2エッジ装置42に接続される。第1エッジ装置41及び第2エッジ装置42は、通信ネットワーク4を通じて、管理装置50に接続される。管理装置50は、通信ネットワーク4を通じて、顔照合装置60に接続される。通信ネットワーク4の例として、有線LAN、無線LAN、移動体通信網(例えばLTE、4G、5G)、インターネット、及び/又は、VPN等が挙げられる。
第1撮影装置21は、検出領域3を撮影して撮影画像を生成し、当該撮影画像を第1エッジ装置41へ送信する。第2撮影装置22は、検出領域3を撮影して撮影画像を生成し、当該撮影画像を第2エッジ装置42へ送信する。撮影画像は、静止画像であってもよいし、動画像であってもよい。
第1エッジ装置41は、図4(a)及び図4(b)に示すように、第1撮影装置21から受信した撮影画像から、人物1の身体全体を検出する。本実施の形態では、撮影画像から検出された人物1の身体全体の画像を、身体画像200と称する。第1エッジ装置41は、検出した身体画像200を管理装置50へ送信する。また、第1エッジ装置41は、図4(a)に示すように、第1撮影装置21から受信した撮影画像から、人物1の顔部分を検出する。本実施の形態では、撮影画像から検出された人物1の顔部分の画像を、顔画像220と称する。第1エッジ装置41は、検出した顔画像220を管理装置50へ送信する。
第2エッジ装置42は、図4(a)及び図4(b)に示すように、第2撮影装置22から受信した撮影画像から、人物1の身体全体を検出する。第2エッジ装置42は、撮影画像から検出した身体画像200を管理装置50へ送信する。また、第2エッジ装置42は、図4(a)に示すように、第2撮影装置22から受信した撮影画像から、人物1の顔部分を検出する。第2エッジ装置42は、撮影画像から検出した顔画像220を管理装置50へ送信する。なお、第1エッジ装置41及び第2エッジ装置42が行う処理の詳細については後述する。
管理装置50は、第1エッジ装置41から受信した身体画像200又は顔画像220、あるいは、第2エッジ装置42から受信した身体画像200又は顔画像220に基づいて、検出領域3に位置する人物1に対応する人物情報100(図6参照)を生成する。管理装置50は、検出領域3にて検出した人物1毎に人物情報100を生成してよい。なお、人物情報100の詳細については後述する(図6参照)。管理装置50は、顔画像220を含む顔照合要求を顔照合装置60へ送信する。
顔照合装置60は、ゲートの通過(例えば入場又は退場)の権利を有する人物1の照合用顔画像を予め保持する。例えば、顔照合装置60は、施設への入場登録を予め行っている人物1の照合用顔画像を保持する。なお、顔照合装置60は、照合用顔画像に、人物1の氏名、年齢、性別、及び、クレジットカード情報等を紐づけて管理してもよい。
また、顔照合装置60は、管理装置50から受信した顔画像220を、各照合用顔画像と照合する。顔照合装置60は、登録済みのいずれかの照合用顔画像との照合に成功した場合、照合成功を含む顔照合結果情報を生成し、管理装置50へ送信する。このとき、顔照合装置60は、照合に成功した照合用顔画像に紐づけられているクレジットカード情報を用いて、リアルタイムに課金を行ってもよい。顔照合装置60は、登録済みのいずれの照合用顔画像とも照合に失敗した場合、照合失敗を含む顔照合結果情報を生成し、管理装置50へ送信する。なお、顔画像220と照合用顔画像との照合は、公知の顔画像マッチング技術によって実現されてよい。また、「照合」は「認証」と読み替えられてもよい。
管理装置50は、顔照合装置60から顔照合結果情報を受信する。管理装置50は、第1方向に移動している人物1の顔画像220に対する顔照合結果情報を含む人物照合情報を、第1エッジ装置41へ送信し、第2方向に移動している人物1の顔画像220に対する顔照合結果情報を含む人物照合情報を、第2エッジ装置42へ送信する。
第1エッジ装置41は、管理装置50から人物照合情報を受信した場合、図2に示すように、人物照合情報に含まれる顔照合結果情報を第1表示装置31に表示する。これにより、検出領域3に位置し第1方向に移動している人物1は、移動方向先にある第1表示装置31の画面を見て、自分の照合結果を知ることができる。つまり、第1エッジ装置41は、第1方向に移動している人物1に、当該人物1の照合結果を視認させることができる。
第2エッジ装置42は、管理装置50から人物照合情報を受信した場合、図2に示すように、人物照合情報に含まれる顔照合結果情報を第2表示装置32に表示する。これにより、検出領域3に位置し第2方向に移動している人物1は、移動方向先にある第2表示装置32の画面を見て、自分の照合結果を知ることができる。つまり、第2エッジ装置42は、第2方向に移動している人物1に、当該人物1の照合結果を視認させることができる。以下、第1エッジ装置41、第2エッジ装置42、及び、管理装置50が行う処理について詳細に説明する。
<第1エッジ装置における検出処理>
図5は、実施の形態1に係る第1エッジ装置41が行う検出処理の一例を示すフローチャートである。なお、実施の形態1に係る第2エッジ装置42が行う検出処理については、以下の図5を参照した説明において、「第1撮影装置21」を「第2撮影装置22」と読み替えればよい。
第1エッジ装置41は、第1撮影装置21から撮影画像を受信する(S101)。
第1エッジ装置41は、第1撮影装置21から距離画像を受信する(S102)。このように、第1撮影装置21は、検出領域3に存在する人物1等までの距離を示す距離画像を生成できてよい。第2撮影装置22も同様である。距離画像の生成は、ステレオカメラ又は測距センサ(例えばLiDAR(Light Detection And Ranging))を利用するなど、どのような公知技術を用いて実現されてもよい。なお、本実施形態では、ステップS101の処理後にステップS102の処理を行っているが、これに限定されず、手順が入れ替わってもよい。
第1エッジ装置41は、図4(a)に示すように、撮影画像から人物1の顔画像220を検出する(S103)。人物の顔画像220の検出は、パターンマッチング又はAI(Artificial Intelligence)を利用するなど、どのような公知技術を用いて実現されてもよい。また、AIは、ディープラーニング(例えばCNN(Convolutional Neural Network))を用いた画像認識技術等であってもよい。
第1エッジ装置41は、ステップS103にて撮影画像から顔画像220を検出できたか否かを判定する(S104)。顔画像220を検出できなかった場合(S104:NO)、第1エッジ装置41は、処理をステップS108に進める。
顔画像220を検出できた場合(S104:YES)、第1エッジ装置41は、距離画像を用いて、検出した顔画像220に関する3次元座標(以下、顔座標221(図4参照)と称する)を算出する(S105)。例えば、第1エッジ装置41は、図4(a)に示すように、顔画像220の中心点を顔座標221として算出する。
第1エッジ装置41は、顔検出情報を生成する(S106)。例えば、第1エッジ装置41は、撮影画像の送信元である第1撮影装置21を識別するためのID(以下、撮影装置IDと称する)と、顔画像220と、当該顔画像220のサイズ(以下、顔画像サイズと称する)と、顔座標221と、撮影画像の撮影時刻とを含む顔検出情報を生成する。
第1エッジ装置41は、生成した顔検出情報を管理装置50へ送信し(S107)、処理を次のステップS108に進める。
第1エッジ装置41は、図4(a)又は図4(b)に示すように、撮影画像から人物1の身体画像200を検出する(S108)。人物1の身体画像200の検出は、パターンマッチング又はAIを利用するなど、どのような公知技術を用いて実現されてもよい。また、AIは、ディープラーニング(例えばCNN)を用いた画像認識技術等であってもよい。
第1エッジ装置41は、ステップS108にて撮影画像から身体画像200を検出できたか否かを判定する(S109)。身体画像200を検出できなかった場合(S109:NO)、第1エッジ装置41は、処理をステップS101に戻す。
身体画像200を検出できた場合(S109:YES)、第1エッジ装置41は、距離画像を用いて、検出した身体画像200に関する3次元座標(以下、身体座標201(図4参照)と称する)を算出する(S110)。例えば、第1エッジ装置41は、図4(a)及び図4(b)に示すように、身体画像200の中心点を身体座標201として算出する。
第1エッジ装置41は、身体検出情報を生成する(S111)。例えば、第1エッジ装置41は、撮影装置IDと、身体画像200を識別するための身体IDと、身体画像200と、身体座標201と、撮影画像の撮影時刻とを含む身体検出情報を生成する。
第1エッジ装置41は、生成した身体検出情報を管理装置50へ送信し(S112)、処理をステップS101に戻す。なお、本実施形態では、撮影画像から顔画像を検出する処理(S103~S107)を行った後に、撮影画像から身体画像を検出する処理(S108~S112)を行っているが、これに限定されず、手順が入れ替わってもよい。
このように、第1エッジ装置41又は第2エッジ装置42にて、撮影画像から人物1の顔画像220及び/又は身体画像200を検出する処理と、顔座標221及び/又は身体座標201を算出する処理とを行うことにより、管理装置50にてこれらの処理を行う場合と比較して、処理負荷を分散させることができる。なお、処理負荷の分散を考慮しない場合、ゲートシステム9は、第1エッジ装置41及び第2エッジ装置42を備えなくてもよい。この場合、第1撮影装置21、第1表示装置31、第2撮影装置22、及び、第2表示装置32は、管理装置50に直接接続されてよい。そして、管理装置50が、撮影画像から人物1の顔画像220及び/又は身体画像200を検出する処理と、顔座標221及び/又は身体座標201を算出する処理とを行ってよい。
<人物情報>
図6は、実施の形態1に係る人物情報100の構成例を示す。
人物情報100は、検出領域3にて検出された人物1毎に生成される。人物情報100は、情報又はデータとして、追跡ID101、初回画像撮影時刻102、画像更新時刻103、身体画像104、身体画像更新時刻105、身体座標106、顔画像107、顔画像更新時刻108、顔座標109、顔照合ID110、照合状況111、及び、移動方向112を含む。
追跡ID101には、検出領域3における同一人物の追跡に用いられるIDが設定される。追跡ID101は、当該人物情報100を識別するためのIDとも言える。
初回画像撮影時刻102には、当該人物情報100に含まれる身体画像104又は顔画像107が初めて撮影された時刻が設定される。初回画像撮影時刻は、当該人物情報100が初めて生成された時刻とも言える。
画像更新時刻103には、当該人物情報100に含まれる身体画像104又は顔画像107が最後に更新された時刻が設定される。画像更新時刻103は、当該人物情報100が最後に更新された時刻とも言える。
身体画像104には、当該人物情報100が示す人物1の撮影画像から検出された身体画像200が設定される。身体画像104は、最新の撮影画像から検出された身体画像200に随時更新されてよい。
身体画像更新時刻105には、当該人物情報100に含まれる身体画像104が最後に更新された時刻が設定される。
身体座標106には、身体画像104に基づいて算出された身体座標201が設定される。身体座標106は、検出領域3における3次元座標(X座標、Y座標、Z座標)として表現されてよい。
顔画像107には、当該人物情報100が示す人物1の撮影画像から検出された顔画像220が設定される。顔画像107は、最新の撮影画像から検出された顔画像220に随時更新されてよい。
顔画像更新時刻108には、当該人物情報100に含まれる顔画像107が最後に更新された時刻が設定される。
顔座標109には、顔画像107に基づいて算出された顔座標221が設定される。顔座標109は、検出領域3における3次元座標(X座標、Y座標、Z座標)として表現されてよい。
顔照合ID110には、照合に成功した照合用顔画像に付与されているIDが設定される。つまり、顔照合ID110は、顔画像107に対応する人物1を証明するIDとも言える。照合に成功した照合用顔画像が存在しなかった場合(つまり顔照合に失敗した場合)、顔照合ID110にはNULLが設定されてよい。
照合状況111には、顔画像107に対する照合の状況が設定される。例えば、照合状況111には、「照合要求前」、「照合中」、「照合成功」又は「照合失敗」のいずれかが設定される。
移動方向112には、当該人物情報100が示す人物1の移動方向が設定される。例えば、移動方向には、第1方向、又は、第2方向のいずれかが設定される。
管理装置50は、複数の人物情報100を人物情報テーブル(図示しない)として管理する。人物情報テーブルは、管理装置50が備えるメモリ1002又はストレージ1003(図32参照)に保持されてもよいし、管理装置50とは異なる装置に保持されてもよい。
<管理装置における全体処理>
図7は、実施の形態1に係る管理装置50が行う全体処理の一例を示すフローチャートである。
管理装置50は、第1エッジ装置41又は第2エッジ装置42から顔検出情報(図5のステップS107を参照)を受信したか否かを判定する(S201)。
管理装置50は、顔検出情報を受信した場合(S201:YES)、顔検出情報処理を実行する(S202)。なお、顔検出情報処理の詳細については後述する(図8参照)。
管理装置50は、顔検出情報を受信していない場合(S202:NO)、第1エッジ装置41又は第2エッジ装置42から身体検出情報(図5のステップS112を参照)を受信したか否かを判定する(S203)。
管理装置50は、身体検出情報を受信した場合(S203:YES)、身体検出情報処理を実行する(S204)。なお、身体検出情報処理の詳細については後述する(図9参照)。
管理装置50は、身体検出情報を受信していない場合(S203:NO)、顔照合結果情報を受信したか否かを判定する(S205)。顔照合結果情報は、後述する図8において管理装置50から顔照合装置60へ送信された顔照合要求に対して顔照合装置60から返信される情報であり、顔照合の結果(例えば照合成功又は照合失敗)を含む情報である。
管理装置50は、顔照合結果情報を受信した場合(S205:YES)、顔照合結果情報処理を実行する(S206)。なお、顔照合結果情報処理の詳細については後述する(図11参照)。
管理装置50は、顔照合結果情報を受信していない場合(S205:NO)、処理をステップS201に戻す。
管理装置50は、顔検出情報処理(S202)又は身体検出情報処理(S204)を実行した後、移動後処理を実行し(S210)、処理をステップS201に戻す。なお、移動後処理の詳細については後述する(図10参照)。なお、本実施形態では、ステップS201、ステップS203およびステップS205の処理を段階的に行っているが、これに限定されず、ステップS201、ステップS203およびステップS205の処理を入れ替えてもよく、また同時並行で処理してもよい。
<管理装置における顔検出情報処理>
図8は、図7に示す顔検出情報処理(S202)の一例を示すフローチャートである。
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した顔検出情報に対応する人物情報100を、人物情報テーブルから検出する(S301)。本実施の形態において、顔検出情報に対応する人物情報100とは、顔検出情報が示す人物1と同一人物のものと推定される人物情報100である。なお、顔検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法の詳細については後述する(図15参照)。
管理装置50は、ステップS301において人物情報テーブルから人物情報100を検出できたか否かを判定する(S302)。
次に、ステップS302において人物情報テーブルから人物情報100を検出できなかったと判定された場合(S302:NO)について説明する。
管理装置50は、顔検出情報に基づき、新規の人物情報100を生成する(S303)。このとき、管理装置50は、次の内容を新規の人物情報100に設定する。
・人物情報100の追跡ID101に、新規の追跡IDを設定
・人物情報100の顔画像107に、顔検出情報に含まれる顔画像220を設定
・人物情報100の顔座標109に、顔検出情報に含まれる顔座標221を設定
・人物情報100の初回画像撮影時刻102に、最先の顔検出情報に含まれる撮影時刻(つまり最先に取得される撮影時刻)を設定
・人物情報100の照合状況111に、「照合要求前」を設定
管理装置50は、顔検出情報に対応する人物1の移動方向を検出し、その検出した移動方向を、ステップS303にて生成した人物情報100の移動方向112に設定する(S304)。なお、人物の移動方向を検出する方法の詳細については後述する(図16参照)。
管理装置50は、ステップS303及びステップS304にて生成及び設定した人物情報100を、人物情報テーブルに新規登録する(S305)。
管理装置50は、顔画像107及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該人物情報100の照合状況111を「照合中」に更新する(S306)。そして、管理装置50は、本処理を完了する。
次に、ステップS302において人物情報テーブルから人物情報100を検出できたと判定された場合(S302:YES)について説明する。
管理装置50は、顔検出情報に基づき、ステップS301にて検出した人物情報100の内容を更新する(S310)。例えば、管理装置50は、検出した人物情報100を次のように更新する。
・人物情報100の顔座標109を、顔検出情報に含まれる顔座標221に更新
・人物情報100の画像更新時刻103及び顔画像更新時刻108を、顔検出情報に含まれる撮影時刻に更新
管理装置50は、検出した人物情報100の照合状況111が「照合要求前」又は「照合失敗」であるか否かを判定する(S311)。照合状況111が「照合要求前」又は「照合失敗」でない場合(S311:NO)、管理装置50は、本処理を完了する。
照合状況111が「照合要求前」又は「照合失敗」である場合(S311:YES)、管理装置50は、顔画像107及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該人物情報100の照合状況111を「照合中」に更新する(S312)。そして、管理装置50は、本処理を完了する。
<制御装置における身体検出情報処理>
図9は、図7に示す身体検出情報処理(S204)の一例を示すフローチャートである。
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した身体検出情報に対応する人物情報100を、人物情報テーブルから検出する(S401)。本実施の形態において、身体検出情報に対応する人物情報100とは、身体検出情報が示す人物1と同一人物のものと推定される人物情報100である。なお、身体検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法の詳細については後述する(図15参照)。
管理装置50は、ステップS401において人物情報テーブルから人物情報100を検出できたか否かを判定する(S402)。
次に、ステップS402において人物情報テーブルから人物情報100を検出できなかったと判定された場合(S402:NO)について説明する。
管理装置50は、受信した身体検出情報に基づき、新規の人物情報100を生成する(S403)。このとき、管理装置50は、次の内容を新規の人物情報100に設定する。
・人物情報100の追跡ID101に、新規の追跡IDを設定
・人物情報100の身体画像104に、身体検出情報に含まれる身体画像200を設定
・人物情報100の身体座標106に、身体検出情報に含まれる身体座標202をそれぞれ設定
・人物情報100の初回画像撮影時刻102に、最先の身体検出情報に含まれる撮影時刻(つまり最先に取得される撮影時刻)を設定
管理装置50は、身体検出情報に対応する人物1の移動方向を検出し、その検出した移動方向を、ステップS403にて生成した人物情報100の移動方向112に設定する(S404)。なお、人物1の移動方向を検出する方法の詳細については後述する(図16参照)。
管理装置50は、ステップS403及びステップS404にて生成及び設定した人物情報100を、人物情報テーブルに新規登録する(S405)。そして、管理装置50は、本処理を完了する。
次に、ステップS402において人物情報テーブルから人物情報100を検出できたと判定された場合(S402:YES)について説明する。
管理装置50は、身体検出情報に基づき、ステップS401にて検出した人物情報100の内容を更新する(S410)。例えば、管理装置50は、検出した人物情報100を次のように更新する。
・人物情報100の身体座標106を、身体検出情報に含まれる身体座標202に更新
・人物情報100の画像更新時刻103及び身体画像更新時刻105を、身体検出情報に含まれる身体撮影時刻に更新
そして、管理装置50は、本処理を完了する。
<管理装置における移動後処理>
図10は、図7に示す移動後処理(S210)の一例を示すフローチャートである。
管理装置50は、対象人物情報に基づき、人物移動情報を生成する(S501)。本実施の形態において、対象人物情報とは、図8に示す顔検出情報処理において、人物情報テーブルから検出された人物情報100又は新規に生成された人物情報100、あるいは、図9に示す身体検出情報処理において、人物情報テーブルから検出された人物情報100又は新規に生成された人物情報100である。このとき、管理装置50は、次の内容を人物移動情報に設定する。
・追跡ID
・ゾーン情報
・顔画像(ただし、顔画像がない場合は身体画像)
・照合状況
・顔照合ID
ここで、ゾーン情報は、対象人物情報に対応する人物1が、検出領域3における照合ゾーン301又は通過判定ゾーン302のいずれに位置するかを示す情報である。照合ゾーン301及び通過判定ゾーン302の詳細については後述する(図13参照)。
管理装置50は、対象人物情報の移動方向が、第1方向又は第2方向のいずれであるかを判定する(S502)。
移動方向が第1方向である場合(S502:第1方向)、管理装置50は、ステップS501にて生成した人物移動情報を第1エッジ装置41へ送信し(S503)、本処理を完了する。
移動方向が第2方向である場合(S502:第2方向)、管理装置50は、ステップS501にて生成した人物移動情報を第2エッジ装置42へ送信し(S504)、本処理を完了する。
<制御装置における顔照合結果情報処理>
図11は、図7に示す顔照合結果情報処理(S206)の一例を示すフローチャートである。
管理装置50は、顔照合装置60から受信した顔照合結果情報の内容を、人物情報テーブルにおける、当該顔照合結果情報に対応する人物情報100に設定する(S601)。
例えば、管理装置50は、顔照合結果情報の内容を、次のように人物情報100に設定する。
・顔照合結果情報の顔照合IDを、人物情報100の顔照合ID110に設定
・顔照合結果情報の照合結果(照合成功又は照合失敗)を、人物情報100の照合状況111に設定
管理装置50は、ステップS601にて設定された人物情報100に基づき、人物照合情報を生成する(S602)。
このとき、管理装置50は、次の内容を人物照合情報に設定する。
・追跡ID
・ゾーン情報
・顔画像
・照合状況
・顔照合ID
管理装置50は、ステップS601にて設定された人物情報100の移動方向112が、第1方向又は第2方向のいずれであるかを判定する(S603)。
移動方向112が第1方向である場合(S602:第1方向)、管理装置50は、ステップS602にて生成した人物照合情報を第1エッジ装置41へ送信し(S604)、本処理を完了する。
移動方向112が第2方向である場合(S602:第2方向)、管理装置50は、ステップS602にて生成した人物照合情報を第2エッジ装置42へ送信し(S605)、本処理を完了する。
<第1エッジ装置における表示処理>
図12は、実施の形態1に係る第1エッジ装置41が行う表示処理の一例を示すフローチャートである。なお、実施の形態1に係る第2エッジ装置42が行う表示処理については、以下の図12を参照した説明において、「第1エッジ装置41」を「第2エッジ装置42」と読み替え、「第1表示装置31」を「第2表示装置32」と読み替え、「第1方向」を「第2方向」と読み替えればよい。
第1エッジ装置41は、管理装置50から、人物移動情報又は人物照合情報を受信したか否かを判定する(S701)。第1エッジ装置41は、人物移動情報及び人物照合情報のいずれも受信していない場合(S701:NO)、処理をステップS701に戻す。第1エッジ装置41は、人物移動情報又は人物照合情報のいずれかを受信した場合(S701:YES)、次の処理を行う。
第1エッジ装置41は、受信した人物移動情報又は人物照合情報に含まれる追跡IDに対応する顔画像又は身体画像が、第1表示装置31に表示されているか否かを判定する(S702)。
追跡IDに対応する顔画像又は身体画像が第1表示装置31に表示されていない場合(S702:NO)、第1エッジ装置41は、人物移動情報又は人物照合情報に含まれる、顔画像又は身体画像と照合状況とを第1表示装置31に新たに表示する(S703)。そして、第1エッジ装置41は、処理をステップS701に戻す。
追跡IDに対応する顔画像又は身体画像が第1表示装置31に表示されている場合(S702:YES)、第1エッジ装置41は、当該表示されている顔画像又は身体画像と照合状況とを、人物移動情報又は人物照合情報に含まれる顔画像又は身体画像と照合状況とに更新して表示する(S704)。そして、第1エッジ装置41は、処理をステップS701に戻す。
これにより、第1表示装置31には、図2に示すように、第1方向に移動している各人物1の顔画像又は身体画像と照合状況(例えば照合成功又は照合失敗等)とを示す照合結果画像70A、70B、70C、70E、70Fが表示される。よって、第1方向に移動している各人物1は、移動方向先に設置されている第1表示装置31から、自分の照合結果を視認することができる。
同様に、第2表示装置32には、図2に示すように、第2方向に移動している各人物1の顔画像又は身体画像と照合状況(例えば照合成功又は照合失敗等)とを示す照合結果画像70A、70B、70C、70E、70Fが表示される。よって、第2方向に移動している各人物1は、移動方向先に設置されている第2表示装置32から、自分の照合結果を視認することができる。
上述した表示処理に関する内容は次のように表現できる。すなわち、管理装置50は、第1ゲート11と第2ゲート12との間を移動する各人物1の移動方向を検出し、第1方向に移動する人物1の顔画像220の照合結果を、第1表示装置31に表示させ、第2表示装置32に表示させず、第2方向に移動する人物1の顔画像220の照合結果を、第2表示装置32に表示させ、第1表示装置31に表示させない。
これにより、人物1の移動方向に設置されている表示装置に当該人物1の照合結果が表示され、人物1の移動方向と反対に設置されている表示装置には当該人物の照合結果が表示されない。よって、管理装置50は、通路2を第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができる。
<表示パターン>
図13は、実施の形態1に係る検出領域3における照合ゾーン301と通過判定ゾーン302とを示す図である。なお、以下では、第1ゲート11及び第1方向を例に説明するが、第2ゲート12及び第2方向についても同様である。
第1ゲート11の第1撮影装置21が撮影する撮影画像は、第1方向に移動する人物1の顔照合に用いられる。検出領域3において、第2ゲート12に近い所定の領域を照合ゾーン301とし、第1ゲート11に近い所定の領域を通過判定ゾーン302とする。第1エッジ装置41は、人物1が照合ゾーン301と通過判定ゾーン302のどちらに位置するかによって、第1表示装置31における表示パターンを変化させてよい。次に、当該表示パターンについて説明する。
図14は、実施の形態1に係る第1表示装置31における表示パターンの一例を説明するための図である。なお、第2表示装置32における表示パターンについては、以下の図14を参照した説明において、「第1エッジ装置41」を「第2エッジ装置42」と読み替え、「第1表示装置31」を「第2表示装置32」と読み替えればよい。
人物1が検出領域3の外側(ゾーン外)に位置する場合、第1エッジ装置41は、第1表示装置31に人物1の照合結果画像を表示しない。
人物1が照合ゾーン301に位置する場合、第1エッジ装置41は、次のパターン(A0)から(A3)ように第1表示装置31の表示を制御する。
(A0)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合中」である場合、当該人物1の顔画像220と「照合中」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。
(A1)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合成功」である場合、当該人物1の顔画像220と「照合成功」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、照合成功音を出力してもよい。
(A2)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合失敗」である場合、当該人物1の顔画像220と「照合失敗」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、照合失敗音を出力してもよい。
(A3)第1エッジ装置41は、人物1の顔画像220が存在せず、身体画像200が存在する場合、当該人物1の身体画像200と「警告」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、警告音を出力してもよい。
人物1が通過判定ゾーン302に位置する場合、第1エッジ装置41は、次のパターン(A4)から(A7)のように第1表示装置31の表示を制御する。
(A4)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合中」である場合、当該人物1の顔画像220と「照合中」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。
(A5)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合成功」である場合、当該人物1の顔画像220と「通過」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、通過音を出力してもよい。
(A6)第1エッジ装置41は、人物1の顔画像220が存在し、照合状況111が「照合失敗」である場合、当該人物1の顔画像220と「不正通行」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、不正通行音を出力してもよい。
(A7)第1エッジ装置41は、人物1の顔画像220が存在せず身体画像200が存在する場合、当該人物1の身体画像200と「不正通行」のメッセージとを含む照合結果画像を、第1表示装置31に表示する。このとき、第1エッジ装置41は、第1表示装置31が備えるスピーカから、不正通行音を出力してもよい。
なお、表示優先度は次のように設定されてもよい。
・照合ゾーン301よりも通過判定ゾーン302の方が表示優先度は高い。
・「通過中」メッセージの表示優先度が最も高く、次に「照合成功」メッセージの表示優先度が高い。
・顔画像220がある場合、「照合中」メッセージの表示優先度が最も低い。
・身体画像200のみよりも顔画像220がある方が表示優先度が高い。
例えば、上述したパターン(A0)から(A7)の表示優先度は、低い順から高い順に次のように設定されてよい。
(A3)<(A7)<(A0)<(A4)<(A2)<(A6)<(A1)<(A5)
<同一人物の人物情報を検出する方法>
図15A及び図15Bは、実施の形態1に係る身体検出情報が示す人物1と同一人物のものと推定される人物情報100を人物情報テーブルから検出する方法を説明するための図である。なお、図15では、人物1が第1方向に移動しているとして説明する。人物1が第2方向に移動している場合については、以下の図15を参照した説明における、「第1撮影装置21」を「第2撮影装置22」と読み替え、「第2撮影装置22」を「第1撮影装置21」と読み替えればよい。
第1撮影装置21が撮影した第1方向に移動している人物1の身体画像200には、当該人物1の正面の身体が映っている。以下、当該正面の身体画像200から算出される身体座標201AのX座標及びY座標を、それぞれ、身体正面のX座標201Ax及びY座標201Ayと称する。また、第1撮影装置21が撮影した第1方向に移動している人物1の顔画像220には、当該人物1の正面の顔が映っている。以下、当該正面の顔画像220から算出される顔座標221AのX座標及びY座標を、それぞれ、顔正面のX座標221Ax及びY座標221Ayと称する。
第2撮影装置22が撮影した第1方向に移動している人物1の身体画像200には、当該人物1の背面の身体が映っている。以下、当該背面の身体画像200から算出される身体座標201BのX座標及びY座標を、それぞれ、身体背面のX座標201Bx及びY座標201Byと称する。
図15Aに示すように、身体正面のX座標201Axと、身体背面のX座標201Bxとは、人物1の身体の前後方向の厚みの分、離れている。したがって、身体正面のX座標201Axと身体背面のX座標201Bxとの位置差分が、身体の厚みに基づく所定の閾値(以下、身体厚み閾値と称する)Wよりも小さい場合、当該身体正面のX座標201Axと当該身体背面のX座標201Bxとは、同一人物のX座標に相当すると推定できる。身体厚み閾値Wは、平均的な身体の厚みよりも少し大きい値であってよい。同様に、顔正面のX座標221Axと身体背面のX座標201Bxとの位置差分が、身体厚み閾値Wよりも小さい場合、当該顔正面のX座標221Axと当該身体背面のX座標201Bxとは、同一人物のX座標であると推定できる。
また、図15Bに示すように、受信した身体検出情報に含まれる身体座標201AのY座標201Ay(つまり現在のY座標)と、人物情報100に含まれる身体座標201AのY座標201Ay(つまり過去のY座標)とのY成分変化量が所定の閾値(以下、身体幅閾値と称する)W2以下である場合、現在の身体座標のY座標201Ayと過去の身体座標のY座標201Ayとは、同一人物のY座標であると推定できる。なお、身体座標201Aに代えて、顔座標221Aが用いられてもよい。
すなわち、管理装置50は、受信した身体検出情報に含まれる身体座標201(又は顔座標221)のY座標と、人物情報100に含まれる身体座標201(又は顔座標221)のY座標との位置差分が身体幅閾値W2以下であり、かつ、受信した身体検出情報に含まれる身体座標201のX座標と、人物情報100に含まれる身体座標201のX座標又は顔座標221のX座標との位置差分が身体厚み閾値Wよりも小さい人物情報100を、人物情報テーブルから検出できた場合、その検出できた当該人物情報100を、当該身体検出情報が示す人物1と同一人物のものであると推定してよい。
同様に、管理装置50は、受信した身体検出情報に含まれる身体座標201(又は顔座標221)のY座標と、人物情報100に含まれる身体座標201(又は顔座標221)のY座標との位置差分が身体幅閾値W2以よりも小さく、かつ、受信した顔検出情報に含まれる顔座標221のX座標と、人物情報100に含まれる身体座標201のX座標又は顔座標221のX座標との位置差分が身体厚み閾値Wよりも小さい人物情報100を、人物情報テーブルから検出できた場合、その検出できた当該人物情報100を、当該顔検出情報が示す人物1と同一人物のものであると推定してよい。
なお、上述したY座標の位置差分と身体幅閾値W2に関する条件、並びに、X座標の位置差分と身体厚み閾値Wに関する条件は、顔検出情報に含まれる顔撮影時刻又は身体検出情報に含まれる身体撮影時刻と、人物情報100に含まれる顔画像更新時刻126又は身体画像更新時刻123との時間差分が十分に小さい場合(つまり当該時間差分が所定の時間閾値Tよりも小さい場合)に成立する。人物1は移動しているため、時間差分が大きいと、上述したY座標の位置差分と身体幅閾値W2に関する条件、並びに、X座標の位置差分と身体厚み閾値Wに関する条件を満たす人物情報100は、過去にその位置にいた別の人物のものである可能性が高くなってしまうためである。
すなわち、図8のステップS301では、次の処理が行われてよい。管理装置50は、顔検出情報に含まれる顔撮影時刻と人物情報100に含まれる顔画像更新時刻108又は身体画像更新時刻105との時間差分が所定の時間閾値T未満であり、顔検出情報に含まれる顔座標221のY座標と人物情報100に含まれる顔座標109のY座標との位置差分が身体幅閾値W2よりも小さく、かつ、顔検出情報に含まれる顔座標221のX座標と人物情報100に含まれる顔座標109のX座標又は身体座標106のX座標との位置差分が身体厚み閾値Wよりも小さくなる人物情報100を、人物情報テーブルから検出する。
また、図9のステップS401では、次の処理が行われてよい。管理装置50は、身体検出情報に含まれる身体撮影時刻と人物情報100に含まれる顔画像更新時刻108又は身体画像更新時刻105との時間差分が所定の時間閾値T未満であり、身体検出情報に含まれる身体座標201のY座標と人物情報100に含まれる身体座標106のY座標との位置差分が身体幅閾値W2よりも小さく、かつ、身体検出情報に含まれる身体座標201のX座標と人物情報100に含まれる顔座標109のX座標又は身体座標106のX座標との位置差分が身体厚み閾値Wよりも小さくなる人物情報100を、人物情報テーブルから検出する。
上述した内容は以下のように表現できる。すなわち、管理装置50は、第1撮影装置21にて撮影された第1の画像(例えば身体画像200又は顔画像220)に含まれる人物1の位置(例えば身体座標201又は顔座標221)と、第2撮影装置22にて撮影された第2の画像(例えば身体画像200又は顔画像220)に含まれる人物1の位置(例えば身体座標201又は顔座標221)との差分が、人物の身体の厚みに基づく所定の閾値Wよりも小さい場合、第1の画像に含まれる人物1の位置と第2の画像に含まれる人物1の位置とは、同一人物の位置を示すと推定する。
これにより、管理装置50は、例えば、人物1の正面を撮影した第1の画像と、人物1の背面を撮影した第2の画像とが、同一人物のものであるか否かを推定することができる。
<共連れ人物が存在する場合>
図16は、実施の形態1に係る前方を歩く人物(以下、前方人物1Cと称する)のすぐ後ろに連なって歩く人物(以下、共連れ人物1Dと称する)が存在する場合を説明するための図である。なお、図16では、前方人物1C及び共連れ人物1Dが第1方向に移動しているとして説明する。前方人物1C及び共連れ人物1Dが第2方向に移動している場合は、以下の説明において、「第1撮影装置21」を「第2撮影装置22」と読み替え、「第2撮影装置22」を「第1撮影装置21」と読み替え、「第1エッジ装置41」を「第2エッジ装置42」と読み替えればよい。
第1撮影装置21が撮影した身体画像200には、前方人物1Cの正面の身体が映っている。よって、第1エッジ装置41は、前方人物1Cの正面の身体が映っている身体画像200に基づいて身体検出情報(以下、前方人物1Cの身体検出情報と称する)を生成し、管理装置50へ送信する。
第2撮影装置22が撮影した身体画像200には、共連れ人物1Dの背面の身体が映っている。よって、第2エッジ装置42は、共連れ人物1Dの背面の身体が映っている身体画像200に基づいて身体検出情報(以下、共連れ人物1Dの身体検出情報と称する)を生成し、管理装置50へ送信する。
前方人物1Cの身体検出情報に含まれる身体座標201CのX座標201Cxと、共連れ人物1Dの身体検出情報に含まれる身体座標201DのX座標201Dxとの位置差分は、一人の身体厚み閾値Wよりも大きい。したがって、管理装置50は、上述した同一人物の人物情報100を検出する方法によって、前方人物1Cと共連れ人物1Dとを別の人物と推定することができる。
なお、当該共連れ人物か否かを推定する処理は、第1の人物の身体座標201CのY座標と、第2の人物の身体座標201DのY座標とが身体幅閾値W2未満である場合に実行され、第1の人物の身体座標201CのY座標と、第2の人物の身体座標201DのY座標とが身体幅閾値W2以上である場合には実行されなくてもよい。第1の人物の身体座標201CのY座標と、第2の人物の身体座標201DのY座標とが身体幅閾値W2以上である場合、第1の人物と第2の人物とは連なって歩いていないため、共連れ人物か否かを推定する必要はないためである。
また、共連れ人物1Dの顔が前方人物1Cに隠れているため、第1撮影装置21は共連れ人物1Dの顔を撮影できない。そのため、第1エッジ装置41は、共連れ人物1Dに対して、図14のパターン(A3)に示す「不正通行」のメッセージ、又は、図14のパターン(A7)に示す「警告」のメッセージを含む照合結果画像を、第1表示装置31に表示する。なお、第1エッジ装置41は、「不正通行」又は「警告」のメッセージを含む照合結果画像を表示する際に、第2撮影装置22が撮影した共連れ人物1Dの背面の身体画像200を、該メッセージと併せて第1表示装置31に表示してもよい。
すなわち、ゲートシステム9は、図16に示すような共連れ人物1Dが存在するとしても、図9のステップS401の処理において、前方人物1Cと共連れ人物1Dとを、同一人物と誤判定することなく、別の人物と判定することができる。そして、ゲートシステム9は、前方人物1Cによって顔を隠して不正に入場(又は退場)しようとする共連れ人物1Dに対して、「不正通行」又は「警告」のメッセージを含む照合結果画像を表示することができる。
<人物の移動方向を検出する方法>
図17は、実施の形態1に係る人物1の移動方向を検出する方法を説明するための図である。
管理装置50は、例えば、次の第1の方法、第2の方法、又は、第3の方法のいずれかによって人物1の移動方向を検出する。
<<第1の方法>>
管理装置50は、人物情報100に含まれる顔座標109又は身体座標106の時間経過に伴う移動方向に基づいて、当該人物情報100の移動方向112を検出する。例えば、管理装置50は、人物情報100に含まれる顔座標109のX座標又は身体座標106のX座標が、時間経過に伴ってX軸の正方向に移動していることを検出した場合、当該人物1の移動方向112を第1方向と検出する。管理装置50は、人物情報100に含まれる顔座標109のX座標又は身体座標106のX座標が、時間経過に伴ってX軸の負方向に移動していることを検出した場合、当該人物1の移動方向112を第2方向と検出する。
<<第2の方法>>
管理装置50は、初めて検出された人物1の撮影画像が、第1撮影装置21で撮影されたものであるか、または第2撮影装置22で撮影されたものであるかを撮影装置IDに基づいて判定する。管理装置50は、初めて検出された人物1の撮影画像が第1撮影装置21で撮影されたものである場合、当該人物1の移動方向112を第1方向と検出する。第2ゲート12から検出領域3に進入してきた人物1は、第1ゲート11に備えられる第1撮影装置21に最初に撮影されるためである。管理装置50は、初めて検出された人物1の撮影画像が第2撮影装置22で撮影されたものである場合、当該人物1の移動方向112を第2方向と検出する。第1ゲート11から検出領域3に進入してきた人物1は、第2ゲート12に備えられる第2撮影装置22に最初に撮影されるためである。
<<第3の方法>>
図17に示すように、管理装置50は、初めて検出された人物1の顔座標109又は身体座標106が、検出領域3のうち第2ゲート12に近い方の所定領域312に含まれる場合、当該人物1の移動方向112を第1方向と検出する。第2ゲート12から検出領域3に進入してきた人物1は、第2ゲート12に近い方の所定領域312に最初に進入するためである。管理装置50は、初めて検出された人物1の顔座標109又は身体座標106が、検出領域3のうち第1ゲート11に近い方の所定領域311に含まれる場合、当該人物1の移動方向112を第2方向と検出する。第1ゲート11から検出領域3に進入してきた人物1は、第1ゲート11に近い方の所定領域311に最初に進入するためである。
(実施の形態2)
実施の形態2に係るゲートシステム9は、実施の形態1にて説明したゲートシステム9と共通の構成を備える。実施の形態2では、実施の形態1にて説明済みの構成要素については共通の参照符号を付し、説明を省略する場合がある。
図18は、実施の形態2に係る後ろ向きで第1方向に移動する人物1Eが存在する場合を説明するための図を示す。
仮に、ゲートシステム9が第1ゲート11のみを備えて第2ゲート12を備えない場合、後ろ向きで第1方向に移動する人物1Eの顔を撮影できないので、ゲートシステム9は、その人物1Eを不正通行(図14のパターン(A3)参照)と判定する。これに対して、実施の形態2に係るゲートシステム9では、第2ゲート12に備えられる第2撮影装置22が、後ろ向きで第1方向に移動する人物1Eの顔も撮影できる。そこで、実施の形態2に係るゲートシステム9は、後ろ向きで第1方向に移動する人物1Eの顔が第2撮影装置22によって撮影された場合であっても、当該人物1Eに向けて、第2ゲート12に備えられる第2表示装置32に「警告」のメッセージを含む該人物1Eの顔画像を表示した上で、当該人物1Eの照合結果画像を第1ゲート11に備えられる第1表示装置31に表示する。これにより、ゲートシステム9は、後ろ向きで第1方向の移動する人物1Eについても顔照合を行い、その照合結果画像を、人物1の移動方向先の表示装置に表示することができる。以下、詳細に説明する。
図19は、実施の形態2に係る顔照合結果情報処理の一例を示すフローチャートである。実施の形態2に係る管理装置50は、図7に示す顔照合結果情報処理(S206)において、当該図19を参照して説明する以下の処理を行ってよい。
管理装置50は、顔照合装置60から受信した顔照合結果情報の内容を、人物情報テーブルにおける、当該顔照合結果情報に対応する人物情報100に設定する(S801)。
管理装置50は、ステップS801にて設定された人物情報100に基づき、人物照合情報を生成する(S802)。
管理装置50は、ステップS801にて設定された人物情報100の移動方向が、第1方向又は第2方向のいずれであるかを判定する(S803)。
次に、ステップS803にて第1方向と判定された場合(S803:第1方向)の処理について説明する。
管理装置50は、ステップS802にて生成した人物照合情報を第1エッジ装置41へ送信する(S804)。
管理装置50は、人物照合情報に含まれる顔画像が第2撮影装置22で撮影されたものであるか否かを判定する(S805)。
人物照合情報に含まれる顔画像が第2撮影装置22で撮影されたものでない場合(S805:NO)、管理装置50は、本処理を完了する。
人物照合情報に含まれる顔画像が第2撮影装置22で撮影されたものである場合(S805:YES)、管理装置50は、第2エッジ装置42に、人物照合情報に含まれる追跡IDと同じ追跡IDを含む後向き注意情報を送信し(S806)、本処理を完了する。なお、後向き注意情報を受信した第2エッジ装置42は、図2の照合結果画像70Dに示すように、追跡IDに対応する人物1に向けて後向き移動を注意するメッセージ(以下、後向き注意メッセージと称する)を第2表示装置32に表示する。これにより、後向きで第1方向に移動している人物1に後向き注意メッセージを視認させることができる。
次に、ステップS803にて第2方向と判定された場合(S803:第2方向)の処理について説明する。
管理装置50は、ステップS802にて生成した人物照合情報を第2エッジ装置42へ送信する(S810)。
管理装置50は、人物照合情報に含まれる顔画像が第1撮影装置21で撮影されたものであるか否かを判定する(S811)。
人物照合情報に含まれる顔画像が第1撮影装置21で撮影されたものでない場合(S811:NO)、管理装置50は、本処理を完了する。
人物照合情報に含まれる顔画像が第1撮影装置21で撮影されたものである場合(S811:YES)、管理装置50は、第1エッジ装置41に、人物照合情報に含まれる追跡IDと同じ追跡IDを含む後向き注意情報を送信し(S812)、本処理を完了する。なお、後向き注意情報を受信した第1エッジ装置41は、図2の照合結果画像70Dに示すように、追跡IDに対応する人物に向けて後向き移動を注意するメッセージ(後向き注意メッセージ)を第1表示装置31に表示する。これにより、後ろ向きで第2方向に移動している人物1に後向き注意メッセージを視認させることができる。
上述した実施の形態2の内容は次のように表現できる。すなわち、管理装置50は、第1方向に移動する人物1の顔画像220が第2撮影装置22にて撮影されたものである場合、第2表示装置32に警告情報(例えば後向き注意メッセージ)を表示させ、第2方向に移動する人物1の顔画像220が第1撮影装置21にて撮影されたものである場合、第1表示装置31に警告情報(例えば後向き注意メッセージ)を表示させる。
これにより、管理装置50は、後向きに移動している人物1Eに対して、当該人物1Eが視認できる側の表示装置に警告情報を表示させることができる。
(実施の形態3)
実施の形態3に係るゲートシステム9は、実施の形態1にて説明したゲートシステム9と共通の構成を備える。実施の形態3では、実施の形態1にて説明済みの構成要素については共通の参照符号を付し、説明を省略する場合がある。
図20は、実施の形態3に係る、大人1Fが子供1Gを抱っこしている例を示す図である。図20(a)は、大人1Fに抱っこされている子供1Gの顔が前方を向いている場合を示す。図20(b)は、大人1Fに抱っこされている子供1Gの顔が後方を向いている場合を示す。
図20に示すように、大人1Fが子供1Gを抱っこしてゲートを通過する場合がある。この場合、実施の形態3に係るゲートシステム9は、大人1Fの顔と子供1Gの顔とを検出する。図20において、大人1Fの顔画像220Fから算出される顔座標を大人の顔座標221Fと称し、子供1Gの顔画像220Gから算出される顔座標を子供の顔座標221Gと称する。
大人の顔座標221FのY座標221Fyと当該大人1Fに抱っこされている子供1Gの顔座標221GのY座標221Gyとの位置差分は、実施の形態1で説明した身体幅閾値W2よりも小さくなり、かつ、大人の顔座標221FのX座標221Fxと当該大人1Fに抱っこされている子供1Gの顔座標221GのX座標221Gxとの位置差分は、実施の形態1にて説明した身体厚み閾値Wよりも小さくなり得る。したがって、実施の形態1で説明した同一人物の人物情報100を検出する方法において、管理装置50は、大人の顔画像220Fと子供の顔画像220Gとが同一人物のものであると誤推定する可能性がある。そこで、実施の形態3に係る管理装置50は、2つの顔座標221Fと221GのXYZ座標の位置差分が所定の閾値以上である場合、これら2つの顔座標221Fと221Gは、抱っこ関係にある異なる2人の人物のものであると推定する。この推定処理を、抱っこ推定処理と称する。
図21は、実施の形態3に係る人物情報100の構成例を示す。
図21に示す人物情報100は、図6に示した人物情報100に含まれる項目に加えて、抱っこフラグ120と、抱っこ関係にある人物に関する情報(以下、抱っこ人物情報121と称する)とを有する。抱っこフラグ120は、人物情報100が抱っこ人物情報121を含むか否かを示す。人物情報100が抱っこ人物情報121を含む場合、抱っこフラグ120にはONが設定される。人物情報100が抱っこ人物情報121を含まない場合、抱っこフラグ120にはOFFが設定される。なお、ON及びOFFの表現は一例であり、例えば、抱っこフラグ120には、ONに代えて「1」、OFFに代えて「0」が設定されてもよい。
抱っこ人物情報121は、項目として、抱っこ関係にある人物の、身体画像122、身体画像更新時刻123、身体座標124、顔画像125、顔画像更新時刻126、顔座標127、顔照合ID128、及び、照合状況129を含む。
図22は、実施の形態3に係る顔検出情報処理の一例を示すフローチャートである。実施の形態3に係る管理装置50は、図7に示す顔検出情報処理(S202)において、当該図22を参照して説明する以下の処理を行ってよい。
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した顔検出情報に対応する人物情報100を、人物情報テーブルから検出する(S901)。
管理装置50は、ステップS901において人物情報テーブルから人物情報100を検出できたか否かを判定する(S902)。
ステップS901において人物情報テーブルから人物情報100を検出できなかったと判定した場合(S902:NO)、管理装置50は、図8に示すステップS303~S306の処理を実行し、本処理を完了する。
ステップS901において人物情報テーブルから人物情報100を検出できたと判定した場合(S902:YES)、管理装置50は、顔検出情報は抱っこ人物情報用であるか否かを判定する(S903)。例えば、管理装置50は、受信した顔検出情報の顔座標221とステップS901にて検出した人物情報100の顔座標109とに対して上述した抱っこ推定処理を行うことにより、当該判定を行う。
顔検出情報が抱っこ人物情報用でない場合(S903:NO)、管理装置50は、図8に示すステップS310~S312の処理を実行し、本処理を完了する。
顔検出情報が抱っこ人物情報用である場合(S903:YES)、管理装置50は、以下の処理を実行する。
管理装置50は、顔検出情報に基づき、人物情報テーブルにおける、ステップS901にて検出した人物情報100に含まれる抱っこ人物情報121を更新する(S904)。
管理装置50は、抱っこ人物情報121の照合状況129が「照合要求前」又は「照合失敗」であるか否かを判定する(S905)。
抱っこ人物情報121の照合状況129が「照合要求前」又は「照合失敗」である場合(S905:YES)、管理装置50は、顔画像125及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該抱っこ人物情報121の照合状況129を「照合中」に更新する(S906)。そして、管理装置50は、本処理を完了する。
抱っこ人物情報121の照合状況129が「照合要求前」又は「照合失敗」でない場合(S905:NO)、管理装置50は、本処理を完了する。
図23は、実施の形態3に係る顔照合結果情報処理の第1例を示すフローチャートである。実施の形態3に係る管理装置50は、図7に示す顔照合結果情報処理(S206)において、当該図23を参照して説明する以下の処理を行ってよい。
管理装置50は、顔照合装置60から受信した顔照合結果情報の内容を、人物情報テーブルにおける、当該顔照合結果情報に対応する人物情報100に設定する(S1001)。
管理装置50は、当該人物情報100の抱っこフラグ120がONであるか否かを判定する(S1002)。
当該人物情報100の抱っこフラグ120がOFFである場合(S1002:NO)、管理装置50は、図11に示すS602~S605の処理を実行し、本処理を完了する。
当該人物情報100の抱っこフラグ120がONである場合(S1002:YES)、管理装置50は、抱っこ人物情報121も含めて、人物情報100に含まれる全員の照合状況111、129が照合成功となっているか否かを判定する(S1003)。
人物情報100に含まれる全員の照合状況111、129が照合成功である場合(S1003:YES)、管理装置50は、少なくとも、追跡ID101と、照合成功と、人物情報100に含まれる全員の顔画像107、125とを含む人物照合情報を生成し(S1004)、処理をステップS1006に進める。
人物情報100に含まれる少なくとも一人の照合状況111、129が照合失敗である場合(S1003:NO)、管理装置50は、少なくとも、追跡ID101と、照合失敗と、人物情報100に含まれる全員の顔画像107、125とを含む人物照合情報を生成し(S1005)、処理をステップS1006に進める。
すなわち、図23に示す処理は、大人1Fと抱っこされている子供1Gとを1つのグループとし、大人1Fと抱っこされている子供1Gの両方の顔照合(つまりグループ全員の顔照合)が成功した場合、当該グループを照合成功とし、大人1Fと抱っこされている子供1Gの少なくとも一人の顔照合(つまりグループの少なくとも一人の顔照合)が失敗した場合、当該グループを照合失敗とする。
管理装置50は、人物情報100の移動方向112が、第1方向又は第2方向のいずれであるかを判定する(S1006)。
人物情報100の移動方向112が第1方向である場合(S1006:第1方向)、管理装置50は、ステップS1004又はS1005にて生成した人物照合情報を第1エッジ装置41へ送信し(S1007)、本処理を完了する。この場合、第1エッジ装置41は、図2の照合結果画像70Fに示すように、大人1Fの顔画像107と抱っこされている子供1Gの顔画像125とを、第1表示装置31の一人分の表示区画にまとめて表示すると共に、人物照合情報に含まれる照合結果(つまり照合成功又は照合失敗)を表示する。
人物情報100に含まれる移動方向112が第2方向である場合(S1006:第2方向)、管理装置50は、ステップS1004又はS1005にて生成した人物照合情報を第2エッジ装置42へ送信し(S1008)、本処理を完了する。この場合、第2エッジ装置42は、図2の照合結果画像70Fに示すように、大人1Fの顔画像107と抱っこされている子供1Gの顔画像125とを、第2表示装置32の一人分の表示区画にまとめて表示すると共に、人物照合情報に含まれる照合結果(つまり照合成功又は照合失敗)を表示する。
上述した第1例の内容は次のように表現できる。すなわち、管理装置50は、第1ゲート11と第2ゲート12との間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちのすべての顔画像220が照合成功である場合、照合成功したすべての顔画像220を含む照合結果を第1表示装置31に表示させ、第2方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちのすべての顔画像220が照合成功である場合、照合成功したすべての顔画像220を含む照合結果を第2表示装置32に表示させる。
これにより、例えば、大人1Fの顔画像107と、当該大人1Fに抱っこされている子供1Gの顔画像125とが検出され、仮に子供1Gの顔画像125が移動方向とは反対の撮影装置で撮影されたものであっても、管理装置50は、移動方向先に設置された表示装置に、大人1Fの顔画像107と子供1Gの顔画像125の両方を表示させることができる。
図24は、実施の形態3に係る顔照合結果情報処理の第2例を示すフローチャートである。実施の形態3に係る管理装置50は、図7に示す顔照合結果情報処理(S206)において、当該図24を参照して説明する以下の処理を行ってよい。また、管理装置50は、図23に示す第1例と、図24に示す第2例とのうち、いずれの処理を採用してもよい。
管理装置50は、図23に示すステップS1001~S1002と同様の処理を行う(S1101~S1102)。
当該人物情報100の抱っこフラグ120がOFFである場合(S1102:NO)、管理装置50は、図11に示すステップS602~S605の処理を実行し、本処理を完了する。
当該人物情報100の抱っこフラグ120がONである場合(S1102:YES)、管理装置50は、抱っこ人物情報121も含めて、人物情報100に含まれる少なくとも一人の照合状況111、129が照合成功となっているか否かを判定する(S1103)。
人物情報100に含まれる少なくとも一人の照合状況111、129が照合成功である場合(S1103:YES)、管理装置50は、少なくとも、追跡ID101と、照合成功と、照合成功した顔画像107、125とを含む人物照合情報を生成し(S1104)、処理をステップS1106に進める。
人物情報100に含まれる全員の照合状況111、129が照合失敗である場合(S1103:NO)、管理装置50は、少なくとも、追跡ID101と、照合失敗と、人物情報100に含まれる全員の顔画像107、125とを含む人物照合情報を生成し(S1105)、処理をステップS1106に進める。
すなわち、図24に示す処理では、大人1Fと抱っこされている子供1Gとを1つのグループとし、大人1Fと抱っこされている子供1Gの少なくとも一人の顔照合(つまりグループの少なくとも一人の顔照合)が成功した場合、当該グループを照合成功とし、大人1Fと抱っこされている子供1Gの全員の顔照合(つまりグループ全員の顔照合)が失敗した場合、当該グループを照合失敗とする。
管理装置50は、人物情報100の移動方向112が、第1方向又は第2方向のいずれであるかを判定する(S1106)。
人物情報100の移動方向112が第1方向である場合(S1106:第1方向)、管理装置50は、ステップS1104又はS1105にて生成した人物照合情報を第1エッジ装置41へ送信し(S1107)、本処理を完了する。この場合、第1エッジ装置41は、人物照合情報が照合成功を示す場合、照合成功した顔画像のみと、照合成功メッセージとを含む照合結果画像を、第1表示装置31に表示してもよい。第1エッジ装置41は、人物照合情報が照合失敗を示す場合、大人1Fの顔画像107と抱っこされている子供1Gの顔画像125と、照合失敗メッセージとを含む照合結果画像を、第1表示装置31に表示してもよい。
人物情報100の移動方向が第2方向である場合(S1106:第2方向)、管理装置50は、ステップS1104又はS1105にて生成した人物照合情報を第2エッジ装置42へ送信し(S1108)、本処理を完了する。この場合、第2エッジ装置42は、人物照合情報が照合成功を示す場合、照合成功した顔画像のみと、照合成功メッセージとを含む照合結果画像を、第2表示装置32に表示してもよい。第2エッジ装置42は、人物照合情報が照合失敗を示す場合、大人1Fの顔画像107と抱っこされている子供1Gの顔画像125とを、照合失敗メッセージとを含む照合結果画像を、第2表示装置32に表示してもよい。
上述した第2例の内容は次のように表現できる。すなわち、管理装置50は、第1ゲート11と第2ゲート12との間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちの少なくとも1つの顔画像220が照合成功である場合、照合成功した少なくとも1つの顔画像220を含む照合結果を第1表示装置31に表示させ、第2方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちの少なくとも1つの顔画像220が照合成功である場合、照合成功した少なくとも1つの顔画像220を含む照合結果を第2表示装置32に表示させる。
これにより、例えば、大人1Fの顔画像107と、当該大人1Fに抱っこされている子供1Gの顔画像125とが検出され、仮に一方の顔画像が照合失敗であっても、管理装置50は、移動方向先に設置された表示装置に、照合成功した方の顔画像を表示させることができる。
(実施の形態4)
実施の形態4に係るゲートシステム9は、実施の形態1にて説明したゲートシステム9と共通の構成を備える。実施の形態4では、実施の形態1にて説明済みの構成要素については共通の参照符号を付し、説明を省略する場合がある。
図25は、実施の形態4に係る人物1Hが着ている服に人の顔写真がプリントされている例を示す図である。
図25に示すように、人物1Hが着ている服に人の顔写真がプリントされている場合がある。以下、服にプリントされている顔写真を、服の顔画像220Iと称する。この場合、顔検出処理において、人物1Hの顔画像220Hと服の顔画像220Iとが検出される場合がある。本実施の形態において、人物の顔画像220Hから算出される顔座標を、人物の顔座標221Hと称し、服の顔画像220Iから算出される顔座標を、服の顔座標221Iと称する。
人物の顔座標221HのY座標221Hyと服の顔座標221IのY座標221Iyとの位置差分は、実施の形態1で説明した身体幅閾値W2よりも小さくなり、かつ、人物の顔座標221HのX座標221Hxと服の顔座標221IのX座標221Ixとの位置差分は、実施の形態1にて説明した身体厚み閾値Wよりも小さくなり得る。したがって、人物の顔画像220Hと、服の顔画像220Iとが、同一人物のものであると誤推定される可能性がある。そこで、実施の形態4に係る管理装置50は、2つの顔座標221Hと221IのZ座標の位置差分が所定の閾値以上である場合、2つの顔画像220Hと220Iのいずれか一方を人物の顔画像と判定する。この判定処理を、複数顔判定処理と称する。
図25に示すように、典型的には、人物の顔画像220Hは服の顔画像220Iよりも高いところ(Z軸の正方向)に位置する。したがって、管理装置50は、2つの顔画像220Hと220Iが検出された場合、複数顔判定処理において、高い方(Z軸の正方向)に位置する顔画像を人物の顔画像220Hと判定してよい。なお、本実施の形態では説明をわかり易くするために、2つの顔画像220Hと220Iのうちの1つが服の顔画像220Iである例を説明するが、複数の顔画像のうちの2以上が服の顔画像であってもよい。
図26は、実施の形態4に係る人物情報100の構成例を示す。
図26に示す人物情報100は、図6に示した人物情報100に含まれる項目に加えて、複数顔フラグ140と、複数顔に関する情報(以下、複数顔情報141と称する)とを有する。複数顔フラグ140は、人物情報100が複数顔情報141を含むか否かを示す。人物情報100が複数顔情報141を含む場合、複数顔フラグ140にはONが設定されてよい。人物情報100が複数顔情報141を含まない場合、複数顔フラグ140にはOFFが設定されてよい。なお、ON及びOFFの表現は一例であり、例えば、複数顔フラグ140には、ONに代えて「1」、OFFに代えて「0」が設定されてもよい。
複数顔情報141は、項目として、複数顔関係にある人物の顔又は服の顔写真の、顔画像142、顔画像更新時刻143、顔座標144、顔照合ID145、照合状況146を含む。
図27は、実施の形態4に係る顔検出情報処理の一例を示すフローチャートである。実施の形態4に係る管理装置50は、図7に示す顔検出情報処理(S202)において、当該図27を参照して説明する以下の処理を行ってよい。
管理装置50は、第1エッジ装置41又は第2エッジ装置42から受信した顔検出情報に対応する人物情報100を、人物情報テーブルから検出する(S1201)。
管理装置50は、ステップS1201において人物情報テーブルから人物情報100を検出できたか否かを判定する(S1202)。
ステップS1201において人物情報テーブルから人物情報100を検出できなかったと判定した場合(S1202:NO)、管理装置50は、図8に示すステップS303~S306の処理を実行し、本処理を完了する。
ステップS1201において人物情報テーブルから人物情報100を検出できたと判定した場合(S1202:YES)、管理装置50は、顔検出情報が複数顔関係用であるか否かを判定する(S1203)。例えば、管理装置50は、受信した顔検出情報の顔座標221とステップS1201にて検出した人物情報100の顔座標109とに対して上述した複数顔判定処理を行うことにより、当該判定を行う。
顔検出情報が複数顔関係用でない場合(S1203:NO)、管理装置50は、図8に示すステップS310~S312の処理を実行し、本処理を完了する。
顔検出情報が複数顔関係用である場合(S1203:YES)、管理装置50は、以下の処理を実行する。
管理装置50は、顔検出情報に基づき、人物情報テーブルにおける、ステップS1201にて検出した人物情報100に含まれる複数顔情報141を更新する(S1204)。
管理装置50は、複数顔情報141の照合状況129が「照合要求前」又は「照合失敗」であるか否かを判定する(S1205)。
複数顔情報141の照合状況129が「照合要求前」又は「照合失敗」である場合(S1205:YES)、管理装置50は、顔画像125及び追跡ID101を含む顔照合要求を顔照合装置60へ送信し、当該人物情報100の照合状況129を「照合中」に更新する(S1206)。そして、管理装置50は、本処理を完了する。
複数顔情報141の照合状況129が「照合要求前」又は「照合失敗」でない場合(S1205:NO)、管理装置50は、本処理を完了する。
図28は、実施の形態4に係る顔照合結果情報処理の一例を示すフローチャートである。実施の形態4に係る管理装置50は、図7に示す顔照合結果情報処理(S206)において、当該図28を参照して説明する以下の処理を行ってよい。
管理装置50は、顔照合装置60から受信した顔照合結果情報の内容を、人物情報テーブルにおける、当該顔照合結果情報に対応する人物情報100に設定する(S1301)。
管理装置50は、当該人物情報100の複数顔フラグ140がONであるか否かを判定する(S1302)。
当該人物情報100の複数顔フラグ140がOFFである場合(S1302:NO)、管理装置50は、図11に示すステップS602~S605の処理を実行し、本処理を完了する。
当該人物情報100の複数顔フラグ140がONである場合(S1302:YES)、管理装置50は、複数顔情報141も含めて、人物情報100に含まれる2以上の顔画像107、142のうち、顔座標109、144が最も高い位置の顔画像(以下、高位置顔画像と称する)の照合状況111又は146が照合成功であるか否かを判定する(S1303)。
人物情報100に含まれる高位置顔画像の照合状況111又は146が照合成功である場合(S1303:YES)、管理装置50は、少なくとも、追跡ID101と、照合成功と、人物情報100に含まれる高位置顔画像とを含む人物照合情報を生成し(S1304)、処理をステップS1306に進める。
人物情報100に含まれる高位置顔画像の照合状況111又は146が照合失敗である場合(S1303:NO)、管理装置50は、少なくとも、追跡ID101と、照合失敗と、人物情報100に含まれる高位置顔画像とを含む人物照合情報を生成し(S1305)、処理をステップS1306に進める。
管理装置50は、人物情報100の移動方向112が、第1方向又は第2方向のいずれであるかを判定する(S1306)。
人物情報100の移動方向112が第1方向である場合(S1306:第1方向)、管理装置50は、ステップS1304又はS1305にて生成した人物照合情報を第1エッジ装置41へ送信し(S1307)、本処理を完了する。この場合、第1エッジ装置41は、図3の照合結果画像70Cに示すように、服の顔画像220Iではなく、人物1Hの顔画像220H(つまり高位置顔画像)を第1表示装置31の表示区画に表示すると共に、人物照合情報に含まれる照合結果(つまり照合成功又は照合失敗)を表示する。
人物情報100の移動方向112が第2方向である場合(S1306:第2方向)、管理装置50は、ステップS1304又はS1305にて生成した人物照合情報を第2エッジ装置42へ送信し(S1306)、本処理を完了する。この場合、第2エッジ装置42は、図3の照合結果画像70Cに示すように、服の顔画像220Iではなく、人物1Hの顔画像220H(つまり高位置顔画像)を第2表示装置32の表示区画に表示すると共に、人物照合情報に含まれる照合結果(つまり照合成功又は照合失敗)を表示する。
上述した実施の形態4の内容は次のように表現できる。すなわち、管理装置50は、第1ゲート11と第2ゲート12との間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出された場合、最も高い位置にある顔画像220の照合結果を第1表示装置31に表示させ、第2方向に移動する人物1の位置に基づく所定の範囲内(例えば身体厚み閾値Wの範囲内)において複数の異なる顔画像220が検出された場合、最も高い位置にある顔画像220の照合結果を第2表示装置32に表示させる。
これにより、例えば、人物1Hの顔画像220Hと、当該人物1Hの服にプリントされている服の顔画像220Iとが検出された場合であっても、管理装置50は、人物1Hの顔画像220Hの方の照合結果を、当該人物1Hの移動方向に設置された表示装置に、正しく表示させることができる。
なお、上述した実施の形態1から4の内容は、任意に組み合わせられてよい。例えば、実施の形態1に、実施の形態2に関する内容と、実施の形態3に関する内容と、実施の形態4に関する内容とのうちの少なくとも1つが組み合わせられてよい。また、実施の形態3の内容と実施の形態4の内容とは類似しているので、共通の処理として実現されてもよい。
(ゲートシステムの変形例)
ゲートシステム9の構成は、図1に示す構成に限られない。以下では、ゲートシステム9のいくつかの構成の変形例を示す。
図29は、本開示に係るゲートシステム9の第1の変形例を示す図である。
図29に示すように、ゲートシステム9は、天井を有する通路において、当該天井からぶら下がる第1撮影装置21及び第1表示装置31と、第2撮影装置22及び第2表示装置32とを備える構成であってよい。なお、図29は、第2撮影装置22及び第2表示装置32の記載と、第2方向に移動する人物1の記載とを省略している。
図30は、本開示に係るゲートシステム9の第2の変形例を示す図である。
図30に示すように、ゲートシステム9は、人物1が通過可能なトンネル型の構成を呈し、当該トンネルの天面に、第1撮影装置21及び第1表示装置31と、第2撮影装置22及び第2表示装置32とを備える、一体型の装置であってよい。つまり、上述した第1ゲート11と第2ゲート12とは一体型に構成されてよい。なお、図30では、第2撮影装置22及び第2表示装置32の記載と、第2方向に移動する人物1の記載とを省略している。当該トンネル型のゲートシステム9は、固定的に設置されてもよいし、任意の場所に移動設置されてもよい。
図31は、本開示に係るゲートシステム9の第3の変形例を示す図である。
図31に示すように、ゲートシステム9は、必ずしも人物1が通過するゲート形状である必要はなく、第1撮影装置21及び第1表示装置31を含む移動可能な第1セットと、第2撮影装置22及び第2表示装置32を含む移動可能な第2セットとを含む構成であってよい。そして、第1セットは、第1方向への人物1の移動を妨げずに当該人物1の顔を撮影可能な位置に設置され、第2セットは、第2方向への人物1の移動を妨げずに当該人物1の顔を撮影可能な位置に設置されてよい。
(ハードウェア構成)
図32は、本開示に係るコンピュータのハードウェア構成の一例を示す図である。
上述した第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60は、図32に示すコンピュータ1000を含んで構成されてよい。また、上述した第1エッジ装置41、第2エッジ装置42、管理装置50、及び、顔照合装置60が行う処理は、図32に示すコンピュータ1000がコンピュータプログラムを実行することにより実現されてよい。
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU1007、及び、読取装置1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した各装置が行う処理を実現する。したがって、上述した各装置が行う処理は、プロセッサ1001を主体とする処理に読み替えることができる。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
メモリ1002は、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する。メモリ1002は、ROM(Read-Only Memory)及びRAM(Random Access Memory)を含んでよい。また、メモリ1002は、揮発性記憶媒体又は不揮発性記憶媒体のいずれで構成されてもよい。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する。ストレージ1003の例として、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、フラッシュメモリ等が挙げられる。
入力装置1004は、プロセッサ1001に入力するデータを受け付ける。入力装置1004の例として、キーボード、マウス、タッチパッド、又は、マイク等が挙げられる。
出力装置1005は、プロセッサ1001が生成したデータを出力する。出力装置1005の例として、ディスプレイ、又は、スピーカ等が挙げられる。
通信装置1006は、他の装置と、通信ネットワーク4を介して、データを送受信する。通信装置1006は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AIの処理(例えば機械学習又は深層学習等)に利用されてもよい。
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリといった外部記録媒体からデータを読み取る装置である。
(本開示のまとめ)
上述した本開示の内容は以下のように表現することができる。
<項目1>
ゲートシステム9は、通路2の所定の領域(例えば検出領域3)を第1方向に移動する人物の顔を撮影可能な第1撮影装置21と、通路2の所定の領域を第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置22と、第1方向に移動する人物が視認可能な画面を有する第1表示装置31と、第2方向に移動する人物が視認可能な画面を有する第2表示装置32と、を備える。第1撮影装置21及び第2撮影装置22は、通路2を移動する人物の顔画像を撮影し、第1表示装置31は、第1方向に移動する人物の顔画像の照合結果を表示し、第2方向に移動する人物の顔画像の照合結果を表示せず、第2表示装置32は、第2方向に移動する人物の顔画像の照合結果を表示し、第1方向に移動する人物の顔画像の照合結果を表示しない。
これにより、人物1の移動方向に設置されている表示装置に当該人物1の照合結果が表示され、人物1の移動方向と反対に設置されている表示装置には当該人物1の照合結果が表示されないので、第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができるゲートシステム9を実現できる。
<項目2>
項目1に記載のゲートシステム9において、所定の領域は、通路2における仮想的な第1ラインと第2ラインとの間の領域の少なくとも一部であり、第1方向は、第1ラインから第2ラインへの方向であり、第2方向は、第2ラインから第1ラインへの方向であってよい。
これにより、第1ラインと第2ラインとの間を移動する人物1に対して、適切に照合結果を見せることができる。
<項目3>
項目2に記載のゲートシステム9において、第1ライン及び第2ラインの幅は、複数の人物1が並んで通過可能な幅であり、第1表示装置31及び第2表示装置32は、それぞれ、複数の人物1の照合結果を同時に表示可能であってよい。
これにより、複数の人物1を同時に照合できるので、照合時の混雑の発生を抑制できる。
<項目4>
項目2又は3に記載のゲートシステム9は、管理装置50をさらに備えてよい。管理装置50は、第1ラインと第2ラインとの間を移動する各人物1の移動方向112を検出し、第1方向に移動する人物1の顔画像220の照合結果を、第1表示装置31に表示させ、第2表示装置32に表示させず、第2方向に移動する人物1の顔画像220の照合結果を、第2表示装置32に表示させ、第1表示装置31に表示させなくてよい。
これにより、人物1の移動方向112に設置されている表示装置に当該人物1の照合結果が表示され、人物の移動方向112と反対に設置されている表示装置には当該人物1の照合結果が表示されない。よって、管理装置50は、第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができる。
<項目5>
項目1から4のいずれか1つに記載のゲートシステム9において、管理装置50は、第1撮影装置21、及び、第2撮影装置22から顔画像を取得することができない、第1ラインと第2ラインとの間を移動する第1の人物が存在する場合において、第1の人物が第1方向に移動している場合、第1の人物の身体画像を警告情報と共に第1表示装置31に表示させ、第2表示装置32に表示させず、第1の人物が第2方向に移動している場合、第1の人物の身体画像を警告情報と共に第2表示装置32に表示させ、第1表示装置31に表示させなくてよい。
これにより、顔画像を取得できない人物が視認できる表示装置には当該人物の顔画像が取得できない旨を視覚的に知らせる画像及び情報を表示させ、顔画像を取得できない人物が視認できない表示装置には当該画像及び情報を表示させないことができる。
<項目6>
項目1から5のいずれか1つに記載のゲートシステム9において、管理装置50は、第1方向に移動する人物1の顔画像220が第2撮影装置22にて撮影されたものである場合、第2表示装置32に警告情報を表示させ、第2方向に移動する人物1の顔画像220が第1撮影装置21にて撮影されたものである場合、第1表示装置31に警告情報を表示させてよい。
これにより、管理装置50は、後向きに移動している人物1に対して、当該人物1が視認できる側の表示装置に警告情報を表示させることができる。
<項目7>
項目1から6のいずれか1つに記載のゲートシステム9において、管理装置50は、第1ラインと第2ラインとの間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちのすべての顔画像220が照合成功である場合、照合成功したすべての顔画像220を含む照合結果を第1表示装置31に表示させ、第2方向に移動する人物1の位置に基づく所定の範囲内において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちのすべての顔画像220が照合成功である場合、照合成功したすべての顔画像220を含む照合結果を第2表示装置32に表示させてよい。
これにより、例えば、大人の顔画像220Eと、当該大人1Fに抱っこされている子供の顔画像220Fとが検出され、仮に子供の顔画像220Fが移動方向112とは反対の撮影装置で撮影されたものであっても、管理装置50は、移動方向先に設置された表示装置に、大人の顔画像220Eと子供の顔画像220Fの両方を表示させることができる。
<項目8>
項目1から6のいずれか1つに記載のゲートシステム9において、管理装置50は、第1ラインと前記第2ラインとの間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちの少なくとも1つの顔画像220が照合成功である場合、照合成功した少なくとも1つの顔画像220を含む照合結果を第1表示装置31に表示させ、第2方向に移動する人物1の位置に基づく所定の範囲内において複数の異なる顔画像220が検出され、複数の異なる顔画像220のうちの少なくとも1つの顔画像220が照合成功である場合、照合成功した少なくとも1つの顔画像220を含む照合結果を第2表示装置32に表示させてよい。
これにより、例えば、大人の顔画像220Eと、当該大人1Fに抱っこされている子供の顔画像220Fとが検出され、仮に一方の顔画像220が照合失敗であっても、管理装置50は、移動方向先に設置された表示装置に、照合成功した方の顔画像220を表示させることができる。
<項目9>
項目7又は8に記載のゲートシステム9において、管理装置50は、第1方向に移動する人物1の位置に基づく所定の範囲内において検出された複数の異なる顔画像220のうち照合失敗した顔画像220が第2撮影装置22で撮影されたものである場合、当該照合失敗である顔画像220を含む照合結果を第2表示装置32に表示させず、第2方向に移動する人物1の位置に基づく所定の範囲内において検出された複数の異なる顔画像220のうち照合失敗した顔画像220が第1撮影装置21で撮影されたものである場合、当該照合失敗である顔画像220を含む照合結果を第1表示装置31に表示させなくてよい。
これにより、例えば、大人の顔画像220Eと、当該大人1Fに抱っこされている子供の顔画像220Fとが検出され、仮に子供の顔画像220Fが移動方向112とは反対の撮影装置で撮影されたものであり、照合失敗であったとしても、管理装置50は、移動方向とは反対の表示装置に子供の顔画像220Fが照合失敗である旨を表示させないことができる。
<項目10>
項目1から9のいずれか1つに記載のゲートシステム9において、管理装置50は、第1ラインと第2ラインとの間を移動する各人物1の位置を検出し、第1方向に移動する人物1の位置に基づく所定の範囲内において複数の異なる顔画像220が検出された場合、最も高い位置にある顔画像220の照合結果を第1表示装置31に表示させ、第2方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像220が検出された場合、最も高い位置にある顔画像220の照合結果を第2表示装置32に表示させてよい。
これにより、例えば、人物の顔画像220Gと、当該人物1の服にプリントされている服の顔画像220Hとが検出された場合であっても、管理装置50は、人物の顔画像220Gの方の照合結果を、当該人物1の移動方向に設置された表示装置に、正しく表示させることができる。
<項目11>
項目1から10のいずれか1つに記載のゲートシステム9において、管理装置50は、第1撮影装置21にて撮影された第1の画像に含まれる人物1の位置と、第2撮影装置22にて撮影された第2の画像に含まれる人物1の位置との差分が、人物1の身体の厚みに基づく所定の閾値(W)よりも小さい場合、第1の画像に含まれる人物1の位置と第2の画像に含まれる人物1の位置とは、同一人物の位置を示すと推定してよい。
これにより、管理装置50は、例えば、人物1の正面を撮影した第1の画像と、人物1の背面を撮影した第2の画像とが、同一人物のものであるか否かを推定することができる。
<項目12>
項目11に記載のゲートシステム9において、管理装置50は、差分における人物の身体の厚み方向の成分が、人物に身体の厚みに基づく所定の第1の閾値よりも小さく、かつ、差分における人物の身体の幅方向の成分が、所定の第2の閾値よりも小さい場合、第1の画像に含まれる人物の位置と第2の画像に含まれる人物の位置とは、同一人物の位置と推定してよい。
これにより、例えば、人物1の正面を撮影した第1の画像と、人物1の背面を撮影した第2の画像とが、同一人物のものであるか否かを推定することができる。
<項目13>
項目11又は12に記載のゲートシステム9において、管理装置50は、第1撮影装置21、又は、第2撮影装置22にて撮影された第1の画像に含まれる人物を撮影した第1の時刻と、第1撮影装置21、又は、第2撮影装置22にて撮影された第2の画像に含まれる人物を撮影した第2の時刻との時間差分が所定の閾値よりも小さい場合に、第1の画像に含まれる人物の位置と第2の画像に含まれる人物の位置とは、同一人物の位置を示すと推定してよい。
これにより、例えば、人物1を撮影した第1の画像と第2の画像とが、同一人物のものであるか否かを推定することができる。
<項目14>
項目2から13のいずれか1つに記載のゲートシステム9は、第1ライン上に設置された第1ゲート11と、第2ライン上に設置された第2ゲート12とをさらに備え、第1撮影装置21及び第1表示装置31は、第1ゲート11に備えられ、第2撮影装置22及び第2表示装置32は、第2ゲート12に備えられ、第1方向は、第1ゲート11から第2ゲート12への方向であり、第2方向は、第2ゲート12から第1ゲート11への方向であってよい。
これにより、第1ゲート11と第2ゲート12との間を移動する人物1に対して、適切に照合結果を見せることができる。
<項目15>
ゲート装置10は、通路2の所定の領域(例えば検出領域3)を第1方向に移動する人物の顔を撮影可能な第1撮影装置21と、通路2の所定の領域を第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置22と、第1方向に移動する人物が視認可能な画面を有する第1表示装置31と、第2方向に移動する人物が視認可能な画面を有する第2表示装置32と、を備える。ゲート装置10の制御方法では、第1撮影装置21及び第2撮影装置22は、通路2を移動する人物の顔画像を撮影し、第1表示装置31は、第1方向に移動する人物の顔画像の照合結果を表示し、第2方向に移動する人物の顔画像の照合結果を表示せず、第2表示装置32は、第2方向に移動する人物の顔画像の照合結果を表示し、第1方向に移動する人物の顔画像の照合結果を表示しない。
これにより、人物1の移動方向に設置されている表示装置に当該人物1の照合結果が表示され、人物1の移動方向と反対に設置されている表示装置には当該人物1の照合結果が表示されないので、第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができゲート装置10の制御方法を実現できる。
<項目16>
ゲート装置10は、通路2の所定の領域(例えば検出領域3)を第1方向に移動する人物の顔を撮影可能な第1撮影装置21と、通路2の所定の領域を第1方向とは反対の第2方向に移動する人物の顔を撮影可能な第2撮影装置22と、第1方向に移動する人物が視認可能な画面を有する第1表示装置31と、第2方向に移動する人物が視認可能な画面を有する第2表示装置32と、を備える。ゲート装置10の制御プログラムは、第1撮影装置21及び第2撮影装置22に、通路2を移動する人物の顔画像を撮影させ、第1表示装置31に、第1方向に移動する人物の顔画像の照合結果を表示させ、第2方向に移動する人物の顔画像の照合結果を表示させず、第2表示装置32に、第2方向に移動する人物の顔画像の照合結果を表示させ、第1方向に移動する人物の顔画像の照合結果を表示させない、ことをゲート装置10に実行させる。
これにより、人物1の移動方向に設置されている表示装置に当該人物1の照合結果が表示され、人物1の移動方向と反対に設置されている表示装置には当該人物1の照合結果が表示されないので、第1方向に移動する人物1と第2方向に移動する人物1とのそれぞれに対して、適切に照合結果を見せることができるゲート装置10の制御プログラムを実現できる。
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
本開示の技術は、人物の照合を行うシステム、装置、方法及びプログラム等に有用である。
1、1E、1H 人物
1C 前方人物
1D 共連れ人物
1F 大人
1G 子供
2 通路
3 検出領域
4 通信ネットワーク
9 ゲートシステム
10 ゲート装置
11 第1ゲート
12 第2ゲート
21 第1撮影装置
22 第2撮影装置
31 第1表示装置
32 第2表示装置
41 第1エッジ装置
42 第2エッジ装置
50 管理装置
60 顔照合装置
70A、70B、70C、70D、70E、70F 照合結果画像
100 人物情報
101 追跡ID
102 初回画像撮影時刻
103 画像更新時刻
104 身体画像
105 身体画像更新時刻
106 身体座標
107 顔画像
108 顔画像更新時刻
109 顔座標
110 顔照合ID
111 照合状況
112 移動方向
120 抱っこフラグ
121 抱っこ人物情報
122 身体画像
123 身体画像更新時刻
124 身体座標
125 顔画像
126 顔画像更新時刻
127 顔座標
128 顔照合ID
129 照合状況
140 複数顔フラグ
141 複数顔情報
142 顔画像
143 顔画像更新時刻
144 顔座標
145 顔照合ID
146 照合状況
200 身体画像
201、201A、201B、201C、201D 身体座標
220、220E、220F、220G、220H、220I 顔画像
221、221A、221F、221G、221H、221I 顔座標
301 照合ゾーン
302 通過判定ゾーン
311 第1ゲートに近い方の所定領域
312 第2ゲートに近い方の所定領域
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス

Claims (16)

  1. 通路の所定の領域を第1方向に移動する人物及び前記第1方向とは反対の第2方向に移動する人物を撮影可能な第1撮影装置と、
    前記通路の前記所定の領域を前記第2方向に移動する人物及び前記第1方向に移動する人物を撮影可能な第2撮影装置と、
    前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、
    前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、
    プロセッサと、を備え、
    前記プロセッサは、各人物の移動方向を検出し、
    前記第1撮影装置及び前記第2撮影装置は、前記通路を移動する人物の顔画像を撮影し、
    前記第1表示装置は、前記第1方向に移動する人物の顔画像の照合結果を表示し、前記第2方向に移動する人物の顔画像の照合結果を表示せず、
    前記第2表示装置は、前記第2方向に移動する人物の顔画像の照合結果を表示し、前記第1方向に移動する人物の顔画像の照合結果を表示しない、
    ゲートシステム。
  2. 前記所定の領域は、前記通路における仮想的な第1ラインと第2ラインとの間の領域の少なくとも一部であり、
    前記第1方向は、前記第1ラインから前記第2ラインへの方向であり、
    前記第2方向は、前記第2ラインから前記第1ラインへの方向である、
    請求項1に記載のゲートシステム。
  3. 前記第1ライン及び前記第2ラインの幅は、複数の人物が並んで通過可能な幅であり、
    前記第1表示装置及び前記第2表示装置は、それぞれ、複数の人物の照合結果を同時に表示可能である、
    請求項2に記載のゲートシステム。
  4. 前記プロセッサを含む管理装置をさらに備え、
    前記管理装置は、
    前記第1ラインと前記第2ラインとの間を移動する各人物の移動方向を検出し、
    前記第1方向に移動する人物の顔画像の照合結果を、前記第1表示装置に表示させ、前記第2表示装置に表示させず、
    前記第2方向に移動する人物の顔画像の照合結果を、前記第2表示装置に表示させ、前記第1表示装置に表示させない、
    請求項2に記載のゲートシステム。
  5. 前記管理装置は、
    前記第1撮影装置、及び、前記第2撮影装置から顔画像を取得することができない、前記第1ラインと前記第2ラインとの間を移動する第1の人物が存在する場合において、
    前記第1の人物が前記第1方向に移動している場合、前記第1の人物の身体画像を警告情報と共に前記第1表示装置に表示させ、前記第2表示装置に表示させず、
    前記第1の人物が前記第2方向に移動している場合、前記第1の人物の身体画像を警告情報と共に前記第2表示装置に表示させ、前記第1表示装置に表示させない、
    請求項4に記載のゲートシステム。
  6. 前記管理装置は、
    前記第1方向に移動する人物の顔画像が前記第2撮影装置にて撮影されたものである場合、前記第2表示装置に警告情報を表示させ、
    前記第2方向に移動する人物の顔画像が前記第1撮影装置にて撮影されたものである場合、前記第1表示装置に警告情報を表示させる、
    請求項4に記載のゲートシステム。
  7. 前記管理装置は、
    前記第1ラインと前記第2ラインとの間を移動する各人物の位置を検出し、
    前記第1方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出され、前記複数の異なる顔画像のうちのすべての顔画像が照合成功である場合、照合成功したすべての顔画像を含む照合結果を前記第1表示装置に表示させ、
    前記第2方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出され、前記複数の異なる顔画像のうちのすべての顔画像が照合成功である場合、照合成功したすべての顔画像を含む照合結果を前記第2表示装置に表示させる、
    請求項4に記載のゲートシステム。
  8. 前記管理装置は、
    前記第1ラインと前記第2ラインとの間を移動する各人物の位置を検出し、
    前記第1方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出され、前記複数の異なる顔画像のうちの少なくとも1つの顔画像が照合成功である場合、照合成功した少なくとも1つの顔画像を含む照合結果を前記第1表示装置に表示させ、
    前記第2方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出され、前記複数の異なる顔画像のうちの少なくとも1つの顔画像が照合成功である場合、照合成功した少なくとも1つの顔画像を含む照合結果を前記第2表示装置に表示させる、
    請求項4に記載のゲートシステム。
  9. 前記管理装置は、
    前記第1方向に移動する人物の位置に基づく所定の範囲内において検出された前記複数の異なる顔画像のうち照合失敗した顔画像が前記第2撮影装置で撮影されたものである場合、当該照合失敗である顔画像を含む照合結果を前記第2表示装置に表示させず、
    前記第2方向に移動する人物の位置に基づく所定の範囲内において検出された前記複数の異なる顔画像のうち照合失敗した顔画像が前記第1撮影装置で撮影されたものである場合、当該照合失敗である顔画像を含む照合結果を前記第1表示装置に表示させない、
    請求項7又は8に記載のゲートシステム。
  10. 前記管理装置は、
    前記第1ラインと前記第2ラインとの間を移動する各人物の位置を検出し、
    前記第1方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出された場合、最も高い位置にある顔画像の照合結果を前記第1表示装置に表示させ、
    前記第2方向に移動する人物の位置に基づく所定の範囲内において複数の異なる顔画像が検出された場合、最も高い位置にある顔画像の照合結果を前記第2表示装置に表示させる、
    請求項4に記載のゲートシステム。
  11. 前記管理装置は、
    前記第1撮影装置にて撮影された第1の画像に含まれる人物の位置と、前記第2撮影装置にて撮影された第2の画像に含まれる人物の位置との差分が、人物の身体の厚みに基づく所定の閾値よりも小さい場合、前記第1の画像に含まれる人物の位置と前記第2の画像に含まれる人物の位置とは、同一人物の位置を示すと推定する、
    請求項7又は8に記載のゲートシステム。
  12. 前記管理装置は、
    前記差分における前記人物の身体の厚み方向の成分が、前記人物に身体の厚みに基づく所定の第1の閾値よりも小さく、かつ、前記差分における前記人物の身体の幅方向の成分が、所定の第2の閾値よりも小さい場合、前記第1の画像に含まれる人物の位置と前記第2の画像に含まれる人物の位置とは、同一人物の位置と推定する、
    請求項11に記載のゲートシステム。
  13. 前記管理装置は、
    前記第1撮影装置、又は、前記第2撮影装置にて撮影された第1の画像に含まれる人物を撮影した第1の時刻と、
    前記第1撮影装置、又は、前記第2撮影装置にて撮影された第2の画像に含まれる人物を撮影した第2の時刻との時間差分が所定の閾値よりも小さい場合に、
    前記第1の画像に含まれる人物の位置と前記第2の画像に含まれる人物の位置とは、同一人物の位置を示すと推定する、
    請求項11に記載のゲートシステム。
  14. 前記第1ライン上に設置された第1ゲートと、前記第2ライン上に設置された第2ゲートとをさらに備え、
    前記第1撮影装置及び前記第1表示装置は、前記第1ゲートに備えられ、
    前記第2撮影装置及び前記第2表示装置は、前記第2ゲートに備えられ、
    前記第1方向は、前記第1ゲートから前記第2ゲートへの方向であり、
    前記第2方向は、前記第2ゲートから前記第1ゲートへの方向である、
    請求項2に記載のゲートシステム。
  15. 通路の所定の領域を第1方向に移動する人物及び前記第1方向とは反対の第2方向に移動する人物を撮影可能な第1撮影装置と、
    前記通路の前記所定の領域を前記第2方向に移動する人物及び前記第1方向に移動する人物を撮影可能な第2撮影装置と、
    前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、
    前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、を備えるゲート装置の制御方法であって、
    前記ゲート装置は、各人物の移動方向を検出し、
    前記第1撮影装置及び前記第2撮影装置は、前記通路を移動する人物の顔画像を撮影し、
    前記第1表示装置は、前記第1方向に移動する人物の顔画像の照合結果を表示し、前記第2方向に移動する人物の顔画像の照合結果を表示せず、
    前記第2表示装置は、前記第2方向に移動する人物の顔画像の照合結果を表示し、前記第1方向に移動する人物の顔画像の照合結果を表示しない、
    ゲート装置の制御方法。
  16. 通路の所定の領域を第1方向に移動する人物及び前記第1方向とは反対の第2方向に移動する人物を撮影可能な第1撮影装置と、
    前記通路の前記所定の領域を前記第2方向に移動する人物及び前記第1方向に移動する人物を撮影可能な第2撮影装置と、
    前記第1方向に移動する人物が視認可能な画面を有する第1表示装置と、
    前記第2方向に移動する人物が視認可能な画面を有する第2表示装置と、を備えるゲート装置の制御プログラムであって、
    前記ゲート装置に、各人物の移動方向を検出させ、
    前記第1撮影装置及び前記第2撮影装置に、前記通路を移動する人物の顔画像を撮影させ、
    前記第1表示装置に、前記第1方向に移動する人物の顔画像の照合結果を表示させ、前記第2方向に移動する人物の顔画像の照合結果を表示させず、
    前記第2表示装置に、前記第2方向に移動する人物の顔画像の照合結果を表示させ、前記第1方向に移動する人物の顔画像の照合結果を表示させない、
    ことをゲート装置に実行させる、ゲート装置の制御プログラム。
JP2022121914A 2022-07-29 2022-07-29 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム Active JP7496534B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022121914A JP7496534B2 (ja) 2022-07-29 2022-07-29 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
PCT/JP2023/022451 WO2024024326A1 (ja) 2022-07-29 2023-06-16 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
JP2024079523A JP2024103521A (ja) 2022-07-29 2024-05-15 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022121914A JP7496534B2 (ja) 2022-07-29 2022-07-29 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024079523A Division JP2024103521A (ja) 2022-07-29 2024-05-15 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2024018522A JP2024018522A (ja) 2024-02-08
JP7496534B2 true JP7496534B2 (ja) 2024-06-07

Family

ID=89706014

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022121914A Active JP7496534B2 (ja) 2022-07-29 2022-07-29 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
JP2024079523A Pending JP2024103521A (ja) 2022-07-29 2024-05-15 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024079523A Pending JP2024103521A (ja) 2022-07-29 2024-05-15 ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム

Country Status (2)

Country Link
JP (2) JP7496534B2 (ja)
WO (1) WO2024024326A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219704A (ja) 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
JP2016014936A (ja) 2014-06-30 2016-01-28 日本信号株式会社 移動経路特定装置
WO2020179730A1 (ja) 2019-03-04 2020-09-10 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022090301A (ja) 2020-12-07 2022-06-17 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、及び、通過管理方法
JP2022136702A (ja) 2021-03-08 2022-09-21 株式会社フジタ 顔認証システムおよび顔認証方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219704A (ja) 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
JP2016014936A (ja) 2014-06-30 2016-01-28 日本信号株式会社 移動経路特定装置
WO2020179730A1 (ja) 2019-03-04 2020-09-10 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022090301A (ja) 2020-12-07 2022-06-17 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、及び、通過管理方法
JP2022136702A (ja) 2021-03-08 2022-09-21 株式会社フジタ 顔認証システムおよび顔認証方法

Also Published As

Publication number Publication date
JP2024103521A (ja) 2024-08-01
WO2024024326A1 (ja) 2024-02-01
JP2024018522A (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
US10776627B2 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
JP5975353B2 (ja) 人数計測装置
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US9165390B2 (en) Object detection frame display device and object detection frame display method
JP4402505B2 (ja) 待ち時間案内システムおよび方法
JP2017199302A (ja) 判定装置、判定方法、判定プログラム及び記録媒体
JP2020019583A (ja) エレベータの注意喚起システム
CN114531898A (zh) 信息处理装置、信息处理方法和信息处理程序
WO2019012710A1 (ja) 解析装置、解析方法及びプログラム
JP7496534B2 (ja) ゲートシステム、ゲート装置の制御方法、及び、ゲート装置の制御プログラム
JP5025292B2 (ja) 不審者検知システム及び方法
JP2007058751A (ja) 物体判別装置、物体判別方法および物体判別プログラム
CN110268416B (zh) 图像处理装置
JP2006253787A (ja) 画像入力装置及びこの装置を備えた車両の乗員監視装置
JP7368092B2 (ja) 事故検出装置、及び、事故検出方法
JP2020063659A (ja) 情報処理システム
JP2011192220A (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
WO2022107548A1 (ja) 3次元骨格検出方法及び3次元骨格検出装置
WO2024154430A1 (ja) 人物照合システム、情報処理装置、人物照合方法、及び、人物照合プログラム
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
JP2021071967A (ja) 対応支援システム、方法及びプログラム
JP7342054B2 (ja) 乗降人数カウントシステム、乗降人数カウント方法、及び、乗降人数カウントプログラム
JP2019153184A (ja) 自動運転車両を制御するためのシステム、方法、及びプログラム
WO2019008789A1 (ja) 解析装置、解析方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231110

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240516

R150 Certificate of patent or registration of utility model

Ref document number: 7496534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150