JP6501302B2 - 行列末尾認識用の画像処理装置 - Google Patents

Description

この発明は、行列末尾認識用の画像処理装置に係り、例えば、入場ゲートや発券機等の前に出現する待ち行列における待ち時間推定等の用途に好適な行列末尾認識用の画像処理装置に関する。

入場ゲートや発券機等の前に出現する待ち行列における待ち時間推定等の用途に使用される画像処理装置としては、様々な従来例が知られている。

１つの従来例としては、行列を形成する個々の人物に着目してその像を抽出すると共に、隣接する像同士を直線で結ぶことで、行列ラインの総延長を算出し、別途推定される行列移動速度によりこれを除することで、行列の待ち時間を算出するもの（以下、「第１従来例」と称する）が知られている（特許文献１参照）。

また、他の１つの従来例としては、背景差分画像とフレーム間差分画像との差により得られる残画像を人の集合体とみなすと共に、それらの集合体のうちで最大の集合体を行列として認識する一方、こうして認識された行列の面積を予め定めた単位面積で除することにより、行列の人数を求め、これを予め定めた単位時間あたりの行列元入場者数で除することにより、待ち時間を求めるもの（以下、「第２従来例」と称する）が知られている（特許文献２参照）。

さらに、他の１つの従来例としては、エッジ背景差分画像とフレーム間差分画像とを重ね合わせた画像にラベリング処理を施すことにより得られた画像をもとに移動体のみのエッジ情報の追跡を行って移動体の輪郭画像を生成すると共に、この輪郭画像の凸形状を検出することで画像中の人の頭部を抽出し、この頭部をもとに人の数を計数するもの（以下、「第３従来例」と称する）が知られている（特許文献３参照）。

特開２００７−３１７０５２ 特開２００２−３２９１９６ 特開２０１５−０７０３５９

第１従来例にあっては、ほぼ一直線状に延びる待ち行列のみならず、折れ曲がったり蛇行したりする待ち行列にも適用できる利点はあるものの、人物像の個別抽出及びそれらの連繋に複雑な処理が必要で処理に時間がかかり、またコンピュータ負荷も大きいほか、多数の人物が重なり合う画像では人物の個別抽出が難しく、複雑な処理を行う割には、待ち時間算出精度はさほど期待し得ない。

第２従来例にあっては、行列を構成する個々の人に着目するのではなく、人の集合に着目する点で、複雑な処理は回避できるが、背景差分画像とフレーム間差分画像との差により得られる残画像を人の集合体とみなすと共に、それらの集合体のうちで最大の集合体を直ちに行列として認識すると言うアルゴリズムでは、行列周辺の通行人等の影響を大きく受けやすい。

第３従来例にあっては、輪郭画像の凸形状を検出することで画像中の人の頭部を抽出と言うアルゴリズムでは、駅の広場のような比較的に分散した群衆には適用できても、待ち行列を後方から俯瞰する画像のように、多数の人が重なり合う可能性の高い画像に適用した場合には、個々の人物の頭部を全て抽出することはかなり困難と思われる。

この発明は、上述の技術的背景に鑑みてなされたものであり、その目的とするところは、例えば、入場ゲートや発券機等の前に出現する待ち行列の末尾を比較的に高精度に認識することができ、これを利用することで、例えば、当該行列の待ち時間を求めることも可能な行列末尾認識用の画像処理装置を提供することにある。

この発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。

上記目的を達成するため、本発明に係る行列末尾認識用の画像処理装置は、以下のように構成されている。
すなわち、本発明の行列末尾認識用の画像処理装置は、１もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られる動画像から当該待ち行列の末尾を認識するための画像処理装置であって、非静止体抽出手段と、画素塊グループ化手段と、最遠点探索手段と、最遠点確定手段とを包含するものである。

前記非静止体抽出手段は、前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する。前記画素塊グループ化手段は、前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する。前記最遠点探索手段は、１の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する。前記最遠点確定手段は、前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する。なお、「変化後の安定性」を認定する手法としては、変化後の値が連続する一定フレーム数に亘りほぼ同一に維持されるかを判定する手法のみならず、連続する一定フレーム数あたり一定以上の割合でほぼ同一に維持されるかを判定する等々、ノイズによる影響を考慮した様々な手法を採用することができる。

このような構成によれば、非静止体画素を構成する１又は２以上の画素塊の中で、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶することから、行列周辺の通行人等の影響を受けることなく、真に、行列を構成する可能性の高い画素塊のみを先頭から末尾に向けて確実に探索することができ、さらに最遠点の探索についても、最後にグループに組み込まれた画素塊ではなくて、そのグループに含まれる全ての画素塊の中から探索するようにして、再度、グループ内を見渡して最も行列末尾の可能性が高い画素を最遠点とすることができ、加えて、こうして得られた最遠点を全てそのまま真の最遠点と認識するのではなく、列が延長された場合と列が短縮された場合とで、異なる基準により再確認することにより、認識応答性を維持しつつも、行列末尾周辺の通行人等による行列末尾の誤認を避けることができる。しかも、行列に含まれる人物を個別に認識するものではないので、画像処理全体は比較的に簡単な要素技術の組み合わせとなるため、処理も簡単で処理時間も比較的短く、通常の市販パソコンでも容易に実施することができる。

本発明の好ましい実施の一態様においては、前記最遠点確定手段が、前記最遠点の変化方向が行列先頭から遠ざかる方向であるときには、その変化後の最遠点が所定フレーム数に亘りほぼ一定に維持されたときに限り、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する処理を含む、ものであってもよい。

このような構成によれば、最遠点の変化方向が行列先頭から遠ざかる方向であるときには、その変化後の最遠点が何フレーム数継続するかを判定するだけで、変化後の最遠点が安定しているか否かを確実に判断することができ、通行人等による偽の最遠点に基づく、最遠点の誤認を簡単な処理で回避することができる。

本発明の好ましい実施の一態様においては、前記最遠点確定手段が、前記最遠点の変化方向が行列先頭へと近づく方向であるときには、直ちに（所定フレーム数を待つことなく）、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する処理を含む、ものであってもよい。

このような構成によれば、行列が前に進んだことなどにより、行列末尾が先頭へ近づいたときには、これは正常な末尾移動と判断して、直ちに、変化後の最遠点を真の最遠点として直ちに認識するから、行列末尾が正常に前へ進んだときには、そのことを即時に認識することができる。

本発明の好ましい実施の一態様によれば、前記俯瞰撮影は、想定される待ち行列の後方より行われ、かつ前記所定の行列延在方向とは、各フレーム画像の下方向とされる、ものであってもよい。

このような構成によれば、フレーム画像上の待ち行列の末尾は、フレーム画像の上下方向へと移動することとなるため、想定される行列延在方向はフレーム画像の上下方向に一致することとなり、各画素が行列末尾に近いか遠いかの判断を、各画素の垂直座標値をそのまま利用して容易に行うことができる。

本発明の好ましい実施の一態様によれば、前記非静止体抽出手段が、前記フレーム画像をそれに含まれる各種の像の輪郭を抽出してなる線画像に変換する輪郭抽出手段と、前記線画像の中で、背景に相当する線画像部分を、背景差分処理を用いて削除する背景削除手段と、前記背景差分処理後の線画像を構成する線を鮮明化する鮮明化手段とを含む、ものであってもよい。

このような構成によれば、背景削除処理に先立って輪郭抽出処理を行うと共に、輪郭抽出後にあっては、さらに、線画像の鮮明化を行うようにしているため、こうして得られる非静止体画像は、原フレーム画像に含まれる非静止体内部を白抜きとして輪郭を鮮明化したものとなり、以後の各種演算処理を、この輪郭像に含まれる画素に限定して行うことが可能となり、処理対象画素数の減少により、処理負荷の軽減化による高速動作を可能とすることができる。

このとき、輪郭抽出手段が、前記フレーム画像をモノクロ画像に変換するグレースケール化手段と、前記モノクロ画像に対して空間一次微分処理を施す空間一次微分手段と、前記空間一次微分処理後の画像を二値化して線画像を生成する二値化手段とを含む、ものであれば、原フレーム画像に含まれる全ての像の輝度差を強調した線画像を容易に得ることができる。

また、前記背景削除手段が、前記線画像を構成する線に含まれる画素の値を、当該画素の所定複数フレーム数前の値と照合し、両値が一致する画素を背景画素として削除する処理を含む、ものであれば、上記の線画像に含まれる像の中で、過去所定フレーム数以内に現れた物体の線画像（すなわち、建築物やテーブル等の真の背景画像のみならず、一定時間以上置かれたままの荷物等についても除かれた線画像）だけを確実に抽出することができる。

さらに、前記鮮明化手段が、前記背景削除後の線画像に含まれるノイズ等を原因とする微細な汚点を除去する収縮手段と、前記背景処理後の線画像に含まれる線の途切れた波線部分を繋いで太線化する膨張手段とを含む、ものであれば、線画像に含まれる線のかすれや途切れを修復すると共に、輪郭で囲まれる空間内に存在するノイズ汚点を削除して、後のラベリング処理における同一ラベルの付される画素領域を拡大して、非静止体の線画像全体を比較的少数かつ大きめの画素塊により区分し、後述するグループ化処理の効率化に寄与することなる。

本発明の好ましい実施の一態様によれば、前記画素塊グループ化手段が、前記抽出された非静止体を構成する画素のうちで、互いに隣接する画素に同一のラベルを付すことにより、非静止体を構成する画素を画素塊毎に区分するラベリング手段と、行列先頭に相当する１の画素塊に含まれる画素のうちで、所定の行列延在方向の最遠点に位置する画素を基準として、前記延在方向の遠方側に向けて設定された所定の探索領域内に、別のラベルの付された画素が存在するか否かを探索し、存在するときには、その画素が含まれる画素塊を同一グループに属する画素塊として記憶する処理を、新たに同一グループとして記憶された画素塊について、別のラベルの付された画素が存在しなくなるまで、全ての先頭相当画素塊について、繰り返す近接画素塊探査手段とを含む、ものであってもよい。

このような構成によれば、それぞれ固有のラベルが付された複数の画素塊（輪郭線像）に対して、待ち行列の想定される延在方向に向けて設定された探索領域を前提とした近接画素塊探索処理を施すことにより、周囲の通行人等を構成する画素塊を排除して、各レーンの待ち行列を構成する先頭から末尾に至る一連の画素塊だけを順次確実に抽出して１のグループに関係付けることができる。

本発明の好ましい実施の一態様によれば、前記最遠点探索手段が、同一グループに属する１の画素塊に含まれる画素のうちで、所定の行列延在方向の最遠点に位置する画素を探索する処理を、当該グループに属する全ての画素塊について繰り返すことにより、当該同一グループ内における最遠点を特定する処理を含む、ものであってもよい。

このような構成によれば、１のグループに最後に関係付けられた画素塊のみならず、そのグループにおける全ての画素塊について、所定の行列延在方向の最遠点に位置する画素を探索する処理を実行することから、行列末尾の可能性が高い最遠点をより確実に探し出すことができる。

本発明の好ましい実施の一態様によれば、前記最遠点確定手段が、同一グループ内最遠点の現フレームの値と１つ前のフレームの値との差が所定の許容値以内であるときには所定のフレームカウンタをインクリメントする一方、前記許容値を超えるときには前記フレームカウンタをクリアするカウンタ制御手段と、同一グループ内最遠点の現フレームの値と１つ前のフレームの値との差が所定の許容値を超えて変化するとき、その変化方向が近方向のときには、現フレームの値により真の最遠点の値を更新する一方、その変化方向が遠方向であるときには、前記フレームカウンタの値が所定フレーム数に達するのを待って、現フレームの値により真の最遠点の値を更新する最遠点真値の更新制御手段とを含む、ものであってもよい。

このような構成によれば、最遠点の変化方向が行列先頭へと近づく方向であるときには、直ちに、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として遅れることなく直ちに確定する一方、最遠点の変化方向が行列先頭から遠ざかる方向であるときには、その変化後の最遠点が何フレーム数継続するかを判定するだけで、変化後の最遠点が安定しているか否かを確実に判断することができ、通行人等による偽の最遠点に基づく、最遠点の誤認を簡単な処理で回避することができる。

別の一面から見た本発明は、行列末尾認識用の画像処理方法として把握することもできる。すなわち、この行列末尾認識用の画像処理方法は、１もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られた動画像から当該待ち行列の末尾を認識するための画像処理方法であって、非静止体抽出ステップと、画素塊グループ化ステップと、最遠点探索ステップと、最遠点確定ステップとを包含する。

前記非静止体抽出ステップは、前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する。前記画素塊グループ化ステップは、前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する。前記最遠点探索ステップは、１の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する。前記最遠点確定ステップは、前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する。

本方法発明によれば、前記装置発明と同様な作用効果が得られることに加えて、例えばパソコンに必要な画像処理プログラムを組み込んで実施する場合には、常時は、そのプログラムを外部の他社ストレージ装置やいわゆるクラウドセンタ等に置いておき、必要に応じて、当該パソコンに移送して実施する場合のように、当該プログラムを当該パソコンに常駐せずに実施することもできる。

別の一面からみた本発明は、コンピュータを、行列末尾認識用の画像処理装置として機能させるためのコンピュータプログラムとして把握することもできる。すなわち、このコンピュータプログラムは、コンピュータを、１もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られた動画像から当該待ち行列の末尾を認識するために、非静止体抽出手段と、画素塊グループ化手段と、最遠点探索手段と、最遠点確定手段とを包含する。

前記非静止体抽出手段は、前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する。前記画素塊グループ化手段は、前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する。前記最遠点探索手段は、１の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する。前記最遠点確定手段は、前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する。

本プログラム発明によれば、前記装置発明と同様な作用効果が得られることに加えて、プログラム単体でも、権限のない第三者による製造販売等の実施行為に対して、権利を行使できることは言うまでもない。

別の一面から見た本発明は、１もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影するカメラと、前記カメラから得られる動画像から当該待ち行列の末尾を認識するための画像処理装置とを包含する行列末尾の認識システムとして把握することもできる。

この場合、前記画像処理装置は、非静止体抽出手段と、画素塊グループ化手段と、最遠点探索手段と、最遠点確定手段とをを含む。

ここで、非静止体抽出手段は、前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する。前記画素塊グループ化手段は、前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する。前記最遠点探索手段は、１の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する。前記最遠点確定手段は、前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する。

本システム発明によれば、前記装置発明と同様な作用効果が得られることに加えて、画像処理装置のみならず、俯瞰撮影用のカメラ自体も、発明を構成する設備となるため、権限のない第三者による製造販売等の実施行為に対しては、画像処理装置を構成するコンピュータのみならず、俯瞰撮影用のカメラに対しても、その権利を行使できることは言うまでもない。

本発明に係る行列末尾認識用の画像処理装置は、これにさらに、当該画像処理装置から得られる行列末尾位置を、予め統計的に得られた、行列末尾位置と当該行列の待ち時間との相関に照らすことにより、現在の行列待ち時間を推定する待ち時間推定手段を付加することにより、行列待ち時間の推定装置を実現することもできる。

このような行列待ち時間の推定装置によれば、例えば、複数段階の行列末尾基準位置と各末尾基準位置のそれぞれに対応して、実際に測定を繰り返して得られた統計的な待ち時間とを対としてテーブルを作成しておき、本発明装置から得られる行列末尾位置に基づいてテーブル参照処理並びに適宜な補間処理を実行することにより、自動生成された行列末尾位置に基づいて、該当する待ち時間を推定することができる。

このとき、複数レーンの待ち行列のそれぞれについて、現在の待ち時間を推定すると共に、それらの待ち時間に基づいて、当該複数レーンに対応する総合的な１個の待ち時間を決定する、ようにしてもよい。

このような構成によれば、例えば、空港の出発ゲートのように、複数のゲートが存在すると共に、各ゲートには複数レーンの待ち行列が生ずるような場合、各ゲート単位の待ち時間を推定して、これを適宜な通知手段を介して搭乗予定客に知らせることにより、搭乗予定客は、比較的に空いている出発ゲートを選ぶことが可能となる。

本発明に係る行列末尾認識用の画像処理装置によれば、非静止体画素を構成する１又は２以上の画素塊の中で、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶することから、行列周辺の通行人等の影響を受けることなく、真に、行列を構成する可能性の高い画素塊のみを先頭から末尾に向けて確実に探索することができ、さらに最遠点の探索についても、最後にグループに組み込まれた画素塊ではなくて、そのグループに含まれる全ての画素塊の中から探索するようにして、再度、グループ内を見渡して最も行列末尾の可能性が高い画素を最遠点とすることができ、加えて、こうして得られた最遠点を全てそのまま真の最遠点と認識するのではなく、列が延長された場合と列が短縮された場合とで、異なる基準により再確認することにより、認識応答性を維持しつつも、行列末尾周辺の通行人等による行列末尾の誤認を避けることができる。しかも、行列に含まれる人物を個別に認識するものではないので、画像処理全体は比較的に簡単な要素技術の組み合わせとなるため、処理も簡単で処理時間も比較的短く、通常の市販パソコンでも容易に実施することができる。

図１は、本発明の一実施例である空港出発ゲートにおける待ち時間推定システムの構成図である。 図２は、保安検査場入口の待ち行列とカメラの撮影方向との関係を示す説明図である。 図３は、待ち行列の末尾と統計的待ち時間との関係を示す説明図である。 図４は、待ち時間生成ＰＣが実行するプログラムの全体を示すゼネラルフローチャートである。 図５は、行列末尾の認識処理の詳細フローチャートである。 図６は、非静止体構成画素の抽出処理の詳細フローチャートである。 図７は、輪郭抽出及び鮮明化処理の詳細フローチャートである。 図８は、背景削除処理の詳細フローチャートである。 図９は、近接画素塊同士のグループ化処理の詳細フローチャートである。 図１０は、各グループ内最下点の探索処理の詳細フローチャートである。 図１１は、各グループ内の最下点の確定処理の詳細フローチャートである。 図１２は、待ち時間推定処理の詳細フローチャートである。 図１３は、画像処理の過程を模式的に示す説明図（その１）である。 図１４は、画像処理の過程を模式的に示す説明図（その２）である。 図１５は、画像処理の過程を模式的に示す説明図（その３）である。 図１６は、画像処理の過程を模式的に示す説明図（その４）である。 図１７は、輪郭抽出処理後の画像例を示す説明図である。 図１８は、背景削除及び鮮明化処理後の画像例を示す説明図である。 図１９は、グループ化処理後の画像例とゲート通過所要時間との関係を示す説明図である。

以下に、本発明の好適な実施の一形態である待ち時間推定装置を、空港出発ゲートの前に出現する待ち行列を例にとり、添付図面を参照しながら詳細に説明する。なお、いうまでもないが、本発明は、鉄道駅や公営レース等の発券場の前に出現する待ち行列、さらには、スーパーマーケットやコンビニエンスストア等の決済場（レジ）の前に出現する待ち行列等々にも、広く適用可能であることは勿論である。

＜前置き＞
一般に、空港の各出発ゲートのそれぞれには、互いに並列な複数レーンの搭乗客用通路を有する保安検査場が設けられている。各搭乗客用通路には、身体検査用の金属探知器のほか、持ち物透視検査のためのＸ線探知器等々の各種の検査装置が設けられている。

それらの検査装置はかなりの高精度であることに加え、昨今、テロ対策等々により検査はより慎重に実施されることもあり、搭乗客一人当たりの最低検査所要時間は長大化する傾向にあり、保安検査場の各レーンの搭乗客用通路の入り口の前には、検査待ちの行列が出現するのが通例である。そのため、当該出発ゲートの保安検査場を通って、一般客用フロア領域から搭乗客用フロア領域に入り込む際の通過所要時間（すなわち、待ち行列の待ち時間）は、この検査待ち行列の長さにより大きく変動する。

本発明に係る行列末尾認識用の画像処理装置は、出発ゲートの各レーン毎の待ち行列末尾をリアルタイムに自動認識して、各レーン毎や各出発ゲート毎の待ち時間、すなわち通過所要時間を推定するために利用することができる。

＜空港設備について＞
本実施例システムが適用される空港には、図１に示されるように、第1ゲート〜第4ゲートからなる４カ所の出発ゲートが互いに適当な距離を隔てて設けられており、各出発ゲートの内部には、図３に示されるように、第1レーン（Ｌ１）〜第4レーン（Ｌ４）からなる４レーンの搭乗客用通路を有する保安検査場が設けられている。各レーンの搭乗客用通路の入り口の前には、搭乗客の待ち行列が出現するのが通例である。そのため、各出発ゲートには、各レーン（Ｌ１）〜（Ｌ４）の搭乗客用通路の延在方向に沿って、互いにほぼ並行に延在する４列の待ち行列が、出現することとなる。

＜俯瞰撮影用のカメラ及びその配置について＞
第1ゲート〜第4ゲートからなる４カ所の出発ゲートのそれぞれには、搭乗客の待ち行列を俯瞰撮影するために、動画撮影用のカメラが設けられる。各ゲート毎のカメラの台数及び撮影方向は、各カメラの視野内に、４列の待ち行列が互いに離隔して収まるか否か、換言すれば、４列の待ち行列が視野内において互いに列同士で重なり合うことがないようにして決定される。そのような観点からすれば、各ゲート毎のカメラの台数及び撮影方向としては、様々な選択肢が存在する。一例として、カメラの台数を１台とするのであれば、４列の待ち行列をその後方から充分な距離を隔てて俯瞰撮影するのが好ましい。もっとも、周囲の建築物の状況等により、充分な距離を隔てることが困難な場合には、カメラの台数を２台以上として、例えばカメラの台数を２台とする場合、第１のカメラにより隣接する２列分の待ち行列をその後方から、また第２のカメラにより隣接する２列分の待ち行列を、その後方から、俯瞰撮影するといった手法を採用してもよいであろう。

図１〜図３にあっては、各出発ゲート前の４列の待ち行列を、充分なる距離を隔てて、１台のカメラにより、その後方から俯瞰撮影する例が示されている。すなわち、第１ゲートの４列の待ち行列は第１カメラ２−１により、第２ゲートの４列の待ち行列は第２カメラ２−２により、第３ゲートの４列の待ち行列は第３カメラ２−３により、及び第４ゲートの４列の待ち行列は第４カメラ２−４により、それぞれ、その後方より、充分なる距離を隔てた位置から俯瞰撮影される。なお、図２において、符号３は、待ち行列を構成する人である。また、図３においては、待ち行列を構成する人３は、図面を簡素化するために、行列の一部のみを示すもので、他の大多数の行列部分は省略されている。さらに、図３において、出発ゲート入り口からカメラ２の取付位置までの距離は、紙面の関係上、大幅に縮小されていることに注意されたい。

カメラ２としては様々な形式のものを任意に採用できるが、この例にあっては、毎秒３０フレームの撮影レートを有し、かつ通信機能を有する天井取付型のドームカメラが採用され、図２に示されるように、保安検査場の入り口の正面前方、充分に離間する位置にある天井面に取り付けられている。

＜本発明の画像処理装置を構成する待ち時間生成ＰＣについて＞
図１に示されるように、第１ゲートの４列の待ち行列を俯瞰撮影する第１カメラ２−１、第２ゲートの４列の待ち行列を俯瞰撮影する第２カメラ２−２、第３ゲートの４列の待ち行列を俯瞰撮影する第３カメラ２−３、及び第４ゲートの４列の待ち行列を俯瞰撮影する第４カメラ２−４は、それぞれ、ＬＡＮケーブルを介して、最終的に待ち時間を生成するための１台のパーソナルコンピュータ（以下、「待ち時間生成ＰＣ」と称する）１に接続される。なお、パーソナルコンピュータとしては、本体部（ＣＰＵ、ハードディスク、メモリ、無線ＬＡＮボード、等々を含む）、ディスプレイ、操作部（マウス、キーボード、等々を含む）を備えた市販の通常性能のものを任意に採用することができ、そのハードウェア構成やＯＳ等のシステム構成については、各種の文献により当業者には周知であるから、説明は省略する。待ち時間生成ＰＣ１は、図示を略するが、無線ＬＡＮを介して、空港の管理サーバにも接続可能とされている。

＜待ち時間生成用ＰＣに組み込まれるコンピュータプログラムの全体について＞
待ち時間生成ＰＣ１で実行される処理（コンピュータプログラム）の全体を概略的に示すゼネラルフローチャートを図４に示す。同図に示されるように、この処理は、要するに、所定のカメラポインタの値を初期値（ステップ１００）から、第１カメラ→第2カメラ→第３カメラ→第４カメラのように、次々と更新しつつ（ステップ１０６）、その更新の都度、ポインタ指定のカメラからの画像を取得する処理（ステップ１０１）、最新１２０フレーム分（過去４秒以内）の画像を保存するＦＩＦＯ処理（ステップ１０２）、行列末尾を認識する処理（ステップ１０３）、及び待ち時間を推定する処理（ステップ１０４）からなる一連の処理を、全カメラに対する処理が完了するまで繰り返し（ステップ１０５ＮＯ）、処理が完了するのを待って（ステップ１０５ＹＥＳ）、待ち時間推定値を所定ファイルに保存する処理（ステップ１０７）及び空港の管理サーバへのファイルを転送する処理（ステップ１０８）を実行し、以上の一連の処理（ステップ１００〜１０９）を、所定の操作で運用が停止されるまで繰り返し（ステップ１０９ＮＯ）、運用停止が確認されるのを待って（ステップ１０９ＹＥＳ）、処理を終了するように構成されている。

＜行列末尾の認識処理の詳細について＞
行列末尾の認識処理（ステップ１０３）の詳細を図５に示す。同図に示されるように、この処理は、要するに、非静止体画素の抽出処理（ステップ１０３０）と、近接画素塊同士のグループ化処理（ステップ１０３１）と、各グループ内最下点の探索処理（ステップ０３２）と、各グループ内最下点の確定処理（ステップ１０３３）を含んで構成されている。

ここで、非静止体画素の抽出処理（ステップ１０３０）は、１／３０秒毎に取得されるフレーム画像から人物等に相当する非静止体構成画素を抽出する処理であり、後に、図６を参照して詳述するように、輪郭抽出処理（ステップ１０３００）、背景削除処理（ステップ１０３０１）、及び鮮明化処理（ステップ１０３０２）を含んで構成される。

また、近接画素塊同士のグループ化処理（ステップ１０３１）は、後に、図９を参照して詳述するように、抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する処理である。

また、各グループ内最下点の探索処理（ステップ１０３２）は、後に、図１０を参照して詳述するように、１の画素塊グループに属する全画素塊の中から、所定の行列延在方向（この例では、画面の下方向）における最遠点（この例では、最下点）を探索して行列末尾候補として記憶する処理である。

さらに、各グループ内最下点の確定処理（ステップ１０３３）は、後に、図１１を参照して詳述するように、行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する処理である。
＜非静止体構成画素の抽出処理の詳細について＞
非静止体構成画素の抽出処理の詳細を図６に示す。同図に示されるように、この処理は、フレーム画像をそれに含まれる各種の像の輪郭を抽出してなる線画像に変換する輪郭抽出処理（ステップ１０３００）と、前記線画像の中で、背景に相当する線画像部分を、背景差分処理を用いて削除する背景削除処理（ステップ１０３０１）と、前記背景差分処理後の線画像を構成する線を鮮明化する鮮明処理（ステップ１０３０２）とを含んで構成されている。そのため、この非静止体構成画素の抽出処理においては、単に、非静止体画素により構成される個々の画素塊の全体ではなくて、個々の画素塊の輪郭のみが選択的に抽出される結果、後の探索処理や照合処理における処理対象画素が輪郭部分にのみ限定され、対象画素数の大幅減少により、処理速度の向上に寄与することとなる。

＜輪郭抽出処理について＞
輪郭抽出処理（ステップ１０３００）は、この例にあっては、図７（ａ）に示されるように、フレーム画像をモノクロ画像に変換するグレースケール化処理（ステップ１０３００−１）と、モノクロ画像に対して、公知のｓｏｂｅｌフィルタを使用して、空間一次微分を施す空間一次微分処理（ステップ１０３００−２）と、空間一次微分処理後の画像を二値化して線画像を生成する二値化処理（ステップ１０３００−３）とを含んで構成されている。
グレースケール化処理（ステップ１０３００−１）は、周知のように、ＲＧＢ値を様々なアルゴリズムに基づいて均等化する処理であるが、本発明においては、公知の手法のものを任意に採用することができる。空間一次微分処理（ステップ１０３００−２）は、要するに、隣接する画素の輝度差に相当する画素値を生成する処理であり、これによりグレースケール化後の画像に含まれる画素塊の輪郭部分を朧気ながら浮き立たせることができる。二値化処理（ステップ１０３００−３）は、空間一次微分後の画像を構成する各画素値を、適当な輝度しきい値をもって二値化することにより、画素塊の輪郭部分に相当する線像を浮き立たせることができる。

グレースケール化処理後の画像例を図１３（ａ）に、空間一次微分処理並びに二値化処理後の画像例を図１３（ｂ）に、それぞれ、模式的に示す。なお、それらの図において、ＰＣＧ１１，ＰＣＧ１２，ＰＣＧ１３は、それぞれ待ち行列を構成する人物等に相当する画素塊、ＰＣＧ２は、待ち行列を構成しない人物等に相当する画素塊、ＰＣＧ３１，ＰＣＧ３２は背景物に相当する画素塊、４は画素塊の輪郭線、５はノイズに相当する汚点である。図１３（ａ）の画像と図１３（ｂ）の画像とを比較して明らかなように、グレースケール化処理後の画像に対して、空間一次微分処理並びに二値化処理を施すと、輪郭線４を含む線画を得ることがとできる。もっとも、この状態の線画においては、輪郭線４の太さは不揃いであり、部分的には途切れた波線状の箇所も存在するほか、多数のノイズに相当する汚点５も少なからず存在する。

＜背景削除処理について＞
背景削除処理（ステップ１０３０１）の詳細を図８に示す。背景削除処理は、要するに、線画像を構成する線に含まれる画素を、当該画素の所定フレーム数前の値と照合し、両者が一致する画素を背景画素として削除する処理である、すなわち、同図に示されるように、この処理は、画素指定（ポインタ）の値を初期値（例えば、画面の左上）から水平方向へ１画素ずつ移動させる処理を、垂直下方向へと１画素ずつシフトさせながら（ステップ１０３０１−１，１０３０１−６）、各画素値を探査しつつ、それが輪郭部分であって、かつ１２０フレーム前の画素値と一致する場合に限り、その画素を背景とみなして削除する処理（ステップ１０３０１−２，１０３０１−３，１０３０１−４）を、全画素について処理が完了するまで（ステップ１０３０１−５ＮＯ）、繰り返し実行するものである。この処理にあっては、背景差分の基準となる画像を柱やテーブル等の本来の背景物を含む初期画像に固定するのではなく、常に、１２０フレーム時間毎に更新するようにしているため、空港フロアに置かれたスーツケースやその他の荷物であっても、１２０フレーム時間（４秒）以上に亘り継続的に置かれたまま場合には、それらの荷物は背景物とみなして削除されることから、それらの荷物が待ち行列の一部と誤認されることがない。

＜鮮明化処理について＞
鮮明化処理（ステップ１０３０２）の詳細を図７に示す。同図に示されるように、この処理は、背景削除後の線画像に含まれるノイズ等を原因とする微細な汚点を除去する収縮処理と、背景処理後の線画像に含まれる線の途切れた波線部分を繋いで太線化する膨張処理とを含んで構成されている。
背景削除処理後の画像例を図１４（ａ）に、鮮明化処理後の画像例を図１４（ｂ）に、それぞれ、模式的に示す。図１４（ａ）の画像と図１４（ｂ）の画像とを比較して明らかなように、背景削除処理後の画像に対して鮮明化処理を施すことにより、背景削除処理後の画像に存在した輪郭線４は波線部分が修復されかつ太線化された輪郭線４Ａとなり、またノイズ汚点５は抹消されることとなる。この太線化された輪郭線４Ａによれば、後に、ラベリング処理を実行する際に、同一ラベルを付する範囲が広くなり、画素塊の大型化かつ少数化に寄与することとなる。

＜近接画素塊同士のグループ化処理について＞
近接画素塊同士のグループ化処理の詳細を図９に示す。同図に示されるように、この処理は、要するに、抽出された非静止体を構成する画素のうちで、互いに隣接する画素に同一のラベルを付すことにより、非静止体を構成する画素を画素塊毎に区分するラベリング処理（ステップ１０３１０）と、行列先頭に相当する１の画素塊に含まれる画素のうちで、所定の行列延在方向の最遠点（この例では、画面最下点）に位置する画素を基準として、前記延在方向の遠方側（この例では、画面下方向）に向けて設定された所定の探索領域（この例では、左右方向にそれぞれＸ画素、下方向にＹ画素の矩形の探索領域Ａ）内に、別のラベルの付された画素が存在するか否かを探索し、存在するときには、その画素が含まれる画素塊を同一グループに属する画素塊として記憶する処理を、新たに同一グループとして記憶された画素塊について、別のラベルの付された画素が存在しなくなるまで、全ての先頭相当画素塊について、繰り返す近接画素塊探査処理（ステップ１０３１１〜１０３１５）とを含んで構成される。

ラベリング処理（ステップ１０３１０）とは、当業者にはよく知られているように、何らかの像を形成する１の画素に着目して、それに隣接して（すなわち、上下左右の４個の画素に、又は上下左右に加えて、右上、右下、左上、左下の８個の画素に）、何らかの像を形成する他の画素が存在するときには、その画素に自分と同じラベルを付す作業を繰り返す処理のことを言う。ここで、像を形成する画素とは、先に図１４（ａ）を参照して説明した太線化された輪郭線４Ａに含まれる画素のことを指すこととなる。

その結果、上述のラベリング処理が終了すると、例えば、図１４（ａ）の画像中の画素塊ＰＣＧ１１の輪郭線４Ａを形成する全ての画素には第１のラベル（ラベル１）が、画素塊ＰＣＧ１２の輪郭線４Ａを形成する全ての画素には第２のラベル（ラベル２）が、画素塊ＰＣＧ１３の輪郭線４Ａを形成する全ての画素には第３のラベル（ラベル３）が、画素塊ＰＣＧ２の輪郭線４Ａを形成する全ての画素には第４のラベル（ラベル４）が、付される。

近接画素塊探索処理（ステップ１０３１１〜１０３１５）を、図１５を参照してより詳細に説明すると、先ず、着目ラベル（ポインタ）を初期値（例えば、ラベル１）に設定したのち（ステップ１０３１１）、当該ラベル（ラベル１）が付された画素塊（例えば、画素塊ＰＣＧ１１の輪郭線４Ａ部分）に含まれる画素のうちで最下点に位置する画素（Ｐｚ）から見て、図１５（ｂ）に示す所定の探索領域（例えば、左右方向にそれぞれＸ画素、下方向にＹ画素の矩形の探索領域）Ａ内に別のラベル（例えば、ラベル２、ラベル３・・・）が付された画素が存在するか否かを判定する（ステップ１０３１２）。

ここで、別のラベル（例えば、ラベル２）の付された画素が存在するときには（ステップ１０３１２ＹＥＳ）、その画素が含まれる画素塊（例えば、画素塊ＰＣＧ１２の輪郭線４Ａ部分）を同一グループ（例えば、第１グループであるグループＧ１）に関係付ける（ステップ１０３１３）。

以上の処理を、新たにグループＧ１に組み込まれた画素塊について、当該画素塊の最下点（Ｐｚ）から見て所定の探索領域Ａ内に別のラベルが付された画素が発見されなくなるまで繰り返す（ステップ１０３１２，１０３１３）。

こうして、別のラベルが付された画素が発見されなくなったならば（ステップ１０３１２ＮＯ）、着目ラベルを未処理値に更新したのち（ステップ１０３１４）、以上の処理（ステップ１０３１２，１０３１３）を、全ラベルについて処理が終了するまで繰り返す（ステップ１０３１５ＮＯ）。
以上の近接画素探索処理（ステップ１０３１１〜１０３１５）で使用される探索領域Ａは、画面内において待ち行列は下方へ延出するとの想定の下に、画面の主として下方向へ広がる探査領域Ａ内において、次々と、画素塊の構成画素を探索しては、見つかった画素塊ＰＣＧ１２，ＰＣＧ１３を同一のグループＧ１に組み込んで行くものであるから、結果として、グループＧ１内には、周囲の通行人等に対応する画素塊を排除して、待ち行列を構成する可能性の高い一連の画素塊ＰＣＧ１１，ＰＣＧ１２，ＰＣＧ１３だけが含まれることとなる。

＜各グループ内最下点探索処理について＞
各グループ内最下点探索処理の詳細を図１０に示す。このグループ内最下点探索処理は、要するに、同一グループに属する１の画素塊に含まれる画素のうちで、所定の行列延在方向（この例では画面下方）の最遠点（最下点）に位置する画素を探索する処理を、当該グループに属する全ての画素塊について繰り返すことにより、当該同一グルーブ内における最遠点（最下点）を特定するものである。

すなわち、同図に示されるように、この処理は、グループ指定（ポインタ）の値を初期値（例えば、第１レーンに相当するグループＧ１）に設定したのち（ステップ１０３２０）、当該グループに属する全ての画素塊（例えば、ＰＣＧ１，ＰＣＧ１２，ＰＣＧ１３）の中から、最下点となる画素を探索し（ステップ１０３２１）、探索された最下点を記憶する処理（ステップ１０３２２）を、グループ指定を次々と更新しては（ステップ１０３２４）、繰り返し（ステップ１０３２１，１０３２２）、全グループの探索を待って（ステップ１０３２３）、処理を終了する。

このように、最後にグループに組み込まれた画素塊から最下点を探索するのではなく、グループに属する全ての画素塊の中から、最下点を探査することにより、行列末尾である可能性の高い最下点を確実に探索することができる。

＜各グループ内最下点の確定処理について＞
各グループ内の最下点の確定処理の詳細を図１１に示す。この各グルーブ内最下点の確定処理は、要するに、同一グループ内最遠点（この例では、最下点）の現フレームの値と１つ前のフレームの値との差が所定の許容値以内であるときには所定のフレームカウンタをインクリメントする一方、許容値を超えるときには前記フレームカウンタをクリアするカウンタ制御処理と、同一グループ内最遠点（この例では、最遠点）の現フレームの値と１つ前のフレームの値との差が所定の許容値を超えて変化するとき、その変化方向が近方向（この例では、画面上方）のときには、現フレームの値により真の最遠点（この例では、最下点）の値を更新する一方、その変化方向が遠方向（この例では、画面下方）であるときには、フレームカウンタの値が所定フレーム数に達するのを待って、現フレームの値により真の最遠点（最下点）の値を更新する最遠点真値（最下点真値）の更新制御処理とを含むものである。

すなわち、同図において、処理が開始されると（ステップ１３３０）、先ず、グループ指定（ポインタ）の値を第１レーンの待ち行列に相当する値に初期設定したのち（ステップ１０３３０）、現フレームの最下点と１つ前のフレームの最下点との差が、所定の許容値以内か否かの判定を行う（ステップ１０３３１）。

ここで、許容値以内、すなわち殆ど変化がない安定状態にあると判定されると（ステップ１０３３１）、安定時間を判定するための所定のフレームカウンタを＋１だけインクリメントしたのち（ステップ１０３３２）、さらに、フレームカウンタの値が規定値（例えば、３秒に相当する９０フレーム）を超えたか否か、すなわち所定の安定時間に達したか否かの判定を行う（ステップ１０３３３）。

ここで、規定値を超えたと判定されると（ステップ１０３３３ＹＥＳ）、待ち行列が延びたものと判断して、現在の最下点を真の最下点と確定するのに対して（ステップ１０３３４）、規定値を未だ超えてないと判定されると（ステップ１０３３３ＮＯ）、待ち行列が延びたか否かは未だ不明と判断して、最下点確定処理（ステップ１０３３４）はスキップされる。

これに対して、現フレームの最下点と１つ前のフレームの最下点との差が許容値以内でないと判定されると（ステップ１０３３１ＮＯ）、待ち行列が延びたか縮んだかの可能性ありと判断して、フレームカウンタをクリアしたのち（ステップ１０３３７）、さらに、現フレームの最下点が１つ前のフレームの最下点より下がったか否かが判定される（ステップ１０３３８）。

ここで、現フレームの最下点が１つ前のフレームの最下点より下がったと判定されると（ステップ１０３３８）、待ち行列が延長された可能性があると判断して、取りあえず、最下点確定処理（ステップ１０３３４）はスキップされるのに対して、現フレームの最下点が１つ前のフレームの最下点より下がっていないと判定されると（ステップ１０３３８ＮＯ）、待ち行列が短縮されたと直ちに判断して、最下点確定処理（ステップ１０３３４）を実行する。以後、全グループ（全レーン）に対する処理が完了するまで、グループ指定の値を次々と更新しては（ステップ１０３３６）、以上述べた一連の処理を実行すると共に、全グループに対する処理が完了するのを待って（ステップ１０３３５ＹＥＳ）、処理は終了する。

以上一連の処理（ステップ１０３３０〜１０３３８）が、フレーム毎に繰り返される結果、待ち行列が短縮されて、その行列末尾が前方へと移動する場合には、行列末尾は移動後の値に直ちに更新されるのに対して、待ち行列が伸張されて、その行列末尾が後方へと移動する場合には、所定の確認時間をまって、行列末尾は移動後の値に更新される。さらに、例えば、図１６に示されるように、正常な待ち行列（同図（ａ）参照）の末尾を通行人が矢印６の如く横切ることにより、一時的に、行列末尾に画素塊ＰＣＧ２２が現れて、ΔＹだけ待ち行列が延長するような場合（同図（ｂ）参照）には、前述したように、フレームカウンタの値が規定値に達する前に（ステップ１０３３３ＮＯ）、当該フレームカウンタの値はクリアされてしまうため（ステップ１０３３７）、このような通行人の横切り等による一時的な行列末尾の後方への変化があったとしても、待ち行列の真の末尾を見誤ることがない。

＜待ち時間推定処理について＞
次に、待ち時間推定処理（ステップ１０４）の詳細を図１２に示す。同図に示されるように、この処理は、先ず、グルーブ指定（ポインタ）を初期値（第１レーンに相当する値）に設定したのち（ステップ１０４１）、ポインタで指定されるグループの最下点を読み出し（ステップ１０４２）、読み出された最下点を相関テーブルを参照して待ち時間を求め（ステップ１０４３）、求められた待ち時間を該当するレーンの待ち時間として記録する（ステップ１０４３）。

この相関テーブルは、予め統計的な手法にて作成して用意する。すなわち、所定のメモリ内には、図３に示されるように、各行列末尾の基準線Ｐｒｅｆ１〜Ｐｒｅｆ５と、行列末尾が各基準線Ｐｒｅｆ１〜Ｐｒｅｆ５の位置にあるとき、それぞれ待ち時間がどの程度になるかを統計的に調べることにより得られた各待ち時間との関係を示す以下の相関テーブルが保存されている。

行列末尾位置 待ち時間
Ｐｒｅｆ１ ５分以下
Ｐｒｅｆ２ 約１０分
Ｐｒｅｆ３ 約１５分
Ｐｒｅｆ４ 約２０分
Ｐｒｅｆ５ 約３０分以上
相関テーブル

前述の待ち時間推定処理（ステップ１０４３）では、読み出された最下点から導き出される行列末尾位置を上述の相関テーブルの各基準線Ｐｒｅｆ１〜Ｐｒｅｆ５と照合すると共に、必要により、直線近似処理等により基準線間の隙間を補間することにより、待ち時間を生成する。こうして求められた待ち時間は、該当レーンの待ち時間として記録される（ステップ１０４４）。

以上の一連の処理（ステップ１０４２〜１０４４）が、グループ指定を更新しては（ステップ１０４６）、繰り返して実行され、全グループの処理が完了するのを待って（ステップ１０４５ＹＥＳ）、レーン毎の待ち時間からゲート全体の待ち時間を求める処理（ステップ１０４７）、及び求められた待ち時間を該当ゲートの待ち時間として記録する処理（ステップ１０８）を順次に実行して処理は終了する。

なお、レーン毎の待ち時間からゲート全体の待ち時間を求める処理（ステップ１０４７）としては、例えば各レーンの待ち時間のうちで最大待ち時間をそのゲートの待ち時間とする場合、各レーンの待ち時間の平均をとってそのゲートの待ち時間とする場合、等々、様々な方法を適宜に選択して採用すればよい。

＜画像処理の過程を示す画像例＞
以上、図５〜図１１のフローチャート、及び図１３〜図１６の模式図を参照して説明した画像処理を、実際の空港における出発ゲート前の待ち行列に適用した場合における画像例を、図１７〜図１９にまとめて示す。図において、図１７輪郭抽出処理後の画像例、図１８は背景削除及び鮮明化処理後の画像例、図１９はグループ化処理後の画像例であり、各待ち行列末尾位置が一点鎖線にて示され、その引き出し端には、該当する待ち時間が付されている。さらに、画素塊のうちで、待ち行列の一部としてグループ化された画素塊はハッチングが付され、それ以外の係員などに相当する画素塊は梨地表示とされている。なお、画面左下のコーナー部には、探索領域Ａに相当する白抜き矩形マークが描かれている。

＜行列待ち時間情報の利用＞
図４に戻って、以上説明した一連の処理（ステップ１０１〜１０４）が、第１ゲート〜第４ゲートからなる全てのゲートのカメラについて終了したならば（ステップ１０５）、こうして得られた待ち時間推定値は所定のファイルに保存され（ステップ１０７）、このファイルは空港側の管理サーバへと転送されて、様々な利用に供される。利用形態の一例としては、例えば、各出発ゲート毎の待ち時間を空港が運営するＷｅｂサイトに掲載することにより、搭乗客の閲覧に供すること等をあげることができる。

＜本実施例システムの作用効果＞
以上説明した空港出発ゲートの待ち時間推定システムによれば、行列末尾認識結果に基づいて統計的な手法で待ち時間を推定すると言う構成を基本的に採用することから、個々の人物像を繋げて待ち行列の全長を求め、それを行列の平均進行速度で除することにより、行列待ち時間を算出するものに比べて、処理が簡単でパソコンにとっての負荷が軽いという基本的な利点に加えて、待ち時間推定の基礎となる待ち行列末尾認定のために、非静止体構成画素の抽出処理、近接画素塊同士のグループ化処理、各グループ内最下点の探索処理、及び各グループ内最下点の確定処理からなる４つの処理を採用したことから、単に、画素塊を抽出して、画面下方へ互いに近接するもの同士をグループ化し、そのグループ内で行列延在方向の最下点に位置する画素を探し出すと言う簡単な処理で、行列末尾を高い確度で認識することができ、しかも、行列が伸張する場合と収縮する場合とで、最下点確定処理の内容を異ならせたため、認識信頼性は維持しつつも、全体としての認定応答性はさほど低下させることないという利点がある。

また、非静止体画素の抽出処理においては、非静止体画素塊の輪郭のみを抽出したことから、その後段における様々な演算処理の対象となる画素数を大幅に低減させることができ、このことからも、処理の高速化並びにパソコン負荷軽減に寄与することとなる。

また、行列末尾伸張時の末尾認識信頼性を高めるための手法として、グループ内で探索された最下点同士をフレーム間で比較する処理を採用することから、フレーム間で画素塊の個数が変動する場合にも、それによる影響を受けることなく、末尾認識信頼性を維持することができる。

さらに、非静止体画素塊の輪郭を抽出するに際しては、収縮処理及び膨張処理を導入して、ノイズ汚点の除去並びに輪郭線の太線による連続化を行ったため、後段に設けられたラベリング処理における画素同士の繋がりを良好として、画素塊の大型化並びに少数化を達成し、それにより、後のグループ化処理における画素塊同士の近接探索処理の効率化を実現することができる。

＜その他＞
なお、以上の実施例では、本発明に係る行列末尾認識用の画像処理装置を待ち時間推定の用途に適用したが、それ以外にも、認識された行列末尾の最大値に応じて、通過可能なレーン数を自動的に増減したり、スーパーのレジの場合、レジの係員を自動的に呼び出して使用可能なレジ数を増減したり、認識される行列末尾の時系列記録に基づいて、当該ゲートの利用傾向を分析して、最適なゲート運用方法を探る等々、様々な用途に適用できることは勿論である。

さらに、以上のフローチャート（図４〜図１２）は本発明を概念的に説明するためのものであり、実際のプログラミングに際しては、想定されるノイズ成分等を考慮して、様々なノイズフィルタリング処理を施すことは言うまでもない。

本発明に係る行列末尾認識用の画像処理装置よれば、例えば、入場ゲートや発券機等の前に出現する待ち行列の末尾を比較的に高精度に認識することができ、これを利用することで、例えば、当該行列の待ち時間を求めることも可能となる。

１ 待ち時間生成ＰＣ
２−１〜２−４ カメラ
３ 待ち行列を構成する人
４ 輪郭線
４Ａ 太線化された輪郭線
５ ノイズに相当する汚点
６ 通行人の横切る方向を示す矢印
Ａ 探索領域
Ｌ１〜Ｌ４ 第1レーン〜第４レーン
ＰＣＧ１１，ＰＣＧ１２，ＰＣＧ１３ 待ち行列を構成する画素塊
ＰＣＧ２ 待ち行列以外の画素塊（通行人等々）
ＰＣＧ３１，ＰＣＧ３２ 背景物を構成する画素塊

Claims (16)

1. １もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られる動画像から当該待ち行列の末尾を認識するための画像処理装置であって、
   前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する非静止体抽出手段と、
   前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する画素塊グループ化手段と、
   １の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する最遠点探索手段と、
   前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する最遠点確定手段とを包含する、行列末尾認識用の画像処理装置。
2. 前記最遠点確定手段が、前記最遠点の変化方向が行列先頭から遠ざかる方向であるときには、その変化後の最遠点が所定フレーム数に亘りほぼ一定に維持されたときに限り、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する処理を含む、請求項１に記載の行列末尾認識用の画像処理装置。
3. 前記最遠点確定手段が、前記最遠点の変化方向が行列先頭へと近づく方向であるときには、直ちに、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する処理を含む、請求項２に記載の行列末尾認識用の画像処理装置。
4. 前記俯瞰撮影は、想定される待ち行列の後方より行われ、かつ前記所定の行列延在方向とは、各フレーム画像の下方向とされる、請求項１に記載の行列末尾認識用の画像処理装置。
5. 前記非静止体抽出手段が、
   前記フレーム画像をそれに含まれる各種の像の輪郭を抽出してなる線画像に変換する輪郭抽出手段と、
   前記線画像の中で、背景に相当する線画像部分を、背景差分処理を用いて削除する背景削除手段と、
   前記背景差分処理後の線画像を構成する線を鮮明化する鮮明化手段とを含む、請求項１に記載の行列末尾認識用の画像処理装置。
6. 前記輪郭抽出手段が、
   前記フレーム画像をモノクロ画像に変換するグレースケール化手段と、
   前記モノクロ画像に対して空間一次微分処理を施す空間一次微分手段と、
   前記空間一次微分処理後の画像を二値化して線画像を生成する二値化手段とを含む、請求項５に記載の行列末尾認識用の画像処理装置。
7. 前記背景削除手段が、
   前記線画像を構成する線に含まれる画素の値を、当該画素の所定複数フレーム数前の値と照合し、両値が一致する画素を背景画素として削除する処理を含む、請求項５に記載の行列末尾認識用の画像処理装置。
8. 前記鮮明化手段が、
   前記背景削除後の線画像に含まれるノイズ等を原因とする微細な汚点を除去する収縮手段と、
   前記背景処理後の線画像に含まれる線の途切れた波線部分を繋いで太線化する膨張手段とを含む、請求項５に記載の行列末尾認識用の画像処理装置。
9. 前記画素塊グループ化手段が、
   前記抽出された非静止体を構成する画素のうちで、互いに隣接する画素に同一のラベルを付すことにより、非静止体を構成する画素を画素塊毎に区分するラベリング手段と、
   行列先頭に相当する１の画素塊に含まれる画素のうちで、所定の行列延在方向の最遠点に位置する画素を基準として、前記延在方向の遠方側に向けて設定された所定の探索領域内に、別のラベルの付された画素が存在するか否かを探索し、存在するときには、その画素が含まれる画素塊を同一グループに属する画素塊として記憶する処理を、新たに同一グループとして記憶された画素塊について、別のラベルの付された画素が存在しなくなるまで、全ての先頭相当画素塊について、繰り返す近接画素塊探査手段とを含む、請求項１に記載の行列末尾認識用の画像処理装置。
10. 前記最遠点探索手段が、同一グループに属する１の画素塊に含まれる画素のうちで、所定の行列延在方向の最遠点に位置する画素を探索する処理を、当該グループに属する全ての画素塊について繰り返すことにより、当該同一グルーブ内における最遠点を特定する処理を含む、請求項１に記載の行列末尾認識用の画像処理装置。
11. 前記最遠点確定手段が、
    同一グループ内最遠点の現フレームの値と１つ前のフレームの値との差が所定の許容値以内であるときには所定のフレームカウンタをインクリメントする一方、前記許容値を超えるときには前記フレームカウンタをクリアするカウンタ制御手段と、
    同一グループ内最遠点の現フレームの値と１つ前のフレームの値との差が所定の許容値を超えて変化するとき、その変化方向が近方向のときには、現フレームの値により真の最遠点の値を更新する一方、その変化方向が遠方向であるときには、前記フレームカウンタの値が所定フレーム数に達するのを待って、現フレームの値により真の最遠点の値を更新する最遠点真値の更新制御手段とを含む、請求項１に記載の行列末尾認識用の画像処理装置。
12. １もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られた動画像から当該待ち行列の末尾を認識するための画像処理方法であって、
    前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する非静止体抽出ステップと、
    前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する画素塊グループ化ステップと、
    １の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する最遠点探索ステップと、
    前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する最遠点確定ステップとを具備する、行列末尾認識用の画像処理方法。
13. コンピュータを、
    １もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影することにより得られた動画像から当該待ち行列の末尾を認識するために、
    前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する非静止体抽出手段と、
    前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する画素塊グループ化手段と、
    １の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する最遠点探索手段と、
    前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する最遠点確定手段とを備えた、行列末尾認識用の画像処理装置として機能させるためのコンピュータプログラム。
14. １もしくは２以上のレーンからなる待ち行列の出現が想定される領域を俯瞰撮影するカメラと、
    前記カメラから得られる動画像から当該待ち行列の末尾を認識するための画像処理装置とを包含し、
    前記画像処理装置は、
    前記動画像を構成する一連のフレーム画像のそれぞれから非静止体を構成する画素を抽出する非静止体抽出手段と、
    前記抽出された非静止体画素を、互いに隣接する画素を一塊に纏めてなる画素塊に区分すると共に、それらの区分された画素塊のうち、所定の行列延在方向において互いに近接する一連の画素塊を１のグループに属する画素塊として記憶する画素塊グループ化手段と、
    １の画素塊グループに属する全画素塊の中から、所定の行列延在方向における最遠点を探索して行列末尾候補として記憶する最遠点探索手段と、
    前記行列末尾候補として記憶される最遠点が相連続するフレーム画像間で所定の許容値を超えて変化したとき、その変化方向と変化後の安定性とに基づいて、前記行列末尾候補として記憶される最遠点を、真の行列末尾と認識されるべき最遠点として確定する最遠点確定手段とをを含む、行列末尾の認識システム。
15. 請求項１に記載の行列末尾認識用の画像処理装置と、
    前記画像処理装置から得られる行列末尾位置を、予め統計的に得られた、行列末尾位置と当該行列の待ち時間との関係に照らすことにより、現在の行列待ち時間を推定する待ち時間推定手段とを包含する、行列待ち時間の推定装置。
16. 複数レーンの待ち行列のそれぞれについて、現在の待ち時間を推定すると共に、それらの待ち時間に基づいて、当該複数レーンに対応する総合的な１個の待ち時間を決定する、請求項１５に記載の行列待ち時間の推定装置。