JP7113622B2 - 情報処理装置およびその制御方法 - Google Patents

Description

本発明は、待ち行列における待ち時間を推定する技術に関するものである。

利用施設において利用者が待ち行列を形成している場合の待ち時間を推定し報知するシステム等が知られている。例えば、待ち時間を推定し報知するシステムとして、行列をなしている利用者の画像を撮像し、画像解析により利用者の移動軌跡を検出し、利用者が形成する待ち行列を識別するシステムが知られている。

特許文献１では、利用施設の利用に要する単位平均時間と、識別した利用者の待ち行列と、に基づき、利用者が利用施設を利用可能になるまでの待ち時間を算出し報知するシステムが開示されている。また、特許文献２では、人の待ち行列の撮影画像から、人物およびグループを認識し、特定の人物またはグループの移動時間を計測し、待ち時間を推測する技術が開示されている。

特開２００５－３１６５８２号公報 特開２００４－２８７７５２号公報

しかしながら、上述の従来技術では、待ち行列が混雑し撮像画像において複数の人物が重なってしまう場合などには、人物の識別精度が低下し移動距離の算出および待ち時間の計算に誤差が大きくなるという課題がある。

本発明はこのような課題を鑑みてなされたものであり、待ち行列における待ち時間をより高精度に推定可能とする技術を提供することを目的とする。

上述の課題を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、複数のオブジェクトにより構成される待ち行列における待ち時間を推定する情報処理装置は、
前記待ち行列を撮影した画像において検出されたオブジェクトの個数を取得する第１の取得手段と、
単位時間あたりに前記待ち行列から出たオブジェクトの個数を取得する第２の取得手段と、
前記第１の取得手段により取得された個数が所定の閾値以上である場合に、前記第１の取得手段により取得された個数に補正係数を乗じることにより、前記第１の取得手段により取得された個数を、当該個数よりも多くなるように補正する補正手段と、
前記第１の取得手段により取得された個数が前記所定の閾値以上である場合には、前記補正手段により補正された個数と、前記第２の取得手段により取得された個数とに基づいて、前記待ち行列における待ち時間を推定する推定手段と、
を有する。

本発明によれば、待ち行列における待ち時間をより高精度に推定可能とする技術を提供することができる。

待ち時間推定システムの全体構成を示す図である。 情報処理装置及びネットワークカメラのハードウェア構成を示す図である。 情報処理装置の機能構成を示す図である。 検知部の詳細構成を示す図である。 人数算出部の詳細構成を示す図である。 待ち時間算出部の詳細構成を示す図である。 情報処理装置の動作を示すフローチャートである。 例示的な待ち行列の状況を説明する図である。 第１実施形態における人数算出処理の詳細フローチャートである。 第２実施形態における人数算出処理の詳細フローチャートである。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、ネットワークカメラにより撮像された待ち行列の画像に基づいて待ち時間を推定するシステムを例に挙げて以下に説明する。

＜システム構成＞
図１は、待ち時間推定システムの全体構成を示す図である。図１（ａ）は、システム構成の一例を示す図であり、図１（ｂ）は、想定する待ち行列の状況を説明する図である。

待ち時間推定システムは、情報処理装置１００、１以上のネットワークカメラ１０２、１以上のネットワークカメラ１０３を含む。情報処理装置１００、ネットワークカメラ１０２、ネットワークカメラ１０３は、ネットワーク１０１を介して相互に通信可能に接続されている。

図１（ｂ）は、待ち行列及び複数のネットワークカメラの配置を例示的に示している。ここでは、待ち行列は、予め設定された敷居等（実線の部分）で区切られた領域に存在する複数の人体により構成されている。１台のネットワークカメラ１０２は待ち行列の出口（先頭位置）を撮影するように配置されている。また、３台のネットワークカメラ１０３は、待ち行列を互いに異なるアングルで撮影するよう配置され、３台で当該待ち行列全体を撮影可能に配置されている。

待ち時間推定システムは、待ち行列における待ち時間を推定する。待ち行列における待ち時間とは、待ち行列の最後尾に新規に並んだオブジェクト（人体）が当該待ち行列の先頭位置まで進み出て当該待ち行列から出ていくまでにかかる時間のことである。ここでは、待ち時間推定システムは、タクシー乗り場で順番待ちをしている複数の人物で構成される待ち行列における待ち時間を推定することとする。すなわち、待ち行列の最後尾に並んだ時刻からタクシーに乗る時刻までの所要時間を推定する。

なお、待ち時間推定システムは、他の待ち行列の待ち時間を推定することとしてもよい。例えば、待ち時間推定システムは、金融機関のＡＴＭコーナー、遊園地やテーマパークにおけるアトラクションにおいて順番待ちしている複数の人物から構成される待ち行列の待ち時間を推定することも可能である。また、待ち時間推定システムは、工場のレーン上で加工処理が行われるのを待機している複数の中間加工品により構成される待ち行列の待ち時間を推定してもよい。また、待ち時間推定システムは、運送用の貨物を一時保管する倉庫におけるレーン上で、運送先の振分け処理が行われるのを待機している複数の貨物により構成される待ち行列の待ち時間を推定してもよい。

情報処理装置１００は、待ち行列を撮影した静止画や動画等の画像をネットワークカメラ１０２、１０３から取得し、待ち行列の待ち時間を推定する装置である。情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。

ネットワークカメラ１０２は、待ち行列の出口（先頭位置）付近を撮影し、撮影した静止画や動画等の画像を情報処理装置１００に送信するネットワークカメラである。一方、ネットワークカメラ１０３は、待ち行列の画像をネットワークカメラ１０２とは異なる方向から撮影し、撮影した画像を、情報処理装置１００に送信するネットワークカメラである。

図１（ｂ）の例では、１以上のネットワークカメラ１０３は、待ち行列の全体を撮影し、撮影した画像を情報処理装置１００に送信する。情報処理装置１００は、１以上のネットワークカメラ１０３から送信された画像から、人物を検知し、検知した人物の数を、待ち行列内のオブジェクト数（人数）とする。また、１以上のネットワークカメラ１０２は、待ち行列の出口付近を撮影し、撮影した画像を情報処理装置１００に送信する。情報処理装置１００は、ネットワークカメラ１０２から送信された画像から、待ち行列から出ていく人物を検知するごとに、検知した時刻を記憶する。情報処理装置１００は、例えば、時系列上で連続した複数のフレーム画像から、待ち行列の出口を通過する人物を検知する。

図２は、情報処理装置１００及びネットワークカメラ１０２のハードウェア構成を示す図である。図２（ａ）は、情報処理装置１００のハードウェア構成を示し、図２（ｂ）は、ネットワークカメラ１０２のハードウェア構成を示している。

情報処理装置１００は、メモリ１１０、ＣＰＵ１１１、通信制御部１１２、入力制御部１１３、表示制御部１１４を含む。

メモリ１１０は、各種プログラム、各種設定データ、各種閾値データ、待ち行列が撮影された画像データ等を記憶する記憶装置である。メモリ１１０は、例えば、ハードディスク、光ディスク、メモリカード、ソリッドステートドライブ等により構成される。ＣＰＵ１１１は、情報処理装置１００の処理を制御する中央演算装置である。

通信制御部１１２は、ネットワークを介した外部の装置との通信に利用される通信制御部である。入力制御部１１３は、入力装置１２０を介した情報処理装置１００への情報の入力を制御する入力制御部である。表示制御部１１４は、表示装置１３０への画面の表示を制御する表示制御部である。図２（ａ）では、情報処理装置１００と入力装置１２０と表示装置１３０とは、別体の装置として示しているが、一体構成の装置としてもよい。また、待ち時間推定システムは、複数の表示装置を表示装置１３０として含んでもよい。

ＣＰＵ１１１は、メモリ１１０等に記憶されたプログラムに基づき処理を実行することによって、図３～図６で後述する情報処理装置１００の各機能部、及び、図７、図８で後述するフローチャートの各処理工程などを実現する。

ネットワークカメラ１０２は、メモリ１４０、ＣＰＵ１４１、撮像部１４２、信号処理部１４３、駆動制御部１４４、通信制御部１４５を含む。

メモリ１４０は、各種プログラム、各種設定データ、待ち行列が撮影された画像データ等を記憶する記憶装置である。メモリ１４０は、例えば、ハードディスク、光ディスク、メモリカード、ソリッドステートドライブ等により構成される。ＣＰＵ１４１は、ネットワークカメラ１０２の処理を制御する中央演算装置である。

撮像部１４２は、撮像素子と撮像素子上に被写体の光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charged Coupled Device）等が用いられる。

信号処理部１４３は、撮像部１４２によって撮像された画像信号に対して信号処理を行う。信号処理部１４３は、例えば、撮像部１４２によって撮像された画像信号の符号化を行う。信号処理部１４３は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の符号化方式を用いて、撮像部１４２によって撮像された画像信号の符号化を行う。また、信号処理部１４３は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下Ｈ．２６４）の符号化方式を用いて、撮像部１４２によって撮像された画像信号の符号化を行うこととしてもよい。また、信号処理部１４３は、ＨＥＶＣ（High Efficiency Video Coding）の符号化方式を用いて、撮像部１４２によって撮像された画像信号の符号化を行うこととしてもよい。また、信号処理部１４３は、状況に応じて複数の符号化方式の中から符号化方式を選択して符号化を行うこととしてもよい。

駆動制御部１４４は、撮像部１４２の撮像方向、画角を変更させる制御を行う。ここでは、撮像部１４２の撮像方向をパン方向及びチルト方向に変更させることができ、また、撮像部１４２の撮像画角を変更することができることとする。ただし、ネットワークカメラ１０２は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。

通信制御部１４５は、ネットワーク１０１を介した情報処理装置１００等の外部の装置との通信に利用される通信制御部である。通信制御部１４５は、信号処理部１４３で処理が行われた撮像画像の情報を情報処理装置１００に送信する。更に、通信制御部１４５は、情報処理装置１００から送信されたネットワークカメラ１０２に対する制御命令を受信する。

ＣＰＵ１４１は、メモリ１４０等に記憶されたプログラムに基づき処理を実行することによって、ネットワークカメラ１０２の機能及びネットワークカメラ１０２における各種処理を実現する。

ネットワークカメラ１０３のハードウェア構成は、ネットワークカメラ１０２のハードウェア構成と同様である。ネットワークカメラ１０３のＣＰＵは、ネットワークカメラ１０３のメモリ等に記憶されたプログラムに基づき処理を実行することによって、ネットワークカメラ１０３における各種処理を実現する。

図３は、情報処理装置１００の機能構成を示す図である。情報処理装置１００は、検知部１０５、人数算出部１０６、待ち時間算出部１０７を含む。

検知部１０５は、ネットワークカメラ１０２から送信された待ち行列の出口の画像を解析し待ち行列に並ぶオブジェクト（人体）を認識する。これにより、検知部１０５は、待ち行列から出ていくオブジェクトを検知する。そして、検知部１０５は、検知した待ち行列から出たオブジェクトを出た時刻と対応付けて履歴情報（検知履歴）としてメモリ１１０等に記憶する。履歴情報とは、待ち行列からいつ、幾つのオブジェクトが出ていったかを示す情報である。例えば、所定の時間間隔ごとに待ち行列から出たオブジェクトの個数と待ち行列から出た時間帯とを対応付けて履歴情報としてもよい。

人数算出部１０６は、１以上のネットワークカメラ１０３から送信された待ち行列の画像からオブジェクトを認識し、待ち行列全体に含まれる（並んでいる）オブジェクトの個数を算出する。

待ち時間算出部１０７は、検知部１０５により記憶された履歴情報と、人数算出部１０６により取得された待ち行列全体に含まれるオブジェクトの個数と、に基づき、当該待ち行列における待ち時間を計算する。図３においては、検知部１０５、人数算出部１０６、待ち時間算出部１０７を、同一の情報処理装置１００に実装するように示しているが、複数の情報処理装置に分散して実装してもよい。その場合、その複数の情報処理装置が、連携して情報処理装置１００と同様の処理を行うこととなる。

図４は、検知部１０５の詳細構成を示す図である。検知部１０５は、通信部３０１、カメラ管理部３０２、コマンド管理部３０３、画像管理部３０４、解析部３０５、履歴記憶部３０６、問合せ部３０７を含む。

通信部３０１は、通信制御部１１２を介して、ネットワークカメラ１０２、１０３等の他の装置との通信を行う。カメラ管理部３０２は、ネットワークカメラ１０２、１０３から雲台機構や撮像機構の状態等のカメラの状態の情報を取得し、取得した情報をメモリ１１０等に記憶し管理する。コマンド管理部３０３は、雲台機構や撮像機構の状態を変更するコマンドや、ネットワークカメラ１０２、１０３に画像を要求するコマンドの生成や送信を管理する。

画像管理部３０４は、ネットワークカメラ１０２から送信された静止画や動画等の画像を取得し、メモリ１１０に記憶し管理する。解析部３０５は、ネットワークカメラ１０２から取得した画像に対して人体の検知及び追尾を行い、待ち行列から出ていくオブジェクトを検知する。メモリ１１０は、予め、ネットワークカメラ１０２から取得された画像における待ち行列が占める画像領域の情報を記憶している。解析部３０５は、例えば、メモリ１１０から待ち行列が占める画像領域の情報を取得し、ネットワークカメラ１０２から取得した画像において当該情報が示す画像領域から出ていくオブジェクトを、待ち行列から出ていくオブジェクトとして検知する。

履歴記憶部３０６は、解析部３０５により待ち行列から出ていくオブジェクトが検知された場合に、上述の履歴情報をメモリ１１０に記憶する。ここでは、待ち行列から出たオブジェクトの個数と待ち行列から出た時間帯との対応情報をメモリ１１０に記憶する。履歴記憶部３０６は、待ち行列から出ていくオブジェクトが解析部３０５により検知される度に、検知された時刻の情報を履歴情報としてメモリ１１０に記憶してもよい。問合せ部３０７は、履歴情報の問合せの受信に基づいて、履歴記憶部３０６により記憶された履歴情報から問合せに応じた情報を抽出し、問合せ元に送信する。

図５は、人数算出部１０６の詳細構成を示す図である。人数算出部１０６は、解析部４０１、記憶部４０２、通信部４０３、カメラ管理部４０４、コマンド管理部４０５、画像管理部４０６を含む。なお、通信部４０３、カメラ管理部４０４、コマンド管理部４０５、画像管理部４０６は、それぞれ、通信部３０１、カメラ管理部３０２、コマンド管理部３０３、画像管理部３０４と同様である。

解析部４０１は、ネットワークカメラ１０３から送信された画像からオブジェクト（人体）を検知し、待ち行列全体に含まれるオブジェクトの個数を取得する。解析部４０１は、複数のネットワークカメラ１０３からの画像から待ち行列全体に含まれるオブジェクトの個数を取得してもよい。また、解析部４０１は、単一のネットワークカメラ１０３により撮影された待ち行列の全体が含まれる画像から待ち行列全体に含まれるオブジェクトの個数を取得してもよい。また、ネットワークカメラ１０２から送信された画像を含めた解析を行ってもよい。

また、解析部４０１は、ネットワークカメラ１０３により撮影された画像内の待ち行列の領域に含まれるオブジェクトの個数に、その画像内の待ち行列の領域に対する待ち行列全体の領域の割合を乗じる。この処理により、待ち行列に含まれるオブジェクトの個数を取得してもよい。

記憶部４０２は、解析部４０１により算出された待ち行列に含まれるオブジェクトの個数の情報を、メモリ１１０等に記憶する。

図６は、待ち時間算出部１０７の詳細構成を示す図である。待ち時間算出部１０７は、算出部５０１、記憶部５０２、通信部５０３を含む。

通信部５０３は、通信部３０１と同様である。算出部５０１は、履歴記憶部３０６に格納された履歴情報と記憶部４０２に格納されたオブジェクトの個数の情報に基づいて、待ち時間を算出する。記憶部５０２は、算出部５０１により算出された待ち時間の情報を、メモリ１１０等に記憶する。

算出部５０１は、問合せ部３０７に対して、例えば、設定された期間についての履歴情報を問い合わせる。問合せ部３０７は、履歴記憶部３０６により記憶された履歴情報から、問合せに対応する期間における履歴情報を取得し、取得した履歴情報を、算出部５０１に送信する。算出部５０１は、問合せ部３０７から受信した履歴情報と、解析部４０１により取得された待ち行列に含まれるオブジェクトの個数と、に基づいて、待ち行列の待ち時間を計算する。

＜装置の動作＞
図７は、情報処理装置１００の動作を示すフローチャートである。具体的には、待ち行列における待ち時間の推定処理の流れを示している。

Ｓ６０１では、待ち時間算出部１０７の算出部５０１は、オブジェクトの個数に関連する情報を人数算出部１０６から取得する。例えば、算出部５０１は、待ち行列に含まれるオブジェクトの個数を人数算出部１０６に要求する。人数算出部１０６は、記憶部４０２に記憶された待ち行列に含まれるオブジェクトの個数を示す情報を、算出部５０１に送信する。算出部５０１は、受信した情報が示すオブジェクトの個数を、待ち行列に含まれるオブジェクトの個数として取得する。

Ｓ６０２では、待ち時間算出部１０７の算出部５０１は、現在時刻直前の設定された単位時間（例えば、１分間、３分間等）の期間についての履歴情報を、検知部１０５の問合せ部３０７に要求する。問合せ部３０７は、問合せに対応する期間の履歴情報をメモリ１１０等から取得し、算出部５０１に送信する。算出部５０１は、問合せ部３０７から送信された履歴情報に基づいて、現在時刻直前の設定された単位時間当たりに行列から出たオブジェクトの個数に関連する情報を取得する。

Ｓ６０３では、待ち時間算出部１０７の算出部５０１は、待ち時間を計算する。具体的には、Ｓ６０１で取得した「待ち行列に含まれるオブジェクトの個数」を、Ｓ６０２で取得した「単位時間当たりに行列から出たオブジェクトの個数」で除算し、単位時間を乗ずることで待ち時間を算出する。そして、算出部５０１は、待ち行列の待ち時間を、計算した待ち時間であると推定する。

＜待ち行列に含まれるオブジェクトの個数の算出＞
ところで、上述のように待ち時間の推定においては、画像認識に基づく「待ち行列に含まれるオブジェクトの個数」の算出が含まれている。画像認識を利用する場合、条件によっては適切な推定を行うことが出来ない。例えば、カメラの設置位置や待ち人の身長および並び位置になどにより、映像解析で検出するに足りるだけの領域・範囲・特徴を撮影できない場合がある。この傾向は、待ち行列が混雑している場合により強くなる。ここで、混雑とは、単位領域当たりのオブジェクトの個数を示している。

そこで、第１実施形態では、画像認識により得られたオブジェクトの個数（人数）から待ち行列が混雑しているかを判断する。そして、混雑していると判断した場合、画像認識により得られたオブジェクトの個数を補正する。特に、複数のネットワークカメラ１０３により得られた複数の画像それぞれについて当該補正を行う。

図８は、例示的な待ち行列の状況を説明する図である。ネットワークカメラ１０２は、待ち行列の出口付近を撮影している。また、待ち行列の存在し得る領域を３つの部分領域（撮影範囲１０４ａ～１０４ｃ）に分割し、それぞれの部分領域を３台のネットワークカメラ１０３ａ～１０３ｃそれぞれが撮影するよう構成している。すなわち、３台のネットワークカメラ１０３ａ～１０３ｃにより待ち行列全体の撮影をカバーできるように構成されている。

人数算出部１０６の記憶部４０２には、待ち行列における撮影範囲の配置及び対応するネットワークカメラの情報が記憶されている。図８の例においては、行列の前方から撮影範囲１０４ａ、１０４ｂ、１０４ｃが設定されており、それぞれの範囲を撮影しているのはネットワークカメラ１０３ａ、１０３ｂ、１０３ｃである。記憶部４０２は、この撮影範囲と対応するネットワークカメラの対応情報を記憶している。

図９は、第１実施形態における人数算出処理の詳細フローチャートである。具体的には、待ち時間算出部１０７からの問い合わせの受信をトリガに人数算出部１０６が実行する人数算出処理の詳細を示している。

Ｓ９００では、人数算出部１０６は、記憶部４０２で記憶している混雑状態フラグを”無効”、およびオブジェクトの累積数を”０”で初期化する。そして、人数算出部１０６は、待ち行列を撮影しているネットワークカメラ毎にループ処理（Ｓ９０１～Ｓ９０７）を実行する。

Ｓ９０１では、人数算出部１０６のカメラ管理部４０４は、記憶部４０２に記憶されたネットワークカメラおよび撮影範囲の対応情報より、処理を行う順序を決定する。具体的には、人数算出部１０６は、待ち行列のより後方を撮影しているネットワークカメラから順にＳ９０１～Ｓ９０７の処理を実行する。すなわち、ここでは、順序は、ネットワークカメラ１０３ｃ→１０３ｂ→１０３ａの順になる。

Ｓ９０２では、人数算出部１０６のコマンド管理部４０５は、注目しているネットワークカメラに対する映像取得コマンドを生成する。そして、画像管理部４０６は、取得した映像を管理し、解析部４０１は、取得した映像の撮影範囲に含まれる人体（オブジェクト）を検知する検出処理を実行する。例えば、１回目のループでは、ネットワークカメラ１０３ｃにより撮影された映像を取得し、当該映像に含まれる範囲１０４ｃに存在する人体を検知する。

Ｓ９０３では、人数算出部１０６は、記憶部４０２に記憶された混雑状態フラグの値を判定する。混雑状態フラグが”無効”の場合はＳ９０４に進み、”有効”である場合はＳ９０６に進む。１回目のループでは、混雑状態フラグが”無効”であるためＳ９０４に進む。

Ｓ９０４では、人数算出部１０６は、Ｓ９０２で検出されたオブジェクトの個数（すなわち人数）が所定の閾値以上であるか否かを判定する。所定の閾値は、事前に設定して記憶部４０２で記憶している値である。例えば、予めネットワークカメラの撮影アングルにおいて、解析部４０１において誤差が生じる人数閾値を確認しておき、所定の閾値として設定する。所定の閾値は、ネットワークカメラ毎に異なる値であり得る。検出したオブジェクトが閾値以上である場合はＳ９０５に進み、閾値未満である場合はＳ９０７に進む。

Ｓ９０５では、人数算出部１０６は、記憶部４０２に記憶された混雑状態フラグを”有効”に設定する。

Ｓ９０６では、人数算出部１０６の解析部４０１は、Ｓ９０２で検出された人数に所定の補正係数を乗じて得られる補正人数（補正個数）を算出し記憶部４０２に記憶する。所定の補正係数は、事前に設定して記憶部４０２で記憶している値である。例えば、予めネットワークカメラの撮影アングルにおいて、解析部４０１において検出されたオブジェクトの個数と実際のオブジェクトの個数とを確認しておき、これらの比率を所定の補正係数として設定する。補正係数は、検出された人数に応じて変動する値であっても良いし、解析をした映像の配信元であるネットワークカメラ毎に異なる値であっても良い。

Ｓ９０７では、Ｓ９０５で補正をしたオブジェクト数またはＳ９０２で検出した人数をオブジェクトの累積数に加算する。

上述のループ処理（Ｓ９０１～Ｓ９０７）を全てのネットワークカメラについて実行した後（すなわち、ネットワークカメラ１０３ａに対する処理が完了した後）、フローを終了する。これにより、オブジェクトの累積数には、混雑状況に応じた補正がなされた待ち行列のオブジェクトの個数が格納されることになる。特に、混雑状態フラグを利用して混雑していると判断された位置よりも行列の出口（行列の先頭位置）側においては混雑が続いているものと自動的に判断し、以降に処理する画像における混雑判定を省略することにより、効率的に補正することが可能となる。

以上説明したとおり第１実施形態によれば、待ち行列の混雑度合いに応じて当該待ち行列におけるオブジェクトの個数を補正して算出する。このようにして補正されたオブジェクトの個数を利用することにより、待ち行列における待ち時間をより高精度に推定することが可能となる。特に、待ち行列を撮影するネットワークカメラからの画像を利用することにより、待ち行列に変化（人数、長さなど）が生じた場合においても待ち時間を適応的に推定することである。

なお、上述の説明においては、各ネットワークカメラによる撮像画像に含まれるオブジェクトの個数の検出を情報処理装置１００が行うよう説明を行ったが、各ネットワークカメラが行うよう構成してもよい。例えば、ネットワークカメラ１０３において撮影画像からオブジェクトの個数を算出し情報処理装置１００に通知するよう構成してもよい。この場合、情報処理装置１００は、各ネットワークカメラから通知されたオブジェクトの個数に基づいてそれぞれの個数の補正を行い、待ち行列全体に含まれるオブジェクトの個数を算出する。

また、上述の説明においては、待ち行列から出るオブジェクトを、ネットワークカメラ１０２により撮影された画像に基づいて検出するよう構成した。しかしながら、待ち行列から出るオブジェクトを検出可能のものであればよく、公知の他の装置（各種センサなど）を用いることが出来る。

（第２実施形態）
第２実施形態では、待ち行列に含まれるオブジェクトの個数を求める他の形態について説明する。具体的には、待ち行列から出たオブジェクトの数と時間帯との対応情報である履歴情報、及び、撮影画像の解析によって算出される単位時間あたりのオブジェクトの移動距離から、待ち行列が混雑しているか否かを判断する点が第１実施形態と異なる。システム構成（図１）、各装置の構成（図２～図６）、概略の動作（図７）については第１実施形態と同様であるため説明は省略する。

＜待ち行列に含まれるオブジェクトの個数の算出＞
図１０は、第２実施形態における人数算出処理の詳細フローチャートである。

Ｓ１０００では、人数算出部１０６は、記憶部４０２で記憶しているオブジェクトの累積数を”０”で初期化する。そして、人数算出部１０６は、待ち行列を撮影しているネットワークカメラ毎にループ処理（Ｓ１００１～Ｓ１００７）を実行する。

Ｓ１００１では、人数算出部１０６のカメラ管理部４０４は、待ち行列を撮影しているネットワークカメラを順次選択して後段の処理（Ｓ１００２～Ｓ１００７）を実行する。

Ｓ１００２では、人数算出部１０６は、Ｓ１００１で選択されたネットワークカメラにより得られた画像に対してオブジェクトを検知する。具体的には、コマンド管理部４０５に映像取得コマンドを生成させ、画像管理部４０６に取得した映像を管理させ、解析部４０１に撮影範囲に含まれるオブジェクトを検知させる。

Ｓ１００３では、人数算出部１０６は、Ｓ１００１で選択されたネットワークカメラの過去の映像を画像管理部４０６より取得する。そして、Ｓ１００２で取得した映像とあわせて解析部４０１で解析し、各映像フレームにおけるオブジェクトを認識し、前後の数フレーム間でのオブジェクトの移動を追跡する。そして、オブジェクトの移動軌跡及び当該オブジェクトのサイズに基づいて、移動距離と時間帯を算出する。

時間帯は、オブジェクトの認識の結果が良好な部分を切り出すよう構成してもよい。時間帯を切り出した場合には、切り出した期間における移動距離を算出する。移動距離は、オブジェクトの形状と解析部４０１で想定する理想の待ち行列にならぶオブジェクトの個数に基づいて算出する。オブジェクトの移動距離の算出においては、検出した複数オブジェクトの移動距離の平均であっても良いし、映像内で最も理想的に解析ができた１つのオブジェクト（例えば特定の人物）の移動距離を代表としても良い。

Ｓ１００４では、人数算出部１０６は、Ｓ１００３において算出した時間帯に対応する履歴情報を、問合せ部３０７に要求し取得することで、当該時間帯に待ち行列から出たオブジェクトの個数を取得する。

Ｓ１００５では、人数算出部１０６は、Ｓ１００３において算出したオブジェクトの移動距離及びＳ１００４で取得した行列から出たオブジェクト数に基づいて、待ち行列が混雑しているか否かを判断する。また、後述する所定係数を算出する。

行列から出たオブジェクトの個数に比較してオブジェクトの移動距離が小さい場合には、オブジェクトが重なって撮影されてしまい検出できない頻度が高くなると想定する。そのため、オブジェクトの個数を補正するための所定の係数を、個数を増やす方向の係数として算出する。差が大きいほど、より重なりが大きくなり未検出の割合が高くなると想定し、オブジェクト数をより増やす方向の係数とする。係数の計算方法は、ネットワークカメラ毎に異なっていてもよい。

Ｓ１００６では、人数算出部１０６は、Ｓ１００２で検知したオブジェクトの個数に対して、Ｓ１００５で算出した係数を乗じて補正されたオブジェクトの個数を算出する。Ｓ１００７では、人数算出部１０６は、Ｓ１００６で補正されたオブジェクトの個数をオブジェクトの累積数に加算する。

上述のループ処理（Ｓ１００１～Ｓ１００７）を全てのネットワークカメラについて実行した後、フローを終了する。これにより、オブジェクトの累積数には、混雑状況に応じた補正がなされた待ち行列のオブジェクトの個数が格納されることになる。

以上説明したとおり第２実施形態によれば、待ち行列の混雑度合いに応じて当該待ち行列におけるオブジェクトの個数を補正して算出する。このようにして補正されたオブジェクトの個数を利用することにより、待ち行列における待ち時間をより高精度に推定することが可能となる。

（変形例）
上述したように、第１実施形態のＳ９０６および第２実施形態のＳ１００５における所定の係数は、待ち行列がより混雑しているほどオブジェクトの個数をより増やす方向の係数として算出される。具体的な算出方法として、以下の計算方法を利用することも出来る。

解析部４０１は、解析対象のネットワークカメラの過去から最新までの映像を画像管理部４０６から取得し、複数のフレーム画像間の動きベクトルを検出する。そして、画面内で動きベクトルを検出した領域と検出したオブジェクトが占める領域とを比較する。オブジェクトが占める領域が小さい場合には混雑していると判断し、オブジェクトの個数を増やす方向の係数とする。このとき、係数は、動きベクトルを検出した領域とオブジェクトが占める領域との比をベースとして算出することが出来る。あるいは、係数は、動きベクトルを検出した領域において、オブジェクトが占める領域が重なる領域と重ならない領域との割合をベースとして算出することが出来る。

又は、解析部４０１は、解析対象のネットワークカメラの過去の映像の中からオブジェクトを含まない背景画像を画像管理部４０６から取得し、最新の映像の差分がある差異領域と、検出したオブジェクトが占める領域とを比較する。そして、オブジェクトが占める領域が小さい場合には混雑していると判断し、オブジェクトの個数を増やす方向の係数とする。このとき、係数は、背景画像との差異領域とオブジェクトが占める領域との比をベースとして算出することが出来る。あるいは、係数は、背景画像との差異領域と、オブジェクトが占める領域が重なる領域と重ならない領域との割合と、をベースにして算出することが出来る。

あるいは、解析部４０１は、最新の画像を映像管理部４０６から取得し、当該画像の画像周波数の高周波成分値を求める。また、検出したオブジェクトが占める領域と求める。そして、高周波成分値とオブジェクトが占める領域との比をベースとして係数を算出することが出来る。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置； １０１ ネットワーク； １０２，１０３ ネットワークカメラ； １０５ 検知部； １０６ 人数算出部； １０７ 待ち時間算出部

Claims (9)

1. 複数のオブジェクトにより構成される待ち行列における待ち時間を推定する情報処理装置であって、
   前記待ち行列を撮影した画像において検出されたオブジェクトの個数を取得する第１の取得手段と、
   単位時間あたりに前記待ち行列から出たオブジェクトの個数を取得する第２の取得手段と、
   前記第１の取得手段により取得された個数が所定の閾値以上である場合に、前記第１の取得手段により取得された個数に補正係数を乗じることにより、前記第１の取得手段により取得された個数を、当該個数よりも多くなるように補正する補正手段と、
   前記第１の取得手段により取得された個数が前記所定の閾値以上である場合には、前記補正手段により補正された個数と、前記第２の取得手段により取得された個数とに基づいて、前記待ち行列における待ち時間を推定する推定手段と、
   を有する
   ことを特徴とする情報処理装置。
2. 前記推定手段は、前記第１の取得手段により取得された個数が前記所定の閾値以上ではない場合には、前記第１の取得手段により取得された個数と、前記第２の取得手段により取得された個数とに基づいて、前記待ち時間を推定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記待ち行列が存在し得る領域を構成する複数の部分領域それぞれを撮影するよう構成された複数のカメラにより得られた複数の画像を取得する画像取得手段を更に有し、
   前記第１の取得手段は、前記複数の画像のうち前記待ち行列のより後方に位置する部分領域の画像から順にオブジェクトの検出処理を行い、検出されたオブジェクトの個数が前記所定の閾値以上であるか否かを判定するよう構成されており、
   前記補正手段は、前記複数の画像に含まれるある画像について検出されたオブジェクトの個数が前記所定の閾値以上であると判定された場合に、当該画像において検出されたオブジェクトの個数、及び前記所定の閾値以上であると判定された場合以降に処理する画像において検出されるオブジェクトの個数に対して前記補正係数を乗じることにより、前記第１の取得手段により取得された各個数を、当該各個数よりも多くなるように補正し、
   前記推定手段は、前記第１の取得手段により取得された個数が前記所定の閾値以上であると判定された場合には、前記補正手段により補正された当該各個数を累積した累積数と、前記第２の取得手段により取得された個数とに基づいて、前記待ち時間を推定する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２の取得手段は、前記待ち行列の先頭位置に設置された検知装置により得られたオブジェクトの検知履歴に基づいて、前記単位時間あたりに前記待ち行列から出たオブジェクトの個数を取得する
   ことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記第１の取得手段は、前記補正係数を前記検出されたオブジェクトの個数に応じて変化させる
   ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記待ち行列を異なる時刻で撮影した複数の画像間の動きベクトルを検出する動き検出手段を更に有し、
   前記補正係数は、動きベクトルを検出した画像領域とオブジェクトが占める画像領域との比をベースとして算出される
   ことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記待ち行列が存在し得る領域の背景画像を記憶する記憶手段を更に有し、
   前記補正係数は、前記待ち行列を撮影した画像と前記背景画像との間に差異がある画像領域と前記待ち行列を撮影した画像においてオブジェクトが占める画像領域との比をベースとして算出される
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 複数のオブジェクトにより構成される待ち行列における待ち時間を推定する情報処理装置の制御方法であって、
   前記待ち行列を撮影した画像において検出されたオブジェクトの個数を取得する第１の取得工程と、
   単位時間あたりに前記待ち行列から出たオブジェクトの個数を取得する第２の取得工程と、
   前記第１の取得工程により取得された個数が所定の閾値以上である場合に、前記第１の取得工程により取得された個数に補正係数を乗じることにより、前記第１の取得工程により取得された個数を、当該個数よりも多くなるように補正する補正工程と、
   前記第１の取得工程により取得された個数が前記所定の閾値以上である場合には、前記補正工程により補正された個数と、前記第２の取得工程により取得された個数とに基づいて、前記待ち行列における待ち時間を推定する推定工程と、
   を含む
   ことを特徴とする制御方法。
9. 請求項１乃至７の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images