JP6630485B2 - ドライブスルー用途において車両を自動的に順序付けするための映像追跡に基づく方法 - Google Patents

Description

本開示は、複数の待ち行列レーンにいる間にそれぞれカスタマイズされたイベント要求を配置した後に、対象が単一の待ち行列レーンにランダムに合流する場合に、イベント順序を更新および補正するための自動化された方法およびシステムに関する。

企業は、効率および潜在的利益を最大にするスループットモデルを設計している。説明的な例として、経時的に提供する顧客数を増加させる方法の一産業調査には、クイックサービス方式のレストランやファーストフードレストランが含まれる。いくつかのレストランは、スループット能力を高めるために、「タンデム」に並んでいる発注ポイントを採用している。タンデムに注文する手法では、並列に並ぶ複数の個別の待ち行列が発注のために利用されるが、（「サービスポイント」で）支払いを処理して商品および／またはサービスを転送するための単一の待ち行列レーンに収束する。

この手法は、もともとサービスポイントに到達するまでに顧客が待つ時間を短縮することを図るものである。タンデムに注文することに伴う重要な問題は、単一の待ち行列レーンに移動する顧客の順序が、顧客が発注する際の順序と必ずしも一致しないことである。こうした顧客が、続いて単一の待ち行列レーンに合流する順序は、ランダムであってもよいので、この手法は注文実行プロセスに誤りをもたらす可能性がある。とりわけ、特に忙しい時間帯には、顧客は誤った注文のために誤った額を請求されたり、誤った商品を受け取る可能性がある。

ただし、企業は、混同した注文を回避するステップを取る。顧客の移動を追跡するために使用される現行方式では、発注している間に各顧客（車両）のスナップショットを捉える。各顧客が単一の待ち行列レーンに合流した後、この単一の待ち行列レーンでサービスポイントに接近する顧客の順序に正確に一致するように、従業員が手動でコンピュータシステムに注文を再順序付けする。さらに、商品が正確な順序で準備され得るために、すなわち、準備された商品が正確に顧客に渡されるために再シャッフルされ得るように、更新された注文順序は注文を準備する人に中継されなければならない。従業員は、通常のタスクに加えてこの不必要なタスクを管理しなければならないため、これらの作業は結局、従業員の時間を非効率的に使用することにつながる。多重タスクの要求は誤りを起こす可能性につながり、潜在顧客が待ち行列から離れたり、潜在顧客が待ち行列に入らなかったり、リピート客を失ったりする場合、この非効率性が収入の低下につながることになり得る。

イベントを受信する対象のランダムな順序に一致するように、イベント実行を順序付けする処理に関する作業効率を向上させる、システムおよび方法が望まれる。

本開示の一実施形態は、イベント順序を更新するための方法に関する。この方法は、少なくとも１つの画像ソースから待ち行列領域の映像データを取得することを含む。この方法は、複数の対象から複数の個別のイベント要求を受信することを含む。対象が待ち行列領域内の複数の待ち行列のうちの１つに位置している場合に、この対象が各イベント要求を受信する。この方法は、映像データに１つまたは複数の対象を識別することを含み、この映像データは、映像データ内の複数の待ち行列のうちの１つにそれぞれ対応する画定された開始ポイントの関心領域（ＲＯＩ）の少なくとも近くに位置する。この方法は、後続の一連のフレーム上の待ち行列領域を通じて検出された各対象の移動を追跡することを含む。この追跡データを使用して、この方法は、待ち行列領域の複数の待ち行列が単一の待ち行列レーンに収束する場合に、追跡対象の位置が画像平面上の画定済み合流ポイントに到達したかどうかを判定することを含む。あるいは、この合流ポイントを、画像平面上のラインまたは指定された領域として代わりに特定することができる。画定済み合流ポイントに到達した追跡対象に応じて、この方法は、追跡対象が合流ポイントを既に通過した他の対象に対して位置する場合の観察順序を計算すること、および、単一の待ち行列レーンの終了イベントポイントに接近することを含む。この方法は、単一の待ち行列レーンにおける対象の観察順序に一致するようにイベントの順序を更新することを含む。

本開示による注文順序を更新するための方法の概要を説明するフローチャートである。 複数の対象が合流される待ち行列レーンに移行する場合の順序に一致する注文順序を、自動的に生成するための視覚ベースのシステムの概略図である。 複数の対象が複数の待ち行列から単一の待ち行列に合流する際の順序に一致するイベント順序を、自動的に生成するための方法を説明する詳細なフローチャートである。 複数の対象が複数の待ち行列から単一の待ち行列に合流する際の順序に一致するイベント順序を、自動的に生成するための方法を説明する別の詳細なフローチャートである。 カメラの視野における待ち行列領域を含むサンプル画像フレームを示す図である。 図４に示す画像フレームに対して生成されたサンプルマスクを示す図である。 カメラの視野における待ち行列領域を含むサンプル画像フレームを示す図であり、シーンをトラバースしている間、カメラから遠くに位置する対象がカメラの近句に位置する対象によって部分的に遮られている。

本開示は、複数の待ち行列レーンにいる間にそれぞれのイベント要求を配置し、その後対象が単一の待ち行列レーンにランダムに合流する際に、イベント順序を更新および補正するための自動化された方法およびシステムに関する。

本明細書に企図される「対象」とは、車両や歩行者等を含むことが可能であり、この車両や歩行者等が一般に、イベント用のカスタム／個別の要求および／または順序を配置した後、カスタマイズされた商品および／またはサービスを受け取る（「イベント実行」）ために、待ち行列（複数可）内でその順番を待つ。例示目的のために、本明細書で言及される対象は車両を含み、それぞれが商品を購入する顧客に関連している。ただし、「対象」および待ち行列の最終目的は本明細書に限定されない。

本明細書に企図される「合流ポイント」とは、対象が複数の待ち行列のうちの１つから単一の待ち行列レーンに進入および／または合流する際に、カメラの視野において画定される領域であり、ここでは終了イベントポイントに接近する待ち行列の一部であると考えられる。例示目的のために、本明細書で言及する合流ポイントは、複数並んでいる発注ポイントの１つで発注した後に、車両が複数の待ち行列のうちの１つから単一の待ち行列レーンに進入および／または合流する領域を含むことが可能であり、ここではサービス（支払いおよび受け取り）窓口に接近する待ち行列の一部であると考えられる。

図１は、本開示による注文順序を更新するための方法１０の概要を説明するフローチャートである。この方法は、Ｓ１２で開始する。システムは、Ｓ１４で関心領域（「待ち行列領域」）を監視する少なくとも１つの画像ソースから映像データを取得する。映像データは個々のまたは組み合わされた視野を有する少なくとも１つのビデオカメラから生成され、この映像データは、別個の待ち行列およびこの別個の待ち行列レーンが後で単一の待ち行列レーンに合流する合流ポイントに２つ以上の発注ポイントを含む。システムは、Ｓ１６で映像データのフレーム内の発注ポイントの少なくとも近くに位置するオブジェクトのための、フレームすなわちフレームに画定された関心領域（ＲＯＩ）を検索する。一実施形態において、システムは、待ち行列レーンの１つにおける対象による発注に応じてフレームを検索することができる。あるいは、システムは、発注ポイントのＲＯＩの少なくとも近くに位置する前景または移動オブジェクトを検索し続けることができる。この場合、システムは、発注ポイントに一番近いオブジェクトと発注ポイントで発注された注文とを関連付ける。対象が発注ポイントで発注しない実施形態も想定される。これらの実施形態では、発注ポイントを開始ポイントに置き換えることができ、複数の開始ポイントのそれぞれに待ち行列が形成し、合流ポイントで一緒になるのであれば、いくつかの誘因により各開始ポイントで検索を開始できる。考察した実施形態では、背景除去や動き検出のための既存のモデルベースの手法が、オブジェクトを検出するために使用され得る。システムは、Ｓ１８で検出された各オブジェクトを候補対象として関連付ける。一実施形態では、システムは、発注ポイントで（例えば、注文の）識別子を候補対象と関連付けることもできる。一般的に、システムは次に、Ｓ２０で、その候補対象は事前にトラッカが割り当てられているかもしくはシーンに新しいかを判断する。主に、これを決定するために使用されている手法は、属性、他の対象からの距離、特徴部のセット、および／または領域内で追跡される特徴の数等の、記述子や値を計算し、候補対象の外観を記述し、そして記述子／値を閾値または目下追跡されている他の対象の対応する記述子に比較することを含む。計算される記述子／値は、システムによって適用されている追跡アルゴリズムのタイプに基づくものである。同様に、システムが適用する追跡アルゴリズムは、候補オブジェクトを検出するために用いられるモデルベース手法に依存することができる。比較の結果に基づいて、システムは新たな関心対象および目下の追跡対象の分類すなわちカテゴリのうちの１つに属するものとして各候補対象を分類する。新たな関心対象として分類された候補対象に応じて、システムは、Ｓ２２で、新たな対象にトラッカを割り当てる。各対象の移動は、Ｓ２４で、後続の一連のフレーム上で監視される待ち行列領域内およびその付近において追跡される。一般に、複数の待ち行列が単一の待ち行列レーンに収束する所定の／画定済み合流ポイントに位置が合致するまで、各追跡対象は、一連のフレーム間で追従される。画定済み合流ポイントに到達した追跡対象に応じて、システムは、Ｓ２６で、サービスポイントに接近する対象の観察順序を計算する。この観察順序は、追跡対象が他の追跡対象に対して単一の待ち行列レーンに移行した場合に対応する。システムは次に、Ｓ２８で、単一の待ち行列レーンにおける対象の観察順序に一致するように注文順序を更新する。一実施形態では、注文の識別子がトラッカと関連付けられ、一連のフレーム間で対象を追従する。システムは、更新された注文順序を計算するために注文の識別子を用いることができるため、サービスポイントに到達する各対象について予想される順序で注文が実行され得る。この方法は、Ｓ３０で終了する。

図２は、複数の対象が合流される待ち行列レーンに移行する際の順序に一致する注文順序を、自動的に生成するための視覚ベースのシステム１００の概略図である。システム１００は、通信リンクによって互いに連結された自動順序付け装置１０２と画像ソース１０４を含み、本明細書にネットワークとして参照される。一実施形態において、システム１００は、ユーザ装置１０６とさらに通信することが可能である。これらの構成要素は、以下でより詳細に記載されている。

図２に示す自動順序付け装置１０２はコントローラ１１０を含み、このコントローラ１１０は装置１０２の一部であるか、または装置１０２と関連している。例示的なコントローラ１１０は、システム１００によって受信された画像フレームすなわち映像データ（以下「映像データ」）の分析を制御するようになっている。コントローラ１１０はプロセッサ１１２を含み、このプロセッサ１１２は、プロセッサ１１２に接続されたメモリ１１４に格納されている処理命令の実行によって装置１０２全体の動作を制御する。

メモリ１１４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクまたはテープ、光ディスク、フラッシュメモリ、ホログラフィックメモリ等の有形のコンピュータ可読媒体の任意のタイプを示し得る。一実施形態では、メモリ１１４は、ランダムアクセスメモリおよび読み出し専用メモリの組み合わせからなる。デジタルプロセッサ１１２は、例えば、シングルコアプロセッサ、デュアルコアプロセッサ（またはより一般的には複数のコアプロセッサ）、デジタルプロセッサおよび協動する数値演算コプロセッサ、デジタルコントローラ等によって、さまざまに具現化され得る。デジタルプロセッサは、装置１０２の動作を制御することに加えて、図１および図３に概説されている方法の一部を実行するためのメモリ１１４に格納されている命令を実行する。いくつかの実施形態では、プロセッサ１１２およびメモリ１１４を単一のチップに組み合わせることができる。

装置１０２は画像ソース１０４等のネットワーク化された装置で具現化され得るが、システム１００が接続されているネットワーク上の中央サーバやネットワーク化されたコンピュータ等の別の場所にこの装置１０２が配置され得ること、またはネットワークを通じて分配され得ること、または他のアクセス可能性も想定される。換言すれば、ネットワークを介して映像データを転送した後、その場で画像ソース１０４内、または中央処理オフラインコンピュータやサーバコンピュータで処理を実行することができる。一実施形態では、画像ソース１０４は、映像データ１３０を装置１０２に中継および／または送信するようにされた装置であってもよい。別の実施形態において、映像データ１３０は、ワークステーション、データベース、ディスク等のメモリ記憶装置等の、任意の適切なソースから入力され得る。画像ソース１０４は、プロセッサ１１２およびメモリ１１４を含むコントローラ１１０と通信する。

本明細書に開示される段階は、メモリ１１４に含まれる命令に従ってプロセッサ１１２により実行される。具体的には、メモリ１１４は、待ち行列領域の映像から映像データを取得するビデオバッファリングモジュール１１６と、待ち行列領域に含まれる複数の待ち行列内の候補対象を検出するオブジェクト検出モジュール１１８と、新たな各対象の特徴を抽出する特徴抽出モジュール１２０と、追跡対象が上記所定の／画定済み合流ポイントに到達するまで、監視されている待ち行列領域内およびその周辺で検出された各対象の位置を追跡する対象追跡モジュール１２２と、画定済み合流ポイントに到達した追跡対象に応じてサービスポイントに接近する対象の観察順序を計算する合流ポイント調停モジュール１２４と、単一の待ち行列レーンにおける対象の観察順序に一致するように注文の実行順序を更新するイベント通知モジュール１２５と、を格納する。さらに企図される実施形態は対象検証モジュール１１９を含むことも可能であり、この対象検証モジュール１１９は、各候補対象が新たな対象であるか目下の追跡対象であるかどうかを判定する。これらの命令を、単一のモジュールまたは異なる装置で具現化される複数のモジュールに格納することができる実施形態が想定される。モジュール１１６〜１２５は、例示的な方法を参照しながら後述されよう。

本明細書で使用されるソフトウェアモジュールは、ソフトウェアの目的であるタスクを実行するためのコンピュータまたは他のデジタルシステムを構成するように、装置１０２または他のデジタルシステムによって実行可能な命令の任意の集まりすなわちセットを包含するように意図されている。本明細書で使用される用語「ソフトウェア」は、ＲＡＭ、ハードディスク、光ディスク等の記憶媒体に格納される上記の命令を包含することを意図しており、また、ＲＯＭ等に記憶されるソフトウェアであるいわゆる「ファームウェア」を包含するものとする。このようなソフトウェアは、種々の方法で編成され得、ライブラリ、リモートサーバ等に格納されたインターネットに基づくプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能な実行コード、等として編成されるソフトウェア構成要素を含み得る。ソフトウェアは、特定の機能を実行するために、サーバ（不図示）または他の位置にある他のソフトウェアに対してシステムレベルコードすなわちコールを呼び出すことが可能であると想定される。装置１０２のさまざまな構成要素を、すべてバス１２６によって接続することができる。

続けて図２を参照すると、装置１０２は、外部装置と通信するための、ネットワークインターフェースのような、１つまたは複数の通信インターフェース１２８も備えている。通信インターフェース１２８は、例えばモデム、ルータ、ケーブル、および／またはイーサネット（登録商標）ポート等を含むことができる。通信インターフェース１２８は、映像データ１３０を入力として受け取るように適合されている。

装置１０２は、例えばサーバコンピュータ、コントローラ、または例示的な方法を実行するための命令を実行することが可能な他の任意のコンピューティング装置である、１つまたは複数の専用または汎用コンピューティング装置を含むことができる。

図２はさらに、電子形式で映像データを取得および／または提供するための画像ソース１０４に接続された装置１０２を示している。ソース１０４（以下、「ビデオカメラ１０４」）は、関心のあるシーン（待ち行列領域）からの映像を捉える１つまたは複数の監視カメラを含むことができる。カメラの数は、監視されている待ち行列領域の拡張および位置に応じて変化し得る。待ち行列の長さが単一のカメラの視野を越えて延在しやすい場合、複数のカメラが必要となることがある。複数のカメラによる合成された視野は、典型的には、発注ポイント／開始ポイントを囲む領域全体を合流ポイントに包含することが想定される。照明の外部ソースのないまたは周囲のソースからの不規則な照明のある領域で夜間にこの方法を実施するために、ビデオカメラ１０４は、近赤外（ＮＩＲ）の能力を備えることができる。さらに、本開示に使用されるビデオカメラ１０４は、予想される速度でシーンを通って移動する１つまたは複数の対象を取り扱うことができる（十分に高い）フレームレートで映像を捉えるように動作する。

続けて図２を参照すると、映像データ１３０は、観察対象の順序１３２および／または更新された注文順序１３６を出力するために、装置１０２によって処理が施される。

さらに、システム１００は、グラフィックユーザインターフェース（ＧＵＩ）１３４上に適切な形式で出力を表示することができる。ＧＵＩ（１３４）は、ユーザに対して情報を表示するためのディスプレイ、および入力として命令を受信するための、キーボード、タッチスクリーン、または書き込み可能なスクリーン等のユーザ入力装置、および／またはプロセッサ１１２にユーザ入力情報およびコマンド選択を伝達するための、マウス、タッチパッド、トラックボール等のカーソル制御装置を含むことができる。あるいは、装置１０２は、ユーザ装置１０６に出力を提供することが可能であり、このユーザ装置１０６はユーザの支払いおよび／または注文の実行等の出力をユーザに表示することができる。さらに、企図される一実施形態では、観察対象の順序１３２および／または更新された注文順序１３６は、別のコンピュータアプリケーションに送信することができ、このコンピュータアプリケーションは、効率および潜在的利益を最大にするためにスループットモデルを再設計するデータに対して追加の処理を行うことができる。

図３Ａ〜図３Ｂは、複数の対象が複数の待ち行列から単一の待ち行列に合流する際の順序に一致するイベント順序を、自動的に生成するための方法３００を説明する詳細なフローチャートである。この方法は、Ｓ３０２で開始する。システムは、Ｓ３０４で関心領域（「待ち行列領域」）を監視する少なくとも１つの画像ソースから映像データを取得する。映像データは個々のまたは組み合わされた視野を有する少なくとも１つまたは複数のビデオカメラから生成され、この映像データは、別個の待ち行列およびこの別個の待ち行列レーンが後で単一の待ち行列レーンに合流する合流ポイントに２つ以上の開始ポイントを含む。本発明の方法がファーストフードのドライブスルーで実施され得る例の画像フレームが、図４に示されている。この図示の例では、開始ポイントは、マイクロフォンを用いて発注されるメニューの位置に対応して並んでいる注文エントリポイント４２、４４を含む。合流ポイント４６は、画像空間内のラインとしてマークされる（図４の４６参照）。ビデオカメラ（複数可）は、少なくとも開始ポイントから合流ポイントへの対象（図４の車両４８）の移動を捉えるのに十分広い、個々のまたは組み合わされた視野を含む。カメラ（複数可）の視野（複数可）は、開始ポイントの前に配置された別個の待ち行列のエントリ部４１、４３を含む待ち行列領域の追加部分をカバーすることができ、すなわち、ここで対象は、別個の待ち行列および合流ポイントの後に位置するサービスポイント等での単一の待ち行列の端部のどちらか一方に入る。

映像データを、ビデオカメラ（複数可）から直接、または、ビデオカメラから映像データを格納および／または中継する中間画像ソースから取得することができる。いずれにしても、ビデオカメラの配置は、シーンにおいて観察されるオクルージョンを防止および／または最小にするために、開始ポイントおよび合流ポイント付近に固定され得る。一実施形態では、ビデオカメラは、開始ポイントおよび合流ポイントの概略平面図を捉え、特に、（ビデオカメラから離れた位置に配置されている）第２待ち行列で移動する対象から、（ビデオカメラに近い位置に配置されている）第１待ち行列で移動する対象を避けるために、待ち行列領域の上方に配置され得る。ただし、本開示は、ビデオバッファリングモジュール１１６が別の場所に載置されたビデオカメラから取得した映像データに対するジオメトリをサポートできることを想定している。換言すれば、本明細書に開示されるシステムは、既存の監視インフラストラクチャに含まれるカメラから取得した映像データを処理することができる。

図３Ａに戻ると、ビデオバッファリングモジュール１１６が、処理のために映像データから取得したビデオフレームを対象検出モジュール１１８に送信する。モジュール１１８は、各フレームまたはｎ番目毎のフレームを、その順序で処理することができる。同様に、モジュール１１８は、画像フレーム全体またはフレームに画定された関心領域（ＲＯＩ）を処理することができる。より具体的には、ＲＯＩは、新たなオブジェクトが待ち行列領域の例えば開始ポイントまたはこの開始ポイントの直前に配置される待ち行列部に出現すると予想される場合に、画像フレームのＲＯＩを含むことができる。指定されたＲＯＩを処理する一態様では、待ち行列領域を越えて出現および／または移動する対象の検出（「誤検出」）を防止することができる。画像フレーム内のＲＯＩを画定することにより、システムは、対象検出段階（交通流に追随するためのリアルタイム要求）の計算負荷を制限することができ、誤検出の数を低減することができる。

したがって、Ｓ３０６で、待ち行列領域を含むＲＯＩを、企図される一実施形態において画定することができる。ビデオカメラが設定され調整されるときに、ユーザがこのＲＯＩを手動で画定することができる。ビデオカメラが固定されたままである限り、待ち行列領域は変化しないので、このＲＯＩを一度に画定することができる。（例えば、ズーム、パン、チルトまたは変換のために）カメラ設定が変更するため、画定された領域を、再調整手順中に更新することができる。

別の実施形態では、ＲＯＩ（複数可）を、オフライン学習段階で識別することができる。大部分の交通が開始ポイントと合流ポイントとの間に位置する待ち行列領域内で発生するため、システムは、経時的にシーン全体の動きを（例えば、フレーム差分またはモデルベースの手法を使用して）検索することによって待ち行列領域を識別することができる。特に、モジュール１２０は、Ｓ３０８で、経時的に各画素位置での画素単位の動き情報を蓄積し、この情報を使用して（対象の移動の軌跡を表す）ヒートマップを生成することができる。

モジュール１２０は、ヒートマップ上に閾値演算を行うことにより、待ち行列の関心領域の外側に検出された対象（「異常値」）をさらに排除することができる。特に、モジュール１２０は、Ｓ３１０でヒートマップを表すマスクを生成し、続いてハイライト領域の外側に検出された任意のオブジェクトを破棄することができる。図５は、図４に示す画像フレームに対して生成されたサンプルマスクを示す図である。モジュール１１８は次に、Ｓ３１２でマスクをＲＯＩ（待ち行列の関心領域）と関連付ける。

この学習手法は、多量の無関係な背景ノイズすなわち「ファントム」オブジェクトを除去するために使用され得る。代替の実施形態では、潜在的な新たな関心オブジェクトが検出されることになる可能性を決定するために、これらの学習経路の中心からの距離が適用され得る。

図３Ａに戻ると、対象検出モジュール１１８は、Ｓ３１４で前景オブジェクトを移動させるための画定されたＲＯＩ（複数可）（またはフレーム全体）を検索する。映像中の前景オブジェクト検出は、複数の異なる方法によって達成され得る。映像データに対して分析を行うアプリケーションで使用される動き検出の２つの一般的な方法は、フレーム間差分と背景推定および除去（「背景除去」）を含む。フレーム差分の手法は、典型的には、フレームレートおよびカメラジオメトリに対するオブジェクト速度の非常に狭い範囲に調整を必要とする、ビデオストリーム内の連続するフレーム間の画素単位の差分を計算することにより、カメラの視野内の移動オブジェクトを検出する。これらの差を閾値化することにより、移動オブジェクトを含む領域（「動き検出領域」）を容易に識別することができる。

あるいは、動き検出／前景検出のためのモデルベースの手法を用いることができる。一実施形態において、システム１００は、背景除去の手法を実行する。背景除去の手法は、前景オブジェクトではなく、移動オブジェクトを検出する。ただし、その外観が背景推定値と異なるため、移動オブジェクトは前景検出を誘因する。例えば、前景オブジェクトのない背景の画像が利用可能である場合、モデルは、共通の画素値を推定するために訓練される。主に、背景除去は、既知のまたは推定された背景モデルと現フレームとの間の絶対強度／色差を映像順序で計算する。各現フレームを背景モデルと比較することにより、強度／色空間で計算された距離が所定の閾値を満たしていない画素が背景画素として分類され、強度／色空間で計算された距離が閾値以上の（すなわち、既存の背景モデルを適合しない）画素が前景画素として分類される。検出された前景画素は、前景オブジェクト／動き検出領域を示している。

背景モデルまたは背景推定値を維持するために使用される戦略に、過去の統計モデル（例えば、ガウス混合モデル（ＧＭＭ）等のパラメトリック記述子の密度モデルベースの手法またはカーネルベースの推定値等の非パラメトリック記述子の密度モデル）が画素毎に構築されること、（主な構成要素分析を用いる）固有背景、（各後続フレームの背景を徐々に更新する）移動平均値の計算、およびメディアンフィルタ等が含まれる。背景モデルは、典型的には、シーンの背景中の低速変化を記述するために動的に調整される。企図される実施形態では、背景推定値を、所定の学習速度係数により制御された速度での各入力フレームと共に継続的に更新することができる。ただし、背景推定値がさらに遅い速度で更新され得る実施形態も想定される。また、現状の背景モデルを構築する他の代替方法も想定される。

バイナリマスク／差分画像（すなわち、前景オブジェクトのマスク）は、画素分類を用いて生成される。一実施形態では、架空の動きのソースをフィルタ除去するため、および前景または移動オブジェクトに関連する画素を正確に検出するために、当該技術分野において理解されるモルフォロジー演算を差分画像に適用することができる。オブジェクトが複数の小さな別個の前景要素に誤って分割された場合、バイナリマスクの穴を埋めるため、そして領域内の小さな間隙を埋めるために、例のフィルタリング技術が、拡張適用および閉操作を含むことができる。動きがバイナリマスクで検出される場合、小さな不要領域を排除するために連結成分分析（ＣＣＡ）を使用することもできる。これらの動き検出領域は、関心を持つには小さすぎる前景オブジェクト（例えば、シーンを飛行する鳥）、または一般的な画像ノイズの結果として生じる可能性がある。ＣＣＡスクリーニングで使用される一般的な特徴は、オブジェクト領域、配向の角度、および充填密度である。

Ｓ３１６では、モジュール１１８は、検出された各オブジェクト／動き検出領域を候補となる関心対象と関連付ける。モジュール１１８は、複数のフレーム内の同じオブジェクト／動き領域に対応する前景画素を検出することができるため、対象検証モジュール１１９は、Ｓ３１８において候補対象毎に割り当てられる一意のトラッカを確認することができる。複数の候補対象として扱われることによる同一対象の「複数の目撃」を回避するために、対象検証モジュール１１９は、一意のトラッカが検出された各対象に割り当てられることを確実にする。トラッカの割り当てを管理することで、モジュール１１９は、複数のトラッカが複数のフレームにわたって検出された同一対象に割り当てられることを基本的に防ぐ。この検証手順の一態様では、追跡段階に必要な計算負荷を低減することができる。この検証手順の別の態様では、誤ったイベント順序検出の数を低減することができる。

モジュール１１９は、Ｓ３２０で各候補対象の記述子を抽出する。企図される実施形態において、システムが１つの追跡アルゴリズムを適用するため、記述子は選択された追跡手法に対応する。

本明細書で企図される例の追跡アルゴリズムは、領域ベースの追跡アルゴリズムおよびポイントトラッカを含む。領域ベースの追跡アルゴリズムの例としては、平均値シフトおよび粒子フィルタを含むことができる。領域ベースの追跡アルゴリズムを抽出することができる例の記述子は、カラーヒストグラムおよび／または勾配方向ヒストグラム等の属性、および目下の各追跡対象に検出された動き領域の距離を含む。主に、これら追跡アルゴリズムは、領域として対象全体を考慮する。ポイントトラッカの一例は、ＫＬＴ追跡を含むことができる。ポイントトラッカを抽出することができる例の記述子は、動き検出領域からの特徴のセットまたは動き検出領域で目下追跡されている特徴の数を含む。主に、ポイントトラッカは、ハードエッジ、コーナー、および候補対象（前景オブジェクト）の関心ポイント等の局所化されたエントリのセットを考慮する。

モジュール１１９は、Ｓ３２２で、各記述子を所定の閾値および目下追跡されている記述子の１つと比較する。この比較に基づいて、モジュール１１９は、Ｓ３２４で、新たな対象および目下の追跡対象の１つに属するものとして各候補対象を分類する。

領域ベースの追跡アルゴリズムに対して、抽出した記述子が候補対象の属性である場合、この属性が目下の追跡対象の属性と比較される。目下のいかなる追跡対象の属性にも一致しない動き検出領域の属性に応じて、モジュール１１９は、候補対象を新たな対象に属するものとして分類する。目下の追跡対象の属性に一致する動き検出領域の属性に応じて、モジュール１１９は、候補対象を目下の追跡対象に属するものとして分類する。

抽出された記述子が、動き検出領域と画像平面上の目下の各追跡対象との間で計算された距離である場合、この計算された距離は所定の距離の閾値と比較される。所定の閾値以上の計算された距離に応じて、モジュール１１９は、新たな対象に属するものとして候補対象を分類する。所定の閾値を満たさない計算された距離に応じて、モジュール１１９は、目下の追跡対象に属するものとして候補対象を分類する。

ポイントトラッカのために、抽出された記述子が動き検出領域から特徴のセットである場合、この特徴のセットは目下の追跡対象の特徴のセットと比較される。一致する特徴の数がカウントされる。所定の閾値数を満たさない特徴の数に応じて、モジュール１１９は、新たな対象に属するものとして候補対象を分類する。所定の閾値数以上の特徴の数に応じて、モジュール１１９は、目下の追跡対象に属するものとして候補対象を分類する。

同様に、抽出された記述子が動き検出領域で目下追跡されている特徴の数を含んでいる場合、この数が所定の閾値と比較される。所定の閾値数を満たさない目下追跡されている特徴の数に応じて、モジュール１１９は、新たな対象に属するものとして候補対象を分類する。所定の閾値数以上の目下追跡されている特徴の数に応じて、モジュール１１９は、目下の追跡対象に属するものとして候補対象を分類する。この手法の背後にある論理では、追跡中の車両が移動しているとき、動き検出のブロブが追跡車両と重複することになり、既に追跡されている特徴のセットを含むことになる。

ただし、追跡モードに依存しない検証を実行する、一実施形態も想定される。例えば、対象検出モジュール１１８が候補対象を検出すると、モジュール１１９は、検出された候補対象が次のフレームにおいて検出された候補対象と所定の割合で重複するか否かを判定することができる。所定の割合以上での重複に応じて、モジュール１１９は、重複閾値が満たす連続するフレームの数を決定することができる。所定の閾値数以上の連続するフレームの数に応じて、モジュール１１９は、新たな対象に属するものとして候補対象を分類する。所定の閾値数を満たさない連続するフレームの数に応じて、モジュール１１９は、目下の追跡対象に属するものとして候補対象を分類する。一実施形態では、閾値数を、５つの連続する画像フレームとすることができる。

目下の追跡対象に属するものとして分類されている候補対象に応じて、モジュール１１９は、Ｓ３２６で対象を破棄する。ただし、特徴抽出モジュール１２０は、Ｓ３２８において新たな各対象にトラッカを割り当てる。より具体的には、モジュール１２０は、Ｓ３２０において抽出された記述子（属性または特徴）をトラッカに割り当てる。ただし、検証手順（Ｓ３１８〜Ｓ３２４）を省略してある実施形態では、新たな各対象の記述子が抽出される。上述したように、記述子は、後でシステムによって適用される追跡アルゴリズムに基づくことができる。例えば、ＫＬＴ等のポイントトラッカを適用する場合、抽出された特徴を、ハリスコーナー、スケール不変特徴変換（ＳＩＦＴ）の特徴、および高速のロバストな特徴（ＳＵＲＦ）からなるグループから選択することができる。同様に、平均値シフト等の領域ベースのトラッカを使用する場合には、抽出された特徴は、色ヒストグラム等のオブジェクト領域の色属性を含むことができる。

特徴を、カラー画像またはグレースケール画像から抽出することができる。ＮＩＲ照射を使用する実施形態では、モジュール１２０は、グレースケール画像からハリスコーナーの特徴またはグレーレベルヒストグラムを抽出することができる。

あるいは、一実施形態では、検出された動き領域（すなわち、新たな関心対象のクロッピングされた副画像）のテンプレートを、特徴のセットとして使用することができる。

抽出された記述子（以下「特徴」）は、車両追跡モジュール１２２に伝達され、この車両追跡モジュール１２２は、Ｓ３３０でビデオストリーム内の後続のフレーム間で抽出された特徴を追跡する。モジュール１２２によって使用される追跡アルゴリズムは、前のモジュール１１９、１２０により抽出されたものと一致する特徴を処理する。上述したように、モジュール１２２は、いくつかの異なる追跡手法の１つを適用することができるが、この追跡手法は、平均値シフトの追跡、輪郭追跡、カルマンフィルタリング、ＫＬＴ追跡、粒子フィルタ等に限定されない。一般的に、モジュール１２０は、トラッカを使用して後続のフレーム間で各追跡対象の位置を決定する。モジュール１２０は、対象がシーン内の待ち行列と共に移動することを予測し、これにより、位置が経時的に変化する。対象がカメラ（または組み合わされたカメラ）視野内に留まるフレーム毎に、モジュール１２０は、Ｓ３３２で、画素座標における対象の位置を記述する追跡データを生成する。

一実施形態では、モジュール１２０は、追跡される特徴の移動が剛性オブジェクトの移動と一致することを検証するために、Ｓ３３４において動きの一致試験を実行することができる。例えば、図６はカメラ視野内の待ち行列領域を含むサンプル画像フレームを示し、シーンを横断するとき、カメラから遠い位置に配置された第１の対象車両６２が、カメラに近い位置に配置された第２の対象車両６４によって部分的に遮られる。所与の対象の特徴のセットの全体的な動き／移動を監視することにより、このセットと一体で移動しない特徴、すなわち、最初に動き検出領域から抽出されたが、いくつかのポイントでシーンの他の要素へ移動した特徴が、特徴セットから識別され、除去される。この試験は、例えば、追跡される関心対象を直接囲む背景領域に選択された誤った初期特徴を検出するために、または、別の対象すなわち追跡対象のカメラ視界を遮る対象に対応する特徴を除去するために、実行され得る。例えば、図６における第１の車両６２に対し抽出された特徴の初期セットが、両方の車両６２、６４からの特徴を含む場合には、動きの一致試験により、第１の車両６２に関連する特徴セットから、第２の車両６４からの特徴を除去することができる。具体的には、第１の車両６２および第２の車両６４のいずれかがその初期位置から移動したとき、または両方の車両がわずかに異なる方向に移動するにつれて、この除去が発生する。このタイプのプルーニングは、特に近接したレイアウトおよび多くの起動停止イベントを有する待ち行列構成に対し、より滑らかでよりロバストな追跡性能を生じさせ、本システムの全体的な精度を向上させることができる。

説明的な例のために、システムが使用する追跡手法がハリスコーナーの特徴を伴うＫＬＴポイントトラッカを含む実施形態では、追跡されるハリスコーナーの特徴ポイントのセットは、「良好」ではない特徴を記述するように動的に（プルーニングされて）調整され得る。

代替の追跡の一実施形態では、検出される動き領域（すなわち、新たな関心対象のクロッピングされた副画像）のテンプレートは、特徴のセットとして使用することができる。テンプレートマッチング手法は、後続のフレームにおいてこのテンプレートの最良の一致を決めるために使用される。ゆっくりと変化する照明、ポーズ等に対応するための新たな位置を決定する度に、テンプレートは更新される。

対象追跡モジュール１２２は、追跡データ／位置情報を合流ポイント調停モジュール１２４に送信する。所与のフレームに対して、Ｓ３３６で、合流ポイント調停モジュール１２４は合流ポイント領域の位置を画定することができる。あるいは、仮想線を、画像平面上に画成することができる。合流ポイントはカメラ構成および待ち行列構成が同じままであれば変化しないので、このステップを１回で実行することができる。

各追跡対象に関連付けられた位置情報を使用して、モジュール１２４は、Ｓ３３８で追跡対象が定義された合流ポイントに達するか、あるいは通過するかどうかを判定する。所与の画像フレームの合流ポイント領域に交わる追跡対象に応じて（Ｓ３３８で「はい」）、Ｓ３４０でモジュール１２４は、対象を単一の待ち行列に合流されるものとして関連付ける。このポイントで、モジュール１２４は、後続のフレームにおけるその対象の追跡を中断できる。所与の画像フレームの合流領域に達しない追跡対象に応じて（Ｓ３３８で「いいえ」）、モジュール１２４は、その対象のための対象追跡モジュール１２２からの追跡データを受信し続け、Ｓ３３８で処理される次のフレームのための判断を繰り返す。

Ｓ３３８での判断により、追跡された特徴位置の任意の統計量が計算され、合流ポイントの位置と比較することができる。例えば、一実施形態では、追跡対象の位置を概略的に特定する位置情報から単一のポイントを計算することができる。ＫＬＴトラッカ等のポイントトラッカに対し、この単一のポイントを追跡された特徴位置の重心とすることができる。他の例の統計が、合流ポイント領域にわたる、重心、中央中心の位置は、第１のポイント、所定の割合ｎの特徴ポイント、および最後のポイント等を含むことができる。あるいは、モジュール１２４は、追跡されているポイントを含む凸包を計算することができる。この凸包と画定された合流領域との間の重複が、所定の割合で発生すると、モジュール１２４は、合流イベントを検出することができる。カーネルベースまたは領域ベースのトラッカがシステムによって適用される場合、このトラッカのカーネルと合流領域との間の重複を測定することができる類似した手法を用いることができ、この重複の程度が所定の閾値以上になると合流イベントが誘因される。

Ｓ３４０で、対象が単一の待ち行列に合流したものとして分類されると、Ｓ３４２で、モジュール１２４はサービスポイントに接近する対象の観察順序を計算する。この計算の一部として、モジュール１２４は、基本的に、追跡されている関心対象が対象の観察順序内のどこに位置するかを計算する。モジュール１２４は、この計算された観察順序をイベント通知モジュール１２５に送信することができる。

システムが各注文のエントリポイントから対象を追跡するため、イベント通知モジュール１２５は、観察順序と一致する（図示例では「発注」等の）各対象に関連する情報の正しい順序を決定することができる。モジュール１２５は、Ｓ３４４で終了イベント順序を修正および／または更新する。図示例では、終了イベントは、支払いポイントおよびピックアップポイントの１つまたは両方で実行される必要がある注文を含むことができる。特に、前記対象が検出された場合、モジュール１２５は、各対象に割り当てられた識別子を用いて終了イベント順序を更新することができる。識別子はトラッカで対象を追従するため、モジュール１２５は、順序を更新して、対象が終了ポイントに到着するのと同じ順序で各識別子に関連付けられたイベントを実行することができる。

モジュール１２５は、図示例でのレストランの販売時点情報管理（ＰＯＳ）システム等のユーザコンピュータ装置１０６に、この更新された順序を提供することができる。つまり、モジュール１２５は、メッセージに新たに合流した各対象をこのユーザ装置に送信する。代替の実施形態では、イベント通知モジュール１２５は、非合流イベントを報告することも可能である。この非合流イベントは、対象が待ち行列から離れたり、待ち行列に割り込む場合を示すことができる。この方法はＳ３４６で終了する。

本開示によって計算される再順序付け情報は、並んでいる待ち行列で処理を開始し、並んでいる待ち行列の収束後に単一レーンの待ち行列で処理を完了し、特に処理およびその出力が待ち行列内の人物を追従するような環境に適している。本発明を採用することができる業種の非限定的な例には、銀行（屋内およびドライブスルーのテラーレーン）、食料品店および小売店（チェックアウトレーン）、空港（セキュリティチェックポイント、チケットキオスク、搭乗領域およびプラットフォーム）、レストラン（ファーストフードカウンタおよびドライブスルー等）、劇場、洗車機等などが挙げられる。

方法３００は、一連の行為またはイベントの形態で上記に例示され説明されているが、本開示のさまざまな方法または処理が、このような行為またはイベントの示された順序に限定されるものではないことは理解されよう。これに関連して、以下の具体的場合を除いて、いくつかの行為またはイベントは、異なる順序で、および／または、本開示に従って本明細書に例示よび説明された以外の他の行為またはイベントと同時に発生してもよい。さらに、例示されたすべてのステップが、本開示に従った処理または方法を実施するために必要とされるわけではなく、１つまたは複数のこのような動作を組み合わせてもよい。本開示の例示された方法および他の方法を、ハードウェア、ソフトウェア、またはこれらの組み合わせで、本明細書に記載した制御機能を提供するために実施することができ、上記に例示したシステム１００に限定されない任意のシステムで使用することができるため、本開示は、本明細書に例示され説明された特定の用途および実施形態に限定されるものではない。

Claims (10)

1. イベント順序を更新するためのシステムであって、前記システムが、プロセッサと通信するメモリおよび前記プロセッサを含む自動順序付け装置を備え、前記プロセッサが、
   少なくとも１つの画像ソースから待ち行列領域の映像データを取得し、
   複数の対象から複数の個別のイベント要求を受信し、対象が前記待ち行列領域内の複数の待ち行列のうちの１つに位置している場合に、各イベント要求を受信し、
   前記映像データ内の前記複数の待ち行列のうちの１つにそれぞれ対応する、１つの画定された開始ポイントの近くに位置する各対象のために、フレームの１つおよび前記映像データの前記フレーム内の少なくとも１つの関心領域（ＲＯＩ）を検索し、
   後続の一連のフレーム上で前記待ち行列領域によって検出された各対象の移動を追跡し、
   前記追跡を使用して、前記待ち行列領域の前記複数の待ち行列が単一の待ち行列レーンに収束する場合に、追跡対象の位置が画像平面上の画定済み合流ポイントに到達したかどうかを判定し、
   前記画定済み合流ポイントに到達した前記追跡対象に応じて、前記追跡対象が前記合流ポイントを既に通過した他の対象に対して位置する場合の観察順序を計算し、前記単一の待ち行列レーンの終了イベントポイントに接近し、
   前記単一の待ち行列レーンにおける対象の前記観察順序に一致するように前記イベントの順序を更新する
   ように構成されている、システム。
2. 前記プロセッサが、
   オブジェクトの動きに対し、前記フレームおよび前記ＲＯＩの１つを検索し、
   前記オブジェクトの動きの検出に応じて、前記検出されたオブジェクトの動きを候補対象として関連付けする
   ようにさらに構成されている、請求項１に記載のシステム。
3. 前記プロセッサが、
   新たな対象および目下の追跡対象の１つに属するものとして各候補対象を分類し、
   新たな対象である前記候補対象に応じて、前記新たな対象にトラッカを割り当て、
   目下の追跡対象である前記候補対象に応じて、候補対象を廃棄する
   ようにさらに構成されている、請求項２に記載のシステム。
4. 前記プロセッサが、
   検出された各候補対象から特徴記述子を抽出し、
   前記抽出された特徴記述子を閾値および目下のトラッカの対応する記述子の１つと比較し、
   前記比較に基づいて、新たな対象および目下の追跡対象の１つに属するものとして前記各候補対象を分類する
   ようにさらに構成されている、請求項３に記載のシステム。
5. 前記プロセッサが、
   待ち行列領域内の前記ＲＯＩを画定する
   ようにさらに構成されている、請求項１に記載のシステム。
6. 前記プロセッサが、
   オクルージョンを除去するために、前記追跡位置で動きの一致試験を行う
   ようにさらに構成されている、請求項１に記載のシステム。
7. 前記待ち行列領域がファーストフードのドライブスルーを含み、前記イベント要求が注文を含み、前記終了イベントが商品およびサービスの１つを含む、請求項１に記載のシステム。
8. 前記プロセッサが、前記フレームおよび前記ＲＯＩの１つを検索するために、背景除去による前景検出および動き検出の１つを実行するようにさらに構成されている、請求項１に記載のシステム。
9. 前記プロセッサが、
   個別のイベント要求を受信することに応じて、前記個別のイベント要求を受信するときに前記画定された開始ポイントの最も近くに検出される前記対象に識別子を関連付け、
   前記識別子を使用して前記イベント順序を更新する
   ようにさらに構成されている、請求項１に記載のシステム。
10. 前記プロセッサが、
    前記対象の追跡された特徴位置の統計量を計算し、
    前記統計量を合流ポイント領域の位置に比較し、
    前記比較に基づいて、前記追跡対象の位置が前記画定済み合流ポイントに到達したかどうかを判定するようにさらに構成され、
    前記統計量が、前記追跡対象の位置を識別する単一のポイント、前記追跡された特徴位置の重心、前記追跡された特徴位置の中央中心の位置は、第１のポイント、特徴ポイントの所定の割合、最後のポイント、および重複の程度からなるグループから選択される、請求項１に記載のシステム。
    

Images