JP6533044B2 - 移動先レーンに合流する移動アイテムの移動元レーンの判定 - Google Patents

Description

本願明細書におけるシステム及び方法は、一般に、アイテムフロー処理に関し、特に、移動先レーンに合流する複数の移動元レーンとしての移動アイテムの移動元レーンを判定するのにカメラを使用するシステム及び方法に関する。

コンピュータ化されたシステムは、制御されたレーン又は経路を介したアイテムの移動を容易とするなど、多くの分野において効率を改善するのに有用である。そのようなシステムの例は、倉庫内のコンベアシステム上のアイテムの移動；空港、遊園地、スポーツイベントにおける個人の待機；車内運転施設における食品やその他のアイテムのドライブスルー（又は「ドライブスルー式」）での注文処理などを含む。本願明細書におけるシステム及び方法は、ドライブスルー注文の例を使用して説明される。しかしながら、これらのシステム及び方法は、人間又はアイテムが複数の移動元レーンから少なくとも１つの移動先レーンに合流する全てのタイプの処理に適用可能である。

車両の「ドライブスルー」動作において、顧客は、所定の機能が（各レーンを有する）複数の並列ステーションにおいて行われ且つ車両が他の機能を行うステーションに対して少ないレーンに合流された場合には迅速に且つコスト効率よく供給されることができる。例として、２つ又は３つの並列注文ステーションと支払い及び食品受け取りのための単一レーンとを有するファーストフードレストランが挙げられる。非効率性及び問題は、並列レーンに続く合流領域に存在する。現在、従業員は、移動元レーンが合流ラインと交差するのにともない車両の移動元レーンを追跡するためにビデオカメラやモニタを使用している。これは、他の場所で使用可能な従業員の努力を必要とし、時間を浪費して後続するステーションにおける顧客の不満を作り出す人為的ミスを被る。

本願明細書における例示的な装置は、第１の位置を向いた光学ステレオカメラ（複数の撮像ユニットを有する単一のカメラ又は複数のカメラを有するカメラネットワーク）を含む。複数のカメラ又は撮像装置は、固定されて第１の位置と重複する視野を有する。第１の位置は、単一の副レーンなどの少ない本数の副レーンに合流する複数の平行な主レーンを有する水平面を備える。ステレオカメラは、水平面に平行な水平方向に向けられている。主レーン内の移動アイテムは取引を開始し、副レーンにおいて取引を終了する。

プロセッサは、ステレオカメラに対して動作可能に接続されている。プロセッサは、ステレオカメラの複数のカメラによって得られた移動アイテムの画像間の差異に基づいて水平方向におけるステレオカメラからの移動アイテムの距離（又はカメラネットワークが使用される場合には基準カメラからの距離）を算出する。具体的には、プロセッサは、移動アイテムが第１の位置を通過するのにともない且つ移動アイテムの少なくとも一部が第１の位置内にあるとき移動アイテムの相対位置及び相対距離を検出することによって移動アイテムが副レーンに入ったシーケンスを判定する。プロセッサは、第１の位置を通過する移動アイテムのそれぞれについて時間的な深さプロファイルを作成することによってステレオカメラからの移動アイテムの距離を算出する。

これは、副レーンへの合流前に移動アイテムのそれぞれが位置する主レーンを識別し、プロセッサが「合流順序」で取引の注文を行うのを可能とする。合流順序は、移動アイテムが主レーンから副レーンに入ったシーケンスに対応する。インターフェースは、プロセッサに対して動作可能に接続され、取引を終了する取引装置に対して（合流順序で）取引を出力する。

さらに、プロセッサは、移動アイテムが第１の位置を通過するときに移動アイテムの「初期」シグネチャプロファイルを作り出すことができる。そのような初期シグネチャプロファイルは、移動アイテムの色、形状、高さ及び幅などの項目を含むことができる。装置は、さらに、（移動アイテムが取引を終了する場合に隣接する）副レーンの第２の位置において第２のステレオカメラを備えることができる。それゆえに、プロセッサは、移動アイテムが第２の位置を通過するときに（再度移動アイテムの色、形状、高さ及び幅などを含むことができる）移動アイテムの「確認」シグネチャプロファイルを作り出すことができる。

これらの初期及び確認シグネチャプロファイルは、プロセッサが合流順序を確認又は変更するのを可能とする。具体的には、プロセッサは、初期シグネチャプロファイルと一致する確認シグネチャプロファイルに基づいてインターフェースが取引装置に対して取引を出力する前に合流順序を確認する。それとは反対に、プロセッサは、初期シグネチャプロファイルと一致しない確認シグネチャプロファイルに基づいてインターフェースが取引装置に対して取引を出力する前に合流順序を変更する。

空間的制約を満たすために、いくつかの状況において、ステレオカメラは、移動アイテムの隣に配置されることができ、プロセッサは、移動アイテムの側面画像のみに基づいて距離を算出する。さらに、装置を簡便化してコストを削減するために、ステレオカメラは、固定位置にある静止した非移動ステレオカメラとすることができる。

本願明細書における例示的な方法は、第１の位置を向いた光学ステレオカメラ（又はカメラネットワーク）を使用して画像を取得する。第１の位置は、少ない本数の少なくとも１本の副レーンに合流する複数の平行な主レーンを備え、主レーン内の移動アイテムは取引を開始し、副レーンにおいて取引を終了する。そのような方法は、カメラに対して動作可能に接続されたプロセッサを使用して、カメラからの移動アイテムの距離（又はカメラネットワークが使用される場合には基準カメラからの距離）を算出し、移動アイテムのそれぞれが副レーンへの合流前に位置した主レーンを識別する。それゆえに、本願明細書における方法は、プロセッサを使用して、第１の位置を通過する移動アイテムのそれぞれについての時間的な深さプロファイルを作成することにより、カメラからの移動アイテムの距離を算出する。

そして、これらの方法は、移動アイテムが主レーンから副レーンに入ったシーケンスに対応する合流順序で取引の注文を行う。具体的には、そのような方法は、移動アイテムが第１の位置を通過するときに移動アイテムの相対位置及び相対距離を検出することにより、移動アイテムが副レーンに入ったシーケンスを判定する。また、本願明細書における方法は、プロセッサに対して動作可能に接続されたインターフェースを使用して、取引を終了する取引装置に対して合流順序で取引を出力する。

さらに、いくつかの場合において、これらの方法は、移動アイテムの初期シグネチャプロファイルを作り出すことができる。これらの初期シグネチャプロファイルは、移動アイテムが第１の位置を通過するときの移動アイテムの色、形状、高さ、幅などを含む。また、これらの方法は、移動アイテムの確認シグネチャプロファイルを同様に作り出すことができ、これらの確認シグネチャプロファイルは、移動アイテムが（移動アイテムが取引を終了する場所に隣接する）副レーンの第２の位置を通過するときの移動アイテムの色、形状、高さ、幅などを同様に含む。それゆえに、これらの方法は、確認シグネチャプロファイルが初期シグネチャプロファイルに一致する場合に（インターフェースが取引装置に対して取引を出力する前に）合流順序を確認し、又は、これらの方法は、確認シグネチャプロファイルが初期シグネチャプロファイルに一致しない場合に（インターフェースが取引装置に対して取引を出力する前に）合流順序を変更する。

図１は、本願明細書における様々なシステムの構成要素図である。 図２は、本願明細書における方法及びシステムによって生成される立体画像を示している。 図３は、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示すグラフである。 図４は、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示す画像及びグラフを示している。 図５Ａは、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示す画像及びグラフを示している。 図５Ｂは、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示す画像及びグラフを示している。 図５Ｃは、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示す画像及びグラフを示している。 図５Ｄは、本願明細書における方法及びシステムによって生成されるシグネチャプロファイルを示す画像及びグラフを示している。 図６は、本願明細書における装置を示す概略図である。 図７は、本願明細書における装置を示す概略図である。 図８は、本願明細書におけるシステムを示す概略図である。 図９は、本願明細書における装置を示す概略図である。 図１０は、本願明細書における様々な方法のフロー図である。

上述したように、コンピュータ化されたシステムは、そのような制御されたレーン又は経路を通過するアイテムの移動を容易とするなど、多くの分野において効率を改善するのに有用である。この分野において、本願明細書におけるシステム及び方法は、合流レーンを横切るように車両の移動元レーンを判定するための立体視システム及び方法を提供する。

本願明細書におけるシステムの一例は、図１に示されている。この例示的なシステムは、様々なモジュールを含む。アイテム１００は、ドライブスルーレーンのための合流線（関心領域−ＲＯＩ）と関連する領域のステレオペア（複数のビュー）映像又は画像を取得する立体視映像キャプチャモジュールを表す。アイテム１０２は、撮像画像内のＲＯＩを識別するＲＯＩ選択モジュールを表す。アイテム１０４は、ＲＯＩ内の車両の存在を判定する車両検出モジュールを表す。アイテム１０６は、ＲＯＩ又はＲＯＩの深さマップにおける特徴の距離を判定する深さ推定モジュールを表す。アイテム１０８は、距離情報を使用して合流線についての領域における関心車両の移動元レーンを判定するレーン判定モジュールを表す。アイテム１１０は、関心車両の特徴を抽出し、元の注文レーンにおいて撮像された車両特徴とのマッチングを行う車両識別及びマッチングモジュールを表す。これらのモジュールは、以下においてより詳細に説明する。

立体視映像キャプチャモジュール１００は、少なくとも２つのカメラ又は２つのカメラビューを含む。カメラの相対位置は、アイテムがカメラから配置されている異なる距離を確実に判定するのに十分異なる角度を提供するためにインストール時に測定又は設定される。本願明細書における方法及びシステムは、２つのビューがレーンの面に平行な水平線に沿って粗く設定されるように、カメラを整列させることによって処理を簡略化することができる。関心領域の３次元幾何形状を把握するために較正が行われる。市販のステレオカメラは、本願明細書におけるシステム及び方法とともに使用されることができる。

図２は、ビデオカメラによって撮像されたサンプルビデオフレームを図示している。図２に示されたサンプルビデオフレームは、異なる角度から同時に得られる同一の関心領域の２つのビュー１２０、１２２を含む。２つのビュー１２０、１２２間の差異は、２つのビューが同じ面積からなり、実質的に同時に得られる（略同時に得られる）ことから、それらが僅かに異なる角度から得られるという理由だけで発生する。

ＲＯＩ選択モジュール１０２は、撮像された画像内のＲＯＩを識別する。合流線は、（後述するように、図６及び図７に示される合流領域２１６などの）実世界空間内の物理又は仮想線である。合流線又は領域は、レーン数が減少する位置をマーク解除する。ＲＯＩは、画像空間内で視認されるような合流線まわりの領域であり、そのような用語は互換的に使用される。

ＲＯＩは、セットアップ時の地点又は領域の手動選択によってビデオ監視設定において確立されることができる。この例において、ＲＯＩは、図２においてボックス１２８として示されている。本願明細書におけるシステムは、ＲＯＩが双方のレーンをカバーするのに十分大きいように且つ信号ロバスト性のために車両進入地点にＲＯＩを配置しているが、ＲＯＩはまた、計算効率のために十分に小さい。物理又は仮想合流線及び対応する画像ＲＯＩは、車両合流の移動元レーンを固有に判定するためにトラフィックフローにおける十分上流であるとともに、検出されたいかなる車両も合流リソースを占有する次の車両であるようにトラフィックフローにおける十分下流に配置されている。ＲＯＩを配置するための１つの代替例は、塗装線、リフレクタ又はポストなどの現実空間における既知のマーカの自動検出を使用する。

他の代替例において、ＲＯＩは、現在のフレームについての全ての検出された車両画素を含み、それゆえに、フレーム間において位置を変更することができる。このアプローチの利点は、距離推定及び車線判定モジュールのために全ての検出された車両画素を使用するということである。しかしながら、車両検出からのノイズ（例えば、動き検出方法によって移動車両の一部と誤解される可能性があるシャドウ画素）は、そのような代替例において制御されるべきである。

上述したように、車両検出モジュール１０４は、ＲＯＩにおける車両の存在を判定する。車両検出モジュール１０４は、一般に、特徴又はアクティビティ検出器である。それは距離推定のために車両（又は特徴）の存在を判定する。車両検出は、様々な方法で行われることができる。

一例において、車両検出は、形態学的フィルタリング及びサイズ閾値判別が続く（フレーム間の差異、オプティカルフローなどの）動き検出によって行われる。このアプローチは、リアルタイム実装によく適することができるという計算的利点を有する。しかしながら、そのようなアプローチは、移動物体が画素における車両の大きさについて視認されるときに根拠を失うことがある（カメラの前方における小さな物体又は非常に遠くの巨大な物体とすることができる）。これは、一般的ではなく、ステレオカメラ動作深さ範囲及び視覚ベースの物体認識方法の有効活用を制限することによって実際に容易に解決される。

他の例において、視覚ベースの物体認識方法は、フレーム間に適用されることができる。これは、ロバストな車両検出を生み出すが、はるかに高い計算コストを要し、リアルタイム実装速度を満たす上での課題を追加する。さらに他の例は、動き検出、物体認識及び車両検出のための追跡方法の組み合わせである。この場合、動き検出の最初の発生は、物体認識をトリガする。車両認識が確認された場合、物体追跡は、物体がシーンを離れるまで将来のフレームについて使用される。車両認識が確認されない場合には、動き検出は、次のフレームについて続行され、処理が繰り返される。

少なくとも２つの（立体視用）カメラの相対位置及びカメラ較正パラメータの先験的な知識を与えられた深さ推定モジュール１０６に関して、深さ推定モジュール１０６は、対応一致及び視差較正を低減する。それゆえに、上述したカメラ情報は、標準的なカメラ較正手順を介して収集され、カメラが固定されている場合には一定のままとされる。水平にラインアップして同一のカメラ内部パラメータとともに固定されたベースラインを有する簡略化されたステレオカメラについて、深さｄは、ｄ＝ｆｔ／（Δｊ）として算出される。ここで、ｆは焦点距離であり、ｔはベースラインであり、Δｊは、画素単位での視差である。視差は、同じ視認される特徴の画素列位置の差異である。

視差と距離との関係の一例は、図２に示される２つの異なるフレーム１２０、１２２に図示された２台の車両の前輪においてみられる。車１２４の前輪は、ＳＵＶ１２６の前輪よりもステレオペア１２０、１２２においてはるかに大きな視差を有する。それゆえに、本願明細書におけるシステム及び方法は、ＳＵＶ１２６が車１２４よりもセンサから離れているという結論を出す。

いくつかの例において、深さ推定モジュール１０６は、レーン判定モジュール１０８への入力を提供するために密又は疎な深さマップを使用する。密な深さマップを算出する場合、本願明細書におけるシステム及び方法は、ステレオペア１２０、１２２における（対応する）画素と重複する全てについての深さを推定する。一例において、これは、以下のステップを含む。ステレオペア１２０、１２２における対応する点をみつけること、及び、これらの点についての視差、それゆえに深さを算出すること、そして、対応が直接みつけられることができない（少なくともロバストにみつからない）画素の深さを補間すること。この例（水平視差）において使用される簡略化されたステレオカメラについて、対応一致は、ペア間で同じ画素行で発生し、それゆえに、検索は、より迅速でよりロバストである。

多くのステレオカメラ製造業者について、密な深さマップを算出するためのツールは、多くの場合、カメラとともに提供される。しかしながら、この特定の例において、制限されたＲＯＩ及び主として水平視差により、計算負荷を低減するために固有の密な深さマップを実装することが有益であり得る。それゆえに、本願明細書におけるシステム及び方法は、従来の密な深さマップの使用に代えて、本願明細書において疎な深さマップと称されるものを算出する。

本願明細書におけるシステム及び方法によって行われる疎な深さマップの計算は、（全てのデータ／画素点未満の）少ない数の関心のあるキー点についての深さを求める。深さ（視差）計算は、密な深さマップ導出と同様であるが、ハリスコーナー、スケール不変特徴変換（ＳＩＦＴ）関心点、高速ロバスト特徴（ＳＵＲＦ）関心点などの画像特徴にローカライズされる。これは、多くの密なマップ構造の作成が近いテクスチャレス領域（非関心点によるもの）についての適切な距離推定をみつけるという課題の解決にフォーカスしていることから、密な深さマップを導出するよりもはるかに計算効率が高い。

疎な深さマップ算出において、必要とされる全てのものは、車両に関する十分な距離情報が１つの移動アイテムと他とを固有に区別するために収集されることができるように、十分な数のＲＯＩ内のデータポイントである。結果として、これらの点は、疎な対応をみつけるために通常使用される関心点とすることができる。移動アイテムがエッジを有することから、この目的のために十分な点がＲＯＩ内に存在すると予想することは非常に合理的である。しかしながら、疎な深さマップが選択された場合には、図２に示される固定されたＲＯＩ１２８よりもむしろ全ての検出された車両画素を含むＲＯＩを使用することが時々有益である。

レーン判定モジュール１０８は、合流車線に入る前の関心車両の移動元レーンを判定する。移動元レーンは、センサまでの関心車両の側面の距離（すなわち、検出された車両の距離）を求め、異なるレーンがカメラに対して位置する距離を照合することによって判定される。

固定されたＲＯＩ１２８の場合には、本願明細書におけるシステム及び方法は、実行する時間的な深さプロファイルを記憶し、この深さプロファイルを経時的に観察して閾値のセットと深さプロファイルを比較することによってレーン情報を判定する。深さプロファイルは、１つ以上の点から取ることができ、ロバストな解決策は、検出された車両の複数の関心点の深さにメジアンフィルタを適用することによってプロファイルを生成する。本願明細書におけるシステム及び方法によって生成されるメジアンフィルタリングされた深さプロファイルの例が図３に示されている。レーン情報（レーン１対レーン２）は、プロファイル１３０において異なるステップとして明確に示されている。

動的ＲＯＩを使用する場合、全ての検出された車両画素の深さは、本願明細書におけるシステム及び方法によって算出される。レーン判定モジュール１０８は、車両の結果として得られた深さ（例えば、ＲＯＩにおける車両画素深さの中央値）を算出する。そして、先頭車両の距離（元のレーン）は、車両がフレームにおいて右から左に移動する場合には、車両のブロブの最も左の画素の深さに基づいている。上述したように、動的ＲＯＩの算出は、ＲＯＩがフレーム毎に変化しており、固定されたＲＯＩのアプローチよりも通常は大きいことから、距離推定及び他の要因の点でより計算的に高価である。また、動的ＲＯＩは、動き検出が車両検出のために使用された場合には、影やその他の誤って検出された動きに起因するノイズの影響を受けやすくすることができる。

合流レーンに接近する車両についてのレーン情報の時間的なビューは、上述したように、正確な車両順序を維持するためには通常十分である。しかしながら、所定のノイズや顧客の挙動（割り込み、歩行者、車両での走り去りなど）に生じる問題の可能性がある。そのため、車両識別及びマッチングモジュール１１０は、合流位置において、色、形状、高さ、幅などの初期画像特徴を収集することができ、注文完了領域（例えば、注文受け取り窓）の近くに位置する第２のカメラを使用して得られたそのような画像特徴を比較することができる。

図４〜図５（Ｄ）は、本願明細書におけるシステム及び方法の特徴及び動作をさらにハイライトした例を図示している。図４は、車両検出モジュール１０４が車両の存在を宣言する第１のフレームまでの映像を解析した結果を示している。具体的には、図４において、左２つの画像１４０、１４２は、ステレオカメラによって取得されたステレオペアである。再度、ボックス１２８は、予め定義されたＲＯＩを表している。

車両検出モジュール１０４は、最も左の画像１４０の全フレームについて形態学的フィルタリング及びサイズ閾値判別が続く動き検出を行う。しかしながら、ボックス１２８内の検出された動き画素のみがさらなる処理を必要とする。この実装において、簡便さと計算上の利点のために、動き検出のためのフレーム間差分及びオプティカルフローの組み合わせが使用される。

第３の画像１４４は、深さ推定モジュール１０６がステレオペアを解析したときに生成された結果として得られた密な深さマップである。いくつかの例において、深さ推定モジュール１０６は、フレーム全体について及び全てのフレームについての密な深さマップを算出する。他の例において、深さ推定モジュール１０６は、ＲＯＩ内及びＲＯＩにおいて検出されたＮ個超（例えば、Ｎ＝１００）の動き画素を含むフレームについての深さマップを算出するに過ぎない。これは、深さ推定モジュール１０６の算出をかなり低減する。

検出された動き画素数がＮ個以下である場合には、車両検出モジュール１０４は、関心車両がＲＯＩのビューにおいて検出されないと結論を出す。その場合、現在のフレームについての時間的な深さデータは、この例ではこのステレオカメラによって許容される最大深さフィールドである関心領域の最大深さに設定される。

ＲＯＩのビューにおいて検出された関心車両が存在する場合には、ＲＯＩにおいて検出された動き画素の得られた深さの中央値は、深さ推定モジュール１０６による時間的な深さデータとして記憶される。この実行する時間的な深さデータは、関心期間にわたるカメラまでの関心車両の距離を表し、本願明細書において「時間的な深さデータ」マップ、プロファイル又はグラフと称される項目１４６においてグラフィカルに示される。この実行する時間的な深さデータは、さらに、例えば、７．５ｆｐｓビデオについて２秒の遅延に変換する１５タップのメジアンフィルタによってフィルタリングされることができる。

図４における最も右の項目１４６は、合流領域に接近する可能性のある車両の距離を表す、現在のフレームまでの得られた時間的な深さデータである。迅速な応答のために、レーン判定モジュール１０８は、現在のフレームの深さデータに基づいてレーン情報を判定することができる。代わりに、深さ推定モジュール１０６は、よりロバストな判定結果を得るために最新のＭ個のデータ点（例えば、Ｍ＝１０）を使用することができる。ロバスト性は、さらに、車速を組み込むことによって改善することができ、通常の車両の予想長さは、動的にＭ個選択されることができる。

レーン判定の一例において、全てのＭ個の深さデータが１０から２０フィートの間にある場合、車両は、遠いレーン（レーン２）にある。データが全て０から１０フィートの間にある場合、車両は、近くのレーン（レーン１）にある。そうでない場合は、車両は存在せず、これは０としてラベル付けされることができる。ここで留意すべきは、レーン情報（０、１又は２）の切り替えは、車両の開始又は終了を示すということである。このアプローチによって発生する１つの問題は、２台の連続した車両が非常に小さな間隔で同一レーンにあるときである。しかしながら、この問題は、より高いビデオ取得レートを使用することによって対処される。例えば、３０ｆｐｓビデオを使用することにより、レーン判定モジュール１０８は、２０ｍｐｈでの車両走行について１フィートの間隔を解決することができる。

図５Ｃ〜図５Ｄは、図４に示される処理にしたがって解析されるステレオフレームの４つの試験ビデオ系列の最終結果（すなわち、最後のステレオペア・フレームまで）を図示している。最後のステレオペアは、図５Ａ〜図５Ｄにおいて項目１５０、１５２、１６０、１６２；１７０、１７２；及び１８０、１８２として表されている。生成される密な深さマップは、図５Ａ〜図５Ｄにおいて項目１５４、１６４、１７４、１８４として表され、チャート化された時間的な深さデータは、図５Ａ〜図５Ｄにおいて項目１５６、１６６、１７６、１８６として示されている。

車両が合流レーンに入った順序の「結果」は、例えば図５（Ａ）における時間的な深さデータマップ１５６におけるステップを観察することによってみることができ、レーン１が最初に入る（時間的な深さデータマップ１５６において上段ステップが続く下段ステップ）。それとは反対に、例えば図５（Ｄ）における時間的な深さデータマップ１８６において、レーン２が最初に入る（時間的な深さデータマップ１８６において下段ステップが続く上段ステップ）。図４及び図５（Ａ）〜図５（Ｄ）において、非ゼロのレーン状態が現在のフレームについて検出された場合、最も左の画像の左上隅など、識別されたレーン情報が表示されることができる（及びレーン１については赤及びレーン２については青による色コードとすることができる）。この方法からの結果は、分析された４つ全ての試験ビデオシーケンスについて車両が合流レーンに入った真の順序と一致する。

ここで留意すべきは、上述した全ての画像系列が、距離情報が動いている車両についてのＲＯＩにおけるレーン判定のために使用されるのみであることを示しているということである。

図６は、例えば、アイテム（人、在庫、バルク材料など）が移動するドライブスルー注文システム又は他のシステムの一部とすることができる合流レーン２００、２０２、２０４の平面図である。項目２１０、２１２及び２１４は、例えば、処理が開始されて注文が行われて潜在的に支払われる発注ステーションを備えることができる装置を表す。項目２３０は、合流領域２１６（この例ではＲＯＩ）を向いたステレオカメラ２３０を表す。カメラネットワークの複数のカメラ（又はステレオカメラの撮像装置）は、固定されて第１の位置２１６と重複する視野を有する。二重破線は、本願明細書におけるステレオカメラの別個のカメラビューを表す。項目２４０は、中央処理装置（ＣＰＵ）又は他の種類のプロセッサなどのコンピュータ化された装置である。項目２４０は、上述した図１に示された項目の多くを含むことができる。

項目２３２は、合流レーン２０６内の移動アイテムの順序を確認するために使用されることができる他のステレオカメラを表す。具体的には、ステレオカメラ２３２は、そのようなアイテムが、行われる処理における次のステップ又は取引が部分的又は完全に完了するステーション（項目２２０）に到達する前に合流レーン２０６内の移動アイテムの画像を記録するように配置される。それゆえに、項目２２０は、ステーション２１０、２１２又は２１４に置かれた注文が受け取られて潜在的に支払われるステーションを備えることができる。

図７は、図６と同様であるが、第２の合流レーン２０８を使用した第２の取引完了ステーション２２２を含む。ここで、任意の確認ステレオカメラ２３４もまた、レーン２０８に合流する移動アイテムを確認するのに使用されることができる。

それゆえに、本願明細書における例示的なシステムは、第１の位置２１６を向いた光学ステレオカメラ２３０（複数の撮像ユニット又はカメラを有するカメラ２３０）などのカメラを含む。例えば、第１の位置２１６は、単一の副レーン２０６などの少ない本数の副レーンに合流する複数の平行な主レーン２００、２０２、２０４を有する水平面を含む。この例において、ステレオカメラ２３０は、レーン２００、２０２、２０４の水平面に略平行な水平面内で互いに位置決めされたカメラを有する。主レーン２００、２０２、２０４内の移動アイテム（例えば、車両、物品、人、車両内の人などの任意の種類のアイテム）は取引を開始し、副レーン２０６内において取引を終了する。

プロセッサ２４０は、ステレオカメラ２３０に対して動作可能に接続されている。プロセッサ２４０は、ステレオカメラ２３０の複数のカメラによって得られた移動アイテムの画像間の差異に基づいて水平方向におけるステレオカメラ２３０からの移動アイテムの距離を算出する。具体的には、プロセッサ２４０は、上述したように、移動アイテムが第１の位置２１６を通過するときに移動アイテムの相対位置及び相対距離を検出することにより、移動アイテムが副レーン２０６に入ったシーケンスを判定する。プロセッサ２４０は、移動アイテムのうちの少なくとも一部が第１の位置内にあるとき、第１の位置２１６を通過する移動アイテムのそれぞれについての時間的な深さマップ又はプロファイルを作成することにより、ステレオカメラ２３０からの移動アイテムの距離を算出する。

これは、副レーン２０６への合流前に移動アイテムのそれぞれが位置した主レーン２００、２０２、２０４を識別し、プロセッサ２４０が「合流順序」で取引の注文を行うのを可能とする。合流順序は、移動アイテムが主レーン２００、２０２、２０４から副レーン２０６に入ったシーケンスに対応する。項目２４０におけるインターフェースは、プロセッサ２４０に対して動作可能に接続されており、取引を終了する取引装置２２０に対して（合流順序で）取引を出力する。

さらに、プロセッサ２４０は、移動アイテムが第１の位置２１６を通過するときの移動アイテムの「初期」シグネチャプロファイルを作り出すことができる。そのような初期シグネチャプロファイルは、移動アイテムの色、形状、高さ、幅などの項目を含むことができる。装置は、さらに、（移動アイテムが取引を終了する場所に隣接する）副レーン２０６の第２の位置において第２のステレオカメラ２３０を備えることができる。それゆえに、プロセッサ２４０は、移動アイテムが第２の位置２０６を通過するときの（再度、移動アイテムの色、形状、高さ、幅などを含むことができる）移動アイテムの「確認」シグネチャプロファイルを同様に作り出すことができる。さらに、初期シグネチャプロファイルは、上述した時間的な深さデータチャートのパターンに基づくことができ、確認プロファイルは、（それらが潜在的に確認ステレオカメラ２３２に近いことから異なる強度レベルからなる場合であっても）時間的な深さデータチャートのそのようなパターンのマッチングを行うことができる。

これらの初期及び確認シグネチャプロファイルは、プロセッサ２４０が合流順序を確認又は変更するのを可能とする。具体的には、プロセッサ２４０は、初期シグネチャプロファイルに一致する確認シグネチャプロファイルに基づいてインターフェースが取引装置２２０に対して取引を出力する前に合流順序を確認する。それとは反対に、プロセッサ２４０は、確認シグネチャプロファイルが初期シグネチャプロファイルに一致しない場合に、インターフェースが取引装置に対して取引を出力する前に合流順序を変更する（確認シグネチャプロファイルのシーケンスによって示される順序に順序を変更する）。

空間的制約を満たすために、いくつかの状況において、ステレオカメラ２３０は、移動アイテムの隣に配置されることができ、プロセッサ２４０は、（例えば、図２に示されるような）移動アイテムの側面画像のみに基づいて距離を算出する。さらに、装置を簡略化してコストを低減するために、ステレオカメラ２３０は、固定位置にある静止した非移動ステレオカメラ２３０とすることができる。

図８に示されるように、本願明細書における例示的なシステム及び方法は、様々な異なる物理位置２５６に位置する様々なコンピュータ化された装置２４０、２５４を含む。コンピュータ化された装置２４０、２５４は、印刷サーバ、印刷装置、パーソナルコンピュータなどを含むことができ、（有線又は無線）ローカル又はワイドエリアネットワーク２５２を介して通信する（互いに動作可能に接続されている）。したがって、処理は、ステレオカメラの位置において局所的に行われる必要がなく、ネットワーク２５２を介してステレオカメラに対して接続された中央処理システムを使用して行われることができる。

図９は、本願明細書におけるシステム及び方法によって使用されることができ、且つ、例えば、サーバ、パーソナルコンピュータ、ポータブル計算装置などを備えることができるコンピュータ化された装置２４０の１つの例示的構成を図示している。コンピュータ化された装置２４０は、コントローラ／プロセッサ２６４と、プロセッサ２６４及びコンピュータ化された装置２４０の外部のコンピュータ化されたネットワーク２５２に対して動作可能に接続された通信ポート（入力／出力）２７０とを含む。また、コンピュータ化された装置２４０は、（電源２６２を介して）外部電源２６８から供給された電源で動作するグラフィカル・ユーザインターフェース・アセンブリ２６６、カメラ２７２などの少なくとも１つのアクセサリ機能要素を含むことができる。

入力／出力装置２７０は、コンピュータ化された装置２４０との通信のために使用される。プロセッサ２６４は、コンピュータ化された装置の様々な動作を制御する。（光学、磁気、キャパシタベースなどとすることができる）持続的コンピュータ記憶媒体装置２６０は、プロセッサ２６４によって読み取り可能であり、コンピュータ化された装置が本願明細書において上述したものなどのその様々な機能を行うのを可能とするようにプロセッサ２６４が実行する命令を記憶する。電源２２２は、蓄電要素（例えば、バッテリなど）を備えることができる。

図１０は、本願明細書における例示的な方法を図示するフローチャートである。項目３００において、これらの方法は、第１の位置を向いた光学ステレオカメラ又はカメラネットワークを使用して（例えば、合流領域２１６を向いた第１のステレオカメラ２３０を使用して）画像を取得する。本願明細書における装置は、複数の撮像ユニットを有する単一のステレオカメラ又は複数のカメラを有するカメラネットワークを使用することができる。カメラネットワークの複数のカメラ（ステレオカメラの撮像装置）は、固定されて第１の位置２１６と重複する視野を有する。再度、第１の位置は、少ない本数の少なくとも１本の副レーンに合流する複数の平行な主レーンを含み、主レーン内の移動アイテムは取引を開始し、副レーンにおいて取引を終了する。

項目３０２において、そのような方法は、副レーンへの合流前に移動アイテムのそれぞれが位置した主レーンを識別するように、カメラに対して動作可能に接続されたプロセッサを使用してカメラからの移動アイテムの距離（又はカメラネットワークが使用される場合には基準カメラからの距離）を算出する。それゆえに、本願明細書における方法は、プロセッサを使用して、第１の位置を通過する移動アイテムのそれぞれについての（項目３０４に示される）時間的な深さプロファイルを作成するためにカメラからの移動アイテムの距離を算出する。

さらに、いくつかの場合において、これらの方法は、項目３０６において移動アイテムの初期シグネチャプロファイルを作り出すことができる。これらの初期シグネチャプロファイルは、（項目３００において取得された画像を使用して）移動アイテムが第１の位置を通過するときの移動アイテムの色、形状、高さ、幅などを含む。

項目３０８において、これらの方法は、次に、プロセッサを使用して、移動アイテムが主レーンから副レーンに入ったシーケンスに対応する合流順序で取引の注文を行う。具体的には、そのような方法は、（項目３００において取得された画像を使用して）移動アイテムが第１の位置を通過するときに移動アイテムの相対位置及び相対距離を検出することにより、移動アイテムが副レーンに入ったシーケンスを判定する。

また、これらの方法は、項目３１０によって示されるように（移動アイテムが取引を終了する場所に隣接する）副レーンの第２の位置を向いた第２のカメラを使用して追加の画像を同様に取得することができる。それゆえに、注文完了レーン２０６を向いた第２のカメラ２３２は、そのような追加画像を取得するのに使用されることができる。そして、これらの追加画像は、項目３１２において移動アイテムの確認シグネチャプロファイルを作成するのに使用される。これらの確認シグネチャプロファイルは、移動アイテムが（移動アイテムが取引を終了する場所に隣接する）副レーンの第２の位置を通過するときの移動アイテムの色、形状、高さ、幅などを同様に含む。

それゆえに、項目３１４において、これらの方法は、確認シグネチャプロファイルが初期シグネチャプロファイルに一致した場合に（インターフェースが取引装置に対して取引を出力する前に）合流順序を確認し、又は、これらの方法は、確認シグネチャプロファイルが初期シグネチャプロファイルに一致しない場合に（インターフェースが取引装置に対して取引を出力する前に）合流順序を変更する。具体的には、項目３１４は、確認シグネチャプロファイルのシーケンスに一致する順序に取引順序を変更する。そして、項目３１６において、本願明細書における方法は、プロセッサに対して動作可能に接続されたインターフェースを使用して、取引を終了する取引装置に対して合流順序で取引を出力する。

Claims (10)

1. 第１の位置を向き、それぞれ異なる角度から前記第１の位置を撮像するように配置された少なくとも２つの撮像装置を備えるカメラネットワークであり、前記撮像装置が、固定されて前記第１の位置と重複する視野を有し、前記第１の位置が、少ない本数の少なくとも１つの副レーンに合流する複数の平行な主レーンを備え、前記主レーン内の移動アイテムが、前記主レーンにおいて取引を開始して前記副レーンにおいて前記取引を終了するカメラネットワークと、
   前記カメラネットワークに対して動作可能に接続され、前記カメラネットワークからの前記移動アイテムの距離を算出して前記副レーンへの合流前に前記移動アイテムのそれぞれが位置する前記主レーンを識別し、前記移動アイテムが前記主レーンから前記副レーンに入ったシーケンスに対応する合流順序で前記取引の注文を行うプロセッサと、
   前記プロセッサに対して動作可能に接続され、前記合流順序で前記取引を出力するインターフェースとを備える、装置。
2. 前記プロセッサが、前記移動アイテムが前記第１の位置を通過するときに前記移動アイテムの相対位置及び相対距離を検出することによって前記移動アイテムが前記副レーンに入った前記シーケンスを判定する、請求項１に記載の装置。
3. 前記プロセッサが、前記第１の位置を通過する前記移動アイテムのそれぞれについての時間的な深さプロファイルを作成することによって前記カメラネットワークにおける前記撮像装置の基準装置からの前記移動アイテムの前記距離を算出する、請求項１に記載の装置。
4. 第１の位置を向き、それぞれ異なる角度から前記第１の位置を撮像するように配置された複数のカメラを備える光学ステレオカメラであり、前記複数のカメラが、固定されて前記第１の位置と重複する視野を有し、前記第１の位置が、少ない本数の少なくとも１つの副レーンに合流する複数の平行な主レーンを備え、前記主レーン内の移動アイテムが、前記主レーンにおいて取引を開始して前記副レーンにおいて前記取引を終了する光学ステレオカメラと、
   前記ステレオカメラに対して動作可能に接続され、前記複数のカメラによって得られた前記移動アイテムの画像間の差異に基づいて前記ステレオカメラからの前記移動アイテムの距離を算出して前記副レーンへの合流前に前記移動アイテムのそれぞれが位置する前記主レーンを識別し、前記移動アイテムが前記主レーンから前記副レーンに入ったシーケンスに対応する合流順序で前記取引の注文を行うプロセッサと、
   前記プロセッサに対して動作可能に接続され、前記合流順序で前記取引を出力するインターフェースとを備える、装置。
5. 前記プロセッサが、前記移動アイテムが前記第１の位置を通過するときに前記移動アイテムの相対位置及び相対距離を検出することによって前記移動アイテムが前記副レーンに入った前記シーケンスを判定する、請求項４に記載の装置。
6. 前記プロセッサが、前記第１の位置を通過する前記移動アイテムのそれぞれについての時間的な深さプロファイルを作成することによって前記ステレオカメラからの前記移動アイテムの前記距離を算出する、請求項４に記載の装置。
7. 第１の位置を向き、それぞれ異なる角度から前記第１の位置を撮像するように配置された複数のカメラを備える光学ステレオカメラであり、前記複数のカメラが、固定されて前記第１の位置と重複する視野を有し、前記第１の位置が、少ない本数の少なくとも１つの副レーンに合流する複数の平行な主レーンを有する水平面を備え、前記ステレオカメラが、前記水平面に平行な水平方向に向けられており、前記主レーン内の移動アイテムが、前記主レーンにおいて取引を開始して前記副レーンにおいて前記取引を終了する光学ステレオカメラと、
   前記ステレオカメラに対して動作可能に接続され、前記複数のカメラによって得られた前記移動アイテムの画像間の差異に基づいて前記水平方向における前記ステレオカメラからの前記移動アイテムの距離を算出して前記副レーンへの合流前に前記移動アイテムのそれぞれが位置する前記主レーンを識別し、前記移動アイテムが前記主レーンから前記副レーンに入ったシーケンスに対応する合流順序で前記取引の注文を行うプロセッサと、
   前記プロセッサに対して動作可能に接続され、前記合流順序で前記取引を出力するインターフェースとを備える、装置。
8. 前記プロセッサが、前記移動アイテムが前記第１の位置を通過するときに前記移動アイテムの相対位置及び相対距離を検出することによって前記移動アイテムが前記副レーンに入った前記シーケンスを判定する、請求項７に記載の装置。
9. 前記プロセッサが、前記移動アイテムが前記第１の位置を通過するときに前記移動アイテムの色、形状、高さ及び幅のうちの少なくとも１つを含む前記移動アイテムの初期シグネチャプロファイルを作り出し、
   前記装置が、さらに、前記移動アイテムが前記取引を終了する場所に隣接する前記副レーンの第２の位置において第２のステレオカメラを備え、
   前記プロセッサが、前記移動アイテムが前記第２の位置を通過するときの前記移動アイテムの前記色、形状、高さ及び幅のうちの少なくとも１つを含む前記移動アイテムの確認シグネチャプロファイルを作り出し、
   前記プロセッサが、前記初期シグネチャプロファイルと一致する前記確認シグネチャプロファイルに基づいて前記インターフェースが前記取引を出力する前に前記合流順序を確認し、
   前記プロセッサが、前記初期シグネチャプロファイルと一致しない前記確認シグネチャプロファイルに基づいて前記インターフェースが前記取引を出力する前に前記合流順序を変更する、請求項７に記載の装置。
10. 第１の位置を向き、それぞれ異なる角度から前記第１の位置を撮像するように配置された少なくとも２つの撮像装置を備えるカメラネットワークであり、前記撮像装置が、固定されて前記第１の位置と重複する視野を有し、前記第１の位置が、少ない本数の少なくとも１つの副レーンに合流する複数の平行な主レーンを備え、前記主レーン内の移動アイテムが、前記主レーンにおいて取引を開始して前記副レーンにおいて前記取引を終了するカメラネットワークを使用して画像を取得することと、
    前記カメラネットワークに対して動作可能に接続されたプロセッサを使用して、前記カメラネットワークにおける前記撮像装置の基準装置からの前記移動アイテムの距離を算出して前記副レーンへの合流前に前記移動アイテムのそれぞれが位置する前記主レーンを識別することと、
    前記プロセッサを使用して、前記移動アイテムが前記主レーンから前記副レーンに入ったシーケンスに対応する合流順序で前記取引の注文を行うことと、
    前記プロセッサに対して動作可能に接続されたインターフェースを使用して、前記合流順序で前記取引を出力することとを備える、方法。