JP7360520B1 - オブジェクト追跡統合方法及び統合装置 - Google Patents

Abstract

【課題】監視範囲を拡大するように、複数の撮像装置によって撮影された画像において検出されたターゲットを関連付けるように適合された、オブジェクト追跡統合方法及び統合装置を提供する。【解決手段】方法は、１つ以上の第１の画像及び１つ以上の第２の画像を取得する。第１の画像は、第１の撮像装置から撮影され、第２の画像は、第２の撮像装置から撮影される。方法はさらに、第１の画像及び第２の画像における１つ以上のターゲットオブジェクトを検出し、第１の画像におけるターゲットオブジェクトの検出結果と、第２の画像におけるターゲットオブジェクトの検出結果とを照合し第１の画像の検出結果と第２の画像の検出結果との照合結果に従って、ターゲットオブジェクトの検出結果を更新する。これにより、関連付けの精度及び監視範囲を向上させることができる。【選択図】図２

Description

本発明は、画像検出技術に関し、特にオブジェクト追跡統合方法及び統合装置に関する。

近年、通信、センシング、半導体等の技術が急速に発展している。既存の問題を解決するために、どのようにこれらの先端技術を利用するかは、盛んな研究開発トピックの一つである。私たちの暮らしの中では、安全のために、道路、店舗、会社、又は住宅に監視システムが設置され、特定の地域の監視を容易にしている。ユーザはリアルタイムに監視画面を見ることができるが、人手による監視はコストが高く、かつ人為的過失が避けられない。

既存の画像認識技術は、特定のオブジェクトを検出することに役立つ可能性があることは留意しておくべきである。しかしながら、撮影視野によって制限され、複数の撮像装置（例えば、カメラ又はビデオカメラ）を配備することが要求される場合がある。これに加えて、異なるカメラ又はビデオカメラによって撮影された画像を更に統合することはできず、かつ異なる画像間の関連性を手動でチェックすることが要求されることに変わりはない。

本発明は、監視範囲を拡大するように、複数の撮像装置によって撮影された画像において検出されたターゲットを関連付けるように適合された、オブジェクト追跡統合方法及び統合装置に関するものである。

本発明の実施形態は、以下のステップを含む（ただし、これらに限定されない）オブジェクト追跡統合方法を提供する。１つ以上の第１画像及び１つ以上の第２画像を取得する。前記第１の画像は、第１の撮像装置からの画像であり、かつ前記第２の画像は、第２の撮像装置からの画像である。前記第１の画像及び前記第２の画像における１つ以上のターゲットオブジェクトを検出する。前記第１の画像におけるターゲットオブジェクトの検出結果と、前記第２の画像におけるターゲットオブジェクトの検出結果とを照合する。前記第１の画像の検出結果と前記第２の画像の検出結果との照合結果に従って、前記ターゲットオブジェクトの検出結果を更新する。

本発明の実施形態は、メモリと、プロセッサと、を含む（ただし、これらに限定されるものではない）統合装置を提供する。前記メモリは、プログラムコードを格納するように構成される。前記プロセッサは、前記メモリに結合される。前記プロセッサは、前記プログラムコードをロード及び実行したときに、１つ以上の第１の画像及び１つ以上の第２の画像を取得し、前記第１の画像及び前記第２の画像において１つ以上のターゲットオブジェクトを検出し、前記第１の画像におけるターゲットオブジェクトの検出結果と、前記第２の画像におけるターゲットオブジェクトの検出結果とを照合し、前記第１の画像の検出結果と前記第２の画像の検出結果との照合結果に従って、前記ターゲットオブジェクトの検出結果を更新するように構成される。前記第１の画像は、第１の撮像装置からの画像であり、前記第２の画像は、第２の撮像装置からの画像である。

以上の説明に基づき、本発明の実施の形態のオブジェクト追跡統合方法及び統合装置によれば、異なる撮像装置からの画像の検出結果が合成される。従って、監視範囲を拡大することができ、単一の撮像装置の監視死角を緩和することができる。

上述したことをより理解しやすくするため、以下、図面に示すいくつかの実施形態について詳細に説明する。

添付図面は、本開示の更なる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成するものである。図面は、本開示の例示的な実施形態を図示し、かつ説明と一緒に、本開示の原理を説明するのに役立つ。

本開示の一実施形態によるシステムのコンポーネントブロック図である。 本発明の一実施形態によるオブジェクト追跡統合方法のフローチャートである。 本発明の一実施形態による路側機の概略図である。 本発明の一実施形態による検出結果の概略図である。 本発明の一実施形態によるマルチサイズ検出の概略図である。 本発明の一実施形態による検出結果及び追跡結果のバウンディングボックスの概略図である。 本発明の一実施形態による軌跡照合の概略図である。 本発明の一実施形態による第１の画像の検出結果の概略図である。 本発明の一実施形態による第２の画像の検出結果の概略図である。 本開示の一実施形態によるオブジェクト照合の概略図である。

図１は、本発明の一実施形態によるシステム１のコンポーネントブロック図である。図１を参照すると、システム１は、第１の撮像装置２０、第２の撮像装置３０、及び統合装置１００を含む（ただし、これらに限定されない）。なお、図１では、２つの撮像装置を例に挙げて説明するが、撮像装置の数はこれに限定されないことに留意されたい。

第１の撮像装置２０及び第２の撮像装置３０は、撮像機能を有するカメラ、ビデオカメラ、モニタ、スマートフォン、又は路側機であって、所定の視野内の画像を撮影するために使用されるものであってよい。

統合装置１００は、スマートフォン、タブレット型コンピュータ、サーバ、クラウドホスト、又はコンピュータホストであってよい。統合装置１００は、メモリ１１０、通信トランシーバ１３０、及びプロセッサ１５０を含む（ただし、これらに限定されるものではない）。

メモリ１１０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、従来のハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、若しくは同様の構成要素の任意のタイプであってよい。一実施形態では、メモリ１１０は、プログラムコード、ソフトウェアモジュール、設定、データ（例えば、画像、検出結果など）又はファイルを格納するために使用され、かつその実施形態は後に詳細に説明される。

通信トランシーバ１３０は、第４世代（４Ｇ）又は他の世代の移動体通信、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、赤外線、ＲＦＩＤ（無線周波数識別）、Ｅｔｈｅｒｎｅｔ（イーサネット）、光ネットワークをサポートする通信トランシーバ、シリアル通信インタフェース（ＲＳ－２３２等）でもよく、若しくはＵＳＢ（ユニバーサルシリアルバス）、ｔｈｕｎｄｅｒｂｏｌｔ、又は他の通信伝送インタフェースであってもよい。本発明の実施形態では、通信トランシーバ１３０は、他の電子機器（例えば、撮像装置２０及び３０）との間でデータを送信又は受信するために使用される。

プロセッサ１５０は、メモリ１１０及び通信トランシーバ１３０に結合される。プロセッサ１５０は、中央演算処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、又は他のプログラム可能な汎用又は特殊用途マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ニューラルネットワーク加速器又は他の同様のコンポーネント、又は上記のコンポーネントの組合せであってよい。一実施形態では、プロセッサ１５０は、統合装置１００の動作の全て又は一部を実行するように構成され、かつメモリ１１０に格納された様々なプログラムコード、ソフトウェアモジュール、ファイル及びデータをロード並びに実行することができる。いくつかの実施形態では、プロセッサ１５０の機能は、ソフトウェア又はチップを通じて実装されてもよい。

いくつかの実施形態では、第１の撮像装置２０及び第２の撮像装置３０のいずれか１つは、統合装置１００と統合されて独立した装置を形成してもよい。

以下、本発明の実施の形態で説明した方法を、システム１における各種デバイス、コンポーネント、及びモジュールと併せて説明する。なお、本方法の各処理は、実際の実施状況に従って調整することができ、かつこれに限定されるものではない。

図２は、本発明の実施形態によるオブジェクト追跡統合方法のフローチャートである。図２を参照すると、プロセッサ１５０は、１つ以上の第１画像と１つ以上及び第２画像を取得する（ステップＳ２１０）。具体的には、第１の画像は、第１の撮像装置２０からの画像であり、第２の画像は、第２の撮像装置３０からの画像である。第１の撮像装置２０の撮影角度及び／又は撮影方向は、第２の撮像装置３０の撮影角度及び／又は撮影方向と異なっている。第１の撮像装置２０の撮影範囲及び第２の撮像装置３０の撮影範囲は少なくとも部分的に重なっている。

例えば、図３Ａは、本発明の実施形態に係る路側機（ＲＳＵ）Ｒ１及びＲ２の概略図である。図３Ａを参照すると、路側機Ｒ１及びＲ２は、交差点の２つの対向する角部に配置される。２つの路側機Ｒ１、Ｒ２の撮像装置の重複する撮影範囲（図中の２つの三角形）は、４つの縞々をほぼカバーしている。図３Ａに示す撮影範囲は単なる一例であり、その形状、大きさ、位置、設定環境は変更可能であることに留意されたい。例えば、第１の撮像装置２０及び第２の撮像装置３０は、店舗、ロビー、又は駐車場にあるモニタであり、かつどのような場所に設置されてもよい。

プロセッサ１５０は、１つ以上の第１画像及び１つ以上の第２画像における１つ以上のターゲットオブジェクトを検出する（ステップＳ２２０）。具体的には、ターゲットオブジェクトは、人、動物、車両、機械、又は他の特定のオブジェクトであってもよい。１フレームの画像については、オブジェクト検出技術を使ってもよい。オブジェクト検出のアルゴリズムは、例えば、ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）、ＳＳＤ（ｓｉｎｇｌｅ ｓｈｏｔ ｄｅｔｅｃｔｏｒ）、又はＲ－ＣＮＮなど、多数存在する。複数の連続した画像に対しては、（マルチ）オブジェクト追跡技術を使用してもよい。オブジェクト追跡の主な機能は、前後の画像フレームによって縁取られている同じオブジェクトを追跡することである。なお、オブジェクト追跡のための多くのアルゴリズムもあり、例えば、オプティカルフロー、シンプルオンラインアンドリアルタイムトラッキング（ＳＯＲＴ）又はディープソート、ジョイント検出、及びエンベディング（ＪＤＥ）がある。

一実施形態では、ターゲットオブジェクトの検出結果は、ターゲットオブジェクトの代表情報、例えば、オブジェクトタイプ、バウンディングボックス、識別コード、及び／又は座標を含む。路側機アプリケーションを例にとると、オブジェクトタイプは、歩行者、自転車、オートバイ、自動車、及び大型車両とすることができる。バウンディングボックス（又は着目領域（ＲＯＩ）と呼ばれる）は、画像におけるターゲットオブジェクトを縁取るために使用する領域である。一実施形態では、バウンディングボックスは、例えば、黒、赤、青、黄、及び／又は緑など、異なる色で画像上に表示されてもよい。識別コード（又は参照番号）は、異なるオブジェクトタイプ又はターゲットオブジェクトを区別するための特定のコード形態である。座標は、第１画像又は第２画像におけるピクセル座標であり、かつバウンディングボックスによってカバーされる範囲内であれば、どこにあってもよい。

例えば、図３Ｂは、本発明の一実施形態による検出結果の概略図である。図３を参照して、路側機の設定環境を例にとると、左右の画像は、それぞれ第１の画像と第２の画像である。２つの画像では、ターゲットオブジェクトＯ１（自動車を例とする）及びターゲットオブジェクトＯ２（歩行者を例とする）がそれぞれ検出される。一実施形態では、例えば、記号「Ｏ１」及び「Ｏ２」を、車及び歩行者の識別符号として使用してもよい。

一実施形態では、プロセッサ１５０は、第１の画像から（小さな）着目領域を切り出して、この着目領域のみを有する切り出し画像を生成してもよい。すなわち、切り出し画像は、画像の一部が切り出されたものである。この切り出し画像は、より小さなターゲットオブジェクトを検出するために使用してもよい。プロセッサ１５０は、ディープラーニングに基づく検出モデルを介して、第１の画像及び切り出し画像における１つ以上のターゲットオブジェクトをそれぞれ検出し、かつ第１の画像及び切り出し画像におけるターゲットオブジェクトの検出結果を結合してもよい。例えば、２つの画像の検出結果の和を取る。結合処理中、第１の画像及び切り出し画像における同じターゲットオブジェクトのいずれか１つが同時に検出された場合、交差オーバーユニオン（ＩｏＵ）を、非最大抑制（ＮＭＳ）アルゴリズムによってフィルタリングすることが困難な場合がある。それ故に、プロセッサ１５０は、切り出し画像の検出結果から境界付近の検出を除外してもよい。その後、プロセッサ１５０は、ＮＭＳアルゴリズムを再使用して、両者の最終結果を得てもよい。前述の第１の画像は、第２の画像に置き換えられてもよく、かつその詳細は繰り返さないことに留意されたい。

図４は、本発明の一実施形態によるマルチサイズ検出の概略図である。図４を参照すると、入力画像における下側画像は、上側画像の切り出し画像である。検出モデルは、２つの画像をそれぞれ推論して検出結果を得てもよい。推論結果（すなわち、検出結果）の下側画像に示すように、上側画像と比較して、３台の車が検出されている（画像内の黒いバウンディングボックスによってマークされている）。重複する検出を除外した後、最終的な結合結果は、５台の車（画像内の黒いバウンディングボックスによってマークされている）を含む。

いくつかの高速移動環境（例えば、道路又は鉄道）では、オブジェクト追跡の検出結果が不安定になる可能性があることに留意されたい。例えば、図５は、本発明の実施形態による検出結果及び追跡結果のバウンディングボックスの概略図である。図５を参照すると、追跡結果のバウンディングボックスの一部がターゲットオブジェクトの縁に正しく近づかない場合がある（自動車を例とする）。一実施形態では、追跡照合検出のために、プロセッサ１５０は、オブジェクト検出から得られたバウンディングボックスを使用して、オブジェクト追跡から得られたバウンディングボックスを置き換えてもよい。検出と一致しない追跡に対して、プロセッサ１５０は、カルマンフィルタを使用することによってその位置を予測してもよい。さらに、異なるオブジェクトタイプに対して、プロセッサ１５０は、安定した追跡の識別を容易にするように、類似性に従ってオブジェクトを異なるグループに割り当ててもよい。

一実施形態では、検出結果は、ピクセル位置を含む。プロセッサ１５０は、ホモグラフィ変換を使用することによって、１つ以上の第１画像及び１つ以上の第２画像における１つ以上のターゲットオブジェクトのピクセル位置を、共通空間における位置及び移動速度に変換してもよい。具体的には、撮像装置２０、３０の撮影角度及び／又は撮影方向が異なるので、その後に続く照合（関連付け又は合成）要件のために、画像におけるターゲットオブジェクトの位置を共通空間（又は座標系）にコンバートしてもよい。

共通空間は、例えば、緯度経度座標系であり、かつ座標コンバートの式は、以下の通りである。
Ｓはホモグラフィ変換後のスケーリング係数、ｕ，ｖはピクセル座標、Ｈは緯度経度座標からピクセル座標に変換したホモグラフィ行列（ｈ_１１，ｈ_１２，ｈ_１３，ｈ_２１，ｈ_２２，ｈ_２３，ｈ_３１，ｈ_３２，ｈ_３３は行列内の要素）、かつｘ，ｙはｕ，ｖに対応する緯度経度座標である。既知のピクセル座標及び対応する緯度経度座標からホモグラフィ行列が導出されてもよい。その後、逆行列によりピクセル座標を緯度経度座標にコンバートする。共通空間は、他の２次元又は３次元の空間若しくは座標系であってもよいことに留意されたい。例えば、球面極座標系又は他の地理的座標系である。

共通空間の位置（又は座標）を決定した後、プロセッサ１５０は、先行フレーム及び後続フレームの画像に基づいて、移動距離、軌跡及び移動速度を判定してもよい。さらに、プロセッサ１５０は、ターゲットオブジェクトの軌跡又は位置を電子地図上にマッピングしてもよい。

図２を参照すると、プロセッサ１５０は、１つ以上の第１の画像における１つ以上のターゲットオブジェクトの検出結果と、１つ以上の第２の画像における１つ以上のターゲットオブジェクトの検出結果とを照合する（ステップＳ２３０）。例えば、図６は、本発明の一実施形態による軌跡照合の概略図である。図６を参照すると、電子地図上にマッピングされたターゲットオブジェクトＯ３及びＯ４の軌跡Ｔ１及びＴ２の間に差異が存在する可能性がある。プロセッサ１３０は、２つの軌跡Ｔ１、Ｔ２の類似性を判断し、かつそれに応じて同じターゲットオブジェクトであるかを判定してもよい。

一実施形態では、プロセッサ１５０は、第１の画像又は第２の画像から検出されたターゲットオブジェクトにおける第１のオブジェクトの代表情報を決定してもよい。代表情報は、前述の検出結果から得られるオブジェクトの種類、バウンディングボックス、識別コード、移動速度、軌跡、及び／又は座標であってもよい。

プロセッサ１５０は、第１のオブジェクトの代表情報に従って、第１のオブジェクトが追跡ターゲットであるかを判定してもよい。プロセッサ１５０は、オブジェクトタイプ又は識別コードに従って、第１のオブジェクトを分類してもよい。異なる要件に依存して、オブジェクトタイプは様々な外観特徴に関連してもよいことに留意されたい。人を例としてとると、外観特徴は、例えば、肌の色、性別、身長、又は、太り具合又は痩せ具合である。自動車を例としてとると、外観特徴は、例えば、ブランド、車種、色、又はモデルである。

一方、追跡ターゲットは、第１の画像及び／又は第２の画像における照合された又は照合されていないターゲットオブジェクトである。照合されたとは、２つの画像におけるターゲットオブジェクトが同じであることを確認したことを意味する。照合されていないとは、画像におけるターゲットオブジェクトが他の画像において同一であるものが見つからなかったことを意味する。プロセッサ１５０は、第１オブジェクトの代表情報と追跡ターゲットの代表情報との同一性又は類似性を比較してもよい。例えば、プロセッサ１５０は、第１のオブジェクトのオブジェクトタイプが追跡ターゲットのものと同一であるかを確認し、かつ第１のオブジェクトと追跡ターゲットの位置、速度、及び／又は軌跡を更に比較してもよい。

プロセッサ１５０は、追跡ターゲットの判定結果に従って、ターゲットオブジェクトの検出結果を照合してもよい。第１のオブジェクトが追跡ターゲットではない（すなわち、第１のオブジェクトが以前に出現していないターゲットである）ことに応じて、プロセッサ１５０は、第１の画像における第１のオブジェクトが第２の画像における第２のオブジェクトであるかを判定してもよい。すなわち、複数の撮像装置のターゲット照合が行われる。

一実施形態では、プロセッサ１５０は、オブジェクトタイプ、バウンディングボックス又は識別コードなどのようなものとの比較に加えて、第１の画像における第１のオブジェクトの軌跡及び移動速度に従って許容範囲を決定してもよい。プロセッサ１５０は、先行画像と後続画像とを比較することによって、軌跡及び移動速度を判定してもよい。プロセッサ１５０は、第１のオブジェクトの軌跡の最後の位置を中心として取り、かつ外側に拡張して許容範囲を形成してもよい。例えば、外側に拡張する距離は、移動速度と、第１の画像及び第２の画像間の撮影時間差との積である。プロセッサ１５０は、第２画像における第２のオブジェクトが許容範囲内にあるかを判定してもよい。この許容範囲は、軌跡見積もり及び／又は時間差内の移動におけるエラーに対するものである。第２のオブジェクトが許容範囲内にある場合、プロセッサ１５０は、第２のオブジェクトと第１のオブジェクトとが同一であると認定してもよい。第２のオブジェクトが許容範囲内でない場合、プロセッサ１５０は、第２のオブジェクトと第１のオブジェクトとを異なるオブジェクトとみなしてもよい。同様に、プロセッサ１５０は、第２の画像における第２のオブジェクトに基づいて別の許容範囲を決定し、かつ第１画像における第１オブジェクトが許容範囲内にあるかを判定してもよい。

例えば、図７Ａは、本発明の実施形態による第１の画像の検出結果の概略図であり、図７Ｂは、本発明の実施形態による第２の画像の検出結果の概略図である。図７Ａを参照すると、時刻ｔ１においてターゲットオブジェクトＯ６があり、かつ時刻ｔ２においてターゲットオブジェクトＯ５が出現している。図７Ｂを参照すると、ターゲットオブジェクトＯ５は、時刻ｔ２に出現する。

図８は、本発明の実施形態によるオブジェクト照合の概略図である。図８を参照して、第２の画像を例にとると、時刻ｔ１から時刻ｔ２までのターゲットオブジェクトＯ５の軌跡の最後の位置（例えば、時刻ｔ２における位置）から外側に拡張する円が許容範囲ＳＲとしてとらえられる。ターゲットオブジェクトＯ５の移動速度が毎秒１０ｍ、かつ第１の画像及び第２の画像間の撮影時間の差が０．１秒であると仮定すると、許容範囲ＳＲの半径は１ｍであり得る。第１の画像におけるターゲットオブジェクトＯ５は、許容範囲ＳＲ内に位置しているので、２つの画像におけるターゲットオブジェクトＯ５は、同一であるとみなされる。ターゲットオブジェクトＯ６は、許容範囲ＳＲ内に位置していないので、ターゲットオブジェクトＯ５とＯ６とは異なるものとみなされる。

一実施形態では、プロセッサ１５０は、結合最適化アルゴリズムを使用することによって、１つ以上の第１の画像における１つ以上のターゲットオブジェクトと、１つ以上の第２の画像における１つ以上のターゲットオブジェクトとをペアリングしてもよい。結合最適化アルゴリズムは、例えば、ハンガリアンアルゴリズム、クーン・ムンクレスアルゴリズム（Ｋ－Ｍアルゴリズム）、又はデュアル法である。例えば、第１の画像及び第２の画像における任意の軌跡の最後の位置に関して、プロセッサ１５０は、ハバーシン式を使用して、２つの位置の緯度経度座標間の距離を計算し、かつそれに応じて距離支出（Ｄｉｓｔａｎｃｅ ｓｐｅｎｄｉｎｇ）行列を決定してもよい。距離支出は、任意の位置から別の位置までの撮影距離を表す。プロセッサ１５０は、最大距離閾値を設定し、ハンガリアンアルゴリズムを使用して、第１の画像及び第２の画像における軌跡が互いに照合するか又は対になるかを判定してもよい。

図２を参照すると、プロセッサ１５０は、１つ以上の第１の画像の検出結果と１つ以上の第２の画像の検出結果との照合結果に従って、ターゲットオブジェクトの検出結果を更新してもよい（ステップＳ２４０）。一実施形態では、第１のオブジェクトが追跡ターゲットであるという事実に応じて、プロセッサ１５０は、追跡ターゲットの位置を更新してもよい。例えば、第１オブジェクトの位置を追跡ターゲットの最終位置とし、かつそれに応じて移動速度、軌跡などのような情報を更新する。

一実施形態では、第１のオブジェクトが追跡オブジェクトでなく、かつ第１のオブジェクトと第２のオブジェクトが同じであることに応じて、プロセッサ１５０は、２つのオブジェクトの代表情報を統合して、新しい単一の追跡オブジェクトとして使用することができる。例えば、２つのオブジェクトの位置の中間点を最終位置とし、かつ同じ識別コードを使用する。

一実施形態では、第１のオブジェクトが追跡オブジェクトでなく、かつ第１のオブジェクトと第２のオブジェクトが異なることに応じて、プロセッサ１５０は、それぞれ、２つのオブジェクトを２つの新しい追跡オブジェクトとして使用することができる。

上記の説明では、２つの撮像装置の画像統合が説明のための例として取り上げられたことに留意されたい。しかしながら、本発明の精神に従って、より多くの撮像装置の画像統合に拡張することができる。

要約すると、本発明の実施形態のオブジェクト追跡統合方法及び統合装置では、異なる撮像装置からの画像におけるターゲットオブジェクトが照合することができる。ここで、ターゲットの照合（関連付け）は、共通空間における位置、軌跡、及び移動速度を使用して行われ、かつ追跡ターゲットも更新することができる。このようにすれば、照合精度を向上させることができ、かつ複数の撮像装置による監視対象領域を拡大することができる。さらに、単一の撮像装置は、オブジェクトの重なりによる検出漏れを回避することができる。本発明の実施形態は、交通管理、業務監視、作業監視等の応用場面にもまた適用してもよい。

本発明の範囲又は精神から逸脱することなく、開示された実施形態に様々な修正及び変形を加えることができることは、当業者にとって明らかであろう。上記に鑑み、本発明は、以下の特許請求の範囲及びその均等物の範囲内に入ることを条件として、修正及び変形を対象とすることが意図される。

本発明のオブジェクト追跡統合方法及び統合装置は、電子機器及びその制御方法に適用することができる。

１ システム
２０ 撮像装置
３０ 撮像装置
１００ 統合装置
１１０ メモリ
１３０ 通信トランシーバ
１５０ プロセッサ
Ｓ２１０～Ｓ２４０ ステップ
Ｒ１ 路側機
Ｒ２ 路側機
Ｏ１ 目標物
Ｏ２ 目標物
Ｏ３ 目標物
Ｏ４ 目標物
Ｏ５ 目標物
Ｏ６ 目標物
Ｔ１ 軌跡
Ｔ２ 軌跡
ｔ１ タイムポイント
ｔ２ タイムポイント
ＳＲ 許容範囲

Claims (6)

1. オブジェクト追跡統合方法であって、
   少なくとも１つの第１の画像及び少なくとも１つの第２の画像を取得するステップであって、ここで、前記少なくとも１つの第１の画像は第１の撮像装置からの画像であり、かつ前記少なくとも１つの第２の画像は第２の撮像装置からの画像である、ステップと、
   前記少なくとも１つの第１の画像及び前記少なくとも１つの第２の画像における少なくとも１つのターゲットオブジェクトを検出するステップと、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトの検出結果と、前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトの検出結果とを照合するステップと、
   前記少なくとも１つの第１の画像の検出結果と前記少なくとも１つの第２の画像の検出結果との照合結果に従って、前記少なくとも１つのターゲットオブジェクトの検出結果を更新するステップと、
   を備え、
   前記検出結果はピクセル位置を含み、
   前記少なくとも１つの第１の画像及び前記少なくとも１つの第２の画像において前記少なくとも１つのターゲットオブジェクトを検出する前記ステップは、
   前記少なくとも１つの第１の画像及び前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトのピクセル位置を、ホモグラフィ変換によって共通空間における位置及び移動速度に変換するステップ、
   を備え、
   前記少なくとも１つのターゲットオブジェクトの検出結果を更新する前記ステップは、
   前記第１のオブジェクトが追跡ターゲットであると判定した場合に、前記追跡ターゲットの位置を更新するステップ、
   を備える、オブジェクト追跡統合方法。
2. 請求項１に記載のオブジェクト追跡統合方法であって、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトの検出結果と、前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトの検出結果とを照合する前記ステップは、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトと前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトとを結合最適化アルゴリズムを用いてペアリングするステップ、
   を備える、オブジェクト追跡統合方法。
3. 請求項１に記載のオブジェクト追跡統合方法であって、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトの前記検出結果と、前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトの前記検出結果とを照合する前記ステップは、
   前記少なくとも１つのターゲットオブジェクトのうちの第１のオブジェクトの代表情報を決定するステップと、
   前記第１のオブジェクトの前記代表情報に従って、前記第１のオブジェクトが追跡ターゲットであるかを判定するステップと、
   前記追跡ターゲットの判定結果に従って、前記少なくとも１つのターゲットオブジェクトの検出結果を照合するステップと、
   を備える、オブジェクト追跡統合方法。
4. 請求項３に記載のオブジェクト追跡統合方法であって、
   前記代表情報は、オブジェクトタイプ、バウンディングボックス、識別コード、及び座標のうち少なくとも１つを含み、又は
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトの検出結果と、前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトの検出結果とを照合する前記ステップは、
   前記追跡ターゲットでないと判定した場合に、前記少なくとも１つの第１の画像における第１のオブジェクトが、前記少なくとも１つの第２の画像における第２のオブジェクトであるか否かを判定するステップであって、
   前記少なくとも１つの第１の画像における前記第１のオブジェクトの軌跡及び移動速度に従って許容範囲を決定し、
   前記第２の画像内の前記第２のオブジェクトが前記許容範囲内にあるかを判断するステップ、
   を備える、オブジェクト追跡統合方法。
5. 請求項１に記載のオブジェクト追跡統合方法であって、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトを検出する前記ステップは、
   前記第１の画像から着目領域を切り出して、前記着目領域のみを有する切り出し画像を生成するステップと、
   前記第１の画像における前記少なくとも１つのターゲットオブジェクトの前記検出結果と、前記切り出し画像における前記少なくとも１つのターゲットオブジェクトの検出結果とを結合するステップと、を備え、又は
   前記少なくとも１つの第１の画像において前記少なくとも１つのターゲットオブジェクトを検出する前記ステップ は、
   オブジェクト追跡によって得られたバウンディングボックスを、オブジェクト検出によって得られたバウンディングボックスに置き換えるステップを備える、オブジェクト追跡統合方法。
6. 統合装置であって、
   プログラムコードを格納するように構成されたメモリと、
   前記メモリに結合されたプロセッサであって、前記プログラムコードをロード及び実行したときに、
   少なくとも１つの第１の画像と少なくとも１つの第２の画像を取得し、ここで前記少なくとも１つの第１の画像は第１の撮像装置からの画像であり、前記少なくとも１つの第２の画像は第２の撮像装置からの画像であり、
   前記少なくとも１つの第１の画像及び前記少なくとも１つの第２の画像における少なくとも１つのターゲットオブジェクトを検出し、
   前記少なくとも１つの第１の画像における前記少なくとも１つのターゲットオブジェクトの検出結果と、前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトの検出結果とを照合し、
   前記少なくとも１つの第１の画像の前記検出結果と前記少なくとも１つの第２の画像の前記検出結果との照合結果に従って、前記少なくとも１つのターゲットオブジェクトの前記検出結果を更新するように構成された、プロセッサと、
   を備え、
   前記検出結果はピクセル位置を含み、
   前記プロセッサは、さらに、
   前記少なくとも１つの第１の画像及び前記少なくとも１つの第２の画像における前記少なくとも１つのターゲットオブジェクトのピクセル位置を、ホモグラフィ変換によって共通空間における位置及び移動速度に変換し、
   前記第１のオブジェクトが追跡ターゲットであると判定した場合に、前記追跡ターゲットの位置を更新するように構成された、統合装置。