JP7222120B2

JP7222120B2 - 対象探索用画像取得手段

Info

Publication number: JP7222120B2
Application number: JP2021565041A
Authority: JP
Inventors: 一哉山本
Original assignee: トヨタモーターヨーロッパ
Priority date: 2019-05-03
Filing date: 2019-05-03
Publication date: 2023-02-14
Anticipated expiration: 2039-05-03
Also published as: WO2020224752A1; CN113785299B; JP2022531404A; US20220232168A1; DE112019007278T5; US11997388B2; CN113785299A

Description

本開示は、対象(object)を探索するためのカメラ対応装置に関する。より具体的には、本開示は、密閉空間の入口と出口を学習することによって１人又は複数の個人を探索するためのカメラ対応装置に関する。

近年、個人を追跡するよう構成された監視システムが利用可能になっている。これらのシステムによって、操作者は対象の個人を選択し、その個人の自律監視を実施するように監視システムに指示することができる。

いくつかの実装では、自律監視用カメラシステムは、定義された空間で対象の個人を追跡するよう実装され得る。カメラシステムは、対象の個人が定義された空間を離れるまでその個人を継続的に監視するように、対象の個人を「ハンドオフ」監視するよう構成され得る。例えば、米国特許第６４３７８１９（Ｂ１）号明細書は、自動化されたビデオ人追跡システムを開示している。

本発明者らは、改良された自動追跡手段及びシステムの必要性を認識している。よって、画像取得手段が提供される。プロセッサ、プロセッサに通信可能に接続されたメモリモジュール、所定の対象を追跡し、パンチルトカメラ(pan-tilt camera)の座標を感知するためにプロセッサに通信可能に接続された角度センサを含むパンチルトカメラ、及び、メモリモジュールに格納された機械可読命令を備える画像取得手段。機械可読命令は、プロセッサによって実行されると、画像取得手段に少なくとも、カメラから画像の周辺を含む画像データを受信し、画像データに基づいて所定の移動可能な対象が存在するかを判断し、所定の対象が存在する場合、パンチルトカメラで所定の対象を追跡し、所定の対象が画像データの画像周辺内から失われたかを判断し、そして、所定の対象が失われた場合、所定の対象が最後に追跡されたカメラの座標をメモリモジュールに記録することを実行させることができる。

本開示の実施形態は、関心対象又は所定の対象の追跡、及び、定義された空間の入口及び出口の学習を可能にし得る。定義された空間の入口及び出口を学習することにより、画像取得手段が関心対象(object of interest)を見失った場合に、画像取得手段が関心対象を迅速に見つける性能が補助される。

関心対象には動物又はロボットエンティティが含まれ得るが、これらに限定されない。例えば、画像取得手段は、人を追跡し、カメラが人を見失った各場所を記録することによって、定義された空間の入口及び出口を学習し得る。カメラが人を見失う場所は、例えば、ドア又は玄関かもしれない。

機械可読命令は、画像取得手段に、画像データの画像周辺内で所定の対象が見つかるかを判断し、所定の対象が見つかった場合には、パンチルトカメラの座標をメモリモジュールに記録するように更に実行させ得る。

画像取得手段は、カメラの記録された座標を含む第１のリストを集計するように構成され得る。

画像取得手段は、第１のリストに記録された座標を所定の範囲内で平均化して各々の平均座標に重みを指定することで第２のリストを集計し、平均座標の指定された重みに基づいて第２のリストに優先順位を付けるように構成され得る。

画像取得手段は、所定の対象が検出されない場合に所定の対象が検出されるまで、第２の座標リストに則ってパンチルトカメラを順次設定するように構成され得る。

画像取得手段は、第１及び第２のリストを継続的に更新するように構成され得る。

画像取得手段は、所定の対象が移動している場合、パンチルトカメラを使用して所定の対象を追跡するように構成され得る。

カメラは、ＲＧＢカメラであってもよい。

カメラは、ＩＲカメラであってもよい。

上述の画像取得手段に係わる複数の画像取得手段を備える追跡システム。

上記の要素と本明細書内の要素とは、矛盾する場合を除いて、組み合わせ得ることが意図される。

上述の概説及び以下の詳細な説明は、共に例示及び説明のためのものであり、特許請求の範囲に記載された本開示を限定するものではないことが理解されるべきである。

本明細書に援用されて本明細書の一部を構成する添付の図面は、本開示の実施形態を図示し、本詳細の説明と共に本開示の原理を説明するのに役立つ。

本開示の実施形態に係わる例示的な画像取得手段の外観を示す。例示的な画像取得手段の処理システムの図である。本開示の実施形態に係わる例示的な方法を示すフローチャートである。例示的な画像取得手段の動作を示す図である。例示的な画像取得手段によって蓄積された生のデータセットの例を示す表である。例示的な画像取得手段によって蓄積された処理済みデータセットの例を示す表である。

次に、本開示の好ましい実施形態を詳細に参照する。その例は添付図面に示される。図面を通して、可能な限り、同一の参照番号は同一又は類似の部分を参照するために使用される。

図１は、本開示の実施形態に係わる例示的な画像取得手段１０の外観を示す。画像取得手段１０は、カメラ１２を含み得る。カメラ１２は、例えば、カラーカメラ又は赤外線カメラなどの任意の適切なカメラでよい。画像取得手段１０は、カメラ１２をパン、チルト、ズーム（ＰＴＺ）するように構成され得る。特に、第１の回転部１４はＹ軸（パン）を中心に回転し、第２の回転部１６はＹ軸に対して直行するＸ軸（チルト）を中心に回転するように構成され得る。画像取得手段１０は、面に取り付けるよう構成された基部１８を含み得る。

図２には、例示的システムの処理システムが図示される。画像取得手段１０は、回転部１４、１６のパン及びチルトを制御するモータ１４ａ、１６ａ、１つ以上の角度センサ１４ｂ、１６ｂ、中央処理装置（ＣＰＵ）などの処理手段２０、メモリ３０などを含み得る。

画像取得手段１０は、関心対象の追跡実行を補助するために、定義された空間又は所定の領域から取得されたデータを処理するように構成され得る。このような画像取得手段１０は当技術分野で周知であり、このような画像取得手段１０が本開示の範囲から逸脱することなく本システムとして実装され得ることが当業者には理解されるであろう。

ＣＰＵ２０は、本開示の実施形態を実行するために、データを操作し、計算を行い、コードを実行するよう構成され得る。例えば、所定の対象の静止、移動を判断し、リストを集計し、リストに優先順位を付け、探索プロトコルを実行する。ＣＰＵ２０は、関心対象に関連するデータの保存を可能にするため、画像取得手段１０に関連付けられた１つ以上のデータベース及び／又はその他のメモリ（例えば、ＲＡＭ、ＲＯＭ等）に接続され得る。そのようなデータベース及び／又はメモリに関して本明細書で議論される情報は限定されることが意図されないことが、当業者には認識されるであろう。

ＣＰＵ２０は、１つ又は複数の角度センサ１４ａ、１４ｂからデータを受信するように構成され得る。例えば、ＣＰＵ２０は、第１及び第２のモータ１４、１６などの状態及び／又は位置に関するデータを受信してもよい。

画像取得手段１０は、１つ以上のシステムコントローラを含み得る。１つ以上のシステムコントローラは、ＣＰＵ２０から情報及び／又はコマンドを受信し、それらのコマンドを実行して画像取得手段１０を制御するように構成され得る。例えば、コントローラは、第１及び第２のモータ１４及び１６を、カメラ１２が関心対象を見つけることができるような所定の入口／出口に関連付けられた座標に配置することができる。

本開示の実施形態に係わる例示的方法を示す図３のフローチャートを、画像取得手段１０がどのように動作するかを示す図４Ａ～４Ｄの図と共に論じる。

ステップ１

本開示の実施形態によると、画像取得手段１０は、関心対象を見つけた後、その対象を追跡するように構成されている。これは図４Ａに示される。

ステップ２

次に、画像取得手段１０は、対象が失われたかを判断する。これは図４Ｂに示される。

ステップ３

対象が失われたと判断された場合、画像取得手段１０は、第１及び第２の角度センサから読み取った第１及び第２のモータの座標を記録する。このデータは、画像取得手段１０のメモリ内に記録され、継続的に更新される。これらの座標は図５に示すように、生のデータセットに集計される。

次に、生のデータセットは、例えばＤＢＳＣＡＮなどの密度に基づくクラスタリング方法を使用して処理される。取得した座標によって形成されるクラスタは、入口／出口とみなされる。各クラスタは、そのクラスタに関連付けられた一式の座標を持つ。一式の座標は、そのクラスタの平均座標である。各クラスタには、例えば、１、２、３、４などの場所も割り当てられる。

場所１、２、３、４は、画像取得手段１０が特定のクラスタ、つまり、場所に関連付けられた座標で関心対象を失うインスタンスの数に基づいて優先順位が付けられ得る。この処理され、優先順位が付けられた情報は、図６に示すような処理済みデータセットとして集計される。

図４Ａ～４Ｄに示されるように、場所１、２、３、４はそれぞれ、人物として描かれる関心対象が視野から失われた入口／出口又は場所であると判断される。図６では、場所１が場所２よりも優先順位が高く、これは入口／出口がより頻繁に使用されることを意味する。

ステップ４

図４Ｃに示されるように、対象が視野内で検出されない、又は「失われた」場合、ＣＰＵは探索プロトコルを実行する。

ステップ５

探索プロトコルは、優先順位が割り当てられた処理済みデータセットを使用して、画像取得手段１０を優先順位が最高の場所と関連付けられた平均座標に方向付けることにより、優先順位が最高の場所において関心対象を探索することができる。しかしながら、画像取得手段１０は、優先順位付けされた場所のリスト及び関連付けられた平均座標に則って、画像取得手段１０、例えば、パンチルトカメラ１２を順次方向付けることによって、関心対象が見つかるまで関心対象を探索し得ることも想定される。

ステップ６

関心対象が見つかったと判断されると、画像取得手段１０、例えば、パンチルトカメラ１２は対象の追跡を再開する。関心対象は割り当てられた特定の対象であってもよく、例えば、顔の特徴が顔認識データベースに記録されている個人であってもよい。このように、画像取得手段１０は個人を探索することができる。しかしながら、関心対象は単純に、例えば、人、犬、ロボットなどの任意の分類である可能性も想定される。

本開示は画像取得手段１０を参照して論じたが、いくつかの画像取得手段１０が追跡ネットワーク又はシステムとして一緒に動作するように構成され得ることが考えられる。追跡ネットワークは、無線で相互に接続してもよい。

特許請求の範囲を含む本明細書全体を通して、「を備える」という用語は、特に明記しない限り、「少なくとも１つを備える」と同義であると理解されるべきである。さらに、特許請求の範囲を含む本明細書に記載される何らかの範囲は、特に明記しない限り、その両端値を含むものとして理解されるべきである。記載された要素の特定の値は、当業者に周知の、製造又は業界の許容範囲内であると理解されるべきであり、「実質的に」及び／又は「ほぼ」及び／又は「概して」という用語の使用は、そのような許容範囲内であることを意味すると理解される。

国内、国際、又はその他の標準化機構の何らかの標準が参照される場合（例えばＩＳＯなど）、そのような参照は、本明細書の優先日時点で国内又は国際標準化機構によって定義されている標準を参照することが意図される。そのような標準に対するその後の実質的な変更は、本開示及び／又は特許請求の範囲の範囲及び／又は定義を変更することを意図するものではない。

本開示は特定の実施形態を参照して記載されたが、これらの実施形態は本開示の原理及び適用の例示に過ぎないことが理解されるべきである。

本明細書及び実施例は単なる例示とみなされるよう意図されており、本開示の真の範囲は下記の特許請求の範囲により示される。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
画像取得手段であって、
プロセッサ、
前記プロセッサに通信可能に接続されたメモリモジュール、
所定の対象を追跡し、パンチルトカメラの座標を感知するために前記プロセッサに通信可能に接続された角度センサを含む前記パンチルトカメラ、及び、
前記メモリモジュールに格納された機械可読命令を備え、前記機械可読命令は、前記プロセッサによって実行されると、前記画像取得手段に
前記カメラから、画像周辺を含む画像データを受信し、
前記画像データに基づいて、所定の移動可能な対象が存在するかを判断し、
前記所定の対象が存在する場合、前記パンチルトカメラで前記所定の対象を追跡し、
前記所定の対象が前記画像データの画像周辺内で失われるかを判断し、
前記所定の対象が失われた場合、前記所定の対象が最後に追跡された前記カメラの座標を、前記メモリモジュールに記録することを少なくとも実行させる、
画像取得手段。
〔態様２〕
前記機械可読命令は、前記画像取得手段に、前記所定の対象が前記画像データの画像周辺内に見つかるかを判断し、前記所定の対象が見つかった場合、前記パンチルトカメラの座標を前記メモリモジュールに記録することを更に実行させる、態様１に記載の画像取得手段。
〔態様３〕
前記画像取得手段は、前記カメラの記録された座標を含む第１のリストを集計するように構成される、態様１又は２の画像取得手段。
〔態様４〕
前記画像取得手段は、前記第１のリストに記録された座標を所定の範囲内で平均化して前記平均化された座標の各々に重みを指定することによって第２のリストを集計し、前記平均化された座標の指定された重みに基づいて、前記第２のリストに優先順位を付けるように構成される、態様３に記載の画像取得手段。
〔態様５〕
前記画像取得手段は、所定の対象が検出されない場合に、所定の対象が検出されるまで、座標の前記第２のリストに則って前記パンチルトカメラを順次設定するように構成される、態様４に記載の画像取得手段。
〔態様６〕
前記画像取得手段は、前記第１及び第２のリストを継続的に更新するように構成される、態様４及び５のいずれか一態様に記載の画像取得手段。
〔態様７〕
前記画像取得手段は、前記所定の対象が移動している場合に、前記パンチルトカメラを用いて前記所定の対象を追跡するように構成される、態様１から６のいずれか一態様に記載の画像取得手段。
〔態様８〕
前記カメラは、ＲＧＢカメラである、態様１から７のいずれか一態様に記載の画像取得手段。
〔態様９〕
前記カメラは、ＩＲカメラである、態様１～８のいずれか一態様に記載の画像取得手段。
〔態様１０〕
態様１から９のいずれか一態様に記載の画像取得手段を複数備える、追跡システム。

Claims

画像取得手段であって、
プロセッサ（２０）、
前記プロセッサに通信可能に接続されたメモリモジュール（３０）、
角度センサとモータとを含むパンチルトカメラであって、所定の対象を追跡し、前記角度センサから読み取った前記モータの座標に対応するパンチカメラの座標を感知するために、前記角度センサは、前記プロセッサに通信可能に接続されているパンチルトカメラ（１２）、及び、
前記メモリモジュールに格納された機械可読命令を備え、前記機械可読命令は、前記プロセッサによって実行されると、前記画像取得手段に
前記パンチルトカメラから、画像周辺を含む画像データを受信し、
前記画像データに基づいて、所定の移動可能な対象が存在するかを判断し、
前記所定の対象が存在する場合、前記パンチルトカメラで前記所定の対象を追跡し、
前記所定の対象が前記画像データの画像周辺内で失われるかを判断し、
前記所定の対象が失われた場合、前記所定の対象が最後に追跡された前記パンチルトカメラの座標を、前記メモリモジュールに記録することを少なくとも実行させる、
画像取得手段。
前記機械可読命令は、前記画像取得手段に、前記所定の対象が前記画像データの画像周辺内に見つかるかを判断し、前記所定の対象が見つかった場合、前記パンチルトカメラの座標を前記メモリモジュールに記録することを更に実行させる、請求項１に記載の画像取得手段。
前記画像取得手段は、前記パンチルトカメラの記録された座標を含む第１のリストを集計するように構成される、請求項１又は２の画像取得手段。
前記画像取得手段は、前記第１のリストに記録された座標を所定の範囲内で平均化して前記平均化された座標の各々に重みを指定することによって第２のリストを集計し、前記平均化された座標の指定された重みに基づいて、前記第２のリストに優先順位を付けるように構成される、請求項３に記載の画像取得手段。
前記画像取得手段は、所定の対象が検出されない場合に、所定の対象が検出されるまで、座標の前記第２のリストに則って前記パンチルトカメラ（１２）を順次方向付けするように構成される、請求項４に記載の画像取得手段。
前記画像取得手段は、前記第１及び第２のリストを継続的に更新するように構成される、請求項４及び５のいずれか一項に記載の画像取得手段。
前記画像取得手段は、前記所定の対象が移動している場合に、前記パンチルトカメラを用いて前記所定の対象を追跡するように構成される、請求項１から６のいずれか一項に記載の画像取得手段。
前記パンチルトカメラ（１２）は、ＲＧＢカメラである、請求項１から７のいずれか一項に記載の画像取得手段。
前記パンチルトカメラ（１２）は、ＩＲカメラである、請求項１から８のいずれか一項に記載の画像取得手段。
請求項１から９のいずれか一項に記載の画像取得手段を複数備える、追跡システム。