JP4961234B2 - 物体追跡装置 - Google Patents

Description

本発明は、撮像した物体を画像処理することで物体を追跡する物体追跡装置に関する。

従来、物体を追跡する技術として、複数の撮像部を持つステレオカメラ等を用いて被写体の３次元情報を取得し、その情報を単独に、または単眼の画像処理と組み合わせて解析することで、被写体から特定の物体を検出し移動を追跡する技術がある。しかし、被写体の３次元情報を計測するためのステレオ画像処理は単眼の画像処理に比べ演算量が大きくなるため、毎フレーム３次元情報を計測すると処理時間がかかるという問題がある。

そこで例えば特許文献１には、「複数の撮像装置の画像から演算量が少なく、かつ、精度良く物体を追跡する」ことを目的とし、「所定の間隔で配置された複数の撮像手段と、前記撮像手段の複数の画像からステレオ画像処理により算出した三次元情報を用いて撮像空間内に存在する物体を認識する三次元認識手段と、前記複数の撮像手段のうち何れか１つの撮像手段の画像から算出した二次元情報を用いて撮像空間内に存在する物体を認識する二次元認識手段と、前記三次元認識手段と前記二次元認識手段のどちらで認識するかを所定の条件より選択する認識部選択手段とを備える」構成としている。ここで「認識部選択手段」は、物体までの距離が所定の距離を越えているかどうか、物体が検出される前か後か、あるいは対象物が画像上で所定の大きさより大きいかどうか、等の条件より何れかの認識手段を選択するものである。

特開２００３−６１０７５号公報

上記特許文献１では、一回の認識処理ではステレオ画像処理と単眼の画像処理のいずれか一方しか行わないため、撮影環境に対する追従性に問題が残る。例えば、ステレオ画像処理のみによる追跡では、人間が混み合っている空間など、カメラからの距離がほぼ同じで形状が似ている被写体が複数存在している場合に追跡を誤る可能性がある。また、単眼の画像処理のみによる追跡では、照明環境の変化や外乱光の影響などにより誤った検出や追跡を行う可能性がある。

そこで、本発明は、ステレオ画像処理と単眼の画像処理を組み合わせて用いる物体追跡装置において、演算量の低減と追跡精度の向上を同時に実現することを目的とする。

本発明による物体追跡装置は、被写体を撮像して第一の画像データを出力する第一の撮像部と、被写体を撮像して第二の画像データを出力する第二の撮像部と、第一の画像データと第二の画像データを用いてステレオ画像処理し、被写体の３次元情報を出力するステレオ画像処理部と、第一の画像データ及び第二の画像データの少なくとも一方と、ステレオ画像処理部から出力される３次元情報を用いて特定の被写体の検出と追跡を行い、被写体追跡情報を出力する被写体追跡部と、ステレオ画像処理部のステレオ画像処理を制御するステレオ画像処理制御部とを備える。ステレオ画像処理制御部は、被写体追跡部が出力する被写体追跡情報に応じて、ステレオ画像処理部に対しステレオ画像処理を実行する画像フレームか否かの計測フレーム情報を出力する。

本発明の物体追跡装置によれば、撮影環境の変動があっても、高速でかつ高精度に物体の検出及び追跡が可能となる。

以下、図面を用いて本発明の各実施形態を説明する。

図１は、本発明の第１の実施例に係る物体追跡装置の構成を示す図である。本実施例の装置は、ステレオ撮像部１１、ステレオ画像処理部１２、被写体追跡部１３、ステレオ画像処理制御部１４で構成される。

ステレオ撮像部１１は、第一の撮像部１１ａ及び第二の撮像部１１ｂからなる。第一の撮像部１１ａ及び第二の撮像部１１ｂは、それぞれ、レンズやシャッタや撮像素子やＡＧＣやＡＤやカメラ信号処理ＤＳＰやタイミングジェネレータ等から構成され、光電変換により撮像を行い画像データを出力する。ここで、ステレオ撮像部１１を構成する撮像部は２つに限る必要はなく、異なる位置に設置した３つ以上の複数の撮像部であってもよい。また、ステレオ撮像部１１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される１つの撮像部を持つ形態としても良い。

ステレオ画像処理部１２は、第一の撮像部１１ａの出力する画像データと第二の撮像部１１ｂの出力する画像データを用いてステレオ画像処理による３次元計測を行い、視差情報、距離情報、３次元位置情報、３次元計測の信頼性を示す評価値などを３次元情報として出力する。その際、ステレオ画像処理制御部１４の出力する計測フレーム情報を基に、特定のフレームに対して画像処理を行う。

ステレオ画像処理には、レンズ歪み補正処理・平行化処理等のステレオ較正処理や、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理がある。さらに、正規化相互相関や差分絶対値和等のブロックマッチングやスペース・スウィープ法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理などがある。処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合の対応点の画像上の座標などを出力することもできる。３次元計測にステレオ撮像を用いることで、撮像画像の各画素の２次元画像座標と、計測した３次元情報との対応付けが容易に行えるという利点がある。

被写体追跡部１３は、第一の撮像部１１ａの出力する画像データと、ステレオ画像処理部１２の出力する３次元情報を取得して、それらの情報を単独に、もしくは組み合わせて画像中の被写体（物体）の検出および追跡を行う。そして、被写体の検出結果、追跡結果、追跡の信頼性、被写体の２次元情報や３次元情報、３次元計測の評価値などの被写体情報を、被写体追跡部１３内のメモリに保存するとともに出力する。

被写体の２次元情報としては、被写体の画像上における位置や高さや幅や前フレームからの移動ベクトルなどを含む。被写体の３次元情報としては、被写体のカメラからの距離や３次元空間中における位置や高さや幅や前フレームからの移動ベクトルなどを含む。また、被写体追跡部１３が第一の撮像部１１ａの出力する画像データと第二の撮像部１１ｂの画像データをそれぞれ取得する構成でも良く、その場合、それぞれの画像データを基に被写体追跡処理を行い、信頼性の高い追跡結果を用いることで精度の高い被写体追跡を行う構成にしても良い。

被写体追跡部１３の出力する被写体情報は、不図示の映像表示部や検知結果出力部や人数カウントや侵入検知などの認識処理を行う認識処理部などに入力することができる。

ステレオ画像処理制御部１４は、本実施例の特徴的な部分であり、被写体追跡部１３の出力する被写体情報を基に、ステレオ画像処理部１２が３次元座標を計測するフレームを決定し、計測フレーム情報としてステレオ画像処理部１２及び被写体追跡部１３に出力する。この計測フレームのタイミングは、撮影環境に適した一定の間隔を予め設定しておき、被写体追跡部１３の出力する被写体情報を基に動的に変更するのが好ましい。

また、ステレオ画像処理制御部１４は、ステレオ画像処理制御情報として、被写体追跡部１３が出力した被写体の検出結果から、被写体の存在する画像上の位置情報をステレオ画像処理部１２に出力しても良い。このとき、ステレオ画像処理部１２は被写体の存在する画素の近傍の局所領域のみステレオ画像処理による３次元計測を行うことで、画像全体に対して３次元計測を行う必要が無くなり、処理量の低減と高速化を図ることができる。

なお、上記したステレオ画像処理部１２や被写体追跡部１３や３次元情報計測制御部１４が行う処理は、装置内のマイコンやＤＳＰなどにおいてソフトウェア処理にて実行される。

図２は、本実施例における被写体（物体）追跡処理の処理シーケンスの一例を示す図である。この被写体追跡処理は、被写体追跡部１３を中心に実行される。

ＳＴ１０１では、被写体追跡部１３は第一の撮像部１１ａの撮像画像から被写体（追跡対象となる物体）を検出する。被写体の検出は画像処理を用いて、例えば、背景差分やフレーム間差分を用いて輝度情報や色情報に変化のある領域を検出し、その領域をラベリングすることで行うことができる。精度向上のために前処理としてノイズ除去などのフィルタを用いても良い。また、後処理として抽出した被写体の画像上の面積や形状や輝度分布や色分布などの２次元特徴量を計測して評価し、検出したい被写体と明らかに異なる被写体を誤検出として除去しても良い。

ＳＴ１０２では、被写体追跡部１３は前フレームの被写体情報を参照して、ＳＴ１０１で検出した被写体と対応付けを行い、フレーム間の被写体の移動を追跡する。対応付けの方法としては、フレーム間で被写体の画像上の面積や形状や輝度分布や色分布などの２次元特徴量の一致度を評価し、最も一致度の高い被写体同士を対応付ければよい。このような一致度の評価において、簡単かつ高速に行える処理として被写体を含む局所領域同士の比較を行うテンプレートマッチングを行っても良い。また、ここではフレーム間の被写体の対応付けを２次元特徴量の一致度を評価することで行ったが、前フレームの被写体情報を基に現在のフレームでの被写体位置を予測し、オプティカルフローやテンプレートマッチングを用いた被写体の追跡を行い、その後、現在のフレームにおける被写体の２次元特徴量を算出する方法を取っても良く、要は精度良く単眼の画像処理で被写体の追跡を行える技術を用いれば良い。

ここで、フレーム間で被写体の見え方が変化し、画像処理による２次元特徴量を用いた追跡の信頼性が低い場合や、フレーム間で１つの被写体と複数の被写体がそれぞれ類似しており、追跡候補が複数存在する場合などは、後述の３次元特徴量を併用した追跡処理を行うことでその精度を向上させるようにする。よって、このような追跡の信頼性の情報や、複数の追跡候補が存在する場合にはその追跡候補の情報なども計測しておき、ステレオ画像処理制御部１４に出力する。また、前フレームの被写体と対応付けることのできなかった被写体は、画角外から移動してきた新規の被写体と判定する。また、現在のフレームの被写体と対応付けることのできなかった前フレームの被写体は、画角外に移動して消失した被写体であると判定する。ただし、被写体の誤検出や、隠蔽により短時間だけ被写体を見失っているだけの可能性もあるため、１フレームで判定するのでなく、近傍の複数フレームで判定を行うのが良い。このように、追跡の信頼性が低い被写体が存在する場合や、新規の被写体が存在する場合には、ステレオ画像処理による３次元計測を併用する必要があるため、ステレオ画像処理制御部１４に被写体情報として出力する。

ＳＴ１０３では、ステレオ画像処理制御部１４は被写体追跡部１３から送られた被写体情報を取得し、現在のフレームに対しステレオ画像処理部１２が３次元計測（ステレオ画像処理）を行うべきかどうかを判定し、計測フレーム情報を生成してステレオ画像処理部１２へ送る。このときステレオ画像処理制御部１４が行う判定条件の内容については後述する。判定の結果、現在のフレームがステレオ画像処理を行うフレームである場合（ＳＴ１０３でＹｅｓ）には、ＳＴ１０４に進み、ステレオ画像処理を行わないフレームである場合（ＳＴ１０３でＮｏ）にはＳＴ１０６に進む。

ＳＴ１０４では、ステレオ画像処理部１２はステレオ画像処理による３次元計測を行う。ステレオ画像処理部１２は、３次元情報として被写体の画像上の各画素に対応する３次元座標を取得し、それをもとに被写体の３次元位置や高さ・幅や、３次元情報の信頼性などを被写体の３次元特徴量として算出する。

被写体の３次元位置は、例えば、被写体の画像上の各画素に対応する３次元座標の集合において、その重心や平均値を算出し用いても良いし、撮像画像において床面領域が認識できており、被写体が床面に接している画素、すなわち足元の画素が認識できる場合には、その画素に対応する３次元座標を取っても良い。また、３次元座標のうち、光軸方向の成分のみを抽出し、これをカメラからの距離として３次元座標の代わりに用いても良い。被写体の高さや幅は被写体の撮像部からの距離と被写体の画像上の高さや幅を用いることで算出することができる。ステレオカメラが床面に対し俯角を持って設置されている場合は、その俯角情報を用いて３次元座標の座標系を俯角が無くなるように変換しても良い。この場合、被写体の高さや幅をより厳密に計測できる。３次元情報の信頼性は、ステレオ画像処理により計測した３次元座標の評価値を参照して、例えば被写体の画像上の総画素数に対する、評価値の高い３次元座標を持つ画素数の割合などから算出することができる。

また、ＳＴ１０１にて、画像処理を用いて検出した被写体は、被写体の一部の輝度情報や色情報が背景と類似していた場合に、背景差分やフレーム間差分では抽出できずに、被写体の一部の画素情報が欠けてしまう可能性がある。これを回避するために、被写体の各画素に対応する３次元座標を取得する際に、同時にその近傍の画素の３次元座標も取得し、その３次元座標が被写体に属する画素の３次元座標と連続性を持つ場合に、その近傍の画素も被写体の画素であるとして被写体情報を更新しても良い。また、被写体が画像上では同一の被写体として検出しているが、３次元座標では連続しておらず、複数の被写体が画像上では重なっていると判定できた場合には、被写体の分割を行っても良いし、逆に、被写体が画像上では複数の被写体として検出しているが、３次元座標では連続しており、１つの被写体が画像上では分割されていると判定できた場合には、被写体の結合を行っても良い。また、画像全体、または、局所領域において背景差分やフレーム間差分を用いて３次元情報に変化のある領域を検出し、ラベリングすることにより、３次元情報のみを用いた被写体の検出を行っても良い。このように、３次元情報を用いることで被写体の再検出を行うことも可能である。

ＳＴ１０５では、被写体追跡部１３は、前フレームの被写体の３次元特徴量と、計測した現在のフレームの被写体の３次元特徴量との一致度を評価する。そして、ＳＴ１０２で行った２次元特徴量による対応付けが誤っている場合に、再度対応付けを行い、フレーム間の被写体の追跡情報を変更する。

３次元特徴量の一致度を計測する場合には、被写体の３次元位置や高さや幅などのそれぞれ重みを付けてフレーム間の差分を評価する形を取っても良い。また、前フレームと前々フレームの被写体の３次元位置の変化から現在のフレームにおける被写体の３次元位置を予測し、その３次元位置と実際の現在のフレームにおける３次元位置との差分を評価しても良い。また、前フレームが計測フレームでなく、被写体の３次元特徴量が、前々フレーム以前の被写体の３次元特徴量を基に予測して算出した値である場合は、最近の計測フレームにおける被写体の３次元特徴量を用いて、前フレームの被写体の３次元特徴量の精度が予測値であるために劣化している場合の影響を回避することができる。

さらに、被写体の撮影環境に応じて、ＳＴ１０２で計測した２次元特徴量の一致度とＳＴ１０５で計測した３次元特徴量の一致度に重みをつけて比較し、どちらの対応付け結果を優先するかを選択しても良い。重み付けの判断基準としては、例えば、被写体がステレオ撮像部１１の直近や遠方にいてステレオ画像処理で得られる３次元情報の信頼性が低い場合には、２次元特徴量の一致度の重みを大きくする。外乱光が激しく、輝度情報や色情報などの２次元特徴量が環境の影響を大きく受けている場合には、３次元特徴量の一致度の重みを大きくすれば良い。このように、撮影環境に応じて２次元特徴量の一致度と３次元特徴量の一致度のいずれを優先するかを決定することで、撮影環境に依る誤追跡を低減することが可能となる。

ＳＴ１０６では、被写体追跡部１３は、現在のフレームにおける被写体の３次元情報を、前フレームの被写体の３次元情報と、前フレームから現在のフレームへの２次元特徴量の変化情報を用いて予測する。例えば、被写体の大きさが不変である場合には、現在の被写体の３次元位置は、前フレームの被写体の３次元位置と、前フレームから現在のフレームへの被写体の画像上の位置及び大きさの変化から算出することができる。また、被写体が人物でしゃがんだ場合など、被写体の大きさが変化する場合がある。被写体が床面に接地している場合には、画像上の床面の領域が分かっていれば、被写体が床面に接している画素の２次元座標の変化量を用いることで現在の被写体の３次元位置を予測することができ、被写体の３次元位置と被写体の画像上の高さや幅から、３次元空間中における被写体の高さや幅を算出することが可能である。

ＳＴ１０７では、次フレーム以降の被写体追跡に用いるために、被写体の２次元特徴量および３次元特徴量を被写体情報として保存する。

このように、本実施例の処理シーケンスによれば、被写体の追跡を単眼の画像処理を用いて行い、特定のフレームにおいてのみ、ステレオ画像処理で得られた３次元情報を組み合わせて用いることで、３次元情報のみを用いた被写体の追跡より処理量を低減することができ、処理の高速化が図れる。

図３は、図２における３次元計測の計測フレーム判定（ＳＴ１０３）の詳細な処理シーケンスを示す図である。この処理はステレオ画像処理制御部１４において実行される。

ＳＴ１０３１では、現在の処理フレームが、ステレオ画像処理を行うべき一定のフレーム間隔のタイミングであるかどうかを判定する。すなわち、最後にステレオ画像処理を行ったフレームから基準となる一定のフレーム間隔（計測フレーム間隔）が経過したかどうかで判定する。一定の計測フレーム間隔が経過していればＳＴ１０３５に進み、ステレオ画像処理を行う。このように定期的にステレオ画像処理による３次元計測を行うことで、ＳＴ１０６で予測した被写体の３次元特徴量の誤差が蓄積されるのを防ぐことができる。ステレオ画像処理を行うべきタイミングを決定する計測フレーム間隔は、撮影環境に適した値を画像処理にて推定し、その値を用いても良いし、不図示のユーザ設定部でユーザが事前に設定しても良い。また、処理速度を優先したい場合には計測フレーム間隔を長めに設定し、正確な追跡が要求される場合には計測フレーム間隔を短く（例えば最小値１）に設定して、毎フレームでステレオ画像処理を行うようにする。一定の計測フレーム間隔が経過していなければ、次の判定ＳＴ１０３２へ進む。

ＳＴ１０３２では、被写体追跡部１３からの情報を基に、前フレームでは存在しなかった新規の被写体が存在するかどうかを判定する。新規の被写体が存在すれば、その被写体は３次元情報を持たないため、ＳＴ１０３５へ進みステレオ画像処理を行う。

ＳＴ１０３３では、被写体追跡部１３から２次元特徴量を用いた被写体追跡時の追跡の評価値を取得する。評価値としては被写体の２次元特徴量のフレーム間における一致度を用いる。この評価値が閾値以下である場合には、２次元特徴量を用いた被写体追跡結果の信頼性が欠けるため、３次元情報を用いた被写体追跡（ＳＴ１０６）を行う必要があると判定し、ＳＴ１０３５へ進みステレオ画像処理を行う。評価値が閾値以上である場合には、２次元特徴量を用いた被写体追跡結果が十分信頼できるものであるとし、ＳＴ１０３４に進む。

ＳＴ１０３４では、被写体追跡部１３からの情報を基に、被写体追跡時に対応付け候補を複数持つ被写体が存在するかどうか判定する。すなわち、前フレームの１つの被写体と、現在のフレームの複数の被写体の間で、あるいは、現在のフレームの１つの被写体と、前フレームの複数の被写体の間で、それぞれ対応付けの評価値が閾値以上であり、対応付けの候補が複数存在するかどうかを判定する。対応付けの候補が複数存在する場合は、類似するが異なる被写体同士をフレーム間で対応付ける可能性がある。このような誤追跡を回避するために３次元情報を用いた被写体追跡（ＳＴ１０６）を行う必要があると判定し、ＳＴ１０３５に進みステレオ画像処理を行う。対応付けの候補が複数存在しない場合はＳＴ１０３６に進む。

ＳＴ１０３５では、現在のフレームがステレオ画像処理を行う必要があると判定された場合に行う処理であり、計測フレーム情報にステレオ画像処理を行うフレームであるという情報を入力する。

ＳＴ１０３６では、現在のフレームがステレオ画像処理を行う必要がないと判定された場合に行う処理であり、計測フレーム情報にステレオ画像処理を行うフレームでないという情報を入力する。これらの計測フレーム情報は、ステレオ画像処理部１２及び被写体追跡部１３に出力される。

このように本実施例によれば、ステレオ画像処理制御部１４は、通常は計測フレーム間隔毎にステレオ画像処理による３次元計測を行わせ、２次元特徴量のみを用いた被写体追跡の精度が低いと思われる場合は、計測フレーム間隔が経過していない場合でもステレオ画像処理による３次元計測を行わせるように制御する。これより、処理量の低減を実現しながら３次元特徴量を用いた被写体追跡結果の信頼性を向上することができる。

なお、上記の説明では、ステレオ画像処理部１２がステレオ画像処理を行う計測フレームをステレオ画像処理制御部１４により決定していた。他の構成として、このような制御処理を行わずに、単眼の画像処理とステレオ画像処理を異なる処理ブロックにて行い、被写体追跡部１３が同様の動作を行っても良い。その場合、ステレオ画像処理と単眼の画像処理とは異なる処理レートとなる。この場合、単眼の画像処理とステレオ画像処理が並列に行われているため、全体の処理レートを処理速度の速い単眼の画像処理レートと一致させることができ、より高速化を図ることができる。

このように本実施例によれば、通常は単眼の画像処理による被写体の追跡を行い、特定のフレームにおいてのみ、ステレオ画像処理により計測した３次元情報を単眼の画像処理と組み合わせて被写体の追跡に用いることにより、被写体追跡の演算量の低減と、被写体追跡結果及び被写体の３次元特徴量の信頼性の向上を同時に実現することが可能である。

図４は、本発明の物体追跡装置における３次元計測の計測フレーム判定の第２の実施例に係る処理シーケンス図である。前記第１の実施例における計測フレーム判定の処理シーケンス（図３）に対し、本実施例では、複数の被写体に対し、被写体毎に計測フレーム判定を行う点を特徴とする。この計測フレーム判定処理は、ステレオ画像処理制御部１４において実行される。

ＳＴ２０１では、被写体追跡部１３から取得した被写体情報により、追跡する被写体を選択する。被写体の選択方法としては、画面上の配列順に（例えば左上に存在する被写体から右下に存在する被写体へ）順番に選択するとか、前フレームまでに取得した被写体の３次元位置を参照し、カメラから被写体までの距離で順番に選択する。

ＳＴ２０２では、選択した各被写体について、図３で示した３次元計測の計測フレーム判定処理シーケンスを実行し、計測フレーム情報（ステレオ画像処理を行うフレームかどうかの情報）を生成する。

ＳＴ２０３では、被写体情報を基に、次にステレオ画像処理が３次元情報を計測するまでの最適な計測フレーム間隔を算出し決定する。

ＳＴ２０４では、全ての被写体について計測フレーム判定処理を行ったかどうかを判定する。まだ計測フレーム判定処理を行っていない被写体が存在する場合には、ＳＴ２０５に進んで次の被写体を選択し、全ての被写体について計測フレーム判定処理を繰り返す。

このように、被写体毎に３次元計測の計測フレーム判定処理を行うことで、複数の被写体に対し、個別に最適な追跡処理を行うことが可能となる。このときステレオ画像処理部１２は、ある被写体について３次元計測フレームと判定した場合には、その被写体の近傍のみについてステレオ画像処理を行うようにする。これより、被写体の個数が増え結果として計測フレームの頻度が高くなった場合でも、処理量が膨大になるのを防ぐことができる。

図５は、図４における計測フレーム間隔算出処理（ＳＴ２０３）を具体的に説明する図である。一例として、被写体とカメラの距離に応じて計測フレーム間隔を変化させる場合を示す。（ａ）は移動する被写体（人物）５１ａ，５１ｂがカメラから離れた位置にいる場合の撮影画像、（ｂ）は移動する被写体（人物）５２ａ，５２ｂがカメラから近い位置にいる場合の撮影画像で、１フレーム間（ｔ，ｔ＋１）の被写体の見え方の変化を示す。いずれも被写体は同一距離だけ移動するものとする。

それぞれの撮像画像において、被写体が１フレーム間で移動した画面上の移動量をΔｘ１及びΔｘ２とする。当然ながら、画面上の移動量は、被写体がカメラから離れた位置にいる場合には小さく（Δｘ１）、カメラから近い位置にいる場合には大きい（Δｘ２）。同様に、被写体の画面上での面積は、被写体がカメラから離れた位置にいる場合には小さく、カメラから近い位置にいる場合には大きい。これより、撮像により得られる３次元特徴量の信頼性（計測精度）は、被写体がカメラから離れた位置にいる場合には低く、カメラから近い位置にいる場合には高くなる。

この性質を考慮し、図４のＳＴ２０３において計測フレーム間隔を最適に設定する。ステレオ画像処理制御部１４は、被写体追跡部１３から被写体情報としてカメラから被写体までの距離情報を取得する。被写体までの距離が遠い場合には、２次元特徴量を用いた追跡を優先するために３次元計測の計測フレーム間隔を長くし、被写体までの距離が近い場合には、３次元特徴量を用いた追跡を優先するために計測フレーム間隔を短くなるように重みを付けて算出する。このように計測フレーム間隔をカメラから被写体までの距離に応じて決定することで、被写体の位置に応じて精度良く被写体の追跡を行うことができる。

図６は、図４における計測フレーム間隔算出処理（ＳＴ２０３）の処理シーケンスの一例を示す図である。

ＳＴ２０３１では、被写体追跡部１３より被写体の３次元情報の信頼性を取得する。

ＳＴ２０３２では、３次元情報の信頼性を評価し、閾値と比較する。閾値以上の場合には処理を終了する（初期設定のままとする）。閾値より小さい場合にはＳＴ２０３３に進む。

ＳＴ２０３３では、被写体の３次元情報の精度が低く、３次元特徴量を用いた被写体の追跡の信頼性も低くなるため、次のフレームでも３次元計測を行うように、計測フレーム間隔を最小値である１に設定する。

このように、被写体の３次元情報の信頼性が低い場合には、信頼性の高い３次元情報が得られるまで毎フレーム３次元計測を繰り返すことで、信頼性の低い３次元特徴量を用いて誤った追跡を続けることを防ぐことができる。

また、３次元情報の信頼性が低い場合には、被写体追跡部１３において被写体追跡にこの３次元情報を用いないようにしても良い。これにより、例えばステレオ撮像部１１の撮像部間の撮像領域の違いにより、被写体が一方の撮像画像の画角内にしか入っていない場合や、被写体が一方の撮像画像において他の被写体や静止物体に隠蔽された場合などに対処する。被写体がステレオ撮像部の一方の撮像画像にしか存在せず、ステレオ撮像間の被写体の対応付けができないために被写体の３次元計測が正しく行えない場合には、単眼の画像処理による被写体検出及び追跡を優先して行い、正しい３次元計測が行えるようになるまで誤った３次元情報を用いた被写体追跡を行うことを回避する。このように、３次元情報の信頼性が低い場合は、被写体が一方の撮影画像しか写っていないことが考えられる。そのため、両方の撮像画像で単眼の画像処理を用いた追跡を行っている場合には、両方の被写体追跡の結果を比較し、信頼性の高い追跡結果を採用してもよく、より精度の高い追跡を行うことが可能である。

また、上記の例では３次元情報の信頼性が閾値以下の場合に計測フレーム間隔を１に設定したが、計測フレーム間隔が１以外の小さい値でももちろん良く、３次元情報の信頼性に応じて重みをつけ、計測フレーム間隔を動的に設定するようにしても良い。

このように本実施例によれば、被写体毎にステレオ画像処理により３次元計測を行うフレームを決定し、被写体のカメラからの距離や被写体の３次元情報の信頼度に応じて異なるタイミングで３次元計測を行うフレームを算出することで、被写体のカメラからの距離に関わらず、また、被写体が片眼にしか写っていない場合などでも信頼性の高い被写体追跡を実現することが可能である。

図７は、本発明の第３の実施例に係る物体追跡装置の構成を示す図である。本実施例では、第１の実施例の構成（図１）に対して、認識処理部１５を付加した構成としている。認識処理部１５は、被写体追跡部１３から被写体の追跡結果や３次元情報などの被写体情報を取得し、人数カウントや交通流計測や特定の３次元領域への侵入検知などの認識処理を行い、認識結果を不図示の映像表示部や検知結果出力部に出力する。また、認識結果は、ステレオ画像処理制御部１４にも出力し、３次元計測を行う計測フレームの決定に利用する。このように、被写体追跡結果を認識処理に用いることで、被写体の追跡情報や３次元情報を利用したアプリケーションを実現できる。

図８は、本実施例の物体追跡装置にて実行するアプリケーションの例を示す図である。（ａ）は、人数カウントアプリケーションに適用した場合、（ｂ）は３次元領域への侵入検知アプリケーションに適用した場合である。

図８（ａ）の人数カウントアプリケーションでは、ステレオ撮像部１１により被写体（人物）５３を撮像し、被写体追跡部１３により被写体５３の３次元位置と追跡情報を出力する。認識処理部１５は、事前に３次元空間中に設定した計数平面６１を被写体が通過した場合にカウントすることで実現できる。

図８（ｂ）の３次元領域への侵入検知アプリケーションでは、同様にステレオ撮像部１１により被写体（人物）５４を撮像し、被写体追跡部１３により被写体５４の３次元位置と追跡情報を出力する。認識処理部１５は、事前に３次元空間として設定した侵入検知領域６２に対し、被写体５４が領域外から領域内に移動した場合を検知することで実現できる。

さらに認識処理部１５は、検知を行う計数平面６１と被写体５３の３次元位置との距離、あるいは、侵入検知領域６２と被写体５４の３次元位置との距離を算出し、認識結果（距離情報）として出力する。そしてステレオ画像処理制御部１４は、この距離情報を取得して、計測フレーム間隔を制御する。すなわち、被写体５３，５４と検知を行う領域６１，６２との３次元空間における距離が近い場合には、計測フレーム間隔が短くなるように距離に応じた計測フレーム間隔を算出する。このように、被写体が検知領域を行う領域に近づいた場合に３次元情報を短い間隔で取得することで、精度の高い認識処理を行うことができる。

このように本実施例によれば、被写体の追跡情報や３次元情報を毎フレームにおいて計測または予測するため、これらの情報を用いた人数カウントシステムや３次元領域への侵入検知システムなどの認識システムを、高速かつ精度良く実現することが可能である。

図９は、本発明の第４の実施例に係る物体追跡装置の構成を示す図である。本実施例では、第１の実施例の構成（図１）に対してステレオ較正部１６を付加した構成としている。ステレオ較正部１６は、図１のステレオ画像処理部１２において前処理として行っていたステレオ較正処理と同等の処理を行うもので、図１のステレオ画像処理部１２から、ステレオ較正処理の機能を分離して配置したものである。

ステレオ較正部１６は、ステレオ画像処理部１２がステレオ画像処理による３次元計測を精度良く行えるように、第一の撮像部１１ａの出力する画像データと第二の撮像部１１ｂ２の出力する画像データを取得して、レンズ歪み補正処理や平行化処理を行って撮像画像の補正を行い、補正後の画像データを出力する。ステレオ撮像部１１はそれぞれの撮像部１１ａ，１１ｂにおいてレンズ特性による撮像画像の歪みが発生している。また、撮像領域を好適にカバーするために意図的に互いの撮像部の光軸を非平行にしたり、撮像部間のズーム倍率を異ならせることや、構造開発時の精度不足により意図せずに、互いの撮像部の光軸が非平行になったり、撮像部間のズーム倍率を異なる場合がある。このとき、ステレオ較正部１６がレンズ歪み補正処理や平行化処理を行うことで、上記のような場合であっても、ステレオ撮像部１１が出力する撮像画像をステレオ画像処理に最適な画像に補正することが可能である。

ステレオ較正においては、予め出荷時や設置時に較正パターンなどを用いた公知のステレオ較正方法により、補正画像を高速に生成するためのルックアップテーブル（ＬＵＴ）を作成して、ステレオ較正部１６内のメモリに格納しておけばよい。ＬＵＴには、例えば補正後の各画素の座標と、各画素に対応する補正前の画素の座標をテーブル形式で記載されてあり、補正後の各画素について対応する撮像画像の画素の画像データを参照することで補正後の画像データを生成することが可能である。ＬＵＴは事前に生成し格納するだけでなく、振動などの経年変化によりステレオ撮像部１１の光軸やレンズ位置などが出荷時とずれた場合に、自然特徴や人工マーカを用いて、それらのマーカを撮影したステレオ撮像部１１の出力する撮像画像を画像処理して、ずれ量を検出し、ＬＵＴを適宜更新する形にしても良い。ステレオ較正を行った結果、補正前後の撮像画像で被写体の画像上の位置が変化する可能性があるが、被写体追跡部１３はステレオ較正部１６からＬＵＴを取得し、被写体の２次元位置とステレオ画像処理部１２から取得した３次元情報との対応付けを行うことで、補正による被写体の画像上の位置の変化にも対応することができる。

このように、本実施例の被写体追跡部１３は、ステレオ較正を行っていない撮像画像を用いて画像処理による被写体の追跡処理を行うことで、ステレオ較正を行い座標をリサンプリングすることによる画質の劣化の影響を避けることができる。また、ステレオ画像処理部１２は、ステレオ較正を行った補正後の撮像画像を用いてステレオ画像処理を行うことで精度良く３次元計測を行うことができ、それぞれの処理に適した画像を利用して処理結果の精度向上を実現することができる。

また、ステレオ較正部１６は、ステレオ較正を行い、撮像画像を補正したために撮像画像上においてステレオ画像処理が正しく行なえない画像領域が存在する場合に、その領域の情報を検出し、被写体追跡部１３に出力する。被写体追跡部１３はその情報を取得し、検出した被写体がステレオ画像処理の正しく行なえない画像領域に存在する場合に、その情報を被写体情報としてステレオ画像処理制御部１４に出力する。ステレオ画像処理部１４は被写体情報を参照することで、被写体がステレオ画像処理の可能な領域に存在しない場合には、現在のフレームが計測フレームではないと判定する。このように、ステレオ較正部１６が予めステレオ画像処理の可能な領域を検出しておくことで、ステレオ画像処理部１２がステレオ画像処理の正しく行えない領域に存在する被写体についてもステレオ画像処理を行い、誤った３次元情報を取得することを回避し、また、処理量の低減を図ることができる。

図１０は、本実施例の物体追跡装置におけるステレオ画像処理が可能な領域の検出処理の一例を示す図である。この検出処理はステレオ較正部１６において実行される。（ａ）はステレオ較正部１６による補正前の撮像画面で、（ｂ）は補正後の撮像画面である。補正後の撮像画面６３ｂは補正前の撮像画面６３ａに、補正後の領域６４ｂは補正前の領域６４ａに、また補正後の被写体（人物）５５ｂ，５６ｂは補正前の被写体５５ａ，５６ａにそれぞれ対応する。ここに領域６４ｂは画像処理可能な範囲であり、補正前の撮像画面６３ａと同一サイズとしている。

すなわち、補正後の領域６４ｂの外側の領域は本来画像処理が想定されていない領域であり、レンズ歪みやステレオ撮像間の光軸のずれなどをステレオ較正で補正した結果、画像メモリ内に書き込むことができず、よってステレオ画像処理が不可能となる。言い換えれば、補正前の領域６４ａの外側の領域（斜線部の領域６５ａ）は、補正した結果ステレオ画像処理が不可能となる領域である。よって、領域６４ａ，６４ｂの内部に存在する被写体５５ａ，５５ｂはステレオ画像処理が可能であるが、領域６４ａ，６４ｂの外部（斜線部の領域６５ａ）に存在する被写体５６ａ，５６ｂはステレオ画像処理が不可能となる。

ステレオ較正部１６は、ステレオ較正時に補正前の画像の座標と補正後の画像の座標を対応付ける際に、斜線部６５ａに該当する画像の座標を検出し、その領域をステレオ画像処理が不可能な領域として検出し、その他の領域をステレオ画像処理が可能な領域として検出する。またこのとき、補正後に画像メモリに収まっている領域でも、画像の周辺付近などの補正処理による座標変換の影響が大きく画質の劣化が激しいと分かっている領域があれば、これらの領域もステレオ画像処理が不可能な領域としても良い。このように、ステレオ画像処理が可能な領域を予め検出しておくことで、ステレオ画像処理を行う際に、不要なステレオ画像処理を行うことを回避することができる。また、単眼の画像処理にはステレオ較正を行っていない画像を用いるため、ステレオ較正後の撮像画像を用いた場合に検出できない被写体５６ｂを、単眼画像処理にて検出及び追跡することが可能となる。

このように本実施例によれば、単眼の画像処理をステレオ較正を行っていない画像で、ステレオ画像処理をステレオ較正を行った画像でそれぞれ行うことで、それぞれが精度の良い処理を行うことができ、また、予めステレオ画像処理により被写体の３次元情報を取得することが可能な領域を検出しておくことにより、ステレオ画像処理を用いた場合の処理量の増加や精度の劣化が起きることを回避することができる。

図１１は、本発明の第５の実施例に係る物体追跡装置の構成を示す図である。本実施例では、第１の実施例の構成（図１）に対して、映像表示部１７を付加した構成としている。映像表示部１７は、被写体追跡部１３から被写体追跡処理に用いた撮像画像情報と追跡した被写体の被写体情報を取得し、それらの情報をもとに被写体追跡結果画像を作成し表示する。表示の方法としては、例えば、撮像画像に重畳して、追跡している被写体を枠で囲ったり、輝度や色を変えて表示することで、対象とする被写体を強調することができる。また、被写体の２次元特徴量や３次元特徴量を文字で表示しても良い。

このとき、計測フレームでないフレームにおける３次元情報の表示は、最前の計測フレームにおける信頼性のある３次元情報を表示しても良いし、現在のフレームにおける３次元情報の予測値を表示しても良い。また、３次元情報の信頼性を把握できるように、最前の計測フレームからの経過フレーム数や、３次元情報の予測値の信頼性を計測して表示しても良い。また、被写体追跡結果は毎フレーム表示を更新し、３次元特徴量は、計測フレームにおいてのみ表示を更新することで、計測フレームのタイミングをユーザが直感的に分かるようにしても良い。このようにユーザが計測フレームのタイミングを分かるように、表示内容に応じて更新頻度をずらすことで、ユーザが表示されるデータの信頼性を把握することができるし、また、問題が発生した場合に原因調査を効率よく行うことができる。

なお、ここでは被写体追跡部１３の被写体追跡結果を表示する場合について記載したが、第３の実施例（図７）にて示した認識処理部１５の認識結果を表示する場合にも同様の映像表示を行えばよい。また、映像表示部１７に、第二の撮像部１１ｂの撮像画像や、ステレオ画像処理部１２のステレオ画像処理結果を出力し、映像表示部１７がこれらの情報を表示する構成としても良い。

このように本実施例によれば、映像表示時に被写体の３次元情報が予測値であるか計測値であるかを明示的に表示したり、被写体の追跡結果と異なる更新頻度で表示することにより、被写体の３次元情報の信頼性を容易に把握することが可能となる。

図１２は、本発明の第６の実施例に係る物体追跡装置の構成を示す図である。本実施例では、第１の実施例の構成（図１）において、ステレオ撮像部１１、ステレオ画像処理部１２及びステレオ画像処理部１２を、それぞれ撮像部１０、３次元情報計測部１８及び３次元情報計測制御部１９に置き換えて構成している。

撮像部１０は、図１で示した第一の撮像部１１ａまたは第二の撮像部１１ｂを最低１台使用することで実現する。勿論、複数の撮像部を異なる位置に設置してもよい。

３次元情報計測部１８は、ステレオカメラ以外にレーザレーダなど空間分解能を持った距離センサを用いることができる。そして、３次元情報計測制御部１９の出力する計測タイミング情報を基に、特定のタイミングにて撮像部１０の撮像空間に存在する被写体（物体）の３次元座標を計測し、３次元情報として出力する。３次元情報の例としては撮像部１０の出力する撮像画像の各画素の２次元画像座標と３次元情報計測部１８で計測した３次元座標とを対応付けた距離マップが挙げられる。この対応付けを行うためには、本装置を稼動する前に予め撮像部１０と３次元情報計測部１８の互いの幾何関係を求めるキャリブレーション処理を行っておき、幾何関係の情報をキャリブレーションデータとして３次元情報計測部１８に格納しておけばよい。

被写体追跡部１３は撮像部１０の出力する画像データと、３次元情報計測部１８の出力する３次元情報を取得して、それらの情報を単独に、もしくは組み合わせて用いて画像中の被写体の検出および追跡を行う。

３次元情報計測制御部１９は、３次元情報計測部１８が３次元座標を計測するタイミングを決定し、計測タイミング情報を３次元情報計測部１８に出力する。この計測タイミングは撮影環境に適した一定の間隔を予め計測して設定しておいても良いし、被写体追跡部１３の出力する被写体情報を基に動的に変更しても良い。

本実施例においても、被写体追跡の演算量の低減と、被写体追跡結果及び被写体の３次元特徴量の信頼性の向上を同時に実現することが可能である。さらに本実施例では、被写体の３次元情報をステレオ撮像部以外の手段で取得することができるので、物体追跡装置の構成の自由度が高まる。

本実施例の物体追跡装置は、監視カメラや車載カメラに搭載して利用可能である。また追跡する対象物は、人物や車両など広く適用できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明の第１の実施例に係る物体追跡装置の構成を示す図。 本実施例における被写体追跡処理の処理シーケンスの一例を示す図。 図２における３次元計測の計測フレーム判定を詳細に示す図。 ３次元計測の計測フレーム判定の第２の実施例に係る処理シーケンス図。 図４における計測フレーム間隔算出処理を具体的に説明する図。 図４における計測フレーム間隔算出処理の処理シーケンスの一例を示す図。 本発明の第３の実施例に係る物体追跡装置の構成を示す図。 本実施例の物体追跡装置にて実行するアプリケーションの例を示す図。 本発明の第４の実施例に係る物体追跡装置の構成を示す図。 本実施例におけるステレオ画像処理が可能な領域の検出処理の一例を示す図。 本発明の第５の実施例に係る物体追跡装置の構成を示す図。 本発明の第６の実施例に係る物体追跡装置の構成を示す図。

符号の説明

１０…撮像部
１１…ステレオ撮像部
１１ａ…第一の撮像部
１１ｂ…第二の撮像部
１２…ステレオ画像処理部
１３…被写体追跡部
１４…ステレオ画像処理制御部
１５…認識処理部
１６…ステレオ較正部
１７…映像表示部
１８…３次元情報計測部
１９…３次元情報計測制御部。

Claims (8)

1. 被写体を撮像して第一の画像データを出力する第一の撮像部と、
   上記被写体を撮像して第二の画像データを出力する第二の撮像部と、
   該第一の画像データと該第二の画像データを用いてステレオ画像処理し、上記被写体の３次元情報を出力するステレオ画像処理部と、
   上記第一の画像データ及び上記第二の画像データの少なくとも一方と、上記ステレオ画像処理部から出力される３次元情報を用いて特定の被写体の検出と追跡を行い、被写体追跡情報を出力する被写体追跡部と、
   該被写体追跡部が出力する被写体追跡情報に応じて、上記ステレオ画像処理部に対しステレオ画像処理を実行する画像フレームか否かの計測フレーム情報を出力して上記ステレオ画像処理部のステレオ画像処理を制御するステレオ画像処理制御部とを備え、
   上記被写体追跡部は、上記被写体追跡情報として所定の位置から追跡する被写体までの距離情報を出力し、上記ステレオ画像処理制御部は、該所定の位置から該被写体までの距離が遠い場合にはステレオ画像処理を実行するフレーム間隔を大きくし、該所定の位置から該被写体までの距離が近い場合にはステレオ画像処理を実行するフレーム間隔を小さくするよう制御することを特徴とする物体追跡装置。
2. 請求項１に記載の物体追跡装置において、
   前記被写体追跡部は、前記被写体追跡情報として被写体追跡時の被写体特徴量の一致度を表す評価値を出力し、前記ステレオ画像処理制御部は、該評価値が所定値より小さい場合にステレオ画像処理を実行する画像フレームであると判定することを特徴とする物体追跡装置。
3. 請求項１に記載の物体追跡装置において、
   追跡する被写体が複数個存在する場合には、前記被写体追跡部は各被写体毎に前記被写体追跡情報を出力し、前記ステレオ画像処理制御部は各被写体毎に前記計測フレーム情報を出力し、前記ステレオ画像処理部は該計測フレーム情報にて指定された被写体の近傍領域についてのみステレオ画像処理を行うことを特徴とする物体追跡装置。
4. 請求項１に記載の物体追跡装置において、
   前記所定の位置とは当該物体追跡装置の位置であり、
   前記被写体追跡部は、前記被写体追跡情報として当該物体追跡装置から追跡する被写体までの距離情報を出力することを特徴とする物体追跡装置。
5. 請求項１に記載の物体追跡装置において、
   前記被写体追跡部の出力する被写体追跡情報を用いて、前記追跡する被写体が特定の平面領域を通過したか、あるいは特定の空間領域に侵入したかを判定し、人数カウント又は侵入検知などの認識処理を行う認識処理部を備え、
   前記所定の位置とは上記特定の平面領域あるいは上記特定の空間領域であり、
   前記被写体追跡部は、前記被写体追跡情報として上記特定の平面領域あるいは上記特定の空間領域から追跡する被写体までの距離情報を出力することを特徴とする物体追跡装置。
6. 請求項１から５のいずれか１項に記載の物体追跡装置において、
   前記第一の撮像部が出力する第一の画像データと前記第二の撮像部が出力する第二の画像データに対し、レンズ歪み補正や平行化処理を含む画像補正を行うステレオ較正部を備え、
   前記ステレオ画像処理部は、上記ステレオ較正部により画像補正を行った画像データを用いてステレオ画像処理を行うことを特徴とする物体追跡装置。
7. 請求項６に記載の物体追跡装置において、
   前記ステレオ較正部が前記第一の画像データと前記第二の画像データに対して前記画像補正を行う撮像画面内の領域と、前記ステレオ画像処理部が前記ステレオ較正部により画像補正を行った画像データを用いてステレオ画像処理を行う撮像画面内の領域とが異なることを特徴とする物体追跡装置。
8. 被写体を撮像して画像データを出力する撮像部と、
   上記被写体の３次元情報を取得する３次元計測部と、
   上記撮像部が出力する画像データと上記３次元計測部からの３次元情報を用いて特定の被写体の検出と追跡を行う被写体追跡部とを備え、
   該被写体追跡部は、被写体追跡情報として所定の位置から追跡する被写体までの距離情報を出力し、上記３次元計測部は、該所定の位置から該被写体までの距離が遠い場合には３次元情報を取得するタイミングの間隔を大きくし、該所定の位置から該被写体までの距離が近い場合には３次元情報を取得するタイミングの間隔を小さくするよう制御することを特徴とする物体追跡装置。

Images