JP7274068B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理技術に関する。

以下の特許文献１には、異なる領域を撮像する複数のカメラにより撮像されたオブジェクトが同一のオブジェクトであるか解析を行う技術が開示されている。特許文献１の技術によれば、オブジェクトが時間方向に追跡され、オブジェクトの特徴量と、オブジェクトの追跡結果とが記録される。オブジェクトの検索時には、検索された各オブジェクトの追跡結果に基づき画像データのクラスタリングが行われ、クラスタリングされたクラスタのうち画像数が最大のクラスタが選択され、選択されたクラスタ内の画像データから選択されたクラスタに対して１つの特徴量が抽出され、抽出された特徴量を用いてオブジェクト間の同一性の判定が行われる。

国際公開第２０１９／０３８８２１号

しかしながら、特許文献１に開示された技術によれば、画像数が最大のクラスタが選択されるので、選択されるクラスタの中にオクルージョンが発生した画像が含まれる場合があるという問題点があった。

本開示はこのような課題を解決するためになされたものであり、実施形態の一側面は、オクルージョンが発生した場合に、オクルージョンが発生した画像のデータを用いないでオブジェクト間の同一性の判定を行う技術を提供することを目的とする。

実施形態による画像処理装置の一側面によれば、画像処理装置は、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出する検出部と、前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部と、前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力する追跡部と、前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部と、前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部と、前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する判定部と、を備える。

実施形態による画像処理装置の一側面によれば、オクルージョンが発生した場合に、オクルージョンが発生した画像のデータを用いないでオブジェクト間の同一性の判定を行うことができる。

画像処理システム及び画像処理装置の構成を示すブロック図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 オブジェクトの追跡処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。 特徴量変化検出処理において、オブジェクトとして追跡された人物の追跡結果例を示す図である。 オブジェクトの撮像面のモデル化の例を説明する図である。 撮像面推定処理において、オブジェクトとして追跡された人物の追跡結果例を示す図である。 画像認識処理のフローチャートである。 画像探索処理のフローチャートである。 画像認識処理の一例を示す図である。 図９の領域Ｗ１においてオブジェクトとして追跡された人物の画像データ例を示す図である。 図９の領域Ｗ２においてオブジェクトとして追跡された人物の画像データ例を示す図である。

以下、図面を参照しつつ、本開示における種々の実施形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一又は類似の構成又は機能を有するものとする。

実施の形態１．
以下、図１から図１０を参照して、実施の形態１に係る画像処理装置１００について説明する。まず、図１を参照して、画像処理装置１００を含む画像処理システムの構成、及び画像処理装置１００の構成について説明する。

図１に示されているように、画像処理システムＳｙｓは、複数のカメラ１及び２と、外部機器３と、複数のカメラ１及び２並びに外部機器３に接続された画像処理装置１００とを備える。画像処理装置１００は、通信ネットワーク経由で接続される複数のカメラ１及び２により撮像された画像データに対して画像処理を行う。複数のカメラ１及び２は、異なる領域を撮像するように設置されている。ここで、「異なる」との用語は同一でないことを意味する。したがって、「異なる領域」との表現には、ある領域と別の領域とが全く重なっていない場合の他、ある領域と別の領域とが部分的に重なっている場合が含まれる。カメラの個数は２つに限られず、３つ以上であってもよい。また、撮像された画像データには、撮像された時刻データが関連付けられる。また、画像処理装置１００は、外部機器３とインタフェース部１０４を介して接続される。外部機器３の例には、検索条件を設定するための入出力装置、及び外部ストレージが含まれる。

図１に示されているように、一例として、画像処理装置１００は、通信部１０１、画像認識部１１０、画像探索部１２０、記録制御部１０２、データ記憶部１０３、及びインタフェース部１０４を備える。変形例として、データ記憶部１０３は、画像処理装置１００の外部に備えられていてもよい。

（通信部）
通信部１０１は、ネットワーク経由で接続されるカメラ１から送信される複数の画像を備える第１の画像シーケンスを受信し、受信した第１の画像シーケンスを画像認識部１１０及び記録制御部１０２へ出力する。また、通信部１０１は、ネットワーク経由で接続されるカメラ２から送信される複数の画像を備える第２の画像シーケンスを受信し、受信した第２の画像シーケンスを画像認識部１１０及び記録制御部１０２へ出力する。

（画像認識部）
画像認識部１１０は、入力された画像シーケンスに対して画像認識処理を行う。図１に示されているように、画像認識部１１０は、検出部１１１、特徴量生成部１１２、追跡部１１３、特徴量変化検出部１１４、及び撮像面推定部１１５を備える。

（検出部）
検出部１１１は、通信部１０１から入力された画像シーケンスを解析する。すなわち、検出部１１１は、カメラ１から送信される第１の画像シーケンス、及びカメラ２から送信される第２の画像シーケンスを解析する。検出部１１１は、各画像シーケンスの解析により各画像シーケンスに含まれる画像に現れる１つ以上のオブジェクトを検出して、オブジェクト検出結果を特徴量生成部１１２へ出力する。オブジェクト検出結果には、例えば、検出されたオブジェクトの数、画像が撮像された時刻、オブジェクトの位置、オブジェクトの検出範囲、オブジェクトの識別結果、及びオブジェクトの検出信頼度が含まれる。複数のオブジェクトが検出された場合、オブジェクト検出結果には、各オブジェクトの位置、各オブジェクトの検出範囲、各オブジェクトの識別結果、及び各オブジェクトの検出信頼度が含まれる。ここで、オブジェクトの位置とは、オブジェクトの画角内における位置、又はカメラキャリブレーション情報とオブジェクトの画角内位置とを組み合わせて得られるオブジェクトの実空間座標系における位置を意味する。また、検出範囲とはオブジェクトが存在する範囲を意味し、検出範囲の具体例には、オブジェクトの輪郭、及びオブジェクトを内包する長方形（バウンディングボックス）が含まれる。

（特徴量生成部）
特徴量生成部１１２は、検出部１１１から入力されたオブジェクト検出結果から、オブジェクトの追跡に用いるためのオブジェクト特徴量を生成する。検出部１１１から入力された各オブジェクトの位置に基づき、特徴量生成部１１２は、各オブジェクトについて１つ以上の外見特徴量を各画像から抽出する。外見特徴量の例には、検出範囲における色相、彩度、明度等の特徴量が含まれる。外見特徴量の例は、これらの例に限定されず、ＲＧＢ色空間における画素値等の他の特徴量であってもよい。特徴量生成部１１２は、抽出した外見特徴量を、オブジェクトの位置、検出範囲、撮像時刻及び検出信頼度とともに、オブジェクト特徴量として追跡部１１３に出力する。

（追跡部）
追跡部１１３は、特徴量生成部１１２から入力されるオブジェクト特徴量を用いて各オブジェクトを時間方向に追跡し、追跡の結果である追跡履歴を追跡結果として特徴量変化検出部１１４へ出力する。追跡部１１３は、オブジェクトの時間方向への追跡を行うため、特徴量生成部１１２から入力される複数のフレームを用いてオブジェクトの追跡を行う。ここで、フレームとは、１撮像時刻における特徴量生成部１１２から出力されるオブジェクト特徴量の集合である。なお、この追跡には、公知の多目標追跡技術（例えば、Multiple Hypothesis Multitarget Tracking）を用いることができる。

追跡履歴には、各オブジェクトの各撮像時刻における位置、速度、範囲に関する観測値及び予測値、並びに追跡履歴を特定するための一意な番号（追跡ＩＤ）が含まれる。位置、速度、及び範囲の予測値については、過去のフレームから、前述の公知の多目標追跡技術を用いて生成される。ここで、各オブジェクトを時間方向に追跡した結果同一の追跡ＩＤが付与されたオブジェクト特徴量の集合を、オブジェクト追跡履歴と定義する。

図３は、追跡対象のオブジェクトが人物の場合の具体例を示す。図３の例において、追跡部１１３は、時刻ｔ１～ｔ４の間に、検出部１１１により検出されたオブジェクトＬ１～Ｌ４を追跡する。この際、障害物ＵによってオブジェクトＬ３の一部が隠れているように、オクルージョンが発生する場合がある。

図４は、図３に対する追跡結果の具体例を示す。図４の例において、Ｓ１～Ｓ４は、時刻ｔ１～ｔ４の間にオブジェクトが検出された範囲の観測値を示しており、Ｐ１～Ｐ４は時刻ｔ１～ｔ４における範囲の予測値を示している。追跡部１１３は、過去のフレームから、過去のフレームに関連付けられた時刻よりも後の時刻における予測値を生成する。例えば、追跡部１１３は、時刻ｔ１における観測値Ｓ１から時刻ｔ２における予測値Ｐ２を生成し、時刻ｔ２における観測値Ｓ２から時刻ｔ３における予測値Ｐ３を生成する。予測値を生成する際、過去の時刻における予測値が考慮されてもよい。例えば、追跡部１１３は、予測値Ｐ２を生成する際、時刻ｔ１における予測値Ｐ１を考慮してもよい。このように、追跡部１１３は、ある関心時刻における予測値を、その関心時刻の直前の時刻のフレームから生成する。変形例として、追跡部１１３は、ある関心時刻における予測値を、その関心時刻の直前の時刻より前の時刻のフレームから生成してもよい。

（特徴量変化検出部）
特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴から各オブジェクトのオブジェクト特徴量の変化を検出する特徴量変化検出処理を行う。特徴量変化検出部１１４は、オブジェクト特徴量の変化の有無を含む検出結果と前述のオブジェクト追跡履歴とを特徴量変化検出結果として撮像面推定部１１５へ出力する。特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴のうち、ある時刻における観測値と予測値の差異を検出する。

図４の例において、時刻ｔ２においては、範囲の観測値Ｓ２の大きさと範囲の予測値Ｐ２の大きさとの間の差は小さい。一方、時刻ｔ３においては、図３における障害物ＵによってオブジェクトＬ３の一部が隠れているため、範囲の観測値Ｓ３の大きさは、障害物Ｕによって隠れていない部分のみが観測され、障害物Ｕによって隠れていないオブジェクトＬ２の範囲の観測値であるＳ２の大きさと比較すると小さくなる。ここで、範囲の大きさとは検出範囲の面積、幅、又は高さを示す。

時刻ｔ２の場合、範囲の予測値Ｐ２は、ｔ１における範囲の観測値Ｓ１から生成されるため、時刻ｔ１における観測値Ｓ１と同程度の範囲を示す。そのため、時刻ｔ２における範囲の観測値Ｓ２の大きさと時刻ｔ２における範囲の予測値Ｐ２の大きさとを比較すると、差は小さい。この差が予め決められたしきい値以下の場合、「オブジェクト特徴量変化無し」として検出結果を出力する。

一方、障害物Ｕによってオブジェクトの一部が隠れている時刻ｔ３の場合、範囲の予測値Ｐ３は、オブジェクトが障害物によって隠れていないｔ２における範囲の観測値Ｓ２から生成されるため、時刻ｔ２における観測値Ｓ２と同程度の範囲の大きさを示す。そのため、時刻ｔ３における範囲の観測値Ｓ３の大きさと時刻ｔ３における範囲の予測値Ｐ３の大きさとを比較すると、差が大きくなる。この差が、その予め決められたしきい値を超えた場合に、「オブジェクト特徴量変化有り」として検出結果を出力する。

時刻ｔ４においては、特徴量変化有となった時刻ｔ３の観測値Ｓ３ではなく、特徴量変化無しである判定された最新の観測値を使用して特徴量変化有無を検出する。具体的には、時刻ｔ２における範囲の観測値Ｓ２から、時刻ｔ４における範囲の予測値Ｐ４を生成する。範囲の予測値Ｐ４は、オブジェクトが障害物Ｕによって隠れていないｔ２における範囲の観測値Ｓ２から生成されるため、時刻ｔ２における観測値Ｓ２と同程度の範囲の大きさを示す。そのため、時刻ｔ４における範囲の観測値Ｓ４の大きさと時刻ｔ４における範囲の予測値Ｐ４の大きさとを比較すると、差は小さい。この場合、「オブジェクト特徴量変化無し」として検出結果を出力する。

これによって、一時的に障害物Ｕによってオクルージョンが発生した時刻ｔ３のみを「オブジェクト特徴量変化有り」として検出することができる。なお、ここでは特徴量のうち範囲の大きさを用いて説明したが、オブジェクト特徴量の変化の検出の際に、他のパラメータ、例えば外見特徴量が用いられてもよい。例えば、色相を用いる場合、ある色の画素数の経時的な増減を検出することによりオクルージョンの発生の有無を判断できる。

（撮像面推定部）
撮像面推定部１１５は、特徴量変化検出部１１４から入力される特徴量変化検出結果から撮像面を推定する撮像面推定処理を行う。撮像面推定部１１５は、オブジェクト追跡履歴に含まれる各オブジェクトの速度から各オブジェクトの撮像面を推定する。撮像面推定部１１５は、撮像面の推定結果と前述の特徴量変化検出結果とを含む撮像面推定結果を記録制御部１０２へ出力する。

図５はオブジェクトの撮像面のモデル化の例を説明するための図である。なお、対象オブジェクトを円柱としてモデル化する例に即して説明をするが、モデル化の具体例は、円柱に限られず、多角形又は球であってもよい。図５において、モデルＹ１０に対して撮像面に関する基準面Ｙ１１を設定する。図５に示されているように、基準面Ｙ１１は、矢印Ｙ１の終端が指示するモデルＹ１０の一側面である。また、モデル断面中心Ｙ０を中心として矢印Ｙ１から時計回りに９０度ごとに矢印Ｙ２～Ｙ４を設定し、矢印Ｙ２～Ｙ４の終端が指示する基準面Ｙ２２～Ｙ４４を設定する。なお、先と同様に、基準面Ｙ２２～Ｙ４４の各々は、矢印Ｙ２～Ｙ４の終端が指示するモデルＹ１０の一側面である。撮像面推定部１１５は、各オブジェクトの撮像面として、各時刻において基準面Ｙ１１～Ｙ４４の何れか１つを割り当てる。なお、速度と撮像面との割り当ては事前に決定しておく。

図６はオブジェクトとして追跡された人物の追跡結果例を示す。図６において、Ａ１～Ａ９は同一オブジェクトの画像領域Ｆ１における位置の時間変化を示している。また、Ｖ２～Ｖ９は追跡部１１３において生成される、各オブジェクトの速度を示している。ここで、速度とは位置の単位時間当たりの変化量であり、２次元又は３次元のベクトルである。また、モデルＹ１０において、オブジェクト正面を基準面Ｙ１１とする。

図６において、オブジェクトＡ２～Ａ４における速度Ｖ２～Ｖ４は画像領域Ｆ１において左から右へと向かっている。この場合、事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ２２であると判定する。次に、オブジェクトＡ５における速度Ｖ５は画像領域Ｆ１において上から下へと向かっている。事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ１１であると判定する。次に、オブジェクトＡ６～Ａ９における速度Ｖ６～Ｖ９は画像領域Ｆ１において右から左へと向かっている。この場合、事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ４４であると判定する。同様に、画像領域において下から上へ向かうオブジェクト（図示しない）については、撮像面は基準面Ｙ３３であると判定する。このように、画面内の速度の向きとモデルＹ１０における基準面との関係を事前に定義しておくことにより、各オブジェクトの撮像面を推定することができる。

（記録制御部）
記録制御部１０２は、撮像面推定部１１５から入力される撮像面推定結果と、通信部１０１から入力される画像シーケンスの画像のデータとを関連付けて、データ記憶部１０３へ格納する。

（画像探索部）
画像探索部１２０は、外部機器３が設定した検索条件をインタフェース部１０４を介して受け付けて、設定された検索条件に合致するオブジェクト追跡履歴を検索する。図１に示されているように、画像探索部１２０は、検索部１２１、追跡履歴抽出部１２２、特徴量抽出部１２３、及び判定部１２４を備える。

（検索部）
検索部１２１は、記録制御部１０２を介して、データ記憶部１０３へアクセスし、検索条件に合致するオブジェクト追跡履歴を検索する。検索部１２１は、設定された検索条件に合致する複数のオブジェクト追跡履歴の候補を抽出する。この抽出は、撮像時間の範囲、オブジェクトが撮像されたカメラ等の１つ以上の条件を指定して行われる。検索部１２１は検索条件に合致するオブジェクト追跡履歴候補を、追跡履歴抽出部１２２に出力する。

（追跡履歴抽出部）
追跡履歴抽出部１２２は、検索部１２１から入力されるオブジェクト追跡履歴候補に含まれる複数のオブジェクト特徴量の値から、「オブジェクト特徴量変化有り」と判定されているデータを除いたオブジェクト特徴量の値を抽出する。すなわち、追跡履歴抽出部１２２は、オブジェクト特徴量の変化がないと判定された画像について、オブジェクト特徴量の値をオブジェクト追跡履歴候補から抽出する。また、追跡履歴抽出部１２２は、「オブジェクト特徴量変化無し」と判定されているデータに対して撮像面が同じであるオブジェクトの集合を作成し、作成した集合とオブジェクト追跡履歴とを追跡履歴抽出結果として特徴量抽出部１２３へ出力する。このように、オブジェクト特徴量の変化があると判定されたデータを除くことにより、オクルージョンが発生した画像のデータを用いないで、異なる領域を撮像するカメラにより撮像されたオブジェクト間の同一性の判定を行うことが可能となる。これにより、オブジェクト間の同一性の判定の精度が高められる。

（特徴量抽出部）
特徴量抽出部１２３は、追跡履歴抽出部１２２から入力される追跡履歴抽出結果を基に、記録制御部１０２を介してデータ記憶部１０３から追跡履歴抽出結果に該当するオブジェクトを含む画像のデータを抽出する。特徴量抽出部１２３は、撮像面が同じであるオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量を基に、その集合に対する１つの照合特徴量を生成し、判定部１２４へ出力する。したがって、各オブジェクト追跡履歴に対して、最大でモデルの撮像面と同じ数である４つの照合特徴量が判定部１２４へ出力される。ここで、画像特徴量には、公知のオブジェクト間の同一性判定技術に用いられる特徴量を用いることができる。例えば、色情報に関するヒストグラム、及び形状情報が挙げられる。また、照合特徴量を生成する際に、当該集合に含まれる画像特徴量に対して平均化等の処理を行って照合特徴量を生成してもよい。

（判定部）
判定部１２４は、特徴量抽出部１２３から入力される照合特徴量のうち、異なる撮像領域間において撮像面が同じであるオブジェクト追跡履歴同士を比較し、オブジェクト追跡履歴同士が互いに同一であるか否か判定を行う。オブジェクト間の同一性判定には、公知のオブジェクト間の同一性判定技術、例えばヒストグラムインターセクションを用いることができる。これ以外にも、例えば、機械学習（例えば、ディープラーニング、又はサポートベクターマシン）を用いて、同一オブジェクトか否かを判定してもよい。判定部１２４は、インタフェース部１０４を介して、外部機器３へ判定結果を出力する。

次に、図２Ａ及び図２Ｂを参照して、画像処理装置１００のハードウェア構成例について説明する。図２Ａおよび図２Ｂは、何れも画像処理装置１００のハードウェア構成例を示す図である。一例として、画像処理装置１００における通信部１０１、画像認識部１１０、記録制御部１０２、画像探索部１２０、及びインタフェース部１０４の各機能は、図２Ａに示されているような処理回路１００ａにより実現される。すなわち、画像処理装置１００は、上記各機能を実現するための処理回路１００ａを備える。別の例として、画像処理装置１００における通信部１０１、画像認識部１１０、記録制御部１０２、画像探索部１２０、及びインタフェース部１０４の各機能は、図２Ｂに示されているように、プロセッサ１００ｂがメモリ１００ｃに格納されているプログラムを読み出して実行することにより実現されてもよい。

（画像認識処理）
次に、画像処理装置１００の動作について説明する。まず、図７を参照して、画像処理装置１００により行われる画像認識処理について説明する。図７は、画像認識処理の動作を示すフローチャートである。

通信部１０１は、通信ネットワーク経由で接続される複数のカメラ１及び２で撮像された画像シーケンスを受信し（ステップＳＴ１）、受信した画像シーケンスを画像認識部１１０の検出部１１１へ出力する。

検出部１１１は、入力される画像シーケンスに現れるオブジェクトの検出を試みる（ステップＳＴ２）。検出部１１１は、オブジェクトを検出したか否かを判定する（ステップＳＴ３）。オブジェクトが検出されなかった場合（ステップＳＴ３：Ｎｏ）、処理はステップＳＴ１に戻る。一方、オブジェクトが検出された場合（ステップＳＴ４：Ｙｅｓ）、処理はステップＳＴ４へ進み、特徴量生成部１１２は、検出されたオブジェクトの撮像された時刻、外見特徴量、位置、検出範囲等のオブジェクト特徴量を生成し（ステップＳＴ４）、オブジェクト特徴量を追跡部１１３に出力する。

追跡部１１３は、過去のフレームのオブジェクト特徴量から、その過去のフレームに関連付けられた時刻よりも後の時刻において予測されるオブジェクト特徴量を生成する（ステップＳＴ５）。例えば、過去の時刻において観測されたオブジェクトの範囲から、その過去の時刻の直後の時刻において予測されるオブジェクトの範囲を生成する。追跡部１１３は、生成したオブジェクトの予測値と、予測値の時刻において観測されたオブジェクト特徴量とが、同一であるか判定を行う（ステップＳＴ６）。ステップＳＴ６において同一であると判定された場合、追跡部１１３は、観測されたオブジェクト特徴量に、同一であると判定された過去のフレームに付与されている追跡ＩＤを付与する（ステップＳＴ７）。ステップＳＴ６において同一でないと判定された場合、追跡部１１３は、過去の追跡ＩＤと重複しない一意な追跡ＩＤを観測されたオブジェクト特徴量に付与する（ステップＳＴ７）。追跡部１１３は、追跡ＩＤを付与した後、オブジェクト追跡履歴を含む追跡結果を特徴量変化検出部１１４へ出力する。

特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴からオブジェクト特徴量の変化の有無を検出し（ステップＳＴ８）、検出の結果を特徴量変化検出結果として撮像面推定部１１５へ出力する。

撮像面推定部１１５は、特徴量変化検出部１１４から入力される特徴量変化検出結果から撮像面を推定する（ステップＳＴ９）。

特徴量生成部１１２、追跡部１１３、特徴量変化検出部１１４、及び撮像面推定部１１５は、検出部１１１から入力された全てのオブジェクトに対して処理を行ったか否か判定を行う（ステップＳＴ１０）。全てのオブジェクトに対して処理を行っていない場合（ステップＳＴ１０：Ｎｏ）、処理はステップＳＴ４に戻る。一方、全てのオブジェクトに対して処理を行った場合（ステップＳＴ１０：Ｙｅｓ）、撮像面推定部１１５は、オブジェクト追跡履歴を含む撮像面推定結果を記録制御部１０２へ出力する（ステップＳＴ１１）。

記録制御部１０２は、撮像面推定部１１５から入力される撮像面推定結果と通信部１０１から入力される画像シーケンスの画像のデータとを関連付けて、データ記憶部１０３へ格納し（ステップＳＴ１２）、処理を終了する。

（画像探索処理）
次に、図８を参照して、画像処理装置１００により行われる画像探索処理について説明する。図８は画像探索処理の動作を示すフローチャートである。

インタフェース部１０４を介して外部機器３から検索条件が設定されると（ステップＳＴ２１）、検索部１２１は、設定された検索条件に合致する複数のオブジェクト追跡履歴候補を、記録制御部１０２を介してデータ記憶部１０３から抽出し（ステップＳＴ２２）、抽出したオブジェクト追跡履歴候補を追跡履歴抽出部１２２に出力する。

追跡履歴抽出部１２２は、検索部１２１から入力されるオブジェクト追跡履歴に含まれる複数のオブジェクト特徴量の値から、「特徴量変化有り」と判定されているデータを除いた複数のオブジェクト特徴量の値を抽出する（ステップＳＴ２３）。すなわち、追跡履歴抽出部１２２は、オブジェクト特徴量の変化がないと判定された画像についてオブジェクト特徴量の値をオブジェクト追跡履歴から抽出する。また、追跡履歴抽出部１２２は、「特徴量変化無し」と判定されているデータに対して、撮像面が同じであるオブジェクトの集合を作成し（ステップＳＴ２４）、作成した集合とオブジェクト追跡履歴とを追跡履歴抽出結果として特徴量抽出部１２３へ出力する。

特徴量抽出部１２３は、追跡履歴抽出部１２２から入力される追跡履歴抽出結果を基に、記録制御部１０２を介してデータ記憶部１０３から追跡履歴抽出結果に該当するオブジェクトを含む画像のデータを抽出する（ステップＳＴ２５）。特徴量抽出部１２３は、撮像面が同じであるオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量を基に、その集合に対する１つの照合特徴量を生成する（ステップＳＴ２６）。

判定部１２４は、ステップＳＴ２６で抽出された照合特徴量を比較することにより、異なる撮像領域間において撮像面が同じであるオブジェクト追跡履歴を比較する。これにより、判定部１２４は、異なる撮像領域で撮像されたオブジェクトが互いに同一であるか否か判定を行う（ステップＳＴ２７）。判定部１２４は、特徴量抽出部１２３から入力された全ての照合特徴量に対して処理を行ったか否か判定を行う（ステップＳＴ２８）。全ての照合特徴量に対して処理を行っていない場合（ステップＳＴ２８：Ｎｏ）、フローチャートはステップＳＴ２７の処理に戻る。一方、全ての照合特徴量に対して処理を行った場合（ステップＳＴ２８：Ｙｅｓ）、判定部１２４は判定結果を、インタフェース部１０４を介して外部機器３へ出力する（ステップＳＴ２９）し、処理を終了する。

（具体例）
図９は、実施の形態１に係る画像処理装置１００の画像認識処理の一例を示す図である。図９の場合、追跡部１１３は、領域Ｗ１を撮像した画像シーケンス内で、同一の特徴を有するオブジェクトＢ１～Ｂ４を追跡し、オブジェクト追跡履歴Ｒ１を生成する。同様に、追跡部１１３は領域Ｗ２を撮像した画像シーケンス内で、オブジェクトＣ１～Ｃ３を追跡し、オブジェクト追跡履歴Ｒ２を生成する。図９においてＢ又はＣの後に付された数字は、当該オブジェクトが異なる時刻で撮像されたことを示す。追跡履歴には、各撮像時刻におけるオブジェクト位置、オブジェクト速度、オブジェクト範囲に関する観測値及び予測値、追跡ＩＤ、特徴量変化検出結果、並びに撮像面推定結果が含まれる。

また、図１０Ａ及び図１０Ｂは、図９に対応する画像処理装置１００の画像認識結果の追跡処理において、オブジェクトとして追跡された人物を含む画像データ例を示す図である。図１０Ａがカメラ１により撮像された画像領域Ｇ１におけるオブジェクトＢの画像データ例を示し、図１０Ｂがカメラ２により撮像された画像領域Ｇ２におけるオブジェクトＣの画像データ例を示す。図１０Ａに示されているように、カメラ１の画像領域Ｇ１において、Ｂ１はオブジェクトＢの背面が、Ｂ２～Ｂ３はオブジェクトＢの左側面が撮像されていることを示す。また、図１０Ｂに示されているように、カメラ２の画像領域Ｇ２において、Ｃ１及びＣ２はオブジェクトＣの前面が、Ｃ３はオブジェクトＣの左側面が撮像されていることを示す。

図１０Ａに示すように、同一のオブジェクトＢを追跡した場合であっても、例えば障害物Ｕによって、オブジェクトＢ３の一部が隠れることがある。また、同一のオブジェクトを追跡した場合であっても、カメラの設置位置と人物の移動方向との相対的関係によって撮像面が変化し、撮像される内容が異なることがある。そのため、図１０Ａ、図１０Ｂでオブジェクトのうち各１つ画像のデータ（例えばＢ２とＣ２）を用いて比較した場合、ステップＳＴ２７の同一性判定精度が低下する。また、オブジェクト追跡履歴に関連付けられた複数の画像で構成されるクラスタから、クラスタ内に含まれる画像数が最大のクラスタから特徴量を抽出し同一性判定を行う場合、カメラ１についてはＢ２、Ｂ３及びＢ４が、カメラ２についてはＣ１及びＣ２から特徴量を抽出することになる。オブジェクトの特徴が撮像面によって変化する場合、カメラ１におけるオブジェクト追跡履歴Ｒ１とカメラ２におけるオブジェクト追跡履歴Ｒ２との間での同一性判定精度が低下する。また、オクルージョンが発生しているＢ３を用いて特徴量を抽出する場合も、同一性判定精度が低下する。

そこで、画像探索部１２０は、図１０のＧ１に含まれる各オブジェクトについて、例えば４つの撮像面（基準面）を定義し、特徴量変化無しの画像のデータについて、オブジェクトの撮像面ごとに特徴量を抽出する。具体的には、同一の撮像面を有するＢ４及びＢ２から１つの特徴量を、Ｂ１から１つの特徴量を抽出する。同様に、図１０のＧ２に含まれる各オブジェクトについて、同一の撮像面を有するＣ１及びＣ２から１つの特徴量を、Ｃ３から１つの特徴量を抽出する。判定部１２４は、異なる撮像領域において同一の撮像面を有する、Ｂ４及びＢ２から抽出された特徴量と、Ｃ３から抽出された特徴量とを比較することによって、同一性を判定する。これにより、同一性判定精度の低下を抑制することができる。すなわち、特徴量変化無しの画像のデータを用いることにより、オクルージョンが発生している画像のデータを排除できるので、同一性判定精度の低下を抑制することができる。また、撮像面ごとに特徴量を抽出することにより、撮像面が変化することによる特徴量の変化を回避できるので、同一性判定精度の低下を抑制することができる。

＜付記＞
以上で説明した実施形態の種々の側面の一部を、以下にてまとめる。

（付記１）
付記１の画像処理装置（１００）は、第１の領域（Ｗ１）を撮像した複数の画像を備える第１の画像シーケンスを解析して、第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクト（Ｂ１）を検出するとともに、第１の領域と異なる第２の領域（Ｗ２）を撮像した複数の画像を備える第２の画像シーケンスを解析して、第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクト（Ｃ１）を検出する検出部（１１１）と、第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部（１１２）と、第１のオブジェクトを第１のオブジェクト特徴量を用いて第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値（例えば、第１のオブジェクトの大きさの観測値）を含む追跡の結果を第１のオブジェクト追跡履歴（Ｒ１）として出力するとともに、第２のオブジェクトを第２のオブジェクト特徴量を用いて第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値（例えば、第２のオブジェクトの大きさの観測値）を含む追跡の結果を第２のオブジェクト追跡履歴（Ｒ２）として出力する追跡部（１１３）と、第１のオブジェクト追跡履歴から第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部（１１４）と、第１のオブジェクト特徴量の変化がないと判定された画像（Ｂ１、Ｂ２、及びＢ４の画像）について第１のオブジェクト特徴量の値を第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、第２のオブジェクト特徴量の変化がないと判定された画像（Ｃ１～Ｃ３の画像）について第２のオブジェクト特徴量の値を第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部（１２２）と、第１の追跡履歴抽出結果及び第２の追跡履歴抽出結果を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定する判定部（１２４）と、を備える。

（付記２）
付記２の画像処理装置は、付記１の画像処理装置であって、第１のオブジェクト追跡履歴から第１のオブジェクトの撮像面を推定して、推定された撮像面を第１の撮像面（Ｂ２及びＢ４の撮像面）として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクトの撮像面を推定して、推定された撮像面を第２の撮像面（Ｃ３の撮像面）として出力する撮像面推定部（１１５）と、第１のオブジェクトの第１の撮像面について第１の照合用特徴量を抽出するとともに、第２のオブジェクトの第２の撮像面について第２の照合用特徴量を抽出する特徴量抽出部（１２３）と、を更に備え、判定部は、第１の撮像面及び第２の撮像面が同一の撮像面である場合に、第１の照合用特徴量及び第２の照合用特徴量を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定する、
請求項１に記載の画像処理装置。

（付記３）
付記３の画像処理装置は、付記１又は２の画像処理装置であって、第１のオブジェクト追跡履歴は、ある関心時刻（例えば、ｔ３）で観測された第１のオブジェクト特徴量の観測値（例えば、Ｓ３）、及び関心時刻より前の過去の時刻（例えば、ｔ２）で観測された第１のオブジェクト特徴量の観測値（例えば、Ｓ２）に基づいて予測された関心時刻における第１のオブジェクト特徴量の予測値（例えば、Ｐ３）を含み、特徴量変化検出部は、関心時刻における第１のオブジェクト特徴量の観測値（Ｓ３）及び予測値（Ｐ３）に基づいて第１のオブジェクト特徴量の変化の有無を検出する。

（付記４）
付記４の画像処理装置は、付記１から３の何れか１つの画像処理装置であって、第１のオブジェクト追跡履歴は第１のオブジェクトの速度を含み、撮像面推定部は第１のオブジェクトの速度から第１の撮像面を推定する。

（付記５）
付記５の画像処理装置は、付記１から４の何れか１つの画像処理装置であって、特徴量抽出部は、同一の撮像面を有する第１のオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量に基づいて、その集合に対する第１の照合用特徴量を生成する。

（付記６）
付記６の画像処理方法は、画像処理装置が行う画像処理方法であって、検出部（１１１）が、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出するステップ（ＳＴ２）と、特徴量生成部（１１２）が、第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成するステップ（ＳＴ４）と、追跡部（１１３）が、第１のオブジェクトを第１のオブジェクト特徴量を用いて第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、第２のオブジェクトを第２のオブジェクト特徴量を用いて第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力するステップ（ＳＴ５～ＳＴ７）と、特徴量変化検出部（１１４）が、第１のオブジェクト追跡履歴から第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力するステップ（ＳＴ８）と、追跡履歴抽出部（１２２）が、第１のオブジェクト特徴量の変化がないと判定された画像について第１のオブジェクト特徴量の値を第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、第２のオブジェクト特徴量の変化がないと判定された画像について第２のオブジェクト特徴量の値を第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力するステップ（ＳＴ２３）と、判定部（１２４）が、第１の追跡履歴抽出結果及び第２の追跡履歴抽出結果を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定するステップ（ＳＴ２７）と、を備える。

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

本開示に係る画像処理装置は、オブジェクトの監視を行う画像処理システムにおいて用いることができる。

１ カメラ、２ カメラ、３ 外部機器、１００ 画像処理装置、１００ａ 処理回路、１００ｂ プロセッサ、１００ｃ メモリ、１０１ 通信部、１０２ 記録制御部、１０３ データ記憶部、１０４ インタフェース部、１１０ 画像認識部、１１１ 検出部、１１２ 特徴量生成部、１１３ 追跡部、１１４ 特徴量変化検出部、１１５ 撮像面推定部、１２０ 画像探索部、１２１ 検索部、１２２ 追跡履歴抽出部、１２３ 特徴量抽出部、１２４ 判定部、Ｓｙｓ 画像処理システム。

Claims (6)

1. 第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出する検出部と、
   前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部と、
   前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力する追跡部と、
   前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部と、
   前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部と、
   前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する判定部と、
   を備えた、画像処理装置。
2. 前記第１のオブジェクト追跡履歴から前記第１のオブジェクトの撮像面を推定して、推定された撮像面を第１の撮像面として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクトの撮像面を推定して、推定された撮像面を第２の撮像面として出力する撮像面推定部と、
   前記第１のオブジェクトの前記第１の撮像面について第１の照合用特徴量を抽出するとともに、前記第２のオブジェクトの前記第２の撮像面について第２の照合用特徴量を抽出する特徴量抽出部と、
   を更に備え、
   前記判定部は、前記第１の撮像面及び前記第２の撮像面が同一の撮像面である場合に、前記第１の照合用特徴量及び前記第２の照合用特徴量を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する、
   請求項１に記載の画像処理装置。
3. 前記第１のオブジェクト追跡履歴は、ある関心時刻で観測された前記第１のオブジェクト特徴量の観測値、及び前記関心時刻より前の過去の時刻で観測された前記第１のオブジェクト特徴量の観測値に基づいて予測された前記関心時刻における前記第１のオブジェクト特徴量の予測値を含み、
   前記特徴量変化検出部は、前記関心時刻における前記第１のオブジェクト特徴量の前記観測値及び前記予測値に基づいて前記第１のオブジェクト特徴量の変化の有無を検出する、
   請求項２に記載の画像処理装置。
4. 前記第１のオブジェクト追跡履歴は前記第１のオブジェクトの速度を含み、
   前記撮像面推定部は前記第１のオブジェクトの速度から前記第１の撮像面を推定する、
   請求項３に記載の画像処理装置。
5. 前記特徴量抽出部は、同一の撮像面を有する前記第１のオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量に基づいて、その集合に対する前記第１の照合用特徴量を生成する、
   請求項２から４の何れか１項に記載の画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   検出部が、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出するステップと、
   特徴量生成部が、前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成するステップと、
   追跡部が、前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力するステップと、
   特徴量変化検出部が、前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力するステップと、
   追跡履歴抽出部が、前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力するステップと、
   判定部が、前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定するステップと、
   を備えた画像処理方法。

Images