以下、図面を参照して、本発明の実施形態について説明する。
図1及び図2を参照して、本実施形態に係る映像検索システムの概略について説明する。図1は、本実施形態に係る映像検索システムの構成を示すブロック図である。図1に示すように、映像検索システムは、カメラ1、画像処理装置10及び映像検索装置50を含む。
カメラ1は、各種映像を撮影する機能を有する。ここで、図2は、図1に示すカメラ1が設置される例えば店舗フロアを示す図である。図2に示すように、カメラ1は、例えば店舗フロア2のような一定範囲内に複数設置される。また、カメラ1は、当該カメラ1の監視範囲3内において、当該監視範囲3内に存在する対象物(例えば、人)4を含む画像を撮影する。
本実施形態に係る映像検索システムにおいては、図2に示すような例えば店舗フロア2に設置されている複数のカメラ1間を移動(スルー)する対象物4に対する検索処理が実行される。
画像処理装置10は、カメラ1の各々に接続されている。画像処理装置10は、カメラ1によって撮影された映像データ(以下、単に映像と表記)を入力する。この映像は、例えば複数の画像データ(以下、単に画像と表記)により構成される。また、映像には、例えば音声データ等が含まれる。画像処理装置10は、入力された映像を例えばネットワーク20を介して、映像検索装置50に対して送信する。
映像検索装置50は、画像処理装置10の各々と例えばネットワーク20を介して接続されている。映像検索装置50は、画像処理装置10によって送信された映像を、ネットワーク20を介して受信する。映像検索装置50は、受信された映像を蓄積する。また、映像検索装置50は、蓄積された映像から、例えば上記した複数のカメラ1間を移動(スルー)した特定の対象物を含む映像(を構成する画像)を検索する。
図3は、図1に示す画像処理装置10の主として機能構成を示すブロック図である。なお、映像検索システムに含まれる複数の画像処理装置10は同様の構成であるため、以下、1つの画像処理装置10について説明する。図3に示すように、画像処理装置10は、入力部11、画像切り出し部12、メタデータ生成部13及び送信部14を含む。
入力部11は、画像処理装置10に接続されているカメラ1によって撮影された映像(データ)を入力する。なお、この入力部11によって撮影された映像には、対象物(例えば、人)4が含まれている(映っている)。
画像切り出し部12は、入力部11によって入力された映像を構成する画像において、当該画像に含まれる対象物4の領域(画像)を切り出す。
メタデータ生成部13は、画像切り出し部12によって切り出された画像に対して画像処理を行うことによりメタデータを生成する機能を有する。メタデータ生成部13は、画像切り出し部12によって切り出された画像を解析する。メタデータ生成部13は、解析された画像に含まれる対象物4を特徴付ける属性を示すメタデータ(以下、対象物4に関するメタデータと表記)を生成する。この対象物4に関するメタデータには、例えば対象物4に関する色情報または輝度情報等が含まれる。メタデータ生成部55によって生成されたメタデータは、当該メタデータの生成に用いられた画像に付与される。また、1つの対象物4に対して複数のメタデータが生成された場合には、当該複数のメタデータを1つに纏めて(コード化することで)情報パターンとして扱う。
ここで、メタデータ生成部13によって生成されるメタデータの具体例について説明する。例えば解析された画像に含まれる対象物4が人である場合、メタデータ生成部13によって生成されるメタデータには、例えば顔の特徴、髪の毛の色・髪型・髪の長さ・髪の編み方、頭の形、服の色・タイプ、靴のタイプ・色、鞄・紙袋等の持ち物の種類・色・形、体系、姿勢、身長または耳の形等が含まれる。
例えば解析された画像に含まれる対象物4が車の場合、メタデータ生成部13によって生成されるメタデータには、色、車のタイプ、メーカーのエンブレム、ボディーの形状、タイヤの形状、ホイールのタイプ、ライトの形、ガラスの形またはエンジンの音等が含まれる。
例えば解析された画像に含まれる対象物4が動物の場合、メタデータ生成部13によって生成されるメタデータには、顔の形、耳の形、体の色、毛の生え方、足の数、体の形または泣き声等が含まれる。
例えば解析された画像に含まれる対象物4が風景の場合、メタデータ生成部13によって生成されるメタデータには、画像における色の配置パターン、空、海、川、土、雲、花、木または森の色・配置等が含まれる。
また、例えば解析された画像に含まれる対象物4が乗り物の場合、メタデータ生成部13によって生成されるメタデータには、色、ボディーの形状、タイヤの数、ガラスの形、ハンドルの形またはマフラーの形等が含まれる。
送信部14は、メタデータが付与された画像から構成される映像を、ネットワーク20を介して映像検索装置50に送信する。
図4は、図1に示す映像検索装置50の主として機能構成を示すブロック図である。映像検索装置50は、受信部51、映像蓄積処理部52、映像蓄積部53、検索条件入力部54、メタデータ生成部55、検索処理部56、検索結果出力部57及び検索オプション設定部58を含む。
受信部51は、画像処理装置10(に含まれる送信部14)によって送信された映像(画像)を受信する。なお、受信部51は、映像検索システムに含まれる複数の画像処理装置10の各々から送信された映像を受信する。
映像蓄積処理部52は、受信部51によって受信された映像を映像蓄積部53に蓄積(格納)する処理を実行する。このとき、映像蓄積処理部52は、受信部51によって受信された映像を、当該映像を撮影したカメラ1毎(当該映像を送信した画像処理装置10毎)に映像蓄積部53に蓄積する。また、映像蓄積処理部52は、受信部51によって受信された映像(画像)を時系列的に蓄積する。
検索条件入力部54は、例えば映像検索装置50を利用するユーザによって指定された対象物(以下、検索対象物と表記)4を含む画像を検索するための検索条件を入力する。また、この検索条件は、例えばリアルタイムに特定の対象物4を追跡する場合には、当該対象物4を指定して自動的に入力されてもよい。この検索条件には、例えば検索対象物4を特徴付ける属性を示す属性情報(メタデータ)またはサンプル画像等が含まれる。
メタデータ生成部55は、映像蓄積部53に蓄積された映像を構成する画像に対して画像処理を行うことによりメタデータを生成する機能を有する。メタデータ生成部55は、映像蓄積部53に蓄積された映像を構成する画像を解析する。メタデータ生成部55は、解析された画像に含まれる対象物(例えば、人)4を特徴付ける属性を示すメタデータを生成する。このメタデータ生成部55によって生成されたメタデータは、例えば当該メタデータの生成に用いられた画像に付与される。
なお、上記したように画像処理装置10には、メタデータ生成部55と同様の機能を有するメタデータ生成部13が含まれる。本実施形態においては、例えば画像処理装置10側で映像に事前にメタデータを付与しておく場合と、映像検索装置50側でメタデータを生成して検索する場合が考えられる。このため、上記したように画像処理装置10のメタデータ生成部13によってメタデータが生成される構成でもよいし、映像検索装置50のメタデータ生成部55によってメタデータが生成される構成でもよい。
以下、本実施形態においては、映像検索装置50のメタデータ生成部55によってメタデータが生成され、映像蓄積部53に対する検索処理が実行される場合について説明する。
検索処理部56は、検索条件入力部54によって入力された検索条件及びメタデータ生成部55によって生成されたメタデータに基づいて、当該検索条件に合致する画像(映像)を検索する処理を実行する。つまり、検索処理部56は、ユーザによって指定された検索対象物4を含む画像(映像)を映像蓄積部53から検索する。
検索処理部56は、検索された画像(映像)全体から、検索対象物4に関するメタデータを収集する。つまり、検索処理部56は、検索された画像の各々に付与されている検索対象物4に関するメタデータを収集する。検索処理部56は、収集されたメタデータに基づいて、検索対象物4が含まれる画像を検索する。すなわち、検索処理部56は、収集されたメタデータ及びメタデータ生成部55によって生成されたメタデータを比較することにより、ユーザによって指定された検索対象物4の同定(照合)処理を実行する。このように、検索された映像全体からメタデータを収集し、当該メタデータに基づいて検索処理を実行することにより検索性能を向上させる。
検索処理部56は、検索された画像において、当該画像に含まれる検索対象物4に対する隠蔽(重なり)の発生を検知する。つまり、検索処理部56は、検索された画像に含まれる検索対象物4が、当該画像に含まれる他の対象物と重なっていることを検知する。以下、検索対象物4に対する隠蔽が発生した画像を隠蔽発生画像と称する。検索処理部56は、検索対象物4に関するメタデータに基づいて隠蔽の発生を検知する。
検索処理部56は、検索対象物4に対する隠蔽の発生が検知された場合、時系列的に隠蔽発生画像の前後の画像であって、当該検索対象物4に対する隠蔽の発生がない画像を検索する。
検索処理部56は、検索された画像(映像)を、検索条件入力部54によって入力された検索条件に対する検索結果として検索結果出力部57に渡す。
検索結果出力部57は、検索処理部56から渡された検索結果を、例えばユーザに対して出力する。また、検索結果出力部57は、検索処理部56によって検索された隠蔽発生画像の前後の画像の間の画像を連続して(つないで)例えばユーザに対して出力(表示)する。
検索オプション設定部58は、例えばユーザの操作に応じて、映像蓄積部53に蓄積された映像を構成する画像を検索する際の、当該検索に関する条件を設定(指定)する。この検索に関する条件には、例えば検索速度及び検索精度に関する条件が含まれる。この検索に関する条件が設定されることにより、例えば検索処理部56による検索の検索速度を設定することができる。
次に、図5のフローチャートを参照して、上記した映像検索装置50における検索処理の処理手順について説明する。なお、画像に含まれる対象物4に関するメタデータは、上記したように映像検索装置50側(のメタデータ生成部55)で生成されるものとして説明する。
まず、受信部51は、画像処理装置10の送信部14によって送信された映像(データ)を受信する(ステップS11)。
映像蓄積処理部52は、受信部51によって受信された映像を映像蓄積部53に蓄積する(ステップS12)。
検索条件入力部54は、例えばユーザによって指定された対象物(検索対象物)4を含む画像を検索するための検索条件を入力する(ステップS13)。この検索条件には、例えば検索対象物4に関するメタデータまたはサンプル画像等が含まれる。
検索条件入力部54によって検索条件が入力されると、メタデータ生成部55は、映像蓄積部53に蓄積された映像を構成する画像に含まれる対象物4のメタデータを生成する(ステップS14)。メタデータ生成部55によって生成されたメタデータは、当該メタデータの生成に用いられた画像(対象物4が含まれる画像)に付与される。このメタデータ生成処理は、映像蓄積部53に蓄積された映像を構成する画像の各々に対して実行される。
検索処理部56は、検索条件入力部54によって入力された検索条件及びメタデータ生成部55によって生成されたメタデータに基づいて、検索対象物4が含まれる画像(映像)を検索する(ステップS15)。
検索処理においては、例えば検索条件に含まれるメタデータ(特徴量)及びメタデータ生成部55によって生成されたメタデータ(特徴量)に基づいて、画像(に含まれる対象物4)間の類似度演算が行われる。ここで、特徴量とは、メタデータを数値化したものである。換言すると、メタデータは、人間が言葉による扱いができる特徴量であり、当該特徴量をメタデータとして扱わず、数値としてのみ利用する場合は、特徴量という文言で表現される。検索処理部56は、例えば演算された類似度に応じて、検索対象物4が含まれている画像を検索する。
次に、検索処理部56は、検索された画像(映像)全体から、検索対象物4に関するメタデータを収集する(ステップS14)。この検索対象物4に関するメタデータは、検索された画像(検索対象物4を含む画像)に付与されている。
検索処理部56は、収集されたメタデータに基づいて、検索対象物4が含まれる画像(映像)を映像蓄積部53から検索する(ステップS17)。これにより、例えば検索条件に含まれる検索対象物4に関するメタデータ(属性情報)より多くの情報(メタデータ)を用いることで検索性能を向上できる。
次に、図6のフローチャートを参照して、上記した映像検索装置50において検索された画像において隠蔽が発生した場合の処理手順について説明する。
まず、上記した図5のステップS11〜ステップS15の処理に相当するステップS21〜ステップS25の処理が実行される。
次に、検索処理部56は、検索された画像に含まれる検索対象物4に対する隠蔽の発生を検知する(ステップS26)。このとき、検索処理部56は、検索された画像に付与されている検索対象物4に関するメタデータに基づいて、隠蔽の発生を検知する。検索処理部56は、例えば隠蔽が発生するよりも前の時刻で得られる検索対象物4の全体画像(全身画像)と、検索された画像に含まれる検索対象物4の形状を比較することで隠蔽の発生を検知する。この検索対象物4の形状等は、メタデータ生成部55によって生成された検索対象物4に関するメタデータに含まれる。また、検索処理部56は、検索対象物4に関するメタデータに含まれる輝度情報または色情報に基づいて、隠蔽の発生を検知する。具体的には、例えば検索された画像の1つ前のフレーム(画像)に映っていた特定の色の服を着た人(検索対象物4)の一部のみが次のフレーム(つまり、検索された画像)で見えていたような場合には、検索対象物4に対する隠蔽の発生が検知される。
検索処理部56は、検索対象物4に対する隠蔽の発生が検知された場合、当該隠蔽の発生が検知された画像(隠蔽発生画像)に対して時系列的に前後の画像(映像)を検索する(ステップS27)。この場合、検索処理部56は、検索対象物4が含まれる画像であって、当該検索対象物4に対する隠蔽が発生していない画像を検索する。
検索処理部56は、検索された前後の画像に含まれる検索対象物4に関するメタデータを取得する(ステップS28)。この前後の画像は、検索対象物4に対する隠蔽が発生していない画像であるため、より多くの検索対象物4に関するメタデータを取得することができる。
検索処理部56は、取得された検索対象物4に関するメタデータに基づいて、当該検索対象物4が含まれる画像(映像)を映像蓄積部53から検索する(ステップS29)。
検索結果出力部57は、検索された画像(映像)を、検索条件入力部54によって入力された検索条件に対する検索結果としてユーザに対して出力する(ステップS30)。また、検索結果出力部57は、上記したステップS27において検索された前後の画像の間の画像を連続した映像としてユーザに対して出力する。これにより、例えば隠蔽発生画像から検索対象物4の情報(メタデータ)を得ることができない場合でも、検索の連続性を確保し、検索性能を高めることができる。
次に、図7のフローチャートを参照して、検索オプションを設定する処理手順について説明する。
まず、検索オプション設定部58は、例えばユーザの操作に応じて、映像蓄積部53に蓄積された映像(を構成する画像)を検索する際の、当該検索に関する条件(検索オプション)を設定する(ステップS31)。この検索オプションには、例えば検索速度または検索精度に関する条件が含まれる。
ここで、上記したような検索処理を実行する場合、検索すべきシーン(画像)により処理に使用する情報が異なる。更に、検索精度を高くしようとすると検索速度は低下する。そこで、上記した検索オプションでは、ユーザの操作に応じて、例えば検索処理において用いられる複数用意された特徴量(メタデータ)の組合せや参照する情報の順序が設定される。つまり、ユーザは、検索対象の指定、検索に用いる情報(メタデータ)の選択、組合せの指定及び検索精度の指定等を行うことができる。これにより、ユーザは、検索速度及び検索精度を個別に指定することができる。
検索オプション設定部58により検索オプションが設定された場合には、検索処理部56は、当該検索オプションに応じて検索処理を実行する(ステップS32)。
上記したように本実施形態においては、例えば検索対象物4が含まれる画像(映像)を検索する場合、当該映像蓄積部53に格納された映像全体から検索対象物4に関するメタデータを収集し、当該収集されたメタデータを用いて検索処理を行うことで、例えば検索条件入力部54によって入力された検索条件に含まれる情報より多くの情報を用いて検索を行うことが可能となる。これにより、検索性能を向上させることができる。
また、本実施形態においては、映像蓄積部53に対する検索処理において、例えば画像に含まれる検索対象物4が他の物(対象物)による一時的な隠蔽が発生し、ある瞬間の画像から検索対象物4に関するメタデータを得ることができない場合、当該検索対象物4の隠蔽が発生する前の時刻の画像(映像)または隠蔽が発生しなくなった後の時刻の画像(映像)を探索・処理することで、検索対象物の継続的な検索を実現できる。これにより、隠蔽が発生した画像(映像)に対して無理な検索を行うことなく、画像内の情報(メタデータ)を効率的に取得できる。また、前後の画像の間の画像を連続して出力することで、連続性を確保し、検索性能を向上させることができる。
また、本実施形態においては、ユーザが検索に関する条件(検索オプション)を指定することができるため、結果として、例えば倍速機能が実現される。これにより、ユーザの意図に応じた検索を実行することができる。
つまり、上記したように本実施形態においては、複数のカメラ1により撮影された画像(映像)を効率的に検索することが可能となる。
なお、蓄積映像だけでなくリアルタイム映像に対しても処理できる仕組みを導入することで、例えば店舗等に設置された複数のカメラ1間に映っている人を連続的に検索することも可能である。
[第1の変形例]
次に、図8を参照して、本実施形態の第1の変形例について説明する。本変形例に係る映像検索システムの構成は、前述した本実施形態の構成と同様であるため、図1〜図4を用いて説明する。
本変形例に係る映像検索装置50に含まれる検索処理部56は、例えば検索条件入力部54によって入力された検索条件及びメタデータ生成部55によって生成されたメタデータに基づいて、当該検索条件に合致する画像(映像)を検索する。つまり、検索処理部56は、ユーザによって指定された検索対象物4を含む画像(映像)を映像蓄積部53から検索する。
検索処理部56は、検索された画像に含まれる検索対象物4に対する隠蔽(重なり)の発生を検知する。検索処理部56は、例えば検索された画像に付与されている検索対象物4に関するメタデータに基づいて隠蔽の発生を検知する。
検索処理部56は、検索対象物4に対する隠蔽の発生が検知された場合、当該隠蔽の発生が検知された画像(隠蔽発生画像)をスキップする。検索処理部56は、映像蓄積部53に蓄積された映像を構成する画像のうち、当該検索対象物4に対する隠蔽の発生がない画像を検索する。検索処理部56は、検索された検索対象物4に対する隠蔽の発生がない(隠蔽の発生が検知されていない)画像に含まれる検索対象物4に関するメタデータを取得する。検索処理部56は、取得された検索対象物4に関するメタデータに基づいて、検索対象物4が含まれる画像を検索する。つまり、検索処理部56は、上記した検索対象物4の同定(照合)処理を実行する。
次に、図8のフローチャートを参照して、本変形例に係る映像検索装置50の処理手順について説明する。
まず、前述した図6のステップS21〜ステップS26の処理に相当するステップS41〜ステップS46の処理が実行される。
次に、検索処理部56は、検索対象物4に対する隠蔽の発生が検知された場合、検索対象物4に対する隠蔽の発生が検知された画像(隠蔽発生画像)をスキップする(ステップS47)。
検索処理部56は、隠蔽発生画像がスキップされると、検索対象物4に対する隠蔽の発生がない画像を検索する(ステップS48)。検索処理部56は、検索条件入力部54によって入力された検索条件及びメタデータ生成部55によって生成されたメタデータに基づいて、映像蓄積部53から画像を検索する。なお、検索対象物4に対する隠蔽の発生がない画像とは、例えば隠蔽発生画像に対して時系列的に前または後の画像であって、当該検索対象物4の全体(全身)が見える画像である。
検索処理部56は、検索された検索対象物4に対する隠蔽が発生していない画像に付加されている検索対象物4に関するメタデータを取得する(ステップS49)。この場合、取得されたメタデータは隠蔽が発生していない検索対象物4に関するメタデータであるため、検索処理部56は、例えば隠蔽発生画像に付与されている検索対象物4に関するメタデータと比べてより多くの情報(メタデータ)を取得できる。
検索処理部56は、取得されたメタデータに基づいて、検索対象物4の同定処理を実行することで、当該検索対象物4を含む画像を検索する(ステップS50)。
検索処理部56によって検索された画像は、検索結果出力57により、例えばユーザに対して出力される。
上記したように本変形例においては、検索処理において検索対象物4に対する隠蔽(重なり)の発生が検知された場合、当該隠蔽の発生が検知された画像(隠蔽発生画像)をスキップし、例えば当該検索対象物4に対する隠蔽の発生がない画像(例えば、隠蔽発生画像の前または後の検索対象物4の全体が見える画像)に付与されている検索対象物4に関するメタデータを取得する。本変形例においては、隠蔽の発生がない画像から取得されたメタデータを基に、検索対象物4の同定が実行される。
このように、本変形例においては、検索対象物4に対する隠蔽(重なり)が少ない画像を積極的に探索してから検索を行うことで、例えば無駄な映像のスキップに基づく高速検索を実現することが可能となる。したがって、本変形例においては、例えば複数のカメラ1により撮影された映像(画像)を効率的に検索することが可能となる。
[第2の変形例]
次に、図9を参照して、本実施形態の第2の変形例について説明する。図9は、本変形例に係る画像処理装置100の主として機能構成を示すブロック図である。なお、前述した図3と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図3と異なる部分について主に述べる。
図9に示すように、画像処理装置100は、補正情報格納部101及びカラー画像処理部102を含む。
補正情報格納部101には、例えば複数のカメラ1の各々の特性によって生じる色(色彩)の個体差を補正するための補正情報が予め格納されている。この補正情報は、例えば複数のカメラ1毎に基準となる色のチェッカーボードを予め撮影し、この撮影されたチェッカーボード(の画像)を用いて生成される。
カラー画像処理部102は、画像切り出し部12によって切り出された画像に対して、カラー画像処理を実行する。カラー画像処理部102は、例えば画像切り出し部12によって切り出された画像(対象物4)に対する光源の影響を除去する処理を実行する。
カラー画像処理部102は、上記した補正情報を生成する機能を有する。カラー画像処理部102は、生成された補正情報を補正情報格納部14に格納する。
カラー画像処理部102は、補正情報格納部14に格納されている補正情報に基づいて、画像切り出し部12によって切り出された画像に生じる個体差を吸収(補正)する色キャリブレーションを行う。
次に、図10のフローチャートを参照して、上記したカラー画像処理の処理手順について説明する。
まず、画像処理装置100の入力部11は、当該画像処理装置100に接続されているカメラ1によって撮影された映像(データ)を入力する(ステップS51)。
画像切り出し部12は、入力部11によって入力された映像を構成する画像において、当該画像に含まれる対象物4の領域(画像)を切り出す(ステップS52)。
ここで、例えば複数のカメラ1の各々によって撮影される範囲を移動(スルー)することによって当該複数のカメラ1の各々によって撮影された映像に含まれる特定の対象物(例えば、人)4を検索する際に用いられるメタデータとしては、例えば当該特定の対象物4の服または髪の毛の色のような色情報が重要となる。しかしながら、例えば複数のカメラ1の各々によって撮影された映像(画像)を単純に画像処理した場合には、当該カメラ1が設置されている場所等に応じて光源の影響を受けた色情報が算出される。これにより、例えば同一の対象物(同一人物)の服または髪の毛の色が周囲の環境、時間帯、カメラ間で異なる色として算出され、色情報による対象物4の照合性能が低下する場合がある。
そこで、カラー画像処理部102は、画像切り出し部12によって切り出された画像に対して、カラー画像処理を実行する(ステップS53)。カラー画像処理部102は、例えば画像切り出し部12によって切り出された画像(対象物4)に対する光源の影響を除去する。
このカラー画像処理部102によってカラー画像処理された画像によって構成される映像は、例えば送信部14により映像検索装置50に対して送信される。送信部14によって送信された映像は、映像検索装置50の映像蓄積部53に蓄積される。
次に、映像検索装置50において、映像蓄積部53に蓄積された映像に対する検索処理が実行されるものとする。この場合、映像検索装置50のメタデータ生成部55は、映像蓄積部53に蓄積された映像を構成する画像を解析することによって、当該画像に含まれる対象物4の色情報を抽出する(ステップS54)。ここで、処理される画像は、上記したようにカラー画像処理されているため、抽出される色情報は、例えば光源の影響を受けておらず、物体固有の色が算出される。
メタデータ生成部55は、抽出された色情報を含む対象物4に関するメタデータを生成する(ステップS55)。ここで、上記したように例えば特定の対象物4に関するメタデータ(属性情報)としては服または髪の毛の色等が挙げられる。この場合、例えば1つの特定の対象物4に関するメタデータが複数生成された場合には、当該複数のメタデータを1つに纏めて(コード化することで)情報パターンとして扱う。
なお、本変形例においても、前述した本実施形態と同様に、映像検索装置50のメタデータ生成部55によってメタデータが生成されるものとして説明したが、前述したように画像処理装置100のメタデータ生成部13によって生成される構成であっても構わない。
検索処理部56は、メタデータ生成部55によって生成されたメタデータに基づいて、例えば複数のカメラ1の各々によって撮影された画像における対象物(検索対象物)4の同定処理を実行する(ステップS56)。
次に、図11のフローチャートを参照して、上記した色キャリブレーションの処理手順について説明する。
複数のカメラ1の各々は、例えば予め用意されている基準となる色のチェッカーボードを撮像(撮影)する(ステップS61)。この複数のカメラ1の各々によって撮像されたチェッカーボードの画像(映像)は、画像処理装置100の入力部11によって入力される。
カラー画像処理部102は、入力部11によって入力されたチェッカーボードの画像に対して、カラー画像処理を実行する。これにより、カラー画像処理部102は、チェッカーボードの色(情報)を算出する(ステップS62)。ここで算出された色情報は、チェッカーボードの固有色情報である。なお、算出されたチェッカーボードの固有色情報は、補正情報として補正情報格納部101に格納される。
ここで、例えば複数のカメラ1の各々によって撮影された映像が入力部11により入力された場合を想定する。この場合、カラー画像処理部102は、補正情報格納部101に格納されている補正情報に基づいて、入力部11によって入力された映像(を構成する画像)に対して色キャリブレーション(補正処理)を実行する(ステップS63)。これにより、複数のカメラ1の各々によって撮影された映像の各色を、固有色のレベルで同じ色に補正する。
カラー画像処理部102は、複数のカメラ1間において、色キャリブレーションが実行された映像(補正後の映像)の色を比較する(ステップS64)。
カラー画像処理部102は、比較した結果、複数のカメラ1間における色の誤差(色誤差)が例えば予め定められた範囲(一定範囲)内に収まることを確認する(ステップS65)。カラー画像処理部102によって複数のカメラ1間における色誤差が一定範囲内に収まることが確認されると、色キャリブレーション処理は終了される。
上記したように本変形例においては、複数のカメラ1の各々によって撮影された映像(画像)に対する光源の影響を除去するカラー画像処理を行い、当該画像に含まれる対象物4固有の色を算出し、本色をメタデータとして例えばそれぞれ異なるカメラ1によって撮影された映像(画像)に含まれる当該対象物(検索対象物)4の同定(照合)処理を実行することで、検索性能を高めることが可能となる。
また、本変形例においては、例えば基準となる色のチェッカーボードを用いて予め生成された補正情報に基づいて、複数のカメラ1毎の特性によって生じる色の個体差を吸収する色キャリブレーションが実行される。このように、複数のカメラ1の各々によって撮影された映像を色キャリブレーションが実行された映像に変換して、例えば特定の対象物(検索対象物)4の検索を実施することで検索性能を向上させることができる。
また、本変形例においては、例えば対象物4に関する複数のメタデータ(属性情報)を1つに纏めてコード化して情報パターンとして扱うことで、当該対象物4に対する検索処理においてメタデータ同士の比較計算が可能となり、複数のカメラ1の各々によって撮影された映像(画像)においても同一人物の同定(照合)が容易となる。
このように、本変形例においては、例えば複数のカメラ1により撮影された映像(画像)を効率的に検索することが可能となる。
[第3の変形例]
次に、図12を参照して、本実施形態の第3の変形例について説明する。図12は、本変形例に係る画像処理装置110の主として機能構成を示すブロック図である。なお、前述した図9と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図9と異なる部分について述べる。
図12に示すように、画像処理装置110は、合成画像生成部111を含む。合成画像生成部111は、画像切り出し部12によって切り出された対象物4の画像を複数収集する。この場合、合成画像生成部111は、例えば時系列的に対象物4の画像を収集する。この収集された複数の画像の各々には、例えばそれぞれ異なる視点からの同一の対象物4が含まれる。また、この収集された複数の画像は、同一のカメラ1によって撮影された画像である。
合成画像生成部111は、収集された複数の画像に基づいて、当該画像に含まれる対象物4を多視点から表す合成画像を生成する。
次に、図13のフローチャートを参照して、本変形例に係る映像検索システムの処理手順について説明する。なお、画像処理装置110に含まれるカラー画像処理部102の処理(例えば、前述した図10のステップS53の処理)については前述した第2の変形例と同様であるので、ここでは便宜的に省略する。
まず、前述した図10に示すステップS51及びステップS52の処理に相当するステップS71及びステップS72の処理が実行される。
ここで、本変形例においては、例えば店舗内に設置された複数のカメラ1によって撮影された映像(画像)を検索する場合、当該複数のカメラ1間で特定の対象物(例えば、人)4を追跡検索する場合を想定している。この場合、カメラ1と対象物4との位置関係により、対象物は異なる見え方をする。よって、単純に複数のカメラ1間で対象物4が同一であるかどうか照合(同定)することは困難である。つまり、複数のカメラ1において、同じ見え方をする映像(画像)が得られるとは限らないため、異なる見え方をする対象物4同士の照合が必要となる。
そこで、合成画像生成部111は、画像切り出し部12によって切り出された対象物4が含まれる画像を複数収集する(ステップS73)。合成画像生成部111は、複数のカメラ1のうち、例えば同一のカメラ1によって撮影された画像を時系列的に収集する。つまり、合成画像生成部111は、例えばそれぞれ異なる視点からの同一の対象物4の画像を収集する。
次に、合成画像生成部111は、収集された複数の画像に基づいて、当該画像に含まれる対象物4を多視点から表す合成画像を生成する(ステップS74)。例えば収集された画像に含まれる対象物4が人である場合には、合成画像生成部111は、多視点から見たときの人モデル画像(合成画像)を生成する。また、この合成画像は、例えば収集された複数の画像を撮影したカメラ1毎に生成される。
この合成画像生成部111によって生成された合成画像は、例えば送信部14により映像検索装置50に対して送信される。
映像検索装置50のメタデータ生成部55は、画像処理装置110の送信部14によって送信された合成画像を解析する。メタデータ生成部55は、解析結果に基づいて、例えばカメラ1毎に生成された合成画像によって表される対象物4に関するメタデータを生成する(ステップS75)。
なお、本変形例においても、前述した本実施形態と同様に、映像検索装置50のメタデータ生成部55によってメタデータが生成されるものとして説明したが、前述したように画像処理装置110のメタデータ生成部13によって生成される構成であっても構わない。
検索処理部56は、メタデータ生成部55によって生成されたメタデータに基づいて、例えば複数のカメラ1の各々によって撮影された画像における対象物(検索対象物)4の同定処理を実行する(ステップS76)。
ここで、複数のカメラ1が第1のカメラ1及び当該第1のカメラ1とは異なる第2のカメラ1を含むものとする。また、例えば第1のカメラ1によって撮影された画像(映像)から生成された合成画像を第1の合成画像、例えば第2のカメラ1によって撮影された画像(映像)から生成された合成画像を第2の合成画像とする。この場合、検索処理部56は、第1の合成画像を解析することによって生成されたメタデータ(第1のメタデータ)及び第2の合成画像を解析することによって生成されたメタデータ(第2のメタデータ)を比較することにより、当該第1の合成画像によって表される対象物4及び当該第2の合成画像によって表される対象物4を照合する。これにより、例えば第1のカメラ1及び第2のカメラ1の各々によって異なる見え方をする対象物4(の映像)が撮影された場合であっても、当該第1のカメラ1及び第2のカメラ1によって撮影された映像に含まれる対象物4同士の照合をすることが可能となる。
上記したように本変形例においては、各カメラ1の時系列画像から当該画像に含まれる対象物4を多視点から表す合成画像(例えば、人画像)を生成しておき、異なるカメラ1によって撮影された画像(映像)において比較が可能な画像(に含まれる対象物4)を照合する。このため、例えば複数のカメラ1において異なる見え方をする映像が撮影された場合であっても、当該映像に含まれる対象物4同士を照合することができる。よって本変形例においては、複数のカメラ1に渡って撮影された対象物4の継続検索性能を向上させることが可能となる。これにより、本変形例においては、複数のカメラ1により撮影された画像(映像)を効率的に検索することが可能となる。
なお、本願発明は、上記実施形態またはその各変形例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態またはその各変形例に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態またはその各変形例に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態またはその各変形例に亘る構成要素を適宜組合せてもよい。
1…カメラ、2…店舗フロア、3…監視範囲、4…対象物、10,100,110…画像処理装置、11…入力部、12…画像切り出し部、13…メタデータ生成部、14…送信部、20…ネットワーク、50…映像検索装置、51…受信部、52…映像蓄積処理部、53…映像蓄積部(格納手段)、54…検索条件入力部、55…メタデータ生成部、56…検索処理部、57…検索結果出力部、58…検索オプション設定部、101…補正情報格納部、102…カラー画像処理部、111…合成画像生成部。