JP6996252B2

JP6996252B2 - 撮像装置

Info

Publication number: JP6996252B2
Application number: JP2017224564A
Authority: JP
Inventors: 隆宏平松
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-11-22
Filing date: 2017-11-22
Publication date: 2022-01-17
Anticipated expiration: 2037-11-22
Also published as: JP2019097020A

Description

この発明は、監視対象領域を撮像する撮像装置に関するものである。

従来の撮像装置として、監視対象領域を撮像して得られた生画像データから人物の顔を検出し、当該生画像データから顔画像を切り出し、符号化して外部に送信するものがある（例えば、特許文献１参照）。

特許第４６２２３０１号公報

従来の撮像装置は、複数の人物の顔を検出した場合、顔画像の送信順序が規定されていないため、重要度の低い顔画像が先に送信されてしまうことがあるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、検出した所定の物体の画像を重要度の高い順序に送信できる撮像装置を得ることを目的とする。

この発明に係る撮像装置は、
監視対象領域を撮像し、生画像データを出力する撮像部と、
前記生画像データから所定の物体を検出し、検出した前記所定の物体のサイズ情報を出力する物体検出部と、
前記生画像データから前記物体検出部により検出された所定の物体の画像を切り出す画像切出部と、
同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体検出部から出力された当該画像に対応する物体のサイズ情報に基づき、サイズの大きい順に送信する送信部と、
前記物体検出部により検出された所定の物体が、当該物体検出部で初めて検出された初出時刻を出力する物体追跡部と
を備え、
前記送信部は、同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体追跡部から出力された当該画像に対応する物体の初出時刻に基づき、初出時刻の遅い画像を優先して送信し、かつ初出時刻が同時刻の複数の画像をサイズの大きい順に送信するものである。

この発明によれば、上記のように構成したので、監視対象領域を撮像する撮像装置において、検出した所定の物体の画像を重要度の高い順に送信できる。

この発明の実施の形態１及び実施の形態２に係る監視システム構成図である。この発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。この発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。この発明の実施の形態２に係る撮像装置における物体追跡部の動作の一例を示すフローチャートである。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る監視システム構成例を示す図である。
監視システムは、図１に示すように、監視対象領域を撮像する撮像装置１０、撮像装置１０が出力する画像を受信し画像処理を行う画像処理装置１１を備えており、撮像装置１０と画像処理装置１１とは、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークを介して接続される。図１では、監視対象領域に、人物１２Ａ、人物１２Ｂ及び人物１２Ｃが存在している。

撮像装置１０は図示しない設置者によって、撮像対象となる人物や車両など被写体を撮像可能な位置に設置される。画像処理装置１１が行う画像処理としては、例えば、画像に映っている人物の顔の特徴を算出し、特定の人物であるか否かを判断する顔認証等が挙げられる。図１では、撮像装置１０は、人物１２Ａ、人物１２Ｂ及び人物１２Ｃを撮像している。ここで、人物１２Ａ、人物１２Ｂ及び人物１２Ｃは、いずれも撮像装置１０の方向を向いており、立ち止まっている、または、図中左から右に（すなわち撮像装置１０の方向に）向かって移動しているものとする。

図２は、この発明の実施の形態１に係る撮像装置１０の構成の一例を示すブロック図である。
図２に示すように、撮像装置１０は、集光部１０１、受光部１０２、物体検出部１０３、画像切出部１０４、符号化部１０５及び送信部１０６を備える。集光部１０１と受光部１０２とは、撮像部を構成する。

集光部１０１は、撮像対象の人物や車両などが発する、または、反射する光を集光し、受光部１０２に出力するものである。

受光部１０２は、集光部１０１から出力された光を、電気信号である非圧縮画像データ（生画像データ）に変換し、毎秒あたり所定の枚数の生画像データを、物体検出部１０３及び画像切出部１０４に出力するものである。

物体検出部１０３は、受光部１０２から出力された生画像データから、人物の顔など特定の物体を検出し、物体の生画像データ内での位置を示す座標情報（位置情報）及び物体の大きさを示す情報（サイズ情報）を、画像切出部１０４及び送信部１０６に出力するものである。

画像切出部１０４は、物体検出部１０３から出力された物体の生画像データ内での位置を示す座標情報と大きさの情報に基づき、受光部１０２から出力された生画像データから、物体検出部１０３が検出した物体を示す画像領域を切り出し、切り出した切出画像を、符号化部１０５に出力するものである。

符号化部１０５は、画像切出部１０４から出力された切出画像を符号化し、符号化された符号化画像を、送信部１０６に出力するものである。

送信部１０６は、符号化部１０５から出力された符号化画像を、当該符号化画像のサイズに基づき、図示しないネットワークを介して、画像処理装置１１に出力するものである。

物体検出部１０３及び画像切出部１０４の各機能は、不揮発性メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）または専用のハードウェアにより実現される。

物体検出部１０３及び画像切出部１０４の各機能が専用のハードウェアにより実現される場合、当該の専用のハードウェアは、例えば、システムＬＳＩ（Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはこれらを組み合わせたものが該当する。

物体検出部１０３及び画像切出部１０４の各機能がＣＰＵにより実現される場合、物体検出部１０３及び画像切出部１０４の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、物体検出部１０３及び画像切出部１０４の各機能は、不揮発性メモリに記録されたプログラムを読み出してメモリに割り当てて実行するＣＰＵにより実現される。ここで、メモリとは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、不揮発性メモリとは、例えば、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等が該当する。

なお、物体検出部１０３及び画像切出部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、物体検出部１０３については専用のハードウェアでその機能を実現し、画像切出部１０４についてはＣＰＵが不揮発性メモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

集光部１０１は、例えば、レンズにより実現される。
受光部１０２は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により実現される。
符号化部１０５は、例えば、ＦＰＧＡ及び映像処理ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）により実現される。
送信部１０６は、例えば、ＦＰＧＡ及びネットワークインタフェースＩＣにより実現される。

次に、撮像装置１０の基本的な動作について、図２を参照しながら説明する。
集光部１０１は人物１２Ａ、人物１２Ｂ及び人物１２Ｃが反射する光を集光し受光部１０２に出力する。受光部１０２は集光部１０１から出力された光を電気信号に変換し、量子化などの処理を行い、ある時刻に撮像されたＹＣｂＣｒ形式などの生画像データとして、物体検出部１０３及び画像切出部１０４に出力する。

物体検出部１０３は所定の画像処理により、受光部１０２から出力された生画像データから、人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を検出し、検出した顔の各々に対し固有の識別情報（ＩＤ）を付与するとともに、受光部１０２から出力された生画像データ内の位置を示す座標情報及び顔の大きさを示す情報（メタデータ）を、画像切出部１０４及び送信部１０６に出力する。表１に、物体検出部１０３が画像切出部１０４に出力するメタデータの一例を示す。

表１の例では、物体検出部１０３は、横位置２００、縦位置５００の座標（生画像データ内の位置を示す座標情報）に検出された横幅３０、縦幅５０（顔の大きさを示す情報）の顔に、ＩＤ１０００１を付与する。同様に、物体検出部１０３は、横位置４５０、縦位置８００の座標に検出された横幅４０、縦幅６０の顔に、ＩＤ１０００２を付与し、横位置７００、縦位置３００の座標に検出された横幅３５、縦幅５５の顔に、ＩＤ１０００３を付与する。

画像切出部１０４は、物体検出部１０３から出力された人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔の生画像データ内での位置を示す座標情報と顔の大きさを示す情報とに基づき、受光部１０２から出力された生画像データから、物体検出部１０３が検出した人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を示す画像領域を切り出し、切り出した切出画像を、それぞれ符号化部１０５に出力する。

符号化部１０５は、画像切出部１０４から出力された各切出画像を符号化し、符号化された符号化顔画像を、送信部１０６に出力する。

送信部１０６は、符号化部１０５から出力された符号化顔画像について、物体検出部１０３からのメタデータに基づき、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００３、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。この際、符号化顔画像と共に、ＩＤ、横位置、縦位置、横幅、縦幅のそれぞれの情報を送信しても良い。ＩＤ、横位置、縦位置、横幅、縦幅のそれぞれの情報を送信する手段としては、符号化顔画像のヘッダ領域に含めて送信しても良いし、ＲＴＰのヘッダ領域に含めて送信しても良いし、符号化顔画像とは別のストリームや別のプロトコルで送信しても良い。これにより、たとえば、画像処理装置１１における、監視対象領域上の各人物の位置の推定を支援することが可能となる。

画像処理装置１１は、送信部１０６が送信する符号化画像のそれぞれを画像サイズ（横幅×縦幅）の大きさが大きい順で受信し、受信した順に、特定の人物であるか否かを判断する顔認証等の画像処理を行う。

このように、本実施の形態に係る撮像装置は、同時刻に撮像された生画像データから切り出された複数の切出画像について、切出画像のサイズの大きさが大きい順で、外部に出力するように構成したので、撮像装置は、撮像装置の近くにいる可能性の高い人物、すなわち重要度の高い人物の顔から順に符号化顔画像を送信することが可能となり、画像処理装置１１は、撮像装置の近くにいる可能性の高い人物の顔から順に、符号化顔画像の画像処理を行うことが可能となる。

なお、本実施の形態１では、送信部１０６は、符号化画像を送信する際、符号化画像を送信する都度ＲＴＰヘッダに含まれるタイムスタンプの値に対して所定の値を加算するようにしてもよい。ＲＦＣ（ＲｅｑｕｅｓｔＦｏｒＣｏｍｍｅｎｔ）２４３５では、ＲＴＰヘッダに３２ビット整数の画像の生成タイミングを表すタイムスタンプを含むことと、ＪＰＥＧを送る場合のタイムスタンプは９００００ヘルツであることとが規定されているので、例えば毎秒５回画像を送信する場合、通常は、ある時刻に撮像された生画像データから切り出された符号化画像に付与されるタイムスタンプは、すべて同じ値となり、０．２秒後に撮像された生画像データから切り出された符号化画像に付与されるタイムスタンプは、すべて１８０００だけ加算された値となるところ、ある時刻に撮像された生画像データから切り出された符号化画像について、画像の送信する順に、タイムスタンプを昇順で付与する。たとえば、３枚の符号化顔画像が撮像された時刻を２０１７年１１月１１日１１時１１分１１秒とし、最初に送信するＩＤ１０００２の符号化画像にタイムスタンプの値として２００００００を付与したとすると、ＩＤ１０００３の符号化画像にタイムスタンプの値として２０００００１を、ＩＤ１０００１の符号化画像にタイムスタンプの値として２０００００２を付与する。さらに、続いて２０１７年１１月１１日１１時１１分１１．２秒に撮像された生画像データに顔を検出した場合、画像サイズの大きさが最も大きい符号化画像にタイムスタンプの値として２０１８０００を付与して送信する。これにより、図示しないネットワークを介する過程で符号化画像の伝送される順序が入れ替わったとしても、画像処理装置１１は、ＲＴＰヘッダに含まれるタイムスタンプの値を参照し、タイムスタンプが小さい順で、特定の人物であるか否かを判断する顔認証等の画像処理を行うことが可能となる。

また、本実施の形態１では、符号化部１０５が符号化を行う例について示したが、符号化部１０５を設けず、符号化顔画像の代わりに切出画像を送信するよう構成してもよい。また、本実施の形態１では検出対象の物体として人物の顔を例に説明したが、人物の顔以外の物体、例えば車両に設置されたナンバープレートを検出するよう構成してもよい。

また、本実施の形態１では、物体検出部１０３は、メタデータを画像切出部１０４及び送信部１０６に出力する例について示したが、画像切出部１０４のみに出力し、画像切出部１０４及び符号化部１０５を介して、送信部１０６に、メタデータを出力するように構成してもよい。

実施の形態２．
実施の形態２では、物体追跡部をさらに備えることにより、符号化顔画像の大きさに加え、撮影期間の長さを考慮して送信順を決定する撮像装置について説明する。

実施の形態２に係る監視システム構成例を示す図は、実施の形態１と同様であるので、説明を省略する。

図３は、この発明の実施の形態２に係る撮像装置１３の構成の一例を示すブロック図である。図３において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。

物体検出部１０７は、受光部１０２から出力された生画像データから、人物の顔など特定の物体を検出し、物体の生画像データ内での位置を示す座標情報及び大きさの情報を、物体追跡部１０８に出力し、物体の生画像データ内での位置を示す座標情報及び大きさの情報並びに物体を初めて検出した時刻（初出時刻）の情報（メタデータ）を画像切出部１０４及び送信部１１０に出力するものである。

物体追跡部１０８は、物体検出部１０７が検出した人物の顔など特定の物体について、当該物体の初出時刻を物体検出部１０７に出力するものである。

データベース１０９は、物体検出部１０７が検出した人物の顔など特定の物体について、当該物体の初出時刻を記憶するものである。

送信部１１０は、符号化部１０５から出力された符号化画像を、初出時刻に基づき、図示しないネットワークを介して、画像処理装置１１に出力するものである。

物体検出部１０７及び物体追跡部１０８の各機能は、不揮発性メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）または専用のハードウェアにより実現される。

物体検出部１０７及び物体追跡部１０８の各機能が専用のハードウェアにより実現される場合、当該の専用のハードウェアは、例えば、システムＬＳＩ（Ｌａｒｇｅ－ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはこれらを組み合わせたものが該当する。

物体検出部１０７及び物体追跡部１０８の各機能がＣＰＵにより実現される場合、物体検出部１０７及び物体追跡部１０８の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、物体検出部１０７及び物体追跡部１０８の各機能は、不揮発性メモリに記録されたプログラムを読み出してメモリに割り当てて実行するＣＰＵにより実現される。ここで、メモリとは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、不揮発性メモリとは、例えば、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等が該当する。

なお、物体検出部１０７及び物体追跡部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、物体検出部１０７については専用のハードウェアでその機能を実現し、物体追跡部１０８についてはＣＰＵが不揮発性メモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

データベース１０９は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、またはフラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の不揮発性メモリにより実現される。

送信部１１０は、例えば、ＦＰＧＡ及びネットワークインタフェースＩＣにより実現される。

次に、撮像装置１３の基本的な動作について、図３及び図４を参照しながら説明する。図３において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。

受光部１０２は集光部１０１から出力された光を電気信号に変換し、量子化などの処理を行い、ある時刻に撮像されたＹＣｂＣｒ形式などの生画像データとして、物体検出部１０７及び画像切出部１０４に出力する。

物体検出部１０７は所定の画像処理により、受光部１０２から出力された生画像データから、人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を検出し、検出した顔の各々に対し固有の識別情報（ＩＤ）を付与するとともに、受光部１０２から出力された生画像データ内の位置を示す座標情報と、顔の大きさを示す情報（メタデータ）を、物体追跡部１０８に出力する。

物体追跡部１０８は、物体検出部１０７からのメタデータの入力を受け（ステップＳ１）、当該メタデータに含まれるＩＤがデータベース１０９に登録されているか否かを判定する（ステップＳ２）。

当該ＩＤがデータベース１０９に登録されていない場合、物体追跡部１０８は、生画像データが撮像された時刻を当該ＩＤの初出時刻とし（ステップＳ３）、初出時刻を当該ＩＤに紐付けてデータベース１０９に登録し（ステップＳ４）、登録した初出時刻をメタデータに追加し、メタデータを物体検出部１０７に出力する（ステップＳ６）。

当該ＩＤがデータベース１０９に登録されている場合、物体追跡部１０８は、当該ＩＤに紐付けられた初出時刻をデータベース１０９から取り出し（ステップＳ５）、取り出した初出時刻をメタデータに追加し、メタデータを物体検出部１０７に出力する（ステップＳ６）。

さらに、物体追跡部１０８は、物体検出部１０７からのメタデータに存在しないＩＤ（すなわち、物体検出部１０７により検出されなかった人物の顔のＩＤ）がデータベース１０９に登録されているか否かを判定する（ステップＳ７）。

物体検出部１０７により検出されなかった人物の顔のＩＤがデータベース１０９に登録されている場合、データベース１０９から、物体検出部１０７により検出されなかった人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻を削除する（ステップＳ８）。

次に、物体検出部１０７は、物体追跡部１０８からのメタデータの入力を受け、当該メタデータを、画像切出部１０４及び送信部１１０に出力する。

送信部１１０は、符号化部１０５から出力された符号化顔画像について、物体検出部１０７からのメタデータに基づき、初出時刻と現在時刻との差が所定の閾値以内の人物の顔を優先して送信する。すなわち、まず、初出時刻と現在時刻との差が所定の閾値以内の人物の顔について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順に送信し、次に、初出時刻と現在時刻との差が所定の閾値を超える人物の顔について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順に送信する。

以上説明した動作について、以下、具体例を示す。

物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１秒に表２に示すメタデータを、物体検出部１０７に出力したものとする。

この場合、送信部１１０は、すべての顔画像の初出時刻が現在時刻と同時刻であるため、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００３、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。

次に、物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１．２秒に表３に示す情報を、物体検出部１０７に出力したものとする。

この場合、送信部１１０は、すべての顔画像の初出時刻と現在時刻との差が０．２秒以内であるため、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００１、ＩＤ１０００４の順で、図示しないネットワークを介して、画像処理装置１１に出力する。

次に、物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１．４秒に表４に示す情報を、物体検出部１０７に出力したものとする。

この場合、送信部１１０は、まず、初出時刻と現在時刻との差が０．２秒以内である顔画像（ＩＤ１０００４）を、図示しないネットワークを介して、画像処理装置１１に出力し、次に初出時刻とが現在時刻との差が０．２秒を超える顔画像（ＩＤ１０００１、ＩＤ１０００２）について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。

このように、本実施の形態に係る撮像装置は、同時刻に撮像された生画像データから切り出された複数の切出画像について、物体を初めて検出した時刻（初出時刻）と現在時刻との差が所定の閾値以内である画像を優先して外部に出力するように構成したので、撮像装置は、新たに検出した人物の顔、すなわち重要度の高い人物を優先して送信することが可能となり、画像処理装置１１は、新たに検出した人物の顔を優先して、符号化顔画像の画像処理を行うことが可能となる。

なお、本実施の形態２では、送信部１１０は、初出時刻と現在時刻との差の閾値を１つ設けているが、初出時刻と現在時刻との差の閾値を複数設けてもよい。たとえば、閾値を２つ設ける場合は、初出時刻と現在時刻との差が第一の値以内の人物の顔を優先して送信し、次に、初出時刻と現在時刻との差が第二の値以内の人物の顔を優先して送信する。この場合も、新たに検出した人物の顔を優先して送信することが可能である。

また、本実施の形態２では、送信部１１０は、初出時刻と現在時刻との差の閾値を１つ設けているが、閾値を設けずに、初出時刻の遅い順に、図示しないネットワークを介して、画像処理装置１１に出力するようにしてもよい。この場合も、新たに検出した人物の顔を優先して送信することが可能である。

また、本実施の形態２では、物体追跡部１０８は、物体検出部１０７により検出されなかった人物の顔のＩＤがデータベース１０９に登録されている場合、すぐにデータベース１０９から、物体検出部１０７により検出されなかった人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻を削除している（ステップＳ８）が、物体検出部１０７により所定の期間連続して検出されなかった場合に、当該人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻をデータベース１０９から削除するようにしてもよい。これにより、当該の人物が継続して監視対象領域に存在しているにも関わらず、何らかの要因で、短時間、物体検出部１０７により当該の人物の顔が検出されなかった場合でも、当該の人物の顔が新たに検出されたものと誤検出することを防止することが可能となる。

また、送信部１１０は、ある時刻に撮像された生画像データから切り出された符号化画像について、画像の送信する順に、タイムスタンプを昇順で付与するようにしてもよい。これにより、図示しないネットワークを介する過程で符号化画像の伝送される順が入れ替わったとしても、画像処理装置１１は、ＲＴＰヘッダに含まれるタイムスタンプの値を参照し、タイムスタンプが小さい順で、特定の人物であるか否かを判断する顔認証等の画像処理を行うことが可能となる。

また、本実施の形態２では、物体検出部１０７は、メタデータを画像切出部１０４及び送信部１１０に出力する例について示したが、画像切出部１０４のみに出力し、画像切出部１０４及び符号化部１０５を介して、送信部１１０に、メタデータを出力するように構成してもよい。

また、本実施の形態２では、物体検出部と物体追跡部とが互いに独立するものとして構成したが、物体検出部と物体追跡部とをまとめて構成するようにしてもよい。

１０撮像装置、
１１画像処理装置、
１２Ａ人物、
１２Ｂ人物、
１２Ｃ人物、
１３撮像装置、
１０１集光部、
１０２受光部、
１０３物体検出部、
１０４画像切出部、
１０５符号化部、
１０６送信部、
１０７物体検出部、
１０８物体追跡部、
１０９データベース、
１１０送信部

Claims

監視対象領域を撮像し、生画像データを出力する撮像部と、
前記生画像データから所定の物体を検出し、検出した前記所定の物体のサイズ情報を出力する物体検出部と、
前記生画像データから前記物体検出部により検出された所定の物体の画像を切り出す画像切出部と、
同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体検出部から出力された当該画像に対応する物体のサイズ情報に基づき、サイズの大きい順に送信する送信部と、
前記物体検出部により検出された所定の物体が、当該物体検出部で初めて検出された初出時刻を出力する物体追跡部と
を備え、
前記送信部は、同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体追跡部から出力された当該画像に対応する物体の初出時刻に基づき、初出時刻の遅い画像を優先して送信し、かつ初出時刻が同時刻の複数の画像をサイズの大きい順に送信する、撮像装置。
監視対象領域を撮像し、生画像データを出力する撮像部と、
前記生画像データから所定の物体を検出する物体検出部と、
前記物体検出部により検出された所定の物体が、当該物体検出部で初めて検出された初出時刻を出力する物体追跡部と、
前記生画像データから前記物体検出部により検出された所定の物体の画像を切り出す画像切出部と、
同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体追跡部から出力された当該画像に対応する物体の初出時刻に基づき、初出時刻の遅い画像を優先して送信する送信部と
を備える、撮像装置。
前記送信部は、同時刻に撮像された前記生画像データから前記画像切出部により切り出された前記画像に対し、前記画像の送信する順に、昇順でタイムスタンプを付与する、
請求項１または請求項２に記載の撮像装置。