JP5196230B2 - 出力装置、出力方法、及びプログラム - Google Patents

Description

本発明は、出力装置、出力方法、及びプログラムに関する。特に本発明は、画像を出力する出力装置、出力方法、並びに出力装置用のプログラムに関する。

映像の重要度を示すトリガを発生し、発生されたトリガを用いて画面構成を算出し、画面構成の算出結果に基づいて、入力画像との合成に用いられる画像を作成し、入力画像と合成される画像とを１つの画面に合成する映像合成装置が知られている（例えば、特許文献１参照。）。
特開２００４−２６６３７６号公報

上記特許文献１に記載の撮影装置によると、映像の重要度を示すトリガを用いて合成する画像を選択しているため、人物の軌跡が重なってしまい、見にくくなってしまう場合があるという課題があった。

そこで本発明は、上記課題を解決することができる出力装置、出力方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態における出力装置は、動画を取得する動画取得部と、動画取得部が取得した動画において動くオブジェクトを抽出する動きオブジェクト抽出部と、動画取得部が取得した動画に含まれる複数の動画構成画像のそれぞれにおいて、動きオブジェクト抽出部が抽出したオブジェクトが占める領域であるオブジェクト領域を特定するオブジェクト領域特定部と、動画取得部が取得した動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する動画構成画像選択部と、動画構成画像選択部が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成する画像生成部と、画像生成部が生成した合成画像を出力する出力部とを備える。

動画取得部が取得した動画において、動きオブジェクト抽出部が抽出したオブジェクトの動く方向を特定する動き方向特定部と、動画取得部が取得した動画において、動き方向特定部が特定した方向の変化量が予め定められた変化量より小さくなる期間を特定する期間特定部とをさらに備え、動画構成画像選択部は、期間特定部が特定した期間の動画を表す複数の動画構成画像の中から、オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択してよい。

動画構成画像選択部は、動画取得部が取得した動画における第１期間の動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択し、画像生成部は、動画構成画像選択部が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成し、出力部は、第１期間の動画に含まれる複数の動画構成画像に代えて、画像生成部が生成した１つの合成画像を第１期間の動画を表す画像として出力してよい。

本発明の第２の形態における出力方法は、動画を取得する動画取得段階と、動画において動くオブジェクトを抽出する動きオブジェクト抽出段階と、動画取得段階において取得された動画に含まれる複数の動画構成画像のそれぞれにおいて、動きオブジェクト抽出段階において抽出されたオブジェクトが占める領域であるオブジェクト領域を特定するオブジェクト領域特定段階と、動画取得段階において取得された動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定段階において特定されたオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する動画構成画像選択段階と、動画構成画像選択段階において選択された複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて、１つの合成画像を生成する画像生成段階と、画像生成段階において生成された合成画像を出力する出力段階とを備える。

本発明の第３の形態によると、画像を出力する出力装置として機能させるプログラムであって、出力装置を、動画を取得する動画取得部と、動画において動くオブジェクトを抽出する動きオブジェクト抽出部、動画取得部が取得した動画に含まれる複数の動画構成画像のそれぞれにおいて、動きオブジェクト抽出部が抽出したオブジェクトが占める領域であるオブジェクト領域を特定するオブジェクト領域特定部、動画取得部が取得した動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する動画構成画像選択部、動画構成画像選択部が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて、１つの合成画像を生成する画像生成部と、画像生成部が生成した合成画像を出力する出力部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、撮像された画像の時間解像度を生かした形で出力することができる出力装置を提供することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る監視システム１１０の利用環境の一例を示す。監視システム１１０は、複数の監視領域１５１〜１５６を撮像すべく設けられた複数の撮像装置１００ａ〜ｃ（以後、撮像装置１００と総称する）と、伝送経路１４０と、出力装置１７０とを備える。出力装置１７０は、出力制御装置１７２と、複数のモニタ１８１〜１８６と、記憶装置１７５とを有する。なお、撮像装置１００ａ〜ｃは、複数の監視領域１５１〜１５６を撮像すべく、複数の監視領域１５１〜１５６のそれぞれに複数設けられる。以後、複数の監視領域１５１〜１５６に設けられる複数の撮像装置１００ａ〜ｃを撮像装置１００と総称する。

撮像装置１００は、監視領域１５１〜１５６を撮像した動画を伝送経路１４０を通じて出力制御装置１７２に送信する。出力制御装置１７２は、撮像装置１００から受け取った動画を、観察者１９０が観察し易い予め定められた表示レートの動画に変換して、モニタ１８１〜１８６に表示させる。なお、予め定められた表示レートは、撮像装置１００の撮像レートより低くてよい。また、予め定められた表示レートとは、モニタ１８１〜１８６が表示することができる動画の表示レートであってよい。記憶装置１７５は、出力制御装置１７２が出力した動画を記憶する。

出力制御装置１７２は、撮像装置１００から受け取った動画を、予め定められた表示レートによって定まるフレーム画像の表示間隔と同じ時間幅を持つ期間毎の動画に分割する。そして、出力制御装置１７２は、分割された各期間の動画の中から人物の動きを抽出し、動画を構成する複数のフレーム画像において動く人物を特定する。そして、出力制御装置１７２は、各フレーム画像において特定した人物の人物画像のうち、重ならない位置にある人物画像を重ね合わせる。そして、出力制御装置１７２は、重ね合わせて得られた画像と背景領域とを合成して１つの合成画像を生成する。出力制御装置１７２は、各期間毎に１つ生成したそれぞれの合成画像を１駒の画像とする動画を生成して、モニタ１８１〜１８６に表示させる。

以上説明したように、出力制御装置１７２は、撮像装置１００が撮像した動画を予め定められた表示レートの動画に変換してモニタ１８１〜１８６に表示させることができる。このとき出力制御装置１７２は、予め定められた表示レートより高い撮像レートで撮像装置１００が撮像した動画の中の動く人物の人物画像を重ね合わせてフレーム画像を生成するので、観察者１９０は人物の細かな動きをモニタ１８１〜１８６上で観察することができる。また、出力制御装置１７２は、人物が互いに重ならないよう人物画像を合成するので、観察者１９０が出力制御装置１７２が生成した動画をコマ送りしたときに、人物の動きがわからなくなってしまうことを未然に防ぐことができる。また、出力制御装置１７２は、撮像装置１００が撮像した動画のデータ量を低減して出力することができるので、記憶装置１７２の記憶容量を削減することができる。

なお、監視領域１５１〜１５６は、異なる建物内の空間であってよいし、同じ建物内の異なる空間であってもよい。例えば、監視領域１５１〜１５６は、店舗内の陳列棚の間の通路であってよい。また、監視領域１５１〜１５６は、建物内の空間に限らず、建物によって囲われていない開放された空間であってよいことは言うまでもない。

図２は、出力装置１７０のブロック構成の一例を示す。出力装置１７０は、動画取得部２００、条件格納部２１０、オブジェクト特定部２２０、動きオブジェクト抽出部２３０、オブジェクト領域特定部２４０、期間特定部２５０、動画構成画像選択部２６０、画像生成部２７０、出力部２８０、及び動き方向特定部２９０を備える。

動画取得部２００は、動画を取得する。例えば、動画取得部２００は、撮像装置１００が撮像した動画を伝送経路１４０を通じて撮像装置１００から取得する。そして、動きオブジェクト抽出部２３０は、動画取得部２００が取得した動画において動くオブジェクトを抽出する。例えば、動きオブジェクト抽出部２３０は、動画に含まれる複数の動画構成画像から、動くオブジェクトを抽出する。

具体的には、条件格納部２１０は、動画から抽出されるべきオブジェクトの条件を格納している。そして、オブジェクト特定部２２０は、条件格納部２１０が格納している条件に適合するオブジェクトを特定する。そして、動きオブジェクト抽出部２３０は、オブジェクト特定部２２０が特定したオブジェクトの中から、動画において動くオブジェクトを抽出する。その他にも、動画取得部２００がＭＰＥＧ符号化された動画を取得した場合には、動きオブジェクト抽出部２３０は、動きベクトル情報に基づいて動くオブジェクトを抽出してもよい。

オブジェクト領域特定部２４０は、動画取得部２００が取得した動画に含まれる複数の動画構成画像のそれぞれにおいて、動きオブジェクト抽出部２３０が抽出したオブジェクトが占める領域であるオブジェクト領域を特定する。そして、動画構成画像選択部２６０は、動画取得部２００が取得した動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する。

そして、画像生成部２７０は、動画構成画像選択部２６０が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成する。そして、出力部２８０は、画像生成部２７０が生成した合成画像を出力する。なお、画像生成部２７０は、複数の合成画像のそれぞれが１コマの画像である動画を生成してよい。そして、出力部２８０は、画像生成部２７０が生成した動画を出力してよい。なお、モニタ１８１〜１８６又は記憶装置１７５は出力部２８０の一例であり、出力部２８０は、画像生成部２７０が生成した画像を表示デバイスに表示してよく、画像生成部２７０が生成した画像を記録媒体に記録してよい。

動き方向特定部２９０は、動画取得部２００が取得した動画において、動きオブジェクト抽出部２３０が抽出したオブジェクトが動く方向を特定する。そして、期間特定部２５０とは、動画取得部２００が取得した動画において、動き方向特定部が特定した方向の変化量が予め定められた変化量より小さい期間を特定する。そして、動画構成画像選択部２６０は、期間特定部２５０が特定した期間の動画を表す複数の動画構成画像の中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する。

なお、条件格納部２１０は、動画から抽出されるべきオブジェクトの形状に関する条件を格納する。そして、オブジェクト特定部２２０は、条件格納部２１０が格納している形状に関する条件に適合するオブジェクトを特定する。また、条件格納部２１０は、動画から抽出されるべきオブジェクトの位置に関する条件を格納してよい。そして、オブジェクト特定部２２０は、条件格納部２１０が格納している位置に関する条件に適合するオブジェクトを特定してよい。

また、条件格納部２１０は、動画から抽出されるべきオブジェクトが動く方向に関する条件を格納してよい。そして、オブジェクト特定部２２０は、条件格納部２１０が格納している方向に関する条件に適合するオブジェクトを特定してよい。なお、条件格納部２１０は、動画から抽出されるべきオブジェクトが動く実空間における方向に関する条件を格納してよい。そして、オブジェクト特定部２２０は、条件格納部２１０が格納している実空間における方向に関する条件に適合するオブジェクトを特定してよい。

図３は、出力装置１７０の動作フローの一例を示す。動画取得部２００は、撮像装置１００が撮像した動画を、撮像装置１００から取得する（Ｓ３０２）。そして、動画取得部２００は、Ｓ３０２において取得した動画から一連のフレーム画像を抽出する（Ｓ３０４）。例えば、動画取得部２００は、ＭＰＥＧ符号化された動画を取得した場合には、所定数のＩピクチャを含む期間の動画を構成する複数のピクチャを抽出する。この他にも、動画取得部２００は、予め定められた期間の動画を構成する所定数のフレーム画像を、当該一連のフレーム画像として抽出してもよいし、動画の画像内容の変化に基づいて決定される１シーンの動画を構成する複数のフレーム画像を当該一連のフレーム画像として抽出してもよい。

そして、オブジェクト特定部２２０は、Ｓ３０４において抽出した一連のフレーム画像の中に、人物を示すオブジェクトが存在するか否かを判断する（Ｓ３０６）。Ｓ３０６において人物を示すオブジェクトが存在する旨をオブジェクト特定部２２０が判断した場合には、動きオブジェクト抽出部２３０は、人物を示すオブジェクトが動いているか否かを判断し（Ｓ３０８）、人物を示すオブジェクトが動いていると判断されれば、フレーム画像から人物を示すオブジェクトを抽出する。そして、オブジェクト領域特定部２４０は、動きオブジェクト抽出部２３０が抽出した人物を示すオブジェクトの領域（以下、人物領域という。）を特定する（Ｓ３１０）。例えば、オブジェクト領域特定部２４０は、エッジ抽出等によって人物を示すオブジェクトの輪郭を抽出し、抽出した輪郭で囲まれる領域を人物領域としてよい。

そして、期間特定部２５０は、Ｓ３０４において取得された動画において、オブジェクトが略同一方向に動いている複数の期間に分割する（Ｓ３１２）。期間特定部２５０は、分割した複数の期間を、人物領域が重ならない動画構成画像を選択する選択期間とする。そして、動画構成画像選択部２６０は、Ｓ３１２において決定された各選択期間のフレーム画像の中から、互いに重ならない位置に人物領域が存在するフレーム画像を選択する（Ｓ３１４）。

そして、画像生成部２７０は、Ｓ３１４で選択された複数のフレーム画像に含まれる人物領域の画像を、Ｓ３１４で選択されたフレーム画像の中の１つに重ね合わせることによって合成画像を生成する（Ｓ３１６）。なお、画像生成部２７０は、Ｓ３１４で選択されたフレーム画像を重ね合わせて合成画像を生成してもよい。そして、画像生成部２７０は、各選択期間毎に１つずつ生成された合成画像を用いて動画を生成する（Ｓ３１８）。そして、Ｓ３０２において取得した動画を全て処理し終えたか否かを判断して（Ｓ３２０）、動画を全て処理し終えている場合には処理を終了し、動画を全て処理し終えていない場合にはＳ３０４に処理を戻す。

なお、Ｓ３０６において人物を示すオブジェクトが存在しない旨をオブジェクト特定部２２０が判断した場合、又は人物を示すオブジェクトが動いていないと判断された場合には、Ｓ３０４において取得したフレーム画像を適当に間引いて動画を生成して（Ｓ３２２）、出力装置１７０はＳ３２０に処理を移行する。なお、Ｓ３２２においては、生成する動画が予め定められた表示レートになるよう、Ｓ３０４において取得したフレーム画像を間引いてよい。以上説明したように、出力装置１７０は、人物が動いている動画から、人物の動きが重ならないようフレーム画像における人物領域を重ねあわせることによって、人物の動きが分かりやすい画像を観察者１９０に提供することができる。

なお、上記の説明では、説明を複雑になることを避けるためにシーケンシャルな処理フローを用いて出力装置１７０の動作を説明したが、上記の処理の中の一部の処理は、他の処理と並行して行うことができることは言うまでもない。例えば、Ｓ３０２における動画を取得する処理、及びＳ３０４における一連のフレーム画像を抽出する処理は、他の処理と並行して行うことができる。

図４は、画像生成部２７０が生成する合成画像４２０の一例を示す。オブジェクト領域特定部２４０は、撮像装置１００が所定の時間間隔で時刻ｔ４１１〜４１９において撮像したフレーム画像４０１〜４０９の中から、動く人物の領域である人物領域４５１〜４５９を特定する。このとき、動画構成画像選択部２６０は、フレーム画像４０１〜４１９を重ねた場合に、互いに重なり合わない位置に人物領域４５１〜４５９が存在するフレーム画像４０１、４０５、及び４０９を選択する。

なお、動画構成画像選択部２６０は、実空間上における同じ位置が重なり合うように複数のフレーム画像を重ね合わせたときに、人物領域４５１〜４５９の画像によって示される領域が互いに重ならないフレーム画像４０１、４０５、及び４０９を選択してよい。このようにすると、撮像装置１００が撮像方向を変化させながら監視領域１５１〜１５６を撮像した場合であっても、人物領域４５１〜４５９が重ならない位置にあるフレーム画像を選択することができる。

そして、画像生成部２７０は、フレーム画像４０１及び４０９に含まれる人物領域４５１及び４５９を、フレーム画像４０５に重ね合わせることによって、合成画像４２０を生成する。なお、画像生成部２７０は、合成画像４２０を、時刻ｔ４０１〜ｔ４０９までの期間の動画における１つのフレーム画像として生成する。なお、画像生成部２７０は、フレーム画像４０１、４０５、及び４０９を重ね合わせることによって合成画像を生成してもよい。

このように、動画構成画像選択部２６０は、動画取得部２００が取得した動画における第１期間の動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する。そして、画像生成部２７０は、動画構成画像選択部２６０が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成する。そして、出力部２８０は、第１期間の動画に含まれる複数の動画構成画像に代えて、画像生成部２７０が生成した１つの合成画像を、第１期間の動画を表す画像として出力する。

図５は、画像生成部２７０が生成する合成画像の一例を示す。本図において、動き方向特定部２９０は、オブジェクト領域特定部２４０が特定したオブジェクト領域の重心の位置５０１〜５１４を補間することによってオブジェクト領域の軌跡５５０を算出する。そして、動き方向特定部２９０は、軌跡５５０を微分することによって位置５０１〜５１４におけるオブジェクトの方向を算出する。そして、期間特定部２５０は、オブジェクトの方向がなす角が予め定められた角度以下である期間を特定する。本図の例では、期間特定部２５０は、オブジェクト領域の重心が位置５０１〜５０７にある期間と、オブジェクト領域の重心が位置５０８〜５１４にある期間とを特定する。

そして、動画構成画像選択部２６０は、オブジェクト領域の重心が位置５０１〜５０７にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置５０１、５０４、及び５０７にあるフレーム画像を選択する。そして、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像５１０を生成する。また、動画構成画像選択部２６０は、オブジェクト領域の重心が位置５０８〜５１４にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置５０８、５１０、５１２、及び５１４にあるフレーム画像を選択し、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像５２０を生成する。このような制御によって、画像生成部２７０は、オブジェクトの動き方向が略同一となる期間の動画から１つの合成画像を生成することができる。

図６は、画像生成部２７０が生成する合成画像の他の一例を示す。図５と同様に、動画構成画像選択部２６０が、オブジェクト領域の重心が位置５０１〜５０７にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置５０１、５０４、及び５０７にあるフレーム画像を選択し、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像５１０を生成する。図５と異なり、期間特定部２５０は、合成画像５１０の次のタイミングで表示されるべき合成画像６２０を生成するためのフレーム画像を選択する選択期間として、前の選択期間の少なくとも一部の期間と、当該期間に続く期間とを含む連続する期間を決定する。

具体的には、期間特定部２５０は、オブジェクト領域の重心が位置５０７〜５１４にかる期間を選択する。そして、動画構成画像選択部２６０は、オブジェクト領域の重心が位置５０７〜５１４にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置５０７、５０９、５１１、及び５１３にあるフレーム画像を選択し、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像６２０を生成する。

このように、動画構成画像選択部２６０は、動画取得部２００が取得した動画における第１期間の動画に含まれる複数の動画構成画像の中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある第１の組の動画構成画像を選択し、第１期間の動画に含まれる複数の動画構成画像のうちの少なくとも一部の動画構成画像と、第１期間に続く第２期間の動画に含まれる複数の動画構成画像との中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある第２の組の動画構成画像を選択する。そして、画像生成部２７０は、第１の組の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて第１合成画像を生成し、第２の組の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて第２合成画像を生成する。そして、出力部２８０は、第１期間及び第２期間の動画に含まれる複数の動画構成画像に代えて、画像生成部２７０が生成した第１合成画像及び第２合成画像をそれぞれ第１期間及び第２期間の動画を表す画像として出力する。

このような制御によって、出力装置１７０は、前のコマにおける人物の動きの一部を次のコマに含めることができる。このため、出力装置１７０が出力した動画を観察者１９０がコマ送り再生するような場合においても、観察者１９０は前のコマと次のコマとを比較したりすることなく、人物の動きの流れを容易に把握することができる。

図７は、画像生成部２７０が生成する合成画像の更なる他の一例を示す。本図において、位置７０１〜７０８はオブジェクト領域特定部２４０が特定したオブジェクト領域の重心の位置を示す。本図の例では、期間特定部２５０は、オブジェクト領域の重心が位置７０１〜７０３にある期間と、オブジェクト領域の重心が位置７０４〜５０８にある期間とを、合成画像を生成するためのフレーム画像を選択する選択期間として特定する。

例えば、オブジェクト領域の重心が位置７０１から７０８にある期間を選択期間として特定した場合、オブジェクト領域が重ならない位置は、順に位置７０１、７０３、位置７０８となる。しかし、オブジェクト領域の重心が位置７０３にあるフレーム画像とオブジェクト領域の重心が７０８にあるフレーム画像との間には、撮像間隔×５の間隔が存在してしまい、観察者１９０が人物の動きを把握することが難しくなってしまう。このため、期間特定部２５０は、オブジェクト領域の重心の位置が位置７０３にあるフレーム画像が撮像された時刻までの間で選択期間を区切る。そして、期間特定部２５０は、オブジェクト領域の重心の位置が位置７０４にあるフレーム画像が撮像された時刻から、オブジェクト領域の重心の位置が位置７０８にあるフレーム画像が撮像された時刻までの期間を選択期間として特定する。このように、期間特定部２５０は、互いに重ならないオブジェクト領域を有するフレーム画像が撮像された時間間隔が、所定の時間幅、例えば撮像装置１００の撮像間隔×５の時間幅より短くなる選択期間を決定する。

そして、動画構成画像選択部２６０は、オブジェクト領域の重心が位置７０１〜７０３にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置７０１及び７０３にあるフレーム画像を選択する。そして、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像７１０を生成する。また、動画構成画像選択部２６０は、オブジェクト領域の重心が位置７０４〜７０８にある期間の動画に含まれるフレーム画像の中から、オブジェクト領域の重心が位置７０４、７０６、及び７０８にあるフレーム画像を選択し、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像から合成画像７２０を生成する。

このように、期間特定部２５０は、動画取得部２００が取得した動画において、互いに重ならないオブジェクト領域を有する動画構成画像間の時間間隔が予め定められた時間幅より短くなる期間を特定する。そして、動画構成画像選択部２６０は、期間特定部２５０が特定した期間の動画を表す複数の動画構成画像の中から、オブジェクト領域特定部２４０が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する。このような制御によって、画像生成部２７０は、出力する動画におけるオブジェクトの動き幅が大きくなることを未然に防ぐことができる。このため、観察者１９０がオブジェクトの動きに不連続さに感じてしまうことを未然に防ぐことができる。

図８は、条件格納部２１０が格納している条件の一例をテーブル形式で示す。条件格納部２１０は、抽出されるべきオブジェクトが適合する、形状、色、画像上の位置、方向、及び種類に関する複数の条件を格納している。例えば、条件格納部２１０は、抽出されるべきオブジェクトの輪郭形状をそれぞれ定めるｎ個の条件（形状１〜形状ｎ）を格納している。例えば、条件格納部２１０は、抽出されるべきオブジェクトの輪郭形状を定めるベクトル情報を格納している。具体的には、条件格納部２１０は、人物の頭部の形状を定める条件を格納してよい。より具体的には、条件格納部２１０は、人物の頭部形状、或いは頭部に含まれる顔、目、口、鼻、及び眉の形状及びその位置関係を定める条件を格納してよい。このように、条件格納部２１０は、動画から抽出されるべきオブジェクトであって、被写体を識別することができるオブジェクトが適合すべき条件を格納してよい。

また、条件格納部２１０は、抽出されるべきオブジェクトが含むべき色をそれぞれ定めるｎ個の条件（色範囲１〜色範囲ｎ）を格納している。例えば、条件格納部２１０は、抽出されるべきオブジェクトが所定の面積比以上の面積比で有するべき色を示す色範囲を格納してよい。オブジェクト特定部２２０は、条件格納部２１０が定める色範囲に含まれる色を所定の面積比以上の面積比で有するオブジェクトを、条件格納部２１０が定める条件に適合するオブジェクトとして特定する。

また、条件格納部２１０は、抽出されるべきオブジェクトの存在する位置をそれぞれ定めるｎ個の条件（位置範囲１〜位置範囲ｎ）を格納している。例えば、条件格納部２１０は、抽出されるべきオブジェクトが存在すべき、画像上における位置範囲を格納してよい。オブジェクト特定部２２０は、画像上において条件格納部２１０が定める位置範囲に位置するオブジェクトを、条件格納部２１０が定める条件に適合するオブジェクトとして特定する。

また、条件格納部２１０は、抽出されるべきオブジェクトが動く複数の方向の範囲をそれぞれ定めるｎ個の条件（角度範囲１〜角度範囲ｎ）を格納している。例えば、条件格納部２１０は、画像上の座標軸における角度θと角度θを中心とする角度差Δθとによって示される角度範囲を格納してよい。この場合、オブジェクト特定部２２０は、画像上において角度（θ−Δθ）から角度（θ＋Δθ）が示す角度内に移動方向を有するオブジェクトを検出した場合に、条件格納部２１０が定める条件に適合するオブジェクトが存在する旨を判断してよい。

なお、条件格納部２１０は、上記の位置範囲と角度範囲との組合せを、抽出されるべきオブジェクトが動く方向を示す条件として格納してよい。例えば、条件格納部２１０は、部屋内を撮像した動画から人物を抽出するための条件としては、部屋の入口からの監視対象として重要な領域への方向が示す角度を含む角度範囲を格納してよい。こうすれば、観察者１９０は、部屋に侵入した人物を適切に監視することができる。

また、条件格納部２１０は、抽出されるべきオブジェクトの種類をそれぞれ定めるｎ個の条件（種類１〜種類ｎ）を格納している。例えば、条件格納部２１０は、上記の形状と色範囲との組合せをオブジェクトの種類を定める条件として格納してよい。

なお、以上の説明においては、撮像装置１００が撮像した動画を取得して出力装置１７０が出力する形態について説明したが、他の形態においては、出力装置１７０は撮像装置１００の撮像機能を有してよい。例えば、動画取得部２００は、監視領域の動画を撮像する撮像部であってよい。また、本実施形態におけるフレーム画像とは動画構成画像の一例であり、動画構成画像はフィールド画像を含む。

図９は、合成画像の他の一例を示す。図４の例では、動画構成画像選択部２６０は、オブジェクト特定部２２０によって特定された人物の領域が重ならない位置にあるフレーム画像を選択した。他の選択方法としては、動画構成画像選択部２６０は、人物の少なくとも一部、例えば人物を識別することができる領域が重ならない位置にあるフレーム画像を選択してよい。

例えば、オブジェクト特定部２２０は、人物における特徴的な部分を特定してよい。例えば、オブジェクト特定部２２０は、条件格納部２１０が格納している条件に適合する、人物の頭部、或いは顔、目、口、鼻等の、人物を識別することができるオブジェクトを特定してよい。そして、動画構成画像選択部２６０は、特定されたオブジェクトの中から抽出された動くオブジェクトのオブジェクト領域が互いに重ならない位置にあるフレーム画像を選択する。

例えば、オブジェクト特定部２２０は、図４に示すフレーム画像４０１−４０９の中から、人物領域４５１−４５９に含まれる頭部の領域を、条件格納部２１０が格納している条件に適合するオブジェクトとして特定する。そして、動画構成画像選択部２６０は、頭部の領域が互いに重ならない位置にあるフレーム画像４０５、４０７、及び４０９を選択する。そして、画像生成部２７０は、フレーム画像４０７に含まれる人物の頭部を含む人物領域４５７及びフレーム画像４０９に含まれる人物の頭部を含む人物領域４５９をフレーム画像４０５に重ね合わせることによって、合成画像９００を生成する。なお、画像生成部２７０は、人物領域４５７及び人物領域４５９をフレーム画像４０５に足し合わせることによって合成画像９００を生成してもよい。

なお、画像生成部２７０は、フレーム画像が撮像された時刻の順又はフレーム画像が撮像された時刻の逆順で、オブジェクト領域を含む画像を重ね合わせてよい。例えば、画像生成部２７０は、フレーム画像４０５上に、人物領域４５７、人物領域４５９の順で重ね合わせることによって合成画像９００を生成してよい。このように、人物の頭部等、人物の特徴的な領域が互いに重ならない位置にあるフレーム画像が選択されて合成されるので、人物の体部が重なっている合成画像からでも人物を特定することができる。

図１０は、合成画像の更なる他の一例を示す。画像生成部２７０は、オブジェクトの動きを示す情報を、合成画像とともに生成する。オブジェクトの動きを示す情報は、オブジェクトが動く方向を示す情報であってよい。例えば、画像生成部２７０は、動き方向特定部２９０が特定した動き方向を示す矢印を含むマーク１０１０を合成画像９００とともに生成してよい。

他にも、オブジェクトの動きを示す情報は、動画構成画像選択部２６０が選択したフレーム画像が撮像されたタイミングを示す情報であってもよい。例えば、画像生成部２７０は、動画構成画像選択部２６０によって選択されたフレーム画像が撮像された順番を示すマーク１０２０を合成画像９００とともに生成してよい。なお、フレーム画像が撮像されたタイミングは、撮像された時刻そのものであってもよい。そして、画像生成部２７０は、マーク１０１０及びマーク１０２０の少なくとも一方と合成画像９００とを合成した合成画像１０００を生成して出力部２８０に供給する。なお、画像生成部２７０は、マーク１０２０に含まれるタイミングを示す情報が人物領域４５５、人物領域４５７、及び人物領域４５９に対応づけて視認されるよう、マーク１０２０をそれら人物領域の近傍に合成してよい。

そして、出力部２８０は、画像生成部２７０から供給された合成画像１０００を出力する。なお、画像生成部２７０は、静止画として合成画像を表示する場合に、オブジェクトの動きを示す情報を含む合成画像１０００を生成してよい。例えば、画像生成部２７０は、動画の再生が停止された場合に合成画像１０００を生成してよい。このように、画像生成部２７０は、マーク９１０及びマーク９２０を生成するので、人物の体部が重なっている合成画像１０００からでも、観察者１９０は人物の動きを容易に特定することができる。

図１１は、出力装置１７０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して出力装置１７０と通信し、出力装置１７０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して出力装置１７０に送信される。出力装置１７０に送信されたプログラムは、出力装置１７０においてインストールされて実行される。

出力装置１７０にインストールされて実行されるプログラムは、出力装置１７０を、図１から図１０に関連して説明した、動画取得部２００、条件格納部２１０、オブジェクト特定部２２０、動きオブジェクト抽出部２３０、オブジェクト領域特定部２４０、期間特定部２５０、動画構成画像選択部２６０、画像生成部２７０、出力部２８０、及び動き方向特定部２９０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

監視システム１１０の利用環境の一例を示す図である。 出力装置１７０のブロック構成の一例を示す図である。 出力装置１７０の動作フローの一例を示す図である。 画像生成部２７０が生成する合成画像４２０の一例を示す図である。 画像生成部２７０が生成する合成画像の一例を示す図である。 画像生成部２７０が生成する合成画像の他の一例を示す図である。 画像生成部２７０が生成する合成画像の更なる他の一例を示す図である。 条件格納部２１０が格納する条件の一例をテーブル形式で示す図である。 合成画像の他の一例を示す図である。 合成画像の更なる他の一例を示す図である。 出力装置１７０に係るコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像装置
１１０ 監視システム
１４０ 伝送経路
１５１ 監視領域
１５２ 監視領域
１５３ 監視領域
１５４ 監視領域
１５５ 監視領域
１５６ 監視領域
１７０ 出力装置
１８１ モニタ
１８２ モニタ
１８３ モニタ
１８４ モニタ
１８５ モニタ
１８６ モニタ
２００ 動画取得部
２１０ 条件格納部
２２０ オブジェクト特定部
２３０ 動きオブジェクト抽出部
２４０ オブジェクト領域特定部
２５０ 期間特定部
２６０ 動画構成画像選択部
２７０ 画像生成部
２８０ 出力部

Claims (11)

1. 動画から抽出されるべきオブジェクトの条件を格納する条件格納部と、
   動画を取得する動画取得部と、
   前記動画取得部が取得した動画において、前記条件格納部が格納している条件に適合するオブジェクトを特定するオブジェクト特定部と、
   前記オブジェクト特定部が特定したオブジェクトの中から、動画において動くオブジェクトを抽出する動きオブジェクト抽出部と、
   前記動画取得部が取得した動画に含まれる複数の動画構成画像のそれぞれにおいて、前記動きオブジェクト抽出部が抽出したオブジェクトが占める領域であるオブジェクト領域を特定するオブジェクト領域特定部と、
   前記動画取得部が取得した動画に含まれる複数の動画構成画像の中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する動画構成画像選択部と、
   前記動画構成画像選択部が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成する画像生成部と、
   前記画像生成部が生成した合成画像を出力する出力部と
   を備える出力装置。
2. 前記動画取得部が取得した動画において、前記動きオブジェクト抽出部が抽出したオブジェクトが動く方向を特定する動き方向特定部と、
   前記動画取得部が取得した動画において、前記動き方向特定部が特定した方向の変化量が予め定められた変化量より小さい期間を特定する期間特定部と
   をさらに備え、
   前記動画構成画像選択部は、前記期間特定部が特定した期間の動画を表す複数の動画構成画像の中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する
   請求項１に記載の出力装置。
3. 前記動画取得部が取得した動画において、互いに重ならない前記オブジェクト領域を有する動画構成画像間の時間間隔が予め定められた時間幅より短くなる期間を特定する期間特定部
   をさらに備え、
   前記動画構成画像選択部は、前記期間特定部が特定した期間の動画を表す複数の動画構成画像の中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する
   請求項１に記載の出力装置。
4. 前記動画構成画像選択部は、前記動画取得部が取得した動画における第１期間の動画に含まれる複数の動画構成画像の中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択し、
   前記画像生成部は、前記動画構成画像選択部が選択した複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成し、
   前記出力部は、前記第１期間の動画に含まれる複数の動画構成画像に代えて、前記画像生成部が生成した１つの合成画像を前記第１期間の動画を表す画像として出力する
   請求項１に記載の出力装置。
5. 前記動画構成画像選択部は、前記動画取得部が取得した動画における第１期間の動画に含まれる複数の動画構成画像の中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある第１の組の動画構成画像を選択し、前記第１期間の動画に含まれる複数の動画構成画像のうちの少なくとも一部の動画構成画像と、前記第１期間に続く第２期間の動画に含まれる複数の動画構成画像との中から、前記オブジェクト領域特定部が特定したオブジェクト領域が互いに重ならない位置にある第２の組の動画構成画像を選択し、
   前記画像生成部は、前記第１の組の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて第１合成画像を生成し、前記第２の組の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて第２合成画像を生成し、
   前記出力部は、前記第１期間及び前記第２期間の動画に含まれる複数の動画構成画像に代えて、前記画像生成部が生成した第１合成画像及び第２合成画像をそれぞれ前記第１期間及び前記第２期間の動画を表す画像として出力する
   請求項４に記載の出力装置。
6. 前記条件格納部は、動画から抽出されるべきオブジェクトの形状に関する条件を格納し、
   前記オブジェクト特定部は、前記条件格納部が格納している形状に関する条件に適合するオブジェクトを特定する
   請求項１から５のいずれか一項に記載の出力装置。
7. 前記条件格納部は、動画から抽出されるべきオブジェクトの位置に関する条件を格納し、
   前記オブジェクト特定部は、前記条件格納部が格納している位置に関する条件に適合するオブジェクトを特定する
   請求項１から５のいずれか一項に記載の出力装置。
8. 前記条件格納部は、動画から抽出されるべきオブジェクトが動く方向に関する条件を格納し、
   前記オブジェクト特定部は、前記条件格納部が格納している方向に関する条件に適合するオブジェクトを特定する
   請求項１から５のいずれか一項に記載の出力装置。
9. 前記条件格納部は、動画から抽出されるべきオブジェクトが動く実空間における方向に関する条件を格納し、
   前記オブジェクト特定部は、前記条件格納部が格納している実空間における方向に関する条件に適合するオブジェクトを特定する
   請求項８に記載の出力装置。
10. コンピュータを、請求項１から９のいずれか一項に記載の出力装置として機能させるためのプログラム。
11. 動画から抽出されるべきオブジェクトの条件を格納する条件格納段階と、
    動画を取得する動画取得段階と、
    前記動画取得段階において取得された動画において、前記条件格納段階において格納された条件に適合するオブジェクトを特定するオブジェクト特定段階と、
    前記オブジェクト特定段階において特定されたオブジェクトの中から、動画において動くオブジェクトを抽出する動きオブジェクト抽出段階と、
    前記動画取得段階において取得された動画に含まれる複数の動画構成画像のそれぞれにおいて、前記動きオブジェクト抽出段階において抽出されたオブジェクトが占める領域であるオブジェクト領域を特定するオブジェクト領域特定段階と、
    前記動画取得段階において取得された動画に含まれる複数の動画構成画像の中から、前記オブジェクト領域特定段階において特定されたオブジェクト領域が互いに重ならない位置にある複数の動画構成画像を選択する動画構成画像選択段階と、
    前記動画構成画像選択段階において選択された複数の動画構成画像のそれぞれに含まれる複数のオブジェクト領域を含む画像を重ね合わせて１つの合成画像を生成する画像生成段階と、
    前記画像生成段階において生成された合成画像を出力する出力段階と
    を備える出力方法。

Images