JP4546810B2

JP4546810B2 - 軌跡付加映像生成装置及び軌跡付加映像生成プログラム

Info

Publication number: JP4546810B2
Application number: JP2004339606A
Authority: JP
Inventors: 正樹高橋; 俊彦三須; 眞蓼沼
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2010-09-22
Anticipated expiration: 2024-11-24
Also published as: JP2006146823A

Description

本発明は、映像制作の技術に係り、特に、映像オブジェクトの軌跡を示した映像を生成する軌跡付加映像生成装置及び軌跡付加映像生成プログラムに関する。

従来、時系列に撮影される、映像を構成する画像（ノンインタレース方式の場合はフレーム画像、インタレース方式の場合はフレーム画像あるいはフィールド画像（以下、単にフレーム画像という））間の差分をとる方法によって、移動する物体の画像である映像オブジェクトを抽出し、その映像オブジェクトを重ね書きすることで、映像オブジェクトの軌跡を映像上に表現する装置が存在する。しかし、この技術では、例えば、野球中継等の映像において、抽出対象となる映像オブジェクトであるボールの軌跡を映像上に表現する場合において、ピッチャの腕やバットなどのボール以外の映像オブジェクトまでが抽出されてしまう。

そして、特定の映像オブジェクトのみを安定して抽出することができるシステムが開発されている（非特許文献１参照）。このシステムでは、時系列に入力されるフレーム画像ごとに、その直前に入力されたフレーム画像との差分画像と、直後に入力されたフレーム画像との差分画像とを求める。そして、この２つの差分画像で画素値の正負が異符号になる領域を映像オブジェクトの候補とする。更に、フレーム画像内において、誤検出されやすい映像オブジェクトが存在する領域を予めマスク領域として設定しておき、抽出された映像オブジェクトの候補から当該マスク領域内の映像オブジェクトを除外した後に、対象となる映像オブジェクトを選択して軌跡を表示する。

そのため、このシステムでは、野球のボールのような高速で移動する映像オブジェクトの軌跡を表示する場合に、低速で移動する映像オブジェクトを除去して対象となる映像オブジェクトを抽出できるとともに、誤検出されやすい映像オブジェクトが存在するマスク領域を除いて映像オブジェクトを抽出することができるため、安定して対象となる映像オブジェクトを追跡することができる。
高橋正樹、外３名、「野球の投球軌跡表示手法」、映像情報メディア学会技術報告、２００４年１０月２１日、ＶＯＬ．２８、ＮＯ．６１、ｐ．２５〜２８

しかし、非特許文献１のシステムでは、抽出された映像オブジェクトをそのまま他のフレーム画像に合成するものであり、抽出された映像オブジェクトの位置を、合成されるフレーム画像に合わせて自動的に変えることができなかった。例えば、合成されるフレーム画像内の映像オブジェクトの位置に合わせて、それ以前に抽出された異なる軌跡を描く映像オブジェクトの位置を全体的に移動させて表示することはできなかった。

一方で、例えば、野球中継などでは、投球後に球筋を振り返る映像として、スロー映像や軌跡映像を用いている。しかし、これらの映像では、その投球の球筋しか表示できないが、例えば、落差が大きい変化球などを表示する場合には、その変化球との比較対象がなければ、どの程度の落差の変化球なのかが伝わりにくい。そのため、ひとつの投球の軌跡（現在軌跡）だけでなく、更にそれ以前に取得された投球の軌跡（過去軌跡）を同時に表示することが望まれていた。

しかし、野球中継で一般的に利用されるセンタ方向から撮影するカメラの映像を利用して軌跡を表示する場合には、投球時には固定撮影されるものの、投球の合間には様々なカメラ操作が行われる。そのため、例えば、カメラアングルが変化した場合には、その後に撮影された映像に過去軌跡を表示すると、現在軌跡と過去軌跡とが、フレーム画像内の異なるところに表示されてしまい、過去軌跡を現在軌跡の比較対照として効果的に表示することはできなかった。

本発明は、前記従来技術の課題を解決するために成されたもので、フレーム画像内の映像オブジェクトの軌跡に合わせて、それ以前に取得された映像オブジェクトの軌跡の表示位置を変えて、当該軌跡を表示できる軌跡付加映像生成装置及び軌跡付加映像生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の軌跡付加映像生成装置は、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、映像オブジェクト検出装置と、映像遅延手段と、映像オブジェクト軌跡付加手段と、を備え、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段と、オブジェクト選定手段と、ＩＤ番号付加手段と、を備え、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段と、軌跡画像位置設定手段と、画像合成手段とを備える構成とした。

かかる構成によれば、軌跡付加映像生成装置は、映像オブジェクト検出装置によって、時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する。そして、軌跡付加映像生成装置は、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成装置は、映像オブジェクト軌跡付加手段によって、前記映像オブジェクト検出装置で検出された前記映像オブジェクトの位置を示す位置情報に基づいて、前記現在フレーム画像より前に撮影された前記映像オブジェクトの軌跡を示す画像である過去軌跡画像を前記現在フレーム画像に合成して、軌跡付加映像を生成する。そして、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段によって、前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成し、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、映像オブジェクト検出装置は、ＩＤ番号付加手段によって、前記オブジェクト選定手段で選定された同一の映像オブジェクトの一連の動きの軌跡を特定する軌跡番号を設定し、前記軌跡番号ごとに、前記映像オブジェクトの位置情報に対して時系列に連続番号としてＩＤ番号を付加する。そして、映像オブジェクト軌跡付加装置は、映像オブジェクト位置情報記憶手段に、前記ＩＤ番号付加手段から入力される、前記オブジェクト選定手段で選定された映像オブジェクトの位置として、複数のフレーム画像に連続して含まれる映像オブジェクトの位置情報である過去軌跡位置情報を、この映像オブジェクトの軌跡を特定する軌跡番号および前記付加されたＩＤ番号と対応させて記憶する。また、軌跡画像位置設定手段によって、映像オブジェクト位置情報記憶手段から、任意の軌跡番号に対応する過去軌跡位置情報を読み出して、現在フレーム画像の映像オブジェクトの位置情報あるいは当該映像オブジェクトの軌跡の位置情報に基づいて現在フレーム画像において過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、このシフト量だけ当該過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を現在フレーム画像上に設定する。更に、画像合成手段によって、オブジェクト選定手段で選定された映像オブジェクトの特徴量に基づいて、読み出した映像オブジェクトの軌跡を示す過去軌跡画像を生成し、軌跡画像位置設定手段によって設定された、現在フレーム画像上のシフトさせた過去軌跡位置に、生成した過去軌跡画像を合成する。そして、軌跡付加映像生成装置は、前記ＩＤ番号付加手段によって、前記抽出条件に適合する映像オブジェクトの位置情報を前記軌跡として取得しているときに前記抽出条件に適合する映像オブジェクトがない旨を前記オブジェクト選定手段から通知された場合に、当該軌跡を特定する軌跡番号に対応する前記ＩＤ番号の付加を終了し、前記抽出条件に適合する映像オブジェクトの位置情報を再び取得したときに、前回までに設定した各軌跡番号を新たな番号にそれぞれ更新すると共に、新たな軌跡を特定する軌跡番号を予め定められた初期値として前記ＩＤ番号の付与を開始する。

これによって、映像オブジェクト軌跡付加装置は、フレーム画像内の映像オブジェクトあるいはこの映像オブジェクトの軌跡の位置に合わせて、以前に検出された映像オブジェクトの軌跡の位置をシフトさせて、当該軌跡をフレーム画像に合成することができる。なお、映像オブジェクトの位置が検出されたフレーム画像と、この位置に基づいて軌跡画像が合成された他のフレーム画像は、同じ位置に設置されたカメラによって撮影されたものであり、撮影したカメラのカメラアングルは異なっていてもよい。そして、映像オブジェクトの位置が検出されたフレーム画像と他のフレーム画像とで、撮影時のカメラアングルが異なることによって、フレーム画像から検出された映像オブジェクトの位置と、他のフレーム画像の映像オブジェクトの位置とが対応しない場合においても、映像オブジェクト軌跡付加装置は、検出された映像オブジェクトの軌跡の位置をシフトさせて、他のフレーム画像の映像オブジェクトの位置と対応する位置に軌跡画像を付加することができる。また、入力される映像信号がインタレース方式で撮影されたものである場合は、映像オブジェクト軌跡付加装置は、各フレーム画像についての操作をフィールド画像について行うこととしてもよい。

また、請求項２に記載の軌跡付加映像生成プログラムは、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加するためにコンピュータを、オブジェクト候補画像生成手段、オブジェクト選定手段、映像遅延手段、ＩＤ番号付加手段、軌跡画像位置設定手段、画像合成手段として機能させることとした。

かかる構成によれば、軌跡付加映像生成プログラムは、オブジェクト候補画像生成手段によって、時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成し、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、軌跡付加映像生成プログラムは、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成プログラムは、ＩＤ番号付加手段によって、前記オブジェクト選定手段で選定された同一の映像オブジェクトの一連の動きの軌跡を特定する軌跡番号を設定し、前記軌跡番号ごとに、前記映像オブジェクトの位置情報に対して時系列に連続番号としてＩＤ番号を付加する。また、ＩＤ番号付加手段は、前記抽出条件に適合する映像オブジェクトの位置情報を前記軌跡として取得しているときに前記抽出条件に適合する映像オブジェクトがない旨を前記オブジェクト選定手段から通知された場合に、当該軌跡を特定する軌跡番号に対応する前記ＩＤ番号の付加を終了し、前記抽出条件に適合する映像オブジェクトの位置情報を再び取得したときに、前回までに設定した各軌跡番号を新たな番号にそれぞれ更新すると共に、新たな軌跡を特定する軌跡番号を予め定められた初期値として前記ＩＤ番号の付与を開始する。そして、軌跡付加映像生成プログラムは、軌跡画像位置設定手段によって、前記オブジェクト選定手段で選定された映像オブジェクトの位置として、前記現在フレーム画像より前に撮影された前記複数のフレーム画像に連続して含まれる前記映像オブジェクトの位置情報である過去軌跡位置情報を、前記軌跡を特定する軌跡情報と対応させて記憶する映像オブジェクト位置情報記憶装置から、任意の前記軌跡情報に対応する過去軌跡位置情報を読み出して、現在フレーム画像の映像オブジェクトの位置情報あるいは当該映像オブジェクトの軌跡の位置情報に基づいて現在フレーム画像において過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、このシフト量だけ当該過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を現在フレーム画像上に設定する。また、画像合成手段によって、オブジェクト選定手段で選定された映像オブジェクトの特徴量に基づいて、前記読み出した映像オブジェクトの軌跡を示す過去軌跡画像を生成し、軌跡画像位置設定手段によって設定された、現在フレーム画像上のシフトさせた過去軌跡位置に、生成した過去軌跡画像を合成して、軌跡付加映像を生成する。

これによって、軌跡付加映像生成プログラムは、フレーム画像内の映像オブジェクトあるいはこの映像オブジェクトの軌跡の位置に合わせて、以前に抽出された映像オブジェクトの軌跡の位置をシフトさせて、当該軌跡をフレーム画像に合成することができる。

本発明に係る軌跡付加映像生成装置及び軌跡付加映像生成プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項２に記載の発明によれば、映像内の映像オブジェクトや、この映像オブジェクトの軌跡と対比しやすい位置に、それ以前に抽出された映像オブジェクトの軌跡を表示することができる。そのため、過去軌跡を比較対照として、映像内の映像オブジェクトの動きの特徴を効果的に呈示できる映像を提供することができる。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明における映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）を、追跡対象となる動きを伴う映像オブジェクトの軌跡（現在軌跡）と、以前に撮影された映像内の映像オブジェクトの軌跡（過去軌跡）とを付加した映像を生成する軌跡付加映像生成装置に適用する場合について説明する。

［軌跡付加映像生成装置の構成］
まず、図１を参照して、軌跡付加映像生成装置の構成について説明する。図１は本発明の映像オブジェクト軌跡付加手段を備える軌跡付加映像生成装置の構成を示したブロック図である。軌跡付加映像生成装置１は、入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を、その後に入力されたフレーム画像に付加するものである。軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０と、映像遅延手段２０と、映像オブジェクト軌跡付加手段３０とを備える。

映像オブジェクト抽出手段（映像オブジェクト検出装置）１０は、入力された映像から、フレーム画像ごとに追跡対象となる映像オブジェクトを抽出し、追跡するものである。映像オブジェクト抽出手段１０は、オブジェクト候補画像生成手段１１と、オブジェクト選定手段１２と、抽出条件記憶手段１３と、位置予測手段１４と、探索領域設定手段１５と、ＩＤ番号付加手段１６を備える。

オブジェクト候補画像生成手段１１は、入力された映像からフレーム画像ごとに、追跡対象となる映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。ここでは、オブジェクト候補画像生成手段１１は、映像オブジェクトの候補の抽出対象となるフレーム画像と、このフレーム画像より１フレーム後に入力されたフレーム画像との差分画像（差分画像１）、及び、抽出対象となるフレーム画像と、このフレーム画像より１フレーム前に入力されたフレーム画像との差分画像（差分画像２）を生成し、これの差分画像（差分画像１、差分画像２）に基づいて、オブジェクト候補画像を生成することとした。オブジェクト候補画像生成手段１１は、画像遅延部１１１、１１２と、差分画像生成部１１３、１１４と、候補画像生成部１１５とを備える。

画像遅延部１１１、１１２は、入力された映像信号を１フレーム分遅延させるもので、例えば、一般的な遅延回路からなることとしてもよいし、入力された映像信号を１フレーム単位でデジタルデータとして記憶するメモリ等からなることとしてもよい。ここで、画像遅延部１１１は、外部から映像信号を入力し、この映像信号を１フレーム分だけ遅延させた映像信号として、画像遅延部１１２、差分画像生成部１１３、１１４及びオブジェクト選定手段１２の特徴量解析部１２２に出力する。また、画像遅延部１１２は、画像遅延部１１１から、１フレーム分遅延された映像信号が入力され、この映像信号を更に１フレーム分だけ遅延させることで、２フレーム分遅延された映像信号として、差分画像生成部１１４に出力する。

差分画像生成部１１３、１１４は、入力された２つの映像信号の輝度信号の信号レベルの差分を算出し、フレーム画像ごとに差分画像を生成するもので、一般的な減算回路等から構成することができる。ここで、画像遅延部１１１によって１フレーム分遅延された映像信号のフレーム画像を映像オブジェクトの候補の抽出対象とした。そして、差分画像生成部１１３は、画像遅延部１１１から入力された１フレーム分遅延された映像信号の輝度信号の信号レベルから、外部から入力された映像信号の輝度信号の信号レベルを減算することによって、差分画像１を生成する。また、差分画像生成部１１４は、画像遅延部１１２から入力された２フレーム分遅延された映像信号の輝度信号の信号レベルから、画像遅延部１１１から入力された１フレーム分遅延された映像信号の輝度信号の信号レベルを減算することで、差分画像２を生成する。ここで生成された差分画像（差分画像１及び差分画像２）は、候補画像生成部１１５に出力される。

候補画像生成部１１５は、後記する探索領域設定手段１５によって設定された探索領域について、差分画像生成部１１３、１１４から入力された差分画像（差分画像１及び差分画像２）の画素値（輝度信号の画素ごとの信号レベル）が所定の条件を満たすかを画素ごとに判定することで、オブジェクト候補画像を生成するものである。ここでは、画素ごとに、当該画素における差分画像１の画素値と差分画像２の画素値とが異符号であり、かつ、絶対値が所定の閾値以上となる場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”とすることでオブジェクト候補画像を生成することとした。これによって、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成されたオブジェクト候補画像は、オブジェクト選定手段１２に出力される。

オブジェクト選定手段１２は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像の中から、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクトを選定し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここで、オブジェクト選定手段１２は、ラベリング部１２１と、特徴量解析部１２２と、フィルタ処理部１２３と、オブジェクト選択部１２４とを備える。

ラベリング部１２１は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部１２１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされたことになる。

特徴量解析部１２２は、ラベリング部１２１でラベリングされたラベルに対応する映像オブジェクトの候補を解析し、当該映像オブジェクトの候補の位置及び映像オブジェクトを特徴付ける特徴量を解析するものである。ここで、特徴量解析部１２２は、オブジェクト候補画像生成手段１１の画像遅延部１１１から入力された、１フレーム遅延されたフレーム画像における、ラベリング部１２１でラベリングされたラベルに対応する映像オブジェクトに対応する領域の各々について、特徴量を解析する。そして、解析された映像オブジェクトの位置及び特徴量は、フィルタ処理部１２３に出力される。

ここで、映像オブジェクトの位置としては、映像オブジェクトの重心位置、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。また、映像オブジェクトの特徴量には、例えば、映像オブジェクトの面積、輝度、色、円形度を用いることができる。

面積は、例えば、映像オブジェクトの画素数を示す。また、輝度は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、色は、映像オブジェクトにおける各画素の色（例えばＲＧＢ値）の平均値を示す。なお、この色については、予め背景となる画像の背景色を初期値として、その背景色からの変化量を閾値としてもよい。円形度は、形状の複雑さを示す指標であって、円形に近いほど大きな値を有するものである。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、以下の式（１）で表される。
ｅ＝４πＳ／Ｌ² …（１）

フィルタ処理部１２３は、ラベリング部１２１で番号付けされた映像オブジェクトの候補毎に、特徴量解析部１２２から入力された特徴量に基づいて、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。ここで選択された映像オブジェクトのラベル及び位置は、オブジェクト選択部１２４に出力される。なお、抽出条件に適合する映像オブジェクトがない場合には、フィルタ処理部１２３は、その旨をＩＤ番号付加手段１６に通知する。

すなわち、このフィルタ処理部１２３は、映像オブジェクトの候補毎に、抽出条件情報１３１によって示される抽出条件（例えば、面積、輝度、色及び円形度）や、フィルタ処理（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）を行うことで、抽出条件を満たす映像オブジェクトを選択する。

オブジェクト選択部１２４は、フィルタ処理部１２３から入力されたラベルの映像オブジェクトの位置に基づいて、後記する位置予測手段１４によって、前のフレーム画像の映像オブジェクトの位置に基づいて算出された当該映像オブジェクトの予測位置に最も近い映像オブジェクトを、追跡対象となる映像オブジェクトとして選択するものである。ここで選択された映像オブジェクトの位置は、当該フレーム画像内における映像オブジェクトの軌跡を示す位置情報として、位置予測手段１４とＩＤ番号付加手段１６とに出力される。また、ここで選択された映像オブジェクトの特徴量は、画像合成手段３３の作画部３３１に出力される。

抽出条件記憶手段１３は、オブジェクト選定手段１２によって、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶手段からなる。この抽出条件記憶手段１３には、種々の抽出条件を示す抽出条件情報１３１を記憶している。

抽出条件情報１３１は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報１３１は、オブジェクト選定手段１２のフィルタ処理部１２３が、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像から、抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。

なお、抽出条件情報１３１には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを記憶しておく。これによって、閾値外の特徴を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

位置予測手段１４は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報に基づいて、次のフレーム画像における映像オブジェクトの予測位置を解析するものである。ここで、位置予測手段１４は、線形予測部１４１と、曲線予測部１４２と、切替部１４３とを備える

線形予測部１４１は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報（重心座標等）に基づいて、線形予測を用いて、次のフレーム画像における映像オブジェクトの予測位置を算出するものである。ここで、線形予測部１４１は、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎｆｉｌｔｅｒ）等を適用することで、次のフレーム画像における映像オブジェクトの予測位置を算出することができる。ここで算出された予測位置は、切替部１４３に出力される。

曲線予測部１４２は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報（重心座標等）に基づいて、当該映像オブジェクトの軌跡を２次曲線近似して、次のフレーム画像における映像オブジェクトの予測位置を算出するものである。ここで算出された予測位置は、切替部１４３に出力される。

切替部１４３は、線形予測部１４１から入力された予測位置と、曲線予測部１４２から入力された予測位置とのいずれか一方を、次のフレーム画像の映像オブジェクトの予測位置として出力するものである。ここで、切替部１４３は、例えば、既に抽出された映像オブジェクトの位置情報が、曲線予測に必要となる所定数未満である場合には、線形予測部１４１から入力された予測位置を出力し、所定数以上である場合には、曲線予測部１４２から入力された予測位置を出力することとしてもよい。また、誤検出等によって、曲線予測部１４２における軌跡の２次曲線近似における係数の値が大きく変化した場合や、係数が所定値を超えた場合に、曲線予測部１４２から線形予測部１４１の予測位置に切り替えて出力することとしてもよい。ここで選択された予測位置は、オブジェクト選定手段１２のオブジェクト選択部１２４と、探索領域設定手段１５とに入力される。

探索領域設定手段１５は、位置予測手段１４によって算出された、次のフレーム画像における映像オブジェクトの予測位置に基づいて、次のフレーム画像における、映像オブジェクトの探索領域を設定するものである。なお、この探索領域とは、オブジェクト候補画像生成手段１１によって次のフレーム画像からオブジェクト候補画像が生成される領域である。ここで設定された探索領域の位置と大きさは、オブジェクト候補画像生成手段１１の候補画像生成部１１５に出力される。ここで、探索領域設定手段１５は、図示しない入力手段から入力された大きさの領域を設定することとしてもよい。

ＩＤ番号付加手段１６は、オブジェクト選定手段１２によって時系列に入力されるフレーム画像から連続して追跡された映像オブジェクトの位置情報を、同一の映像オブジェクトの一連の動きの軌跡を構成する位置情報であるとして、この軌跡を示す軌跡番号（軌跡情報）を設定し、更に、軌跡番号ごとに、位置情報に対して時系列に連続番号（ＩＤ番号）を付加するものである。ここで、ＩＤ番号付加手段１６は、フィルタ処理部１２３から入力される、抽出条件に適合する映像オブジェクトがない通知に基づいて、オブジェクト選定手段１２による一連の動きの映像オブジェクトの抽出が終了したと判断することができる。そして、ＩＤ番号が付加された位置情報は、映像オブジェクト位置情報記憶手段３１に記憶される。

映像遅延手段２０は、外部から入力された映像信号のフレーム画像を、後記する画像合成手段３３によって合成される軌跡画像と同期させるために、所定数のフレーム分遅延させるものである。ここで遅延された映像信号は、映像オブジェクト軌跡付加手段３０の画像合成手段３３に出力される。

映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）３０は、映像オブジェクト抽出手段１０から入力された映像オブジェクトの位置情報に基づいて、映像遅延手段２０から入力された映像信号のフレーム画像である現在フレーム画像より前に撮影された映像オブジェクトの軌跡（過去軌跡）を示す画像である過去軌跡画像（軌跡画像）を現在フレーム画像に合成して、軌跡付加映像を生成するものである。映像オブジェクト軌跡付加手段３０は、映像オブジェクト位置情報記憶手段３１と、軌跡画像位置設定手段３２と、画像合成手段３３とを備える。

なお、ここでは映像オブジェクト軌跡付加手段３０は、過去軌跡画像とともに、現在フレーム画像の映像オブジェクトの軌跡（現在軌跡）を示す現在軌跡画像も現在フレーム画像に合成することとした。そして、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置と一致するように、過去軌跡の表示位置を全体的にずらして合成することとした。更に、映像オブジェクト軌跡付加手段３０は、図示しない入力手段から、過去軌跡画像の合成の指令を入力された場合には、過去軌跡画像と現在軌跡画像とを現在フレーム画像に合成することとし、過去軌跡画像の合成の指令が入力されない場合には、現在軌跡画像のみを現在フレーム画像に合成することとした。

映像オブジェクト位置情報記憶手段（映像オブジェクト位置情報記憶装置）３１は、ＩＤ番号付加手段１６から入力された映像オブジェクトの位置情報を記憶するもので、一般的なハードディスク等の記憶媒体である。ここで記憶される位置情報は、オブジェクト選定手段１２によって抽出された映像オブジェクトの位置を示す情報であり、例えば、映像オブジェクトの重心位置とする。この位置情報は、軌跡画像位置設定手段３２によって、過去軌跡画像を合成する位置を設定する際に、参照されて用いられる。

なお、ここでは、映像オブジェクト位置情報記憶手段３１は、映像オブジェクトの位置情報と、軌跡番号（軌跡情報）とを対応させて記憶し、更に、各々の位置情報と、軌跡番号ごとに時系列に付されたＩＤ番号とを対応させて記憶することとした。ここで、図２を参照（適宜図１参照）して、映像オブジェクト位置情報記憶手段３１に記憶される位置情報について説明する。図２は、映像オブジェクト位置情報記憶手段に記憶された位置情報の例を説明するための説明図、（ａ）は、１つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例、（ｂ）は、２つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例である。

まず、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６から、ＩＤ番号が付加された位置情報が入力される。ここで、映像オブジェクト位置情報記憶手段３１に、ＩＤ番号付加手段１６から、ＩＤ番号「１」が付加されている位置情報（ｘ₁，ｙ₁）が入力されたとする。なお、ここでは、例えば、フレーム画像の左下を原点とし、横方向にｘ軸、縦方向にｙ軸を設定したとする。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、入力された位置情報Ｃ１（ｘ₁，ｙ₁）を軌跡番号「１」（Ｔ１）とＩＤ番号「１」（Ｉ１）とに対応させて記憶する。

そして、オブジェクト選定手段１２によって、連続するフレーム画像から次の映像オブジェクトが抽出された場合には、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６からＩＤ番号「２」が付加された位置情報（ｘ₂，ｙ₂）が入力される。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、この位置情報Ｃ２（ｘ₂，ｙ₂）を軌跡番号「１」（Ｔ１）とＩＤ番号「２」（Ｉ２）とに対応させて記憶する。

そして、オブジェクト選定手段１２によって、連続するフレーム画像から更にｎ₁−２個の映像オブジェクトが順次抽出されたとする。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、これらの位置情報Ｃ３、…、Ｃｎ（（ｘ₃，ｙ₃）、…、（ｘ_n，ｙ_n））を軌跡番号「１」（Ｔ１）とＩＤ番号「３」、…、「ｎ」（Ｉ３、…、Ｉｎ）とに対応させて記憶する。

ここで、映像オブジェクト抽出手段１０によって、連続するフレーム画像から映像オブジェクトが抽出されなかったとする。そうすると、この通知がＩＤ番号付加手段１６に入力され、この通知に基づいてＩＤ番号付加手段１６は、映像オブジェクト位置情報記憶手段３１に記憶された各々の軌跡番号に１を加えて書き換える。図２（ａ）では、映像オブジェクト位置情報記憶手段３１に記憶されている軌跡番号「１」（Ｔ１）を「２」（図２（ｂ）のＴ２）に書き換える。これによって、現在フレーム画像の映像オブジェクトの軌跡を示す軌跡番号が常に「１」になる。

その後、映像オブジェクト抽出手段１０によって、異なる軌跡を描く映像オブジェクトのうちの最初の映像オブジェクトが抽出された場合には、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６からＩＤ番号「１」が付加された位置情報（ｘ_n+1，ｙ_n+1）が入力される。そして、図２（ｂ）に示すように、映像オブジェクト位置情報記憶手段３１は、この位置情報Ｃｎ＋１（ｘ_n+1，ｙ_n+1）を軌跡番号「１」（Ｔ１’）とＩＤ番号「１」（Ｉｎ＋１）とに対応させて記憶する。以上のようにして、映像オブジェクト位置情報記憶手段３１は、軌跡番号と、ＩＤ番号とを位置情報に対応させて記憶することができる。

図１に戻って説明を続ける。軌跡画像位置設定手段３２は、過去軌跡画像を、後記する画像合成手段３３によって作画して合成する位置を設定するものである。ここで、軌跡画像位置設定手段３２は、位置情報読み出し部３２１と、付加位置設定部３２２とを備える。

位置情報読み出し部３２１は、現在フレーム画像より前に撮影された映像オブジェクトの軌跡の位置情報（過去軌跡位置情報）と、現在フレーム画像の映像オブジェクトと同一の軌跡番号（ここでは軌跡番号「１」）の位置情報とを、映像オブジェクト位置情報記憶手段３１から読み出すものである。ここで、位置情報読み出し部３２１は、図示しない入力手段によって外部から過去軌跡画像の合成の指令とともに入力された軌跡番号に対応する位置情報を、映像オブジェクト位置情報記憶手段３１から読み出す。なお、ここでは、位置情報読み出し部３２１は、過去軌跡画像の合成の指令とともに軌跡番号が入力されなかった場合には、現在フレーム画像の映像オブジェクトの１つ前の軌跡を示す軌跡番号（ここでは軌跡番号「２」）の位置情報を、映像オブジェクト位置情報記憶手段３１から読み出すこととした。

また、ここでは、過去軌跡の最初の映像オブジェクトの位置を現在軌跡の最初の映像オブジェクトの位置に一致させるため、位置情報読み出し部３２１は、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうち、ＩＤ番号が１である位置情報を読み出す。ここで読み出された位置情報は、付加位置設定部３２２に出力される。

付加位置設定部３２２は、位置情報読み出し部３２１から入力された位置情報に基づいて、過去軌跡画像の位置を設定するものである。ここで、付加位置設定部３２２は、位置情報読み出し部３２１から入力された過去軌跡の映像オブジェクトの位置情報によって示される位置を、現在軌跡の最初の映像オブジェクトの位置に合わせてシフトして、過去軌跡画像の位置を設定する。ここで設定された過去軌跡画像の位置は、画像合成手段３３の合成部３３２に出力される。

ここでは、付加位置設定部３２２は、過去軌跡を示す位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とに基づいて、過去軌跡画像の位置を設定する。ここで、図３を参照（適宜図１参照）して、過去軌跡画像の位置を設定する方法について説明する。図３は、付加位置設定部によって、過去軌跡画像の位置を設定する方法の例を説明するための説明図、（ａ）は、位置情報読み出し部によって読み出された過去軌跡の映像オブジェクトの位置情報と、現在軌跡の最初の映像オブジェクトの位置情報によって示される位置を模式的に示した模式図、（ｂ）は、付加位置設定部によって設定された過去軌跡画像の位置を模式的に示した模式図である。なお、ここでは、フレーム画像の横方向にｘ軸、縦方向にｙ軸を設定している。

位置情報読み出し部３２１によって、軌跡番号「ｋ」の位置情報（ここでは重心座標とする）がｎ_k個と、現在軌跡の最初（ＩＤ番号が「１」）の映像オブジェクトの位置情報とが読み出された場合に、図３（ａ）に示すように、軌跡番号が「ｋ」、ＩＤ番号が「１」の位置情報Ｃｋ１を（ｘｋ１，ｙｋ１）、ＩＤ番号が「２」の位置情報Ｃｋ２を（ｘｋ２，ｙｋ２）、ＩＤ番号が「ｎ_k」の位置情報Ｃｋｎ_kを（ｘｋｎ_k，ｙｋｎ_k）とし、現在軌跡の最初の映像オブジェクトの位置情報Ｃ０を（ｘ０，ｙ０）とする。

そうすると、付加位置設定部３２２は、過去軌跡の最初（ＩＤ番号が「１」）の位置情報Ｃｋ１（ｘｋ１，ｙｋ１）を、現在軌跡の最初の映像オブジェクトの位置情報Ｃ０（ｘ０，ｙ０）に一致させるため、ｘ、ｙ軸方向に（ｘ０−ｘｋ１，ｙ０−ｙｋ１）だけ移動させて、過去軌跡画像の位置Ｄｋ１（ｘ０，ｙ０）に設定する。そして、過去軌跡のその他の位置情報Ｃｋ２、…、Ｃｋｎ_kの位置も、ｘ、ｙ軸方向に（ｘ０−ｘｋ１，ｙ０−ｙｋ１）ずつ移動させ、過去軌跡画像の位置Ｄｋ２（ｘｋ２＋ｘ０−ｘｋ１，ｙｋ２＋ｙ０−ｙｋ１）、…、Ｄｋｎ_k（ｘｋｎ_k＋ｘ０−ｘｋ１，ｙｋｎ_k＋ｙ０−ｙｋ１）とする。

これによって、付加位置設定部３２２は、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置と一致するように、全体的にずらした位置に過去軌跡画像を合成する位置を設定することができる。

なお、ここでは、付加位置設定部３２２は、過去軌跡における最初の映像オブジェクトの位置を、現在軌跡における最初の映像オブジェクトの位置に設定することとしたが、過去軌跡画像を合成する位置の設定方法はこれに限定されることはない。例えば、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置から所定距離だけ上の位置になるように設定することとしてもよいし、現在フレーム画像の映像オブジェクトとＩＤ番号が同一の過去軌跡の映像オブジェクトの位置が、現在フレーム画像の映像オブジェクトの位置になるように設定することとしてもよい。

図１に戻って説明を続ける。画像合成手段３３は、映像遅延手段２０から入力された映像信号のフレーム画像における、軌跡画像位置設定手段３２によって設定された位置に、過去軌跡画像を作画して合成するものである。ここで、画像合成手段３３は、作画部３３１と、合成部３３２とを備える。

作画部３３１は、付加位置設定部３２２から入力された位置に、過去軌跡画像を生成するとともに、現在フレーム画像の映像オブジェクトと同一の軌跡番号（ここでは軌跡番号「１」）の位置情報を読み出し、この位置情報によって示される位置に、映像オブジェクト抽出手段１０のオブジェクト選定手段１２から入力された映像オブジェクトの特徴量に基づいて、現在フレーム画像の映像オブジェクトの軌跡を示す現在軌跡画像を作画するものである。ここで作画された画像は、合成部３３２に出力される。

合成部３３２は、作画部３３１から入力された画像を、映像遅延手段２０から入力された映像信号のフレーム画像に合成するものである。ここで合成されたフレーム画像からなる映像は、軌跡付加映像として外部に出力される。

以上、本発明に係る軌跡付加映像生成装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、映像オブジェクト抽出手段１０は、映像オブジェクトの抽出対象となるフレーム画像と、このフレーム画像より１フレーム前及び後に入力されたフレーム画像との２つの差分画像を生成して、映像オブジェクトを抽出することとしたが、映像オブジェクト抽出手段１０の映像オブジェクトの抽出方法はこれに限定されることなく、フレーム画像ごとに映像オブジェクトの位置を検出できればよい。例えば、抽出対象となる映像オブジェクトの形状によって、映像オブジェクトをフレーム画像から検出することとしてもよいし、映像オブジェクトの色によって検出することとしてもよい。

また、ここでは、映像オブジェクト位置情報記憶手段３１が、映像オブジェクトの位置情報と、軌跡番号と、ＩＤ番号とを対応させて記憶することとし、位置情報読み出し部３２１が、過去軌跡の位置情報とともに、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうち、ＩＤ番号が１である位置情報を読み出すこととしたが、例えば、映像オブジェクト位置情報記憶手段３１が、位置情報と軌跡番号のみを対応させて記憶するこことしてもよい。このとき、位置情報読み出し部３２１は、例えば、映像オブジェクトが映像中を左から右に移動する場合において、過去軌跡の位置情報とともに、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうちの、ｘ座標の値が一番小さい位置情報を読み出すこととしてもよい。

更に、ここでは、ＩＤ番号付加手段１６によって、軌跡番号を設定し、映像オブジェクト位置情報記憶手段３１が、この軌跡番号と、映像オブジェクトの位置情報とを対応させて記憶することとしたが、軌跡情報は軌跡を特定できるものであればよい。例えば、軌跡付加映像生成装置１は、ＩＤ番号付加手段１６を備えず、映像オブジェクト位置情報記憶手段３１が、この映像オブジェクトが抽出されたフレーム画像の撮影された時刻等を軌跡情報とし、この軌跡情報と、位置情報とを対応させて記憶することとしてもよい。このとき、例えば、位置情報読み出し部３２１は、軌跡情報の時刻が連続する位置情報を一連の動きの軌跡を示す位置情報であるとして、外部から入力された指令に基づいて指定された軌跡の位置情報を読み出すことができる。また、映像オブジェクト位置情報記憶手段３１が、例えば、位置情報をテキストデータ等として記憶することとし、軌跡ごとに行を変えて記録することとしてもよい。このとき、位置情報読み出し部３２１は、行番号を軌跡情報として任意の軌跡の位置情報を読み出すことができる。

また、ここでは、軌跡が付加される１つの映像を外部から入力し、映像オブジェクト位置情報記憶手段３１には、位置情報として、この映像のフレーム画像における映像オブジェクトの２次元座標が記憶されて、付加位置設定部３２２がこの２次元座標に基づいて過去軌跡画像の位置を設定することとしたが、例えば、異なる場所から撮影された映像を更に外部から入力して、映像オブジェクトの３次元位置（３次元座標）を解析することとしてもよい。このとき、映像オブジェクト抽出手段１０が、２つ以上の映像から抽出された映像オブジェクトの２次元座標と、撮影したカメラのカメラパラメータとに基づいて映像オブジェクトの３次元座標を解析して、この３次元座標を位置情報として映像オブジェクト位置情報記憶手段３１に記憶することとしてもよい。また、映像オブジェクト抽出手段１０によって２つ以上の映像から抽出された映像オブジェクトの２次元座標を位置情報として映像オブジェクト位置情報記憶手段３１に記憶することとし、位置情報読み出し部３２１が、撮影したカメラのカメラパラメータと、読み出した位置情報とに基づいて３次元座標を解析することとしてもよい。そして、付加位置設定部３２２は、過去軌跡と現在軌跡の位置に基づいて、過去軌跡の３次元座標をあるシフト量だけシフトさせ、シフトされた３次元座標を透視投影変換等によって、フレーム画像における２次元座標に変換することで、映像に更に正確な過去軌跡を付加することができる。

なお、軌跡付加映像生成装置１の映像オブジェクト軌跡付加手段３０は、一般的なコンピュータにプログラム（映像オブジェクト軌跡付加プログラム）を実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。

［軌跡付加映像生成装置の動作］
次に、図４及び図５を参照（適宜図１参照）して、本発明における軌跡付加映像生成装置１の動作について説明する。図４は、本発明における軌跡付加映像生成装置が、フレーム画像から被写体の位置を抽出し、このフレーム画像に現在軌跡を示す現在軌跡画像と過去軌跡を示す過去軌跡画像とを付加した軌跡付加映像を生成する動作を示したフローチャートである。図５は、映像オブジェクト抽出手段が、フレーム画像から映像オブジェクトの位置を抽出する動作（映像オブジェクト抽出動作）を示したフローチャートである。

まず、図４を参照して、軌跡付加映像生成装置１の動作について説明する。軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、後記する映像オブジェクト抽出動作によって、外部から入力されたフレーム画像から映像オブジェクトの位置を検出する（ステップＳ１０）。そして、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、この映像オブジェクト抽出動作によって映像オブジェクトが抽出されたかを判断する（ステップＳ１１）。そして、抽出されなかった場合には（ステップＳ１１でＮｏ）、そのままステップＳ２３に進む。また、抽出された場合には（ステップＳ１１でＹｅｓ）、軌跡付加映像生成装置１は、映像オブジェクト軌跡付加手段３０の映像オブジェクト位置情報記憶手段３１に、ステップＳ１０において抽出された映像オブジェクトの位置情報を記憶する（ステップＳ１２）。

続いて、軌跡付加映像生成装置１は、軌跡画像位置設定手段３２の位置情報読み出し部３２１によって、フレーム画像への過去軌跡画像の合成の指令を外部から入力したかを判断する（ステップＳ１３）。そして、フレーム画像への過去軌跡画像の合成の指令を外部から入力していない場合には（ステップＳ１３でＮｏ）、軌跡付加映像生成装置１は、画像合成手段３３の作画部３３１によって、映像オブジェクト位置情報記憶手段３１から現在軌跡の位置情報を読み出し（ステップＳ２０）、ステップＳ２０において読み出された位置情報によって示される位置に現在軌跡画像を作画して（ステップＳ２１）、ステップＳ２２に進む。

一方、過去軌跡画像の合成の指令を入力した場合には（ステップＳ１３でＹｅｓ）、位置情報読み出し部３２１は、指令とともに合成する軌跡の軌跡番号を入力したかを判断する（ステップＳ１４）。

（軌跡画像位置設定ステップ）
そして、軌跡番号を入力していない場合には（ステップＳ１４でＮｏ）、軌跡付加映像生成装置１は、位置情報読み出し部３２１によって、映像オブジェクト位置情報記憶手段３１から現在フレーム画像の映像オブジェクトの１つ前の軌跡を示す軌跡番号の位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とを読み出し（ステップＳ１５）、ステップＳ１７に進む。また、軌跡番号を入力した場合には（ステップＳ１４でＹｅｓ）、軌跡付加映像生成装置１は、位置情報読み出し部３２１によって、映像オブジェクト位置情報記憶手段３１から、入力された軌跡番号に対応する位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とを読み出す（ステップＳ１６）。そして、軌跡付加映像生成装置１は、付加位置設定部３２２によって、ステップＳ１５又はステップＳ１６において読み出された位置情報に基づいて、現在フレーム画像内に過去軌跡画像を合成する位置を設定する（ステップＳ１７）。

更に、軌跡付加映像生成装置１は、画像合成手段３３の作画部３３１によって、映像オブジェクト位置情報記憶手段３１から現在軌跡の位置情報を読み出す（ステップＳ１８）。

（画像合成ステップ）
続いて、軌跡付加映像生成装置１は、作画部３３１によって、ステップＳ１７において設定された位置に過去軌跡画像を作画し、ステップＳ１８において読み出された位置情報によって示される位置に現在軌跡画像を作画する（ステップＳ１９）。更に、軌跡付加映像生成装置１は、合成部３３２によって、ステップＳ１９又はステップＳ２１において作画された画像を、現在フレーム画像に合成する（ステップＳ２２）。

そして、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、新たなフレーム画像が外部から入力されたかを判断する（ステップＳ２３）。そして、新たな画像が入力された場合には（ステップＳ２３でＹｅｓ）、ステップＳ１０に戻って、入力されたフレーム画像から映像オブジェクトを抽出する映像オブジェクト抽出動作以降の動作を行う。また、新たなフレーム画像が入力されなかった場合には（ステップＳ２３でＮｏ）、そのまま動作を終了する。

［映像オブジェクト抽出動作］
次に図５を参照（適宜図１参照）して、軌跡付加映像生成装置１が映像オブジェクト抽出手段１０（映像オブジェクト検出装置）によって、外部から入力されたフレーム画像から映像オブジェクトを抽出する、映像オブジェクト抽出動作（図４のステップＳ１０）について説明する。

まず、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０の探索領域設定手段１５によって、位置予測手段１４で、外部から入力されたフレーム画像の２つ前のフレーム画像（抽出対象となるフレーム画像の１つ前のフレーム画像）内の映像オブジェクトの位置から算出された予測位置に基づいて、映像オブジェクトの探索領域を設定する（ステップＳ４０）。なお、抽出対象となるフレーム画像の１つ前のフレーム画像の映像オブジェクトについて、位置予測手段１４によって予測位置が算出されていない場合には、軌跡付加映像生成装置１は、フレーム画像の全領域、あるいは、指定された領域を設定する。そして、軌跡付加映像生成装置１は、オブジェクト候補画像生成手段１１によって、差分画像１及び差分画像２を生成し、外部から入力されたフレーム画像の１つ前のフレーム画像（抽出対象となるフレーム画像）から、ステップＳ４０において設定された探索領域についてオブジェクト候補画像を生成する（ステップＳ４１）。

更に、軌跡付加映像生成装置１は、オブジェクト選定手段１２のラベリング部１２１によって、映像オブジェクトの候補となる領域に対してラベルを付す（ステップＳ４２）。そして、軌跡付加映像生成装置１は、特徴量解析部１２２によって、ステップＳ４２においてラベリングされたラベルに対応する映像オブジェクトの候補の位置と特徴量とを解析する（ステップＳ４３）。続いて、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、ステップＳ４３において解析された特徴量に基づいて、ステップＳ４２においてラベリングされたラベルに対応する映像オブジェクトの候補から抽出対象となる映像オブジェクトを絞り込むフィルタ処理を行う（ステップＳ４４）。ここで、フィルタ処理部１２３は、各々の映像オブジェクトの候補の特徴量が、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に適合するかを判断することで、フィルタ処理を行う。

更に、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、ステップＳ４４において行ったフィルタ処理において、抽出条件に適合する映像オブジェクトがないかを判断する（ステップＳ４５）。そして、抽出条件に適合する映像オブジェクトがない場合には（ステップＳ４５でＹｅｓ）、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、このフレーム画像内には抽出対象となる映像オブジェクトがないと判断して、そのまま動作を終了する。また、抽出条件に適合する映像オブジェクトがある場合には（ステップＳ４５でＮｏ）、軌跡付加映像生成装置１は、オブジェクト選択部１２４によって、ステップＳ４４においてフィルタ処理された、抽出条件に適合する映像オブジェクトの中から、抽出対象となる映像オブジェクトを選択する（ステップＳ４６）。ここで、オブジェクト選択部１２４は、抽出条件に適合する映像オブジェクトのうち、位置予測手段１４によって抽出対象となるフレーム画像の１つ前のフレーム画像の映像オブジェクトの位置から算出された予測位置に最も近い映像オブジェクトを、抽出対象となる映像オブジェクトとして選択する。

そして、軌跡付加映像生成装置１は、ＩＤ番号付加手段１６によって、ステップＳ４６において選択された映像オブジェクトの位置を示す位置情報にＩＤ番号を付加する（ステップＳ４７）。また、軌跡付加映像生成装置１は、位置予測手段１４によって、ステップ４５によって選択された映像オブジェクトの位置に基づいて次のフレーム画像における映像オブジェクトの予測位置を算出し（ステップＳ４８）、動作を終了する。なお、ここで算出された予測位置は、探索領域設定手段１５によって、次の抽出対象となるフレーム画像において探索領域を設定する際（ステップＳ４０）と、オブジェクト選定手段１２のオブジェクト選択部１２４によって、次の抽出対象となるフレーム画像において映像オブジェクトを選択する際（ステップＳ４６）に用いられる。

本発明における映像オブジェクト軌跡付加手段を備える軌跡付加映像生成装置の構成を示したブロック図である。本発明における軌跡付加映像生成装置の映像オブジェクト位置情報記憶手段に記憶された位置情報の例を説明するための説明図、（ａ）は、１つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例、（ｂ）は、２つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例である。本発明における軌跡付加映像生成装置の付加位置設定部によって、過去軌跡画像の位置を設定する方法の例を説明するための説明図、（ａ）は、位置情報読み出し部によって読み出された過去軌跡の映像オブジェクトの位置情報と、現在軌跡の最初の映像オブジェクトの位置情報によって示される位置を模式的に示した模式図、（ｂ）は、付加位置設定部によって設定された過去軌跡画像の位置を模式的に示した模式図である。本発明における軌跡付加映像生成装置が、フレーム画像から被写体の位置を抽出し、このフレーム画像に現在軌跡を示す現在軌跡画像と過去軌跡を示す過去軌跡画像とを付加した軌跡付加映像を生成する動作を示したフローチャートである。本発明における軌跡付加映像生成装置の映像オブジェクト抽出手段が、フレーム画像から映像オブジェクトの位置を抽出する動作（映像オブジェクト抽出動作）を示したフローチャートである。

符号の説明

１軌跡付加映像生成装置
１０映像オブジェクト抽出手段（映像オブジェクト検出装置）
２０映像遅延手段
３０映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）
３１映像オブジェクト位置情報記憶手段（映像オブジェクト位置情報記憶装置）
３２軌跡画像位置設定手段
３３画像合成手段

Claims

所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、
時系列に入力されるフレーム画像内の映像オブジェクトの位置を検出する映像オブジェクト検出装置と、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段と、
前記映像オブジェクト検出装置で検出された前記映像オブジェクトの位置を示す位置情報に基づいて、前記現在フレーム画像より前に撮影された前記映像オブジェクトの軌跡を示す画像である過去軌跡画像を前記現在フレーム画像に合成して、軌跡付加映像を生成する映像オブジェクト軌跡付加手段と、を備え、
前記映像オブジェクト検出装置は、
前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段と、
前記オブジェクト選定手段で選定された同一の映像オブジェクトの一連の動きの軌跡を特定する軌跡番号を設定し、前記軌跡番号ごとに、前記映像オブジェクトの位置情報に対して時系列に連続番号としてＩＤ番号を付加するＩＤ番号付加手段と、を備え、
前記映像オブジェクト軌跡付加手段は、
前記ＩＤ番号付加手段から入力される、前記オブジェクト選定手段で選定された映像オブジェクトの位置として、前記複数のフレーム画像に連続して含まれる前記映像オブジェクトの位置情報である過去軌跡位置情報を、前記軌跡を特定する軌跡番号および前記付加されたＩＤ番号と対応させて記憶する映像オブジェクト位置情報記憶手段と、
この映像オブジェクト位置情報記憶手段から、任意の前記軌跡番号に対応する前記過去軌跡位置情報を読み出して、前記現在フレーム画像の映像オブジェクトの位置情報あるいは当該映像オブジェクトの軌跡の位置情報に基づいて前記現在フレーム画像において前記過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、前記シフト量だけ当該過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を前記現在フレーム画像上に設定する軌跡画像位置設定手段と、
前記オブジェクト選定手段で選定された映像オブジェクトの特徴量に基づいて、前記読み出した映像オブジェクトの軌跡を示す前記過去軌跡画像を生成し、前記軌跡画像位置設定手段によって設定された、前記現在フレーム画像上の前記シフトさせた過去軌跡位置に、前記生成した過去軌跡画像を合成する画像合成手段とを備え、
前記ＩＤ番号付加手段は、
前記抽出条件に適合する映像オブジェクトの位置情報を前記軌跡として取得しているときに前記抽出条件に適合する映像オブジェクトがない旨を前記オブジェクト選定手段から通知された場合に、当該軌跡を特定する軌跡番号に対応する前記ＩＤ番号の付加を終了し、前記抽出条件に適合する映像オブジェクトの位置情報を再び取得したときに、前回までに設定した各軌跡番号を新たな番号にそれぞれ更新すると共に、新たな軌跡を特定する軌跡番号を予め定められた初期値として前記ＩＤ番号の付与を開始することを特徴とする軌跡付加映像生成装置。
所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加するために、コンピュータを、
時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段、
前記オブジェクト選定手段で選定された同一の映像オブジェクトの一連の動きの軌跡を特定する軌跡番号を設定し、前記軌跡番号ごとに、前記映像オブジェクトの位置情報に対して時系列に連続番号としてＩＤ番号を付加するＩＤ番号付加手段、
前記オブジェクト選定手段で選定された映像オブジェクトの位置として、前記現在フレーム画像より前に撮影された前記複数のフレーム画像に連続して含まれる前記映像オブジェクトの位置情報である過去軌跡位置情報を、前記軌跡を特定する軌跡情報と対応させて記憶する映像オブジェクト位置情報記憶装置から、任意の前記軌跡情報に対応する前記過去軌跡位置情報を読み出して、前記現在フレーム画像の映像オブジェクトの位置情報あるいは当該映像オブジェクトの軌跡の位置情報に基づいて前記現在フレーム画像において
前記過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、前記シフト量だけ当該過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を前記現在フレーム画像上に設定する軌跡画像位置設定手段、
前記オブジェクト選定手段で選定された映像オブジェクトの特徴量に基づいて、前記読み出した映像オブジェクトの軌跡を示す前記過去軌跡画像を生成し、前記軌跡画像位置設定手段によって設定された、前記現在フレーム画像上の前記シフトさせた過去軌跡位置に、前記生成した過去軌跡画像を合成して、軌跡付加映像を生成する画像合成手段として機能させ、
ＩＤ番号付加手段は、前記抽出条件に適合する映像オブジェクトの位置情報を前記軌跡として取得しているときに前記抽出条件に適合する映像オブジェクトがない旨を前記オブジェクト選定手段から通知された場合に、当該軌跡を特定する軌跡番号に対応する前記ＩＤ番号の付加を終了し、前記抽出条件に適合する映像オブジェクトの位置情報を再び取得したときに、前回までに設定した各軌跡番号を新たな番号にそれぞれ更新すると共に、新たな軌跡を特定する軌跡番号を予め定められた初期値として前記ＩＤ番号の付与を開始することを特徴とする軌跡付加映像生成プログラム。