JP6075315B2 - 合成画像作成システム、合成画像作成方法、及び合成画像作成プログラム - Google Patents

Description

本発明は、合成画像作成システム、合成画像作成方法、及び合成画像作成プログラムに関する。特に、本発明は、合成画像から時間情報を容易に把握できる合成画像作成システム、合成画像作成方法、及び合成画像作成プログラムに関する。

従来、撮像手段から与えられた画像を受け取ると共に、一時記憶部に記憶する記憶処理手段と、一時記憶部に記憶された所定の複数の画像を読み出すと共に、その読み出した複数の処理対象画像から基準画像を生成する手段と、生成した基準画像と処理対象画像とを比較し、所定以上相違する部分を基準画像に重ね合わせることにより軌跡画像を生成する軌跡画像生成手段と、その生成した軌跡画像を出力装置に向けて出力する軌跡画像出力手段とを備える運動動作解析支援装置が知られている（例えば、特許文献１参照。）。特許文献１に記載の運動動作解析支援装置によれば、屋外、屋内等の状況に依存せず、簡単な画像処理によって、定量的、直感的に設備等の監視対象の動作を分析、解析する情報を出力することができる。

特開２００２−２９８１４３号公報

特許文献１に記載されているような運動動作解析支援装置においては、画像に含まれる複数のオブジェクトそれぞれの時間関係を把握することは容易ではない。

したがって、本発明の目的は、画像に含まれる複数の動物体それぞれの時間関係を容易に把握することができる合成画像作成システム、合成画像作成方法、及び合成画像作成プログラムを提供することにある。

本発明は、上記目的を達成するため、時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定部と、一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正部と、前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成部とを備える合成画像作成システムが提供される。

また、上記合成画像作成システムにおいて、前記画像合成部が、前記一の動物体領域の輪郭と前記他の動物体領域の輪郭とに、前記色情報を付加することもできる。

また、上記合成画像作成システムにおいて、前記画像合成部が、前記色情報を付加する場合に、前記一の動物体領域及び前記他の動物体領域の背景色に基づいて、付加する前記色情報を決定してもよい。

また、上記合成画像作成システムにおいて、前記画像合成部が、前記色情報を付加する場合に、前記一の動物体領域及び前記他の動物体領域の背景色を白黒画像にすることもできる。

また、上記合成画像作成システムにおいて、前記画像合成部が、予め定められた波長順に基づいて前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに前記色情報を付加することもできる。

また、上記合成画像作成システムにおいて、前記画像合成部が、前記時系列に沿った順に複数の動物体領域を含む前記合成画像を生成する場合であって、予め定められた色数の前記色情報を前記複数の動物体領域のそれぞれに付加する場合に、前記時系列の最初の時における第一の動物体領域に付加する色情報と、前記時系列の最後の時における第二の動物体領域に付加する色情報とに明度若しくは彩度が異なる色を用いてもよい。

また、本発明は、上記目的を達成するため、時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定段階と、一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正段階と、前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成段階とを備える合成画像作成方法が提供される。

また、本発明は、上記目的を達成するため、合成画像作成システム用の合成画像作成プログラムであって、コンピューターに、時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定機能と、一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正機能と、前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成機能とを実現させる合成画像作成プログラムが提供される。

本発明に係る合成画像作成システム、合成画像作成方法、及び合成画像作成プログラムによれば、画像に含まれる複数の動物体それぞれの時間関係を容易に把握することができる合成画像作成システム、合成画像作成方法、及び合成画像作成プログラムを提供できる。

本実施の形態に係る合成画像作成システムの機能構成ブロック図である。 本実施の形態に係る輝度補正部における処理の概要図である。 本実施の形態に係る合成画像作成システムにおける処理図である。 本実施の形態に係るシステムを用いない参考例のシステムを用いる場合における複数の動物体を含む図である。 本実施の形態に係るシステムを用いない参考例のシステムを用いる場合における複数の動物体を含む図である。 参考例のシステムを用いる場合における複数の動物体を含む画像の模式図である。 輝度補正をしない場合における合成画像を模式的に表した概要図である。 本実施の形態に係る合成画像作成システムにおける処理の詳細図である。 本実施の形態に係る合成画像作成システムにおける処理の詳細図である。 本実施の形態に係る合成画像作成システムにおいて１６枚の画像を合成する場合に動物体に付加する色をどのように変化させるかを示す図である。 本実施の形態に係る合成画像作成システムにおいて１６枚の画像を合成する場合に動物体に付加する色をどのように変化させるかを示す図である。 本発明の実施の形態に係る合成画像作成システムの処理のフロー図である。 本発明の実施の形態に係る合成画像作成システムのハードウェア構成図である。

［実施の形態］
（合成画像作成システム１の概要）
本実施の形態に係る合成画像作成システム１は、動画像を構成する複数の画像に含まれる動きを有する複数のオブジェクト（すなわち、動物体）それぞれの軌跡を含む合成画像を複数の画像に基づいて生成すると共に、各動物体の時間関係を容易に把握することができる合成画像を生成するシステムである。合成画像作成システム１によれば、１枚の合成画像において、その中の動きのある複数の動物体の識別と時間的な関係とが一目で把握できる。

（合成画像作成システム１の詳細）
図１は、本実施の形態に係る合成画像作成システムの機能構成ブロックの一例を示す。

合成画像作成システム１は、動画像を格納する画像格納部１０と、画像に含まれる動物体が存在する領域である動物体領域を特定する動物体領域特定部２０と、画像内の動物体領域の少なくとも一部分に輝度補正処理を施す輝度補正部３０と、合成画像を生成する画像合成部４０と、合成画像を出力する出力部５０とを備える。また、動物体領域特定部２０は、複数の画像のうちの一の画像を基準画像として複数の画像のそれぞれを比較する画像比較部２００と、画像比較部２００の比較結果に基づいて二値化信号を積算する積算部２０５と、積算部２０５の積算結果に基づいてキー信号を生成するキー信号生成部２１０とを有する。

（画像格納部１０）
画像格納部１０は、動画像を格納する。具体的に、画像格納部１０は、動物体を含む動画像を格納する。より具体的に、画像格納部１０は、動画像を構成する時系列に沿って連続する複数の画像フレームを格納する。画像格納部１０は、動物体領域特定部２０及び輝度補正部３０からの働きかけに応じ、動物体領域特定部２０及び輝度補正部３０に動画像を供給する。

（動物体領域特定部２０）
動物体領域特定部２０は、画像格納部１０に格納されている画像であって、時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する。具体的に、動物体領域特定部２０は、画像格納部１０に格納されている一の画像と他の画像とを比較して一の画像と他の画像との差分を算出する画像比較部２００と、画像比較部２００の算出結果を積算する積算部２０５と、積算部２０５が積算した結果に基づいて、一の画像に含まれる動物体領域を特定するキー信号を生成するキー信号生成部２１０とを有する。

より具体的に、画像比較部２００は、画像格納部１０に格納されている画像から一の画像（以下、「第１の画像」という）と他の画像（以下、「第２の画像」という）とを取得する。画像比較部２００は、第１の画像と第２の画像との差分を算出する。そして、画像比較部２００は、算出した差分の絶対値が予め定められた第１の閾値よりも大きい場合は「１」の二値化信号を生成し、当該絶対値が第１の閾値以下の場合は「０」の二値化信号を生成する。画像比較部２００は、生成した二値化信号を積算部２０５に供給する。

また、画像比較部２００は、画像格納部１０から第１の画像及び第２の画像とは異なる画像（以下、「第３の画像」という）を取得する。そして、画像比較部２００は、第１の画像と第３の画像との差分を算出し、上記と同様に二値化信号を生成する。画像比較部２００は、生成した二値化信号を積算部２０５に供給する。

積算部２０５は、画像比較部２００から受け取った二値化信号を足し合わせる。すなわち、積算部２０５は、第１の画像と第２の画像とに基づいて算出された二値化信号と、第１の画像と第３の画像とに基づいて算出された二値化信号とを足し合わせる。

画像比較部２００は、上記と同様にして第１の画像と更に他の画像（以下、「第４の画像」という）とを比較して差分を算出し、上記と同様に二値化信号を生成する。そして、積算部２０５は、第１の画像と第４の画像とに基づいて算出された二値化信号を既に積算して得られている二値化信号に足し合わせる。

このように、画像比較部２００は、画像格納部１０から比較対象になるＮ枚（ただし、Ｎは２以上の整数）の画像を取得した場合、第１の画像と第２の画像から第Ｎの画像までの差分のそれぞれから複数の二値化信号を算出する。そして、積算部２０５は、画像比較部２００により算出された複数の二値化信号を積算することで、信号レベルが０からＮ−１の範囲の二値化信号の積算信号を生成する。積算部２０５は、生成した積算信号をキー信号生成部２１０に供給する。

キー信号生成部２１０は、積算部２０５から供給された積算信号に対し、予め定められた第２の閾値を用い、積算信号の信号レベルの振幅が予め定められた一定の値の範囲内に収まるように制御する。これにより、キー信号生成部２１０は、第１の画像の動物体が含まれる動物体領域を抜き出すことに用いられる第１のキー信号を生成する。

次に、画像比較部２００及び積算部２０５は、第２の画像と、第１の画像から第Ｎの画像までの画像から第２の画像を除いたＮ−１枚の画像とについて上記と同様の処理を実行する。そして、キー信号生成部２１０は、上記と同様に第２のキー信号を生成する。動物体領域特定部２０は、第Ｎの画像までのそれぞれの画像について上記と同様の処理を実行することで、第３のキー信号から第Ｎのキー信号までをそれぞれ生成する。キー信号生成部２１０は、生成した複数のキー信号を輝度補正部３０に供給する。

なお、画像比較部２００が扱う画像を、第１の画像から第Ｎの画像までの中から比較の基準になる画像を除いたＮ−１枚の画像としたが、同一画像同士の比較（例えば、第１の画像と第１の画像との比較）では差分が「０」になり、この場合における二値化信号は「０」に固定される。したがって、制御回路の簡略化を目的とする場合、画像比較部２００は、第１の画像から第Ｎの画像までのＮ枚の画像のそれぞれについて比較処理することもできる。

（輝度補正部３０）
輝度補正部３０は、一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する。具体的に、輝度補正部３０は、画像格納部１０から第１の画像を取得する。そして、輝度補正部３０は、キー信号生成部２１０が生成した第１のキー信号の座標情報に基づいて、第１のキー信号で特定される領域に輝度補正処理を施す。なお、輝度補正部３０は、第１のキー信号で特定される領域の輪郭近傍の領域だけに輝度補正処理を施すこともできる。輝度補正部３０は、輝度補正処理を施した第１の画像を画像合成部４０に供給する。

次に、輝度補正部３０は、画像格納部１０から第２の画像を取得する。そして、輝度補正部３０は、キー信号生成部２１０が生成した第２のキー信号の座標情報に基づいて、第２のキー信号で特定される領域に輝度補正処理を施す。輝度補正部３０は、輝度補正処理を施した第２の画像を画像合成部４０に供給する。

（画像合成部４０）
画像合成部４０は、複数枚の画像から動物体領域だけを上書きしていくことにより、動物体の軌跡を含む合成画像を生成する。すなわち、画像合成部４０は、輝度補正処理が施された一の動物体領域を含む一の画像と、輝度補正処理が施された他の動物体領域を含む他の画像とを合成し、一の動物体領域の少なくとも一部と他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する。

例えば、画像合成部４０は、上記で得られた第２のキー信号の振幅情報を用い、輝度補正が施された第１の画像と第２の画像とを合成する。キー信号が０〜ｍの振幅を有する信号である場合、画像合成部４０は、（輝度補正を施した第１の画像）×（ｍ−第２のキー信号）／ｍ＋（輝度補正を施した第２の画像）×（第２のキー信号）／ｍの計算式に基づいて合成画像を生成する。

そして、画像合成部４０は、第２のキー信号が０の部分は輝度補正処理が施された第１の画像をそのまま用い、第２のキー信号がｍの部分は輝度補正処理が施された第２の画像をそのまま用いる。更に、画像合成部４０は、第２のキー信号が０とｍとの間の値の部分は第２のキー信号の値に応じた比率で輝度補正処理が施された第１の画像と第２の画像とが混合された画像を生成する。画像合成部４０は、第１の画像と第２の画像とが混合された画像の合成信号を画像格納部１０に供給する。画像格納部１０は、この合成信号を合成画像（１＋２）として格納する。

次に、輝度補正部３０は、画像格納部１０から第３の画像を取得して、上記と同様に輝度補正処理を実行すると共に、輝度補正処理を施した第３の画像を画像合成部４０に供給する。画像合成部４０は、輝度補正処理が施された第３の画像と、画像格納部１０に格納されている合成画像（１＋２）と、第３のキー信号とを用いて合成画像（１＋２）を生成した場合と同様にして合成信号を生成する。画像合成部４０は、生成した合成信号を画像格納部１０に供給する。画像格納部１０は、この合成信号を合成画像（１＋２＋３）として格納する。

輝度補正部３０、画像合成部４０は上記の処理を第Ｎ枚目の画像まで施す。これにより、画像格納部１０には、合成画像（１＋２＋・・・Ｎ）が格納される。この合成画像（１＋２＋・・・Ｎ）が最終的に得られる合成画像である。なお、輝度補正部３０は、輝度補正処理を実行せずに、各キー信号により特定される色信号について画像の色信号をそのまま用いた合成画像を生成することもできる。

また、画像合成部４０は、各キー信号により特定される動物体領域の色情報を時系列に沿って予め定められている色情報にした合成画像を生成することができる。この場合、画像合成部４０は、動物体領域について輝度補正処理を施すと共に、動物体領域の全体に色情報を付加する。また、画像合成部４０は、一の動物体領域の輪郭と他の動物体領域の輪郭とに、色情報を付加することもできる。この場合、画像合成部４０は、動物体の輪郭領域について輝度補正処理を施すと共に、輪郭領域にのみ色情報を付加する。

また、画像合成部４０は、動物体に色情報を付加する場合に、一の動物体領域及び他の動物体領域の背景色に基づいて、付加する色情報を決定することもできる。一例として、画像に芝生のような場所での競技の画像が含まれている場合、画像の背景色は緑色系統の色であり、土のグラウンドのような場所での競技の画像が含まれている場合、画像の背景色は黄色や茶色系統の色である。この場合、合成画像の動物体に付加する色情報がこれら背景色と同色系の色であると視認が困難となる。そこで、画像合成部４０は、画像の背景と同色系の色を合成画像の生成時に動物体に付加しないようにすることができる。

更に、画像合成部４０は、色情報を付加する場合に、一の動物体領域及び他の動物体領域の背景色を白黒画像にすることもできる。一例として、画像の背景に様々な色が存在しており、合成画像の時間情報を表す色の視認性に影響がある場合、画像合成部４０は、背景画像を白黒画像にすることができる。

そして、画像合成部４０は、予め定められた波長順に基づいて一の動物体領域の少なくとも一部と他の動物体領域の少なくとも一部とに色情報を付加することもできる。すなわち、画像合成部４０は、動物体の軌跡について、時系列に沿って徐々に波長が長くなる順、若しくは短くなる順で動物体領域の少なくとも一部に色情報を付加することで、虹色の軌跡を生成することができる。画像合成部４０は、生成した合成画像を出力部５０に供給する。

（出力部５０）
出力部５０は、合成画像をユーザーに視認可能に出力する。例えば、出力部５０は、モニター等の表示装置である。また、出力部５０は、合成画像を印刷する印刷装置等の出力装置であってもよい。更に、出力部５０は、合成画像のデータを合成画像作成システム１の外部に出力することもできる。

（輝度補正処理の概要）
図２は、本実施の形態に係る輝度補正部における処理の概要を示す。

輝度補正部３０は、一つの画像内に存在する動物体の正確な動物体領域の特定をせずに、複数の動物体の輝度信号を互いに近づける輝度補正処理を実行する。例えば、輝度補正部３０は、非線形回路に基づいて輝度補正処理を実行する。

具体的に図２を参照して説明する。図２は、入力信号（横軸）に対して線形な出力を示すｙ＝ｘと、非線形な出力を示すｙ’＝ｘ^０．２のグラフである。一例として、輝度信号を近づけることを要する２つの動物体の平均輝度が「０．２」と「０．６」とであると仮定する。この場合、この２つの動物体の輝度レベルの比は３倍異なる。すると、この信号をｙ’＝ｘ^０．２の関数を有する回路に供給すると、「０．２」の信号は「０．７２」に、「０．６」の信号は「０．９０」になるので、その比は１．２５倍になる。２つの動物体の輝度レベルを完全に一致させることは容易ではないものの、輝度信号の比率を近づけることで変換前の輝度信号よりも色分けした場合の対比が容易になる。また、図２から、輝度レベルが低い領域の信号は輝度レベルが大きなレベルに変換されることから、輝度信号が低く、色分けの区別がつけにくい黒く沈んだ合成画像を生成することを防止できる。なお、輝度補正部３０は、一つの画像内に存在する複数のキー信号により特定される動物体領域それぞれの平均輝度を算出し、算出した輝度に基づいて輝度補正処理を実行してもよい。

（輪郭抽出の概要）
図３は、本実施の形態に係る合成画像作成システムにおける処理の一例を示す。

輝度補正部３０は、例えば、動物体のキー信号の高域成分を抜き出すハイパスフィルタ（ＨＰＦ）を用いることで、動物体の輪郭を抽出することができる。また、輝度補正部３０は、以下のように動物体の輪郭を抽出することもできる。

まず、各キー信号は、複数の画像を比較して得られる差分の二値化信号の積算値に基づいてキー信号生成部２１０において生成される。図３の左の各画像に示すように、動物体の枚数を５枚とし、動物体が徐々に右方向に移動している場合の５枚の画像の移動の中間点である「画像３」のキー信号を生成する場合を説明する。

輝度補正部３０は、図３の「画像３」と「画像１」とを比較した場合、「画像１」と「画像３」とに共通する背景画像を除く領域について、第１の閾値の設定値以上の差が発生するとして処理を実行する。同様に輝度補正部３０は、「画像３」と「画像２」、「画像４」、及び「画像５」についても同様に処理する。その場合、図３の右上に示すような二値化信号が得られる。

図３に示すこれら４つの二値化信号が積算部２０５において積算されると、図３の右中央に示すような信号レベルが０から４の信号が得られる。キー信号生成部２１０においてこの信号のレベル１以下を第２の閾値でカットすると、図３の右下のようなキー信号が作成される。ここで、輝度補正部３０は、キー信号のレベル３の部分を「画像３」の動物体部分とし、レベル１の部分を「画像３」の輪郭信号として制御すると、キー信号に対する輪郭検出処理機能を追加することなく「画像３」の輪郭を抽出できる。

なお、図３の例では使用する画像の移動の中心時間である「画像３」を用いたため、左右均等に輪郭信号が得られるが、「画像１」や「画像５」に対しては片側に偏った輪郭信号になる。しかしながら、輝度補正部３０は、簡易的な輪郭抽出処理を採用して、システムにおける処理負担を軽減する場合、上記手法を採用することができる。

（参考例における処理）
図４及び図５は、本実施の形態に係るシステムを用いない参考例のシステムを用いる場合における複数の動物体を含む画像の一例を示し、図６のａ〜ｈは、参考例のシステムを用いる場合における複数の動物体を含む画像を模式的に表した概要の一例を示す。更に、図７は、輝度補正をしない場合における合成画像を模式的に表した概要の一例を示す。

まず、図４及び図５に示すように、画像内に複数の動物体が存在している場合（図４及び図５では、例えば、２台のレースカーがコーナーを曲がるシーンを示す）を説明する。この例では、図４に示すように、輝度レベルの低い車が輝度レベルの高い車を先行している。この前後の画像を使用して軌跡を合成した画像が図５である。この図５を参照すると、２台の車のライン取りが異なることは把握できるものの、いずれの車が先行しているのか、あるいは、前を走行する車が所定の位置に存在する時点において、後ろを走行する車の画像内における位置を把握することは困難である。この状態を模式的に図６の各図に示す。

まず、図６ａ〜図６ｆまでは、時間の経過に従って変化する各フレーム画像を表す。図６ａの時刻においては、台形で輝度信号が低く、かつ、マス目模様で表された物体Ａが画面左側に現れる。この時、輝度レベルが高く丸い形で白い物体Ｂは破線で表しているが、まだ画面内には現れていない。図６ｂの時刻に物体Ｂが左側から画面内に入り、物体Ａは右方向に進んでいる。図６ｃ〜図６ｅまでの時刻経過と共に物体Ａ及び物体Ｂ共に右に移動し、図６ｆの時刻で物体Ａは破線で示すように画面の右外側に移動していく。これらの画像の軌跡を合成すると図６ｇのようになる。画面内には物体Ａ及び物体Ｂ共に５つの映像が映っており、物体Ａの物体移動速度の方が物体Ｂの物体移動速度よりも速い。この場合、前述のコーナーを曲がるレースカーのような場合、速度の違いだけではなく、コーナリングに要するライン取り等の軌跡を確認することもできる。しかし、物体Ａと物体Ｂの時間的な前後関係は実際には図６ｈ内の矢印で示したような関係になる。これによると、本実施の形態に係るシステムを用いない場合、図６ｇに示すように、物体Ａと物体Ｂの時間的な位置関係は把握できない。

ここで、図７に示すように各動物体に色を付加した場合を考える。図７の例においては、色彩を斜線等の模様で表現している。図７では、時刻が経過するごとに色信号が「模様なし→右下がり斜線→縦線→左下がり斜線→横線→水玉模様」というように変化している様子を示す。この場合、各動物体の軌跡を合成した合成画像は、図７（ａ）のようになる。図中のＣは時刻を示すインデックス表示である。この場合、信号が明るく柄がない物体Ｂとインデックス表示Ｃとの関係は非常に分かりやい。しかし、輝度レベルが低くもともと何らかの柄を有する物体Ａとインデックス表示Ｃとの関係は分かりにくい。その結果、物体Ａと物体Ｂとの時間関係は把握しにくい。色分けの種類が少ない場合は、例えば、「赤→黄色→緑→青→紫」というように、動物体の輝度レベルや模様が多少異なっていても判別可能な色を選択できる。しかしながら、色分けの種類が増えていくと中間色のような色を使用することになり、その場合、動物体の輝度レベルや模様による影響が大きくなる。その結果、物体間の時間関係の判別は困難になる。

また、動物体に付加する色の濃度を変えた場合は図７（ｂ）のようになる。この場合も物体Ａがもともと有する輝度レベルや色及び／又は柄によって物体Ａと物体Ｂ及びインデックス表示Ｃとの時間的関係は把握しにくくなる。また、動物体に付加する模様を変えた場合は図７（ｃ）のようになる。この場合、模様だけに着目するため物体Ａと物体Ｂ、及びインデックス表示Ｃとの時間的関係は分かるが、動物体がもともと有する模様等が消去される。図７（ｃ）の場合、２つの動物体は台形と丸というように形状が明らかに異なっているため、２つの動物体の識別が可能である。しかし、複数の動物体の軌跡の合成画像の作成に用いる画像の多くはレースカーや競技中の選手等であり、一の画像に含まれる識別すべき各動物体の形状は非常に類似しているので、その区別は車の模様やユニフォームの色や柄、人の場合は顔の表情等に依存する。したがって、動物体がもともと有する特徴を極端に変えてしまうと、複数の動物体の識別自体が困難になる。

（合成画像作成システム１における処理の詳細）
図８及び図９は、本実施の形態に係る合成画像作成システムにおける処理の詳細を模式的に示す。

本実施の形態に係る合成画像作成システム１は、機能構成ブロック図を参照して説明したように、複数の動物体の識別を可能にしつつ、かつ、時間軸の情報が把握可能な信号処理を実行する。まず、合成画像作成システム１は、複数の動物体の輝度信号レベルを近づけた上で、色順による時間軸情報を合成画像に付加する。図８は、図７（ａ）に対して動物体としての物体Ａの柄が認識可能な範囲で物体Ａの輝度レベルと物体Ｂの輝度レベルとを近づける処理を施した図を示す。

この図では、色を図７の説明と同様に斜線等の模様で表現している。物体Ａと物体Ｂとは類似した輝度レベルで同一色であるが、模様が異なる状態となっている。これにより、２つの物体の識別が可能であると共に、時間関係も把握しやすくなる。この場合において、輝度レベルを低くした場合、いかなる色も黒っぽくなってしまい、高すぎるといかなる色も白つぶれしてしまうため、輝度補正部３０は、中間的なレベルの輝度信号を生成することが好ましい。

また、合成画像作成システム１は、物体の輪郭にのみ、固定の輝度レベルと色順とによる時間軸情報を付加することもできる。その例を図９に示す。動物体の識別は輪郭以外の部分で実行し、輪郭部分の色で時間関係の把握を行う。

また、図は省略するが上記手法の組み合わせとして、合成画像作成システム１は、複数の動物体の全面に色をつけると共に、輪郭部分のみ輝度レベルを固定の値にする手法や、複数の動物体の輝度レベルを近づけた信号の全面に色をつけると共に輪郭の輝度レベルを固定の値にする手法、輪郭以外の部分の動物体の輝度レベルを近づける手法等も実行できる。また、合成画像作成システム１は、画像に含まれる動物体の一部分に、予め定められた形状を有するマーカーを付することもできる。

（色情報の付加方法）
図１０及び図１１は、本実施の形態に係る合成画像作成システムにおいて１６枚の画像を合成する場合に動物体に付加する色をどのように変化させるかの一例を示す。

まず、画像合成部４０が動物体に色情報を付加する場合、固定色を発生させる回路若しくはプログラムは、Ｒ−Ｙ及びＢ−Ｙという２つの色差信号に所定の関数を与えて発生させる場合と、予め準備したデータベース中の色情報に関するデータを読み出して使用するケースとが考えられる。図１０に示すように、例えば、画像合成部４０が、１６枚の画像（図１０中では０〜１５で表示）を合成する場合、各画像に含まれる動物体に付加する色情報について、Ｒ−Ｙ成分を合成順に応じたＣｏｓ関数で変化させ、Ｂ−Ｙ成分を合成順に応じた−Ｓｉｎ関数で変化させるようにする。この場合、色信号は図１１に示すＡ点から始まり、反時計回りに色が変化し、Ｂ点で終了する色変化となる。しかし、最初の色であるＡ点と最後の色であるＢ点とが近い場合、始まりと終わりとの区別が付きにくくなり得る。このため、画像合成部４０は、系列の最初の時における第一の動物体領域に付加する色情報と、時系列の最後の時における第二の動物体領域に付加する色情報とに明度若しくは彩度が異なる色を用いる。すなわち、画像合成部４０は、図１１の赤から始まり、反時計回りに進んで紫の点で終わるように、その間を１６分割するようにした色順を決定し、各動物体に決定した色情報を付加する。

（合成画像作成方法）
図１２は、本発明の実施の形態に係る合成画像作成システムの処理の流れの一例を示す。

まず、動物体領域特定部２０は、画像格納部１０に格納されている複数の画像それぞれに含まれる動物体の各画像における位置である動物体領域を特定する（ステップ１０。以下、ステップを「Ｓ」と表す。）。次に、輝度補正部３０は、基準となる一の画像の動物体領域の少なくとも一部の輝度信号と、他の画像の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する（Ｓ１５）。続いて、画像合成部４０は、輝度補正処理が施された動物体領域を含む複数の画像を合成すると共に、一の動物体領域の少なくとも一部と他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する（Ｓ２０）。そして、出力部５０は、合成画像を出力する（Ｓ２５）。

図１３は、本発明の実施の形態に係る合成画像作成システムのハードウェア構成の一例を示す。

本実施の形態に係る合成画像作成システム１は、ＣＰＵ１５００と、グラフィックコントローラ１５２０と、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）及び／又はフラッシュＲＯＭ等のメモリ１５３０と、データを記憶する記憶装置１５４０と、記録媒体からデータを読み込み及び／又は記録媒体にデータを書き込む読込み／書込み装置１５４５と、データを入力する入力装置１５６０と、外部の通信機器とデータを送受信する通信インターフェース１５５０と、ＣＰＵ１５００とグラフィックコントローラ１５２０とメモリ１５３０と記憶装置１５４０と読込み／書込み装置１５４５と入力装置１５６０と通信インターフェース１５５０とを互いに通信可能に接続するチップセット１５１０とを備える。

チップセット１５１０は、メモリ１５３０と、メモリ１５３０にアクセスして所定の処理を実行するＣＰＵ１５００と、外部の表示装置の表示を制御するグラフィックコントローラ１５２０とを相互に接続することにより、各構成要素間のデータの受渡しを実行する。ＣＰＵ１５００は、メモリ１５３０に格納されたプログラムに基づいて動作して、各構成要素を制御する。グラフィックコントローラ１５２０は、メモリ１５３０内に設けられたバッファ上に一時的に蓄えられた画像データに基づいて、画像を所定の表示装置に表示させる。

また、チップセット１５１０は、記憶装置１５４０と、読込み／書込み装置１５４５と、通信インターフェース１５５０とを接続する。記憶装置１５４０は、合成画像作成システム１のＣＰＵ１５００が使用するプログラムとデータとを格納する。記憶装置１５４０は、例えば、フラッシュメモリである。読込み／書込み装置１５４５は、プログラム及び／又はデータを記憶している記憶媒体からプログラム及び／又はデータを読み取って、読み取ったプログラム及び／又はデータを記憶装置１５４０に格納する。読込み／書込み装置１５４５は、例えば、通信インターフェース１５５０を介し、インターネット上のサーバーから所定のプログラムを取得して、取得したプログラムを記憶装置１５４０に格納する。

通信インターフェース１５５０は、通信ネットワークを介して外部の装置とデータの送受信を実行する。また、通信インターフェース１５５０は、通信ネットワークが不通の場合、通信ネットワークを介さずに外部の装置とデータの送受信を実行することもできる。そして、キーボード、タブレット、マウス等の入力装置１５６０は、所定のインターフェースを介してチップセット１５１０と接続する。

記憶装置１５４０に格納される合成画像作成システム１用の合成画像作成プログラムは、インターネット等の通信ネットワーク、又は磁気記録媒体、光学記録媒体等の記録媒体を介して記憶装置１５４０に提供される。そして、記憶装置１５４０に格納された合成画像作成システム１用の合成画像作成プログラムは、ＣＰＵ１５００により実行される。

本実施の形態に係る合成画像作成システム１により実行される合成画像作成プログラムは、ＣＰＵ１５００に働きかけて、合成画像作成システム１を、図１〜図１２において説明した画像格納部１０、動物体領域特定部２０、輝度補正部３０、画像合成部４０、出力部５０、画像比較部２００、積算部２０５、及びキー信号生成部２１０として機能させる。

（実施の形態の効果）
本実施の形態に係る合成画像作成システム１は、実施の形態で説明した処理を実行することで、１枚の軌跡合成画像の中の複数の動物体としての動物体の識別が可能になると共に、複数の動物体の時間軸の関係が容易に把握できる合成画像を生成することができる。すなわち、合成画像作成システム１は、動きのある複数の動物体の識別と時間的な関係とが一目で把握できる合成画像を生成できる。

以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せのすべてが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。更に、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品とのような複数の部分に分割されて適用されるようにすることもできる。

１ 合成画像作成システム
１０ 画像格納部
２０ 動物体領域特定部
３０ 輝度補正部
４０ 画像合成部
５０ 出力部
２００ 画像比較部
２０５ 積算部
２１０ キー信号生成部
１５００ ＣＰＵ
１５１０ チップセット
１５２０ グラフィックコントローラ
１５３０ メモリ
１５４０ 記憶装置
１５４５ 読込み／書込み装置
１５５０ 通信インターフェース
１５６０ 入力装置

Claims (8)

1. 時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定部と、
   一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正部と、
   前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成部と
   を備える合成画像作成システム。
2. 前記画像合成部が、前記一の動物体領域の輪郭と前記他の動物体領域の輪郭とに、前記色情報を付加する請求項１に記載の合成画像作成システム。
3. 前記画像合成部が、前記色情報を付加する場合に、前記一の動物体領域及び前記他の動物体領域の背景色に基づいて、付加する前記色情報を決定する請求項１又は２に記載の合成画像作成システム。
4. 前記画像合成部が、前記色情報を付加する場合に、前記一の動物体領域及び前記他の動物体領域の背景色を白黒画像にする請求項１又は２に記載の合成画像作成システム。
5. 前記画像合成部が、予め定められた波長順に基づいて前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに前記色情報を付加する請求項１〜４のいずれか１項に記載の合成画像作成システム。
6. 前記画像合成部が、前記時系列に沿った順に複数の動物体領域を含む前記合成画像を生成する場合であって、予め定められた色数の前記色情報を前記複数の動物体領域のそれぞれに付加する場合に、前記時系列の最初の時における第一の動物体領域に付加する色情報と、前記時系列の最後の時における第二の動物体領域に付加する色情報とに明度若しくは彩度が異なる色を用いる請求項５に記載の合成画像作成システム。
7. 時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定段階と、
   一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正段階と、
   前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成段階と
   を備える合成画像作成方法。
8. 合成画像作成システム用の合成画像作成プログラムであって、
   コンピューターに、
   時系列に沿って連続する複数の画像それぞれについて、動物体が含まれる動物体領域を特定する動物体領域特定機能と、
   一の画像の一の動物体領域の少なくとも一部の輝度信号と他の画像の他の動物体領域の少なくとも一部の輝度信号との差を低減する輝度補正処理を実行する輝度補正機能と、
   前記輝度補正処理が施された前記一の動物体領域を含む前記一の画像と、前記輝度補正処理が施された前記他の動物体領域を含む前記他の画像とを合成し、前記一の動物体領域の少なくとも一部と前記他の動物体領域の少なくとも一部とに時系列に沿って予め定められた色情報を付加した合成画像を生成する画像合成機能と
   を実現させる合成画像作成プログラム。

Images