JP6114345B2 - 出現位置補間装置、出現位置補間方法及び出現位置補間プログラム - Google Patents

Description

本発明は、映像を加工するための情報を得る技術であって、特に視聴者の興味に応じて、注目するオブジェクト単位で映像を選択する技術に関する。

近年、映像を視聴する際に、注目したい人物等のオブジェクト単位でユーザの思い通りに表示映像を選択できることが望まれている。例えば、ライブ会場やＯＤＳ（Ｏｔｈｅｒ Ｄｉｇｉｔａｌ Ｓｔｕｆｆ）でメインスクリーンやステージ上のアーティストを見ながら、ユーザのスマートフォン上においては、ユーザが注目したい出演者にフォーカスした映像を選択し、リアルタイムに視聴するといった視聴方法がある（非特許文献１）。

ユーザが注目しうる映像内のオブジェクトをシーン単位、画面領域単位で選択可能とするためには、それぞれのオブジェクトの映像内の位置に関する詳細な情報が必要となる。また、注目したいオブジェクトが表示される映像を、滑らかで自然な動きで描画可能とする情報が必要である。

フレーム内のオブジェクトの出現位置情報に関しては、フレームレートが高くなるほど出現位置情報のデータ量が増すため、出現位置情報をネットワーク経由で伝送する場合、使用するネットワーク帯域を抑える必要がある。一般的には、全フレーム分の出現位置情報を送信するのではなく、所定間隔で出現位置情報を送信する。送信されなかった間の出現位置情報については受信装置側で補間法や近似（最小二乗法）によって出現位置情報を計算する。

また、物体認識技術による認識結果をもとにして出現位置情報を生成する場合、認識技術の精度が低いときは、映像内に連続して出現しているオブジェクトであるにも関わらず、認識誤りによって、出現位置情報が得られないことがある。この場合も、補間法や近似によって出現位置情報を予測することがある。

補間法を利用する例として、映像コンテンツにおいて時間ｔは再生開始とともに単調増加することから、オブジェクトの出現位置を示す曲線をｔ−Ｘ平面上の関数及びｔ−Ｙ平面上の関数で捉えるようにし、以下の２つの２次曲線式で表現することが一般的である（ＭＰＥＧ−７仕様書 Ｐ．２４ ５．６．１ Ｔａｂｌｅ４参照）。

ｘ＝ａ_ｘｔ^２＋ｂ_ｘｔ＋ｃ_ｘ
ｙ＝ａ_ｙｔ^２＋ｂ_ｙｔ＋ｃ_ｙ

オブジェクトの出現時間と出現位置の３点の座標を上記２次曲線式に代入し、３元連立方程式を解くことによって係数ａ_ｘ，ｂ_ｘ，ｃ_ｘ，ａ_ｙ，ｂ_ｙ，ｃ_ｙの値が求められて、所望の２次曲線式が得られる。例えば、３点の座標（ｔ１，ｘ１），（ｔ２，ｘ２），（ｔ３，ｘ３）を上記のｘに関する２次曲線式に代入すると、以下の３元連立方程式が得られるので、この３元連立方程式を解くことによって係数ａ_ｘ，ｂ_ｘ，ｃ_ｘの値が求められる。

ｘ１＝ａ_ｘｔ１^２＋ｂ_ｘｔ１＋ｃ_ｘ
ｘ２＝ａ_ｘｔ２^２＋ｂ_ｘｔ２＋ｃ_ｘ
ｘ３＝ａ_ｘｔ３^２＋ｂ_ｘｔ３＋ｃ_ｘ

得られた２次曲線式から、補間区間内の各ｔにおける出現位置情報（ｘ座標、ｙ座標）を求めることができる。曲線を近似する方法としてスプライン補間（３次スプライン補間）を用いることができる。スプライン補間では、補間する領域をデータ間隔に区切り、各区間ごとに低次元の多項式を用いて曲線を求める。各区間の曲線は区間の両端の点を通り、かつ区間の両端で隣の曲線と等しい傾きを持つことから、滑らかに曲線を繋ぐことが可能である。

川添雄彦、「２０２０エポックメイキングプロジェクト」、ＮＴＴ技術ジャーナル、日本電信電話株式会社、２０１５年４月、第２７巻、第４号、pp. 28-32

しかしながら、リアルタイム視聴を考慮した場合、オブジェクトのｘ軸方向あるいはｙ軸方向の動きの変動が激しいと、オブジェクトの動きを示す曲線は激しく波打つ形状となる。オブジェクトの出現位置情報をもとにして映像を切り出して再生するサービスでは、再生される映像が激しく動き、視聴しにくいという問題があった。

本発明は、上記に鑑みてなされたものであり、主映像から所望のオブジェクトが写っているサブ映像を切り取るための適切な位置情報を算出することを目的とする。

第１の本発明に係る出現位置補間装置は、主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決める補間対象区間設定手段と、前記補間対象区間内に存在する前記出現情報から前記関数式を求めるために用いる前記出現情報を選択する出現位置選択手段と、前記補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更する出現情報補正手段と、前記補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更する出現位置補正手段と、前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、を有することを特徴とする。

第２の本発明に係る出現位置補間方法は、主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決めるステップと、前記補間対象区間内に存在する前記出現情報から前記関数式を求めるために用いる前記出現情報を選択するステップと、前記補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更するステップと、前記補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更するステップと、前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、を有することを特徴とする。

第３の本発明に係る出現位置補間プログラムは、上記出現位置補間装置としてコンピュータを動作させることを特徴とする。

本発明によれば、主映像から所望のオブジェクトが写っているサブ映像を切り取るための適切な位置情報を算出することができる。

本実施の形態におけるサブ映像表示システムの構成を示す機能ブロック図である。 本実施の形態におけるサブ映像表示システムの処理の流れを示すフローチャートである。 オブジェクトの出現位置／時間情報からオブジェクトの出現位置の補間情報を生成する処理の流れを示すフローチャートである。 補間対象区間を調整する処理を説明するための説明図である。 座標点の中から補間計算に使用するベクトル点を選択する処理を説明するための説明図である。 オブジェクトの動きと選択したベクトル点を用いて求めた曲線を示す図である。 ベクトル点を時間軸方向にずらして曲線の傾きを緩やかにする処理を説明するための説明図である。 加重移動平均値の算出例を示すための図である。 ベクトル点をｘ軸方向あるいはｙ軸方向にずらして曲線の傾きを緩やかにする処理を説明するための説明図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態におけるサブ映像表示システムの構成を示す機能ブロック図である。同図に示すサブ映像表示システムは、デコード処理部１１、オブジェクト検出認識部１２、出現位置補間部１３、補間情報送信部１４、出現位置取得部２１、サブ映像生成部２２、およびサブ映像表示部２３を備える。本実施の形態では、第１サーバ装置がデコード処理部１１、オブジェクト検出認識部１２、出現位置補間部１３、および補間情報送信部１４を備え、第２サーバ装置が出現位置取得部２１とサブ映像生成部２２を備え、端末装置をサブ映像表示部２３として利用する。第１サーバ装置が主映像中のオブジェクトの位置を示す補間情報を生成して第２サーバ装置へ送信し、第２サーバ装置が補間情報に基づいて所望のオブジェクトが映るサブ映像を生成する。生成されたサブ映像は第２サーバ装置から端末装置に送信されて表示される。オブジェクトごとにサブ映像を表示する複数の端末装置を備えてもよい。また、１台の装置が全ての機能を備えてもよい。

サブ映像表示システムが備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサブ映像表示システムが備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。

デコード処理部１１は、主映像を入力してデコードし、フレームごとの画像を生成する。

オブジェクト検出認識部１２は、各フレーム内に存在するオブジェクトを検出し、検出したオブジェクトを認識して、フレームごとのオブジェクトの出現位置／時間情報を取得する。具体的には、各フレームの画像においてオブジェクトを検出し、画像内におけるオブジェクトの座標を求め、検出したオブジェクトを認識し、オブジェクトごとにオブジェクトＩＤを付与する。例えば、画像から人物の写っている矩形領域を求めて、その人物を特定し、特定した人物に対応するオブジェクトＩＤを付与する。オブジェクトの出現位置／時間情報は、フレーム番号、再生時刻情報、及び、その画像内に存在するオブジェクトそれぞれのオブジェクトＩＤ、出現位置座標（例えば矩形領域の左下、左上、右上のＸＹ座標）を有する。なお、オブジェクトを検出する領域は矩形に限るものではなく、様々な形状であってもよい。

出現位置補間部１３は、映像再生時刻を補間対象区間で区切り、補間対象区間ごとに主映像内でのオブジェクトの移動軌跡を示す関数式を求めて、オブジェクトの出現位置（以降「座標点」と称する）を補間する。オブジェクトを矩形領域で検出し、矩形領域の左下、左上、右上の３点の座標点を利用する場合、各位置について補間を行う。本実施の形態では、補間対象区間の間隔を調整する、座標点の中から補間計算に使用する点（以降「ベクトル点」と称する）を選択する、ベクトル点の位置を補正する、という処理を行うことで、求めた関数式で描画される曲線の振動を抑える。出現位置補間部１３の各処理の詳細については後述する。

補間情報送信部１４は、出現位置補間部１３が求めた関数式とベクトル点を含む補間情報を、ネットワークを介して出現位置取得部２１に送信する。

出現位置取得部２１は、補間情報を受信し、補間情報を用いてフレームごとのオブジェクトの出現位置情報を計算する。ここで求められるオブジェクトの出現位置は、オブジェクト検出認識部１２が検出した出現位置と同一ではなく、出現位置補間部１３により補正されたオブジェクトの出現位置である。

サブ映像生成部２２は、ネットワークを介して主映像を受信するとともに、出現位置取得部２１が補間情報を用いて計算したオブジェクトの出現位置情報に基づいて主映像を切り取り、所望のオブジェクトが写っているサブ映像を生成する。サブ映像として切り取る画面の大きさは、オブジェクト検出認識部１２が検出した画像内におけるオブジェクトの大きさを用いてもよい。

サブ映像表示部２３は、サブ映像生成部２２が生成したサブ映像を表示する。

次に、本実施の形態におけるサブ映像表示システムの動作について説明する。

図２は、本実施の形態におけるサブ映像表示システムの処理の流れを示すフローチャートである。

デコード処理部１１が主映像を入力してフレームごとの画像を生成する（ステップＳ１１）。

オブジェクト検出認識部１２がフレームごとの画像からオブジェクトを検出するとともに、検出したオブジェクトを認識し、フレームごとのオブジェクトの出現位置／時間情報を取得する（ステップＳ１２）。

出現位置補間部１３がオブジェクトの出現位置／時間情報からオブジェクトの出現位置の補間情報を生成する（ステップＳ１３）。生成された補間情報はネットワークを介して送信される。補間情報を生成する処理の詳細については後述する。

そして、出現位置取得部２１が補間情報を用いてフレームごとのオブジェクトの出現位置を計算する（ステップＳ１４）。

サブ映像生成部２２がフレームごとのオブジェクトの出現位置に基づいて主映像を切り取ってサブ映像を生成する（ステップＳ１５）。

図３は、出現位置補間部１３が、オブジェクトの出現位置／時間情報からオブジェクトの出現位置の補間情報を生成する処理の流れを示すフローチャートである。ここでは処理の概略を示し、各処理の詳細については後述する。

まず、出現位置補間部１３は、オブジェクトの出現間隔に基づいて補間対象区間を調整する（ステップＳ１３１）。本実施の形態では、補間対象区間内に１つ程度の座標点が存在するように補間対象区間の長さを調整する。

続いて、出現位置補間部１３は、補間対象区間内に存在する座標点の中から補間に使用する点（ベクトル点）を選択する（ステップＳ１３２）。本実施の形態では、補間対象区間内に複数の点が存在するときは、補間対象区間内から１つ又は２つの座標点をベクトル点として選択する。

続いて、出現位置補間部１３は、ステップＳ１３２で選択したベクトル点を用いて求められる関数式の傾きが過去の関数の傾きの加重移動平均値と比較して大きい場合、最後のベクトル点の位置を補正する（ステップＳ１３３）。

そして、出現位置補間部１３は、求められる関数式の描く曲線が急峻な山あるいは谷である場合、山頂あるいは谷底に相当するベクトル点の位置を補正する（ステップＳ１３４）。

以上の補間対象区間の調整処理、ベクトル点の選択処理、ベクトル点の補正処理をｔ−Ｘ平面及びｔ−Ｙ平面について行った後、出現位置補間部１３は、ｔ−Ｘ平面及びｔ−Ｙ平面について、３つのベクトル点を利用して次式を満たす係数ａ，ｂ，ｃを求めて、オブジェクトの移動軌跡を示す関数式を求める。

ｆ（ｔ）＝ａｔ^２＋ｂｔ＋ｃ

なお、出現位置補間部１３は、図３に示した処理を全て行ってもよいし、各処理の中のいずれかを単独で利用してもよい。あるいは、各処理の中の、２つ又は３つの処理を利用してもよい。この場合の処理の順序は図３のフローチャートに示した順に行う。

次に、出現位置補間部１３が実行する各処理の詳細について説明する。

まず、補間対象区間を調整する処理について説明する。

図４は、補間対象区間を調整する処理を説明するための説明図である。同図では、時間軸を横に、Ｘ座標軸を縦に取り、オブジェクトが検出された座標点に三角形の印を付けた。補間対象区間を調整する処理では、座標点の時間的な出現間隔が分かればよいのでＸ座標に意味は無いが、ｔ−Ｘ平面上に座標点を描画し、オブジェクトのＸ軸についての動きがわかるようにした。

出現位置補間部１３は、補間対象区間内の座標点の出現間隔の平均値を次回の補間対象区間の長さとする。なお、画像内にオブジェクトが初めて登場した時点の補間対象区間には予め定めた標準Δｔを用いる。以下、補間対象区間の調整方法を具体的に説明する。

（１）補間対象区間内に座標点が２点以上ある場合、隣り合う座標点同士の時間軸の差分の平均値を次回の補間対象区間の長さΔｔに設定する。図４の標準Δｔの補間対象区間内には２点以上の座標点が存在するので、各座標点間の間隔の平均値Δｔ１を求めて次回の補間対象区間の長さに設定している。なお、算出した平均値が予め設定した最小Δｔ未満であれば、最小Δｔを補間対象区間の長さに設定し、算出した平均値が予め設定した最大Δｔより大きければ、最大Δｔを補間対象区間の長さに設定する。なお、図４のΔｔ１の補間対象区間内にも２点以上の座標点が存在するので、各座標点間の間隔の平均値Δｔ２を求めて次回の補間対象区間の長さに設定している。

（２）補間対象区間内に座標点が１点のみの場合、当該座標点とその直前の座標点との差を補間対象区間の長さΔｔに設定する。図４のΔｔ２の補間対象区間内には座標点が１点のみ存在するので、当該座標点と直前の座標点（図４ではΔｔ１の補間対象区間の終了間際の座標点）の間隔Δｔ３を次回の補間対象区間の長さに設定する。なお、差が最小Δｔ未満であれば最小Δｔを補間対象区間の長さに設定し、差が最大Δｔより大きければ最大Δｔを補間対象区間の長さに設定する。前回出現した座標点から「最大待ち時間」を超えても座標点が出現しないときは、オブジェクトが画面から消失したとみなす。

（３）座標点が開始点の場合、つまり、初めてオブジェクトが出現した場合あるいはオブジェクトが画面から消失した後に再び出現した場合、補間対象区間の長さには標準Δｔを設定する。

以上の処理により、オブジェクトの主映像内での動きを示す関数式を求める単位である補間対象区間が決められる。

補間対象区間を長くすると、補間対象区間内に座標点が多数存在することが想定され、補正や近似化によりなめらかな曲線が得られるが、計算量が多くなりリアルタイム性が損なわれる。補間対象区間を短くすると、必要な数の座標点が存在せず、補間計算できない区間が発生する場合がある。オブジェクトの出現間隔は、物体認識技術の精度やカメラワーク等によって変動しうるため、補間対象区間を固定値で与えることは非現実的である。

本実施の形態では、オブジェクトの出現間隔の傾向に基づいて補間対象区間の長さを設定するため、補間対象区間内に所望の数の座標点が含まれることが期待できる。

出現位置補間部１３が補間対象区間を調整する処理のみを行って関数式を求める場合、補間対象区間内に必要な数の座標点が存在しないときは、補間対象区間内の座標点の他に、隣接する補間対象区間の座標点を用いて関数式を求める。

続いて、座標点の中から補間計算に使用するベクトル点を選択する処理について説明する。

図５は、座標点の中から補間計算に使用するベクトル点を選択する処理を説明するための説明図である。

出現位置補間部１３は、補間対象区間内に複数の座標点が存在する場合は、複数の座標点の中から１つ又は２つの座標点をベクトル点として選択する。以下、ベクトル点の選択方法を具体的に説明する。

（１）直前のベクトル点が無く、かつ補間対象区間内に座標点が１点のみの場合、当該座標点をベクトル点（始点）とする。なお、直前のベクトル点が無く、補間対象区間内に複数の座標点が存在する場合は、補間対象区間内の最初の座標点をベクトル点（始点）とした上で、補間対象区間内の最後の座標点をベクトル点として補間計算してもよいし、他の座標点を利用せずに始点のみを設定してもよい。

（２）直前のベクトル点が始点であって、かつ補間対象区間内に座標点が１点のみの場合、始点と当該座標点で補間計算する。

（３）直前のベクトル点が始点であって、かつ補間対象区間内に複数の座標点が存在する場合、補間対象区間内の最初の座標点と補間対象区間内の最後の座標点をベクトル点として選択し、始点と補間対象区間内の最初と最後の２つの座標点（ベクトル点）を用いて補間計算する。

（４）直前のベクトル点が始点以外であって、かつ補間対象区間内に座標点が１点以上存在する場合、補間対象区間内の最後の座標点をベクトル点として選択し、直前の２点のベクトル点と補間対象区間内の最後の座標点（ベクトル点）を用いて補間計算する。

補間対象区間内の全ての座標点を使って関数式を求めた場合、次数が高くなってしまい、計算量が膨らむ。また、スプライン補間では、オブジェクトの位置の変動が大きいと、描かれる曲線が波打ち、送信するデータ量も増える。低次元で近似化する場合、曲線は滑らかになるが、補間対象区間を比較的長く設け、多数の座標点を取得してから近似化することから、リアルタイム性が損なわれる。

本実施の形態では、座標点を選択して関数式を求めるので、オブジェクトの位置の変動が大きい場合でも、描かれる曲線の振動を抑え、リアルタイムに低次で滑らかな曲線を描くことができる。図６では、オブジェクトの動きを点線で示し、本実施の形態で得られる曲線を実線で示している。

続いて、ベクトル点の位置を補正する処理について説明する。

図７は、ベクトル点を時間軸方向にずらして曲線の傾きを緩やかにする処理を説明するための説明図である。

出現位置補間部１３は、新たに補間計算によって求められた関数の傾きと過去の補間計算で求めた傾きとを比較した結果が閾値よりも大きい場合は、最後のベクトル点の時間軸の値を補間対象区間の最大値に変更して補間計算を行う。以下、ベクトル点を時間軸方向に補正する方法を具体的に説明する。

（１）２点目と３点目のベクトル点を結ぶ直線の傾きを求める。ここでは、補間計算に用いたベクトル点を、最後のベクトル点から過去のベクトル点に向けて３点目、２点目、１点目のベクトル点とする。

（２）最大サンプル数Ｎ個分の過去のベクトル点を結ぶ直線の傾きを求める。

（３）過去のベクトル点を結ぶ直線の傾きに、直近から取得数に応じた重みを与えて、加重移動平均を求める。現時点からの時間軸の距離をｔ１，ｔ２，・・・，ｔｎとして、Ｔ＝ｔ１＋ｔ２＋・・・＋ｔｎとする。ベクトル点をＮ点取得した場合、加重移動平均値を次式で求める。直近１点目の傾きは、１点目と２点目のベクトル点を結ぶ直線の傾きである。直近２点目の傾きは、１点目のベクトル点の直前のベクトル点と１点目のベクトル点を結ぶ直線の傾きである。

加重移動平均値＝｛（直近１点目の傾き）×（Ｔ−ｔ１）／Ｔ＋（直近２点目の傾き）×（Ｔ−ｔ２）／Ｔ＋・・・＋（直近Ｎ点目の傾き）×（Ｔ−ｔｎ）／Ｔ｝÷（Ｎ−１）

加重移動平均値の算出について、図８の具体例を用いて説明する。図８に示すように、過去５回分の傾きの値がａ，ｂ，ｃ，ｄ，ｅであり、時間軸の距離が７８０ｍｓ，６００ｍｓ，４５０ｍｓ，３２０ｍｓ，１００ｍｓであった場合の加重移動平均値は、以下の式で求められる。

加重移動平均値＝｛ｅ×（２２５０−１００）／２２５０＋ｄ×（２２５０−３２０）／２２５０＋ｃ×（２２５０−４５０）／２２５０＋ｂ×（２２５０−６００）／２２５０＋ａ×（２２５０−７３０）／２２５０｝÷４

（４）（１）と（３）で求めた傾きの差を取り、差の絶対値がしきい値以上であれば、以下の補正処理を行う。

（５）３点目のベクトル点の時間軸の値ｔ３を補間対象区間の最大値ｔ３’に変更する。

（６）１点目、２点目、および変更後の３点目のベクトル点を利用して以下の式を満たす係数ａ，ｂ，ｃを求める。
ｆ（ｔ）＝ａｔ^２＋ｂｔ＋ｃ

（７）求めた関数式から補正前の３点目のベクトル点の時刻ｔ３におけるｘ軸の値ｘ３’を求めて、ｔ−Ｘ平面上の３点目のベクトル点の座標を（ｔ３，ｘ３’）とする。

以上の処理をｔ−Ｘ平面とｔ−Ｙ平面について行う。

過去の補間対象区間で求められた関数式と比較して急激に傾きが変化する場合、補間対象区間ごとの曲線をつなげたときに、振動の要因となる。本実施の形態では、急激に傾きが変化する場合に、関数式の傾きが緩やかになるようにベクトル点を補正することで、振動を抑えることが可能となる。

図９は、ベクトル点をｘ軸方向あるいはｙ軸方向にずらして曲線の傾きを緩やかにする処理を説明するための説明図である。

出現位置補間部１３は、補正計算に使用した３つのベクトル点を結ぶ線のなす角度がしきい値未満の場合は、２点目のベクトル点の座標軸の値を補正する。以下、ベクトル点を座標軸方向に補正する方法を具体的に説明する。

（１）１点目と２点目のベクトル点を結ぶ直線の傾きの正負と２点目と３点目のベクトル点を結ぶ直線の傾きの正負が異なるか否か判定する。ここでは、最後のベクトル点から過去のベクトル点に向けて３点目、２点目、１点目のベクトル点とする。

（２）それぞれの傾きの正負が異なる場合、図９（ａ）に示すように、１点目と２点目のベクトル点を結ぶ直線と２点目と３点目のベクトル点を結ぶ直線のなす角度を求める。

（３）（２）で求めた角度としきい値とを比較し、求めた角度がしきい値未満であれば、以下の補正処理を行う。

（４）１点目と２点目のベクトル点を結ぶ直線と２点目と３点目のベクトル点を結ぶ直線のなす角度がしきい値になるように、図９（ｂ）に示すように、２点目のベクトル点の時間軸の値を固定したまま、座標軸の値を移動する。

（５）１点目、変更後の２点目、および３点目のベクトル点を利用して以下の式を満たす係数ａ，ｂ，ｃを求める。
ｆ（ｔ）＝ａｔ^２＋ｂｔ＋ｃ

以上の処理をｔ−Ｘ平面とｔ−Ｙ平面について行う。

本実施の形態では、求めた関数式の描く曲線が急峻な山や谷を描く場合に、山や谷が緩やかになるようにベクトル点を補正することで、振動を抑えることが可能となる。

以上説明したように、本実施の形態によれば、オブジェクト検出認識部１２が各フレームの画像においてオブジェクトを検出してオブジェクトの出現位置／時間情報を取得し、出現位置補間部１３が補間対象区間の間隔を調整する、座標点の中から補間計算に使用する点（ベクトル点）を選択する、ベクトル点の位置を補正する、という処理を行った上で、主映像内でのオブジェクトの移動軌跡を示す関数式を求めることにより、振動が抑えられ、滑らかに繋がる、主映像内におけるオブジェクトの移動軌跡を示す関数式を求めることができる。

なお、本実施の形態では、主映像内におけるオブジェクトの移動軌跡を示す関数式とベクトル点を含む補間情報に基づいて主映像を切り取ってサブ映像を生成したが、サブ映像を生成するだけでなく、補間情報に基づいて主映像内におけるオブジェクトの位置を特定し、主映像内のオブジェクトの位置に別の画像やタグなどを重畳してもよい。

１１…デコード処理部
１２…オブジェクト検出認識部
１３…出現位置補間部
１４…補間情報送信部
２１…出現位置取得部
２２…サブ映像生成部
２３…サブ映像表示部

Claims (11)

1. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、
   前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決める補間対象区間設定手段と、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、
   を有することを特徴とする出現位置補間装置。
2. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間内に複数の前記出現情報が存在する場合、直前の前記出現情報が前記移動軌跡の始点であるときは前記補間対象区間内の最初の前記出現情報と最後の前記出現情報を選択し、直前の前記出現情報が前記移動軌跡の始点でないときは前記補間対象区間内の最後の前記出現情報を選択する出現位置選択手段と、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、
   を有することを特徴とする出現位置補間装置。
3. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更する出現情報補正手段と、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、
   を有することを特徴とする出現位置補間装置。
4. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更する出現位置補正手段と、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、
   を有することを特徴とする出現位置補間装置。
5. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成する出現位置補間装置であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るオブジェクト検出手段と、
   前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決める補間対象区間設定手段と、
   前記補間対象区間内に存在する前記出現情報から前記関数式を求めるために用いる前記出現情報を選択する出現位置選択手段と、
   前記補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更する出現情報補正手段と、
   前記補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更する出現位置補正手段と、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求める出現位置補間手段と、
   を有することを特徴とする出現位置補間装置。
6. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、
   前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決めるステップと、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、
   を有することを特徴とする出現位置補間方法。
7. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間内に複数の前記出現情報が存在する場合、直前の前記出現情報が前記移動軌跡の始点であるときは前記補間対象区間内の最初の前記出現情報と最後の前記出現情報を選択し、直前の前記出現情報が前記移動軌跡の始点でないときは前記補間対象区間内の最後の前記出現情報を選択するステップと、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、
   を有することを特徴とする出現位置補間方法。
8. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更するステップと、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、
   を有することを特徴とする出現位置補間方法。
9. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、
   前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、
   前記主映像の再生時刻を所定の区間で区切った補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更するステップと、
   前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、
   を有することを特徴とする出現位置補間方法。
10. 主映像内におけるオブジェクトの移動軌跡を示す関数式と出現情報を生成するコンピュータによる出現位置補間方法であって、
    前記主映像のフレームごとに画像内の前記オブジェクトを検出し、当該オブジェクトの出現位置と出現時刻を含む出現情報を得るステップと、
    前記オブジェクトの時間的な出現間隔に基づいて補間対象区間の長さを決めるステップと、
    前記補間対象区間内に存在する前記出現情報から前記関数式を求めるために用いる前記出現情報を選択するステップと、
    前記補間対象区間において前記出現情報から求められる関数式の傾きと過去に求めた関数式の傾きとの差が所定のしきい値よりも大きい場合は、前記補間対象区間内の最後の前記出現情報の出現時刻を当該補間対象区間の最大値に変更するステップと、
    前記補間対象区間において前記出現情報から求められる関数式によって描かれる曲線が急峻な山あるいは谷の場合は、前記山の高さを低くあるいは前記谷の深さを浅くするように前記出現情報の出現位置を変更するステップと、
    前記補間対象区間ごとに前記出現情報に基づいて前記関数式を求めるステップと、
    を有することを特徴とする出現位置補間方法。
11. 請求項１乃至５のいずれかに記載の出現位置補間装置としてコンピュータを動作させることを特徴とする出現位置補間プログラム。

Images