JP5844697B2 - 映像再生装置、映像再生方法、および映像再生用プログラム - Google Patents

Description

本発明は、映像が表示されている画面内の位置情報から、映像内の所望の画像フレームを再生させる映像再生装置、映像再生方法、および映像再生用プログラムに関する。

従来、映像中から所望の再生フレームを指定するためのインタフェースとして、スライダ型のＧＵＩを画面上に表示する技術がある。このスライダ型のＧＵＩは、始点と終点を持つ１つの線分から構成されており、ユーザがマウスやタッチパネルなどのポインティングデバイスを用いて線分上の所望の位置を指定することにより、ＧＵＩの始点と終点との間の位置を示す値が設定される。

このスライダ型のＧＵＩは通常画面内の下部位置に表示され、時間軸に対応するカーソルとして機能し、再生中の画像フレームの相対的な位置を表示するとともに、例えばランダムな再生、早送り、および巻き戻しなど、映像の可変速再生のためのインタフェースとして用いることができる。

さらにこの技術を拡張させ、スライダ型のＧＵＩを映像中の被写体の動きや変形の軌跡と重なるように画面内に配置し、線分上をなぞるように操作することによりあたかも映像中の被写体を掴んで動かしているかのような感覚をユーザに提供するためのインタラクション技術がある。

この技術では、複数のフレームを通して人間や物体が運動するような映像を対象としており、ユーザが注目する被写体の移動軌跡とＧＵＩとして表示される線分とを空間的に対応付け、さらに被写体が線分上の近接する位置に対応するように、線分上の位置情報と映像中の各画像のフレーム番号とを時間的に対応付けている。

この技術により、ＧＵＩとして表示された線分上を、ユーザがマウスによりドラッグ操作したり、タッチパネル上でなぞる操作をしたりすることにより、これらの操作に追随して被写体が動作し、直感的なインタラクションを提供した映像再生制御を実現することができる。このようなインタラクション技術には、以下のような手動タイプのもの、自動タイプのものがある。

（Ａ）手動タイプ
手動タイプのインタラクション技術では、特許文献１に記載のように、あらかじめ映像を視聴したユーザが映像中の任意の運動に注目し、その運動の軌跡に合致するように手動で折れ線スライダ型のＧＵＩを作成する。

この技術では、被写体の位置に対応するように、折れ線スライダ型のＧＵＩ上の各頂点についての座標情報と対応するフレーム番号とをユーザが手動で設定する。この設定により作成された折れ線スライダ型のＧＵＩが表示された画面では、ポインティングデバイスで画面上のスライダ周辺が選択、またはドラッグ操作されることで、スライダのＧＵＩ上の座標に対応したフレームが表示される。これにより、ユーザは直感的な操作で所望の映像をコマ送りに再生させることができる。

（Ｂ）自動タイプ
自動タイプのインタラクション技術では、非特許文献１に記載のように、あらかじめ映像中のフレーム全域に対してParticle Tracking等の動き検出技術を用いて画面上の多数の特徴点を追跡する。そしてポインティングデバイスの入力座標に最も近い点(particle)の移動経路から自動的に折れ線スライダ型のＧＵＩを作成し、ポインティングデバイスの移動に従って対応したフレームを表示する。

特許第３３２５８５９号公報

Goldman, D.B., et al., "Interactive Video Object Annotation", Tech Report UW-CSE-2007-04-01, 2007

しかし、上述した（Ａ）手動タイプのインタラクション技術では、あらかじめ被写体の動きに対応した折れ線スライダ型のＧＵＩを表示するための設定をユーザが手動で実行する必要がある。

そのため折れ線スライダ型のＧＵＩを表示する画面を作成するのに手間がかかり、映像の登録からスライダのＧＵＩの表示までに作業にかかるコストが高くなるという問題がある。またタッチパネルを指で操作するときに、ポインティングの精度が悪い場合、スライダのＧＵＩ表示情報の生成が困難であるという問題がある。

また上述した（Ｂ）自動タイプのインタラクション技術では、あらかじめ映像中のフレーム全域に対して被写体の動きを検出しておく必要がある。そのため映像を解析するコンピュータの計算コストが高くなり、映像の登録から全フレームについてParticle Tracking等の動き検出の画像処理が終了するまでの時間がかかってしまうという問題がある。

このParticle Tracking等にかかる処理を軽くするためには特徴点の数を少なくする必要があるが、その場合、検出されるParticleがフレーム画像中の一部分に偏ってしまい、フレーム画像中の一部の被写体しか動きが検出できない恐れがある。

さらに、（Ｂ）自動タイプのインタラクション技術では、追跡した多数のParticleのうちの１つをユーザの入力により選択し、その移動経路から折れ線スライダ型のＧＵＩを生成している。そのため、ユーザによる入力操作が行われる時点で表示されているフレーム画像上に配置されているParticleしかＧＵＩの生成対象とすることができず、その時点で表示されていない被写体に関する折れ線スライダ型のＧＵＩは生成することができないという問題がある。

そこで本発明では、ユーザが画面上で行う簡易な入力操作により、映像中から所望の画像フレームを容易に再生させることが可能な映像再生装置、映像再生方法、および映像再生用プログラムを提供することを目的とする。

上記の課題を解決するための、本発明の映像再生装置は、処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出手段と、前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力手段と、前記各フレーム画像情報について、前記入力手段で入力された位置座標に最も近い前記基準座標およびその周辺の前記基準座標に関する動き情報の大きさに、入力された位置座標との距離に応じて重み付けをかけ合わせたものの合算を動き量として算出し、このフレーム画像情報ごとの動き量に基づいて表示対象のフレーム画像情報を特定する表示フレーム特定手段と、前記表示フレーム特定手段で特定されたフレーム画像情報を表示させる表示制御手段とを備えることを特徴とする。

またこの映像再生装置の前記入力手段は、ユーザのドラッグ操作またはスワイプ操作により連続して指定された、前記画面内の複数の位置座標を入力し、前記表示フレーム特定手段は、前記入力手段により入力された複数の位置座標に対応する表示対象のフレーム画像情報をそれぞれ特定し、前記表示制御手段は、前記表示フレーム特定手段で特定されたフレーム画像情報を連続的に表示するようにしてもよい。

またこの映像再生装置の前記表示フレーム特定手段は、前記フレーム画像情報ごとの前記動き量を表したヒストグラムを生成し、前記ヒストグラムから、動き量が最大のフレーム画像情報、ヒストグラムの重心となるフレーム画像情報、または、ヒストグラムを１次元のガウシアンフィルタで平滑化した中で動き量が最大となるフレーム画像情報を、前記表示対象のフレーム画像情報として特定するようにしてもよい。

また本発明の他の形態の映像再生装置は、処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出手段と、前記処理対象の映像が表示された画面上で、処理の始点とする位置座標、終点とする位置座標、および前記始点とする位置座標と終点とする位置座標をつなぐ線の位置情報を取得する始終点位置取得手段と、前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力手段と、前記始終点位置取得手段で取得された始点の位置座標および終点の位置座標に最も近い前記基準座標およびその周辺の前記基準座標の前記各フレーム画像情報の動き情報からフレーム画像情報ごとの動き量を算出し、このフレーム画像情報ごとの動き量に基づいて、前記始点に対応するフレーム画像情報および前記終点に対応するフレーム画像情報を特定し、前記始終点位置取得手段で位置情報が取得された線上であり前記入力手段で入力された位置座標に最も近い点の位置座標を特定し、当該特定した点の位置座標と、前記始点に対応するフレーム画像情報と、前記終点に対応するフレーム画像情報とから、表示対象のフレーム画像情報を特定する表示フレーム特定手段とを備えることを特徴とする。

また本発明の映像再生方法は、映像再生装置が、処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出ステップと、前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力ステップと、前記各フレーム画像情報について、前記入力ステップで入力された位置座標に最も近い前記基準座標およびその周辺の前記基準座標に関する動き情報の大きさに、入力された位置座標との距離に応じて重み付けをかけ合わせたものの合算を動き量として算出し、このフレーム画像情報ごとの動き量に基づいて表示対象のフレーム画像情報を特定する表示フレーム特定ステップと、前記表示フレーム特定ステップで特定されたフレーム画像情報を表示させる表示制御ステップとを有することを特徴とする。

また本発明の他の形態の映像再生方法は、映像再生装置が、処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出ステップと、前記処理対象の映像が表示された画面上で、処理の始点とする位置座標、終点とする位置座標、および前記始点とする位置座標と終点とする位置座標をつなぐ線の位置情報を取得する始終点位置取得ステップと、前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力ステップと、前記始終点位置取得ステップで取得された始点の位置座標および終点の位置座標に最も近い前記基準座標およびその周辺の前記基準座標の前記各フレーム画像情報の動き情報からフレーム画像情報ごとの動き量を算出し、このフレーム画像情報ごとの動き量に基づいて、前記始点に対応するフレーム画像情報および前記終点に対応するフレーム画像情報を特定し、前記始終点位置取得ステップで位置情報が取得された線上であり前記入力ステップで入力された位置座標に最も近い点の位置座標を特定し、当該特定した入力された位置座標に最も近い点の位置座標と、前記始点に対応するフレーム画像情報と、前記終点に対応するフレーム画像情報とから、表示対象のフレーム画像情報を特定する表示フレーム特定ステップと、を有することを特徴とする。

また本発明の映像再生用プログラムは、上記のいずれかの映像再生装置を、コンピュータで構成するためのプログラムであることを特徴とする。

本発明の映像再生装置、映像再生方法、および映像再生用プログラムによれば、ユーザが画面上で行う簡易な入力操作により、映像中から所望の画像フレームを容易に再生させることが可能になる。

本発明の第１実施形態および第２実施形態による映像再生装置の構成を示すブロック図である。 本発明の第１実施形態による映像再生装置の動作を示すフローチャートである。 本発明の第１実施形態および第２実施形態による映像再生装置の処理対象とする映像情報を構成するフレーム画像情報を示す画面構成図である。 本発明の第１実施形態および第２実施形態による映像再生装置において、所定間隔ごとの位置座標においてオプティカルフローが検出されたときの状態を示す画面構成図である。 本発明の第１実施形態による映像再生装置において、ユーザにより位置座標が指定されたときの状態を示す画面構成図である。 本発明の第１実施形態による映像再生装置において、表示する画像情報のフレーム番号を特定する処理を示すフローチャートである。 本発明の第１実施形態および第２実施形態による映像再生装置において、動き量算出対象の基準座標が抽出されたときの状態を示す画面構成図である。 本発明の第１実施形態による映像再生装置において、算出された各フレームの動き量を示すヒストグラムと、代表するフレームの画像情報の画面構成図とを示す説明図である。 本発明の第１実施形態による映像再生装置において、ユーザにより位置座標が指定されたことにより表示されたフレームの画像情報を示す画面構成図である。 本発明の第２実施形態による映像再生装置の動作を示すフローチャートである。 本発明の第２実施形態による映像再生装置において、ユーザにより始点、終点、これらをつなぐ線が入力されたときの状態を示す画面構成図である。 本発明の第２実施形態による映像再生装置において生成された、始点および終点に対応するヒストグラムを示す説明図である。 本発明の第２実施形態による映像再生装置において、ユーザにより位置座標が指定されたときの状態を示す画面構成図である。 本発明の第２実施形態による映像再生装置において、生成されたヒストグラムから、ユーザにより入力された位置座標に対応するフレーム番号が特定されたときの状態を示す説明図である。 本発明の第２実施形態による映像再生装置において、ユーザにより位置座標が指定されたことにより表示されたフレームの画像情報を示す画面構成図である。

《第１実施形態》
〈第１実施形態による映像再生装置の構成〉
本実施形態による映像再生装置の構成を、図１を参照して説明する。本実施形態による映像再生装置１は、映像情報記憶部１１と、フレーム画像情報復号部１２と、フレーム画像選択部１３と、表示部１４と、対象フレーム情報記憶部１５と、動き検出部１６と、動き検出情報記憶部１７と、入力部１８と、表示フレーム番号特定部１９とを有する。

映像情報記憶部１１は、処理対象の映像情報を記憶する。

フレーム画像情報復号部１２は、映像情報記憶部１１に記憶された映像情報を構成するそれぞれのフレーム画像情報を、表示させるために復号する。

フレーム画像選択部１３は、復号されたフレーム画像情報のうち、後述する表示フレーム番号特定部１９により特定されたフレーム番号のフレーム画像情報を選択する。

表示部１４はモニタ画面であり、フレーム画像選択部１３で選択されたフレーム画像情報を表示する。

対象フレーム情報記憶部１５は、フレーム画像選択部１３で選択されたフレーム画像に関するフレーム番号等の情報を記憶する。

動き検出部１６は、処理対象の映像情報のすべてのフレーム画像情報について、予め設定された一定の距離間隔ごとの画素に関する動き検出を行う。

動き検出情報記憶部１７は、動き検出部１６で検出された動き検出結果を、フレーム番号ごと、および検出対象の画素の位置座標ごとに記憶する。

入力部１８は、マウスやポインティングデバイス等のユーザインタフェースとなる入力デバイスで構成され、表示部１４のモニタ画面上でユーザの操作により指定された、当該モニタ画面内の位置座標情報を入力する。

表示フレーム番号特定部１９は、入力部１８から入力されたモニタ画面内の位置座標情報に基づいて、当該位置座標およびその周辺の動きが最大となるフレーム画像情報のフレーム番号を特定する。

〈第１実施形態による映像再生装置の動作〉
次に、本実施形態による映像再生装置の動作について、図２のフローチャートを参照して説明する。

まず、ユーザが処理対象とする映像情報を、映像再生装置１の映像情報記憶部１１に記憶させる（Ｓ１）。本実施形態においては、図３に示すようにフレーム番号「0 frame」から途中の「39 frame」を経て「62 frame」までの63枚のフレーム画像情報を含む、人間が投球する動作を撮影した映像情報を、処理対象の映像情報として記憶させる。

処理対象の映像情報が記憶されると、フレーム画像情報復号部１２において、記憶された映像情報を構成する各フレーム画像情報が復号される（Ｓ２）。

次に動き検出部１６において、処理対象の映像情報のすべてのフレーム画像情報について、フレーム全域の動き検出が行われる（Ｓ３）。

動き検出部１６による動き検出は、例えばブロックマッチング法を用いて、隣り合うフレーム画像情報との間でオプティカルフローと呼ばれるベクトルを求めることにより検出される。

この動き検出には、勾配法や画像ピラミッドを利用したLucas-Kanade法（Jean-Yves Bouguet. Pyramidal Implementation of the Lucas Kanade Feature Tracker. OpenCV distribution）などを用いてもよい。

オプティカルフローの検出処理は、フレーム画像情報の全画素について検出するのではなく、図４中の黒丸点のように一定の距離間隔ごとの画素について実行される。例えば、解像度が210pixel × 150pixelのフレーム画像情報について、横方向および縦方向にそれぞれ10pixelの間隔を空けて検出対象画素の座標をP(10,10)、P(20,10)、P(30,10)・・・P(10,20)、P(20,20)、P(30,20)、・・・P(190,140)、P(200,140)のように特定し、これらの座標Pについてオプティカルフローが検出される。これらの特定された各座標Pを基準座標、フレーム画像情報内の全基準座標を、基準座標群と呼ぶ。フレーム画像情報の端ではオプティカルフローの検出が不安定になるため、検出処理を行わないように余白部分を設定してもよい。

基準座標群の各座標のオプティカルフローが検出されることにより、各座標における動きの方向および大きさが検出される。図４には、オプティカルフローにより動きが検出された座標Pの、動き方向を矢印で示している。

動き検出部１６で検出された動き検出結果、つまり基準座標群の各座標の動きの方向および大きさの情報は、フレーム画像情報ごとに動き検出情報記憶部１７に記憶される（Ｓ４）。以上で処理対象の映像情報が映像再生装置１に登録される。

映像情報の登録処理が終了すると、フレーム画像選択部１３により当該映像情報の最初のフレーム画像情報（フレーム番号「0 frame」）が表示部１４に表示され（Ｓ５）、入力部１８からユーザの入力操作が行われたか否かが監視される（Ｓ６）。ユーザは通常の映像プレーヤのように当該映像を再生させたり、あるいは直線型のスライダ型のＧＵＩ情報を操作することにより映像を再生させることにより、被写体の動きを予め確認しておいてもよい。

映像情報の登録処理が実行された状態で、ユーザにより入力操作が行われて表示部１４のモニタ画面上の所望の位置、例えば検出したい動きをする被写体の近辺の位置が指定されると、当該位置のモニタ画面内の位置座標情報が入力される（Ｓ６の「YES」）。

次に表示フレーム番号特定部１９において、表示させるフレーム画像情報のフレーム番号が特定される（Ｓ７）。

例えば、図５の矢印で示すようにユーザに指定された点ａの位置座標情報が入力されたときのフレーム番号を特定するときの詳細な処理について、図６のフローチャートを参照して説明する。

点ａの位置座標情報が入力されると（Ｓ１１）、ステップＳ３でオプティカルフローが検出された基準座標群のうち、入力された位置座標情報（点ａ）に最も近い基準座標およびその周辺の基準座標が、動き量算出対象の基準座標として抽出される（Ｓ１２）。本実施形態においては図７に示すように、入力された位置座標情報（点ａ）に最も近い基準座標P(120,20)、および、その周辺の基準座標としてP(120,20)を囲む８つの基準座標P(110,10)、P(120,10)、P(130,10)、P(110,20)、P(130,20)、P(110,30)、P(120,30)、P(130,30)が抽出され、計９つの基準座標が動き量算出対象の基準座標として抽出されたものとする。

次に、抽出された動き量算出対象の基準座標の動きの大きさが動き検出情報記憶部１７から取得され、これらからフレームごとに動き量が算出される（Ｓ１３）。この「動き量」は、上述した９つの基準座標に関するオプティカルフローのベクトルの大きさの合算、これらのベクトルの大きさに、入力された位置座標との距離に応じて近いほど高く、遠いほど低くなるような重み付け値をかけ合わせたものの合算、または、ベクトルの大きさがある閾値を超えたオプティカルフローの数により算出することができる。この動き量の算出は、当該映像情報の全てのフレームに関して実施される（ループＢ）。

次に図８に示すように、映像情報の各フレームのフレーム番号「0 frame」〜フレーム番号「62 frame」を横軸とし、算出された動き量を縦軸に表したヒストグラムが生成される（Ｓ１４）。

次に、生成されたヒストグラムから、算出された動き量が最も大きいフレームのフレーム番号が、表示する画像情報のフレーム番号として特定される（Ｓ１５）。

図８においては、フレーム番号「0 frame」、「39 frame」、および「62 frame」の画像情報が代表として示されている。ここで、「0 frame」や「62 frame」では投球動作をしている被写体の人物の腕が入力された位置座標（点ａ）から離れており、算出された動き量が少ない。一方で、フレーム番号「39 frame」は、投球動作中の腕が、入力された位置座標（点ａ）の付近をちょうど通過するシーンに該当し、動き量が最も大きいため、表示する画像情報のフレーム番号として特定される。

本実施形態においては動き量が最大であるフレームを表示対象として特定する場合について示しているが、ヒストグラムの重心となるフレームとしてもよい。あるいは、ヒストグラムを１次元のガウシアンフィルタで平滑化し、その中で動き量が最大となるフレームを表示対象として特定してもよい。

表示する画像情報のフレーム番号が特定されると、図２のフローチャートに戻り、特定されたフレーム番号の画像情報がフレーム画像選択部１３により選択され表示部１４に表示される（Ｓ８）。

このように処理されることにより、図５のように位置座標情報が入力されたときに、図９に示されるように画像情報が表示され、当該位置座標でちょうど被写体の動きが大きいシーンが表示される。ここでステップＳ６のユーザの入力操作がクリック操作やタップ操作であり画面内の位置座標情報が１点のみ指定された場合は、「フレーム画像上の１点の座標をクエリとしてその座標において被写体の動きが検出されたフレーム画像を検索して表示する」といったように、非連続的に映像をシークする機能としてユーザに提供される。

またステップＳ６のユーザの入力操作がＰＣにおけるマウスのドラッグ操作やスマートフォンやタブレット端末におけるスワイプ操作でありモニタ画面内の複数の位置座標情報が連続して指定される場合は、当該操作が実行されている間ステップＳ７およびＳ８の処理が繰り返され、連続的に表示画像が更新される（ループＡ）。その結果ユーザは、入力操作により被写体を掴んで動かしているかのような感覚を得る映像を再生させることができる。

またユーザの入力操作がドラッグ操作やスワイプ操作である場合に、連続する位置座標情報の動きが微小であり、抽出される基準座標が前回と変わらない場合、ステップＳ１３にける動き量の算出処理を省略して処理負荷を低減させるようにしてもよい。

以上の第１実施形態によれば、ユーザの直感的な操作に応答して、映像情報の中から被写体の動きが大きいシーンを容易に選択して再生することができる。

これにより、検出したい動きに応じて被写体の近辺をモニタ画面上でユーザがドラッグ操作やスワイプ操作でなぞるだけで、あたかもその被写体を掴んで動かしているかのように映像を表示させることができ、ユーザは直感的なインタラクションを体感することができる。またはクリック操作やタップ操作により、ある位置座標において被写体の大きい動きが検出されたシーンを表示する、というシーン検索をすることができる。

《第２実施形態》
〈第２実施形態による映像再生装置の構成〉
本実施形態による映像再生装置の構成は、第１実施形態において説明した映像再生装置１の構成と同様であるあるため、同様の機能を有する部分については詳細な説明を省略する。

本実施形態において表示フレーム番号特定部１９は、入力部１８から入力された２点（始点および終点）、およびこれらの２点をつなぐ線上の位置情報を用いて、ユーザが指定する位置座標に対応するフレーム画像情報のフレーム番号を特定する。

〈第２実施形態による映像再生装置の動作〉
次に、本実施形態による映像再生装置の動作について、図１０のフローチャートを参照して説明する。

図１０のステップＳ２１〜Ｓ２５の処理は、第１実施形態における図２のステップＳ１〜Ｓ５の処理と同様であるため、詳細な説明は省略する。

映像情報の登録処理後、最初のフレーム画像情報が表示部１４に表示された状態で、入力部１８からユーザによりモニタ画面上で始点、終点の２点が指定されると（Ｓ２６）、これら２点の位置座標およびこれらをつなぐ線の位置情報が入力される（Ｓ２７）。

例えば図１１に示すように、ユーザが検出したい動きをする被写体の近辺の位置を線状にドラッグ操作やスワイプ操作で指定することにより、当該操作の端点である始点の位置座標情報（点ｂ）および終点の位置座標情報（点ｃ）が入力され、またこれらの始終点をつなぐ線の軌跡の位置情報（線ｄ）が入力される（Ｓ２７）。

本実施形態においては、ユーザによるドラッグ操作やスワイプ操作の始点および終点の位置座標情報およびこれらの始終点をつなぐ線の軌跡の位置情報が、ユーザが検出したい動きをする被写体の近辺の位置情報として入力される場合について示しているが、始点、終点とする２点をそれぞれクリック操作やタップ操作で指定したり、始点の位置座標と終点の位置座標とを結ぶ直線を、これらの始終点をつなぐ線としてその位置情報を入力するようにしてもよい。

次に、始点（点ｂ）および終点（点ｃ）に関し、図６のフローチャートで説明した処理により各フレームの動き量が算出される。

図１２に、始点（点ｂ）および終点（点ｃ）に関しそれぞれ、各フレームのフレーム番号「0 frame」〜フレーム番号「62 frame」を横軸とし、算出された動き量を縦軸に表したヒストグラムを示す。

ここで、始点（点ｂ）は投球動作の始まるシーンのときに動きが多く発生するため、始めに近いフレーム番号（図１２ではフレーム番号「0 frame」〜フレーム番号「10 frame」）に偏って動き量が現れ、終点（点ｃ）は投球動作の終わるシーンのときに動きが多く発生するため、終わりに近いフレーム番号（図１２フレーム番号「50 frame」〜フレーム番号「62 frame」）に偏って動き量が現れている。

そして、ステップＳ１４と同様の処理により、始点および終点に関しそれぞれ、算出された動き量が最も大きいフレームのフレーム番号が特定される。ここでは、始点に対してはフレーム番号「4 frame」が特定され、終点に対してはフレーム番号「53 frame」が特定されたものとする（Ｓ２８）。

次に、入力部１８からユーザの入力操作が行われたか否かが監視され（Ｓ２９）、表示部１４のモニタ画面上の所望の位置、例えば検出した動きをする被写体の近辺の位置が指定されると、当該位置の、モニタ画面内の位置座標情報が入力される（Ｓ２９の「YES」）。

次に、表示フレーム番号特定部１９において、表示させるフレーム画像情報のフレーム番号が特定される。

例えば、図１３の矢印で示すようにユーザに指定された点ｅの位置座標情報が入力されたときのフレーム番号を特定するときの詳細な処理について説明する。

まず、ステップＳ２７で入力された始終点をつなぐ線（線ｄ）上の中間点で、入力された点（点ｅ）から最も近い点（点ｆ）の位置座標情報が特定される（Ｓ３０）。

次に、始終点をつなぐ線（線ｄ）上の、始点（点ｂ）と中間点（点ｆ）との距離および始点（点ｂ）と終点（点ｃ）との距離が算出され、これらに基づいて下記式（１）により中間点（点ｆ）に対応するフレーム番号が特定される（Ｓ３１）。

ここで、spは始点、snは始点に対して特定されたフレーム番号、epは終点、enは終点に対して特定されたフレーム番号、mpは中間点、mnは中間点に対応するフレーム番号を示す。また、d(A,B)は点Aと点Bとの距離を示し、int(C)はCを整数にキャストした値を示す。ここでは、図１４に示すように、中間点に対応するフレームのフレーム番号「29 frame」が特定されたものとする。

そして、特定された中間点のフレーム番号の画像情報がフレーム画像選択部１３により選択され表示部１４に表示される（Ｓ３２）。

このように処理されることにより、図１３のように位置座標情報が入力されたときに、図１５に示されるように画像情報が表示され、当該位置座標に対応するシーンが表示される。

このステップＳ３０〜Ｓ３２の処理は、ユーザによりドラッグ操作やスワイプ操作が行われている間は繰り返し実施され、連続的に表示画像が更新される（ループＣ）。

以上の第２実施形態によれば、被写体がほぼ等速運動で一方向へしか進まない（つまり、往復運動しない）場合に、第１実施形態の処理よりも少ない計算コストで、ユーザにより入力された位置座標に対応するシーンのフレームを高速に選択して表示することができ、ユーザの直感的な操作に応答した映像再生処理を実現することができる。

また従来の映像情報再生のためのスライダ型ＧＵＩを生成する手法では、映像中のフレーム画像について特徴点を追尾していたため計算コストが非常に高かったが、上述した第１実施形態および第２実施形態においては、従来の手法よりも映像コンテンツ再生のための人手による作業コストやコンピュータによる計算コストを軽減することができ、容易に直感的なインタラクションを提供することができる。

また第１実施形態および第２実施形態においては、ユーザにより指定した位置座標からその周囲の動き情報を参照するため、タッチパネルのようなポインティングの精度が低いデバイスにより発生するズレや、オプティカルフローが誤検出されるケースに発生するノイズを容易に打ち消すことができ、ユーザの所望の映像を高い精度で再生することができる。

また第１実施形態および第２実施形態においては、フレーム画像上でオプティカルフローを求める際に、全ての画素についてではなく、所定の間隔を空けて配置された基準座標群に限定してオプティカルフローを求めるため、計算コストを低減させることができる。またユーザによるドラッグ操作中でも、基準座標群に関して算出された動き量の大きいフレームをヒストグラムから選択するだけで表示フレームを選択できるため、高速に処理を行うことができる。

また従来の手法では動き検出がフレーム画像の一部に偏ってしまい、ユーザが動かしたい被写体の動きを検出できない恐れがあった。一方上述した第１実施形態および第２実施形態ではフレーム画像内のすべての位置について任意の座標における動き検出の結果を参照することができるため検出可能範囲に偏りがなく、ユーザの操作に基づいて確実に所望の被写体を検出することができる。

さらに第１実施形態および第２実施形態においては、すべてのフレームについて入力した位置座標における動きの量を参照することができるため、ユーザが入力した座標の近辺で映像中に動きが発生する被写体であれば、入力の時点で表示されていなくても当該被写体を掴んで動かすようなシーンをすぐに表示させることができ、直感的なインタラクションを提供することができる。

その際に、すべてのフレームを通して動き量にピークが複数立つ場合や、ノイズが混じる場合であっても、被写体が特に大きく被写体が動いていつフレームを安定して表示することが可能であり、さらに品質を向上させることができる。

１…映像再生装置
１１…映像情報記憶部
１２…フレーム画像情報復号部
１３…フレーム画像選択部
１４…表示部
１５…対象フレーム情報記憶部
１６…動き検出部
１７…動き検出情報記憶部
１８…入力部
１９…表示フレーム番号特定部

Claims (7)

1. 処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出手段と、
   前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力手段と、
   前記各フレーム画像情報について、前記入力手段で入力された位置座標に最も近い前記基準座標およびその周辺の前記基準座標に関する動き情報の大きさに、入力された位置座標との距離に応じて重み付けをかけ合わせたものの合算を動き量として算出し、このフレーム画像情報ごとの動き量に基づいて表示対象のフレーム画像情報を特定する表示フレーム特定手段と、
   前記表示フレーム特定手段で特定されたフレーム画像情報を表示させる表示制御手段とを備えることを特徴とする映像再生装置。
2. 前記入力手段は、ユーザのドラッグ操作またはスワイプ操作により連続して指定された、前記画面内の複数の位置座標を入力し、
   前記表示フレーム特定手段は、前記入力手段により入力された複数の位置座標に対応する表示対象のフレーム画像情報をそれぞれ特定し、
   前記表示制御手段は、前記表示フレーム特定手段で特定されたフレーム画像情報を、前記ドラッグ操作またはスワイプ操作が実行されている間、連続的に表示する
   ことを特徴とする請求項１に記載の映像再生装置。
3. 前記表示フレーム特定手段は、前記フレーム画像情報ごとの前記動き量を表したヒストグラムを生成し、
   前記ヒストグラムから、動き量が最大のフレーム画像情報、ヒストグラムの重心となるフレーム画像情報、または、ヒストグラムを１次元のガウシアンフィルタで平滑化した中で動き量が最大となるフレーム画像情報を、前記表示対象のフレーム画像情報として特定する
   ことを特徴とする請求項１または請求項２に記載の映像再生装置。
4. 処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出手段と、
   前記処理対象の映像が表示された画面上で、処理の始点とする位置座標、終点とする位置座標、および前記始点とする位置座標と終点とする位置座標をつなぐ線の位置情報を取得する始終点位置取得手段と、
   前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力手段と、
   前記始終点位置取得手段で取得された始点の位置座標および終点の位置座標に最も近い前記基準座標およびその周辺の前記基準座標の前記各フレーム画像情報の動き情報からフレーム画像情報ごとの動き量を算出し、このフレーム画像情報ごとの動き量に基づいて、前記始点に対応するフレーム画像情報および前記終点に対応するフレーム画像情報を特定し、前記始終点位置取得手段で位置情報が取得された線上であり前記入力手段で入力された位置座標に最も近い点の位置座標を特定し、当該特定した点の位置座標と、前記始点に対応するフレーム画像情報と、前記終点に対応するフレーム画像情報とから、表示対象のフレーム画像情報を特定する表示フレーム特定手段と、
   を備えることを特徴とする映像再生装置。
5. 映像再生装置が、
   処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出ステップと、
   前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力ステップと、
   前記各フレーム画像情報について、前記入力ステップで入力された位置座標に最も近い前記基準座標およびその周辺の前記基準座標に関する動き情報の大きさに、入力された位置座標との距離に応じて重み付けをかけ合わせたものの合算を動き量として算出し、このフレーム画像情報ごとの動き量に基づいて表示対象のフレーム画像情報を特定する表示フレーム特定ステップと、
   前記表示フレーム特定ステップで特定されたフレーム画像情報を表示させる表示制御ステップと
   を有することを特徴とする映像再生方法。
6. 映像再生装置が、
   処理対象の映像を構成する各フレーム画像情報の、所定距離間隔ごとの基準座標についての動き情報を検出する動き検出ステップと、
   前記処理対象の映像が表示された画面上で、処理の始点とする位置座標、終点とする位置座標、および前記始点とする位置座標と終点とする位置座標をつなぐ線の位置情報を取得する始終点位置取得ステップと、
   前記処理対象の映像が表示された画面上で、ユーザの操作により指定された前記画面内の位置座標を入力する入力ステップと、
   前記始終点位置取得ステップで取得された始点の位置座標および終点の位置座標に最も近い前記基準座標およびその周辺の前記基準座標の前記各フレーム画像情報の動き情報からフレーム画像情報ごとの動き量を算出し、このフレーム画像情報ごとの動き量に基づいて、前記始点に対応するフレーム画像情報および前記終点に対応するフレーム画像情報を特定し、前記始終点位置取得ステップで位置情報が取得された線上であり前記入力ステップで入力された位置座標に最も近い点の位置座標を特定し、当該特定した点の位置座標と、前記始点に対応するフレーム画像情報と、前記終点に対応するフレーム画像情報とから、表示対象のフレーム画像情報を特定する表示フレーム特定ステップと、
   を有することを特徴とする映像再生方法。
7. 請求項１〜４のいずれか１項に記載の映像再生装置を、コンピュータで構成するための映像再生用プログラム。

Images