JP5876409B2

JP5876409B2 - 映像再生装置及び映像再生プログラム

Info

Publication number: JP5876409B2
Application number: JP2012277977A
Authority: JP
Inventors: 広夢宮下; 佐藤　隆; 隆佐藤; 東野　豪; 豪東野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-12-20
Filing date: 2012-12-20
Publication date: 2016-03-02
Anticipated expiration: 2032-12-20
Also published as: JP2014123186A

Description

本発明は、線情報を入力する技術に関する。

座標空間上のある２点の座標と、それらを繋ぐ経路について記憶したものをパス（線情報）と定義する。パスの経路は２点の座標を最短で結ぶ直線の他、ある点で経路の方向が変わる折れ線、経路が連続的に曲がる曲線なども含まれる。

ドローソフトに含まれるツールでは、マウスの押下やタッチパネルへの接触を起点とし、ドラッグ操作やスワイプ動作によってポイントが移動した先の座標を取得し、座標と座標を結ぶことでパスが描画される（非特許文献１，２参照）。ラスタ形式のドローソフトの場合、画像はピクセル単位で保存されるので、周囲と十分なコントラストでもって着色されたピクセルの集合でパスが表現される。ベクタ方式のドローソフトの場合、パス上の起点や終点、節（折り曲がりに対応する頂点）の座標を保存し、それらの座標間を直線で、あるいは曲率が指定された曲線で結ぶことによってパスを表現している。

一方、物の動きをパスを用いて表現するソフトウェアもある。例えば、映像中から所望の再生フレームを指定するためのインタフェースとして、スライダ型のＧＵＩ（パス）を映像中の被写体の動きや変形の軌跡と重なるように画面内に配置し、そのパス上をなぞるように操作することにより、あたかも映像中の被写体を掴んで動かしているような感覚をユーザに提供する技術がある（特許文献１参照）。この技術では、複数のフレームを通して人間や物体が運動するような映像を対象とし、ユーザが注目する被写体の移動軌跡とパスとを空間的に対応付け、さらに被写体がパス上の近接する位置に対応するように、パス上の座標と映像中のフレーム番号とを時間的に対応つけている。例えば、図３３のような投球の動作を撮影した映像を特許文献１の映像再生装置に入力して図３４のようにベクタ方式として保存されたパスを設定し、パス上の各節に映像中のフレーム番号を対応付けておく。そして、図３５のように、被写体（ボール）の移動軌跡に沿った入力を行うと、ポインタの座標とパスの位置関係から対応するフレームを決定してフレーム画像を表示する。

パスの描画については、ペンや鉛筆でデッサンをする場合でも、形体の輪郭を一本の線でいきなり描くことは少なく、複数のパスを何本も重ねて描き、徐々にずらすことで輪郭として整えていく作業がある。これら複数のパスは一般的に迷い線（ＲｏｕｇｈＬｉｎｅｓ）と呼ばれている。図３６（ａ）に模範図形、図３６（ｂ）に単一の線で模写した図形、図３６（ｃ）に迷い線で模写した図形を示す。図３６（ｃ）に示すように、迷い線は複数のパスからなるため、パスの方向、位置、曲がり方を多数含んでおり、それらのブレを内包しているともいえる。迷い線によって描かれた輪郭やパスを見たとき、そのブレの範囲内にユーザが理想とする線が含まれていることが多いため、整った形状として受け入れられやすい。図３６（ｂ）に示すように、長いパスを一度に描こうとすると、往々にして途中で方向がずれてしまったり、歪んでしまったりして、結果的にユーザが理想とする形状を得られないことが多い。一方、迷い線を利用するとパスの一回当たりの描画距離を短くすることができるため毎回の描画が安定し、また失敗を補完するように描画することでそれらを微調整あるいは修正できるため、結果的にユーザは好ましい形状を描きやすい。

特許第３３２５８５９号公報

"ペイントの概要"、［online］、日本マイクロソフト株式会社、［平成24年12月3日検索］、インターネット〈 URL：http://windows.microsoft.com/ja-JP/windows7/Getting-started-with-Paint〉 "ペンツール、鉛筆ツールまたはフレアツールを使用した描画"、［online］、アドビシステムズ株式会社、［平成24年12月3日検索］、インターネット〈 URL：http://help.adobe.com/ja_JP/illustrator/cs/using/WS3f28b00cc50711d9-2cf89fa2133b344d448-8000.html〉

コンピュータにパスの情報を入力する場合、図３６（ｂ）で示したように、単一の線で入力することが多く、容易に所望のパスを得ることができないという課題がある。また、パスの微調整や修正が困難であるという課題がある。

迷い線でパスを描画した場合は、所望のパスに近い形状が得られるが、描かれた迷い線を一本にまとめたいとユーザやシステムが要求する場合がある。例えば、イラストレーションで迷い線を多用して輪郭を下書きしても、扱いをシンプルにしたり形状を整えたりするために、着色や清書の段階で単一の線を求めることが多い。特にパスの描画にベクタ方式を利用する場合、パスは各節の座標として保存されるため、採用するパスを一意に決定する必要がある。迷い線から所望のパスを求める作業は、迷い線を描画したレイヤに重畳して単一の線を描くなど二度手間になることが多い。

特許文献１の映像再生装置に設定されるパスも同様で、パスの形状を一意に決定するため、パスの始点と終点、折れ曲がりにあたる節をマウスクリックやタッチパネルへのタップ操作で設定する必要があり、パスを修正する際には該当の節を選択して移動するなど、煩雑な操作が必要となる。特にタッチパネルは入力精度が悪いため、所望のパス形状に修正することは困難である。

本発明は、上記に鑑みてなされたものであり、より簡単に所望するパスを入力することを目的とする。

第１の本発明に係る映像再生装置は、映像上の指定された位置座標を入力する入力手段と、前記入力手段が入力した前記位置座標によりパスを入力してパス上に節を設定し、当該節の座標を記憶手段に記憶させる節追加手段と、前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させる節マージ手段と、処理対象の映像を構成する各フレーム画像から動き情報を検出し、前記映像上の各領域に、当該領域における動きの大きさが最大となるフレーム番号を付与した動き検出情報を蓄積した動き検出情報蓄積手段と、前記位置座標に対応する前記映像上の領域に付与されたフレーム番号を前記動き検出情報から取得するフレーム番号特定手段と、前記フレーム番号特定手段が特定したフレーム番号の示すフレーム画像を前記映像から取得するフレーム画像取得手段と、前記フレーム画像取得手段が取得したフレーム画像に重ねて前記記憶手段から補正された節の座標を読み出してパスを表示する表示手段と、を有することを特徴とする。

上記映像再生装置において、前記節マージ手段は、新たなパスが入力される度に、当該新たなパスの節の座標を前記記憶手段に記憶させた既存のパスの節の座標で補正することを特徴とする。

上記映像再生装置において、前記節マージ手段は、複数のパスを入力後に、前記記憶手段から入力された時間が古い順でパスを読み出し、読み出されたパスよりも前に入力されたパスを用いて節の座標の補正を繰り返すことを特徴とする。

上記映像再生装置において、前記節追加手段が設定した複数の節の位置関係に基づいてパスの折り返しを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する折り返し判定手段をさらに有することを特徴とする。

上記映像再生装置において、前記折り返し判定手段は、連続する３つの節で形成される角度が所定のしきい値以下の場合あるいはある節と当該節から２つ前の節との間の距離が所定のしきい値以下の場合にパスが折り返されたと判定することを特徴とする。

第２の本発明に係る映像再生プログラムは、上記の映像再生装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、より簡単に所望するパスを入力することができる。

第１の実施の形態における線情報入力装置の構成を示す機能ブロック図である。上記の線情報入力装置が入力されたパスをマージして出力する処理の全体的な流れを示すフローチャートである。パスの入力処理の流れを示すフローチャートである。指でパスを描く様子を示す図である。パス上に設定された節の様子を示す図である。既存のパスＰ_０の近くに新たなパスＣを描画した様子を示す図である。図６の新たなパスＣ上に設定された節Ｃ（ｎ）を示す図である。既存のパスＰ_０の節と新たなパスＣの節を示す図である。既存のパスと新たなパスの節をマージする処理の流れを示すフローチャートである。各節からの節マージ距離を点線で示した図である。節のマージ処理によって得られたパスの節Ｐ_１（ｎ）を示す図である。図１１の節Ｐ_１（ｎ）を線でつなげたパスＰ_１を示す図である。図１２のパスＰ_１とマージ処理前のパスＰ_０とパスＣを示す図である。不要な節を削除する処理の流れを示すフローチャートである。パスを残す設定の場合に残されたパスＰ_０の様子を示す図である。第２の実施の形態における線情報入力装置の処理の流れを示すフローチャートである。入力された３本のパスを示す図である。図１７のパスに追加された節を示す図である。図１７のパスＣ_１をマージ対象としたときの節マージ距離を示す図である。図１７のパスＣ_２をマージ対象としたときの節マージ距離を示す図である。図１７の３本のパスをマージして得られた節Ｐ_２（ｎ）を示す図である。図２１の節Ｐ_２（ｎ）を線でつなげたパスＰ_２を示す図である。図１７の３本のパスと図２２のパスＰ_２を重畳して図である。パスを折り返して入力した様子を示す図である。第３の実施の形態における線情報入力装置の構成を示す機能ブロック図である。パスの折り返し判定を含む第３の実施の形態における入力処理のフローチャートである。３つの節を直線で結んだ角度で折り返しを判定する処理を説明する図である。節の間隔で折り返しを判定する処理を説明する図である。第４の実施の形態における線情報入力装置と映像再生装置の構成を示す機能ブロック図である。図２９の映像再生装置が保持する動き検出情報の例を示す図である。図３０の動き検出情報を基に対応するフレーム画像を表示する様子を示す図である。第４の実施の形態において何度もパスを入力する様子を示す図である。従来の映像再生装置に入力される映像を示す図である。図３３の映像上に設定したパスを示す図である。図３４のパスをなぞって映像を再生させる様子を示す図である。模範図形と単一の線で模写した図形と迷い線で模写した図形を示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

［第１の実施の形態］
図１は、第１の実施の形態における線情報入力装置の構成を示す機能ブロック図である。同図に示す線情報入力装置１は、入力部１１、節間距離計算部１２、節追加部１３、節情報記憶部１４、節マージ部１５、節削除部１６、および表示部１７を備える。線情報入力装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは線情報入力装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。

入力部１１は、ユーザにより描かれるパスを入力し、現在のポインタの座標を節間距離計算部１２へ送信する。ユーザは、マウスやタッチパネルなどのポインティングデバイスを利用してポインタを移動させてパスを描く。

節間距離計算部１２は、現在のポインタの座標と最後に追加した節の座標との間の距離を計算する。節は、パス上に設定された、所定の間隔以上離れた点であり、座標を値として持つ。最初の節はパスの始点に設定される。

節追加部１３は、節間距離計算部１２の計算した距離が一定範囲を超えたときに、現在のポインタの座標を新しい節として追加し、節情報記憶部１４に記憶させる。始点を最初の節とし、最後に追加された節を終点とする。なお、パスの入力の終了点、つまりマウスのボタンが離されたときのポインタの座標を終点としてもよい。

節情報記憶部１４は、節追加部１３によって追加された節（節の座標）の集合を記憶する。本実施の形態では、節の集合によってパスを表現する。ユーザが複数のパスを描いた場合は、節の集合を複数記憶する。パスがマージされた場合は、マージ後の節の集合も記憶する。

節マージ部１５は、新たに描かれたパスの節と節情報記憶部１４に記憶されたパスの節との距離に基づき、それぞれのパスの節をマージして新たに描かれたパスの節の位置を補正する。具体的には、複数のパス間で節同士が予め定めた節マージ距離以内に存在する場合に、それらの節の座標の平均値を算出して節の位置を補正する。

節削除部１６は、節マージ部１５によってパスの節がマージされた後、マージされなかった節などの不要な節の削除を実施する。

表示部１７は、節情報記憶部１４から節の集合を読み出して節を線でつなきパスを表示する。また、パスの入力対象となる映像を同時に表示してもよい。

次に、本実施の形態における線情報入力装置の動作について説明する。

図２は、線情報入力装置１が入力されたパスをマージして出力する処理の全体的な流れを示すフローチャートである。

まず、入力部１１がユーザから新たなパスＣを入力し、節間距離計算部１２および節追加部１３がパスＣ上に節を設定する（ステップＳ１１）。

新たなパスＣの入力が終わると、節マージ部１５が、ステップＳ１１でパスＣ上に設定した節と節情報記憶部１４に記憶された既存のパスＰ_ｔ−１の節をマージしてパスＰ_ｔを作成する（ステップＳ１２）。パスＣが１つめのパスの場合は、パスＣをパスＰ_０とする。なお、ｔはパスの番号を示し、パスのマージ処理により、新たなパスＣの節の座標が補正されて節情報記憶部１４に記憶される度にインクリメントされる。

そして、節削除部１６が節情報記憶部１４に記憶された古いパスＰ_ｔ−１つまりパスＰ_ｔ−１の節を削除する（ステップＳ１３）。なお、ステップＳ１２でマージされていないパスＰ_ｔ−１の節を削除せずに、パスＰ_ｔ−１として残してもよい。

そして、パスを再入力するか否か判定し（ステップＳ１４）、パスを再入力する場合は（ステップＳ１４のＹｅｓ）、ステップＳ１１に戻り、新たなパスを入力する。パスを再入力しない場合は（ステップＳ１４のＮｏ）、パスＰ_ｔを確定パスとして出力する（ステップＳ１５）。なお、パスを再入力するか否かは、ユーザによるパスの再入力操作の有無で判定する。例えば、ユーザがパスを確定する操作を行った場合はパスの再入力は行わない。あるいは、パスの入力が終了後に無操作のまま所定の時間経過した場合はパスの再入力は行わず、パスの入力が終了後、所定の時間内に再びパスの再入力操作（例えばマウスがクリックされて始点が指定されるなど）が行われた場合はパスの再入力を行う。

以上の処理により、ステップＳ１１〜Ｓ１３を繰り返すことで、既存のパスと入力されたパスがマージされて、パスをユーザの所望する形状に近づけることができる。以下、パスの入力処理、節のマージ処理、および節の削除処理について詳細に説明する。

〈パスの入力処理〉
図３は、パスＣを入力してパスＣ上に節を設定するパスの入力処理の流れを示すフローチャートである。

ユーザがパスの入力を開始すると、入力部１１はパスの入力が開始された時点のポインタの座標を取得し、節追加部１３がそのポインタの座標を始点（節Ｃ（０））として節情報記憶部１４に追加する（ステップＳ２１）。パスの入力中、入力部１１はポインタの座標を取得して節間距離計算部１２へ送信する。例えば、ユーザがマウスでパスを描くときには、マウスのボタンを押下する、ドラッグする、マウスのボタンを離す、という操作でパスを描く。マウスのボタンが押下された位置が始点であり、離された位置が終点である。入力部１１は、ドラッグ中のマウスカーソル座標をポインタの座標として取得する。タッチパネルを用いる場合も同様に、タッチパネルに指を接触させる、スワイプする、タッチパネルから指を離す、という操作でパスを描き、入力部１１はスワイプ中の接触座標をポインタの座標として取得する。図４に、指でパスを描いている様子を示す。

ユーザによりパスが描かれている間つまりドラッグ中あるいはスワイプ中、以下のステップＳ２２〜Ｓ２４の処理を繰り返す。

節間距離計算部１２は、直前の節Ｃ（ｎ）の座標と入力部１１が取得した現在のポインタの座標との間の距離ｄｉを計算し（ステップＳ２２）、距離ｄｉと予め定めた節間距離とを比較する（ステップＳ２３）。

距離ｄｉが節間距離以上の場合（ステップＳ２３のＹｅｓ）、節追加部１３は、現在のポインタの座標を節Ｃ（ｎ＋１）として節情報記憶部１４に追加し、節の番号ｎをインクリメントする（ステップＳ２４）。

そして、ユーザによるパスの入力が終了していない場合は、現在のポインタの座標を更新し、ステップＳ２２に戻る。

ユーザによるパスの入力が終了すると、最後に追加した節を終点として節の集合Ｃ（ｎ）をパスＣとする（ステップＳ２５）。なお、パスの入力の終了点を終点の節として追加してもよい。

以上の処理により、パスＣは節間距離以上離れた節の集合Ｃ（ｎ）として節情報記憶部１４に記憶される。図５に、描かれたパス上に設定された節Ｃ（ｎ）を示す。

〈節のマージ処理〉
節のマージ処理は、複数のパスが入力されたときに行われる。図６に、既存のパスＰ_０の近くに新たなパスＣを描画した様子を示す。新たなパスＣについても図３を用いて説明したパスの入力処理が実行されて、新たなパスＣ上に設定された節の集合が節情報記憶部１４に記憶される。図７に、新たなパスＣ上に設定された節Ｃ（ｎ）を示す。図８に、節情報記憶部１４に蓄積される、既存のパスＰ_０の節Ｐ_０（ｍ）と新たなパスＣの節Ｃ（ｎ）を示す。図８のように既存のパスＰ_０の近くに新たなパスＣが描かれた場合、パスＰ_０とパスＣの節をマージする。

図９は、既存のパスと新たなパスの節をマージする処理の流れを示すフローチャートである。

節のマージ処理では、パスＣのすべての節Ｃ（ｎ）について順番に着目し、着目した節Ｃ（ｎ）それぞれについて、既存のパスＰ_ｔ−１のすべての節Ｐ_ｔ−１（ｍ）との間の距離を計算し（ステップＳ３１）、節Ｃ（ｎ）と節Ｐ_ｔ−１（ｍ）との間の距離を予め定めた節マージ距離と比較する（ステップＳ３２）。

節Ｃ（ｎ）と節Ｐ_ｔ−１（ｍ）との間の距離が節マージ距離以下の場合は（ステップＳ３２のＹｅｓ）、節Ｐ_ｔ−１（ｍ）をテンポラリ配列Ｍに追加する（ステップＳ３３）。図１０は、各節Ｃ（ｎ）からの節マージ距離を点線で示した図である。図１０の例で、節Ｃ（ｎ）の節マージ距離内に存在するパスＰ_０の節は、テンポラリ配列Ｍに追加される。

節Ａ，Ｂ間の距離をｄｉｓ（Ａ，Ｂ）、節マージ距離をＤとすると、テンポラリ配列Ｍに追加される節は次式（１）で表される。

そして、着目した節Ｃ（ｎ）について、ステップＳ３１〜Ｓ３３の処理をすべての節Ｐ_ｔ−１（ｍ）に対して実行した後、テンポラリ配列Ｍに含まれるすべての節と節Ｃ（ｎ）の座標の平均値（重心）を計算して、マージ後のパスＰ_ｔの節Ｐ_ｔ（ｎ）の座標とする（ステップＳ３４）。

テンポラリ配列Ｍの要素数をｌｅｎ（Ｍ）とすると節Ｐ_ｔ（ｎ）は次式（２）で表される。

なお、座標の平均値を求める際に、例えば節Ｃ（ｎ）の座標により近くなるように重みを設定してもよい。

図１１に、節のマージ処理によって得られたパスＰ_１の節Ｐ_１（ｎ）を示し、図１２に、マージされた節Ｐ_１（ｎ）を線でつなげたパスＰ_１を示す。また、図１３に、マージ処理後のパスＰ_１とマージ処理前のパスＰ_０とパスＣを示す。

このように、節のマージ処理により、新しいパスが描かれるたびに、既存のパスＰ_ｔ−１と新たなパスＣの中間を通るようなパスＰ_ｔを得ることができる。パスＰ_ｔを作成するときは、既存の節Ｐ_ｔ−１（ｍ）のうち、新たな節Ｃ（ｎ）と近いものだけを参照するので、徐々にパスの位置や形状をずらすような迷い線の描画においてパス形状を繰り返し調整しやすい。

〈節の削除処理〉
上記の節のマージ処理で新たなパスの節の座標が既存のパスの節に基づいて補正される。このとき節情報記憶部１４には既存のパスの節の情報も記憶されているので、ここで説明する節の削除処理において不要な節を削除する。

図１４は、不要な節を削除する処理の流れを示すフローチャートである。

節の削除処理では、既存のパスＰ_ｔ−１のすべての節Ｐ_ｔ−１（ｍ）について、以前のパスを残す設定であるか否か（ステップＳ４１）、パスＰ_ｔの作成に寄与したか否かを判定し（ステップＳ４２）、以前のパスを残さない設定である場合（ステップＳ４１のＮｏ）、あるいはパスＰ_ｔの作成に寄与した場合は（ステップＳ４２のＹｅｓ）、その節Ｐ_ｔ−１（ｍ）を削除する（ステップＳ４３）。

つまり、以前のパスを残さない設定である場合はすべての節Ｐ_ｔ−１（ｍ）を削除する。以前のパスを残す設定である場合は、パスのマージに使われた節つまりテンポラリ配列Ｍに追加されたことがある節を削除し、使われなかった節、すなわち新たなパスＣから離れた位置にある節を残す。

図１５は、以前のパスを残す設定の場合に残されたパスＰ_０の様子を示す図である。図１５に示す例は、図１０で示したように、新たなパスＣの各節から節マージ距離以上離れている節を線でつなげたパスＰ_０が残されている。

節Ａ，Ｂ間の距離をｄｉｓ（Ａ，Ｂ）、節マージ距離をＤとすると、節の削除が完了したパスＰ_ｔ−１は次式（３）のように定義できる。

以前のパスを残す設定にして、パスＰ_ｔの作成に寄与していない節Ｐ_ｔ−１を残すことにより、パスを徐々に伸ばすように輪郭を描くことが可能となる。例えば、図３６（ｃ）のように迷い線で円形を描くときに有効である。

以上説明したように、本実施の形態によれば、入力部１１が入力したパスに節追加部１３が節を設定して節情報記憶部１４に記憶し、節マージ部１５が既存のパスＰ_ｔ−１の節と新たなパスＣの節とをマージすることにより、ユーザの意図に沿った１本のパスＰ_ｔを容易に得ることができる。節マージ部１５は、新たなパスＣが入力される度に既存のパスＰ_ｔ−１とのマージ処理を実行するので、ユーザはマージした結果のパスを確認し、逐次調整するようにパスを入力することができる。そのため、従来のような複数のパスを描画してから最後に代表のパスを描画する作業に比べて、パスを描く手間が減り、またパスを徐々に微調整・修正できるために所望のパスを得やすい。

［第２の実施の形態］
第１の実施の形態では、ユーザが新たなパスを入力する度に既存のパスとマージしていたが、第２の実施の形態では、ユーザが複数のパスを入力した後、まとめてパスのマージを行う。なお、第２の実施の形態における線情報入力装置の構成は第１の実施の形態とほぼ同じであるので、ここでの説明は省略する。以下、第２の実施の形態における線情報入力装置の動作について説明する。

図１６は、第２の実施の形態における線情報入力装置の処理の流れを示すフローチャートである。

第２の実施の形態では、ユーザからマージの指示が入力されるまで、パスＣ_ｔの入力を繰り返す（ステップＳ５１）。パスの入力処理は、第１の実施の形態と同様に、入力されたパスに節を設定して記憶する。例えば、図１７に示すように、パスＣ_０、パスＣ_１、パスＣ_２の３本のパスが入力されると、図１８に示すように、節間距離計算部１２および節追加部１３により、パスＣ_０、パスＣ_１、パスＣ_２上に節が設定されて追加される。なお、節の追加は、パスの入力にともなって実施されてもよいし、全てのパスを入力した後、マージの指示が入力された後にまとめて実施してもよい。

すべてのパスＣ_ｔの入力が終了すると、最初に入力されたパスＣ_０をパスＰ_０とし、パスＣ_１から入力された順に、パスＣ_ｔとパスＰ_ｔ−１の節をマージしてパスＰ_ｔを作成する（ステップＳ５２）。なお、ｔはパスの番号を示しており、マージ処理後にインクリメントされる。

図１９は、パスＣ_１をマージ対象としたときの、各節を中心とした節マージ距離について示す図である。図１９の例では、パスＰ_０のいずれの節もパスＣ_１の節それぞれの節マージ距離以内には存在しない。そのため、パスＣ_１の節がそのままパスＰ_１の節となる。なお、このとき以前のパスを残す設定であり、古いパスＰ_０は削除しないものとする。

図２０は、パスＣ_２をマージ対象としたときの、各節を中心とした節マージ距離について示す図である。図２０の例では、パスＣ_２の節それぞれについて、パスＣ_２の節と、その節の節マージ距離以内に存在するパスＰ_０、パスＰ_１の節がマージされて、パスＰ_２の節は、図２１に示すように、パスＣ_２の節とパスＰ_０、パスＰ_１の節の平均値を求めた位置になる。図２２にマージ処理後の節を線で結んだパスＰ_２を示し、図２３に入力されたパスＣ_０、パスＣ_１、パスＣ_２とパスＰ_２とを重畳して示す。パスが描画された順番でマージ処理を実施するので、図２３に示すように、最終的に得られたパスＰ_２は最後に入力されたパスＣ_２をベースとして、パスＣ_０、パスＣ_１によって微調整されている。

以上説明したように、本実施の形態によれば、節マージ部１５と節削除部１６の動作をユーザが指定のタイミングで実施するように設定することで、迷い線のように複数のパスを重畳して描画し、後でそれらをまとめてマージすることができる。

［第３の実施の形態］
第３の実施の形態では、図２４に示すように、ポインタを往復させてパスが入力された場合に、パスが折り返すごとに新たなパスが入力されたと判定する。つまり、図２４に示す例では、２本のパスが入力されたと判定する。

図２５は、第３の実施の形態における線情報入力装置１の構成を示す機能ブロック図である。同図に示す線情報入力装置１は、第１、第２の実施の形態における線情報入力装置の構成に、折り返し判定部１８を加えた構成である。

折り返し判定部１８は、節追加部１３が追加した節の座標を用いてパスが折り返されたか否かを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する。パスが折り返されたか否かは、３つの連続する節を直線で結んだときにできる角の大きさに基づいて判定する。以下、パスの折り返し判定を含む入力処理について説明する。

図２６は、パスの折り返し判定を含む第３の実施の形態における入力処理のフローチャートである。

図２６のステップＳ６１〜ステップＳ６４までの処理は、図３を用いて説明したパスを入力して節を追加する処理と同じであるので、ここでの説明は省略する。

ステップＳ６４で節Ｃ（ｎ＋１）が追加された後、折り返し判定部１８は、節Ｃ（ｎ＋１），Ｃ（ｎ），Ｃ（ｎ−１）を直線で結んだときにできる角度ａを計算する（ステップＳ６５）。

そして、求めた角度ａと予め定めた折り返し判定角度Ａ_ｔｕｒｎとを比較する（ステップＳ６６）。

求めた角度ａが折り返し判定角度Ａ_ｔｕｒｎより大きい場合は（ステップＳ６６のＮｏ）、ステップＳ６２に戻りパスの入力を継続する。パスの入力が終了していれば、最後に追加した節を終点としてパスＣを出力する（ステップＳ６７）。

一方、求めた角度ａが折り返し判定角度Ａ_ｔｕｒｎ以下であった場合はパスが折り返したと判定し（ステップＳ６６のＹｅｓ）、折り返し点の節Ｃ（ｎ）を終点としてパスＣを出力する（ステップＳ６８）。そして、折り返し点の節Ｃ（ｎ）を新たなパスの始点として新たなパスＣの入力を開始する（ステップＳ６９）。なお、折り返し後に追加された節Ｃ（ｎ＋１）を新たなパスの始点としてもよい。

続いて、折り返し判定部１８による折り返し判定処理について説明する。

折り返し判定部１８は、３つの連続する節Ｃ（ｎ＋１），Ｃ（ｎ），Ｃ（ｎ−１）の座標を取得し、図２７に示すように、節Ｃ（ｎ）を中心、節Ｃ（ｎ＋１）と節Ｃ（ｎ−１）を腕とした角度を求め、求めた角度ａが折り返し判定角度Ａ_ｔｕｒｎ以下であったとき、パスが折り返したと判定する。

節Ｃ（ｎ）の座標をＣ_ｎ＝（ｘ_ｎ，ｙ_ｎ）とすると、角度ａは次式（４）で求められる。角度ａが次式（５）を満たす場合にパスが折り返したと判定する。

別の折り返し判定として、図２８に示すように、節Ｃ（ｎ−１）と節Ｃ（ｎ＋１）の距離が予め定めた折り返し判定距離以下の場合に、節Ｃ（ｎ−１）、節Ｃ（ｎ＋１）の間の節Ｃ（ｎ）で折り返したと判定する方法もある。図２８の点線で示す円の半径が予め定めた折り返し判定距離である。直線に並んでいる節を折り返しとして判定することを防ぐため、折り返し判定距離は節間距離の２倍未満にする必要がある。

以上説明したように、本実施の形態によれば、入力されたパスの折り返しを検出する折り返し判定部１８を備えて、パスが折り返されたと判定した場合は、折り返し点から新たなパスが入力されたものとして扱うことにより、往復してパスをなぞる動作で複数のパスを入力することができるので、より効率的にパスの位置や形状を調整することができる。

［第４の実施の形態］
第４の実施の形態は、映像中の被写体の動きと重なるパスの入力に第１〜第３の実施の形態における線情報入力装置を用いた実施例である。

図２９は、第４の実施の形態における線情報入力装置１と映像再生装置２の構成を示す機能ブロック図である。

図２９に示す映像再生装置２は、映像情報記憶部２１、フレーム画像情報復号部２２、動き検出部２３、動き検出情報記憶部２４、表示フレーム番号特定部２５、およびフレーム画像選択部２６を備える。なお、図２９に示す線情報入力装置１は、第１の実施の形態と同様であるので説明は省略する。

まず、映像再生装置２について説明する。

映像再生装置２は、映像情報記憶部２１に蓄積された映像を構成する各フレーム画像情報をフレーム画像情報復号部２２で復号し、動き検出部２３が各画像フレーム中の各座標・領域における動き情報を検出して動き検出情報記憶部２４に記憶させておき、表示フレーム番号特定部２５が、入力部１１で入力したポインタの座標と動き検出情報記憶部２４に記憶させた動き検出情報に基づいて表示させるフレーム画像を特定し、フレーム画像選択部２６が特定したフレーム画像を表示部１７に表示させる装置である。

動き検出部２３は、映像中のすべてのフレーム画像について、オプティカルフロー検出やフレーム間差分法などにより、フレーム画像中の各座標・領域における被写体の動きを検出し、各座標・領域において検出したオプティカルフローのベクトルの大きさが最大となるフレームの番号を各座標・領域に関連付けて動き検出情報記憶部２４に記憶させる。なお、オプティカルフローの検出処理は、フレーム画像の全画素について検出するのではなく、一定の距離間隔ごとの画素について実行する。

図３０に、動き検出情報記憶部２４に記憶させた動き検出情報の例を示す。図３０に示す例は、投球動作を含む映像から動きを検出した動き検出情報である。画面上の各座標・領域に、その座標・領域について動きが最大となったフレームの番号を付与している。投球動作では特に腕が大きく動くため、腕が通過したフレームにおいて大きさが最大のオプティカルフローが検出される。そのため、図３０の例では、腕が通過する領域において概ね左から右側にかけて付与されたフレームの番号が大きくなっている。

表示フレーム番号特定部２５が、入力部１１で入力したポインタの座標に応じたフレーム番号を動き検出情報記憶部２４から取得し、フレーム画像選択部２６が、取得したフレーム番号に対応するフレーム画像を表示部１７に表示させる。図３１に、入力された座標に基づいてフレーム画像を表示する様子を示す。図３１の例では、入力された座標・領域がフレーム番号３９番と紐づいており、表示部１７にはフレーム番号３９番に対応するフレーム画像が表示される。これにより、ユーザが映像中の被写体の動きをなぞることで、対応するフレーム画像が次々と表示され、映像中の被写体を掴んで動かしているかのように、直感的に映像をシークすることができる。

第４の実施の形態では、繰り返し再生したい、より動きを的確に表す軌跡で再生したい、という目的のため、映像再生装置２の入力部分に第１〜第３の実施の形態における線情報入力装置を用いて、ユーザが繰り返しパスを入力することを許可する。

ユーザがパスを入力している間は、入力部１１からポインタの座標が線情報入力装置１と映像再生装置２に送られて、線情報入力装置１がパスを入力するとともに、映像再生装置２の機能により対応するフレーム画像が表示部１７に次々と表示される。パスを入力し終えると、第１の実施の形態で説明した処理が行われて、新たに入力されたパスが過去に入力されたパスとマージされて表示部１７に表示される。ユーザは、マージされたパスに沿って対応するフレーム画像を表示させて再生フレームを確認し、所望の再生が行われるまで、図３２に示すように何度もパスが入力する。これにより、ユーザはパスの微調整や修正を結果の確認と並行して実施できるため、所望するパスを短時間で簡単に得ることが可能となる。

以上説明したように、本実施の形態によれば、映像から被写体の動きを検出し、映像中の各領域において動きが最大となるフレーム番号を記載した動き検出情報を作成しておき、ユーザが入力した座標に応じたフレーム番号を動き検出情報を参照して取得して表示させるとともに、その座標を線情報入力装置１に入力してパスを作成して表示させることにより、ユーザが被写体の動きをなぞることで再生フレームのシークとパスの設定を同時に行うことができる。また、繰り返して被写体の動きをなぞることで、パスの位置や形状を調整することができ、うまく再生できなかったパスを修正してユーザにとって好ましい映像のシークを提供するパスを簡単に設定することが可能となる。

１…線情報入力装置
１１…入力部
１２…節間距離計算部
１３…節追加部
１４…節情報記憶部
１５…節マージ部
１６…節削除部
１７…表示部
１８…判定部
２…映像再生装置
２１…映像情報記憶部
２２…フレーム画像情報復号部
２３…検出部
２４…検出情報記憶部
２５…表示フレーム番号特定部
２６…フレーム画像選択部

Claims

映像上の指定された位置座標を入力する入力手段と、
前記入力手段が入力した前記位置座標によりパスを入力してパス上に節を設定し、当該節の座標を記憶手段に記憶させる節追加手段と、
前記記憶手段に記憶させた複数のパスの節の座標を読み出し、前記複数のパス間で節同士の距離が所定の範囲内に存在する節については、それらの節の座標の平均値を算出して節の座標を補正し、補正された節の座標を前記記憶手段に記憶させる節マージ手段と、
処理対象の映像を構成する各フレーム画像から動き情報を検出し、前記映像上の各領域に、当該領域における動きの大きさが最大となるフレーム番号を付与した動き検出情報を蓄積した動き検出情報蓄積手段と、
前記位置座標に対応する前記映像上の領域に付与されたフレーム番号を前記動き検出情報から取得するフレーム番号特定手段と、
前記フレーム番号特定手段が特定したフレーム番号の示すフレーム画像を前記映像から取得するフレーム画像取得手段と、
前記フレーム画像取得手段が取得したフレーム画像に重ねて前記記憶手段から補正された節の座標を読み出してパスを表示する表示手段と、
を有することを特徴とする映像再生装置。
前記節マージ手段は、新たなパスが入力される度に、当該新たなパスの節の座標を前記記憶手段に記憶させた既存のパスの節の座標で補正することを特徴とする請求項１記載の映像再生装置。
前記節マージ手段は、複数のパスを入力後に、前記記憶手段から入力された時間が古い順でパスを読み出し、読み出されたパスよりも前に入力されたパスを用いて節の座標の補正を繰り返すことを特徴とする請求項１記載の映像再生装置。
前記節追加手段が設定した複数の節の位置関係に基づいてパスの折り返しを判定し、パスが折り返されたと判定した場合は、折り返した点でパスを分割する折り返し判定手段をさらに有することを特徴とする請求項１乃至３のいずれかに記載の映像再生装置。
前記折り返し判定手段は、連続する３つの節で形成される角度が所定のしきい値以下の場合あるいはある節と当該節から２つ前の節との間の距離が所定のしきい値以下の場合にパスが折り返されたと判定することを特徴とする請求項４記載の映像再生装置。
請求項１乃至５のいずれかに記載の映像再生装置の各手段としてコンピュータを動作させることを特徴とする映像再生プログラム。