JP5523182B2

JP5523182B2 - 映像編集装置および映像編集方法

Info

Publication number: JP5523182B2
Application number: JP2010097422A
Authority: JP
Inventors: 徹菊地
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-04-20
Filing date: 2010-04-20
Publication date: 2014-06-18
Anticipated expiration: 2030-04-20
Also published as: JP2011228964A; US20110255845A1; US8515254B2

Description

本発明は、複数の映像データを接続する映像編集装置および映像編集方法に関する。

近年、デジタルビデオカメラうやデジタルカメラ、デジタル一眼レフカメラ、携帯電話、携帯情報端末、携帯音楽プレイヤー等、様々な機器に動画撮影機能が搭載されている。また、ハードディスクドライブやメモリカード等のデータ記憶媒体の大容量化も進み、個人が所有する映像データの量も膨大になりつつある。更に、インターネット上に映像データをアップロードして他のユーザと視聴し合うサービスの普及や、テレビのネットワーク対応等により、撮影された映像を不特定多数のユーザが視聴する機会が増加している。

一般に、ビデオカメラ等によって撮影された映像を視聴する場合には、撮影時間と同じだけの視聴時間が必要となる。そこでユーザは、チャプタメニューと呼ばれる頭出し機能やファイル単位のサムネイル表示等を利用して視聴したい映像データ（以下、視聴対象区間）をダイレクトに選択したり、映像データを適宜早送りしたりして撮影された映像を選択的に視聴している。

しかしながら、以上のように映像データにおける視聴対象区間を選択するのみならず、映像データから該視聴対象区間を抽出して連結するなど、映像データそのものに対する編集を行うユーザも多い。基本的な映像編集処理としては、映像データにおける複数の視聴対象区間を接続し、さらに必要に応じて、グラッフィク映像の合成、区間の繋ぎ目に対する映像効果（トランジション）の付与、BGMの付与、等を行うことで、編集映像を作成する。

このような映像編集処理は、映像に関する専門的な知識や、専用ツールの操作を行うことが必要であり、一般的なユーザには困難である。また、時間軸を有する映像データから、必要な映像データや区間を選択するといった作業は煩雑である。

そこで、複数の映像が接続された編集映像を自動生成するための技術として、テンプレートファイルを用いて映像編集を自動化する技術が知られている（例えば、特許文献１参照）。テンプレートファイルには、映像データが挿入される素材枠、エフェクト、BGM、およびトランジションが、タイムコードに応じて予め定義されている。映像編集装置は、テンプレートファイルにおけるそれぞれの素材枠のメタデータを解析するとともに、映像データのメタデータも解析することによって、テンプレートファイルとメタデータが一致する映像データを、テンプレートファイルの各素材枠に挿入する。

特開２００９−５５１５２号公報

しかしながら、上記テンプレートファイルを用いた映像編集処理においては、以下のような問題があった。例えば、同一の被写体で動きが連続した２つの映像において、それぞれにおける被写体のサイズが大きく異なっていると、その動きの速さ（移動速度）も異なって見える。このような２つの映像を接続して作成された編集映像を再生した場合、特に接続部においてその繋がりが不自然に見え、ユーザに対し視覚的な違和感を与えてしまう。また、ユーザにとって予測外である被写体の動きの変化が生じるため、ユーザの眼球運動が増加し、目が疲れるといった身体的な負担が生じるという問題もあった。

本発明は上記問題を解決するために、同一の被写体の動きがある２つの映像データについて、互いの被写体の動きが自然に繋がるような接続を実現し、視覚的な違和感を軽減することを目的とする。

上記目的を達成するための一手段として、本発明の映像編集装置は以下の構成を備える。

すなわち、映像編集装置は、同一の被写体を撮影した複数の映像フレームからなる第１および第２の映像データを入力する入力手段と、前記第１および第２の映像データのそれぞれにおける前記被写体の代表的なサイズを被写体サイズとして取得する取得手段と、前記第１の映像データにおける前記被写体サイズに対する、前記第２の映像データにおける前記被写体サイズの被写体サイズ変化量に基づいて、前記第２の映像データを補正する補正手段と、を有し、前記補正手段は、前記第１の映像データと前記第２の映像データのうち、前記被写体サイズの大きい一方についての再生速度が他方の再生速度よりも小さくなるように、前記被写体サイズ変化量に応じた補正量により前記第２の映像データの再生速度を補正する。

本発明によれば、同一の被写体の動きがある２つの映像データについて、互いの被写体の動きが自然に繋がるような接続を実現し、視覚的な違和感を軽減することができる。

第１実施形態における映像編集装置のハードウェア構成を示すブロック図、第１実施形態における映像編集装置の機能構成を示すブロック図、第１実施形態における再生速度補正テーブルの一例を示す図、第１実施形態における編集映像例を示す図、第１実施形態における映像編集処理を示すフローチャート、第２実施形態における映像編集装置の機能構成を示すブロック図、第２実施形態における奥行き移動調整量テーブルの一例を示す図、第２実施形態における奥行き移動量の概念を示す図、第２実施形態における映像編集処理を示すフローチャート、第３実施形態における映像編集装置の機能構成を示すブロック図、第３実施形態における追尾量の概念を示す図、第３実施形態における映像編集処理を示すフローチャート、である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
●装置構成
図１は、本実施形態における映像編集装置のハードウェア構成を示すブロック図である。同図において、100は映像編集装置の本体であり、映像データを編集して編集映像データを生成する。110はキーボード・マウスであり、ユーザからの操作を電気信号に変換する。120は液晶ディスプレイ、プラズマディスプレイ、CRTディスプレイ等のディスプレイであり、映像編集装置100からの操作画面や再生映像を表示する。映像編集装置100は、バス101、CPU105、ROM102、RAM106から構成される。映像編集装置100はさらに、記憶媒体104、入力インタフェース103、ディスプレイインタフェース107から構成される。記憶媒体104は、映像データや編集映像データ等の各種データを記憶する記憶媒体である。また、OSや映像編集装置100の処理プログラムも記憶し、具体的には、ハードディスクドライブ、SSD、CD-ROM等である。記憶媒体104は映像編集装置100の筐体に収められていても、ネットワーク等で接続されたものであっても良い。CPU105は、映像編集装置の起動プログラム、OS、処理プログラムを実行する演算器である。バス101は、CPU105が他のブロックとの間でデータを読み書きするための通信機能を提供する。ROM102は、映像編集装置100を起動するためのプログラムが記憶されている。映像編集装置100に電源が投入されるとROM102に保持されたプログラムがCPU105により読み出されて実行され、各モジュールの初期設定やOSの起動等を行う。RAM106は、CPU105が処理プログラムを実行する際に、データの一時保存を行う記憶媒体である。ディスプレイインタフェース107は、映像編集装置100からの出力、例えば、映像データの表示、編集映像データの表示、各種グラフィカルユーザインタフェースの表示における画面情報をディスプレイ120が処理可能な信号に変換し出力する。入力インタフェース103はキーボード・マウス110からの電気信号をCPU105が処理可能なデジタル情報に変換しCPU105に通知する。

図２は、映像編集装置100の機能構成を示すブロック図である。同図に示すように映像編集装置100は、第１，第２の映像データ選択部201，202、被写体サイズ検出部203、被写体サイズ変化量算出部204、再生速度補正量設定部205、再生速度補正部206、映像データ接続部207、から構成される。再生速度補正量設定部205からは、再生速度補正テーブル300が参照される。映像編集装置100は、編集対象となる素材映像データ210を入力して編集処理を施した後、編集後の映像データである編集映像データ220を出力する。ここで、素材映像データ210はビデオカメラのオン／オフ操作等によって、予め撮影単位毎に個別のファイルに分割され、記憶媒体104に記憶されている。以下、本実施形態においては素材映像データ210が非圧縮映像データであるとして説明を行うが、これが圧縮映像データである場合には、例えばその読出し時にデコードすれば良い。

第１の映像データ選択部201は、ユーザからの操作入力（不図示）に基づいて、素材映像データ210から第１の映像データを選択して読み出す。第２の映像データ選択部202も同様に、ユーザからの操作入力（不図示）に基づいて素材映像データ210から第２の映像データを選択して読み出す。ここで、第１および第２の映像データは、互いに同一被写体の連続した動きがある複数の映像フレームからなる、再生速度を同一とする映像データであり、例えば、ユーザが素材映像データ210から目視により選択するものとする。尚、第１および第２の映像データ選択部201、202における映像選択の方法は、ユーザの目視に限らない。例えば、素材映像データ210に保持された各映像データに対し、顔検出等による被写体検出、被写体検出位置の変化に基づく動き方向の検出、撮影日時の近接度、等に基づき、同一被写体による連続した動きがある、時間的に近接した映像を自動選択しても良い。また、例えば人物の被写体が複数存在し、それぞれが異なった動きをする場合には、顔認識によって被写体の特定を行っても良い。

被写体サイズ検出部203は、同一被写体による動きがある第１および第２の映像データの各々について、該被写体の代表的なサイズを被写体サイズとして検出する。第１および第２の映像データはそれぞれ複数の映像フレームを含み、それぞれの映像データについて、複数の映像フレームのそれぞれにおける被写体サイズはほぼ同じであると考えられる。したがって被写体の代表的なサイズとしては、例えば各映像データの所定順にある１枚の映像フレームにおける被写体サイズとすれば良い。また、複数の映像フレームにおける被写体サイズの平均を被写体サイズとしても良い。本実施形態においては、顔検出により検出された顔の高さを被写体サイズとして用いる例を示すが、被写体サイズはこの例に限らず、例えば顔検出された領域の面積を被写体サイズとして用いても良い。

被写体サイズ変化量算出部204は、第１の映像データの被写体サイズ（以下、第１のサイズ）に対する第２の映像データの被写体サイズ（以下、第２のサイズ）の割合(％)を、被写体サイズ変化量として算出する。例えば、第１のサイズが100ピクセル、第２のサイズが300ピクセルであるとすると、被写体サイズ変化量は300％となる。

再生速度補正量設定部205は、上記のように算出された被写体サイズ変化量に基づき、再生速度を補正するための再生速度補正量を設定する。この設定には、再生速度補正テーブル300を使用するが、この再生速度補正テーブルの詳細については後述する。

再生速度補正部206は、再生速度補正量に基づいて第２の映像データの再生速度を補正した第３の映像データを生成する。映像データにおける再生速度の補正は、映像フレームを補間又は間引きすることにより行う。例えば、再生速度を50％にする場合には、１つの映像フレーム毎に、補間処理された映像フレームを１つ挿入すれば良い。また、再生速度を200％にする場合には、２つの映像フレーム毎に１つの映像フレームを間引けば良い。なお、映像フレームに対する補間処理としては、前後の映像フレームを合成する手法や、画素又はブロック毎の位置変化を算出して該位置変化の中間点に画素又はブロックを配置する手法、等の周知の方法が適用可能である。尚、再生速度補正量が０である、すなわち速度補正を行わない映像データについては、第２の映像データがそのまま第３の映像データとして、映像データ接続部207へ送られる。

映像データ接続部207は、第１の映像データと第３の映像データとが連続して再生可能となるように接続して、編集映像データ220として出力する。

●再生速度補正テーブル
以下、再生速度補正テーブル300の詳細について説明する。本実施形態においては、第１および第２の映像データを接続した際に被写体の移動速度の変化が視覚的に自然なものとして感じられるように、該映像データ間における被写体の移動速度の変化量を再生速度補正テーブル300を用いて制限する。ここで、第１の映像データと第２の映像データのように、同一被写体の動きが連続している映像データ間においては、該映像データ間における被写体サイズの変化量(％)と、映像フレーム上での被写体の移動速度の変化量(％)はほぼ等しくなると考えられる。そこで再生速度補正テーブル300において、被写体サイズの変化量(％)と第２の映像データに対する再生速度補正量(％)を対応付けることにより、実質的に被写体の移動速度の変化量(％)に対する再生速度補正量(％)が設定される。

再生速度補正テーブル300に設定される再生速度補正量は、接続する映像データ間において、映像フレーム上での被写体の移動速度の変化がどの程度まで許容できるかを集計した統計データに基づき、予め作成されている。すなわち、まず被写体が移動する映像フレーム間において移動速度の変化があった場合に、人間の視覚が違和感を感じず自然な移動であると許容される変化量を、複数ユーザをサンプルとした統計的手法によって取得し、得られた変化量を許容速度変化量とする。そして、第１および第２の映像データ間における映像フレーム上での被写体の移動速度の変化量が、上記許容速度変化量の範囲内となるよう、各被写体サイズ変化量に対する再生速度補正量が予め算出され、設定されている。第２の映像データに対する再生速度補正量はさらに、第１および第２の映像データにおいて被写体サイズの大きい方の再生速度が他方よりも小さくなるように、設定される。
図３に、再生速度補正テーブル300に保持されるデータ例を示す。上述したように再生速度補正テーブル300は、被写体サイズ変化量と再生速度補正量の対によりその関係を示すように構成される。再生速度補正量は、第２の映像データの再生速度に対する補正量を示し、詳細には補正の割合をパーセントで規定するものであり、再生速度補正量が負値である場合は第２の映像データの再生速度を減ずる割合を示し、正値である場合は増加させる割合を示す。図３によれば、例えば被写体サイズ変化量が300％である場合の再生速度補正量は-33％であるから、この場合は第２の映像データの再生速度が33％減となるように、すなわちもとの速度の67％となるように補正することを示している。また、被写体サイズ変化量が25％である場合の再生速度補正量は50％であるから、この場合は第２の映像データの再生速度を50％増、すなわちもとの速度の150％となるように補正することを示している。また、被写体サイズの変化量が50％〜200％である範囲については、上述したように被写体の移動速度の許容速度変化量に相当するため、再生速度補正量が0％である。これはすなわち、第２の映像データの再生速度に対する補正を行う必要がないことを示している。以下、再生速度補正を行なう必要のない被写体サイズ変化量の範囲を、許容サイズ変化量と称する。

このように、再生速度補正テーブル300に基づいて第２の映像データの再生速度を補正することにより、第１および第２の映像データ間における被写体の移動速度の変化量が、許容速度変化量の範囲(50％〜200％)内に収められる。なお、被写体サイズ変化量が非常に大きい場合、すなわち被写体サイズ変化量が所定の上限変化量（例えば1000％）を超えるような場合には、その補正量を所定の上限補正量（例えば-80％）に制限することで、過度な補正を回避する。なお、図３では上限変化量が1000％である例を示しているが、もちろん被写体サイズ変化量が非常に小さい場合についても同様の制限が行われる。すなわち、被写体サイズのもうひとつの上限変化量として例えば10％を設定し、それに応じた上限補正量を例えば20％として設定すれば良い。

尚、本実施形態では第２の映像データに対する再生速度補正量を再生速度補正テーブル300を用いて算出する例を示したが、このようなテーブルを用いずに所定の計算式に基づく演算を行うことにより、再生速度補正量を算出しても良い。また本実施形態では、再生速度補正量に対し、上限補正量による制限を設ける例を示したが、このような制限は必ずしも設けなくても良い。すなわち、被写体サイズ変化量の増加に応じて再生速度が減少するように補正量が設定できれば、他の方法や数式によって補正量を設定しても良い。

また、再生速度補正テーブル300によって設定される再生速度補正量を第２の映像データに対する補正量として説明したが、本実施形態では、被写体サイズの大きい方の映像データの再生速度が他方よりも小さくなるように速度補正できれば良い。したがって、再生速度補正量を第１の映像データに対する補正量として設定することも可能である。

●編集映像例
図４に、本実施形態の映像編集装置100における編集映像の一例を示す。図４(a)は速度補正を行わずにそのまま接続した場合の編集映像、図４(b)は速度補正を行った後に接続した場合の編集映像の例をそれぞれ示している。両図において、410、420、430はそれぞれ第１、第２、第３の映像データを示し、411、421、431の矩形はそれぞれ第１、第２、第３の映像データにおける被写体の検出範囲を示す。また、それぞれの被写体の検出範囲411、421、431に付された矢印の方向および大きさによって、映像フレーム上での該被写体の移動速度を示している。なお、ここでは説明の簡便のため、第１、第２、第３の映像データ410、420、430のそれぞれが２つの映像フレームからなる例を示している。

図４(a)において、第１の映像データ410における被写体411に対し、第２の映像データ420における被写体421の方がサイズが大きく、従ってその映像フレーム上での移動速度も大きい。本実施形態では、被写体411に対する被写体421のサイズの変化量(％)が所定の許容サイズ変化量の範囲を超えていた場合に、図４(b)に示すように第２の映像データ420に対する再生速度補正を行うことで、被写体の移動速度の変化量を抑制する。すなわち、第１の映像データ410に対する第２の映像データ420の被写体サイズ変化量(％)に応じて第２の映像データ420の再生速度が減少するように、第３の映像データ430が生成される。第３の映像データ430によれば、被写体431の移動速度が第２の映像データ420の被写体421の移動速度よりも小さくなっていることが分かる。第３の映像データ430においては、第１の映像データ410の被写体サイズに対する第２の映像データ420の被写体サイズの変化量(％)が大きいほど、第２の映像データの再生速度が減少するように補正される。これにより、被写体の移動速度の変化量が統計データに基づく許容速度変化量の範囲(50％〜200％)を超えないように制御される。

なお、各映像データにおける被写体の検出には、顔検出の手法を用いるとする。また、被写体が人物でない場合には、例えば色相、彩度、輝度ヒストグラム、テクスチャ、形状のマッチング等による周知の手法によって、被写体検出を行うことができる。

●映像編集処理
以下、本実施形態における映像編集処理について、図５のフローチャートを用いて説明する。まずS501において第１の映像データ選択部201が、ユーザ操作に基づき素材映像データ210から第１の映像データを選択する。次にS502において第２の映像データ選択部202が、ユーザ操作に基づき素材映像データ210から第２の映像データを選択する。ここで選択される第２の映像データは、第１の映像データと同一被写体の連続した動きのある映像データであり、本実施形態では上述したようにユーザが目視により選択するものとする。続いてS503において被写体サイズ検出部203が、第１および第２の映像データのそれぞれについて被写体サイズの検出を行う。被写体サイズの検出は、人物の場合、各々の映像データで顔検出を行い、映像データ間で顔認識を行うことによって同一と認識された顔の高さを検出する。また、被写体が人物以外である場合には、各々の映像データから動きベクトルに基づいて被写体の領域を切り出し、映像データ間で色相、彩度、輝度ヒストグラム、テクスチャ、形状がマッチする領域の高さを検出する。続いてS504において被写体サイズ変化量算出部204が、被写体サイズの変化量を算出する。被写体サイズの変化量とは、S503で検出された第２の映像データの被写体サイズの、第１の映像データの被写体サイズに対する割合(％)によって表される。

そしてS505において、被写体サイズの変化量が許容サイズ変化量の範囲を超えているか否かを判定する。超えている場合はS511に進み、再生速度補正量設定部205において被写体サイズ変化量と再生速度補正テーブル300とに基づいて再生速度補正量を設定する。ここで、被写体サイズの許容サイズ変化量とは上述したように、再生速度補正テーブル300において再生速度補正量が０として設定された被写体サイズ変化量の範囲であり、上記許容速度変化量に対応する。そして次にS512において再生速度補正部206が、再生速度補正量に基づき第２の映像データの再生速度を増減した第３の映像データを生成する。そしてS506に進み、映像データ接続部207が、第１の映像データと第３の映像データを接続した編集映像データを生成し、処理を終了する。

一方、S505において被写体サイズの変化量が許容サイズ変化量の範囲内であると判定された場合にはそのままS506に進む。S506において映像データ接続部207は、再生速度補正部206で再生速度の補正が施されていない第２の映像データをそのまま第３の映像データとして取得し、第１の映像データと接続することで、編集映像データを生成し、処理を終了する。

以上説明したように本実施形態によれば、同一被写体の動きが連続した２つの映像を接続する際に、該映像間における被写体サイズの変化量に応じて、映像フレーム上での移動速度変化が所定範囲内となるように再生速度が制御される。すなわち、被写体サイズの大きい方の映像データの再生速度が他方よりも遅くなるように速度補正されることにより、接続された編集映像を再生した際に、その接続部における不自然さが軽減され、ユーザに与える違和感や身体的負担を低減することが可能となる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態においては、接続する映像データ間における被写体のサイズ比に基づいて再生速度を変更する例を示した。第２実施形態においては、上述した第１実施形態と同様の被写体サイズ比に加えて、被写体の奥行き方向の移動も考慮して、再生速度を変更する。

●装置構成
第２実施形態における映像編集装置のハードウェア構成は、上述した第１実施形態において図１に示したブロック図と同様であるため、説明を省略する。また、第２実施形態で用いる再生速度補正テーブルについても、第１実施形態において図３を用いて説明したものと同様であるため、説明を省略する。

図６は、第２実施形態における映像編集装置600の機能構成を示すブロック図である。図６において、上述した第１実施形態における図２と同様の構成については同一符号を付し、説明を省略する。第２実施形態の映像編集装置600においては、第１実施形態の映像編集装置100に対し、さらに奥行き移動量検出部601、奥行き移動調整量算出部602、再生速度補正量調整部603、を追加した構成からなる。奥行き移動調整量算出部602からは、奥行き移動調整量テーブル700が参照される。

奥行き移動量検出部601は、第１の映像データにおける被写体の奥行き方向の移動量を検出する。第２実施形態における奥行き方向の移動量とは、被写体サイズの単位時間辺りの増加率(％)であるとする。ここで、奥行き移動量の概念を図８を用いて説明する。図８において、810と820は第１の映像データにおける映像フレームのスナップショットであり、映像フレーム820は映像フレーム810の単位時間後のフレームである。また、811は映像フレーム810で検出された被写体領域を示し、821は映像フレーム820で検出された被写体領域を示す。図８において、第２実施形態で検出される奥行き移動量は、以下の式で表される。

奥行き移動量＝(被写体領域821の高さ−被写体領域811の高さ)／被写体領域811の高さ
尚、奥行き移動量の算出方法としては、上記のように被写体領域の高さの増減率を用いることに限らず、被写体領域の面積の増減率を用いても良いし、３次元空間にマッピングして奥行き移動量を算出しても良い。

奥行き移動調整量算出部602は、再生速度補正量の調整量を算出する。具体的には、奥行き移動量検出部601で検出された奥行き移動量に基づき、奥行き移動調整量テーブル700から奥行き移動調整量を取得する。この奥行き移動調整量テーブル700の詳細については後述する。

再生速度補正量調整部603は、奥行き移動調整量算出部602で算出された奥行き移動調整量に基づき、再生速度補正量の調整を行う。例えば、再生速度補正量が-50％で奥行き移動調整量が-20％である場合、調整後の再生速度補正量は-50％を20％減じた-40％となる。

●奥行き移動調整量テーブル
以下、奥行き移動調整量テーブル700の詳細について説明する。第２実施形態においては、上述した第１実施形態と同様に再生速度補正量設定部205で設定された第２の映像データに対する再生速度補正量を、奥行き移動調整量テーブル700によって設定される調整量に応じて調整する。

図７に、奥行き移動調整量テーブル700に保持されたデータ例を示す。奥行き移動調整量テーブル700は、奥行き移動量と奥行き移動調整量の対によりその関係を示すように構成される。被写体の奥行き方向の移動は、映像フレーム上での移動速度の増減を伴う。例えば、被写体が手前に向かってくる映像であれば映像フレーム上での被写体の移動速度は増加するが、遠ざかる映像であれば被写体の移動速度は減少することが一般的である。従って第２実施形態においては、、向かってくる被写体に対しては速度調整量を減じて再生速度の低下を少なくし、遠ざかる被写体に対しては速度調整量を増やして再生速度をより低下させることで、より自然な編集映像データを得る。例えば図７にも示すように、奥行き方向で被写体サイズが10％増加する（奥行き移動量が10％である）映像の場合、移動速度も10％の増加が予測されると仮定し、再生速度補正量を10％減ずる（奥行き移動調整量が-10％となる）ように定義する。但し、補正量の逆転を防ぐため、奥行き調整量が100％に達した場合は、それ以上の調整は行わない。尚、図７においては、奥行き移動量に対する奥行き移動調整量として、互いの絶対値が等しくなるように設定する例を示したが、奥行き移動量の増加に応じて奥行き移動調整量が増加するように設定すれば良い。すなわち、奥行き移動量の増加に応じて再生速度補正量が減少するように設定されれば良い。

●映像編集処理
以下、第２実施形態における映像編集処理について、図９のフローチャートを用いて説明する。図９において、上述した第１実施形態における図５と同様の処理を行うステップ(S501〜S506、S511，S512)については同一符号を付し、説明を省略する。

S511で再生速度補正量が決定されると、次にS911において奥行き移動量検出部601が、第１の映像データの被写体サイズの時間変化に基づき、奥行き方向の移動量（奥行き移動量）を検出する。そしてS912で奥行き方向の移動があるか否か、すなわちS911で検出された奥行き移動量が０を超える値であるか否かを判定する。奥行き方向の移動がある、すなわちS911で検出された奥行き移動量が０を超える値である場合、S921へ進んで奥行き移動調整量算出部602が、奥行き移動量に基づき、奥行き移動調整量テーブル700から奥行き移動調整量を取得する。続いて、S922において再生速度補正量調整部603が、奥行き移動調整量と再生速度補正量から調整後の再生速度補正量を算出して、S512へ進む。一方、S912において奥行き移動量が０以下である場合、再生速度補正量の調整は行わずにそのままS512へ進む。

尚、第１および第２実施形態においては、接続対象として２つの映像データが選択される例を示したが、３つ以上の映像データが選択される場合についても、連続する２つの映像データに対して順次同様の処理を行えば良い。但し、処理を繰り返し行うことで変更した再生速度が累積される場合には、知覚の順応を利用して、再生速度を映像データ中で緩やかにもとの速度に戻す処理を組み合わせて行えば良い。

以上説明したように第２実施形態によれば、上述した第１実施形態に対してさらに、被写体の奥行き方向の移動量に応じて再生速度を制御する。したがって、被写体が奥行き方向の移動を行う映像を接続した場合にも、該接続された映像を再生した際に、ユーザがに与える違和感や身体的な負担を低減することが可能となる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第１実施形態においては、接続する被写体のサイズ比に基づいて再生速度を変更する例を示した。第３実施形態においては、上述した第１実施形態と同様の被写体サイズ比に加えて、被写体を追尾するカメラワークの影響も考慮して、再生速度を変更する。

●装置構成
第３実施形態における映像編集装置のハードウェア構成は、上述した第１実施形態において図１に示したブロック図と同様であるため、説明を省略する。また、第３実施形態で用いる再生速度補正テーブルについても、第１実施形態において図３を用いて説明したものと同様であるため、説明を省略する。

図１０は、第３実施形態における映像編集装置1000の機能構成を示すブロック図である。図１０において、上述した第１実施形態における図２と同様の構成については同一符号を付し、説明を省略する。第３実施形態の映像編集装置1000においては、第１実施形態の映像編集装置100に対し、さらに追尾量検出部1001、追尾調整量算出部1002、再生速度補正量調整部1003、を追加した構成からなる。

追尾量検出部1001は、第１の映像データから、被写体を追尾するカメラモーションが行われた量である追尾量を検出する。第３実施形態における追尾量とは、被写体の移動量に対するカメラの移動量の割合(％)であるとする。ここで、追尾量の概念を図１１を用いて説明する。図１１において、1110と1120は第１の映像データにおける映像フレームのスナップショットであり、映像フレーム1120は映像フレーム1110の単位時間後のフレームである。また、1111および1121はそれぞれ映像フレーム1110および1120で検出された被写体領域を示し、1112および1122はそれぞれ映像フレーム1110および1120における背景の特徴的な領域を示す。なお、背景の特徴的な領域としては、例えばそれぞれの映像フレームにおいてエッジ抽出を行い、単位面積辺りのエッジの数の多い領域を選択する。また、映像フレーム1120における矢印1123は映像フレーム1110に対する被写体の移動量を示し、矢印1124は同じく背景の移動量を示す。図１１において、第３実施形態で検出される追尾量は、以下の式で表される。

追尾量＝｜背景移動量1124／(背景移動量1124−被写体移動量1123)｜
例えば、背景移動量1124が-100ピクセル（図中左方向に100ピクセル）、被写体移動量1123が100ピクセル（図中右方向に100ピクセル）であるとすると、追尾量は50％となる。

追尾調整量算出部1002は、後述する追尾調整量算出式に基づき、追尾量検出部1001で検出された追尾量と、再生速度補正量設定部205で設定された再生速度補正量から、再生速度補正量を調整するための追尾調整量を算出する。

ここで、本実施形態における追尾調整量算出式について説明する。一般に、カメラワークによる被写体の追尾により、連続する映像フレーム上での被写体位置の変化量が減少するなるため、該被写体に対する知覚速度も減少する。知覚速度が減少すると、被写体サイズの変化による速度変化が感じられ難くなる。すなわち、追尾が行われている映像に対しては、上述した第１実施形態の補正による再生速度の低下を減じた方が、むしろ自然な再生が可能となる。第３実施形態では、追尾が行われている映像に対して速度変化を感じ難くするためには、再生速度補正量設定部205で設定された再生速度補正量から一定の割合分を減じることが有効であると仮定し、この割合を追尾定数(％)とする。追尾調整量算出部1002で算出される追尾調整量は、追尾量の増加に応じて増加するため、本実施形態における追尾調整量算出式は以下のように表される。

追尾調整量＝−再生速度補正量×追尾定数×追尾量
例えば、追尾定数が40％、追尾量が50％、再生速度補正量が-50％であるとすると、上式より追尾調整量は-10％として算出される。尚、第３実施形態においては追尾調整量算出式が追尾定数に基づくものとして説明したが、追尾量の増加に応じて追尾調整量が増加するものであれば、他の式を適用することも可能である。すなわち、追尾量の増加に応じて再生速度補正量が減少するように設定されれば良い。また、追尾調整量の算出時に追尾調整量算出式に基づく演算を行わずに、予め追尾量と追尾調整量を対としたテーブルを作成、記憶しておき、それを参照するようにしても良い。

再生速度補正量調整部1003は、追尾調整量算出部1002で算出された追尾調整量に基づき、再生速度補正量設定部205で設定された再生速度補正量の調整を行う。例えば、再生速度補正量が-50％で追尾調整量が-10％である場合、調整後の再生速度補正量は-50％を10％減じた-45％となる。

●映像編集処理
以下、第３実施形態における映像編集処理について、図１２のフローチャートを用いて説明する。図１２において、上述した第１実施形態における図５と同様の処理を行うステップ(S501〜S506、S511，S512)については同一符号を付し、説明を省略する。

S511で再生速度補正量が決定されると、次にS1211において追尾量検出部1001が、第１の映像データの被写体位置の変化と背景位置の変化から、追尾量を検出する。そしてS1212で追尾があるか否か、すなわちS1211で検出された追尾量が０を超える値であるか否かを判定する。追尾がある、すなわちS1211で検出された追尾量が０を超える値である場合、S1221へ進んで追尾調整量算出部1002が、追尾調整式に基づいて再生速度補正量および追尾量に対する追尾調整量を算出する。続いて、S1222において再生速度補正量調整部1003が、追尾整量と再生速度補正量から調整後の再生速度補正量を算出して、S512へ進む。一方、S1212において追尾量が０以下である場合、再生速度補正量の調整は行わずにそのままS512へ進む。

以上説明したように第３実施形態によれば、上述した第１実施形態に対してさらに、被写体を追尾するカメラワークの影響を考慮して、その追尾量に応じて再生速度の低下を現ずるように制御する。したがって、被写体が追尾される映像を接続した場合にも、該接続された映像を再生した際に、ユーザがに与える違和感や身体的な負担を低減することが可能となる。

なお、上述した第２および第３実施形態においては、再生速度補正量設定部205で設定された再生速度補正量に対する調整量を、第１の映像データに基づいて算出する例を示した。しかしながら本発明はこの例に限らず、該調整量を第２の映像データに基づいて算出しても良い。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

同一の被写体を撮影した複数の映像フレームからなる第１および第２の映像データを入力する入力手段と、
前記第１および第２の映像データのそれぞれにおける前記被写体の代表的なサイズを被写体サイズとして取得する取得手段と、
前記第１の映像データにおける前記被写体サイズに対する、前記第２の映像データにおける前記被写体サイズの被写体サイズ変化量に基づいて、前記第２の映像データを補正する補正手段と、
を有し、
前記補正手段は、前記第１の映像データと前記第２の映像データのうち、前記被写体サイズの大きい一方についての再生速度が他方の再生速度よりも小さくなるように、前記被写体サイズ変化量に応じた補正量により前記第２の映像データの再生速度を補正する
ことを特徴とする映像編集装置。
前記第１の映像データにおける前記被写体サイズに対する、前記第２の映像データにおける前記被写体サイズの割合を前記被写体サイズ変化量として算出する算出手段と、
前記被写体サイズ変化量に応じて前記補正量を設定する設定手段と、
をさらに有し、
前記補正手段は、前記補正量を用いて前記第２の映像データの再生速度を補正する
ことを特徴とする請求項１に記載の映像編集装置。
前記設定手段は、前記被写体サイズ変化量に基づいて前記補正量を決定するためのテーブルを保持している
ことを特徴とする請求項２に記載の映像編集装置。
前記設定手段は、前記被写体サイズ変化量が前記第１および第２の映像データにおける移動速度の変化量の許容範囲内に対応する場合に、前記第２の映像データの再生速度を補正しない
ことを特徴とする請求項３に記載の映像編集装置。
前記第１の映像データと前記補正された第２の映像データとが連続して再生可能となるように該第１の映像データと該補正された第２の映像データとを接続する接続手段をさらに有する
ことを特徴とする請求項１乃至４のいずれか１項に記載の映像編集装置。
さらに、前記第１の映像データから被写体の奥行き方向の移動量を検出する奥行き移動量検出手段を有し、
前記設定手段は、前記移動量に応じて前記補正手段による補正量を調整する
ことを特徴とする請求項２に記載の映像編集装置。
さらに、前記第１の映像データから、該第１の映像データを撮影する際に被写体を追尾したカメラモーションの量を追尾量として検出する追尾量検出手段を有し、
前記設定手段は、前記追尾量に応じて前記補正手段による補正量を調整する
ことを特徴とする請求項２に記載の映像編集装置。
入力手段、取得手段、補正手段、を有する映像編集装置における映像編集方法であって、
前記入力手段が、同一の被写体を撮影した複数の映像フレームからなる第１および第２の映像データを入力する入力ステップと、
前記取得手段が、前記第１および第２の映像データのそれぞれにおける前記被写体の代表的なサイズを被写体サイズとして取得する取得ステップと、
前記補正手段が、前記第１の映像データにおける前記被写体サイズに対する、前記第２の映像データにおける前記被写体サイズの被写体サイズ変化量に基づいて、前記第２の映像データを補正する補正ステップと、
を含み、
前記補正ステップでは、前記第１の映像データと前記第２の映像データのうち、前記被写体サイズの大きい一方についての再生速度が他方の再生速度よりも小さくなるように、前記被写体サイズ変化量に応じた補正量により前記第２の映像データの再生速度を補正する
ことを特徴とする映像編集方法。
コンピュータで実行されることにより、該コンピュータを請求項１乃至７のいずれか１項に記載の映像編集装置の各手段として機能させるためのプログラム。