JP4781963B2 - カメラ映像におけるサムネール画像検出方法 - Google Patents

Description

本発明は、テレビカメラで撮像した映像信号をハードディスクなどの記録媒体に記録後、編集作業をするときなどに使用するサムネール画像の検出方法に関するものである。

一般に、テレビカメラで撮像した映像信号を、ハードディスクやメモリカード等の記録媒体に記録することが行われている。ノンリニア・エディッタやビデオカメラ・メニューのＧＵＩ(Graphical User Interface )上には録画した映像信号のサムネール一覧表があり、編集作業などを行うときに、記録している映像内容を知ることができる。サムネール画像は、静止画像のため、通常一目見れば、その映像内容がわかるものであることが好ましい。
サムネール画像の作り方としては、様々な作り方があるが、従来のサムネール画像の検出方法は、映像クリップ(撮像した映像信号のひとかたまり)の一番目のフレームを画像として表示するのが一般的である。

ところが映像が動画の場合、サムネール画像が映像クリップの一番目のフレーム画像としたときに、サムネール画像を見ただけでは動画内容を把握することが困難な場合が多く、またデータ量もわかりにくく、動画再生や動画編集が煩雑になるおそれがある。
そこで、特許文献１には、サムネール画像を検出する方法として、動画データの中から連続する前後のフレームを比較し、前のフレームから変化量の大きなフレームを選択して、サムネール画像とする方法が開示されている。

特開平９−３１２８１８号公報

従来のサムネール画像の検出方法は、上述したように、映像信号のひとかたまりの一番目のフレームを画像として表示するものが一般的であるが、カメラマンの撮像した放送用のビデオカメラによるカメラ映像は、映像クリップのはじめの数秒は、フォーカスがあっていなかったり、ベスト・ポジションを探すために移動していることが多い。

この期間の映像はボケやブレがあり、目的の被写体を映しているとは限らないゆえに、一番面のフレームをサムネール画像とした場合、被写体が映っていないボケた画像となって録画されることが多い。これではサムネール画像を見ただけでは撮像した映像クリップの内容がわかりにくい。このため、編集作業の時間が長くなってしまうことになる。

また、特許文献１に記載のサムネール画像検出方法は、電子新聞に係わる技術であって、電子新聞の中の動画データの中からサムネール画像を検出するものであり、もともと編集された映像であるから、動画の中の動きの一番大きなところをサムネール画像とすることで特徴づけているものである。

本発明は、撮像した映像の中からサムネール画像を検出するときに、動きの大きさではなく、被写体がボケずに鮮明に写っている映像をサムネール画像として検出する方法を提供するものである。

請求項１記載のカメラ映像におけるサムネール画像検出方法は、テレビカメラからの映像出力信号をメモリに保存し、前記メモリに保存した映像信号の一つのフレームと、該フレームと繋がるフレームを少なくとも２フレーム数以上につき、フレームの所定領域において連続的に差分比較し、前記差分比較の結果、差分量が最も小さい指定された枚数の映像フレームを検出し、前記検出結果のフレームに対して、高周波数成分を抽出し、該高周波数成分のフレーム中心領域における演算を行い、該演算結果、高周波数成分が最大となるフレームを前記テレビカメラのサムネール画像とすることを特徴としている。

請求項２記載のカメラ映像におけるサムネール画像検出方法は、請求項１記載の発明のおいて、所定領域における差分比較は、一つのフレームを基準として、他のフレームに対して負の所定係数を乗算した結果を加算する演算で行うことを特徴としている。

請求項３記載のカメラ映像におけるサムネール画像検出方法は、請求項１又は２記載の発明において、フレームの所定領域は、フレームの周辺領域であることを特徴としている。

請求項４記載のカメラ映像におけるサムネール画像検出方法は、請求項１記載の発明において、高周波数成分のフレーム中心領域における演算は、ハイパスフィルタの出力の絶対値を加算平均することを特徴としている。

請求項１記載の発明によれば、目的の被写体を捉えた状態となる前後フレームの差分が少ないこと、すなわちフレームの外側の動きが少ないフレームで、かつフレーム中心領域の高周波数成分が最大となる部分、すなわちピントがあった状態となる鮮明なサムネール画像を得ることができる。このため、テレビカメラによる撮像のように、目的の被写体を捉えるまで少し時間を要し、かつ被写体にピントを合わせる必要がある撮像装置においては、その後の編集作業等においても編集等がやりやすくなるという効果を有する。
また、このサムネール画像を見ることにより、被写体が映っている映像クリップのコンテンツが一目でわかるため、ＤＮＧ(Digital News Gathering)等の放送用取材には特に有用なものとなる。

請求項２記載の発明によれば、回路構成が簡単なため装置がコンパクトになるので、装置の製造コストを軽減することができる。

請求項３記載の発明によれば、フレームの所定領域をフレームの周辺領域としたので、目的とする被写体から離れた動きの少ない領域となり、カメラが目的とする被写体を捉えている状態となる。

請求項４記載の発明によれば、デジタル回路により構成することができるので全体として装置が簡単になり、製造コストを軽減することができる。

以下、本発明に係るカメラ映像におけるサムネール画像検出方法の実施の形態につき説明する。
先ず、本発明の原理について説明すると、カメラマンがベスト・ポジションでピントを合わせると、映像のフレーム中央付近の被写体の動きは多いがフレームのフレーム周辺領域(中央付近を除いた部分)の動きは少ない。また、被写体にピントが合うと中央付近の高周波数成分は多くなる。
本発明は、このことを利用して、中央付近を除く周辺領域での動きの少ないフレームを検出し、更に検出したフレームの中から高周波数成分の多いフレームを検出することによりサムネール画像とすることを原理としている。

この原理を具体的に説明する。
撮像した映像クリップの最初の時間Ｔ(Fフレーム)をメモリに保存する。
保存した映像のｆ＝０からｆ＝Ｆのフレームをそれぞれの直前のフレームと比べる。比較の結果、画面の周辺領域のエリアの画素の変化が最も少ないN枚のフレームを検出する。Nの枚数はユーザー設定可能とするが、システム動作を複雑にしないように固定にもできる。

領域内の画素の比較については次のようにする。メモリに保存されているフレームをｆ＝０からN枚AreaFilterに入力する。AreaFilterは設定された座標(a,b)をもとに所定領域（所定エリア）を決める。次に乗算器と加算器でフレームの差が求められる。このとき、AreaFilterで決めた所定エリア以外の画素は計算の対象外とする。比較するフレーム数が２枚（Ｎ＝２）の場合、２枚目のフレームに−Ｃ１を掛けて１枚目に足すことで差を得ることができる。つまりＮ＝２（前のフレームをＮ１、後のフレームをＮ２として）の計算式はＮ１−Ｃ１＊Ｎ２となる。３枚の場合、差はＮ１−Ｃ１＊Ｎ２−Ｃ２＊Ｎ３という計算式になる（ただし、Ｎ３は三枚目のフレームを示す。）。比較するフレーム数が増えれば乗算器と加算器のセットが増え、それぞれの乗算器で新しい係数（Ｃ）が必要になる。

次に、求めた差を前に比較したフレームとの差と比べてメモリの中で一番少ないＮ枚のフレームを検出する。この検出されたＮ枚のフレームのメモリ・アドレスをキーフレーム(Fkey)とする。

次に、検出したN枚のフレーム(Fkey)の中で中心部分の最も高周波数成分が多いフレームを一つ選ぶ。高周波数成分が最も多いフレームは一番ボケが少なくフォーカスが合っているフレームと考えて良い。どの周波数帯域を高周波数成分とみなすかはエリアと同様に設定可能とする。固定でもよい。
実際には、Fkeyのフレームに対してハイパスフィルタを通して高周波数成分を抽出する。高周波数成分に対してフレームの中心領域を抽出するAreaFilterを使用して中心領域のみの高周波数成分を抽出する。得られた高周波数成分の絶対値を加算平均した値を求める。その中で一番高い数値のフレームをサムネール用フレームとする。サムネール用フレームのメモリ・アドレスをｆＴとして検出を終了する。

なお、上記のフレーム中心領域とは、面積としてフレーム全体に対し中心部分４５％±１０％を想定しており、周辺領域とは面積としてフレーム全体に対し前記中心領域を除いた部分を想定している。

実施例として、撮像部にハイビジョン・テレビカメラを採用した場合で説明する。ハイビジョン・テレビカメラは、ＣＣＤのサンプリング周波数が７４．２５ＭＨｚ、撮像画像の画素数は水平１９２０×垂直１０８０とする。
図１は、時間ｔ＝０からｔ＝ｘまでの撮像映像( Video Clip)の内、フレームｆ＝０からｆ＝Ｆまでの映像信号（時間はｔ＝０〜ｔ＝Ｔまで）をフレーム毎にメモリに保存する動作を示したものである。

図２は、図１のメモリに保存した画像に対して、フレーム毎に画像の差分比較を行うときの動作を表したものである。この例では前述のＮを２とした場合で、現フレームと次のフレームの比較のみ行う。比較する領域について図３に示すように全画面１９２０×１０８０に対して中心領域の１２８０×７２０を除いた部分に対して比較を行う。すなわち、図２の斜線エリアの座標は、(x,y)＝(１２８０，７２０)となる。なお、図４は、中心領域１２８０×７２０を示す図である。

図５は、図２の具体的構成図である。メモリ４１のｆ＝０とｆ＝１のフレームに対して、図３の斜線エリアのみ抽出するためのAreaFilter４２により対象画素を抽出し、ｆ＝１の対象画素に対して−Ｃ１の係数を乗算器４３により乗算し、ｆ＝０の画素と加算器４５にて加算する。Ｃ１を１として、ｆ＝０とｆ＝１の差分をとる。

Ｓ１（ステップ１）において加算結果Ｄと現在フレームＦ(この場合ｆ＝０)を記憶する。Ｓ２において前の２フレームの差Dprevと比較する。ＤがDprevより小さい場合はFkeyにＦを記憶する。ＤがDprevより大きい場合にはFkeyには記憶せずに処理を戻す。この処理をｆ＝６とｆ＝７(メモリ４１のｆ＝Ｆ)まで繰り返す。
最後に残ったFkeyが最小フレームとなり、そのフレームアドレスを記憶する。

次ぎに、フレームの高周波数成分の比較をする。
図６は、図２で検出した２つのフレームに対して中心部分の高周波数成分が多いフレームを検出するときめ動作を表したものである。図６では、差分量が小さいFkeyフレームばかりでなく、その前後の２フレームも表している。中心部分の領域は、図４の斜線で示す領域とする。この領域は図３で取り除いた領域である。すなわち、中心部分のエリア(x,y)=(１２８０，７２０)となる。

図７は、図６の具体的構成図である。メモリ７１のFkeyフレームとなるフレームに対してハイパスフィルタ(ＨＰＦ)７２により高周波数成分を抽出する。
高周波数成分とは、図８に示すように１７ＭＨｚから３７．１２５ＭＨｚまでの周波数帯域の映像信号成分である。その理由は、ハイビジョン映像信号のサンプリング周波数は７４．２５ＭＨｚであるからナイキスト周波数の３７．１２５ＭＨＺｚまでが映像の周波数帯域である。カメラから出力された映像信号は周波数特性を良くするため１７ＭＨｚあたりの映像ゲインを上げる。これはディテールと呼ばれている。
ゆえに、このディテールがかかっている１７ＭＨｚから３７．１２５ＭＨｚまでを高周波数映像成分とする。

次に、抽出した高周波数成分に対してAreaFilter７３により図４の斜線エリアの成分のみ抽出する。加算平均算出部７４は、斜線エリアの高周波数成分に対して加算平均を算出する。
このハイパスフィルタ７２から加算平均算出部７４までの処理を次のフレームに対しても行って前フレームの値と比較し、大きい方をサムネール用フレームとしてサムネールアドレス記録部７５に記憶して検出を終了する。
サムネールアドレス記憶部７５に記憶されたアドレスを読み出すと図９のようなサムネール画像を得ることができる。

なお、この実施例には幾多の変型が可能である。例えば、差分量比較および高周波数成分抽出におけるエリアを固定としたが、大きな差異がなければ複数のパターンを持ち、可変とすることも可能である。さらに、差分量比較と高周波数成分抽出用でエリアを互いに重ならないような分割としたが、個々に独立して領域を設定してもよい。
また、ハイビジョン映像信号(ＨＤＴＶ)を実施例としたが・スタンダードの映像信号(ＳＤＴＶ)でも構わない。

本発明は、撮像した映像信号を記録媒体に記録したときの記録内容を示すサムネール画像を表示する装置などで有効である。テレビカメラからインポートした時のノンリニア・エディタやパソコンで処理する時に有用である。

映像信号をフレーム毎メモリに保存するときの説明図である。 フレーム間の差分比較の説明図である。 差分比較の周辺領域を示す図である。 高周波数成分抽出領域を示す図である。 図２の具体的構成である。 高周波数成分抽出の説明図である。 図６の具体例である。 実施例で示したハイビジョン映像信号の周波数特性図である。 検出したサムネール画像の表示例である。

符号の説明

４１、７１ メモリ
４２、７３ AreaFilter
４３ 乗算器
４４ 加算機
７２ ハイパスフィルター
７４ 加算平均算出部
７５ サムネールアドレス記録部

Claims (4)

1. テレビカメラからの映像出力信号をメモリに保存し、
   前記メモリに保存した映像信号の一つのフレームと、該フレームと繋がるフレームを少なくとも２フレーム数以上につき、フレームの所定領域において連続的に差分比較し、
   前記差分比較の結果、差分量が最も小さい指定された枚数の映像フレームを検出し、
   前記検出結果のフレームに対して、高周波数成分を抽出し、該高周波数成分のフレーム中心領域における演算を行い、
   該演算結果、高周波数成分が最大となるフレームを前記テレビカメラのサムネール画像とすることを特徴とするカメラ映像におけるサムネール画像検出方法。
2. 前記所定領域における差分比較は、一つのフレームを基準として、他のフレームに対して負の所定係数を乗算した結果を加算する演算で行うことを特徴とする請求項１記載のカメラ映像におけるサムネール画像検出方法。
3. 前記フレームの所定領域は、フレームの周辺領域であることを特徴とする請求項１又は２記載のカメラ映像におけるサムネール画像検出方法。
4. 前記高周波数成分のフレーム中心領域における演算は、ハイパスフィルタの出力の絶対値を加算平均することを特徴とする請求項１記載のカメラ映像におけるサムネール画像検出方法。