JP4189575B2

JP4189575B2 - Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program

Info

Publication number: JP4189575B2
Application number: JP2002332157A
Authority: JP
Inventors: 昌大角田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2008-12-03
Anticipated expiration: 2022-11-15
Also published as: JP2004166131A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば動画撮影可能なデジタルカメラやムービーカメラの他、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）などの種々の画像処理装置に係り、特に動画像によるサムネイルの作成機能を備えた画像処理装置と、同装置に用いられるサムネイル動画作成方法及びサムネイル動画作成プログラムに関する。
【０００２】
【従来の技術】
従来、動画撮影可能なデジタルカメラなど、動画像を扱う画像処理装置では、動画データの中の１コマを用いてサムネイル画像を作成するものが知られている（例えば特許文献１、２参照）。サムネイル画像とは、頭出しや画像内容を把握する場合のインデックスとして用いられる画像のことであり、インデックス画像あるいはプレビュー画像などとも呼ばれる。
【０００３】
通常、この種の画像処理装置では、各画像が時系列に連続してなる動画データの中から先頭に位置する画像（静止画）を自動的に選んでサムネイル画像としている。しかし、先頭位置にある画像が必ずしもサムネイル画像として最適な画像とは限らない。そこで、特許文献１では、動画データの中からユーザが任意にサムネイル画像として最適な画像を設定可能とすることが提案させている。また、特許文献２では、ユーザ選択による自由なサムネイル画像の作成と共にシーンチェンジなどに対応した最適なサムネイル画像の作成を可能とすることが提案されている。
【０００４】
【特許文献１】
特開２００１−１６９２３１号公報
【０００５】
【特許文献２】
特開２０００−２７８６４１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１、２などにおいて、サムネイル（インデックス）として用いられる画像は動画データの中の１コマに相当する静止画である。このため、この種のサムネイル画像では動的な要素に欠けてしまい、その１コマを見ただけでは、どのシーンを撮影したものであるかが直ぐに判らないなどの不具合がある。
【０００７】
本発明は前記のような点に鑑みなされたもので、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段と、この動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段と、前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段と、前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段と、前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段と、前記動画切出し手段によって切り出された部分動画を、サムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段とを具備したことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする。
【００１０】
請求項３記載の発明は、請求項２記載の発明において、前記サムネイル合成手段は、読み出した所定数のサムネイル動画のうち、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施す第１の合成処理手段と、読み出した所定数のサムネイル動画のうち、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施す第２の合成処理手段とを具備したことを特徴とする。
【００１４】
請求項４記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画像処理装置のサムネイル動画作成方法であって、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出しステップと、前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、この動き量検出ステップにおいて時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出ステップと、前記動き量検出ステップにおいて時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出ステップと、前記第１の検出ステップにおいて検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出しステップを制御する第１の切出し制御ステップと、前記第２の検出ステップにおいて検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出しステップを制御する第２の切出し制御ステップと、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップとを含む。
【００１５】
請求項５記載の発明は、コンピュータを、時系列的に連続する静止画データである動画データを記憶する動画記憶手段、この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、前記動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段、前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段、前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段、前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、として機能させる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１８】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置としては、例えば動画撮影機能を備えたデジタルカメラの他、ＰＤＡ（Personal Digital Assistant）やパーソナルコンピュータなど、動画データを扱う装置であれば全てを含む。ここでは、一般的なコンピュータとしての構成を示す。
【００１９】
図１に示すように、本実施形態における画像処理装置は、ＣＰＵ１１、入力装置１２、表示装置１３、記憶装置１４、通信装置１５、インタフェース１６、撮像装置１７を備える。
【００２０】
ＣＰＵ１１は、本装置全体の制御を行うものであり、記憶装置１４に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。入力装置１２は、例えばキーボード、マウス、タッチパネル、ペンなどからなる入力デバイスであり、各種データの入力や指示を行うためのものである。表示装置１３は、例えばＬＣＤ（Liquid Crystal Display）などの表示デバイスであり、その画面上に各種データの表示を行う。
【００２１】
記憶装置１４は、例えばＲＯＭやＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、メモリーカードなどの種々のメモリデバイスによって構成することが可能であり、本装置に必要な各種情報を記憶する。この記憶装置１４には、プログラム記憶領域１４ａ、動画データ記憶領域１４ｂ、サムネイル動画記憶領域１４ｃ、サムネイル合成動画記憶領域１４ｄなどが設けられている。
【００２２】
プログラム記憶領域１４ａには、本発明を実現するためのプログラムを含む各種プログラムが記憶されている。動画データ記憶領域１４ｂには、撮像装置１７によって撮影された動画データが記憶される。サムネイル動画記憶領域１４ｃには、動画データ記憶領域１４ｂに記憶された動画データを元にして作成された複数枚のサムネイル動画が記憶される。このサムネイル動画は、動画データから抽出されたものであって、静止画ではなく、所定の時間長を有する。サムネイル合成動画記憶領域１４ｄには、このサムネイル動画を複数枚組み合わせて作成されるサムネイル合成動画が記憶される。
【００２３】
また、通信装置１５は、ネットワークを介して外部端末との間でデータ通信を行う。前記ネットワークとしては、インターネットの他、有線あるいは無線のＬＡＮ（Local Area Network）などの通信回線も含む。インタフェース１６には、動画像の撮影機能を備えた撮像装置１７が着脱自在に接続される。この撮像装置１７によって撮影された動画データは記憶装置１４の動画データ記憶領域１４ｂに格納される。
【００２４】
図２に撮像装置１７によって撮影された動画データの一例を示す。
【００２５】
動画データは、時系列に連続する複数枚の静止画（フレーム）からなる。時間軸上に隣接する前後のシーンの画像において、両者の画像の相関が高いほど（類似度の高いほど）ほど、両者間の画像の動き量が低い。逆に、相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。したがって、この動き量が所定値以上である場合にシーンが大きく変化したものと判断できる。このシーンが大きく変化した部分をシーン転換点と呼ぶ。
【００２６】
図２の例では、時系列に連続した各画像ａ１…ａｎ，ｂ１…ｂｎ，ｃ１…ｃｎ…からなる動画データの中で、時間軸上で隣接する画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の相関が低く、動き量が高い。この動き量が所定値以上である場合に、そこがシーン転換点として検出される。
【００２７】
次に、本装置の第１の実施形態としての処理動作について説明する。
【００２８】
今、記憶装置１４の動画データ記憶領域１４ｂに、撮像装置１７によって撮影された動画データを有する動画ファイルが記憶されており、その動画データからサムネイル動画を作成する場合を想定して説明する。
【００２９】
図３は本装置の第１の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００３０】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＡ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量によって判断される。
【００３１】
このシーン転換点検出処理について、図４を参照して詳しく説明する。図４は本装置の第１の実施形態におけるシーン転換点検出処理の流れを示すフローチャートである。
【００３２】
図４に示すように、ＣＰＵ１１は、時間軸上で隣接する前後のシーンの画像から輝度信号を抽出し（ステップＢ１１）、その輝度信号に基づいて各位置毎の画像間の相関を表す動き量を求める（ステップＢ１２）。上述したように、両者の画像の相関が高いほど（類似度の高いほど）、両者間の画像の動き量は低く、逆に相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。
【００３３】
なお、ここでは画像の輝度信号によって動き量を求めているが、色信号や色差信号などの他の情報を用いて動き量を求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００３４】
両画像における各位置毎の動き量が得られると、ＣＰＵ１１はこれらの合計値、平均値あるいは自乗平均値などを求めた後（ステップＢ１３）、その値を両者間の画像の動き量Ｓとして予め設定された閾値Ｔｈと比較する（ステップＢ１４）。その結果、動き量Ｓが閾値Ｔｈより低ければ（ステップＢ１４のＮｏ）、ＣＰＵ１１はシーン転換なしと判断する（ステップＢ１５）。一方、動き量Ｓが閾値Ｔｈ以上であった場合には（ステップＢ１４のＹｅｓ）、ＣＰＵ１１はシーン転換ありと判断する（ステップＢ１６）。
【００３５】
以下同様にして、ＣＰＵ１１は時系列の順に当該動画データの前後のシーンの画像を順次チェックしていきシーン転換の有無を判断する。これにより、図２に示される動画データの例では、画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の間がシーン転換点として検出されることになる。
【００３６】
図３に戻って、動画データの中のシーン転換点が検出されると（ステップＡ１２のＹｅｓ）、ＣＰＵ１１はサムネイル動画として用いる部分動画の切出し時間を決定する（ステップＡ１３）。この切出し時間は、前記シーン転換点検出処理にてシーン転換ありとして判断されたときの動き量Ｓに基づいて決定する。この場合、図５（ａ）に示すように、そのときの動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を比例的に決める方法と、同図（ｂ）に示すように、動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を段階的に決める方法とがある。どちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３７】
なお、動画データの各画像間の動き量Ｓがシーン変化の目安である閾値Ｔｈの付近で短周期に変動しているような場合には、動き量Ｓが閾値Ｔｈを越える度にシーン転換点として検出されて、同じようなサムネイル動画が多数作成されてしまうといった問題が生じる。そこで、このような問題を回避するため、最初に動き量Ｓが閾値Ｔｈ以上となったときに、その時点から少なくとも当該動き量Ｓに応じた切出し時間までの期間はシーン転換点の検出動作を禁止するような制御を加えておくことが好ましい。
【００３８】
図３に戻って、切出し時間が決定されると、ＣＰＵ１１は当該動画データのシーン転換点を基点にして前記切出し時間に従ってサムネイル動画として用いる部分の切り出し処理を行う（ステップＡ１４）。この場合の切出し方法として、図６に示すように、例えば切出し時間をＴとしたときに、シーン転換点の前後のシーンから所定の比率（ｎ：ｍ）で切出し時間Ｔ分の動画像を切り出す方法や、シーン転換点の後のシーンから切出し時間Ｔ分の動画像を切り出す方法などがあり、そのどちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３９】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Motion Picture Expert Group）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＡ１５）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＡ１６）。
【００４０】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、その部分を切り出すことでサムネイル動画を作り出す。この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。その長さはシーン変化の度合い（具体的には画像の動き量）に依存し、シーンが大きく変化している部分ほど、長いサムネイル動画が作成されることになる。
【００４１】
図７にサムネイル動画の一例を示す。
【００４２】
今、図７（ａ）に示すように、動画データの中から４枚のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄが作成されたとする。これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄはそれぞれに時間的な長さが異なる。ここで、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを時系列の順に表示すると、同図（ｂ）に示すように、例えばサムネイル動画Ｖａが３秒、サムネイル動画Ｖｂが２秒、サムネイル動画Ｖｃが１秒、サムネイル動画Ｖｄが３秒といったように、各シーンの動画像がそれぞれの時間ぶん表示されることになる。
【００４３】
これらのサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有する。したがって、各サムネイル動画を表示した場合にどのシーンを撮影したものであるかを直ぐに判断できる。しかも、シーン変化の大きいところでは長く表示されるので、これらのサムネイル動画から全体的な内容を容易に把握することができる。
【００４４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４５】
前記第１の実施形態では、動き量Ｓが閾値Ｔｈ以上の場合にシーン転換ありと判断し、そのときの動き量Ｓに応じて切出し時間を決定することにより、シーン転換点を基点に前記切出し時間に従ってサムネイル動画として用いる部分動画を切り出すようにした。これに対し、第２の実施形態では、動き量Ｓによってシーン転換ありと判断してから、その動き量Ｓが所定値以下になるまでの期間を切出し時間として部分動画の切り出しを行うことを特徴とする。
【００４６】
図８を参照して具体的に説明する。
【００４７】
今、図８（ａ）に示すように、時系列に連続した複数の画像ａ１，ｂ１…ｃ１…ｃｎを含んだ動画データがあり、その動画データの動き量Ｓが同図（ｂ）に示すような特性を有するものとする。
【００４８】
ここで、Ｔｈ１とＴｈ２の２つの閾値を用意しておく。閾値Ｔｈ１はシーン転換点を検出するためのものであり、前記第１の実施形態における閾値Ｔｈに相当する。閾値Ｔｈ２は部分動画の切出し終了点を検出するためのものであり、閾値Ｔｈ１よりも低く設定される。
【００４９】
画像ａ１と画像ｂ１との間に大きな変化があり、そのときの動き量Ｓが閾値Ｔｈ１以上になると、その時点でサムネイル動画として用いる部分動画の切出しが開始される。前記第１の実施形態では、このときの動き量Ｓに応じて切出し時間が決定されていた。これに対し、第２の実施形態では、動き量Ｓが閾値Ｔｈ２以下になるまでの間、部分動画の切り出しが継続して行われる。この例では、画像ｂ１から画像ｃ１にかけて動き量Ｓが閾値Ｔｈ１以上あるので、そのまま切り出しが行われることになる。そして、画像ｃ１から画像ｃｎにかけて動き量Ｓが閾値Ｔｈ２以下になると、そこを切出し終了点として切出し動作が終了する。このようにして、動画データから切り出された部分動画がサムネイル動画として使用される。
【００５０】
以下に、図９を参照して第２の実施形態としての処理動作について詳しく説明する。
【００５１】
図９は本装置の第２の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００５２】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＣ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。
【００５３】
このシーン転換点検出処理については、前記第１の実施形態と同様である。すなわち、図４で説明したように、時間軸上で隣接する前後のシーンの画像の輝度信号などに基づいて両者間の動き量Ｓを求め、その動き量Ｓと予め設定された閾値Ｔｈ（ここでは閾値Ｔｈ１とする）とを比較し、動き量Ｓが閾値Ｔｈ１以上であった場合にシーン転換ありとして検出するものである。なお、動き量は輝度信号の他、色信号や色差信号などの他の情報を用いて求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００５４】
動画データの中のシーン転換点が検出されると（ステップＣ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点で当該動画データからサムネイル動画として用いる部分動画の切出しを開始する（ステップＣ１３）。この切出し動作は、図８で説明したように、動き量Ｓが閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）以下になるまで継続される（ステップＣ１４，Ｃ１５）。そして、動き量Ｓが閾値Ｔｈ２以下になると（ステップＣ１５のＹｅｓ）、ＣＰＵ１１はその時点で部分動画の切出し動作を終了する（ステップＣ１６）。
【００５５】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Motion Picture Expert Group）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＣ１７）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＣ１８）。
【００５６】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、そこからシーン変化の度合いが所定値以下になるまでの間、部分動画の切り出しを継続的に行うことでも、前記第１の実施形態と同様に、動画像によるサムネイルつまりサムネイル動画を作り出すことができる。そして、このようにすることにより、シーンの変化が検出された場面から、一連の激しい動きが収まる場面までの動画を適応的に切り出すことができ、サムネイルとして切り出された動画を、まとまりが良く、内容の理解し易いものとすることができる。
【００５７】
この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。第２の実施形態において、その長さはシーン変化の連続性に依存し、シーンが大きく変化している時間が長いほど、長いサムネイル動画が作成されることになる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
第３の実施形態では、複数枚のサムネイル動画を組み合わせて１つの合成画像（これをサムネイル合成動画と呼ぶ）を作成すると共に、このサムネイル動画を構成する各サムネイル動画の時間を合わせることを特徴とするものである。
【００６０】
図１０を参照して具体的に説明する。
【００６１】
今、動画データから得られたサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを４分割画面に嵌め込んで、１つのサムネイル合成動画として表示する場合を想定する。この場合、サムネイル動画Ｖａは３秒、サムネイル動画Ｖｂは２秒、サムネイル動画Ｖｃは１秒、サムネイル動画Ｖｄは３秒であり、それぞれに時間が異なる。したがって、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを単に組み合わせてサムネイル合成動画を表示した場合に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまう。
【００６２】
そこで、このような表示時間の相違を解消するために、サムネイル合成動画を構成するサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄに対し、コマの間引き処理や補間処理を施すことで同じ時間に調整する。
【００６３】
この時間の調整方法としては、各サムネイル動画の時間の最小公倍数を取る第１の方法や最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがある。最小公倍数を取る第１の方法では、例えば各サムネイル動画の時間が１秒，２秒，３秒，４秒であるとした場合に、サムネイル合成動画の長さをこれらの最小公倍数である１２秒に合わせる。また、最大公約数を取る第２の方法では、例えば各サムネイル動画の時間が２秒，４秒，６秒，１２秒であるとした場合に、サムネイル合成動画の長さをこれらの最大公約数である２秒に合わせる。また、予め設定された時間に合わせる第３の方法では、各サムネイル動画の時間に関係なく、サムネイル合成動画の長さを例えば５秒などの固定化された時間に合わせる。
【００６４】
ここで、ある基準となる時間（これを合成サムネイル時間Ｔｃと呼ぶ）に合わせるものとすると、その合成サムネイル時間Ｔｃよりも長い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの間引き処理（コマを間引いて時間を短縮する処理）を施し、また、前記合成サムネイル時間Ｔｃよりも短い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの補間処理（コマを補間して時間を延ばす処理）を施すことで、各サムネイル動画の時間の統一化を行う。図１０の例では、合成サムネイル時間を１秒としている。したがって、サムネイル動画Ｖｃを除くサムネイル動画Ｖａ、Ｖｂ、Ｖｄに対し、時間短縮のためのためのコマの間引き処理が行われる。これにより、これらを組み合わせたサムネイル合成動画を４分割画面で表示した場合に、その中のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄがそれぞれに同じ時間（１秒）だけ表示されることになる。
【００６５】
なお、図１０の例では、４枚のサムネイル動画を用いてサムネイル合成動画を作成しているが、その枚数については特に限定されるものではなく、動画データから得られた全てのサムネイル動画を用いも良いし、また、その中の任意の枚数分のサムネイル動画を用いても良い。さらに、各サムネイル動画の配置についてもマトリクス状に限定されるものではない。要は複数枚の各サムネイル動画を組み合わせて１つのサムネイル合成動画として一括して表示できる形態であれば、どのような形態であっても構わない。
【００６６】
以下に、図１１を参照して本装置の第３の実施形態としての処理動作について詳しく説明する。なお、ここでは動画データから得られた全てのサムネイル動画を分割画面に順に嵌め込んで１つのサムネイル合成動画を作成する場合を想定して説明する。
【００６７】
図１１は本装置の第３の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００６８】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＤ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。このシーン転換点検出処理については、前記第１の実施形態と同様であるため、その説明は省略する。
【００６９】
動画データの中のシーン転換点が検出されると（ステップＤ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点を基点にしてサムネイル動画として用いる部分動画の切り出しを行う（ステップＤ１３）。この部分動画の切り出し方法としては、前記第１の実施形態で説明したような方法や、前記第２の方実施形態で説明したような方法があり、そのどちらの方法を用いても良い。ここで切り出された部分動画は１つのサムネイル動画として、記憶装置１４のサムネイル動画記憶領域１４ｃに当該動画データに対応付けて記憶される（ステップＤ１４）。その際、必要に応じてＭＰＥＧ方式等で圧縮されると共に、縦横サイズが所定のサイズに縮小される。
【００７０】
このようにして、動画データの先頭から順にシーン転換点が検出され、そのシーン転換点で部分動画が切り出されて、サムネイル動画としてサムネイル動画記憶領域１４ｃに順次格納されていく。
【００７１】
動画データの最後まで処理すると（ステップＤ１５のＹｅｓ）、ＣＰＵ１１は、サムネイル動画記憶領域１４ｃに格納された複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を以下のような手順で作成する。
【００７２】
すなわち、ＣＰＵ１１は、まず、合成サムネイル時間Ｔｃを決定する（ステップＤ１６）。この合成サムネイル時間Ｔｃは、サムネイル合成動画に含まれる各サムネイル動画を共通に表示する時間（基準時間）のことであり、その決め方には、上述したように各サムネイル動画の時間の最小公倍数を取る第１の方法、最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがあり、そのうちのどの方法を適用しても良く、また、その都度任意に選択できるようにしても良い。
【００７３】
このようにして合成サムネイル時間Ｔｃが決定されると、ＣＰＵ１１は、各サムネイル動画を時系列の順に処理していく。まず、ＣＰＵ１１は１番目のサムネイル動画をサムネイル動画記憶領域１４ｃから取り出し（ステップＤ１７）、そのサムネイル動画の時間と合成サムネイル時間Ｔｃとを比較する（ステップＤ１８ａ、Ｄ１８ｂ）。
【００７４】
ここで、サムネイル動画の時間と合成サムネイル時間Ｔｃが同じであれば（ステップＤ１８ａのＹｅｓ）、ＣＰＵ１１は当該サムネイル動画をそのまま分割画面の所定の位置に嵌め込む（ステップＤ２１）。詳しくは、このサムネイル動画を分割画面の所定の位置に嵌め込んで表示するべく、記憶装置１４のサムネイル動画記憶領域１４ｄに展開する。前記分割画面は、サムネイル合成動画を構成する各サムネイル動画を個別に表示するための画面であって、例えば図１０に示すように各サムネイル動画をマトリクス状に配置して一覧表示するような構成になっている。
【００７５】
一方、サムネイル動画の時間と合成サムネイル時間Ｔｃが異なり（ステップＤ１８ａのＮｏ）、しかも、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも長い場合には（ステップＤ１８ｂのＹｅｓ）、サムネイル動画の時間を短縮して合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画から合成サムネイル時間Ｔｃとの差分に相当するコマの間引きを行う（ステップＤ１９）。
【００７６】
逆に、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも短い場合には（ステップＤ１８ｂのＮｏ）、サムネイル動画の時間を延ばして合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画の各コマ間に合成サムネイル時間Ｔｃとの差分に相当するコマの補間を行う（ステップＤ２０）。
【００７７】
このコマの間引き若しくはコマの補間処理としては、例えば、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、コマ数の間引きないし補間の比を決定する方法が考えられる。すなわち、例えば、現在処理対象となっているサムネイル動画の時間が５秒であり、合成サムネイル時間Ｔｃが２秒であるような場合には、サムネイル動画５コマにつき３コマ間引きして２コマを残す、といった具合に間引きをすればよい。
【００７８】
また、この際、動画の連続性をなるべく損なわずにサムネイル動画を生成するといった観点から、間引きないし補間を行うコマは、なるべく均等に近い間隔にすることが望ましく、一ヶ所に偏って間引きや補間を行うなどの処理は避けるようにすることが望ましい。このように均等に間引きないし補間を行う場合には、上記のような、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、何コマに１コマ間引きまたは補間を行う必要があるかを求めて、これに従って処理すれば良い。
【００７９】
このように、サムネイル動画の時間を合成サムネイル時間Ｔｃに合わせるべく、サムネイル動画に対してコマの間引きあるいは補間といった編集処理を施した後、ＣＰＵ１１はその編集後のサムネイル動画を分割画面の所定の位置に嵌め込む（ステップＤ２１）。
【００８０】
以後同様に、全てのサムネイル動画の処理が終了するまで（ステップＤ２２のＮｏ）、ＣＰＵ１１は時系列の順にサムネイル動画記憶領域１４ｃからサムネイル動画を順次取り出し、前記ステップＤ１８ａ〜Ｄ２１の処理を繰り返す。このようにして、各サムネイル動画が前記分割画面の各位置にそれぞれ嵌め込まれて、１つのサムネイル合成動画が作成される。この場合、各サムネイル動画のそれぞれの時間が合成サムネイル時間Ｔｃに調整されているため、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうようなことはなく、それぞれが同じ時間（合成サムネイル時間Ｔｃ）の間、表示される。したがって、ユーザは１つの動画像として違和感なく見ることができる。
【００８１】
なお、図１１のフローチャートで示したの処理では、動画データから抽出されたすべてのサムネイル動画を用いてサムネイル合成動画を作成するものとしたが、その中の何枚かを任意選択的に用いてサムネイル合成動画を作成することでも良い。
【００８２】
また、動画データとしては、モノクロ画像でもカラー画像でも良く、その動画データから得られるサムネイル動画、さらに、各サムネイル動画を組み合わせなるサムネイル合成動画についてもモノクロ画像／カラー画像に限定されるものではない。
【００８３】
また、本発明が処理対象としている動画データはデジタルカメラやムービーカメラなどで撮影されたものを直接取り込んだものでも、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体から取得したものでも、ネットワークなどを通じて外部の端末から提供されたものであっても良い。
【００８４】
さらに、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００８５】
【発明の効果】
本発明によれば、サムネイル動画のまとまりがよくなり、内容が理解しやすいものになる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】前記画像処理装置に用いられる撮像装置によって撮影された動画データの一例を示す図。
【図３】第１の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図４】第１の実施形態におけるシーン転換点検出処理の流れを説明するためのフローチャート。
【図５】第１の実施形態における動画の動き量と切出し時間との関係を示す図。
【図６】第１の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図７】第１の実施形態におけるサムネイル動画の一例を示す図。
【図８】本発明の第２の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図９】第２の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図１０】本発明の第３の実施形態における複数のサムネイル動画を組み合わせてなるサムネイル合成動画の作成を説明するための図。
【図１１】第３の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【符号の説明】
１１…ＣＰＵ
１２…入力装置
１３…表示装置
１４…記憶装置
１４ａ…プログラム記憶領域
１４ｂ…動画データ記憶領域
１４ｃ…サムネイル動画記憶領域
１４ｄ…サムネイル合成動画記憶領域
１５…通信装置
１６…インタフェース
１７…撮像装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to various image processing devices such as a PC (Personal Computer) and a PDA (Personal Digital Assistant) in addition to a digital camera and a movie camera capable of taking a moving image, for example, and particularly has a function of creating thumbnails based on moving images. The present invention relates to an image processing apparatus, a thumbnail moving image creating method and a thumbnail moving image creating program used in the apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, image processing apparatuses that handle moving images, such as digital cameras that can shoot moving images, are known that create thumbnail images using one frame in moving image data (see, for example, Patent Documents 1 and 2). A thumbnail image is an image that is used as an index when finding a head or grasping image contents, and is also called an index image or a preview image.
[0003]
Usually, in this type of image processing apparatus, an image (still image) positioned at the head is automatically selected from moving image data in which each image is continuous in time series, and is used as a thumbnail image. However, the image at the head position is not necessarily the optimum image as a thumbnail image. Therefore, Patent Document 1 proposes that the user can arbitrarily set an optimal image as a thumbnail image from moving image data. Japanese Patent Application Laid-Open No. 2004-228620 proposes that an optimum thumbnail image corresponding to a scene change or the like can be created together with creation of a free thumbnail image by user selection.
[0004]
[Patent Document 1]
JP 2001-169231 A
[0005]
[Patent Document 2]
Japanese Patent Laid-Open No. 2000-278641
[0006]
[Problems to be solved by the invention]
However, in Patent Documents 1 and 2 and the like, an image used as a thumbnail (index) is a still image corresponding to one frame in moving image data. For this reason, this kind of thumbnail image lacks dynamic elements, and there is a problem that it is not possible to immediately know which scene was shot by just looking at that one frame.
[0007]
The present invention has been made in view of the above points, and includes an image processing apparatus, a thumbnail moving image generating method, and a thumbnail moving image generating program that have dynamic elements and can generate an optimal thumbnail corresponding to a scene change. The purpose is to provide.
[0008]
[Means for Solving the Problems]
  The invention according to claim 1 is still image data continuous in time series.Moving image storage means for storing moving image data;Motion amount detection means for detecting, in time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;,Stored in the moving image storage meansA video cutout means for partially cutting video data;First detection means for detecting a first time point when the amount of motion detected in time series by the motion amount detection means is greater than a first threshold, and time series detection by the motion amount detection means Second detection means for detecting a second time point at which the amount of motion made is smaller than a second threshold value smaller than the first threshold value after the amount of movement is greater than the first threshold; A first cutout control unit that controls the moving image cutout unit to start cutting out the moving image data from a first time point detected by the first detection unit; and a second cutout that is detected by the second detection unit. The second cutout control means for controlling the moving picture cutout means to end the cutout of the moving picture data at the time ofPartial videos cut out by the video cutting means,Thumbnail storage means for storing the video as thumbnail video in association with the video dataIt is characterized by that.
[0009]
  According to a second aspect of the present invention, in the first aspect of the invention, there is provided a thumbnail synthesizing unit that reads out a predetermined number of thumbnail videos stored in the thumbnail storage unit and creates one thumbnail synthesized video by combining these thumbnail videos. Furthermore, it is characterized by comprising.
[0010]
  According to a third aspect of the present invention, in the second aspect of the invention, the thumbnail synthesizing unit is configured to determine the reference time for a thumbnail video having a time longer than a reference time among a predetermined number of read thumbnail videos. A first synthesizing processing unit that performs frame decimation processing corresponding to the difference between the difference and the reference time for a thumbnail video having a time shorter than the reference time among the read predetermined number of thumbnail videos And a second synthesizing processing means for performing a frame interpolation process corresponding to the above.
[0014]
  Claim4The invention described is a thumbnail moving image creation method of an image processing apparatus including a moving image storage unit that stores moving image data that is time-series continuous still image data, the moving image data stored in the moving image storage unit A moving image cut-out step for partially cutting out and a moving amount detection for detecting in a time series a motion amount that is a dissimilarity between two still images adjacent in time series in the moving image data stored in the moving image storage means A first detection step for detecting a first time point in which the amount of motion detected in time series in the motion amount detection step is greater than a first threshold, and time series in the motion amount detection step A second detection step for detecting a second time point at which the detected motion amount becomes smaller than a second threshold value smaller than the first threshold value after the detected motion amount becomes larger than the first threshold value. A first cutout control step for controlling the moving image cutout step so as to start cutting out the moving image data from the first time point detected in the first detection step; and a detection in the second detection step. A second cut-out control step for controlling the moving-image cut-out step so as to end the cut-out of the moving-image data at the second time point, and the partial moving image cut out in the moving-image cut-out step as the thumbnail moving image And a storage control step of storing in the moving image storage means in association with.
[0015]
  Claim5The described invention includes a moving image storage means for storing moving image data, which is still image data continuous in time series, a moving image cutout means for partially cutting out the moving image data stored in the moving image storage means, and the moving image storage In the moving image data stored in the means, a motion amount that is a dissimilarity between two still images that are adjacent in time series is detected in time series, and the motion amount detection means detects the motion amount in time series. First detection means for detecting a first time point when the detected motion amount is greater than a first threshold, and the motion amount detected in time series by the motion amount detection means is the first threshold value. Second detection means for detecting a second time point that has become smaller than a second threshold value smaller than the first threshold value after becoming larger; a first time point detected by the first detection means; From the video First moving control means for controlling the moving image cutting means so as to start cutting out the moving image, and the moving image cutting means so as to end the cutting of the moving image data at the second time point detected by the second detecting means. A second cut-out control unit for controlling the video, and a storage control unit for storing the partial video clipped in the video cut-out step in the video storage unit in association with the video data as a thumbnail video.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to the first embodiment of the present invention. Note that the image processing apparatus of the present invention includes all apparatuses that handle moving image data such as a digital camera having a moving image shooting function, a PDA (Personal Digital Assistant), a personal computer, and the like. Here, a configuration as a general computer is shown.
[0019]
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes a CPU 11, an input device 12, a display device 13, a storage device 14, a communication device 15, an interface 16, and an imaging device 17.
[0020]
The CPU 11 controls the entire apparatus. By reading a program stored in the storage device 14, the CPU 11 executes various processes according to procedures described in the program. The input device 12 is an input device including, for example, a keyboard, a mouse, a touch panel, a pen, and the like, and is used for inputting various data and giving instructions. The display device 13 is a display device such as an LCD (Liquid Crystal Display), for example, and displays various data on the screen.
[0021]
The storage device 14 can be configured by various memory devices such as a ROM, a RAM, a CD-ROM, a DVD-ROM, and a memory card, and stores various types of information necessary for the device. The storage device 14 includes a program storage area 14a, a moving picture data storage area 14b, a thumbnail moving picture storage area 14c, a thumbnail composite moving picture storage area 14d, and the like.
[0022]
Various programs including a program for realizing the present invention are stored in the program storage area 14a. The moving image data storage area 14b stores moving image data shot by the imaging device 17. The thumbnail moving image storage area 14c stores a plurality of thumbnail moving images created based on the moving image data stored in the moving image data storage area 14b. This thumbnail moving image is extracted from moving image data, and is not a still image but has a predetermined time length. The thumbnail composite video storage area 14d stores a thumbnail composite video created by combining a plurality of thumbnail videos.
[0023]
The communication device 15 performs data communication with an external terminal via a network. The network includes a communication line such as a wired or wireless LAN (Local Area Network) in addition to the Internet. An imaging device 17 having a moving image shooting function is detachably connected to the interface 16. The moving image data shot by the imaging device 17 is stored in the moving image data storage area 14b of the storage device 14.
[0024]
FIG. 2 shows an example of moving image data shot by the imaging device 17.
[0025]
The moving image data is composed of a plurality of still images (frames) continuous in time series. In the images of the scenes before and after adjacent on the time axis, the higher the correlation between the two images (the higher the similarity), the lower the amount of image movement between the two. Conversely, the lower the correlation (the lower the similarity), the higher the amount of image motion between the two. Therefore, it can be determined that the scene has changed greatly when the amount of movement is equal to or greater than a predetermined value. The part where the scene has changed greatly is called a scene turning point.
[0026]
In the example of FIG. 2, among the moving image data composed of images a1... An, b1... Bn, c1... Cn continuous in time series, the image an and the image b1, the image bn and the image c1 which are adjacent on the time axis. The correlation is low and the amount of motion is high. When this amount of motion is greater than or equal to a predetermined value, this is detected as a scene turning point.
[0027]
Next, a processing operation as the first embodiment of the present apparatus will be described.
[0028]
Now, description will be made assuming that a moving image file having moving image data shot by the imaging device 17 is stored in the moving image data storage area 14b of the storage device 14 and a thumbnail moving image is created from the moving image data.
[0029]
FIG. 3 is a flowchart showing the overall flow of image processing in the first embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0030]
When a moving image file for thumbnail creation is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and stores the moving image data. A scene turning point is detected (step A11). The scene turning point is a portion where the scene has changed greatly, and is determined by the amount of motion of the image as described above.
[0031]
The scene turning point detection process will be described in detail with reference to FIG. FIG. 4 is a flowchart showing the flow of the scene turning point detection process in the first embodiment of the present apparatus.
[0032]
As shown in FIG. 4, the CPU 11 extracts a luminance signal from the images of the preceding and succeeding scenes on the time axis (step B11), and the amount of motion representing the correlation between the images at each position based on the luminance signal. Is obtained (step B12). As described above, the higher the correlation between the two images (the higher the similarity), the lower the amount of movement of the images between them, and the lower the correlation (the lower the similarity), The amount of movement is high.
[0033]
Here, the amount of motion is obtained from the luminance signal of the image, but the amount of motion may be obtained using other information such as a color signal and a color difference signal. Furthermore, the amount of motion is one index indicating the degree of scene change, and if there is other information indicating the degree of scene change, that information may be used.
[0034]
When the movement amount for each position in both images is obtained, the CPU 11 obtains a total value, an average value, or a mean square value of these values (step B13), and then uses that value as the movement amount S of the image between them. It compares with the set threshold value Th (step B14). As a result, if the motion amount S is lower than the threshold Th (No in step B14), the CPU 11 determines that there is no scene change (step B15). On the other hand, when the motion amount S is equal to or greater than the threshold value Th (Yes in Step B14), the CPU 11 determines that there is a scene change (Step B16).
[0035]
Similarly, the CPU 11 sequentially checks the images of the scenes before and after the moving image data in chronological order to determine whether or not there is a scene change. As a result, in the example of the moving image data shown in FIG. 2, the area between the image an and the image b1, and the image bn and the image c1 are detected as scene turning points.
[0036]
Returning to FIG. 3, when the scene turning point in the moving image data is detected (Yes in step A12), the CPU 11 determines the cutout time of the partial moving image used as the thumbnail moving image (step A13). This cut-out time is determined based on the amount of movement S when it is determined in the scene turning point detection process that there is a scene change. In this case, as shown in FIG. 5 (a), a method of proportionally determining the extraction time (time length of the thumbnail video) according to the amount of movement S at that time, and as shown in FIG. 5 (b) There is a method of determining the extraction time (time length of the thumbnail video) in a stepwise manner according to the amount S. Either method may be applied, and the method may be arbitrarily selected.
[0037]
Note that when the amount of motion S between the images of the moving image data fluctuates in the short period near the threshold Th that is a guideline for scene change, the scene turning point every time the amount of motion S exceeds the threshold Th. As a result, a large number of similar thumbnail videos are created. Therefore, in order to avoid such a problem, when the motion amount S first becomes equal to or greater than the threshold value Th, a scene turning point detection operation is performed for a period from that point to at least the extraction time corresponding to the motion amount S. It is preferable to add control to prohibit.
[0038]
Returning to FIG. 3, when the cut-out time is determined, the CPU 11 performs cut-out processing of a portion to be used as a thumbnail moving image according to the cut-out time based on the scene turning point of the moving image data (step A14). As a clipping method in this case, as shown in FIG. 6, for example, when the clipping time is T, a moving image corresponding to the clipping time T is clipped from a scene before and after the scene turning point at a predetermined ratio (n: m). There are a method and a method of extracting a moving image for the extraction time T from the scene after the scene turning point. Either of these methods may be applied, and the method may be arbitrarily selected. .
[0039]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the CPU 11 compresses the cut partial moving image according to a predetermined encoding method such as MPEG (Motion Picture Expert Group) as necessary, A moving image for thumbnail (index) is created by reducing the vertical and horizontal sizes to a predetermined size (step A15). Then, the CPU 11 stores the thumbnail moving image in the thumbnail moving image storage area 14c of the storage device 14 in association with the moving image data (step A16).
[0040]
In this way, a portion where the scene changes greatly is found in the moving image data, and a thumbnail moving image is created by cutting out that portion. In this case, if there are a large number of scene change points, that is, scene turning points, a corresponding number of thumbnail videos are created in the thumbnail video storage area 14c. These thumbnail videos have different time lengths. The length depends on the degree of scene change (specifically, the amount of motion of the image), and the longer the moving image, the longer the thumbnail video is created.
[0041]
FIG. 7 shows an example of a thumbnail video.
[0042]
Assume that four thumbnail moving images Va, Vb, Vc, and Vd are created from moving image data as shown in FIG. These thumbnail videos Va, Vb, Vc, Vd have different time lengths. Here, when these thumbnail videos Va, Vb, Vc, Vd are displayed in chronological order, for example, as shown in FIG. 5B, the thumbnail video Va is 3 seconds, the thumbnail video Vb is 2 seconds, and the thumbnail video Vc. Is 1 second, and the thumbnail video Vd is 3 seconds, so that the moving image of each scene is displayed for each time.
[0043]
These thumbnail videos correspond to scene changes and have dynamic elements unlike still images. Therefore, it is possible to immediately determine which scene is captured when each thumbnail video is displayed. Moreover, since it is displayed for a long time when the scene changes greatly, it is possible to easily grasp the entire contents from these thumbnail videos.
[0044]
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
[0045]
In the first embodiment, when the motion amount S is greater than or equal to the threshold Th, it is determined that there is a scene change, and the cut-out time is determined according to the motion amount S at that time, so that the cut-out is based on the scene change point. Cut out partial videos to be used as thumbnail videos according to time. On the other hand, the second embodiment is characterized in that a partial moving image is cut out with a period from when it is determined that there is a scene change based on the amount of motion S until the amount of motion S falls below a predetermined value. And
[0046]
This will be specifically described with reference to FIG.
[0047]
Now, as shown in FIG. 8A, there is moving image data including a plurality of images a1, b1,..., Cn continuous in time series, and the motion amount S of the moving image data is shown in FIG. It shall have the following characteristics.
[0048]
Here, two threshold values of Th1 and Th2 are prepared. The threshold value Th1 is for detecting a scene turning point, and corresponds to the threshold value Th in the first embodiment. The threshold value Th2 is used to detect the cutout end point of the partial moving image, and is set lower than the threshold value Th1.
[0049]
When there is a large change between the image a1 and the image b1, and the movement amount S at that time becomes equal to or greater than the threshold value Th1, extraction of a partial moving image used as a thumbnail moving image at that time is started. In the first embodiment, the extraction time is determined according to the amount of movement S at this time. On the other hand, in the second embodiment, the partial moving image is continuously cut out until the motion amount S becomes equal to or less than the threshold Th2. In this example, since the motion amount S is greater than or equal to the threshold Th1 from the image b1 to the image c1, the clipping is performed as it is. Then, when the motion amount S becomes equal to or less than the threshold value Th2 from the image c1 to the image cn, the extraction operation is ended with this as the extraction end point. In this way, the partial video clipped from the video data is used as a thumbnail video.
[0050]
Hereinafter, the processing operation as the second embodiment will be described in detail with reference to FIG.
[0051]
FIG. 9 is a flowchart showing the overall flow of image processing in the second embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0052]
When a moving image file for thumbnail creation is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and stores the moving image data. A scene turning point is detected (step C11). The scene turning point is a portion where the scene has changed greatly, and is determined according to the amount of motion of the image as described above.
[0053]
The scene turning point detection process is the same as that in the first embodiment. That is, as described with reference to FIG. 4, the amount of motion S between them is obtained based on the luminance signals of the images of the preceding and following scenes adjacent on the time axis, and the amount of motion S and a preset threshold Th (here In this case, when the amount of motion S is equal to or greater than the threshold Th1, it is detected that there is a scene change. Note that the motion amount may be obtained using other information such as a color signal and a color difference signal in addition to the luminance signal. Furthermore, the amount of motion is one index indicating the degree of scene change, and if there is other information indicating the degree of scene change, that information may be used.
[0054]
When a scene turning point in the moving image data is detected (Yes in step C12), the CPU 11 starts to extract a partial moving image used as a thumbnail moving image from the moving image data at the scene turning point (step C13). As described with reference to FIG. 8, this cutting operation is continued until the motion amount S becomes equal to or less than the threshold value Th2 (Th2 <Th1) (steps C14 and C15). When the motion amount S becomes equal to or less than the threshold Th2 (Yes in Step C15), the CPU 11 ends the partial moving image cutting operation at that time (Step C16).
[0055]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the CPU 11 compresses the cut partial moving image according to a predetermined encoding method such as MPEG (Motion Picture Expert Group) as necessary, A moving image for thumbnail (index) is created by reducing the vertical and horizontal sizes to a predetermined size (step C17). Then, the CPU 11 stores the thumbnail moving image in the thumbnail moving image storage area 14c of the storage device 14 in association with the moving image data (step C18).
[0056]
As described above, the first moving image data can be found by continuously finding out a portion of the moving image data where the scene changes greatly, and until the degree of the scene change becomes a predetermined value or less. Similar to the embodiment, it is possible to create thumbnails based on moving images, that is, thumbnail moving images. And by doing this, it is possible to adaptively cut out the video from the scene where the change of the scene was detected to the scene where a series of intense movements fit, and the video cut out as a thumbnail is well organized, The contents can be easily understood.
[0057]
In this case, if there are a large number of scene change points, that is, scene turning points, a corresponding number of thumbnail videos are created in the thumbnail video storage area 14c. These thumbnail videos have different time lengths. In the second embodiment, the length depends on the continuity of the scene change, and the longer the scene change time is, the longer the thumbnail video is created.
[0058]
(Third embodiment)
Next, a third embodiment of the present invention will be described.
[0059]
The third embodiment is characterized in that a plurality of thumbnail videos are combined to create a single composite image (referred to as a thumbnail composite video), and the time of each thumbnail video constituting the thumbnail video is adjusted. To do.
[0060]
This will be specifically described with reference to FIG.
[0061]
Assume that the thumbnail videos Va, Vb, Vc, and Vd obtained from the video data are inserted into a 4-split screen and displayed as a single thumbnail composite video. In this case, the thumbnail video Va is 3 seconds, the thumbnail video Vb is 2 seconds, the thumbnail video Vc is 1 second, and the thumbnail video Vd is 3 seconds, each having a different time. Therefore, when a thumbnail composite video is displayed by simply combining these thumbnail videos Va, Vb, Vc, and Vd, there are portions that end earlier and portions that end later.
[0062]
Therefore, in order to eliminate such a difference in display time, the thumbnail moving images Va, Vb, Vc, and Vd constituting the thumbnail combined moving image are adjusted to the same time by performing frame thinning processing and interpolation processing.
[0063]
As a method for adjusting the time, there are a first method for taking the least common multiple of the time of each thumbnail video, a second method for taking the greatest common divisor, and a third method for adjusting to a preset time. In the first method of taking the least common multiple, for example, when the time of each thumbnail video is 1 second, 2 seconds, 3 seconds, and 4 seconds, the length of the thumbnail composite video is 12 seconds that is the least common multiple of these. To match. Further, in the second method of taking the greatest common divisor, for example, when the time of each thumbnail video is 2 seconds, 4 seconds, 6 seconds, and 12 seconds, the length of the thumbnail composite movie is set to the greatest common divisor. Set to 2 seconds. Further, in the third method of adjusting to a preset time, the length of the thumbnail composite video is adjusted to a fixed time such as 5 seconds, regardless of the time of each thumbnail video.
[0064]
Here, if the time is adjusted to a reference time (referred to as a combined thumbnail time Tc), a thumbnail video having a time longer than the combined thumbnail time Tc corresponds to a difference from the combined thumbnail time Tc. For a thumbnail video having a time shorter than the combined thumbnail time Tc, a frame corresponding to the difference from the combined thumbnail time Tc is applied. Interpolation processing (processing that extends time by interpolating frames) is performed to unify the time of each thumbnail video. In the example of FIG. 10, the combined thumbnail time is 1 second. Accordingly, frame thinning processing for time reduction is performed on the thumbnail videos Va, Vb, and Vd except the thumbnail video Vc. As a result, when a thumbnail composite video combining these is displayed on a 4-split screen, the thumbnail video Va, Vb, Vc, Vd therein is displayed for the same time (1 second).
[0065]
In the example of FIG. 10, a thumbnail composite video is created using four thumbnail videos, but the number is not particularly limited, and all thumbnail videos obtained from video data are used. Alternatively, any number of thumbnail videos among them may be used. Furthermore, the arrangement of each thumbnail video is not limited to a matrix. In short, any form may be used as long as a plurality of thumbnail videos can be combined and displayed as a single thumbnail composite video.
[0066]
Hereinafter, the processing operation as the third embodiment of the present apparatus will be described in detail with reference to FIG. Here, a description will be given on the assumption that all thumbnail videos obtained from the video data are sequentially inserted into the divided screen to create one thumbnail composite video.
[0067]
FIG. 11 is a flowchart showing the overall flow of image processing in the third embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0068]
When a moving image file for thumbnail creation is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and stores the moving image data. A scene turning point is detected (step D11). The scene turning point is a portion where the scene has changed greatly, and is determined according to the amount of motion of the image as described above. Since this scene turning point detection process is the same as that in the first embodiment, description thereof is omitted.
[0069]
When a scene turning point in the moving image data is detected (Yes in step D12), the CPU 11 cuts out a partial moving image used as a thumbnail moving image based on the scene turning point (step D13). As a method for extracting the partial moving image, there are a method as described in the first embodiment and a method as described in the second embodiment, and either method may be used. The partial video clipped here is stored as one thumbnail video in association with the video data in the thumbnail video storage area 14c of the storage device 14 (step D14). At that time, the image is compressed by the MPEG method or the like as necessary, and the vertical and horizontal sizes are reduced to a predetermined size.
[0070]
In this way, scene turning points are detected in order from the beginning of the moving image data, partial moving images are cut out at the scene turning points, and are sequentially stored as thumbnail moving images in the thumbnail moving image storage area 14c.
[0071]
When the video data is processed to the end (Yes in step D15), the CPU 11 creates a single thumbnail composite video by combining a plurality of thumbnail videos stored in the thumbnail video storage area 14c in the following procedure.
[0072]
That is, the CPU 11 first determines the combined thumbnail time Tc (step D16). The composite thumbnail time Tc is a time (reference time) for displaying each thumbnail video included in the thumbnail composite video in common, and is determined by taking the least common multiple of the time of each thumbnail video as described above. There are a first method, a second method that takes the greatest common divisor, and a third method that adjusts to a preset time. Any of these methods may be applied, and each method is arbitrarily selected. You may be able to do it.
[0073]
When the combined thumbnail time Tc is determined in this way, the CPU 11 processes each thumbnail moving image in time series. First, the CPU 11 takes out the first thumbnail video from the thumbnail video storage area 14c (step D17), and compares the time of the thumbnail video with the combined thumbnail time Tc (steps D18a and D18b).
[0074]
Here, if the time of the thumbnail video is the same as the combined thumbnail time Tc (Yes in step D18a), the CPU 11 inserts the thumbnail video as it is in a predetermined position of the divided screen (step D21). Specifically, the thumbnail moving image is expanded in the thumbnail moving image storage area 14d of the storage device 14 so as to be displayed by being inserted into a predetermined position of the divided screen. The split screen is a screen for individually displaying each thumbnail video constituting the thumbnail composite video, and for example, as shown in FIG. 10, the thumbnail video is arranged in a matrix and displayed as a list. It has become.
[0075]
On the other hand, if the thumbnail video time is different from the composite thumbnail time Tc (No in step D18a), and if the thumbnail video time is longer than the composite thumbnail time Tc (step D18b Yes), the thumbnail video time is shortened. Thus, it is necessary to match the combined thumbnail time Tc. Therefore, the CPU 11 thins out frames corresponding to the difference from the combined thumbnail time Tc from the thumbnail video (step D19).
[0076]
Conversely, if the thumbnail video time is shorter than the composite thumbnail time Tc (No in step D18b), it is necessary to extend the thumbnail video time to match the composite thumbnail time Tc. Therefore, the CPU 11 interpolates frames corresponding to the difference from the combined thumbnail time Tc between the frames of the thumbnail video (step D20).
[0077]
As the frame decimation or frame interpolation process, for example, a method of determining the frame decimation or interpolation ratio from the ratio of the thumbnail video time currently being processed and the combined thumbnail time Tc is considered. It is done. That is, for example, when the time of the thumbnail video currently being processed is 5 seconds and the combined thumbnail time Tc is 2 seconds, 3 frames are thinned out for 5 thumbnail videos, leaving 2 frames. , And so on.
[0078]
At this time, from the viewpoint of generating a thumbnail video without losing the continuity of the video as much as possible, it is desirable that the frames to be thinned out or interpolated should be equally spaced as much as possible. It is desirable to avoid processing such as. When thinning out or interpolating evenly in this way, one frame is thinned out or interpolated from the ratio of the time of the thumbnail video currently being processed and the combined thumbnail time Tc as described above. Find out if you need to do it and process it accordingly.
[0079]
As described above, in order to adjust the time of the thumbnail video to the combined thumbnail time Tc, after performing an editing process such as frame thinning or interpolation on the thumbnail video, the CPU 11 converts the edited thumbnail video to a predetermined position on the divided screen. (Step D21).
[0080]
Thereafter, similarly, until the processing of all thumbnail moving images is completed (No in step D22), the CPU 11 sequentially extracts the thumbnail moving images from the thumbnail moving image storage area 14c in chronological order, and repeats the processing of steps D18a to D21. In this way, each thumbnail video is inserted into each position of the divided screen to create one thumbnail composite video. In this case, since the time of each thumbnail video is adjusted to the composite thumbnail time Tc, when the thumbnail composite video is displayed, a portion that ends earlier and a portion that ends later are created. Each is displayed during the same time (combined thumbnail time Tc). Therefore, the user can view it as a single moving image without a sense of incongruity.
[0081]
In the process shown in the flowchart of FIG. 11, the thumbnail composite video is created using all the thumbnail videos extracted from the video data, but some of them are optionally used. It is also possible to create a thumbnail composite video.
[0082]
Further, the moving image data may be a monochrome image or a color image, and a thumbnail moving image obtained from the moving image data and a thumbnail combined moving image obtained by combining the thumbnail moving images are not limited to a monochrome image / color image.
[0083]
Further, the moving image data to be processed by the present invention may be directly captured from a digital camera or a movie camera, or may be obtained from a recording medium such as a CD-ROM or DVD-ROM, or may be transmitted through a network or the like. It may be provided from an external terminal.
[0084]
Furthermore, the method described in each of the embodiments described above is a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc., as a program that can be executed by a computer. The program itself can be applied to various apparatuses, or the program itself can be transmitted through a transmission medium such as a network to be applied to various apparatuses. A computer that implements this apparatus reads a program recorded on a recording medium or a program provided via a transmission medium, and performs the above-described processing by controlling operations by this program.
[0085]
【The invention's effect】
  BookAccording to the invention, Thumbnail videos are better organized and the contents are easier to understand.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a view showing an example of moving image data shot by an imaging device used in the image processing device.
FIG. 3 is a flowchart for explaining the overall flow of image processing in the first embodiment;
FIG. 4 is a flowchart for explaining the flow of a scene turning point detection process in the first embodiment.
FIG. 5 is a diagram illustrating a relationship between a moving amount of a moving image and a cutout time according to the first embodiment.
FIG. 6 is a diagram for explaining a method of cutting out a partial moving image used as a thumbnail moving image in the first embodiment.
FIG. 7 is a diagram showing an example of a thumbnail video in the first embodiment.
FIG. 8 is a diagram for explaining a method of extracting a partial moving image used as a thumbnail moving image according to the second embodiment of the present invention.
FIG. 9 is a flowchart for explaining the overall flow of image processing in the second embodiment;
FIG. 10 is a diagram for explaining creation of a thumbnail composite video that is a combination of a plurality of thumbnail videos in the third embodiment of the present invention.
FIG. 11 is a flowchart for explaining the overall flow of image processing in the third embodiment;
[Explanation of symbols]
11 ... CPU
12 ... Input device
13 ... Display device
14 ... Storage device
14a: Program storage area
14b ... Movie data storage area
14c ... Thumbnail video storage area
14d ... Thumbnail composite video storage area
15 ... Communication device
16 ... Interface
17 ... Imaging device

Claims

Moving image storage means for storing moving image data which is still image data continuous in time series;
A moving image cutting means for partially cutting the moving image data stored in the moving image storage means;
A motion amount detecting means for detecting, in a time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;
First detection means for detecting a first time point at which the amount of motion detected in time series by the motion amount detection means is greater than a first threshold;
Second detection means for detecting a second time point when the amount of motion detected by the motion amount detection means in a time series is smaller than a second threshold value smaller than the first threshold value;
First cutout control means for controlling the moving picture cutout means to start cutting out the moving picture data from the first time point detected by the first detection means;
Second cutout control means for controlling the moving picture cutout means to end the cutout of the moving picture data at a second time point detected by the second detection means;
An image processing apparatus comprising: a storage control unit that stores the partial moving image cut out by the moving image cutting unit in the moving image storage unit in association with the moving image data as a thumbnail moving image.

2. The image processing apparatus according to claim 1, further comprising a thumbnail synthesizing unit that reads out a predetermined number of thumbnail videos stored in the moving image storage unit and combines the thumbnail videos to create one thumbnail synthesized video. .

The thumbnail composition means
Of the predetermined number of thumbnail videos read out from the video storage means, a first composition processing means for performing a frame thinning process corresponding to a difference from the reference time for a thumbnail video having a time longer than a reference time When,
Second composition processing for interpolating a frame corresponding to a difference from the reference time for a thumbnail video having a time shorter than the reference time among a predetermined number of thumbnail videos read from the video storage means The image processing apparatus according to claim 2, further comprising: means.

A thumbnail video creation method for an image processing apparatus provided with video storage means for storing video data which is still image data continuous in time series,
A moving image cutting step for partially cutting the moving image data stored in the moving image storage means;
A motion amount detection step for detecting, in a time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;
A first detection step of detecting a first time point at which the amount of motion detected in time series in this motion amount detection step is greater than a first threshold;
A second detection step of detecting a second time point when the amount of motion detected in time series in the motion amount detection step is smaller than a second threshold value smaller than the first threshold value;
A first cutout control step for controlling the moving image cutout step to start cutting out the moving image data from the first time point detected in the first detection step;
A second cut-out control step for controlling the moving-image cut-out step so as to end the cut-out of the moving-image data at the second time point detected in the second detection step;
And a storage control step of storing the partial video clipped in the video cutout step in the video storage means in association with the video data as a thumbnail video.

Computer
Moving image storage means for storing moving image data which is still image data continuous in time series,
A moving image cutting means for partially cutting the moving image data stored in the moving image storage means, and a motion amount that is a dissimilarity between two still images adjacent in time series in the moving image data stored in the moving image storage means. , Motion amount detection means for detecting in time series,
First detection means for detecting a first time point when the amount of motion detected in time series by the motion amount detection means is greater than a first threshold;
Second detection means for detecting a second time point when the amount of motion detected in time series by the motion amount detection means is smaller than a second threshold value smaller than the first threshold value;
First cutout control means for controlling the moving picture cutout means to start cutting out the moving picture data from the first time point detected by the first detection means;
Second cutout control means for controlling the moving picture cutout means to finish cutting out the moving picture data at a second time point detected by the second detection means;
Storage control means for storing the partial video clipped in the video cutout step in the video storage means in association with the video data as a thumbnail video;
Thumbnail video creation program to function as.