JP4189575B2 - Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program - Google Patents
Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program Download PDFInfo
- Publication number
- JP4189575B2 JP4189575B2 JP2002332157A JP2002332157A JP4189575B2 JP 4189575 B2 JP4189575 B2 JP 4189575B2 JP 2002332157 A JP2002332157 A JP 2002332157A JP 2002332157 A JP2002332157 A JP 2002332157A JP 4189575 B2 JP4189575 B2 JP 4189575B2
- Authority
- JP
- Japan
- Prior art keywords
- thumbnail
- moving image
- video
- time
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、例えば動画撮影可能なデジタルカメラやムービーカメラの他、PC(Personal Computer)、PDA(Personal Digital Assistant)などの種々の画像処理装置に係り、特に動画像によるサムネイルの作成機能を備えた画像処理装置と、同装置に用いられるサムネイル動画作成方法及びサムネイル動画作成プログラムに関する。
【0002】
【従来の技術】
従来、動画撮影可能なデジタルカメラなど、動画像を扱う画像処理装置では、動画データの中の1コマを用いてサムネイル画像を作成するものが知られている(例えば特許文献1、2参照)。サムネイル画像とは、頭出しや画像内容を把握する場合のインデックスとして用いられる画像のことであり、インデックス画像あるいはプレビュー画像などとも呼ばれる。
【0003】
通常、この種の画像処理装置では、各画像が時系列に連続してなる動画データの中から先頭に位置する画像(静止画)を自動的に選んでサムネイル画像としている。しかし、先頭位置にある画像が必ずしもサムネイル画像として最適な画像とは限らない。そこで、特許文献1では、動画データの中からユーザが任意にサムネイル画像として最適な画像を設定可能とすることが提案させている。また、特許文献2では、ユーザ選択による自由なサムネイル画像の作成と共にシーンチェンジなどに対応した最適なサムネイル画像の作成を可能とすることが提案されている。
【0004】
【特許文献1】
特開2001−169231号公報
【0005】
【特許文献2】
特開2000−278641号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1、2などにおいて、サムネイル(インデックス)として用いられる画像は動画データの中の1コマに相当する静止画である。このため、この種のサムネイル画像では動的な要素に欠けてしまい、その1コマを見ただけでは、どのシーンを撮影したものであるかが直ぐに判らないなどの不具合がある。
【0007】
本発明は前記のような点に鑑みなされたもので、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段と、この動き量検出手段によって時系列的に検出された動き量が、第1の閾値より大きくなった第1の時点を検出する第1の検出手段と、前記動き量検出手段によって時系列的に検出された動き量が、前記第1の閾値より大きくなった後に、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出手段と、前記第1の検出手段によって検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第1の切出し制御手段と、前記第2の検出手段によって検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第2の切出し制御手段と、前記動画切出し手段によって切り出された部分動画を、サムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段とを具備したことを特徴とする。
【0009】
請求項2記載の発明は、請求項1記載の発明において、前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて1つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする。
【0010】
請求項3記載の発明は、請求項2記載の発明において、前記サムネイル合成手段は、読み出した所定数のサムネイル動画のうち、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施す第1の合成処理手段と、読み出した所定数のサムネイル動画のうち、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施す第2の合成処理手段とを具備したことを特徴とする。
【0014】
請求項4記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画像処理装置のサムネイル動画作成方法であって、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出しステップと、前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、この動き量検出ステップにおいて時系列的に検出された動き量が、第1の閾値より大きくなった第1の時点を検出する第1の検出ステップと、前記動き量検出ステップにおいて時系列的に検出された動き量が、前記第1の閾値より大きくなった後に、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出ステップと、前記第1の検出ステップにおいて検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出しステップを制御する第1の切出し制御ステップと、前記第2の検出ステップにおいて検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出しステップを制御する第2の切出し制御ステップと、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップとを含む。
【0015】
請求項5記載の発明は、コンピュータを、時系列的に連続する静止画データである動画データを記憶する動画記憶手段、この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、前記動き量検出手段によって時系列的に検出された動き量が、第1の閾値より大きくなった第1の時点を検出する第1の検出手段、前記動き量検出手段によって時系列的に検出された動き量が、前記第1の閾値より大きくなった後に、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出手段、前記第1の検出手段によって検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第1の切出し制御手段、前記第2の検出手段によって検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第2の切出し制御手段、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、として機能させる。
【0017】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【0018】
(第1の実施形態)
図1は本発明の第1の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置としては、例えば動画撮影機能を備えたデジタルカメラの他、PDA(Personal Digital Assistant)やパーソナルコンピュータなど、動画データを扱う装置であれば全てを含む。ここでは、一般的なコンピュータとしての構成を示す。
【0019】
図1に示すように、本実施形態における画像処理装置は、CPU11、入力装置12、表示装置13、記憶装置14、通信装置15、インタフェース16、撮像装置17を備える。
【0020】
CPU11は、本装置全体の制御を行うものであり、記憶装置14に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。入力装置12は、例えばキーボード、マウス、タッチパネル、ペンなどからなる入力デバイスであり、各種データの入力や指示を行うためのものである。表示装置13は、例えばLCD(Liquid Crystal Display)などの表示デバイスであり、その画面上に各種データの表示を行う。
【0021】
記憶装置14は、例えばROMやRAM、CD−ROM、DVDーROM、メモリーカードなどの種々のメモリデバイスによって構成することが可能であり、本装置に必要な各種情報を記憶する。この記憶装置14には、プログラム記憶領域14a、動画データ記憶領域14b、サムネイル動画記憶領域14c、サムネイル合成動画記憶領域14dなどが設けられている。
【0022】
プログラム記憶領域14aには、本発明を実現するためのプログラムを含む各種プログラムが記憶されている。動画データ記憶領域14bには、撮像装置17によって撮影された動画データが記憶される。サムネイル動画記憶領域14cには、動画データ記憶領域14bに記憶された動画データを元にして作成された複数枚のサムネイル動画が記憶される。このサムネイル動画は、動画データから抽出されたものであって、静止画ではなく、所定の時間長を有する。サムネイル合成動画記憶領域14dには、このサムネイル動画を複数枚組み合わせて作成されるサムネイル合成動画が記憶される。
【0023】
また、通信装置15は、ネットワークを介して外部端末との間でデータ通信を行う。前記ネットワークとしては、インターネットの他、有線あるいは無線のLAN(Local Area Network)などの通信回線も含む。インタフェース16には、動画像の撮影機能を備えた撮像装置17が着脱自在に接続される。この撮像装置17によって撮影された動画データは記憶装置14の動画データ記憶領域14bに格納される。
【0024】
図2に撮像装置17によって撮影された動画データの一例を示す。
【0025】
動画データは、時系列に連続する複数枚の静止画(フレーム)からなる。時間軸上に隣接する前後のシーンの画像において、両者の画像の相関が高いほど(類似度の高いほど)ほど、両者間の画像の動き量が低い。逆に、相関が低いほど(類似度の低いほど)、両者間の画像の動き量は高くなる。したがって、この動き量が所定値以上である場合にシーンが大きく変化したものと判断できる。このシーンが大きく変化した部分をシーン転換点と呼ぶ。
【0026】
図2の例では、時系列に連続した各画像a1…an,b1…bn,c1…cn…からなる動画データの中で、時間軸上で隣接する画像anと画像b1、画像bnと画像c1の相関が低く、動き量が高い。この動き量が所定値以上である場合に、そこがシーン転換点として検出される。
【0027】
次に、本装置の第1の実施形態としての処理動作について説明する。
【0028】
今、記憶装置14の動画データ記憶領域14bに、撮像装置17によって撮影された動画データを有する動画ファイルが記憶されており、その動画データからサムネイル動画を作成する場合を想定して説明する。
【0029】
図3は本装置の第1の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、CPU11がこのプログラムを読み込むことにより実行される。
【0030】
入力装置12を通じてサムネイル作成の対象となる動画ファイルが指定されると、CPU11は、まず、その指定された動画ファイル内の動画データを記憶装置14の動画データ記憶領域14bから読み出し、その動画データのシーン転換点を検出する(ステップA11)。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量によって判断される。
【0031】
このシーン転換点検出処理について、図4を参照して詳しく説明する。図4は本装置の第1の実施形態におけるシーン転換点検出処理の流れを示すフローチャートである。
【0032】
図4に示すように、CPU11は、時間軸上で隣接する前後のシーンの画像から輝度信号を抽出し(ステップB11)、その輝度信号に基づいて各位置毎の画像間の相関を表す動き量を求める(ステップB12)。上述したように、両者の画像の相関が高いほど(類似度の高いほど)、両者間の画像の動き量は低く、逆に相関が低いほど(類似度の低いほど)、両者間の画像の動き量は高くなる。
【0033】
なお、ここでは画像の輝度信号によって動き量を求めているが、色信号や色差信号などの他の情報を用いて動き量を求めても良い。さらに、動き量はシーン変化の度合いを表す1つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【0034】
両画像における各位置毎の動き量が得られると、CPU11はこれらの合計値、平均値あるいは自乗平均値などを求めた後(ステップB13)、その値を両者間の画像の動き量Sとして予め設定された閾値Thと比較する(ステップB14)。その結果、動き量Sが閾値Thより低ければ(ステップB14のNo)、CPU11はシーン転換なしと判断する(ステップB15)。一方、動き量Sが閾値Th以上であった場合には(ステップB14のYes)、CPU11はシーン転換ありと判断する(ステップB16)。
【0035】
以下同様にして、CPU11は時系列の順に当該動画データの前後のシーンの画像を順次チェックしていきシーン転換の有無を判断する。これにより、図2に示される動画データの例では、画像anと画像b1、画像bnと画像c1の間がシーン転換点として検出されることになる。
【0036】
図3に戻って、動画データの中のシーン転換点が検出されると(ステップA12のYes)、CPU11はサムネイル動画として用いる部分動画の切出し時間を決定する(ステップA13)。この切出し時間は、前記シーン転換点検出処理にてシーン転換ありとして判断されたときの動き量Sに基づいて決定する。この場合、図5(a)に示すように、そのときの動き量Sに応じて切出し時間(サムネイル動画の時間長)を比例的に決める方法と、同図(b)に示すように、動き量Sに応じて切出し時間(サムネイル動画の時間長)を段階的に決める方法とがある。どちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【0037】
なお、動画データの各画像間の動き量Sがシーン変化の目安である閾値Thの付近で短周期に変動しているような場合には、動き量Sが閾値Thを越える度にシーン転換点として検出されて、同じようなサムネイル動画が多数作成されてしまうといった問題が生じる。そこで、このような問題を回避するため、最初に動き量Sが閾値Th以上となったときに、その時点から少なくとも当該動き量Sに応じた切出し時間までの期間はシーン転換点の検出動作を禁止するような制御を加えておくことが好ましい。
【0038】
図3に戻って、切出し時間が決定されると、CPU11は当該動画データのシーン転換点を基点にして前記切出し時間に従ってサムネイル動画として用いる部分の切り出し処理を行う(ステップA14)。この場合の切出し方法として、図6に示すように、例えば切出し時間をTとしたときに、シーン転換点の前後のシーンから所定の比率(n:m)で切出し時間T分の動画像を切り出す方法や、シーン転換点の後のシーンから切出し時間T分の動画像を切り出す方法などがあり、そのどちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【0039】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、CPU11はその切り出した部分動画を必要に応じて例えばMPEG(Motion Picture Expert Group)などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル(インデックス)用の動画像を作成する(ステップA15)。そして、CPU11はこのサムネイル動画を当該動画データに対応付けて記憶装置14のサムネイル動画記憶領域14cに記憶する(ステップA16)。
【0040】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、その部分を切り出すことでサムネイル動画を作り出す。この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域14cの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。その長さはシーン変化の度合い(具体的には画像の動き量)に依存し、シーンが大きく変化している部分ほど、長いサムネイル動画が作成されることになる。
【0041】
図7にサムネイル動画の一例を示す。
【0042】
今、図7(a)に示すように、動画データの中から4枚のサムネイル動画Va,Vb,Vc,Vdが作成されたとする。これらのサムネイル動画Va,Vb,Vc,Vdはそれぞれに時間的な長さが異なる。ここで、これらのサムネイル動画Va,Vb,Vc,Vdを時系列の順に表示すると、同図(b)に示すように、例えばサムネイル動画Vaが3秒、サムネイル動画Vbが2秒、サムネイル動画Vcが1秒、サムネイル動画Vdが3秒といったように、各シーンの動画像がそれぞれの時間ぶん表示されることになる。
【0043】
これらのサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有する。したがって、各サムネイル動画を表示した場合にどのシーンを撮影したものであるかを直ぐに判断できる。しかも、シーン変化の大きいところでは長く表示されるので、これらのサムネイル動画から全体的な内容を容易に把握することができる。
【0044】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
【0045】
前記第1の実施形態では、動き量Sが閾値Th以上の場合にシーン転換ありと判断し、そのときの動き量Sに応じて切出し時間を決定することにより、シーン転換点を基点に前記切出し時間に従ってサムネイル動画として用いる部分動画を切り出すようにした。これに対し、第2の実施形態では、動き量Sによってシーン転換ありと判断してから、その動き量Sが所定値以下になるまでの期間を切出し時間として部分動画の切り出しを行うことを特徴とする。
【0046】
図8を参照して具体的に説明する。
【0047】
今、図8(a)に示すように、時系列に連続した複数の画像a1,b1…c1…cnを含んだ動画データがあり、その動画データの動き量Sが同図(b)に示すような特性を有するものとする。
【0048】
ここで、Th1とTh2の2つの閾値を用意しておく。閾値Th1はシーン転換点を検出するためのものであり、前記第1の実施形態における閾値Thに相当する。閾値Th2は部分動画の切出し終了点を検出するためのものであり、閾値Th1よりも低く設定される。
【0049】
画像a1と画像b1との間に大きな変化があり、そのときの動き量Sが閾値Th1以上になると、その時点でサムネイル動画として用いる部分動画の切出しが開始される。前記第1の実施形態では、このときの動き量Sに応じて切出し時間が決定されていた。これに対し、第2の実施形態では、動き量Sが閾値Th2以下になるまでの間、部分動画の切り出しが継続して行われる。この例では、画像b1から画像c1にかけて動き量Sが閾値Th1以上あるので、そのまま切り出しが行われることになる。そして、画像c1から画像cnにかけて動き量Sが閾値Th2以下になると、そこを切出し終了点として切出し動作が終了する。このようにして、動画データから切り出された部分動画がサムネイル動画として使用される。
【0050】
以下に、図9を参照して第2の実施形態としての処理動作について詳しく説明する。
【0051】
図9は本装置の第2の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、CPU11がこのプログラムを読み込むことにより実行される。
【0052】
入力装置12を通じてサムネイル作成の対象となる動画ファイルが指定されると、CPU11は、まず、その指定された動画ファイル内の動画データを記憶装置14の動画データ記憶領域14bから読み出し、その動画データのシーン転換点を検出する(ステップC11)。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。
【0053】
このシーン転換点検出処理については、前記第1の実施形態と同様である。すなわち、図4で説明したように、時間軸上で隣接する前後のシーンの画像の輝度信号などに基づいて両者間の動き量Sを求め、その動き量Sと予め設定された閾値Th(ここでは閾値Th1とする)とを比較し、動き量Sが閾値Th1以上であった場合にシーン転換ありとして検出するものである。なお、動き量は輝度信号の他、色信号や色差信号などの他の情報を用いて求めても良い。さらに、動き量はシーン変化の度合いを表す1つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【0054】
動画データの中のシーン転換点が検出されると(ステップC12のYes)、CPU11はそのシーン転換点で当該動画データからサムネイル動画として用いる部分動画の切出しを開始する(ステップC13)。この切出し動作は、図8で説明したように、動き量Sが閾値Th2(Th2<Th1)以下になるまで継続される(ステップC14,C15)。そして、動き量Sが閾値Th2以下になると(ステップC15のYes)、CPU11はその時点で部分動画の切出し動作を終了する(ステップC16)。
【0055】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、CPU11はその切り出した部分動画を必要に応じて例えばMPEG(Motion Picture Expert Group)などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル(インデックス)用の動画像を作成する(ステップC17)。そして、CPU11はこのサムネイル動画を当該動画データに対応付けて記憶装置14のサムネイル動画記憶領域14cに記憶する(ステップC18)。
【0056】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、そこからシーン変化の度合いが所定値以下になるまでの間、部分動画の切り出しを継続的に行うことでも、前記第1の実施形態と同様に、動画像によるサムネイルつまりサムネイル動画を作り出すことができる。そして、このようにすることにより、シーンの変化が検出された場面から、一連の激しい動きが収まる場面までの動画を適応的に切り出すことができ、サムネイルとして切り出された動画を、まとまりが良く、内容の理解し易いものとすることができる。
【0057】
この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域14cの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。第2の実施形態において、その長さはシーン変化の連続性に依存し、シーンが大きく変化している時間が長いほど、長いサムネイル動画が作成されることになる。
【0058】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
【0059】
第3の実施形態では、複数枚のサムネイル動画を組み合わせて1つの合成画像(これをサムネイル合成動画と呼ぶ)を作成すると共に、このサムネイル動画を構成する各サムネイル動画の時間を合わせることを特徴とするものである。
【0060】
図10を参照して具体的に説明する。
【0061】
今、動画データから得られたサムネイル動画Va,Vb,Vc,Vdを4分割画面に嵌め込んで、1つのサムネイル合成動画として表示する場合を想定する。この場合、サムネイル動画Vaは3秒、サムネイル動画Vbは2秒、サムネイル動画Vcは1秒、サムネイル動画Vdは3秒であり、それぞれに時間が異なる。したがって、これらのサムネイル動画Va,Vb,Vc,Vdを単に組み合わせてサムネイル合成動画を表示した場合に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまう。
【0062】
そこで、このような表示時間の相違を解消するために、サムネイル合成動画を構成するサムネイル動画Va,Vb,Vc,Vdに対し、コマの間引き処理や補間処理を施すことで同じ時間に調整する。
【0063】
この時間の調整方法としては、各サムネイル動画の時間の最小公倍数を取る第1の方法や最大公約数を取る第2の方法、また、予め設定された時間に合わせる第3の方法などがある。最小公倍数を取る第1の方法では、例えば各サムネイル動画の時間が1秒,2秒,3秒,4秒であるとした場合に、サムネイル合成動画の長さをこれらの最小公倍数である12秒に合わせる。また、最大公約数を取る第2の方法では、例えば各サムネイル動画の時間が2秒,4秒,6秒,12秒であるとした場合に、サムネイル合成動画の長さをこれらの最大公約数である2秒に合わせる。また、予め設定された時間に合わせる第3の方法では、各サムネイル動画の時間に関係なく、サムネイル合成動画の長さを例えば5秒などの固定化された時間に合わせる。
【0064】
ここで、ある基準となる時間(これを合成サムネイル時間Tcと呼ぶ)に合わせるものとすると、その合成サムネイル時間Tcよりも長い時間を有するサムネイル動画に対しては合成サムネイル時間Tcとの差分に相当するコマの間引き処理(コマを間引いて時間を短縮する処理)を施し、また、前記合成サムネイル時間Tcよりも短い時間を有するサムネイル動画に対しては合成サムネイル時間Tcとの差分に相当するコマの補間処理(コマを補間して時間を延ばす処理)を施すことで、各サムネイル動画の時間の統一化を行う。図10の例では、合成サムネイル時間を1秒としている。したがって、サムネイル動画Vcを除くサムネイル動画Va、Vb、Vdに対し、時間短縮のためのためのコマの間引き処理が行われる。これにより、これらを組み合わせたサムネイル合成動画を4分割画面で表示した場合に、その中のサムネイル動画Va,Vb,Vc,Vdがそれぞれに同じ時間(1秒)だけ表示されることになる。
【0065】
なお、図10の例では、4枚のサムネイル動画を用いてサムネイル合成動画を作成しているが、その枚数については特に限定されるものではなく、動画データから得られた全てのサムネイル動画を用いも良いし、また、その中の任意の枚数分のサムネイル動画を用いても良い。さらに、各サムネイル動画の配置についてもマトリクス状に限定されるものではない。要は複数枚の各サムネイル動画を組み合わせて1つのサムネイル合成動画として一括して表示できる形態であれば、どのような形態であっても構わない。
【0066】
以下に、図11を参照して本装置の第3の実施形態としての処理動作について詳しく説明する。なお、ここでは動画データから得られた全てのサムネイル動画を分割画面に順に嵌め込んで1つのサムネイル合成動画を作成する場合を想定して説明する。
【0067】
図11は本装置の第3の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、CPU11がこのプログラムを読み込むことにより実行される。
【0068】
入力装置12を通じてサムネイル作成の対象となる動画ファイルが指定されると、CPU11は、まず、その指定された動画ファイル内の動画データを記憶装置14の動画データ記憶領域14bから読み出し、その動画データのシーン転換点を検出する(ステップD11)。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。このシーン転換点検出処理については、前記第1の実施形態と同様であるため、その説明は省略する。
【0069】
動画データの中のシーン転換点が検出されると(ステップD12のYes)、CPU11はそのシーン転換点を基点にしてサムネイル動画として用いる部分動画の切り出しを行う(ステップD13)。この部分動画の切り出し方法としては、前記第1の実施形態で説明したような方法や、前記第2の方実施形態で説明したような方法があり、そのどちらの方法を用いても良い。ここで切り出された部分動画は1つのサムネイル動画として、記憶装置14のサムネイル動画記憶領域14cに当該動画データに対応付けて記憶される(ステップD14)。その際、必要に応じてMPEG方式等で圧縮されると共に、縦横サイズが所定のサイズに縮小される。
【0070】
このようにして、動画データの先頭から順にシーン転換点が検出され、そのシーン転換点で部分動画が切り出されて、サムネイル動画としてサムネイル動画記憶領域14cに順次格納されていく。
【0071】
動画データの最後まで処理すると(ステップD15のYes)、CPU11は、サムネイル動画記憶領域14cに格納された複数枚のサムネイル動画を組み合わせて1つのサムネイル合成動画を以下のような手順で作成する。
【0072】
すなわち、CPU11は、まず、合成サムネイル時間Tcを決定する(ステップD16)。この合成サムネイル時間Tcは、サムネイル合成動画に含まれる各サムネイル動画を共通に表示する時間(基準時間)のことであり、その決め方には、上述したように各サムネイル動画の時間の最小公倍数を取る第1の方法、最大公約数を取る第2の方法、また、予め設定された時間に合わせる第3の方法などがあり、そのうちのどの方法を適用しても良く、また、その都度任意に選択できるようにしても良い。
【0073】
このようにして合成サムネイル時間Tcが決定されると、CPU11は、各サムネイル動画を時系列の順に処理していく。まず、CPU11は1番目のサムネイル動画をサムネイル動画記憶領域14cから取り出し(ステップD17)、そのサムネイル動画の時間と合成サムネイル時間Tcとを比較する(ステップD18a、D18b)。
【0074】
ここで、サムネイル動画の時間と合成サムネイル時間Tcが同じであれば(ステップD18aのYes)、CPU11は当該サムネイル動画をそのまま分割画面の所定の位置に嵌め込む(ステップD21)。詳しくは、このサムネイル動画を分割画面の所定の位置に嵌め込んで表示するべく、記憶装置14のサムネイル動画記憶領域14dに展開する。前記分割画面は、サムネイル合成動画を構成する各サムネイル動画を個別に表示するための画面であって、例えば図10に示すように各サムネイル動画をマトリクス状に配置して一覧表示するような構成になっている。
【0075】
一方、サムネイル動画の時間と合成サムネイル時間Tcが異なり(ステップD18aのNo)、しかも、サムネイル動画の時間が合成サムネイル時間Tcよりも長い場合には(ステップD18bのYes)、サムネイル動画の時間を短縮して合成サムネイル時間Tcに合わせる必要がある。そこで、CPU11は当該サムネイル動画から合成サムネイル時間Tcとの差分に相当するコマの間引きを行う(ステップD19)。
【0076】
逆に、サムネイル動画の時間が合成サムネイル時間Tcよりも短い場合には(ステップD18bのNo)、サムネイル動画の時間を延ばして合成サムネイル時間Tcに合わせる必要がある。そこで、CPU11は当該サムネイル動画の各コマ間に合成サムネイル時間Tcとの差分に相当するコマの補間を行う(ステップD20)。
【0077】
このコマの間引き若しくはコマの補間処理としては、例えば、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Tcとの比から、コマ数の間引きないし補間の比を決定する方法が考えられる。すなわち、例えば、現在処理対象となっているサムネイル動画の時間が5秒であり、合成サムネイル時間Tcが2秒であるような場合には、サムネイル動画5コマにつき3コマ間引きして2コマを残す、といった具合に間引きをすればよい。
【0078】
また、この際、動画の連続性をなるべく損なわずにサムネイル動画を生成するといった観点から、間引きないし補間を行うコマは、なるべく均等に近い間隔にすることが望ましく、一ヶ所に偏って間引きや補間を行うなどの処理は避けるようにすることが望ましい。このように均等に間引きないし補間を行う場合には、上記のような、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Tcとの比から、何コマに1コマ間引きまたは補間を行う必要があるかを求めて、これに従って処理すれば良い。
【0079】
このように、サムネイル動画の時間を合成サムネイル時間Tcに合わせるべく、サムネイル動画に対してコマの間引きあるいは補間といった編集処理を施した後、CPU11はその編集後のサムネイル動画を分割画面の所定の位置に嵌め込む(ステップD21)。
【0080】
以後同様に、全てのサムネイル動画の処理が終了するまで(ステップD22のNo)、CPU11は時系列の順にサムネイル動画記憶領域14cからサムネイル動画を順次取り出し、前記ステップD18a〜D21の処理を繰り返す。このようにして、各サムネイル動画が前記分割画面の各位置にそれぞれ嵌め込まれて、1つのサムネイル合成動画が作成される。この場合、各サムネイル動画のそれぞれの時間が合成サムネイル時間Tcに調整されているため、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうようなことはなく、それぞれが同じ時間(合成サムネイル時間Tc)の間、表示される。したがって、ユーザは1つの動画像として違和感なく見ることができる。
【0081】
なお、図11のフローチャートで示したの処理では、動画データから抽出されたすべてのサムネイル動画を用いてサムネイル合成動画を作成するものとしたが、その中の何枚かを任意選択的に用いてサムネイル合成動画を作成することでも良い。
【0082】
また、動画データとしては、モノクロ画像でもカラー画像でも良く、その動画データから得られるサムネイル動画、さらに、各サムネイル動画を組み合わせなるサムネイル合成動画についてもモノクロ画像/カラー画像に限定されるものではない。
【0083】
また、本発明が処理対象としている動画データはデジタルカメラやムービーカメラなどで撮影されたものを直接取り込んだものでも、CD−ROMやDVD−ROM等の記録媒体から取得したものでも、ネットワークなどを通じて外部の端末から提供されたものであっても良い。
【0084】
さらに、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0085】
【発明の効果】
本発明によれば、サムネイル動画のまとまりがよくなり、内容が理解しやすいものになる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像処理装置の構成を示すブロック図。
【図2】前記画像処理装置に用いられる撮像装置によって撮影された動画データの一例を示す図。
【図3】第1の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図4】第1の実施形態におけるシーン転換点検出処理の流れを説明するためのフローチャート。
【図5】第1の実施形態における動画の動き量と切出し時間との関係を示す図。
【図6】第1の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図7】第1の実施形態におけるサムネイル動画の一例を示す図。
【図8】本発明の第2の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図9】第2の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図10】本発明の第3の実施形態における複数のサムネイル動画を組み合わせてなるサムネイル合成動画の作成を説明するための図。
【図11】第3の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【符号の説明】
11…CPU
12…入力装置
13…表示装置
14…記憶装置
14a…プログラム記憶領域
14b…動画データ記憶領域
14c…サムネイル動画記憶領域
14d…サムネイル合成動画記憶領域
15…通信装置
16…インタフェース
17…撮像装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to various image processing devices such as a PC (Personal Computer) and a PDA (Personal Digital Assistant) in addition to a digital camera and a movie camera capable of taking a moving image, for example, and particularly has a function of creating thumbnails based on moving images. The present invention relates to an image processing apparatus, a thumbnail moving image creating method and a thumbnail moving image creating program used in the apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, image processing apparatuses that handle moving images, such as digital cameras that can shoot moving images, are known that create thumbnail images using one frame in moving image data (see, for example, Patent Documents 1 and 2). A thumbnail image is an image that is used as an index when finding a head or grasping image contents, and is also called an index image or a preview image.
[0003]
Usually, in this type of image processing apparatus, an image (still image) positioned at the head is automatically selected from moving image data in which each image is continuous in time series, and is used as a thumbnail image. However, the image at the head position is not necessarily the optimum image as a thumbnail image. Therefore, Patent Document 1 proposes that the user can arbitrarily set an optimal image as a thumbnail image from moving image data. Japanese Patent Application Laid-Open No. 2004-228620 proposes that an optimum thumbnail image corresponding to a scene change or the like can be created together with creation of a free thumbnail image by user selection.
[0004]
[Patent Document 1]
JP 2001-169231 A
[0005]
[Patent Document 2]
Japanese Patent Laid-Open No. 2000-278641
[0006]
[Problems to be solved by the invention]
However, in Patent Documents 1 and 2 and the like, an image used as a thumbnail (index) is a still image corresponding to one frame in moving image data. For this reason, this kind of thumbnail image lacks dynamic elements, and there is a problem that it is not possible to immediately know which scene was shot by just looking at that one frame.
[0007]
The present invention has been made in view of the above points, and includes an image processing apparatus, a thumbnail moving image generating method, and a thumbnail moving image generating program that have dynamic elements and can generate an optimal thumbnail corresponding to a scene change. The purpose is to provide.
[0008]
[Means for Solving the Problems]
The invention according to claim 1 is still image data continuous in time series.Moving image storage means for storing moving image data;Motion amount detection means for detecting, in time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;,Stored in the moving image storage meansA video cutout means for partially cutting video data;First detection means for detecting a first time point when the amount of motion detected in time series by the motion amount detection means is greater than a first threshold, and time series detection by the motion amount detection means Second detection means for detecting a second time point at which the amount of motion made is smaller than a second threshold value smaller than the first threshold value after the amount of movement is greater than the first threshold; A first cutout control unit that controls the moving image cutout unit to start cutting out the moving image data from a first time point detected by the first detection unit; and a second cutout that is detected by the second detection unit. The second cutout control means for controlling the moving picture cutout means to end the cutout of the moving picture data at the time ofPartial videos cut out by the video cutting means,Thumbnail storage means for storing the video as thumbnail video in association with the video dataIt is characterized by that.
[0009]
According to a second aspect of the present invention, in the first aspect of the invention, there is provided a thumbnail synthesizing unit that reads out a predetermined number of thumbnail videos stored in the thumbnail storage unit and creates one thumbnail synthesized video by combining these thumbnail videos. Furthermore, it is characterized by comprising.
[0010]
According to a third aspect of the present invention, in the second aspect of the invention, the thumbnail synthesizing unit is configured to determine the reference time for a thumbnail video having a time longer than a reference time among a predetermined number of read thumbnail videos. A first synthesizing processing unit that performs frame decimation processing corresponding to the difference between the difference and the reference time for a thumbnail video having a time shorter than the reference time among the read predetermined number of thumbnail videos And a second synthesizing processing means for performing a frame interpolation process corresponding to the above.
[0014]
Claim4The invention described is a thumbnail moving image creation method of an image processing apparatus including a moving image storage unit that stores moving image data that is time-series continuous still image data, the moving image data stored in the moving image storage unit A moving image cut-out step for partially cutting out and a moving amount detection for detecting in a time series a motion amount that is a dissimilarity between two still images adjacent in time series in the moving image data stored in the moving image storage means A first detection step for detecting a first time point in which the amount of motion detected in time series in the motion amount detection step is greater than a first threshold, and time series in the motion amount detection step A second detection step for detecting a second time point at which the detected motion amount becomes smaller than a second threshold value smaller than the first threshold value after the detected motion amount becomes larger than the first threshold value. A first cutout control step for controlling the moving image cutout step so as to start cutting out the moving image data from the first time point detected in the first detection step; and a detection in the second detection step. A second cut-out control step for controlling the moving-image cut-out step so as to end the cut-out of the moving-image data at the second time point, and the partial moving image cut out in the moving-image cut-out step as the thumbnail moving image And a storage control step of storing in the moving image storage means in association with.
[0015]
Claim5The described invention includes a moving image storage means for storing moving image data, which is still image data continuous in time series, a moving image cutout means for partially cutting out the moving image data stored in the moving image storage means, and the moving image storage In the moving image data stored in the means, a motion amount that is a dissimilarity between two still images that are adjacent in time series is detected in time series, and the motion amount detection means detects the motion amount in time series. First detection means for detecting a first time point when the detected motion amount is greater than a first threshold, and the motion amount detected in time series by the motion amount detection means is the first threshold value. Second detection means for detecting a second time point that has become smaller than a second threshold value smaller than the first threshold value after becoming larger; a first time point detected by the first detection means; From the video First moving control means for controlling the moving image cutting means so as to start cutting out the moving image, and the moving image cutting means so as to end the cutting of the moving image data at the second time point detected by the second detecting means. A second cut-out control unit for controlling the video, and a storage control unit for storing the partial video clipped in the video cut-out step in the video storage unit in association with the video data as a thumbnail video.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to the first embodiment of the present invention. Note that the image processing apparatus of the present invention includes all apparatuses that handle moving image data such as a digital camera having a moving image shooting function, a PDA (Personal Digital Assistant), a personal computer, and the like. Here, a configuration as a general computer is shown.
[0019]
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes a
[0020]
The
[0021]
The
[0022]
Various programs including a program for realizing the present invention are stored in the
[0023]
The
[0024]
FIG. 2 shows an example of moving image data shot by the
[0025]
The moving image data is composed of a plurality of still images (frames) continuous in time series. In the images of the scenes before and after adjacent on the time axis, the higher the correlation between the two images (the higher the similarity), the lower the amount of image movement between the two. Conversely, the lower the correlation (the lower the similarity), the higher the amount of image motion between the two. Therefore, it can be determined that the scene has changed greatly when the amount of movement is equal to or greater than a predetermined value. The part where the scene has changed greatly is called a scene turning point.
[0026]
In the example of FIG. 2, among the moving image data composed of images a1... An, b1... Bn, c1... Cn continuous in time series, the image an and the image b1, the image bn and the image c1 which are adjacent on the time axis. The correlation is low and the amount of motion is high. When this amount of motion is greater than or equal to a predetermined value, this is detected as a scene turning point.
[0027]
Next, a processing operation as the first embodiment of the present apparatus will be described.
[0028]
Now, description will be made assuming that a moving image file having moving image data shot by the
[0029]
FIG. 3 is a flowchart showing the overall flow of image processing in the first embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the
[0030]
When a moving image file for thumbnail creation is specified through the
[0031]
The scene turning point detection process will be described in detail with reference to FIG. FIG. 4 is a flowchart showing the flow of the scene turning point detection process in the first embodiment of the present apparatus.
[0032]
As shown in FIG. 4, the
[0033]
Here, the amount of motion is obtained from the luminance signal of the image, but the amount of motion may be obtained using other information such as a color signal and a color difference signal. Furthermore, the amount of motion is one index indicating the degree of scene change, and if there is other information indicating the degree of scene change, that information may be used.
[0034]
When the movement amount for each position in both images is obtained, the
[0035]
Similarly, the
[0036]
Returning to FIG. 3, when the scene turning point in the moving image data is detected (Yes in step A12), the
[0037]
Note that when the amount of motion S between the images of the moving image data fluctuates in the short period near the threshold Th that is a guideline for scene change, the scene turning point every time the amount of motion S exceeds the threshold Th. As a result, a large number of similar thumbnail videos are created. Therefore, in order to avoid such a problem, when the motion amount S first becomes equal to or greater than the threshold value Th, a scene turning point detection operation is performed for a period from that point to at least the extraction time corresponding to the motion amount S. It is preferable to add control to prohibit.
[0038]
Returning to FIG. 3, when the cut-out time is determined, the
[0039]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the
[0040]
In this way, a portion where the scene changes greatly is found in the moving image data, and a thumbnail moving image is created by cutting out that portion. In this case, if there are a large number of scene change points, that is, scene turning points, a corresponding number of thumbnail videos are created in the thumbnail
[0041]
FIG. 7 shows an example of a thumbnail video.
[0042]
Assume that four thumbnail moving images Va, Vb, Vc, and Vd are created from moving image data as shown in FIG. These thumbnail videos Va, Vb, Vc, Vd have different time lengths. Here, when these thumbnail videos Va, Vb, Vc, Vd are displayed in chronological order, for example, as shown in FIG. 5B, the thumbnail video Va is 3 seconds, the thumbnail video Vb is 2 seconds, and the thumbnail video Vc. Is 1 second, and the thumbnail video Vd is 3 seconds, so that the moving image of each scene is displayed for each time.
[0043]
These thumbnail videos correspond to scene changes and have dynamic elements unlike still images. Therefore, it is possible to immediately determine which scene is captured when each thumbnail video is displayed. Moreover, since it is displayed for a long time when the scene changes greatly, it is possible to easily grasp the entire contents from these thumbnail videos.
[0044]
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
[0045]
In the first embodiment, when the motion amount S is greater than or equal to the threshold Th, it is determined that there is a scene change, and the cut-out time is determined according to the motion amount S at that time, so that the cut-out is based on the scene change point. Cut out partial videos to be used as thumbnail videos according to time. On the other hand, the second embodiment is characterized in that a partial moving image is cut out with a period from when it is determined that there is a scene change based on the amount of motion S until the amount of motion S falls below a predetermined value. And
[0046]
This will be specifically described with reference to FIG.
[0047]
Now, as shown in FIG. 8A, there is moving image data including a plurality of images a1, b1,..., Cn continuous in time series, and the motion amount S of the moving image data is shown in FIG. It shall have the following characteristics.
[0048]
Here, two threshold values of Th1 and Th2 are prepared. The threshold value Th1 is for detecting a scene turning point, and corresponds to the threshold value Th in the first embodiment. The threshold value Th2 is used to detect the cutout end point of the partial moving image, and is set lower than the threshold value Th1.
[0049]
When there is a large change between the image a1 and the image b1, and the movement amount S at that time becomes equal to or greater than the threshold value Th1, extraction of a partial moving image used as a thumbnail moving image at that time is started. In the first embodiment, the extraction time is determined according to the amount of movement S at this time. On the other hand, in the second embodiment, the partial moving image is continuously cut out until the motion amount S becomes equal to or less than the threshold Th2. In this example, since the motion amount S is greater than or equal to the threshold Th1 from the image b1 to the image c1, the clipping is performed as it is. Then, when the motion amount S becomes equal to or less than the threshold value Th2 from the image c1 to the image cn, the extraction operation is ended with this as the extraction end point. In this way, the partial video clipped from the video data is used as a thumbnail video.
[0050]
Hereinafter, the processing operation as the second embodiment will be described in detail with reference to FIG.
[0051]
FIG. 9 is a flowchart showing the overall flow of image processing in the second embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the
[0052]
When a moving image file for thumbnail creation is specified through the
[0053]
The scene turning point detection process is the same as that in the first embodiment. That is, as described with reference to FIG. 4, the amount of motion S between them is obtained based on the luminance signals of the images of the preceding and following scenes adjacent on the time axis, and the amount of motion S and a preset threshold Th (here In this case, when the amount of motion S is equal to or greater than the threshold Th1, it is detected that there is a scene change. Note that the motion amount may be obtained using other information such as a color signal and a color difference signal in addition to the luminance signal. Furthermore, the amount of motion is one index indicating the degree of scene change, and if there is other information indicating the degree of scene change, that information may be used.
[0054]
When a scene turning point in the moving image data is detected (Yes in step C12), the
[0055]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the
[0056]
As described above, the first moving image data can be found by continuously finding out a portion of the moving image data where the scene changes greatly, and until the degree of the scene change becomes a predetermined value or less. Similar to the embodiment, it is possible to create thumbnails based on moving images, that is, thumbnail moving images. And by doing this, it is possible to adaptively cut out the video from the scene where the change of the scene was detected to the scene where a series of intense movements fit, and the video cut out as a thumbnail is well organized, The contents can be easily understood.
[0057]
In this case, if there are a large number of scene change points, that is, scene turning points, a corresponding number of thumbnail videos are created in the thumbnail
[0058]
(Third embodiment)
Next, a third embodiment of the present invention will be described.
[0059]
The third embodiment is characterized in that a plurality of thumbnail videos are combined to create a single composite image (referred to as a thumbnail composite video), and the time of each thumbnail video constituting the thumbnail video is adjusted. To do.
[0060]
This will be specifically described with reference to FIG.
[0061]
Assume that the thumbnail videos Va, Vb, Vc, and Vd obtained from the video data are inserted into a 4-split screen and displayed as a single thumbnail composite video. In this case, the thumbnail video Va is 3 seconds, the thumbnail video Vb is 2 seconds, the thumbnail video Vc is 1 second, and the thumbnail video Vd is 3 seconds, each having a different time. Therefore, when a thumbnail composite video is displayed by simply combining these thumbnail videos Va, Vb, Vc, and Vd, there are portions that end earlier and portions that end later.
[0062]
Therefore, in order to eliminate such a difference in display time, the thumbnail moving images Va, Vb, Vc, and Vd constituting the thumbnail combined moving image are adjusted to the same time by performing frame thinning processing and interpolation processing.
[0063]
As a method for adjusting the time, there are a first method for taking the least common multiple of the time of each thumbnail video, a second method for taking the greatest common divisor, and a third method for adjusting to a preset time. In the first method of taking the least common multiple, for example, when the time of each thumbnail video is 1 second, 2 seconds, 3 seconds, and 4 seconds, the length of the thumbnail composite video is 12 seconds that is the least common multiple of these. To match. Further, in the second method of taking the greatest common divisor, for example, when the time of each thumbnail video is 2 seconds, 4 seconds, 6 seconds, and 12 seconds, the length of the thumbnail composite movie is set to the greatest common divisor. Set to 2 seconds. Further, in the third method of adjusting to a preset time, the length of the thumbnail composite video is adjusted to a fixed time such as 5 seconds, regardless of the time of each thumbnail video.
[0064]
Here, if the time is adjusted to a reference time (referred to as a combined thumbnail time Tc), a thumbnail video having a time longer than the combined thumbnail time Tc corresponds to a difference from the combined thumbnail time Tc. For a thumbnail video having a time shorter than the combined thumbnail time Tc, a frame corresponding to the difference from the combined thumbnail time Tc is applied. Interpolation processing (processing that extends time by interpolating frames) is performed to unify the time of each thumbnail video. In the example of FIG. 10, the combined thumbnail time is 1 second. Accordingly, frame thinning processing for time reduction is performed on the thumbnail videos Va, Vb, and Vd except the thumbnail video Vc. As a result, when a thumbnail composite video combining these is displayed on a 4-split screen, the thumbnail video Va, Vb, Vc, Vd therein is displayed for the same time (1 second).
[0065]
In the example of FIG. 10, a thumbnail composite video is created using four thumbnail videos, but the number is not particularly limited, and all thumbnail videos obtained from video data are used. Alternatively, any number of thumbnail videos among them may be used. Furthermore, the arrangement of each thumbnail video is not limited to a matrix. In short, any form may be used as long as a plurality of thumbnail videos can be combined and displayed as a single thumbnail composite video.
[0066]
Hereinafter, the processing operation as the third embodiment of the present apparatus will be described in detail with reference to FIG. Here, a description will be given on the assumption that all thumbnail videos obtained from the video data are sequentially inserted into the divided screen to create one thumbnail composite video.
[0067]
FIG. 11 is a flowchart showing the overall flow of image processing in the third embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the
[0068]
When a moving image file for thumbnail creation is specified through the
[0069]
When a scene turning point in the moving image data is detected (Yes in step D12), the
[0070]
In this way, scene turning points are detected in order from the beginning of the moving image data, partial moving images are cut out at the scene turning points, and are sequentially stored as thumbnail moving images in the thumbnail moving
[0071]
When the video data is processed to the end (Yes in step D15), the
[0072]
That is, the
[0073]
When the combined thumbnail time Tc is determined in this way, the
[0074]
Here, if the time of the thumbnail video is the same as the combined thumbnail time Tc (Yes in step D18a), the
[0075]
On the other hand, if the thumbnail video time is different from the composite thumbnail time Tc (No in step D18a), and if the thumbnail video time is longer than the composite thumbnail time Tc (step D18b Yes), the thumbnail video time is shortened. Thus, it is necessary to match the combined thumbnail time Tc. Therefore, the
[0076]
Conversely, if the thumbnail video time is shorter than the composite thumbnail time Tc (No in step D18b), it is necessary to extend the thumbnail video time to match the composite thumbnail time Tc. Therefore, the
[0077]
As the frame decimation or frame interpolation process, for example, a method of determining the frame decimation or interpolation ratio from the ratio of the thumbnail video time currently being processed and the combined thumbnail time Tc is considered. It is done. That is, for example, when the time of the thumbnail video currently being processed is 5 seconds and the combined thumbnail time Tc is 2 seconds, 3 frames are thinned out for 5 thumbnail videos, leaving 2 frames. , And so on.
[0078]
At this time, from the viewpoint of generating a thumbnail video without losing the continuity of the video as much as possible, it is desirable that the frames to be thinned out or interpolated should be equally spaced as much as possible. It is desirable to avoid processing such as. When thinning out or interpolating evenly in this way, one frame is thinned out or interpolated from the ratio of the time of the thumbnail video currently being processed and the combined thumbnail time Tc as described above. Find out if you need to do it and process it accordingly.
[0079]
As described above, in order to adjust the time of the thumbnail video to the combined thumbnail time Tc, after performing an editing process such as frame thinning or interpolation on the thumbnail video, the
[0080]
Thereafter, similarly, until the processing of all thumbnail moving images is completed (No in step D22), the
[0081]
In the process shown in the flowchart of FIG. 11, the thumbnail composite video is created using all the thumbnail videos extracted from the video data, but some of them are optionally used. It is also possible to create a thumbnail composite video.
[0082]
Further, the moving image data may be a monochrome image or a color image, and a thumbnail moving image obtained from the moving image data and a thumbnail combined moving image obtained by combining the thumbnail moving images are not limited to a monochrome image / color image.
[0083]
Further, the moving image data to be processed by the present invention may be directly captured from a digital camera or a movie camera, or may be obtained from a recording medium such as a CD-ROM or DVD-ROM, or may be transmitted through a network or the like. It may be provided from an external terminal.
[0084]
Furthermore, the method described in each of the embodiments described above is a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc., as a program that can be executed by a computer. The program itself can be applied to various apparatuses, or the program itself can be transmitted through a transmission medium such as a network to be applied to various apparatuses. A computer that implements this apparatus reads a program recorded on a recording medium or a program provided via a transmission medium, and performs the above-described processing by controlling operations by this program.
[0085]
【The invention's effect】
BookAccording to the invention, Thumbnail videos are better organized and the contents are easier to understand.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a view showing an example of moving image data shot by an imaging device used in the image processing device.
FIG. 3 is a flowchart for explaining the overall flow of image processing in the first embodiment;
FIG. 4 is a flowchart for explaining the flow of a scene turning point detection process in the first embodiment.
FIG. 5 is a diagram illustrating a relationship between a moving amount of a moving image and a cutout time according to the first embodiment.
FIG. 6 is a diagram for explaining a method of cutting out a partial moving image used as a thumbnail moving image in the first embodiment.
FIG. 7 is a diagram showing an example of a thumbnail video in the first embodiment.
FIG. 8 is a diagram for explaining a method of extracting a partial moving image used as a thumbnail moving image according to the second embodiment of the present invention.
FIG. 9 is a flowchart for explaining the overall flow of image processing in the second embodiment;
FIG. 10 is a diagram for explaining creation of a thumbnail composite video that is a combination of a plurality of thumbnail videos in the third embodiment of the present invention.
FIG. 11 is a flowchart for explaining the overall flow of image processing in the third embodiment;
[Explanation of symbols]
11 ... CPU
12 ... Input device
13 ... Display device
14 ... Storage device
14a: Program storage area
14b ... Movie data storage area
14c ... Thumbnail video storage area
14d ... Thumbnail composite video storage area
15 ... Communication device
16 ... Interface
17 ... Imaging device
Claims (5)
この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段と、
前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、
この動き量検出手段によって時系列的に検出された動き量が、第1の閾値より大きくなった第1の時点を検出する第1の検出手段と、
前記動き量検出手段によって時系列的に検出された動き量が、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出手段と、
前記第1の検出手段によって検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第1の切出し制御手段と、
前記第2の検出手段によって検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第2の切出し制御手段と、
前記動画切出し手段によって切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段と
を具備したことを特徴とする画像処理装置。Moving image storage means for storing moving image data which is still image data continuous in time series;
A moving image cutting means for partially cutting the moving image data stored in the moving image storage means;
A motion amount detecting means for detecting, in a time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;
First detection means for detecting a first time point at which the amount of motion detected in time series by the motion amount detection means is greater than a first threshold;
Second detection means for detecting a second time point when the amount of motion detected by the motion amount detection means in a time series is smaller than a second threshold value smaller than the first threshold value;
First cutout control means for controlling the moving picture cutout means to start cutting out the moving picture data from the first time point detected by the first detection means;
Second cutout control means for controlling the moving picture cutout means to end the cutout of the moving picture data at a second time point detected by the second detection means;
An image processing apparatus comprising: a storage control unit that stores the partial moving image cut out by the moving image cutting unit in the moving image storage unit in association with the moving image data as a thumbnail moving image.
さらに具備したことを特徴とする請求項1記載の画像処理装置。2. The image processing apparatus according to claim 1, further comprising a thumbnail synthesizing unit that reads out a predetermined number of thumbnail videos stored in the moving image storage unit and combines the thumbnail videos to create one thumbnail synthesized video. .
前記動画記憶手段から読み出した所定数のサムネイル動画のうち、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施す第1の合成処理手段と、
前記動画記憶手段から読み出した所定数のサムネイル動画のうち、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施す第2の合成処理手段と
を具備したことを特徴とする請求項2記載の画像処理装置。The thumbnail composition means
Of the predetermined number of thumbnail videos read out from the video storage means, a first composition processing means for performing a frame thinning process corresponding to a difference from the reference time for a thumbnail video having a time longer than a reference time When,
Second composition processing for interpolating a frame corresponding to a difference from the reference time for a thumbnail video having a time shorter than the reference time among a predetermined number of thumbnail videos read from the video storage means The image processing apparatus according to claim 2, further comprising: means.
像処理装置のサムネイル動画作成方法であって、
前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出しステップと、
前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、
この動き量検出ステップにおいて時系列的に検出された動き量が、第1の閾値より大き
くなった第1の時点を検出する第1の検出ステップと、
前記動き量検出ステップにおいて時系列的に検出された動き量が、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出ステップと、
前記第1の検出ステップにおいて検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出しステップを制御する第1の切出し制御ステップと、
前記第2の検出ステップにおいて検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出しステップを制御する第2の切出し制御ステップと、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップと
を含むサムネイル動画作成方法。A thumbnail video creation method for an image processing apparatus provided with video storage means for storing video data which is still image data continuous in time series,
A moving image cutting step for partially cutting the moving image data stored in the moving image storage means;
A motion amount detection step for detecting, in a time series, a motion amount that is a dissimilarity between two still images that are adjacent in time series in the video data stored in the video storage means;
A first detection step of detecting a first time point at which the amount of motion detected in time series in this motion amount detection step is greater than a first threshold;
A second detection step of detecting a second time point when the amount of motion detected in time series in the motion amount detection step is smaller than a second threshold value smaller than the first threshold value;
A first cutout control step for controlling the moving image cutout step to start cutting out the moving image data from the first time point detected in the first detection step;
A second cut-out control step for controlling the moving-image cut-out step so as to end the cut-out of the moving-image data at the second time point detected in the second detection step;
And a storage control step of storing the partial video clipped in the video cutout step in the video storage means in association with the video data as a thumbnail video.
時系列的に連続する静止画データである動画データを記憶する動画記憶手段、
この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する2つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、
前記動き量検出手段によって時系列的に検出された動き量が、第1の閾値より大きくなった第1の時点を検出する第1の検出手段、
前記動き量検出手段によって時系列的に検出された動き量が、前記第1の閥値より小さい第2の閥値より小さくなった第2の時点を検出する第2の検出手段、
前記第1の検出手段によって検出された第1の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第1の切出し制御手段、
前記第2の検出手段によって検出された第2の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第2の切出し制御手段、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、
として機能させるサムネイル動画作成プログラム。Computer
Moving image storage means for storing moving image data which is still image data continuous in time series,
A moving image cutting means for partially cutting the moving image data stored in the moving image storage means, and a motion amount that is a dissimilarity between two still images adjacent in time series in the moving image data stored in the moving image storage means. , Motion amount detection means for detecting in time series,
First detection means for detecting a first time point when the amount of motion detected in time series by the motion amount detection means is greater than a first threshold;
Second detection means for detecting a second time point when the amount of motion detected in time series by the motion amount detection means is smaller than a second threshold value smaller than the first threshold value;
First cutout control means for controlling the moving picture cutout means to start cutting out the moving picture data from the first time point detected by the first detection means;
Second cutout control means for controlling the moving picture cutout means to finish cutting out the moving picture data at a second time point detected by the second detection means;
Storage control means for storing the partial video clipped in the video cutout step in the video storage means in association with the video data as a thumbnail video;
Thumbnail video creation program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002332157A JP4189575B2 (en) | 2002-11-15 | 2002-11-15 | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002332157A JP4189575B2 (en) | 2002-11-15 | 2002-11-15 | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008188024A Division JP4656199B2 (en) | 2008-07-22 | 2008-07-22 | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004166131A JP2004166131A (en) | 2004-06-10 |
JP4189575B2 true JP4189575B2 (en) | 2008-12-03 |
Family
ID=32809320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002332157A Expired - Fee Related JP4189575B2 (en) | 2002-11-15 | 2002-11-15 | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4189575B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006093953A (en) * | 2004-09-22 | 2006-04-06 | Sony Corp | Apparatus and method of processing information, recording medium and program |
JP4585286B2 (en) * | 2004-11-17 | 2010-11-24 | アロカ株式会社 | Ultrasonic diagnostic equipment |
JP4670584B2 (en) | 2005-10-25 | 2011-04-13 | ソニー株式会社 | Display control apparatus and method, program, and recording medium |
JP5231755B2 (en) * | 2007-05-31 | 2013-07-10 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP2009033369A (en) | 2007-07-26 | 2009-02-12 | Sony Corp | Recorder, reproducer, recording and reproducing device, imaging device, recording method and program |
JP2010141717A (en) * | 2008-12-12 | 2010-06-24 | Canon Inc | Image recording reproducing device |
JP7160513B2 (en) * | 2016-06-06 | 2022-10-25 | ヤフー株式会社 | TERMINAL PROGRAM, TERMINAL DEVICE, AND INFORMATION PROCESSING METHOD |
JP6693365B2 (en) * | 2016-09-20 | 2020-05-13 | カシオ計算機株式会社 | Notification device, notification method, and program |
-
2002
- 2002-11-15 JP JP2002332157A patent/JP4189575B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004166131A (en) | 2004-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4241709B2 (en) | Image processing device | |
US8782563B2 (en) | Information processing apparatus and method, and program | |
JP4831017B2 (en) | Image processing apparatus, developing apparatus, image processing method, developing method, image processing program, and developing program | |
EP1235182A2 (en) | Motion picture generation from a static digital image | |
US8768072B2 (en) | Apparatus and methods to compress still images | |
JP4483501B2 (en) | Image processing apparatus, program, and method for performing preprocessing for reproducing still image as moving picture | |
JP2003507943A (en) | System and method for performing fast forward and slow motion speed conversion in a video stream based on video content | |
JPWO2005086478A1 (en) | Video data processing | |
JP4701598B2 (en) | Still image generating apparatus, still image generating method, still image generating program, and recording medium on which still image generating program is recorded | |
JP3240871B2 (en) | Video summarization method | |
JP4189575B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
JP2008131617A (en) | Video processing apparatus | |
JP4283303B2 (en) | Image display control device, image display control program, and image display control method | |
JP4656199B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
JP4667356B2 (en) | Video display device, control method therefor, program, and recording medium | |
US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
KR20140146592A (en) | Color grading preview method and apparatus | |
JP4464088B2 (en) | Video media browsing system and method | |
JPH11136637A (en) | Representative image generating device | |
JP3426960B2 (en) | Video editing method and apparatus and recording medium recording the program | |
JP4881045B2 (en) | MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM | |
JP3926497B2 (en) | Index image display device | |
JP5665380B2 (en) | Image processing apparatus, image processing apparatus control method, program, and recording medium | |
JP2009267446A (en) | Motion image information processing method and apparatus | |
JP2006211041A (en) | Moving image reproducing device and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |